ΑΙΚΑΤΕΡΙΝΗΣ ΤΖΙΜΟΥΛΗ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΚΑΤΕΥΘΥΝΣΗ ΨΗΦΙΑΚΩΝ ΜΕΣΩΝ ΤΡΟΠΟΠΟΙΗΜΕΝΟΣ ΑΛΓΟΡΙΘΜΟΣ ΟΜΑΔΟΠΟΙΗΣΗΣ ΟΜΙΛΗΤΩΝ ΓΙΑ ΤΗΝ ΑΝΙΧΝΕΥΣΗ ΔΙΑΛΟΓΟΥ ΣΕ ΚΙΝΗΜΑΤΟΓΡΑΦΙΚΕΣ ΣΕΙΡΕΣ ΑΝΑΛΥΟΝΤΑΣ ΤΟ ΣΗΜΑ ΟΜΙΛΙΑΣ Μεταπτυχιακή Διατριβή Εξειδίκευσης ΑΙΚΑΤΕΡΙΝΗΣ ΤΖΙΜΟΥΛΗ Πτυχιούχου του Τμήματος Εφαρμοσμένης Πληροφορικής του Πανεπιστημίου Μακεδονίας Επιβλέπων: Κοτρόπουλος Κωνσταντίνος, Αναπληρωτής Καθηγητής Θεσσαλονίκη, 008

2 Περίληψη Το θέμα της διατριβής αυτής είναι η ομαδοποίηση ομιλητών από κινηματογραφικές σειρές αναλύοντας το σήμα ομιλίας. Συγκεκριμένα παρουσιάζεται ο αλγόριθμος ομαδοποίησης ομιλητών που αναπτύχθηκε σε προηγούμενη μελέτη και προτείνεται ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών που προσπαθεί να αντιμετωπίσει τα προβλήματα που εντοπίζονται. Αρχικά γίνεται μελέτη της βιβλιογραφίας που αφορά στις μετρικές απόστασης που χρησιμοποιήθηκαν στον τροποποιημένο αλγόριθμο ομαδοποίησης ομιλητών και στα κριτήρια αξιολόγησης του. Στη συνέχεια γίνεται παρουσίαση των βημάτων των δύο αλγορίθμων. Ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών κάνει μία υπόθεση για τον αρχικό αριθμό των ομάδων. Ο αλγόριθμος αξιολογείται με τη μέση καθαρότητα ομάδων, τη μέση καθαρότητα ομιλητών, το συνολικό σφάλμα ταξινόμησης, το δείκτη Rand και τη μετρική BB και μελετάται η συμπεριφορά του για διάφορες τιμές των παραμέτρων που απαιτεί. Τέλος παρουσιάζονται τα αποτελέσματα του τροποποιημένου αλγορίθμου και παρατίθενται διαγράμματα για την εποπτική αξιολόγηση των ομάδων που προκύπτουν. - -

3 Abstract The subject of this thesis is speaker clustering for movie dialogue detection by analyzing the speech signal. Motivated by a speaker clustering algorithm that was developed in previous study, a modified algorithm is proposed, that tries to solve the problems that were found in the original algorithm. First a survey of the related literature is presented that addresses proper metric distance for speaker clustering and criteria of clustering evaluation. ext the original and the modified algorithm are discussed. The modified speaker clustering algorithm assumes an initial number of clusters. The following cluster evaluation measures are used: the average cluster purity, the average speaker purity, the total classification error, the Rand index and the metric BB when different parameter values are employed in the proposed algorithm. Finally, the results of modified algorithm are demonstrated by diagrams for visual assessment. - -

4 Περιεχόμενα Εισαγωγή. Στόχος διατριβής Δομή των κεφαλαίων... 4 Μετρικές Απόστασης 5. Κανονική κατανομή Μίγμα κανονικών κατανομών Μετρικές απόστασης κανονικών κατανομών Μετρική απόστασης dcovmean Μετρική απόστασης dbha Μετρική απόστασης dkl Αρχικός και τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών 8 3. Κατάτμηση ομιλητών Κατασκευή μοντέλων Αλγόριθμος συσσώρευσης ενδείξεων Ομαδοποίηση συσσώρευσης ενδείξεων Συγχώνευση ομάδων Κριτήρια και δείκτες μέτρησης της απόδοσης του αλγορίθμου ομαδοποίησης Είδη κριτηρίων αξιολόγησης των ομάδων Κριτήρια μέτρησης αποδοτικότητας Καθαρότητα ομάδας Καθαρότητα ομιλητών Σφάλμα ταξινόμησης Μετρική ΒΒΝ Δείκτες μέτρησης αποδοτικότητας Προσαρμοσμένος δείκτης Rand

5 4.4 Παρατηρήσεις Πειραματικά αποτελέσματα Δεδομένα Κριτήρια αξιολόγησης Αρχική επιλογή του αριθμού των ομάδων Αποτελέσματα αλγορίθμου Εποπτική αναπαράσταση των ομάδων χρησιμοποιώντας την πολυδιάστατη κλιμάκωση (MDS) Μελλοντικές βελτιώσεις Συμπεράσματα

6 Κατάλογος Σχημάτων. Ομαδοποίηση αντικειμένων σε 4 ομάδες χρησιμοποιώντας ως κριτήριο ομοιότητας την απόσταση μεταξύ των αντικειμένων..... Στάδια ομαδοποίησης Παράδειγμα μονοδιάστατης κανονικής κατανομής με μέση τιμή 3 και τυπική απόκλιση Παράδειγμα πολυδιάστατης κατανομής [] Παράδειγμα μίγματος κανονικών κατανομών με τρεις συνιστώσες [6].7 3. Βήματα αρχικού και τροποποιημένου αλγορίθμου ομαδοποίησης ομιλητών Αποτέλεσμα αλγορίθμου κατάτμησης ομιλητών που χρησιμοποιεί το κριτήριο ΒΙC. Οι κόκκινες γραμμές αντιστοιχούν στα σημεία εναλλαγής ομιλητών που έχουν εντοπιστεί. Ο οριζόντιος άξονας είναι ο άξονας του χρόνου[3] Διαγράμματα που δείχνουν το συνολικό μέσο σφάλμα ταξινόμησης για όλα τα αρχεία εκτός από ένα κάθε φορά, όταν χρησιμοποιείται η dcovmean Διαγράμματα που δείχνουν το συνολικό μέσο σφάλμα ταξινόμησης για όλα τα αρχεία εκτός από ένα κάθε φορά, όταν χρησιμοποιείται η dbha Διαγράμματα που δείχνουν το συνολικό μέσο σφάλμα ταξινόμησης για όλα τα αρχεία εκτός από ένα κάθε φορά, όταν χρησιμοποιείται η dkl Εποπτική αναπαράσταση των 5 ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο AT. Αριστερά της ευθείας γραμμής οι ομάδες ανήκουν στο δεύτερο ομιλητή (θα έπρεπε να αποτελούν μία ομάδα, ο αλγόριθμος τείνει να υπερεκτιμά τον αριθμό των - 5 -

7 ομάδων) ενώ δεξιά της ευθείας οι ομάδες ανήκουν στον πρώτο ομιλητή. Οι ακραίες παρατηρήσεις που δεν συμπεριλήφθηκαν στην ομαδοποίηση σημειώνονται με μαύρο χρώμα Εποπτική αναπαράσταση των 9 ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο AT Εποπτική αναπαράσταση των 8 ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο CM Εποπτική αναπαράσταση των 6 ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο CM Εποπτική αναπαράσταση των 8 ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο JB Εποπτική αναπαράσταση των 7 ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο JB Εποπτική αναπαράσταση των 6 ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο LOTR Εποπτική αναπαράσταση των 4 ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο LOTR. Αριστερά της ευθείας γραμμής οι ομάδες ανήκουν στον δεύτερο ομιλητή (θα έπρεπε να αποτελούν μία ομάδα) ενώ η ομάδα δεξιά της ευθείας ανήκει στον πρώτο ομιλητή Εποπτική αναπαράσταση των ομάδων που δημιουργεί ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών για το αρχείο SW.9-6 -

8 Κατάλογος Πινάκων 4. Συμβολισμοί για σύγκριση δύο διαμερίσεων Πίνακας συμφωνίας για τις συναρτήσεις δεικτών Μαθηματικές εκφράσεις για τους όρους abc,, και d Εξωτερικοί δείκτες για σύγκριση δύο διαμερίσεων Πληροφορίες για τις σκηνές που χρησιμοποιήθηκαν στα πειράματα Αποτελέσματα αλγορίθμου για κάθε σκηνή όταν η εκπαίδευση έχει γίνει με αρχικό αριθμό num_cluster στις υπόλοιπες σκηνές και απόσταση είναι η dcovmean Αποτελέσματα αλγορίθμου για κάθε σκηνή όταν η εκπαίδευση έχει γίνει με αρχικό αριθμό num_cluster στις υπόλοιπες σκηνές και απόσταση είναι η dbha Αποτελέσματα αλγορίθμου για κάθε σκηνή όταν η εκπαίδευση έχει γίνει με αρχικό αριθμό num_cluster στις υπόλοιπες σκηνές και απόσταση είναι η dkl Μέσο σφάλμα ταξινόμησης ανά αρχείο ομιλίας, όταν χρησιμοποιείται η μετρική απόστασης dcovmean και ξ= Μέσο σφάλμα ταξινόμησης ανά αρχείο ομιλίας, όταν χρησιμοποιείται η μετρική απόστασης dcovmean και ξ=0.7, 0.8, Μέσο σφάλμα ταξινόμησης ανά αρχείο ομιλίας, όταν χρησιμοποιείται η μετρική απόστασης dkl και ξ= Μέσο σφάλμα ταξινόμησης ανά αρχείο ομιλίας, όταν χρησιμοποιείται η μετρική απόστασης dkl και ξ=0.7, 0.8, Μέσο σφάλμα ταξινόμησης ανά αρχείο ομιλίας, όταν χρησιμοποιείται η μετρική απόστασης dbha και ξ=

9 5.0 Μέσο σφάλμα ταξινόμησης ανά αρχείο ομιλίας, όταν χρησιμοποιείται η μετρική απόστασης dbha και ξ=0.7, 0.8, Κριτήρια μέτρησης αποδοτικότητας του αλγορίθμου όταν χρησιμοποιείται η μετρική απόστασης dcovmean και ξ= Κριτήρια μέτρησης αποδοτικότητας του αλγορίθμου όταν χρησιμοποιείται η μετρική απόστασης dcovmean και ξ=0.7, 0.8, Κριτήρια μέτρησης αποδοτικότητας του αλγορίθμου όταν χρησιμοποιείται η μετρική απόστασης dkl και ξ= Κριτήρια μέτρησης αποδοτικότητας του αλγορίθμου όταν χρησιμοποιείται η μετρική απόστασης dkl και ξ=0.7, 0.8, Κριτήρια μέτρησης αποδοτικότητας του αλγορίθμου όταν χρησιμοποιείται η μετρική απόστασης dbha και ξ= Κριτήρια μέτρησης αποδοτικότητας του αλγορίθμου όταν χρησιμοποιείται η μετρική απόστασης dbha και ξ=0.7, 0.8, Συγκεντρωτικά αποτελέσματα του αλγορίθμου ομαδοποίησης ομιλητών, όταν χρησιμοποιείται η απόσταση dcovmean και οι ακραίες παρατηρήσεις δεν συμπεριλαμβάνονται στην ομαδοποίηση Συγκεντρωτικά αποτελέσματα του αλγορίθμου ομαδοποίησης ομιλητών, όταν χρησιμοποιείται η απόσταση dcovmean και οι ακραίες παρατηρήσεις συμπεριλαμβάνονται στην ομαδοποίηση Συγκεντρωτικά αποτελέσματα του αλγορίθμου ομαδοποίησης ομιλητών, όταν χρησιμοποιείται η απόσταση dkl και οι ακραίες παρατηρήσεις δεν συμπεριλαμβάνονται στην ομαδοποίηση Συγκεντρωτικά αποτελέσματα του αλγορίθμου ομαδοποίησης ομιλητών, όταν χρησιμοποιείται η απόσταση dkl και οι ακραίες παρατηρήσεις συμπεριλαμβάνονται στην ομαδοποίηση

10 5. Συγκεντρωτικά αποτελέσματα του αλγορίθμου ομαδοποίησης ομιλητών, όταν χρησιμοποιείται η απόσταση dbha και οι ακραίες παρατηρήσεις δεν συμπεριλαμβάνονται στην ομαδοποίηση Συγκεντρωτικά αποτελέσματα του αλγορίθμου ομαδοποίησης ομιλητών, όταν χρησιμοποιείται η απόσταση dbha και οι ακραίες παρατηρήσεις συμπεριλαμβάνονται στην ομαδοποίηση Συγκεντρωτικά αποτελέσματα του τροποποιημένου αλγορίθμου ομαδοποίησης ομιλητών για διαφορετικές τιμές του ξ, όταν οι ακραίες παρατηρήσεις δεν συμπεριλαμβάνονται στην ομαδοποίηση Συγκεντρωτικά αποτελέσματα του αρχικού αλγορίθμου ομαδοποίησης ομιλητών για διαφορετικές τιμές του ξ, όταν οι ακραίες παρατηρήσεις δεν συμπεριλαμβάνονται στην ομαδοποίηση[3] Συγκεντρωτικά αποτελέσματα του τροποποιημένου αλγορίθμου ομαδοποίησης ομιλητών για διαφορετικές τιμές του ξ, όταν οι ακραίες παρατηρήσεις συμπεριλαμβάνονται στην ομαδοποίηση Συγκεντρωτικά αποτελέσματα του αρχικού αλγορίθμου ομαδοποίησης ομιλητών για διαφορετικές τιμές του ξ, όταν τα ακραία τμήματα συμπεριλαμβάνονται στην ομαδοποίηση[3]

11 Κατάλογος Συμβόλων s c n ij το πλήθος των προτύπων/τμημάτων ομιλίας. ο συνολικός αριθμός ομιλητών. ο συνολικός αριθμός ομάδων. το πλήθος τμημάτων ομιλίας της ομάδας i που προφέρονται από τον ομιλητή j. n i. το πλήθος τμημάτων ομιλίας που ανήκουν στην ομάδα i. n. j το πλήθος τμημάτων ομιλίας που προφέρονται από τον ομιλητή j. Ρ Π c i x i d μ Σ θ διαμέριση που προκύπτει από κάποιο αλγόριθμο ομαδοποίησης. σύνολο διαμερίσεων. η i -οστή ομάδα κάποιας διαμέρισης. το i -οστό πρότυπο/τμήμα ομιλίας του συνόλου δεδομένων. η διάσταση των προτύπων. μέσο διάνυσμα. πίνακας συμμεταβλητότητας. διάνυσμα παραμέτρων. CM πίνακας συσσυσχέτισης. S σύνολο

12 ΚΕΦΑΛΑΙΟ Εισαγωγή Η ομαδοποίηση αποτελεί μία από τις πιο πρωτόγονες νοητικές δραστηριότητες του ανθρώπου και χρησιμοποιείται για τη διευθέτηση του μεγάλου όγκου των πληροφοριών που ο άνθρωπος λαμβάνει καθημερινά. Η αντιμετώπιση καθεμιάς πληροφορίας ως ξεχωριστής οντότητας θα ήταν αδύνατη. Έτσι οι άνθρωποι συνηθίζουν να ομαδοποιούν οντότητες (αντικείμενα, ανθρώπους, γεγονότα). Μια ομάδα λοιπόν είναι μία συλλογή αντικειμένων τα οποία είναι όμοια μεταξύ τους και ανόμοια με αντικείμενα που ανήκουν σε άλλες ομάδες. Η ομαδοποίηση μπορεί να θεωρηθεί ως το πιο σημαντικό πρόβλημα εκμάθησης χωρίς επιτήρηση και σχετίζεται με την εύρεση μιας δομής σε μία συλλογή δεδομένων τα οποία δεν έχουν ετικέτες. Η ομαδοποίηση αντικειμένων σύμφωνα με τις ομοιότητές τους αποτελεί βάση για πολλές επιστήμες, όπως ιατρικές επιστήμες, επιστήμες ζωής (βιολογία, ζωολογία), κοινωνικές επιστήμες (κοινωνιολογία, αρχαιολογία), επιστήμες που σχετίζονται με τη γη (γεωγραφία, γεωλογία). Έχουν δοθεί διάφορες ονομασίες στην ομαδοποίηση ανάλογα με την επιστημονική περιοχή στην οποία εφαρμόζεται, όπως για παράδειγμα εκμάθηση χωρίς επιτήρηση (στην αναγνώριση προτύπων), αριθμητική ταξινόμηση (στην βιολογία και οικολογία), τυπολογία (στις κοινωνικές επιστήμες) και διαμέριση (στην θεωρία των γράφων). Πρέπει να τονιστεί ότι η ομαδοποίηση των αντικειμένων δεν είναι μοναδική. Είναι δυνατό να υπάρχουν για τα ίδια αντικείμενα, διαφορετικές ομαδοποιήσεις οι οποίες αξιολογούνται ανάλογα με τη χρησιμότητα τους στην έρευνα. Στο Σχήμα. παρουσιάζεται ένα παράδειγμα ομαδοποίησης αντικειμένων σε τέσσερεις ομάδες. - -

13 Σχήμα. Ομαδοποίηση αντικειμένων σε 4 ομάδες χρησιμοποιώντας ως κριτήριο ομοιότητας την απόσταση μεταξύ των αντικειμένων. Ένα είδος ομαδοποίησης είναι η βασισμένη στην απόσταση ομαδοποίηση η οποία γίνεται με κριτήριο ομοιότητας την απόσταση μεταξύ των αντικειμένων. Υπάρχει και η εννοιολογική ομαδοποίηση, όπου δύο ή περισσότερα αντικείμενα ανήκουν στην ίδια ομάδα εάν αυτή καθορίζει μία έννοια κοινή για όλα αυτά τα αντικείμενα. Δηλαδή τα αντικείμενα ομαδοποιούνται σύμφωνα με την προσαρμογή τους σε περιγραφικές έννοιες και όχι σύμφωνα με απλά μέτρα ομοιότητας. Οι αλγόριθμοι ομαδοποίησης μπορούν να ταξινομηθούν στις ακόλουθες κατηγορίες: Αποκλειστικής ομαδοποίησης (K-μέσου): τα πρότυπα ομαδοποιούνται με έναν μοναδικό τρόπο έτσι ώστε ένα πρότυπο ανήκει σε μία και μόνο ομάδα. Επικαλυπτόμενης ομαδοποίησης (Ασαφείς Κ-μέσου): κάθε πρότυπο μπορεί να ανήκει σε μία ή περισσότερες ομάδες με διαφορετικό βαθμό συμμετοχής. Ιεραρχικής ομαδοποίησης: βασίζεται στην ένωση γειτονικών ομάδων. Αρχικά κάθε πρότυπο αποτελεί μία ομάδα και στη συνέχεια μετά από μερικές επαναλήψεις δημιουργείται μία μόνο ομάδα με όλα τα πρότυπα. Πιθανοκρατικής ομαδοποίησης (Μίγματα Γκαουσιανών): όπου χρησιμοποιείται μία πιθανοκρατική προσέγγιση. - -

14 Σε κάθε περίπτωση εφαρμογής μεθόδων ανάλυσης ομαδοποίησης, τα δεδομένα παριστάνονται με πίνακα δεδομένων X = [ x, x,..., x M ], ο οποίος μπορεί να περιέχει δεδομένα ποσοτικά, ποιοτικά ή μικτά. Κάποιες μέθοδοι, όπως οι ιεραρχικές, βασίζονται στη μετατροπή του πίνακα δεδομένων σε πίνακα ομοιοτήτων, ανομοιοτήτων ή αποστάσεων ανάμεσα στα πρότυπα. Γενικά, χρησιμοποιείται ο όρος 'πίνακας εγγύτητας' (proximity matrix) που εκφράζει πόσο 'κοντά' βρίσκεται το κάθε πρότυπο με όλα τα άλλα. Τα βασικά στάδια που πρέπει να ακολουθηθούν κατά την ομαδοποίηση φαίνονται στο Σχήμα. Επιλογή δεδομένων Εύρεση μέτρου εγγύτητας Κριτήριο ομαδοποίησης Αλγόριθμος ομαδοποίησης Ερμηνεία των αποτελεσμάτων Αξιολόγηση των αποτελεσμάτων Σχήμα.: Στάδια ομαδοποίησης - 3 -

15 . Στόχος διατριβής Όπως αναφέρθηκε και προηγουμένως η διατριβή αυτή ασχολείται με το πρόβλημα της ομαδοποίησης ομιλητών το οποίο ορίζεται ως εξής: Δοθέντος ενός συνόλου τμημάτων ομιλίας, που το καθένα ανήκει σε κάποιον ομιλητή, να βρεθεί ένας συστηματικός τρόπος, ώστε όμοια τμήματα ομιλίας να ανατεθούν στην ίδια ομάδα [6]. Η μελέτη και κατανόηση του αλγορίθμου ομαδοποίησης που παρουσιάστηκε στο [3] αποτέλεσε την αφετηρία για την ανάπτυξη του τροποποιημένου αλγορίθμου ομαδοποίησης. Συγκεκριμένα έχοντας ως βάση τον αρχικό αλγόριθμο ομαδοποίησης ομιλητών, η παρούσα διατριβή έχει στόχο την δημιουργία μιας νέας έκδοσης, η οποία θα φέρει καλύτερα αποτελέσματα. Επιπλέον, στόχο της παρούσας διατριβής αποτελεί η αξιολόγηση των αποτελεσμάτων του τροποποιημένου αλγορίθμου ομαδοποίησης με έναν ικανοποιητικό αριθμό κριτηρίων και δεικτών καθώς και η εποπτική αναπαράσταση των ομαδοποιήσεων προκειμένου να αξιολογηθούν σε βάθος οι προκύπτουσες λύσεις.. Δομή της διατριβής Η παρούσα διατριβή είναι χωρισμένη σε έξι κεφάλαια. Στο κεφάλαιο περιγράφονται σύντομα οι βασικές έννοιες των κανονικών κατανομών και των μιγμάτων κανονικών κατανομών και γίνεται μία αναλυτική παρουσίαση των μετρικών που χρησιμοποιούνται για τον υπολογισμό της απόστασης μεταξύ τμημάτων ομιλίας. Στο κεφάλαιο 3 παρουσιάζεται ο αρχικός αλγόριθμος ομαδοποίησης ομιλητών και ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών που αναπτύχθηκε στα πλαίσια της διατριβής αυτής. Στο κεφάλαιο 4 αναλύονται τα κριτήρια και οι δείκτες μέτρησης της απόδοσης του τροποποιημένου αλγορίθμου ομαδοποίησης και γίνεται αναφορά στη σχετική βιβλιογραφία. Τα δεδομένα που χρησιμοποιήθηκαν στον τροποποιημένο αλγόριθμο ομαδοποίησης ομιλητών, τα πειραματικά αποτελέσματα καθώς και η σύγκριση των αποτελεσμάτων αυτών με τα αποτελέσματα που προκύπτουν από τον αρχικό αλγόριθμο ομαδοποίησης παρουσιάζονται στο κεφάλαιο 5. Τέλος στο κεφάλαιο 6 εξάγονται συμπεράσματα

16 ΚΕΦΑΛΑΙΟ Μετρικές απόστασης Στο κεφάλαιο αυτό παρουσιάζονται οι μετρικές απόστασης που χρησιμοποιήθηκαν στον τροποποιημένο αλγόριθμο ομαδοποίησης ομιλητών, όπου τα δεδομένα μοντελοποιούνται με κανονικές κατανομές. Είναι χρήσιμο λοιπόν να προηγηθεί της ανάλυσης των μετρικών απόστασης, μια σύντομη αναφορά στις κανονικές κατανομές και στα μείγματα κανονικών κατανομών.. Κανονική κατανομή Η κανονική ή Γκαουσιανή κατανομή αποτελεί την πιο κοινή και πιο εύκολη κατανομή για συνεχείς τυχαίες μεταβλητές. Η μονοδιάστατη κανονική κατανομή δίνεται από τον τύπο: ( x μ ) P( x μσ, ) = ( x; μσ, ) = exp. πσ σ ( ) Όπου μ είναι η μέση τιμή και σ η διακύμανση. Ένα παράδειγμα μονοδιάστατης κανονικής κατανομής φαίνεται στο Σχήμα. Σχήμα. Παράδειγμα μονοδιάστατης κανονικής κατανομής με μέση τιμή 3 και τυπική απόκλιση

17 Το τυχαίο διάνυσμα x ακολουθεί πολυδιάστατη Γκαουσιανή κατανομή με μέσο διάνυσμα μ και πίνακα συμμεταβλητότητας Σ η οποία δίνεται από την εξίσωση: p( x θ) = p ( x μσ, ) = exp - -. d x μ Σ x μ Σ ( π ) Ένα σημαντικό χαρακτηριστικό της πολυδιάστατης κανονικής κατανομής είναι ότι περιγράφεται πλήρως από το μέσο διάνυσμα της μ = [ μ, μ,..., μ ] T d, και τον πίνακα συμμεταβλητότητας Σ, ο οποίος είναι τετραγωνικός πίνακας διάστασης d d, συμμετρικός και θετικά ημιορισμένος. Το μέσο διάνυσμα της κατανομής και ο πίνακας συμμεταβλητότητας συγκροτούν το διάνυσμα παραμέτρων θ της κατανομής. Στο Σχήμα. που ακολουθεί δίνεται ένα παράδειγμα πολυδιάστατης κανονικής κατανομής. Τ ( ) ( ) ( ) Σχήμα.: Παράδειγμα πολυδιάστατης κατανομής []

18 . Μίγμα κανονικών κατανομών Σ ένα πρόβλημα ομαδοποίησης ομιλητών, κάθε κλάση αναπαρίσταται μαθηματικά με μία παραμετρική κατανομή, όπως για παράδειγμα την Γκαουσιανή. Ολόκληρο το σύνολο δεδομένων μοντελοποιείται από ένα μίγμα τέτοιων κατανομών, κάθε μία από τις οποίες καλείται συνιστώσα του μίγματος. Έστω ότι έχουμε c συνιστώσες (κλάσεις). Κάθε συνιστώσα κανονική κατανομή που περιγράφεται από τη μέση τιμή της αντίστοιχο πίνακα συνδιασποράς συνάρτηση πυκνότητας p( x μ, Σ ). Έστω i i Gi είναι μία μi και από τον Σ i. Με βάση την (.), η υπό συνθήκη πιθανότητας των προτύπων συμβολίζεται με w i η εκ των προτέρων πιθανότητα της συνιστώσας G, i δηλαδή η πιθανότητα κάποιο πρότυπο του συνόλου δεδομένων να ανήκει στην συνιστώσα G. i Τότε η συνάρτηση πυκνότητας πιθανότητας των προτύπων είναι: p C ( x) w p( x θ ) (.3 ) = i= i i Στο Σχήμα.3 φαίνεται ένα μίγμα κανονικών κατανομών και οι συνιστώσες από τις οποίες αποτελείται. Σχήμα.3 Παράδειγμα μίγματος κανονικών κατανομών με τρεις συνιστώσες [6] - 7 -

19 Ένα κρίσιμο ζήτημα που προκύπτει είναι το εξής: Δοθέντος ενός συνόλου ανεξάρτητων μεταξύ τους προτύπων = [ ] X x, x,..., x, να βρεθεί το μίγμα κανονικών κατανομών που να το περιγράφει. Στην ουσία πρέπει να εκτιμηθούν τα διανύσματα παραμέτρων = [,, w ] θi μi Σ i i,,,..., c i = κάθε συνιστώσας του μίγματος. Η εκτίμηση γίνεται χρησιμοποιώντας τον αλγόριθμο μεγιστοποίησης και αναμενόμενης τιμής (Expectation-Maximization-ΕΜ), ο οποίος δεν θα μας απασχολήσει στα πλαίσια αυτής της εργασίας..3 Μετρικές απόστασης κανονικών κατανομών Οι κανονικές κατανομές είναι μια συνηθισμένη τεχνική μοντελοποίησης τμημάτων ομιλίας. Όταν τα δεδομένα μοντελοποιούνται με κανονικές κατανομές είναι απαραίτητος ο υπολογισμός της απόστασης μεταξύ των κατανομών προκειμένου να ληφθεί κάποια απόφαση η οποία μπορεί να αφορά είτε θέματα αναγνώρισης, είτε κατάτμησης, είτε ομαδοποίησης ομιλητών. Στη βιβλιογραφία έχουν προταθεί πολλές μετρικές απόστασης μεταξύ κανονικών κατανομών, όπως η Ευκλείδεια [0], η Mahalanobis [0], το μέτρο ομοιότητας συνημίτονου (CSM), η Kullback-Leibler (KL) [3, 5, 4], η συμμετρική Kullback-Leibler [5], η Βhattacharyya [3,7], ο λόγος γενικευμένης πιθανοφάνειας (generalized likelihood ratio-glr) [7], η διασταυρωμένη εντροπία (cross entropy-ce) [44] κ.α. Στον αλγόριθμο που αναπτύσσεται εκτός της απόστασης μεταξύ κανονικών κατανομών θα μελετηθεί και η απόσταση μεταξύ μιας παραμέτρου θst κανονικής κατανομής και ενός μίγματος κανονικών κατανομών με c συνιστώσες θ = θ, θ,..., θ c. Πρέπει λοιπόν να οριστεί μια αντίστοιχη μετρική απόστασης. Η απόσταση μεταξύ μιας παραμέτρου θst κανονικής κατανομής και ενός μίγματος κανονικών κατανομών ορίζεται ως το σταθμισμένο άθροισμα των αποστάσεων ανάμεσα στο μοντέλο θst και σε κάθε συνιστώσα θ i του μίγματος [5]: c D= wd θ θ i= (, ) (.4) i st i - 8 -

20 όπου (, ) θ i. d θst θi οποιαδήποτε μετρική απόστασης ανάμεσα στα μοντέλα st θ και Στην παρούσα εργασία για τον υπολογισμό της απόστασης σε καθεμιά από τις παραπάνω δύο περιπτώσεις, δοκιμάστηκαν η μετρική λcovmean, που προτάθηκε στο [9], η οποία είναι βασισμένη στο λόγο μέγιστης πιθανοφάνειας, η μετρική Bhattacharyya[3,7] και η μετρική Kullback-Liebler [3]. Ακολουθεί μία ανάλυση των παραπάνω μετρικών..3. Μετρική dcovmean Θεωρούμε ότι έχουμε δυο κανονικές κατανομές θ =[ μ,σ ] και θ =[ μ,σ ] με και πρότυπα, αντίστοιχα. Έστω τώρα ότι έχουμε δύο πρότυπα x και y. Οι υποθέσεις που θα εξεταστούν είναι οι εξής [9]: H 0 : τα πρότυπα ανήκουν στην ίδια κατανομή Η : τα πρότυπα ανήκουν σε διαφορετικές κατανομές Εάν L(x;μ,Σ ) είναι η πιθανοφάνεια του x και L(y;μ,Σ ) η πιθανοφάνεια του y, τότε η πιθανοφάνεια L των δύο προτύπων να ανήκουν σε διαφορετικές κατανομές δίνεται από τον τύπο: L = L(x;μ,Σ )L(y;μ,Σ ). Επιπλέον η πιθανοφάνεια L 0 των δύο προτύπων να ανήκουν στην ίδια κατανομή δίνεται από τον τύπο : L 0 = L(z; μ, Σ) όπου z είναι η ένωση των x και y. Εάν συμβολίσουμε με λ το λόγο πιθανοφάνειας, τότε [9]: λ = L L( z; μ, Σ) ( x; μ, Σ ) L( y; μ, Σ ) (.5) Εάν χρησιμοποιήσουμε τα μείγματα κανονικών κατανομών στον τύπο πιθανοφάνειας, τότε ο λόγος πιθανοφάνειας μπορεί να γραφτεί ως εξής [9]: όπου λ = λ λ COV MEA (.6) λ COV είναι ο λόγος πιθανοφάνειας που ελέγχει την υπόθεση ότι τα δύο πρότυπα είναι δύο μοντέλα με τον ίδιο πίνακα συμμεταβλητότητας χωρίς να γίνεται καμία υπόθεση για την ισότητα των μέσων και λmea είναι ο λόγος

21 πιθανοφάνειας που ελέγχει την υπόθεση ότι τα δύο πρότυπα είναι δύο μοντέλα με τα ίδια μέσα διανύσματα χωρίς να γίνεται καμία υπόθεση για την ισότητα των πινάκων συμμεταβλητότητας. Το λ COV υπολογίζεται από την ακόλουθη σχέση [9]: λ COV α α Σ Σ = W (.7) όπου α = και W = Σ + Σ Το λ MEA υπολογίζεται από την ακόλουθη σχέση [9]: λ MEA = +.8 T ( μ μ ) W ( μ μ ) ( ) Οι τύποι των αποστάσεων προκύπτουν παίρνοντας τους αρνητικούς λογαρίθμους των παραπάνω πιθανοτήτων. Έτσι: d d d COV MEA COVMEA ( ) = log λ.9 Η εξίσωση (.) αποτελεί τον συνδυασμό των αποστάσεων COV ( ) = log λ.0 MEA = log λ COVMEA ( ) = logλ log λ = d + d. COV MEA COV MEA d και d και θα χρησιμοποιηθεί στον τροποποιημένο αλγόριθμο ομαδοποίησης ομιλητών. Πρέπει να τονιστεί ότι οι παραπάνω μετρικές είναι πάντα θετικές, αφού ο λόγος πιθανοφάνειας από τον οποίο προκύπτουν είναι μεγαλύτερος του μηδενός και μικρότερος της μονάδας, αλλά δεν ικανοποιούν την τριγωνική ανισότητα. Υπό COV MEA - 0 -

22 την αίρεση αυτή, δεν είναι δόκιμος ο όρος 'απόσταση', ο οποίος όμως θα χρησιμοποιείται καταχρηστικά στο εξής. Στη συνέχεια παρατίθεται μια μαθηματική ανάλυση η οποία εξηγεί πως καταλήγουμε στον τύπο [30]: α α Σ Σ λ = λcovλmea = +. W T ( μ μ ) W ( μ μ ) ( ) Από τον Anderson [30] έχουμε ότι ο λόγος πιθανοφάνειας της υπόθεσης λ A A A A = = ρ ρ ρ ρ ρ ρ B B ρ ρ ρ ρ ρ ρ B ( ) ( ) B α ( ( α) ) A A A A = = = A A B α ρ ρ + = A A α ρ ( α) ρ ρ ρ ( ) ( ) B α α α α ρ ρ ρ ρ ( α ) α A A A A = = B α α B α α α α ( ) ( ) ( ) ( α ) Ν α α ρ ρ ( α ) α B αρ ρ α A A A A = = B α ( α ) α α ( ( ) ( ) ) α α A A ρ α α B = α ( α ) (.3) - -

23 όπου: g= ( g) ( g) T B = A+ ( x x)( x x) = g () () ( ) ( ) T A + A + ( x x)( x x) + ( x x)( x x) = T () () ( ) ( ) T ( ) T = Σ + Σ + ( x x)( x x) + ( x x)( x x).4 και οπότε ( ) x () ( ) () ( ) () ( ) = α α α ( α).5 x + x = + = + α= α= x x x x ( ) ( ) ( ) ( ) () ( ) ( α) x x = x αx x ( ) ( ) ( ) () ( ) ( ) ( ) = α x α x = α x x.6 ( ) ( ) ( ) ( ) ( ) () ( ) ( ) () ( ) ( ) (.7) ( ) ( ) ( ) x x = x αx α x = x + α αx = α x x = α x x ( ) και () () ( )( ) ( ) ( ) ( ) ( ) ( )( ) T x x x x + x x x x T () ( ) () ( ) ( )( ) ( ) () ( ) () ( ) ( )( ) = α α x x x x + α α x x x x () ( ) () ( ) ( )( ) = α α α + α x x x x ( α) T () ( ) () ( ) ( x x )( x x ) ( ) = α.8 T T T - -

24 Επομένως ( ) ( ) () ( ) () ( ) ( )( ) B = ασ + α Σ + α α x x x x = T () ( ) () ( ) ( )( ) ( ) ασ+ ( α) Σ + α( α) x x x x.9 T Η εξίσωση (.3) παίρνει τώρα την παρακάτω μορφή: α α Σ Σ λ = B α α ( α) αρ ρ ( ) ( ( )) ( α ) α α ρ( α) αρ + ρ( α) α ρ ρα α ρ( α) α Σ Σ = B α α ( α) α ρ ρα α α ( α) Σ ( α) Σ = B α α ( α) = α α Σ Σ = ρ α α α ( α) B α α α ( α) α α Σ ρ Σ = = B αρ ρ ( α ) α α ( α) Σ Σ ρ α B α α ( Σ Σ ) ρ W ρ α ρ α α ( ) α α W = Σ Σ Σ = Σ W (.0) - 3 -

25 Όπου: () () T Σ = ( x x )( x x ). α α α = α α α = ( ) ( ) ( ) T Σ = ( x x )( x x ). ( ) ( ) ( ) () ( ) () ( ) ( )( ) W = ασ + α Σ + α α x x x x ( α) θέτουμε V = ασ + Σ και έχουμε: ( α) () ( ) () ( ) ( ) x T () ( ) ( ) T ( ) () ( ) ( ) W = V + α x x x = V + α( α) x x V x x = T () ( ) () ( ) ( ) ( ) ( ) V + α( α) x x V x x.3 Τελικά η εξίσωση (.0) με τη χρήση της (.3) γίνεται: α α Σ Σ T ( ) + α Σ λ = α () ( ) () ( ) Σ + α( α) ( x x ) V ( x x ) α α T Σ () ( ) ( ) α α T Σ () ( ) ( ) () ( ) ( ) Σ = α( α) α ( α + x x V x x + ) Σ Σ () ( ) ( ) COV MEA ( ) Σ = + α( α) x x V x x = λ λ.4 V - 4 -

26 .3. Μετρική Bhattacharyya Η μετρική Bhattacharyya [3] είναι ένα θεωρητικό μέτρο απόστασης μεταξύ δύο κανονικών κατανομών το οποίο παρέχει ένα άνω όριο της πιθανότητας του σφάλματος ταξινόμησης κατά Bayes. Χρησιμοποιείται ευρέως στη στατιστική αναγνώριση προτύπων και έχει τις επιθυμητές ιδιότητες για να χρησιμοποιηθεί υπολογιστικά σε κανονικές κατανομές. Στη συζήτηση που ακολουθεί χρησιμοποιούνται οι παρακάτω συμβολισμοί: ω : κλάση i, i =, i P : πιθανότητα του ω i μ : το μέσο διάνυσμα της κλάσης ω i i i Σ : ο πίνακας συμμεταβλητότητας της κλάσεως ω Η απόσταση Bhattacharyya είναι ένα μέτρο διαχωρισμού μεταξύ δύο κανονικών κατανομών ( μ, ) και ( μ, ) i i Σ Σ και ορίζεται ως εξής [3]: Σ + Σ Σ + Σ dbha = + 8 Σ Σ T ( μ μ ) ( μ μ ) ln (.5) Ο πρώτος όρος της εξίσωσης (.5) δίνει το διαχωρισμό των κλάσεων εξαιτίας της διαφοράς των μέσων τους, ενώ ο δεύτερος όρος δίνει το διαχωρισμό των κλάσεων εξαιτίας της διαφοράς των πινάκων συμμεταβλητότητάς τους. Επιπλέον το βέλτιστο σφάλμα ταξινόμησης του Bayes μεταξύ των κλάσεων οριοθετείται από την ακόλουθη μαθηματική έκφραση [3]: ε PP ( dbha ) ( ) exp.6 Θα αναφερόμαστε στο άνω όριο της πιθανότητας σφάλματος, που προέρχεται από την ανισότητα (.7), εάν θέσουμε P =P =0.5, ως το σφάλμα Bhattacharyya το οποίο είναι [3]: ( dbha) ( ) ε = 0.5 exp.7 BHA - 5 -

27 Θέτοντας τις δύο πιθανότητες ίσες, οι όροι dbha και ε BHA είναι ισοδύναμοι γιατί και οι δύο δείχνουν τον εγγενή διαχωρισμό των δύο κατανομών ανεξαρτήτως των αρχικών πιθανοτήτων τους. Η αρχική ερμηνεία του Bhattacharyya για το μέτρο ομοιότητας είναι γεωμετρική [7]. θεωρούμε δύο πληθυσμούς καθένας από τους οποίους αποτελείται από k κλάσεις με σχετικές πιθανότητες k p, p,, pk και p', p',, p' kαντίστοιχα. Έτσι καθώς p = και p ' = i i= i= ο Bhattacharyya σημείωσε ότι τα ( p,, pk ) και ( p',, p' k ) k θα μπορούσαν να θεωρηθούν ως τα συνημίτονα κατεύθυνσης δύο διανυσμάτων σε χώρο k διαστάσεων που αναφέρεται σε ένα σύστημα ορθογωνίων συντεταγμένων αξόνων. Επειδή πρόκειται για μέτρο απόκλισης μεταξύ δύο πληθυσμών, ο Bhattacharyya χρησιμοποίησε το τετράγωνο της γωνίας μεταξύ των δύο διανυσμάτων θέσης. Εάν θ είναι η γωνία μεταξύ των δύο διανυσμάτων τότε : Έτσι εάν οι δύο πληθυσμοί είναι ίδιοι ισχύει: cosθ =, όπου θ = 0. Ο Bhattacharyya στη συνέχεια απέδειξε ότι ένα μέτρο απόκλισης θα μπορούσε να αποκτηθεί μεταξύ δύο πληθυσμών που έχουν ορισθεί με οποιοδήποτε τρόπο με την προϋπόθεση ότι οι πληθυσμοί έχουν τον ίδιο αριθμό μεταβλητών. Η μετρική Βhattacharyya έχει πολλά πλεονεκτήματα μεταξύ των οποίων συγκαταλέγονται τα εξής [7]: ) Είναι εύκολα υπολογίσιμη ) Μετράει την ομοιότητα σε μία περιοχή όπου όλα τα σφάλματα είναι σταθερά 3) Είναι στατιστικά αμερόληπτη. k i ( ) cos θ = pp i ' i.8 i - 6 -

28 .3.3 Μετρική Kullback-Leibler (KL) Η μετρική Kullback-Leibler αποτελεί ένα θεωρητικό μέτρο απόστασης μεταξύ συναρτήσεων πυκνότητας πιθανότητας. Έστω p, p οι δύο κατανομές, τότε η KL απόκλιση δίνεται από τον τύπο []: Επειδή υπάρχει δυσκολία να οριστεί η KL απόκλιση μεταξύ μειγμάτων κανονικών κατανομών, χρησιμοποιείται η προσομοίωση Monte-Carlo για να προσεγγίσει την KL απόκλιση μεταξύ δύο μειγμάτων κανονικών κατανομών p, p ως εξής [3]: Το μειονέκτημα των τεχνικών Monte-Carlo είναι το μεγάλο υπολογιστικό κόστος και το γεγονός ότι συγκλίνουν αργά. Επιπλέον, εξαιτίας της στοχαστικής φύσης της μεθόδου Monte-Carlo, οι προσεγγίσεις της απόστασης μπορεί να διαφέρουν μεταξύ διαφορετικών υπολογισμών. Καθώς η απόσταση Kullback-Leibler δεν είναι συμμετρική, χρησιμοποιείται συχνά μία συμμετρική έκδοσή της ιδιαίτερα στην ανάκτηση μουσικών πληροφοριών []: Στην περίπτωση που έχουμε κανονικές κατανομές (, Σ ) και (, Σ ) απόσταση Kullback-Leibler δίνεται από την [3]: ( x) ( x) p dkl p p = p ( x) dx p ( ) (, ) log.9 ( ) ( x) ( x) ( xt ) ( ) n \ \ = log log.30 p n t= p xt KL p p p ( x) ( x) p p dkl p p + dkl p p = p ( ) d p ( ) d p p μ μ η ( ) (, ) (, ) x log x+ x log x.3 dkl = p ( ) Τ ( μ μ ) ( Σ Σ )( μ μ ) tr ( Σ Σ Σ Σ Ι) (.3) p Η μετρική Kullback-Leibler, όπως και η dcovmean και η Bhatacharayya, δεν ικανοποιουν την τριγωνική ανισότητα. Στον τροποποιημένο αλγόριθμο ομαδοποίησης ομιλητών δοκιμάστηκαν και οι τρεις παραπάνω μετρικές τα αποτελέσματα των οποίων παρατίθενται στο κεφάλαιο

29 Κεφάλαιο 3 Αρχικός και τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών Στο κεφάλαιο αυτό περιγράφεται ο αλγόριθμος ομαδοποίησης ομιλητών που προτείνεται στο [3] και ο τροποποιημένος αλγόριθμος ομαδοποίησης ομιλητών που βασίστηκε σ αυτόν και μελετάται στη διατριβή αυτή. Οι δύο αλγόριθμοι αποτελούνται από 4 στάδια και είναι ακολουθιακοί, δηλαδή η έξοδος κάθε σταδίου αποτελεί είσοδο του επόμενου. Στο πρώτο στάδιο εκτελείται κατάτμηση ομιλητών. Τα τμήματα ομιλίας που προκύπτουν αποτελούν την είσοδο του δεύτερου σταδίου, όπου δημιουργούνται μοντέλα για την περιγραφή καθενός από αυτά. Το τρίτο στάδιο εκτελεί την ομαδοποίηση των μοντέλων χρησιμοποιώντας τον αλγόριθμο συσσώρευσης ενδείξεων. Τέλος, στο τέταρτο στάδιο συγχωνεύονται οι ομάδες με τη μεγαλύτερη ομοιότητα, ώστε να προκύψει η τελική διαμέριση. Ο αλγόριθμος ομαδοποίησης ομιλητών παρουσιάζεται σχηματικά στο Σχήμα 3.. Στις ενότητες που ακολουθούν περιγράφονται αναλυτικά τα στάδια του αλγορίθμου

30 Σήμα ομιλίας Κατάτμηση ομιλητών Δημιουργία μοντέλων Ομαδοποίηση μοντέλων Συγχώνευση ομάδων Σχήμα 3.: Βήματα αλγορίθμου ομαδοποίησης ομιλητών και τροποποιημένου αλγορίθμου ομαδοποίησης ομιλητών

31 3. Κατάτμηση ομιλητών Το σήμα ομιλίας αρχικά απαλλάσσεται από τις σιωπές και τα άηχα τμήματα ομιλίας χρησιμοποιώντας το εργαλείο ΡRΑΑΤ. Έπειτα, εφαρμόζεται ο αλγόριθμος κατάτμησης ομιλητών ο οποίος διαχωρίζει το σήμα ομιλίας σε ομογενή τμήματα και προσδιορίζει τα τμήματα ομιλίας που περιέχουν πληροφορία από κάποιον συγκεκριμένο ομιλητή [3]. Χρησιμοποιούνται μη επικαλυπτόμενα ορθογώνια παράθυρα διάρκειας 0.5 δευτερολέπτου και εξάγονται 4 ΜFCCs κάθε 0 χιλιοστά του δευτερολέπτου (ms) χρησιμοποιώντας παράθυρα Hamming διάρκειας 0 ms. Χρησιμοποιήθηκαν οι ΜFCCs οι οποίοι αποδίδουν καλύτερα από τους LPCs σε περιβάλλοντα με θόρυβο. Η διακριτική ανάλυση της κατάτμησης είναι ίση με 0.5 δευτερόλεπτα. Στο στάδιο αυτό, οι τιμές των παραμέτρων αρχικοποιήθηκαν με τρόπο ώστε να εξασφαλίζεται η υπερκατάτμηση του σήματος ομιλίας για να προκύψουν ομοιογενή τμήματα ομιλίας. Είναι σημαντικό τα τμήματα ομιλίας που πρόκειται να ομαδοποιηθούν να περιέχουν δεδομένα από ένα μόνο ομιλητή. Στο Σχήμα 3. φαίνεται το αποτέλεσμα του αλγορίθμου κατάτμησης ομιλητών που χρησιμοποιεί το κριτήριο ΒΙC πάνω σε ένα αρχείο ομιλίας. Όπως φαίνεται το σήμα ομιλίας έχει υπερ-κατατμηθεί. Η έξοδος του σταδίου κατάτμησης ομιλητών είναι τμήματα ομιλίας τα οποία πρόκειται να ομαδοποιηθούν. Είναι προφανές πως η καλή απόδοση του αλγορίθμου κατάτμησης ομιλητών, δηλαδή η δημιουργία ομοιογενών τμημάτων ομιλίας που περιέχουν ομιλία από ένα μόνο ομιλητή, αποτελεί προαπαιτούμενο για την καλή απόδοση του αλγορίθμου ομαδοποίησης. Σχήμα 3.: Αποτέλεσμα αλγορίθμου κατάτμησης ομιλητών που χρησιμοποιεί το κριτήριο ΒΙC. Οι κόκκινες γραμμές αντιστοιχούν στα σημεία εναλλαγής ομιλητών που έχουν εντοπιστεί. Ο οριζόντιος άξονας είναι ο άξονας του χρόνου [3]

32 3. Κατασκευή μοντέλων Το δεύτερο στάδιο των δύο αλγορίθμων παίρνει σαν είσοδο τα τμήματα ομιλίας που προέκυψαν από το στάδιο κατάτμησης ομιλίας. Οι αλγόριθμοι θεωρούν ότι τα αποτελέσματα της κατάτμησης είναι σωστά και ότι κάθε τμήμα ομιλίας περιέχει δεδομένα από ένα μόνο ομιλητή. Επιπλέον, θεωρείται ότι τα χαρακτηριστικά διανύσματα κάθε τμήματος είναι στατιστικά ανεξάρτητα μεταξύ τους, και άρα κάθε τμήμα ομιλίας πολυδιάστατη κανονική κατανομή ( μ, Σ ) x i μπορεί να μοντελοποιηθεί με μια i i. Τελικά, η έξοδος του σταδίου αυτού είναι κανονικά μοντέλα, που περιγράφουν τα τμήματα ομιλίας. 3.3 Αλγόριθμος συσσώρευσης ενδείξεων Τα μοντέλα που δημιουργήθηκαν στο δεύτερο στάδιο θα αποτελέσουν είσοδο για τον αλγόριθμο συσσώρευσης ενδείξεων [3]. Ο αλγόριθμος συσσώρευσης ενδείξεων (evidence accumulation) προτάθηκε στα [6, 7] και στοχεύει στο συνδυασμό των αποτελεσμάτων απλών αλγορίθμων ομαδοποίησης, ώστε να αποκαλυφθεί η εσωτερική δομή των δεδομένων και οι πραγματικές ομάδες που ενυπάρχουν. Η ιδέα αυτή προέκυψε από το γεγονός ότι διαφορετικοί αλγόριθμοι ομαδοποίησης χρησιμοποιούν διαφορετικές μετρικές και θεωρούν συγκεκριμένα σχήματα των ομάδων, πράγμα που σημαίνει πως ο συνδυασμός τους θα μπορούσε να περιγράψει καλά οποιαδήποτε δεδομένα. Ο αλγόριθμος αυτός χρησιμοποιεί τα σύνολα διαμέρισης και ως συνάρτηση διαίσθησης χρησιμοποιείται ένας συνδυασμός του πίνακα συσχέτισης και της ψηφοφορίας. Έστω X = { } d x, x,..., x, x R τα πρότυπα που πρέπει να ομαδοποιηθούν ( x = θ = ( μ, Σ) ). Στην περίπτωση της ομαδοποίησης ομιλίας τα πρότυπα είναι τμήματα ομιλίας (που περιγράφονται ως κανονικές κατανομές). Ένας οποιοσδήποτε αλγόριθμος ομαδοποίησης παίρνει σαν είσοδο τα Ν πρότυπα και παράγει σαν έξοδο μια διαμέριση Ρ i c ομάδων, με βάση κάποιο μέτρο ομοιότητας (ή απόστασης). Γενικά, διαφορετικοί αλγόριθμοι ομαδοποίησης μπορεί να οδηγήσουν σε διαφορετικές διαμερίσεις των ίδιων δεδομένων ή ακόμα και ίδιοι αλγόριθμοι ομαδοποίησης είναι δυνατό να δώσουν ως έξοδο διαφορετικές διαμερίσεις των ίδιων δεδομένων, ανάλογα με την αρχικοποίηση και

33 τις παραμέτρους που χρησιμοποιούν. Ένα σύνολο διαμερίσεων ορίζεται ως το σύνολο T διαφορετικών διαμερίσεων του Χ: Π= T { P, P,..., P } ( 3.) T T T T {,,..., },..., {,,..., } ( 3.) c P = c c c P = c c c C T όπου i c j είναι η j -οστή ομάδα της διαμέρισης i n j το πλήθος των στοιχείων της ομάδας i c j, έτσι ώστε i P η οποία έχει c i ομάδες, και Το πρόβλημα που τίθεται είναι να βρεθεί η βέλτιστη διαμέριση Ρ* με * c ομάδες που προκύπτει συνδυάζοντας τις διαμερίσεις του συνόλου διαμερίσεων Π. Στην ιδανική περίπτωση έχει τις ακόλουθες ιδιότητες: * c =. Η διαμέριση Ρ* πρέπει να s ci j= i n = n, i =,,..., j T. Συμφωνία με το σύνολο διαμερίσεων του Π.. Ευρωστία σε μικρές διαφοροποιήσεις του συνόλου διαμερίσεων Π 3 Συμφωνία με τη βάσιμη αλήθεια (ground truth), αν είναι διαθέσιμη η πληροφορία αυτή. Η ιδέα πίσω από τον αλγόριθμο συσσώρευσης ενδείξεων είναι να συνδυαστούν τα αποτελέσματα των διαμερίσεων, αντιμετωπίζοντας κάθε μια από αυτές σαν ένα ανεξάρτητο αποτέλεσμα οργάνωσης των προτύπων. Για να μπορέσουν να συνδυαστούν τα αποτελέσματα των T διαμερίσεων, κάθε μια από τις οποίες έχει διαφορετικό αριθμό ομάδων, προτείνεται ένας μηχανισμός ψηφοφορίας που οδηγεί στον ορισμό ενός νέου μέτρου απόστασης μεταξύ των προτύπων. Η βασική υπόθεση που γίνεται είναι πως τα πρότυπα που πραγματικά ανήκουν στην ίδια ομάδα, θα ανήκουν στην ίδια ομάδα και στις διαφορετικές διαμερίσεις που προκύπτουν. Εισάγεται, λοιπόν, η έννοια του πίνακα συσσυσχέτισης (co-association matrix) που προκύπτει ως εξής [6,7]: - 3 -

34 n (, ) = ij ( 3.3) CM i j T όπου nij εκφράζει την συχνότητα με την οποία το ζεύγος προτύπων x i και x j βρίσκεται στην ίδια ομάδα στις T διαμερίσεις. Η διάσταση του πίνακα συσσυσχέτισης είναι προφανώς. Στην ουσία, ο αλγόριθμος συσσώρευσης ενδείξεων μετασχηματίζει το σύνολο των διαμερίσεων Π σε μέτρο ομοιότητας των προτύπων, χρησιμοποιώντας τον πίνακα συσσυσχέτισης CM. Το τελικό βήμα του αλγορίθμου είναι η εφαρμογή ενός αλγορίθμου ομαδοποίησης στον πίνακα συσσυσχέτισης, ώστε να αποκαλυφθούν οι πραγματικές ομάδες. Συνήθως στο τελικό αυτό βήμα χρησιμοποιούνται ιεραρχικοί αλγόριθμοι, οι οποίοι βασίζονται στη γειτνίαση των ομάδων, για τη διαμόρφωση της τελικής διαμέρισης Ρ*. 3.4 Ομαδοποίηση συσσώρευσης ενδείξεων Τα μοντέλα των τμημάτων ομιλίας που προέκυψαν από το στάδιο, τροφοδοτούν τον αλγόριθμο συσσώρευσης ενδείξεων Η δημιουργία του συνόλου διαμερίσεων είναι κρίσιμη για την απόδοση του αλγορίθμου ομαδοποίησης. Χρησιμοποιήθηκαν 3 διαφορετικοί αλγόριθμοι ομαδοποίησης, συγκεκριμένα η ιεραρχική μέθοδος της μέσης απόστασης, η ιεραρχική μέθοδος της μέσης απόστασης με βάρη και η ιεραρχική μέθοδος του Ward. Στη συνέχεια παρατίθεται μία συνοπτική παρουσίαση των τριών μεθόδων Μέθοδος της μέσης απόστασης Ως απόσταση δυο ομάδων c και c ορίζεται η μέση τιμή όλων των αποστάσεων ανάμεσα σε κάθε πρότυπο της ομάδας c και κάθε πρότυπο της ομάδας c xi c, xj c ij D = c c d ( 3.4) Η μέθοδος αυτή τείνει να ενώνει ομάδες με μικρές διασπορές, ενώ βασικό πλεονέκτημα της είναι ότι λαμβάνει υπόψη τη δομή των ομάδων

35 Μέθοδος της μέσης απόστασης με βάρη Η μέθοδος αυτή είναι παραλλαγή της μεθόδου της μέσης απόστασης. Στη μέθοδο της μέσης απόστασης με βάρη χρησιμοποιούνται συντελεστές βάρους για κάθε ομάδα, ώστε να μειωθεί η επίδραση του διαφορετικού μεγέθους που έχει κάθε μια. Ορίζεται ως εξής: d D = w c w c xi c, xj c ij ( 3.5) Μέθοδος του Ward Η μέθοδος αυτή βασίζεται στην απόσταση των κέντρων των ομάδων c και c. Η Ευκλείδεια απόσταση των κέντρων των ομάδων πολλαπλασιάζεται με ένα παράγοντα, ο οποίος είναι απαραίτητος για την περίπτωση που οι ομάδες αποτελούνται από ένα μόνο στοιχείο. Η απόσταση μεταξύ των ομάδων c και c ορίζεται ως: D c c Η μέθοδος αυτή προσπαθεί να ελαχιστοποιήσει την απώλεια πληροφορίας, η οποία προκύπτει, όταν δυο ομάδες συγχωνεύονται. Τείνει να εντοπίζει ομάδες ίδιου μεγέθους με σφαιρικό σχήμα. = μc c c + c μ ( 3.6) Στον αρχικό αλγόριθμο ομαδοποίησης ομιλητών γίνονται 30 διαμερίσεις [3] και σε κάθε διαμέριση επιλέγεται τυχαία η μέθοδος που θα εφαρμοστεί. Στον τροποποιημένο αλγόριθμο ομαδοποίησης ομιλητών συνολικά γίνονται 3 διαμερίσεις σε κάθε μια από τις οποίες εφαρμόζεται και μία διαφορετική μέθοδος. Συγκεκριμένα στην πρώτη διαμέριση εφαρμόζεται η ιεραρχική μέθοδος της μέσης απόστασης με βάρη (weighted), στη δεύτερη διαμέριση εφαρμόζεται η ιεραρχική μέθοδος της μέσης απόστασης (average), ενώ στην τρίτη μέθοδο η ιεραρχική μέθοδος του Ward (Ward). H επιλογή του αριθμού των ομάδων (μεταβλητή num_cluster ) που προκύπτουν από κάθε αλγόριθμο ομαδοποίησης δεν είναι τυχαία, όπως ήταν στην προηγούμενη έκδοση του αλγορίθμου. Συγκεκριμένα ύστερα από αρκετές εκτελέσεις του αλγορίθμου για διάφορες τιμές της μεταβλητής num_cluster επιλέχθηκε η τιμή 5 ως αυτή που δίνει τα καλύτερα αποτελέσματα. Η τεχνική που ακολουθήθηκε και οδήγησε σε αυτή την επιλογή παρουσιάζεται στο κεφάλαιο

36 Η είσοδος κάθε ιεραρχικού αλγόριθμου είναι ένας πίνακας αποστάσεων μεταξύ των μοντέλων. Η μετρική που χρησιμοποιήθηκαν για τον υπολογισμό των αποστάσεων στον αρχικό αλγόριθμο ομαδοποίησης ομιλητών είναι η d cov. Στον τροποποιημένο αλγόριθμο ομαδοποίησης ομιλητών χρησιμοποιήθηκαν οι μετρικές dcovmean, dbha, dkl. Οι αλγόριθμοι θεωρούν ότι γειτονικά τμήματα ομιλίας είναι πολύ πιθανό να ανήκουν στον ίδιο ομιλητή και για το λόγο αυτό, η απόσταση ανάμεσα σε γειτονικά τμήματα ομιλίας πολλαπλασιάζεται με ένα συντελεστή βάρους β =.4, που ενισχύει τη γειτονικότητα ανάμεσα τους. Το επόμενο βήμα είναι ο συνδυασμός των διαμερίσεων του συνόλου και η κατασκευή του πίνακα συσσυσχέτισης CM. Κάθε στοιχείο CM ( i, j) εκφράζει την πιθανότητα τα τμήματα ομιλίας σύνολο των διαμερίσεων. x i και x να βρίσκονται στην ίδια ομάδα στο j 3.5 Συγχώνευση ομάδων Το τελευταίο στάδιο των δύο αλγορίθμων είναι η συγχώνευση των ομάδων. Η είσοδος του σταδίου αυτού είναι ο πίνακας συσσυσχέτισης που προέκυψε στο στάδιο 3. Η πρωτοτυπία του αλγορίθμου αυτού έγκειται στη χρήση εννοιών από τη θεωρία συνόλων. Από τον πίνακα συσσυσχέτισης, για κάθε ένα από τα τμήματα ομιλίας x, i =,,..., εξάγεται η πιθανότητα του να ομαδοποιηθεί μαζί με κάθε άλλο τμήμα ομιλίας x j, j i i, που στο εξής συμβολίζεται με ( ) p j. Σε μια πρώτη φάση, κάθε τμήμα xi ομαδοποιείται μαζί με τα τμήματα x j, για τα οποία ισχύει ότι pi ( j) > ξ, όπου ξ μια παράμετρος που ορίζεται από το χρήστη. Όσο μεγαλύτερη είναι η τιμή του ξ, τόσο μεγαλύτερη πρέπει να είναι η ομοιότητα των τμημάτων που ανατίθενται στην ίδια ομάδα. ταυτόχρονα όμως τόσο μικρότερο είναι το πλήθος των τμημάτων για τα οποία ισχύει ο περιορισμός αυτός. Προκύπτει τελικά ένας αριθμός συνόλων { s s s } S=,,...,, που έχουν ως στοιχεία τα τμήματα με τα οποία ομαδοποιείται κάθε τμήμα ομιλίας. Είναι προφανές πως για τα τμήματα ομιλίας x j, τα οποία ανήκουν στη ίδια ομάδα, τα i

37 αντίστοιχα σύνολα si και s j θα έχουν μεγάλες επικαλύψεις. Η τομή συνόλων που αντιστοιχούν σε τμήματα ομιλίας της ίδιας ομάδας, αναμένεται να οδηγήσει στο σχηματισμό της ενιαίας, ομοιογενούς ομάδας της διαμέρισης. Ο αλγόριθμος που αναπτύχθηκε είναι αναδρομικός. Σε κάθε επανάληψη, υπολογίζεται η τομή των συνόλων ανά δυο και αποφασίζεται αν πρέπει να συνενωθούν ή όχι. Είναι συχνό το φαινόμενο κατά το βήμα της συγχώνευσης, να προκύπτουν ομάδες οι οποίες αποτελούνται από ένα μόνο τμήμα ομιλίας. Πρακτικά αυτό σημαίνει, ότι το συγκεκριμένο τμήμα ομιλίας δεν ήταν δυνατό να ομαδοποιηθεί με κάποιο άλλο τμήμα ομιλίας. Γενικά, δεν είναι επιθυμητό οι ομάδες που δημιουργούνται να αποτελούνται από ένα μόνο τμήμα ομιλίας, πράγμα που ε- νισχύει την υπόθεση ότι το αυτό το τμήμα ομιλίας είναι ακραίο και μπορεί να μειώσει την απόδοση του αλγορίθμου ομαδοποίησης. Στην περίπτωση της ο- μαδοποίησης ομιλητών, είναι συχνό το φαινόμενο να υπάρχουν ακραία τμήματα ομιλίας για τους εξής λόγους:. Οι αλγόριθμοι κατάτμησης ομιλίας δεν είναι απαλλαγμένοι από λάθη και μπορούν να οδηγήσουν στη δημιουργία τμημάτων ομιλίας τα οποία περιέχουν ομιλία από ή περισσότερους ομιλητές.. Επιπλέον, όπως έχει αναφερθεί, οι αλγόριθμοι κατάτμησης ομιλίας δεν μπορούν να αντιμετωπίσουν την περίπτωση ταυτόχρονης ομιλίας και κατά συνέπεια, θα προκύψουν κάποια τμήματα που παρουσιάζουν το πρόβλημα αυτό. 3. Τέλος, εξαιτίας του θορύβου, των περιβαλλοντικών συνθηκών, του μέσου ηχογράφησης, ή ακόμα και της συναισθηματικής κατάστασης του ομιλητή, υπάρχουν τμήματα ομιλίας τα οποία διαφέρουν σημαντικά από τα υπόλοιπα. Όπως εξηγήθηκε, λοιπόν, κάθε ένα ακραίο τμήμα ομιλίας αποτελεί από μόνο του μια ομάδα, αφού δεν μπορεί να ομαδοποιηθεί με κανένα άλλο, πράγμα που όμως δεν είναι επιθυμητό. Για το λόγο αυτό, προτείνονται παραλλαγές του αλγορίθμου και ο χρήστης μπορεί να επιλέξει αν επιθυμεί ή όχι τα ακραία τμήματα ομιλίας να συμπεριληφθούν στην ομαδοποίηση. Στην πρώτη παραλλαγή του αλγορίθμου, τα ακραία τμήματα ομιλίας εξαιρούνται από τη διαδικασία της ομαδοποίησης. Οι c ' ομάδες που προκύπτουν μοντελοποιούνται με μίγματα κανονικών κατανομών με k i συνιστώσες, i =,,..., c, όπου k i ο αριθμός των κανονικών κατανομών κάθε ομάδας. Στη δεύτερη παραλλαγή, τα ακραία τμήματα ομιλίας λαμβάνονται υπόψη στην ομαδοποίηση. Και στην περίπτωση

38 αυτή, οι ' ομάδες μοντελοποιούνται και πάλι με μίγματα κανονικών c κατανομών k i συνιστωσών. Έπειτα, για κάθε ακραίο τμήμα ομιλίας υπολογίζεται η απόσταση του από όλα τα μίγματα, εφαρμόζοντας την μετρική απόστασης, και τελικά ανατίθεται στο πλησιέστερο μίγμα, του οποίου ανανεώνονται οι παράμετροι. x o

39 ΚΕΦΑΛΑΙΟ 4 Κριτήρια και δείκτες μέτρησης της απόδοσης του αλγορίθμου ομαδοποίησης 4. Είδη κριτηρίων αξιολόγησης των ομάδων Η διαδικασία αξιολόγησης των αποτελεσμάτων ενός αλγορίθμου ομαδοποίησης ονομάζεται αξιολόγηση του κύρους (validity) των ομάδων. Υπάρχουν τρία είδη κριτηρίων αξιολόγησης των αποτελεσμάτων των αλγορίθμων ομαδοποίησης [6] : Εσωτερικά κριτήρια Εξωτερικά κριτήρια Σχετικά κριτήρια Τα εξωτερικά κριτήρια χρησιμοποιούνται είτε α) για τη σύγκριση μίας διαμέρισης C, η οποία έχει παραχθεί από ένα αλγόριθμο ομαδοποίησης, με μία άλλη διαμέριση P του συνόλου δεδομένων Χ, η οποία είναι γνωστή εκ των προτέρων, είτε β) για την μέτρηση του βαθμού συμφωνίας μεταξύ της διαμέρισης P και του πίνακα εγγύτητας του Χ [8]. Τα εσωτερικά κριτήρια βασίζονται σε κάποιες μετρικές οι οποίες με τη σειρά τους βασίζονται στο σύνολο δεδομένων και στη δομή της ομαδοποίησης. Υπάρχουν δύο περιπτώσεις: α) η δομή ομαδοποίησης να είναι μία ιεραρχία ομαδοποιήσεων και β) η δομή ομαδοποίησης να αποτελείται από μία μόνο ομαδοποίηση. Τόσο τα εσωτερικά όσο και εξωτερικά κριτήρια βασίζονται σε στατιστικές μεθόδους και το κύριο μειονέκτημά τους είναι η υπολογιστική πολυπλοκότητα. Τα σχετικά κριτήρια βασίζονται στη σύγκριση διαφορετικών σχημάτων ομαδοποίησης. Ένας ή περισσότεροι αλγόριθμοι ομαδοποίησης εκτελούνται πολλές φορές, χρησιμοποιώντας κάθε φορά διαφορετικές παραμέτρους εισόδου στο ίδιο σύνολο δεδομένων. Σκοπός των σχετικών κριτηρίων είναι η επιλογή

40 του καλύτερου σχήματος ομαδοποίησης από τα διαφορετικά αποτελέσματα σύμφωνα με κάποιο δείκτη εγκυρότητας. Η διαφορά των κριτηρίων με τους δείκτες είναι η εξής. Ένα κριτήριο εκφράζει την στρατηγική με την οποία μία δομή ομαδοποίησης πρόκειται να αξιολογηθεί, ενώ ένας δείκτης είναι ένα στατιστικό σε όρους που αποτιμά την εγκυρότητα της ομαδοποίησης. Ο ίδιος δείκτης μπορεί να χρησιμοποιηθεί και σε εσωτερικά και σε εξωτερικά κριτήρια, αλλά σε κάθε περίπτωση αλλάζει η κατανομή της μηδενικής υπόθεσης που αναφέρεται σ έναν πληθυσμό με τυχαία δομή []. 4. Κριτήρια μέτρησης αποδοτικότητας Παρακάτω δίνονται κάποια κριτήρια τα οποία χρησιμοποιούνται ευρέως στη βιβλιογραφία για τη μέτρηση της αποδοτικότητας των αλγορίθμων ομαδοποίησης ομιλητών. Για την διευκόλυνση του αναγνώστη συνοψίζονται τα μαθηματικά σύμβολα που θα χρησιμοποιηθούν στα κριτήρια. s c το πλήθος των προτύπων/τμημάτων ομιλίας ο συνολικός αριθμός ομιλητών ο συνολικός αριθμός ομάδων n το πλήθος των τμημάτων ομιλίας της ομάδας i που προφέρονται από τον ομιλητή j ij n n i.. j το πλήθος των πρoτύπων/τμημάτων ομιλίας που ανήκουν στην ομάδα i το πλήθος των τμημάτων ομιλίας που προφέρονται από τον ομιλητή j 4.. Καθαρότητα ομάδας (cluster purity) Η καθαρότητα ομάδας αναπαριστά την πιθανότητα ότι εάν διαλέξουμε οποιοδήποτε τμήμα ομιλίας από μία ομάδα δύο φορές τυχαία με αντικατάσταση, και τα δύο τμήματα ομιλίας να ανήκουν στον ίδιο ομιλητή. Η καθαρότητα της i-οστής ομάδας π i. ορίζεται ως [3]: s π = n / n i. ij i. j= ( 4.)

41 Η μέση καθαρότητα των ομάδων (average cluster purity) ορίζεται ως [3]; c acp = π n i= i. i. ( 4.) και δίνει ένα μέτρο του πόσο καλά περιορίζεται μία ομάδα σε έναν μόνο ομιλητή. Προφανώς μια πολύ καλή ομαδοποίηση θα πρέπει να παράγει μέση καθαρότητα των ομάδων ίση με τη μονάδα. Η τιμή της μέσης καθαρότητας των ομάδων γενικά αυξάνεται καθώς αυξάνεται ο αριθμός των ομάδων, αφού η μετρική δεν λαμβάνει υπόψη τα λάθη που αφορούν την τοποθέτηση τμημάτων ομιλίας του ίδιου ομιλητή σε διαφορετικές ομάδες. 4.. Καθαρότητα ομιλητών Η καθαρότητα του j-οστού ομιλητή (speaker purity) ορίζεται ως []: c π = n / n. j ij. j i= ( 4.3) Η μέση καθαρότητα ομιλητών ορίζεται ως ]: s asp = π n j=. j. j ( 4.4) και δείχνει πόσο καλά περιορίζεται ένας ομιλητής σε μία ομάδα. Στην παρούσα διατριβή χρησιμοποιήθηκαν και τα δύο κριτήρια αξιολόγησης, η μέση καθαρότητα ομάδων και η μέση καθαρότητα ομιλητών. Ο υπολογισμός της μέσης καθαρότητας ομιλητών κρίθηκε απαραίτητος, γιατί είναι εύκολο να πετύχουμε τιμή της μέσης καθαρότητας ομάδων που πλησιάζει τη μονάδα με δημιουργία περισσότερων όμως ομάδων από όσες χρειάζονται. Παρόλα αυτά τα τμήματα χωρίς ομιλία δεν λαμβάνονται υπόψη στον υπολογισμό της μέσης καθαρότητας ομιλητών

42 Επιπλέον χρησιμοποιήθηκε και η τετραγωνική ρίζα του γινομένου των παραπάνω δύο κριτηρίων [] ως ένα γενικό κριτήριο αξιολόγησης: k = acpasp ( 4.5) 4..3 Σφάλμα ταξινόμησης Το σφάλμα ταξινόμησης ορίζεται ως το ποσοστό του χρόνου που δεν έχει ταξινομηθεί στο σωστό ομιλητή. Ισοδύναμα είναι το ποσοστό του χρόνου ομιλίας του ομιλητή j που δεν έχει ανατεθεί στην ομάδα c i. Το λάθος για την ομάδα i, CE i, ορίζεται ως το ποσοστό του συνολικού χρόνου που αντιστοιχεί σε έναν ομιλητή το οποίο δεν έχει ταξινομηθεί σε αυτή την ομάδα. Για την αξιολόγηση του αλγορίθμου ομαδοποίησης χρησιμοποιήθηκε το μέσο σφάλμα ταξινόμησης που δίνεται από τον τύπο [3]: c ACE = CEi C i = ( 4.6) Τα αποτελέσματα της εφαρμογής των παραπάνω κριτηρίων θα αναλυθούν διεξοδικά στο κεφάλαιο Μετρική BB Η μετρική BB χρησιμοποιήθηκε για την μέτρηση της απόδοσης του αλγορίθμου ομαδοποίησης που εφαρμόστηκε και ορίζεται ως []: n I Q n Q acp Q c s c ij BB = c = i. π i. c = c i= j= ni. i= ( 4.7) Η μεταβλητή Q είναι μία παράμετρος η οποία ελέγχει το βαθμό στον οποίο λιγότερες και μεγαλύτερες ομάδες ευνοούνται σε βάρος της μειωμένης καθαρότητας. Στον αλγόριθμο που εφαρμόστηκε ορίσαμε την παράμετρο Q ίση με

43 4.3 Δείκτες μέτρησης αποδοτικότητας Αρχικά θα γίνει μία γενική αναφορά στους εξωτερικούς δείκτες που δείχνουν το βαθμό στον οποίο δύο διαμερίσεις αντικειμένων συμφωνούν. Στη συνέχεια η ανάλυση θα περιοριστεί στον δείκτη Rand ο οποίος θα χρησιμοποιηθεί σ αυτή την εργασία. Η μία διαμέριση προέρχεται από έναν αλγόριθμο ομαδοποίησης και η άλλη ισχύει εκ των προτέρων και είναι ανεξάρτητη από τα δεδομένα και την πρώτη διαμέριση. Οι Hubert και Arabie στο [8] ορίζουν διάφορους δείκτες για τη σύγκριση δύο διαμερίσεων. Όλοι αυτοί οι δείκτες μπορούν να εκφραστούν με όρους του πίνακα συμφωνίας ο οποίος κατασκευάζεται από τις δύο διαμερίσεις. Δοθέντος ενός συνόλου τμημάτων ομιλίας, = [ ] SP sp sp c X x, x,..., x, έστω ότι = {,, } και CL = { c,, c R } είναι δύο διαφορετικές διαμερίσεις των αντικειμένων του συνόλου X έτσι ώστε SP sp = X = SP sp και sp sp = = sp sp C R j= j i= i j j' i i' j j' C και i i' R [4]. Ο όρος c i συμβολίζει την ομάδα i ενώ ο όρος sp j συμβολίζει τον ομιλητή j. Το σύνολο SP είναι το εξωτερικό κριτήριο (ground truth) και το σύνολο CL είναι η διαμέριση που προκύπτει από τον αλγόριθμο ομαδοποίησης. Η είσοδος n ij του πίνακα συμφωνίας είναι ο αριθμός των αντικειμένων που είναι κοινά στις ομάδες c i και sp. Ο όρος n i. είναι το άθροισμα γραμμής για την i γραμμή ή ο αριθμός των αντικειμένων στην ομάδα ci και ο όρος n. j είναι το άθροισμα στήλης για την j στήλη ή ο j αριθμός των αντικειμένων στην ομάδα sp j. Οι συμβολισμοί παρουσιάζονται στον R C Πίνακα