ΑΥΤΟΜΑΤΗ ΑΝΑΓΝΩΡΙΣΗ ΕΙ ΩΝ ΤΗΣ ΜΟΥΣΙΚΗΣ ME ΧΡΗΣΗ ΜΕΘΟ ΩΝ ΜΑΘΗΣΗΣ

Transcript

1 ΑΥΤΟΜΑΤΗ ΑΝΑΓΝΩΡΙΣΗ ΤΩΝ ΕΙ ΩΝ ΤΗΣ ΜΟΥΣΙΚΗΣ ME ΧΡΗΣΗ ΜΕΘΟ ΩΝ ΜΑΘΗΣΗΣ ΜΑΚΡΗΣ Ε. ΑΘΑΝΑΣΙΟΣ Α.Μ. 86 ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ Π. ΠΙΝΤΕΛΑΣ ΠΑΤΡΑ ΕΤΟΣ

2

3 ΠΡΟΛΟΓΟΣ Η εργασία που παρουσιάζεται αποτελεί µια προσπάθεια για την ταξινόµηση των µουσικών κοµµατιών και τραγουδιών ανάλογα µε το είδος στο οποίο ανήκουν. Η ιδιαιτερότητα της είναι ότι αποφεύγει το συνηθισµένο τρόπο ταξινόµησης των τραγουδιών, την ταξινόµηση δηλαδή µε πληροφορίες κειµένου που εισάγονται από τον ίδιο το χρήστη, και επιτυγχάνει την αυτόµατη ταξινόµησή τους µε µοναδική πηγή πληροφοριών το ίδιο το ακουστικό µουσικό σήµα. Έχοντας δηλαδή σαν µοναδική πηγή το σήµα, εξάγονται από αυτό ορισµένα χαρακτηριστικά (features). Στη συνέχεια επιλέγονται κάποια από αυτά και γίνεται χρήση µεθόδων µηχανικής µάθησης (machine learning) µε επίβλεψη, ώστε να πραγµατοποιηθεί η καλύτερη δυνατή ταξινόµηση των µουσικών κοµµατιών. Πιο συγκεκριµένα, για τον σκοπό της εργασίας, επιλέχθηκαν 535 µουσικά κοµµάτια τραγούδια τα οποία ταξινοµήθηκαν σε 7 διαφορετικά µουσικά είδη τα οποία είναι ποπ, ροκ, µέταλ, χαρντ ροκ, µπιτ, κλασσική µουσική και ρεµπέτικα. Κατά τη διάρκεια της εργασίας και ειδικότερα στο κεφάλαιο και στο κεφάλαιο 2 θα γίνει αναφορά τόσο για τη σηµασία της µουσικής στη ζωή του ανθρώπου, όσο και για τον τρόπο που αντιλαµβάνεται ο άνθρωπος τη µουσική. Γίνεται δηλαδή µια προσέγγιση στο ανθρώπινο ακουστικό σύστηµα έχοντας σαν κύριο στόχο την εξαγωγή κανόνων και συµπερασµάτων που θα ερµηνεύσουν την διαισθητική ικανότητα που διαθέτει ο άνθρωπος να ταξινοµεί (και µάλιστα µε ευκολία) τα είδη της µουσικής. Το κεφάλαιο 3 θα εστιάσει στην επεξεργασία που µπορεί να γίνει στα συνεχή ή στα ψηφιακά ακουστικά σήµατα µε χρήση µαθηµατικών τεχνικών όπως είναι η ανάλυση και ο µετασχηµατισµός Φουριέ, καθώς και στην ανάπτυξη µεθόδων για την αντιµετώπιση διάφορων προβληµάτων και δυσκολιών που δηµιουργούνται κατά την επεξεργασία. Θα αναφερθούν τα γενικά χαρακτηριστικά που εξάγονται από ένα σήµα και τα χαρακτηριστικά που χρησιµοποιούνται ή θα ήταν θεµιτό να χρησιµοποιούνται στην (αυτόµατη) αναγνώριση των ειδών της µουσικής. Στο κεφάλαιο 4 θα γίνει αναφορά στον κλάδο της επιστήµης που ονοµάζεται µηχανική µάθηση παρουσιάζοντας στην αρχή κάποιες βασικές έννοιες της µηχανικής µάθησης και έπειτα αρκετές γνωστές µεθόδους και αλγορίθµους που µετατρέπουν τη θεωρητική γνώση και προσέγγιση του κλάδου της µηχανικής µάθησης σε πραγµατικότητα. Συγκεκριµένα θα µελετηθούν τα έντρα αποφάσεων, τα σύνολα i

4 κανόνων, η µπαγιεσιανή µάθηση, τα τεχνητά νευρωνικά δίκτυα και τα οι µηχανές διανυσµάτων υποστήριξης. Στο 5 ο κεφάλαιο γίνεται µια αναφορά στα χαρακτηριστικά που επιλέχθηκαν στην έρευνα, τον τρόπο και τα λογισµικά που χρησιµοποιήθηκαν για την εξαγωγή αυτών των χαρακτηριστικών, την πορεία που ακολουθήθηκε µε τα πειράµατα, καθώς και τις δυσκολίες που αντιµετωπίστηκαν για την επίτευξη του τελικού στόχου. Θα µελετηθεί το βασικό πρόγραµµα εξαγωγής χαρακτηριστικών από αρχεία ήχου (Marsyas) καθώς και το περιβάλλον διεπαφής του (το οποίο δηµιουργήθηκε στο πλαίσιο της παρούσας διπλωµατικής εργασίας). Επιπλέον γίνεται αναλυτική αναφορά στα πειράµατα και στα αποτελέσµατα που δίνει κάθε αλγόριθµος µηχανικής µάθησης που χρησιµοποιήθηκε, καθώς και σύγκριση τόσο των αποτελεσµάτων όσο και των αλγορίθµων. Τέλος θα προταθούν εναλλακτικές και συνδυαστικές µέθοδοι για την βελτίωση του τελικού ποσοστού επιτυχίας στη ταξινόµηση των κοµµατιών, και παρουσιάζονται τα τελικά αποτελέσµατα της έρευνας. Στο κεφάλαιο 6 θα γίνει αναφορά στο πώς µπορεί να προεκταθεί η εργασία και να εφαρµοστεί σε αντίστοιχα ερευνητικά πεδία, που σχετίζονται µε την επεξεργασία των ακουστικών σηµάτων. Στο 7 ο και τελευταίο κεφάλαιο επιχειρείται ένας συνολικός σχολιασµός της εργασίας και του πεδίου που ονοµάζεται αυτόµατη αναγνώριση των ειδών της µουσικής και της ανωτερότητας της µεθόδου που αναπτύξαµε. Ολοκληρώνοντας την εργασία αυτή και µαζί και την φοίτησή µου στο Μεταπτυχιακό Πρόγραµµα θα ήθελα να ευχαριστήσω τον επιβλέποντα Kαθηγητή κ. Π. Πιντέλα, και τον Υποψήφιο ιδάκτορα κ. Σ. Κωτσιαντή για την αµέριστη βοήθεια που µου προσέφεραν και τις εύστοχες παρατηρήσεις, χωρίς τις οποίες θα ήταν αδύνατη η επιτυχής ολοκλήρωση αυτής της εργασίας. ΜΑΚΡΗΣ ΑΘΑΝΑΣΙΟΣ ΠΑΤΡΑ, ΙΟΥΝΙΟΣ 2005 ii

5 ΠΕΡΙΕΧΟΜΕΝΑ Πρόλογος.....i Ευρετήριο Εικόνων vi Ευρετήριο Πινάκων.. vii Ευρετήριο ιαγραµµάτων....vii ΚΕΦΑΛΑΙΟ. Άνθρωπος και Μουσική.. Εισαγωγή Η Σηµασία της Μουσικής στη Ζωή των Ανθρώπων....3 Η Μουσική Σήµερα Μετά-δεδοµένα (meta- data) 2..5 Αυτόµατη Αναγνώριση των Ειδών της Μουσικής 3..6 Σκοπός της Εργασίας..4 ΚΕΦΑΛΑΙΟ 2 2. Προσέγγιση του Προβλήµατος της Αναγνώρισης των Ειδών της Μουσικής 2.. Εισαγωγή Περιγραφή του Προβλήµατος της Αναγνώρισης των Ειδών της Μουσικής Μοντέλο Προσέγγισης του Προβλήµατος της Αναγνώρισης των Ειδών της Μουσικής υσκολίες που Παρουσιάζονται στην Αναγνώριση των Ειδών της Μουσικής Ανατοµία του Αυτιού Φυσικά και ιαισθητικά Χαρακτηριστικά Περιοχή Ακουστότητας Η Ανθρώπινη Αντίληψη για την Αναγνώριση Μουσικών Ειδών..9 ΚΕΦΑΛΑΙΟ 3 3. Επεξεργασία Ακουστικού Σήµατος 3.. Εισαγωγή Πρώτες Παρατηρήσεις Ανάλυση Φουριέ Ηµιτονοειδής Επαλληλία (Sinusoid Superposition) Μετασχηµατισµός Φουριέ (Fourier Transform) Μετασχηµατισµός Φουριέ Μικρού (ή βραχέους) Χρόνου ιακριτός Μετασχηµατισµός Φουριέ iii

6 3.2 Χαρακτηριστικά που Χρησιµοποιούνται στην Αναγνώριση των Ειδών της Μουσικής 3.2.Εισαγωγή Φάσµα της Συχνότητας Mel-Frequency Ceptral Coefficients (MFCC) Πλήθος Μηδενισµού Συνάρτησης (Average Zero-Crossing Rate ή ZCR) Ενέργεια Μικρού Χρόνου (Short-Time Energy) Ρυθµός και Μπιτ (Rhythm and Beat) Χροιά (Timbre) ΚΕΦΑΛΑΙΟ 4 4. Μηχανική Μάθηση και Ταξινόµηση στη Μουσική 4.. Εισαγωγή Βασικές Έννοιες της Μηχανικής Μάθησης έντρα Αποφάσεων 4.2. Εισαγωγή Περιγραφή έντρων Αποφάσεων Σύνολα Κανόνων 4.3. Εισαγωγή Αλγόριθµοι Ακολουθιακής Κάλυψης Μπεϊσιανή Μάθηση (Bayesian Learning) 4.4. Θεωρητικό Υπόβαθρο Βέλτιστος Ταξινοµητής Μπέις (Bayes) Αφελής Ταξινοµητής (Naive Bayes) Τεχνητά Νευρωνικά ίκτυα (Artificial Neural Networks) 4.5. Εισαγωγή Γραµµικά και µη Γραµµικά Νευρωνικά ίκτυα Πτωτική Κλίση και Κανόνας Delta (Gradient Descent and Delta Rule) Προς τα Πίσω Τροφοδότηση (Backpropagation) Μηχανές ιανυσµάτων Υποστήριξης (Support Vector Machines) 4.6. Εισαγωγή ιαχωρίσιµη Περίπτωση Μη ιαχωρίσιµα Προβλήµατα Μη Γραµµικά ιανύσµατα Υποστήριξης (Support Vectors) ΚΕΦΑΛΑΙΟ 5 5. Χαρακτηριστικά που Χρησιµοποιήσαµε στην Εργασία µας 5.. Εισαγωγή Χαρακτηριστικά της Μουσικής Επιφάνειας (Musical surface).. 5 iv

7 5.2 Προεργασία και Λογισµικά που Χρησιµοποιήσαµε 5.2. Εισαγωγή Επιλογή Κοµµατιών Προεργασία Κοµµατιών Το Λογισµικό MARSYAS Το Λογισµικό WEKA Πειράµατα και Αποτελέσµατα 5.3. Πειράµατα Βελτίωση των Ταξινοµητών Προτεινόµενη Μεθοδολογία Τελικά Αποτελέσµατα ΚΕΦΑΛΑΙΟ 6 6. Προέκταση και Εφαρµογές της Εργασίας 6.. Εισαγωγή Αναγνώριση Οµιλίας Αναγνώριση Οµιλητή Ταξινόµηση Μουσικής και Οµιλίας Ανάλυση Βίντεο Αναγνώριση Ρυθµού και Μπιτ (Στη Μουσική) Αυτόµατη Αναγραφή της Μουσικής σε Παρτιτούρα Ακουστική Ανάλυση και ιαχωρισµός Αναγνώριση Εικόνας ΚΕΦΑΛΑΙΟ 7 7. Σχόλια Συµπεράσµατα 7.. Σχόλια - Συµπεράσµατα Επίλογος...86 ΒΙΒΛΙΟΓΡΑΦΙΑ - ΑΝΑΦΟΡΕΣ Λίστα Τραγουδιών v

8 Ευρετήριο Εικόνων ΕΙΚΟΝΑ : Παράθυρο διαλόγου που κάνει χρήση ο ΙD3 tag. 3 ΕΙΚΟΝΑ 2 : Σχηµατική αναπαράσταση συστήµατος για την αυτόµατη αναγνώριση των ειδών της µουσικής..6 ΕΙΚΟΝΑ 3 : Ανατοµία ανθρώπινου αυτιού.. 7 ΕΙΚΟΝΑ 4 :Σύνθεση Φουριέ των σηµάτων a= sin(2π 50 t) και b= 0.5sin(2π20 t) στο τελικό σήµα c= a+ b ΕΙΚΟΝΑ 5: Φασµατογραφήµατα τριών µουσικών κοµµατιών από διαφορετικά είδη µουσικής. Στον άξονα x είναι ο χρόνος, στον y είναι η συχνότητα, και οι χρωµατικές διαφορές υποδεικνύουν την δύναµη (power) των κοµµατιών... 7 ΕΙΚΟΝΑ 6: Αναπαράσταση των Mel-Frequency Ceptral Coefficients για ένα µουσικό κοµµάτι. Στον άξονα y βρίσκονται τα 3 Mel-Frequency Ceptral Coefficients και στον x τα στιγµιότυπα (samples)... 8 ΕΙΚΟΝΑ 7: Παράδειγµα που δείχνει ότι δεν είναι πάντα δυνατός ο προσδιορισµός της θεµελιώδους συχνότητας µε χρήση του ZCR. Βλέπουµε ότι το σήµα στα αριστερά τέµνει το άξονα x περισσότερες από 2 φορές σε κάθε κύκλο.. 20 ΕΙΚΟΝΑ 8: ιαδικασία σχεδιασµού ενός συστήµατος Μ.Μ. 25 ΕΙΚΟΝΑ 9: Αναπαράσταση ενός δέντρου αποφάσεων...27 ΕΙΚΟΝΑ 0: Απλουστευµένο µοντέλο ενός βιολογικού νευρώνα ΕΙΚΟΝΑ : Αρχιτεκτονική ενός τεχνητού νευρωνικού δικτύου.. 36 ΕΙΚΟΝΑ 2: Απλός νευρώνας µε µία (απλή) είσοδο ΕΙΚΟΝΑ 3: Νευρώνας µε διανυσµατική είσοδο ΕΙΚΟΝΑ 4: Πίνακας Συναρτήσεων Μεταβίβασης ΕΙΚΟΝΑ 5: Παράδειγµα γραµµικού διαχωρισµού µε SVM...43 ΕΙΚΟΝΑ 6: Επεξεργασία ενός mp3 µε το πρόγραµµα Cool Edit Pro..55 ΕΙΚΟΝΑ 7: Περιβάλλον διεπαφής που δηµιουργήσαµε. 56 ΕΙΚΟΝΑ 8: Περιβάλλον διεπαφής που δηµιουργήσαµε. 57 ΕΙΚΟΝΑ 9: Περιεχόµενα του αρχείου beat.mf σε Notepad...58 ΕΙΚΟΝΑ 20: Περιεχόµενα του αρχείου genres-svstft.arff σε Notepad.. 59 ΕΙΚΟΝΑ 2: Περιβάλλον ιεπαφής του Weka...60 ΕΙΚΟΝΑ 22: Η Γραφική Αναπαράσταση του Σακουλιάσµατος (bagging)...74 ΕΙΚΟΝΑ 23: Η Γραφική Αναπαράσταση της Ψηφοφορίας των Ταξινοµητών...75 ΕΙΚΟΝΑ 24: Σχηµατική Αναπαράσταση της Βελτιωµένης Συσσωρευµένης Γενίκευσης (Stacking )...77 ΕΙΚΟΝΑ 25: Ο Ψευδοκώδικας της Βελτιωµένης Συσσωρευµένης Γενίκευσης...77 ΕΙΚΟΝΑ 26: Περιβάλλον ιεπαφής του Υβριδικού Συστήµατος Αποφάσεων.78 vi

9 Ευρετήριο Πινάκων Πίνακας : Πίνακας Σφαλµάτων του Αλγορίθµου C4.5 6 Πίνακας 2 : Πίνακας Σφαλµάτων του Αλγορίθµου RIPPER Πίνακας 3 : Πίνακας Σφαλµάτων του Αλγορίθµου IB.. 65 Πίνακας 4 : Πίνακας Σφαλµάτων του Αλγορίθµου Naïve Bayes Πίνακας 5 : Πίνακας Σφαλµάτων του Αλγορίθµου SMO...69 Πίνακας 6 : Πίνακας Σφαλµάτων του Αλγορίθµου BackPropagation Πίνακας 7 : Πίνακας Σφαλµάτων του Αλγορίθµου της Συσσωρευµένης Γενίκευσης...79 Ευρετήριο ιαγραµµάτων ιάγραµµα : Ταξινόµηση του Αλγορίθµου C ιάγραµµα 2: Ταξινόµηση του Αλγορίθµου Ripper...64 ιάγραµµα 3: Ταξινόµηση του Αλγορίθµου IB...66 ιάγραµµα 4: Ταξινόµηση του Αλγορίθµου Naive Bayes...68 ιάγραµµα 5: Ταξινόµηση του Αλγορίθµου SMO...70 ιάγραµµα 6: Ταξινόµηση του Αλγορίθµου BP...72 ιάγραµµα 7: Ποσοστά Σωστής Ταξινόµησης των Αλγορίθµων...73 ιάγραµµα 8: Ταξινόµηση του Αλγορίθµου της Συσσωρευµένης Γενίκευσης...80 ιάγραµµα 9: Ποσοστά Σωστής Ταξινόµησης των Αλγορίθµων...80 vii

10 viii

11 ΚΕΦΑΛΑΙΟ. Άνθρωπος και Μουσική.. Εισαγωγή Ο ρόλος της µουσικής στη ζωή των ανθρώπων ήταν ανέκαθεν πολύ σηµαντικός. Από την αρχαιότητα, έχουµε αναφορές σε τότε γνωστούς µουσικούς, όπως οι Φιλλάµωνας, Μενεκλής και Θαλήτας. Στο πέρασµα των χρόνων η µουσική δηµιούργησε τη δική της ιστορία µε τους δικούς της αφανείς και επιφανείς «αστέρες», οι οποίοι έθεσαν σηµαντικά θεµέλια στην ανάπτυξη και την εξέλιξη της. Ονόµατα όπως ο Μότσαρτ, ο Βιβάλντι, ακόµα και ο δικός µας ο Σκαλκώτας, εµπνέουν σεβασµό ενώ τα έργα τους θεωρούνται διαχρονικά τόσο από εµπορικής όσο και από ερευνητικής απόψεως...2 Η Σηµασία της Μουσικής στη Ζωή των Ανθρώπων Γιατί ακούµε µουσική; Για ψυχαγωγία θα ήταν η προφανής απάντηση. Ίσως και αυτό είναι που προσφέρει περισσότερο η µουσική. Ωστόσο, για να απαντήσουµε σε αυτή την ερώτηση να πρέπει να ψάξουµε λίγο πιο βαθιά στην ανθρώπινη ιστορία. Ας θυµηθούµε λοιπόν ότι πριν την ανάπτυξη της γραφής, ο λόγος και κατά προέκταση η µουσική, ήταν οι µόνοι τρόποι για να εξυµνηθούν και να κρατηθούν στη µνήµη των ανθρώπων οι θρύλοι και τα κατορθώµατα τους (δηµιουργία της παραδοσιακής µουσικής της κάθε χώρας). Οι Αφρικανοί για να µπορούν να εκφράζονται ελεύθερα όταν δούλευαν ως σκλάβοι στους λευκούς, τραγουδούσαν ώστε να µη γίνονται αντιληπτοί (δηµιουργία των µπλουζ). Οι δικοί µας οι ρεµπέτες έκαναν τον πόνο τους τραγούδι. Ακόµα και σήµερα, για κάθε ανθρώπινη ιστορία και συναίσθηµα, υπάρχει το αντίστοιχο µουσικό κοµµάτι. Μήπως τελικά η µουσική είναι ένας διαφορετικός τρόπος για να εκφράζουµε τα γεγονότα της ζωής είτε είναι χαράς είτε λύπης;..3 Η Μουσική Σήµερα Το να µπορούµε να ακούµε µουσική στο σπίτι µας ουσιαστικά οφείλεται στον Θωµά Έντισον και σε µία από τις πολλές του εφευρέσεις, το γραµµόφωνο. Η εξέλιξη αυτής της εφεύρεσης, και η τοµή της µε τον ηλεκτρονικό υπολογιστή έχει ως αποτέλεσµα να φτάσουµε σήµερα στα γνωστά µας mp3. Μιλάµε φυσικά για τα µουσικά κοµµάτια σε συµπιεσµένη µορφή πληροφορίας. Η υπέρµετρη παραγωγή νέων αλλά και παλιών τραγουδιών, σε συνδυασµό µε τη µετατροπή τους σε mp3, το διαδίκτυο (εύκολη πρόσβαση στη πληροφορία), αλλά και τον όλο και αυξανόµενο αποθηκευτικό χώρο (στον υπολογιστή) έχει ως αποτέλεσµα σχεδόν κάθε χρήστης ηλεκτρονικού υπολογιστή να διαθέτει µερικές χιλιάδες από αυτήν την ευχάριστη

12 πληροφορία. Την παγκόσµια σχεδόν µουσική στα χέρια του. Εδώ όµως είναι που αρχίζουν τα πρώτα προβλήµατα. Και το όνοµα αυτού: Ταξινόµηση. Πώς µπορεί κάποιος να διαχειριστεί το πλήθος αυτής της πληροφορίας και να την ταξινοµήσει µε βάση το είδος;..4 Μετά-δεδοµένα (meta- data) Μέχρι τώρα ο βασικός τρόπος για την ταξινόµηση των κοµµατιών ανάλογα µε το είδος της µουσικής γίνεται µε πληροφορίες κειµένου. Ο ποιο γνωστός από αυτούς τους τρόπους είναι ο ID3 tag (Nilson, 200). Συγκεκριµένα κάθε κοµµάτι mp3 έχει κάποιες πληροφορίες που το περιγράφουν όπως το όνοµα του κοµµατιού, το καλλιτέχνη, το όνοµα του δίσκου που περιέχει το τραγούδι, το έτος παραγωγής του, και το είδος στο οποίο ανήκει. Με τον ID3 tag λοιπόν έχουµε µια καλή βάση δεδοµένων, για γρήγορη αναζήτηση πληροφοριών για το µουσικό µας κοµµάτι, για σύγκριση πολλών κοµµατιών, ακόµα και ταξινόµηση τους. Ωστόσο στην ταξινόµηση των mp3 µε τον ID3 tag παρουσιάζονται ορισµένα προβλήµατα (Kosina, 2002). Το βασικότερο είναι η αξιοπιστία αυτών των πληροφοριών. Οι πληροφορίες αυτές είναι γραµµένες από τους κατόχους των κοµµατιών, πράγµα που σηµαίνει ότι δεν είναι κατά ανάγκη σωστές. εν αναφερόµαστε υποχρεωτικά σε δόλο, αλλά σε ενδεχόµενη διάσταση µουσικών απόψεων. Γιατί δεν είναι ίδιος ο τρόπος που αντιλαµβάνεται κάθε άνθρωπος την µουσική. Ένα µουσικό κοµµάτι που θα το χαρακτήριζε κάποιος ως ποπ, κάποιος άλλος θα µπορούσε να το πει ντίσκο. Άρα για το ίδιο κοµµάτι έχουµε δύο διαφορετικές πληροφορίες και κανένας δεν µπορεί να πει ότι κάποιος από τους δύο κατόχους έχει εσφαλµένη άποψη. Ένα άλλο βασικό πρόβληµα είναι η προσπάθεια και ο κόπος που πρέπει να γίνει για να συλλεχθούν και να γραφούν οι πληροφορίες. Γιατί αν κάποιος επιχειρήσει να µετατρέψει µόνος του σε mp3 ένα µουσικό κοµµάτι από σι-ντι, θα πρέπει να γράψει (αν το ενδιαφέρουν) τουλάχιστον τις βασικές πληροφορίες, και κυρίως το όνοµα του τραγουδιού και τον καλλιτέχνη. Και αν ο χρήστης ενδιαφέρεται για επιπλέον πληροφορίες για το κοµµάτι τότε πρέπει να ψάξει λίγο παραπάνω, είτε στο διαδίκτυο (internet), είτε οπουδήποτε κρίνει αυτός αναγκαίο και χρήσιµο για να πετύχει το στόχο του. Φυσικά τα παραπάνω σε συνδυασµό µε µουσικά κοµµάτια που δεν έχουν χαρακτηριστεί ως προς το είδος τους (µπορεί ούτε καν να έχουν πληροφορίες), δηµιουργούν µια σύγχυση στη βάση δεδοµένων µε αποτέλεσµα να χρειάζεται τεράστιος κόπος για συντήρηση και συνεχή ανανέωση αυτής, χωρίς οπωσδήποτε να είναι αντικειµενικά σωστή. Βέβαια η αντικειµενικότητα στα είδη της µουσικής θα 2

13 µπορούσε να χαρακτηριστεί ως απαγορευµένη λέξη αφού όπως είπαµε η διάσταση απόψεων είναι αυτό που επικρατεί στην κατηγοριοποίηση των κοµµατιών. ΕΙΚΟΝΑ : Παράθυρο διαλόγου που κάνει χρήση ο ΙD3 tag..5 Αυτόµατη Αναγνώριση των Ειδών της Μουσικής Η ταξινόµηση των µουσικών κοµµατιών µε βάση τις πληροφορίες κειµένου είναι σίγουρα ένας πολύ καλός τρόπος για να µπορεί κάποιος να έχει µια οργανωµένη συλλογή από τραγούδια. Όπως αναφέραµε στη προηγούµενη παράγραφο όµως, υπάρχουν αρκετά προβλήµατα και απαιτεί αρκετό κόπο ιδιαίτερα στην ταξινόµηση. Γιατί λοιπόν να µη κάνουµε την ίδια ίσως και καλύτερη ταξινόµηση, µε αυτόµατη διαδικασία, δηµιουργώντας τη δική µας συλλογή, µε βάση τις δικές µας προτιµήσεις και απόψεις; Να µη βασιζόµαστε δηλαδή στην µουσική ταξινόµηση που µας παρουσιάζουν αλλά στις δικές µας εξειδικευµένες ή όχι γνώσεις. Όλα αυτά δηµιουργούν την αναγκαιότητα της αυτόµατης αναγνώρισης των ειδών της µουσικής. Η ιδέα είναι απλή στη σύλληψη. «εν πιστεύω αυτό που βλέπω, αλλά αυτό που ακούω». εν πιστεύω δηλαδή αναγκαστικά στις γραπτές πληροφορίες που µου δίνει το κοµµάτι, αλλά αυτό που µου αφήνει σαν αίσθηση κατά την ακρόαση. Θα προσπαθήσουµε να ταξινοµήσουµε λοιπόν ένα κοµµάτι µε βάση τις πληροφορίες που µου δίνει το σήµα του. Αυτό βέβαια θα γίνεται αυτόµατα. Ευελπιστούµε έτσι να έχουµε µια σωστή ταξινόµηση τόσο σε παγκόσµιο επίπεδο όσο και σε προσωπικό 3

14 αφού ο καθένας θα µπορεί να δηµιουργεί τη δική του συλλογή κοµµατιών µε βάση τα δικά του κριτήρια για το είδος το κοµµατιών που θα περιγράφει αυτή...6 Σκοπός της Εργασίας Η παρούσα εργασία έχει ως σκοπό να αντιµετωπίσει το πρόβληµα της αναγνώρισης των ειδών της µουσικής σαν µέρος του γενικότερου προβλήµατος της ταξινόµησης των ακουστικών σηµάτων µε τη βοήθεια του κλάδου, που λέγεται µηχανική Μάθηση. Θα αναφερθούµε στα χαρακτηριστικά που περιγράφουν και βοηθούν στην ταξινόµηση των µουσικών κοµµατιών όχι όµως από τη σκοπιά της µουσικής ανάλυσης και θεωρίας. Θα εστιάσουµε στα ακουστικά σήµατα και θα ασχοληθούµε µε την µάθηση µε επίβλεψη ώστε να έχει το καλύτερο δυνατό αποτέλεσµα. Αυτό που πρέπει να γίνει κατανοητό όµως είναι ότι η εργασία αυτή αποτελεί απλά µια προσπάθεια για να βγουν κάποια συµπεράσµατα για τη νέα προσέγγιση του παραπάνω προβλήµατος, και την επίλυση αυτού. Επιπλέον ελπίζει να βοηθήσει την ανάπτυξη νέων ιδεών και την αντιµετώπιση του ίδιου ή αντίστοιχων προβληµάτων. 4

15 ΚΕΦΑΛΑΙΟ 2 2. Προσέγγιση του Προβλήµατος της Αναγνώρισης των Ειδών της Μουσικής 2.. Εισαγωγή Αυτό που πραγµατεύεται αυτό το κεφάλαιο είναι µια καλύτερη προσέγγιση του προβλήµατος της Αναγνώρισης των Μουσικών Ειδών, όπου θα γίνει ο διαχωρισµός του πώς οι άνθρωποι αντιλαµβάνονται τα µουσικά είδη και του πώς αυτά πρέπει να περιγραφούν ώστε να µπορέσουν να χρησιµοποιηθούν από τους υπολογιστές για την εξαγωγή συµπερασµάτων. Επιπλέον θα αναφερθούµε σε δυσκολίες και διλήµµατα που αντιµετωπίζουµε στην εφαρµογή του προβλήµατος, καθώς και ποια είναι τα αντίστοιχα σχετικά πεδία που ασχολούνται οι επιστήµονες Περιγραφή του Προβλήµατος της Αναγνώρισης των Ειδών της Μουσικής Τα µουσικά είδη είναι ετικέτες που δηµιουργούνται και που χρησιµοποιούνται από τους ανθρώπους για την ταξινόµηση και την περιγραφή του απέραντου κόσµου της µουσικής. Τα µουσικά είδη δεν έχουν ακριβή ορισµό και όριο καθώς προκύπτουν µέσω µιας σύνθετης αλληλεπίδρασης µεταξύ του κοινού και εµπορικών, ιστορικών, και πολιτιστικών παραγόντων. Η ταξινόµηση τους ωστόσο είναι κάτι περισσότερο από αναγκαία. Αυτή η ταξινόµηση γίνεται µε βάση κάποιων χαρακτηριστικών που σχετίζονται µε την ενορχήστρωση, τη ρυθµική δοµή, και το αρµονικό περιεχόµενο της µουσικής. Η ταξινόµηση αυτή αναφέρεται και ως «αναγνώριση των ειδών της µουσικής». Αυτό όµως που εµείς ουσιαστικά θέλουµε είναι η «αυτόµατη αναγνώριση των ειδών της µουσικής» δηλαδή η ταξινόµηση µε τη βοήθεια του υπολογιστή. Η αλήθεια είναι πως αν και οι δύο παραπάνω όροι της ταξινόµησης έχουν τον ίδιο σκοπό, αποτελούν δύο διαφορετικά αντικείµενα µελέτης. Και αυτό γιατί δεν είναι εύκολο να περιγράψουµε µε µαθηµατικά µοντέλα το τρόπο αντίληψης του ανθρώπου για τη µουσική (και γενικά το τρόπο αντίληψης του για τα γεγονότα) Μοντέλο Προσέγγισης του Προβλήµατος της Αναγνώρισης των Ειδών της Μουσικής Ο σκοπός είναι η δηµιουργία ενός συστήµατος (ή τουλάχιστον µιας διαδικασίας) που θα δέχεται ως είσοδο ένα µουσικό ψηφιακό σήµα-κοµµάτι και θα έχει ως έξοδο κάποιες πληροφορίες που θα περιγράφουν αυτό το κοµµάτι και θα το έχουν ταξινοµήσει σε κάποιο είδος της µουσικής. 5

16 Ο κύριος πυρήνας του συστήµατος, τον οποίο ονοµάζουµε µαύρο κουτί εκτελεί ουσιαστικά δύο διαδικασίες. Η πρώτη είναι η εξαγωγή χαρακτηριστικών (feature extraction) από το κοµµάτι και η δεύτερη η ταξινόµηση (classification) του κοµµατιού. Τονίζουµε ότι οι δύο διαδικασίες εκτελούνται ξεχωριστά, ωστόσο η έξοδος στη διαδικασία της «εξαγωγής χαρακτηριστικών» (Ε.Χ.) αποτελεί είσοδο στη διαδικασία της ταξινόµησης (ΤΑΞ.). ΣΗΜΑ ΗΧΟΥ Ε.Χ. ΤΑΞ ΜΕΤΑ- Ε ΟΜΕΝΑ ΕΙΚΟΝΑ 2 : Σχηµατική αναπαράσταση συστήµατος για την αυτόµατη αναγνώριση των ειδών της µουσικής 2..4 υσκολίες που Παρουσιάζονται στην Αναγνώριση των Ειδών της Μουσικής Οι δυσκολίες που εµφανίζονται στη επεξεργασία της µουσικής και κατά επέκταση στην αυτόµατη αναγνώρισης των ειδών της µουσικής είναι πάρα πολλές. Το βασικότερο αίτιο είναι διότι η µουσική από µόνη της είναι πολύπλοκη. Οι προσπάθειες που έχουν γίνει για την επεξεργασία της µουσικής είναι περιορισµένες κυρίως σε µονοφωνικά σήµατα και µόλις τα τελευταία χρόνια έχει γίνει µια προσπάθεια για επέκταση της σε πολυφωνικά, όπου έχουν πρακτική εφαρµογή αλλά και πολλά εµπόδια. Μια εξίσου σηµαντική δυσκολία είναι ότι η µουσική αποτελεί ένα διαισθητικό φαινόµενο και υπάρχει δυσκολία να περιγραφεί ως φυσικό (οι έννοιες διαισθητικό και φυσικό θα αναλυθούν σε επόµενη παράγραφο). Επιπλέον δυσκολίες και διλήµµατα της εργασίας καθώς και οι τρόποι που αντιµετωπίστηκαν θα αναφερθούν κατά τη διάρκεια της και κυρίως στο κεφάλαιο µε τα πειράµατα και τα αποτελέσµατα Ανατοµία του Αυτιού Ο ήχος που πλησιάζει το αυτί φτάνει µέσω του πτερυγίου και του έξω ακουστικού πόρου, στην τυµπανική µεµβράνη, την οποία θέτει σε ταλάντωση. Τα οστάρια, τοποθετηµένα στο άνω τµήµα του µέσου αυτιού, µεταφέρουν αυτές τις ταλαντώσεις της τυµπανικής µεµβράνης στο έσω αυτί: η σφύρα, η οποία εφάπτεται 6

17 στην τυµπανική µεµβράνη, µεταφέρει τις ταλαντώσεις στον άκµονα και αυτός µε τη σειρά του στον αναβολέα, ο οποίος εφάπτεται στην ωοειδή θυρίδα του έσω αυτιού. Με αυτόν τον τρόπο τα ηχητικά κύµατα στο έσω αυτί και διεγείρουν τον κοχλία, ο οποίος είναι τοποθετηµένος στα κοιλώµατα του κροταφικού οστού. Ο κοχλίας, µια κοιλότητα µε σχήµα κελύφους σαλιγκαριού, είναι γεµάτος υγρό και χωρίζεται σε δύο χώρους (την αιθουσαία και την τυµπανική κλίµακα), από τη βασική µεµβράνη, η οποία φέρει τα αισθητήρια κύτταρα όπου καταλήγουν οι απολήξεις των νευρικών ινών του ακουστικού νεύρου. Ο κοχλίας, επικοινωνεί µε το µέσο αυτί µέσω της ωοειδούς θυρίδας από την πλευρά της αιθουσαίας κλίµακας, και µέσω της στρογγυλής θυρίδας, που αποφράσσεται µε µια απλή µεµβράνη, από την πλευρά της τυµπανικής κλίµακας. Οι παλµικές κινήσεις του αναβολέα και της µεµβράνης της στρογγυλής θυρίδας καθορίζουν την κίνηση του υγρού, το οποίο µε αυτόν τον τρόπο διεγείρει τα αισθητήρια κύτταρα της βασικής µεµβράνης, κατά περιοχές, ανάλογα µε τη συχνότητα του προσπίπτοντος ήχου (Κοκκινάκης, 999).. πτερύγιο 2. λοβίο 3. έξω ακουστικός πόρος 4. τυµπανικός υµένας 5. σφύρα 6. άκµονας 7. αναβολέας 8. ευσταχιανή σάλπιγγα 9. ηµικύκλιοι σωλήνες 0. αίθουσα. κοχλίας ΕΙΚΟΝΑ 3 : Ανατοµία ανθρώπινου αυτιού 2..6 Φυσικά και ιαισθητικά Χαρακτηριστικά Τα χαρακτηριστικά που περιγράφουν τα ακουστικά σήµατα χωρίζονται σε δύο βασικές κατηγορίες. Στα φυσικά και στα διαισθητικά (Κοκκινάκης, 999). Τα φυσικά είναι αυτά που µπορούν να περιγραφούν από µαθηµατική και στατιστική ανάλυση, και ουσιαστικά είναι αυτά που χρησιµοποιούνται στην αυτόµατη αναγνώριση των ειδών της µουσικής. Τα διαισθητικά είναι ουσιαστικά τα χαρακτηριστικά που βασίζονται στην ανθρώπινη διαίσθηση και αντίληψη. Ίσως είναι και αυτά που βοηθούν τους ανθρώπους να κάνουν τη δουλειά της ταξινόµησης τόσο εύκολη. Θα µπορούσαµε άραγε να περιγράψουµε τα διαισθητικά χαρακτηριστικά µε νούµερα; Ίσως και να γίνεται αφού η ανθρώπινη ακουστική αντίληψη βασίζεται ουσιαστικά σε ερεθίσµατα που προέρχονται από «φυσικά» σήµατα του ήχου. 7

18 Μιλώντας για φυσικά χαρακτηριστικά αναφερόµαστε σε µεγέθη όπως συχνότητα, πλάτος και φάσµα. Τα διαισθητικά είναι η αίσθηση στο ύψος του ήχου (pitch), η αίσθηση της έντασης (intensity), και η αίσθηση της χροιάς (timbre). Η σχέση µεταξύ διαισθητικών και φυσικών χαρακτηριστικών φαίνεται στο παρακάτω πίνακα. Φυσικά Χαρακτηριστικά Συχνότητα Πλάτος Φάσµα ιαισθητικά Χαρακτηριστικά Ύψος Ένταση Χροιά υστυχώς όµως η µέχρι τώρα µαθηµατική προσέγγιση των διαισθητικών χαρακτηριστικών είναι πολύ δύσκολη και ανακριβής, αφού βασίζονται σε πολύπλοκους συνδυασµούς φυσικών ιδιοτήτων. Για αυτό το λόγο αποφεύγουµε να χρησιµοποιήσουµε αυτά στην αυτόµατη αναγνώριση. Ωστόσο ελπίζουµε ότι κάποια πληροφορία των διαισθητικών χαρακτηριστικών θα έχει εισαχθεί στα φυσικά έτσι ώστε να κάνει τη δουλειά µας λίγο πιο εύκολη και ακριβή Περιοχή Ακουστότητας Το αυτί, έχει την ικανότητα να λαµβάνει ήχους σε µια συγκεκριµένη περιοχή συχνοτήτων, από 6Ηz περίπου µέχρι 8Hz περίπου (Hz είναι η µονάδα µέτρησης της συχνότητας). Πάνω και κάτω από αυτές τις συχνότητες, ο άνθρωπος δεν ακούει πλέον ηµιτονοειδής ταλαντώσεις, ανεξαρτήτως από το πλάτος τους (Η πλέον διαδεδοµένη µονάδα πλάτους, είναι το decibel (dβ), ή ακριβέστερα το Bel, του οποίου το /0 είναι το dβ και ονοµάστηκε έτσι προς τιµή του Alexander Graham Bell. Ο ορισµός του Bel είναι: Bel W = log0 άρα το decibel είναι db = 0log0 W2 W2 W όπου, W και W 2 οι ισχείς δύο µεγεθών) (Κοκκινάκης, 999). Μεταξύ των ορίων αυτών η υποκειµενική αίσθηση της έντασης, εξαρτάται από τη συχνότητα και συγκεκριµένα, το αυτί είναι πιο ευαίσθητο σε συχνότητες,000hz και 4,000Hz. Σε χαµηλότερες και υψηλότερες συχνότητες το αυτί γίνεται όλο και λιγότερο ευαίσθητο. Αν καθορίσουµε τη µικρότερη ένταση για την οποία οι ήχοι διαφόρων συχνοτήτων γίνονται µόλις αντιληπτοί από το αυτί, µπορούµε να σχεδιάσουµε µια καµπύλη δείχνοντας το κατώφλι πάνω από το οποίο οι ήχοι γίνονται ακουστοί, το οποίο είναι γνωστό, σαν το κατώφλι ακουστότητας (auditory threshold). Όσο η ένταση ενός ήχου 8

19 αυξάνεται, φτάνει σε κάποιο όριο µετά το οποίο αυτός γίνεται ενοχλητικός και αργότερα προκαλεί πόνο. Έτσι, µπορούµε να καθορίσουµε άλλο ένα κατώφλι, όχι µε ακρίβεια γιατί εξαρτάται από µια προσωπική αίσθηση, το οποίο λέγεται κατώφλι πόνου. Η περιοχή µεταξύ των δύο αυτών καµπυλών αναπαριστά µια σειρά συνδυασµών έντασης και συχνότητας των ζητούµενων ήχων και ονοµάζεται περιοχή ακουστότητας. Τα δύο κατώφλια πλησιάζουν µεταξύ τους στα άκρα υψηλών και χαµηλών συχνοτήτων της περιοχής των συχνοτήτων, αλλά ποτέ δεν συναντιούνται. Εποµένως, αφού δεν µπορούµε να κλείσουµε την περιοχή ακουστότητας ενώνοντας το κατώφλι ακουστότητας και το κατώφλι πόνου στα άκρα τους, µπορούµε να θεωρήσουµε την περιοχή ακουστότητας σαν µια ζώνη ασαφώς οριοθετηµένη σε όλες τις πλευρές της, µε ένα περιθώριο αβεβαιότητας, κυρίως στις χαµηλές και υψηλές συχνότητες. Στην πράξη, οι ήχοι κοντά στο κατώφλι ακουστότητας για να γίνουν αντιληπτοί χρειάζονται ιδανικές συνθήκες ησυχίας και προσοχής. Από στατιστικές µελέτες µέτρησης του αριθµού των θετικών ως προς την ακουστότητα απαντήσεων σαν συνάρτηση της έντασης του ήχου, φαίνεται ότι υπάρχει ένα περιθώριο τουλάχιστον 20dB µεταξύ των βέλτιστων φυσιολογικών πιθανοτήτων και µιας σταθερής θετικής απάντησης από πλευρά υποκειµένου. Στα 20dB περίπου ο ήχος ακούγεται αξιόπιστα και κάποιος µπορεί να αντιληφθεί και το ύψος του σωστά Η Ανθρώπινη Αντίληψη για την Αναγνώριση Μουσικών Ειδών Σε µελέτη που έγινε από τους (Perrot & Gjerdigen, 999), χρησιµοποιήθηκαν 52 µαθητές ψυχολογίας χωρίς ιδιαίτερες µουσικές γνώσεις και 80 µουσικά κοµµάτια που αναφέρονται στα είδη µπλουζ, κλασσική µουσική, χορευτική, τζαζ, λάτιν, ποπ, ραπ, ροκ, αρ εν µπι (R&B), και κάντρι. Κάθε είδος είχε 8 µουσικά κοµµάτια σε µορφή mp3, από τα οποία τα 4 είχαν τραγουδιστή ενώ τα υπόλοιπα 4 όχι. Πρέπει να αναφέρουµε ότι τα µουσικά κοµµάτια ήταν ταξινοµηµένα ανάλογα µε το είδος τους, το οποίο έχει προσδιοριστεί από τους δηµιουργούς αυτών. Από κάθε κοµµάτι χρησιµοποιήθηκαν 5 αποσπάσµατα διάρκειας χρόνου 3000 ms, 475 ms, 400 ms, 325 ms, και 250 ms αντίστοιχα. Μετά από ακρόαση των αποσπασµάτων αυτών, χρονικής διάρκειας 24 ωρών σε διάστηµα χρόνου µίας εβδοµάδας, και µε τυχαία σειρά, είχαµε τα εξής συµπεράσµατα. Για το απόσπασµα των 3000 ms υπήρξε 70% ακρίβεια ταξινόµησης του είδους µουσικής του κοµµατιού (αρκετά και απροσδόκητα υψηλή), και 40% για το απόσπασµα των 250 ms. Για τα αποσπάσµατα µεταξύ 250 ms και 3000 ms η ακρίβεια ήταν 44%. 9

20 Τα αποτελέσµατα ήταν πολύ ενδιαφέροντα από θέµα ακρίβειας ειδικά για το ποσοστό που αναφέρεται στο απόσπασµα των 250 ms, αφού είναι ένα πολύ µικρό χρονικό διάστηµα για να ακούσει κάποιος είτε το ρυθµό είτε τη µελωδία ενός κοµµατιού. Άρα πολύ πιθανό η αναγνώριση των ειδών της µουσικής να βασίζεται µόνο στο φάσµα και στη χροιά-ύφος του κοµµατιού, έννοιες που θα ορίσουµε αργότερα. 0

21 ΚΕΦΑΛΑΙΟ 3 3. Επεξεργασία Ακουστικού Σήµατος 3.. Εισαγωγή Σε αυτό το κεφάλαιο θα γίνει µια γενική αναφορά στην επεξεργασία σήµατος και στα χαρακτηριστικά που χρησιµοποιούνται στην ακουστική ανάλυση αλλά και σε αυτά που χρησιµοποιούνται στην αυτόµατη αναγνώριση των ειδών της µουσικής Πρώτες Παρατηρήσεις Η µεγαλύτερη πρόκληση στην αναγνώριση των ειδών της µουσικής και γενικά στην αναγνώριση προτύπων είναι η σωστή εξαγωγή χαρακτηριστικών, που θα µας οδηγήσουν σε επιθυµητά και σωστά αποτελέσµατα. Με τον όρο όµως εξαγωγή χαρακτηριστικών (feature extraction) εννοούµε τον υπολογισµό µιας αριθµητικής αναπαράστασης που χαρακτηρίζει τα δεδοµένα εισόδου µας. Θέλουµε λοιπόν µια αριθµητική αναπαράσταση που θα χαρακτηρίζει τα µουσικά µας δεδοµένα. Το πως θα γίνει αυτό θα το εξηγήσουµε παρακάτω. Αυτό όµως που πρέπει να έχουµε υπόψη µας, είναι ότι είµαστε ελεύθεροι να κάνουµε οτιδήποτε µετατροπές στα δεδοµένα µας µε τον όρο βέβαια να µην αλλοιώνουµε την πραγµατική τους υπόσταση και ότι η κάθε ενέργεια έχει ως σκοπό τη βελτίωση των συµπερασµάτων µας Ανάλυση Φουριέ Με τον όρο ανάλυση Φουριέ ουσιαστικά αναφερόµαστε σε ένα σύνολο από µαθηµατικές τεχνικές µε τις οποίες αναλύουµε ένα σήµα σε συναρτήσεις ηµίτονων και συνηµίτονων. Ας δούµε όµως ποιο συγκεκριµένα πώς γίνεται αυτό όσο το δυνατόν πιο απλά. Έστω ότι έχουµε τη συνάρτηση x() t. Θυµίζουµε ότι µια συνάρτηση είναι περιοδική µε περίοδο T, όταν ισχύει x( t+ T) = x( t) για κάθε t. Ορίζουµε ως θεµελιώδη συχνότητα f 0 µιας x() t τον παράσταση: f 0 = T Επιπλέον θυµίζουµε ότι µια συνάρτηση x() t µπορεί να γραφεί ως ανάπτυγµα Τάυλορ (Taylor) το οποίο πρακτικά είναι ένα «άπειρο πολυώνυµο». Μπορεί να γραφτεί δηλαδή στη µορφή: x() t = cnt n= 0 n