Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων: το έργο ΠΟΛΥΜΝΙΑ* Δρ. Σοφία Τσεκερίδου Επίκουρος Καθηγήτρια *Παρουσιάζονται αποτελέσματα έρευνας και ανάπτυξης που προέκυψαν από τη συνεργασία με το Ινστιτούτο Πολιτιστικής και Εκπαιδευτικής Τεχνολογίας, Ξάνθη, και με το Τμήμα Πληροφορικής και Τηλεπικοινωνιών, ΕΚΠΑ, Αθήνα, στα πλαίσια της Ενότητας Εργασίας 4 του εθνικά χρηματοδοτούμενου έργου ΠΟΛΥΜΝΙΑ (www.polymnia.gr) 15/03 03/2006
www.ait.gr Το έργο ΠΟΛΥΜΝΙΑ: Πύλη παροχής εξελιγμένων μουσικών υπηρεσιών
Κοινοπραξία στο έργο ΠΟΛΥΜΝΙΑ (www. www.polymnia.gr) www.ait.gr
Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου www.ait.gr Αναγκαιότητα Πληθώρα μη δομημένων ψηφιακών μουσικών δεδομένων στο Διαδίκτυο ή σε συστήματα αρχειοθέτησης και διαχείρισης πολυμεσικών δεδομένων Εύκολη και γρήγορη αναζήτηση και ανάκτηση δεδομένων άμεσου ενδιαφέροντος «Έξυπνη» ανάκτηση βάσει παραδειγμάτων και μουσικής ομοιότητας Ίδια μουσική κατηγορία, ίδια ρυθμικά χαρακτηριστικά, ίδια μελωδία, ύπαρξη όμοιων μουσικών οργάνων, κλπ. Μικρή παρέμβαση χρήστη, ελάχιστος χρόνος χειρωνακτικής αναζήτησης
Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου www.ait.gr Πολυμεσικά μεταδεδομένα Δομημένη περιγραφή περιεχομένου και δομής πολυμεσικών δεδομένων Κάλυψη αναγκών έξυπνης και γρήγορης αναζήτησης Σε συνδυασμό με όλους τους μηχανισμούς δημιουργίας, αποθήκευσης και διαχείρισης μεταδεδομένων Εμφάνιση προτύπων μεταδεδομένων πολυμεσικών δεδομένων MPEG-7: Multimedia Description, NOT compression Εξασφάλιση ανάπτυξης διαλειτουργικών λύσεων και συστημάτων Ιδίως σε κατανεμημένα συστήματα αρχειοθέτησης πολυμεσικών δεδομένων Ευελιξία XML βάσεων δεδομένων σε XML-based queries
Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου www.ait.gr Ολοκληρωμένο σύστημα - στάδια Ανάλυση βάσει περιεχομένου Χρήση αλγορίθμων επεξεργασίας σήματος για την αυτόματη εξαγωγή ηχητικών χαρακτηριστικών χαμηλού επιπέδου FFT, LPC, MFCC, Zero Crossings, Power estimation, Sub-band analysis, Time-frequency analysis, Pitch detection, κλπ. Αντιπροσωπευτικά κάποιας εύρυτερης ηχητικής ιδιότητας, π.χ. ρυθμός ή μελωδία Χρήση αλγορίθμων ταξινόμησης, αναγνώρισης προτύπων, νευρωνικών δικτύων για την μοντελοποίηση ηχητικών δεδομένων HMMs, ICA, κλπ. Χαρακτηριστικά εισόδου από ανάλυση χαμηλού επιπέδου Έξοδος: μοντέλα καθορισμένων ηχητικών κλάσεων
Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου www.ait.gr Ολοκληρωμένο σύστημα - στάδια (2) Περιγραφή μουσικών δεδομένων Με τυποποιημένους τρόπους μέσω χρήσης προτύπων μεταδεδομένων Περιγραφή με χαρακτηριστικά χαμηλού επιπέδου» MPEG-7 Audio Part» Αυτόματη δημιουργία δομών μεταδεδομένων (XML instance files) Περιγραφή σημασιολογίας» MPEG-7 Multimedia Description Schemes Part» MusicXML: αναπαράσταση μουσικής παρτιτούρας
Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου www.ait.gr Ολοκληρωμένο σύστημα - στάδια (3) Αποθήκευση μεταδεδομένων Σε σχεσιακές βάσεις δεδομένων με επεκτάσεις για διαχείριση XML δεδομένων Oracle 10g» Μη δομημένος τρόπος αποθήκευσης» Δομημένος τρόπος αποθήκευσης Σε native XML βάσεις δεδομένων (πλήρεις λειτουργίες διαχείρισης XML δεδομένων βάσει W3C προδιαγραφών (XML Parsing, XML namespaces, XPath, XQuery, )) Ανάκτηση βάσει μεταδεδομένων Εύρεση των σχετικών XML υποδέντρων και απομόνωση συνόλου δεδομένων από βάση Χρήση κλασικών μεθόδων ανάκτησης
Αρχιτεκτονική Συστήματος Ανάλυσης και Ανάκτησης Μουσικής βάσει Περιεχομένου www.ait.gr exist Native XML Database
ΠΟΛΥΜΝΙΑ: Σενάρια ανάκτησης μουσικής πληροφορίας Ταξινόμηση ηχογραφήσεων σε προκαθορισμένα μουσικά είδη (musical genre classification) Εύρεση ηχογραφήσεων με ηχοχρωματικές ομοιότητες (timbral-based similarity retrieval) Εξαγωγήρυθμικώνχαρακτηριστικώναπόηχογραφήσεις (beat, tempo and rhythm tracking) Εντοπισμός ηχογραφήσεων που περιέχουν, μελωδία ή ρυθμικά χαρακτηριστικά που προκύπτουν από περιγραφή του χρήστη (query-by-humming, query-by-rhythm) Εντοπισμός οργάνων σε ηχογραφήσεις (instrument spotting) Εξαγωγή, με αυτοματοποιημένο τρόπο, επαναλαμβανόμενων τμημάτων από μουσικές ηχογραφήσεις (repeated pattern finding)
Μεταδεδομένα MPEG-7 Πρότυπο - ΠΟΛΥΜΝΙΑ Περιγραφή σημασιολογικής πληροφορίας μουσικού κομματιού Βάσει του MPEG-7 Multimedia Description Schemes (MDS) part Μετάφραση Dublin Core σημασιολογικών μεταδεδομένων σε MPEG-7 MDS μέσω XSLT Περιγραφή ηχητικών χαρακτηριστικών χαμηλού επιπέδου Ηχητικά χαρακτηριστικά: ανάλυση βάσει περιεχομένου (ΕΚΠΑ) Χρήση MPEG-7 Audio Part Επέκταση MPEG-7 ορισμών του Audio Part με σκοπό την περιγραφή νέων ηχητικών χαρακτηριστικών
MPEG-7 Πρότυπο Audio Part Περιγραφείς χαµηλού επιπέδου (low level description tools) 17 χρονικοί (temporal) και φασµατικοί (spectral) περιγραφείς Χροιά, Ένταση, Οξύτητα, Τόνος, κλπ.
MPEG-7 Πρότυπο Audio + MDS Parts
Επεκτάσεις σε MPEG-7 ηχητικά μεταδεδομένα Για την περιγραφή ολικών ρυθμικών χαρακτηριστικών Όχι short term χαρακτηριστικών του MPEG-7 Υπάρχοντες MPEG-7 ορισμοί Νέοι ορισμοί
Επεκτάσεις σε MPEG-7 ηχητικά μεταδεδομένα Για την περιγραφή long term ηχητικών χαρακτηριστικών, από μέσους όρους σε short term παράθυρα Νέοι ορισμοί Υπάρχοντες MPEG-7 ορισμοί
Επεκτάσεις σε MPEG-7 ηχητικά μεταδεδομένα Ένα παράδειγμα πλήρους MPEG-7 xml instance αρχείου με όλους τους περιγραφείς (MPEG-7 MDS, MPEG-7 Audio low level, MPEG-7 Πολύμνια επεκτάσεις) να εμφανίζονται, μπορείτε να δείτε εδώ
Σημασιολογικά δεδομένα Dublin Core Παράδειγμα αρχείου Dublin Core για την ενσωμάτωση σημασιολογικών μεταδεδομένων μπορείτε να δείτε εδώ
ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ)
ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ) Αποτέλεσμα
ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ)
ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ)
ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ)
Ενδεικτικές Βιβλιογραφικές Αναφορές www.ait.gr 1. D. Byrd, T. Crawford, Problems of Music Information retrieval in the Real World, Information Processing and Management Journal, Elsevier, vol. 38, pp. 249-272, 2002 2. F. Pachet, Content Management for Electronic Music Distribution, Communications of the ACM, Vol. 46, No. 4, April 2003 3. T. Miura, I. Shioya, Similarity among melodies for Music Information Retrieval, CIKM 03, November 3 8, 2003, New Orleans, Louisiana, USA. 4. W. Chai, B. Vercoe, Music Thumbnailing via Structural Analysis, MM 03, November 2-8, 2003, Berkeley, California, USA. 5. J. Shifrin, B. Pardo, C. Meek, W. Birmingham, HMM-Based Musical Query Retrieval, JCDL 02, July 13-17, 2002, Portland, Oregon, USA. 6. J. Pickens, T. Crawford, Harmonic Models for Polyphonic Music Retrieval, CIKM 02, November 4 9, 2002, McLean, Virginia, USA. 7. J. Loeffler, K. Biatov, C. Eckes, J. Koehler, IFINDER: An MPEG-7-Based Retrieval System for Distributed Multimedia Content, Multimedia 02, December 1-6, 2002, Juan-les-Pins, France. 8. J.M. Martinez, R. Koenen, F. Pereira, MPEG-7: the generic Multimedia Content Description Standard, IEEE Multimedia Magazine, April-June 2002 9. A.T. Lindsay et al., Representation and linking mechanisms for audio in MPEG-7, Signal Processing: Image Communication, Elsevier, no.16, pp. 193-209, 2000 10. P. Pierrick, Low-level musical descriptors for MPEG-7, Signal Processing: Image Communication, Elsevier, no.16, pp. 181-191, 2000 11. Michael Good, An Internet-Friendly Format For Sheet Music, http://www.idealliance.org/papers/xml2001/papers/html/03-04-05.html#d28e56316 12. The MusicXML Web site, http://www.musicxml.org/ 13. U. Westermann, W. Klas, An Analysis of XML Database Solutions for the Management of MPEG-7 Media Descriptors, ACM Computing Surveys, vol. 35, no.4, pp. 331-373, December 2003. 14. H. Kosch, MPEG-7 and Multimedia database Systems, SIGMOD Record, vol. 31, no. 2, pp. 34-39, June 2002 15. Content-based Unified Interfaces and Descriptors for Audio/music Databases available Online (CUIDADO) FP5 IST EU-funded project. Web site: http://www.ircam.fr/produits/technologies/multimedia/cuidado-e.html 16. The MPEG-7 powered MelodySearchEngine, Fraunhofer Institute, Web site: http://www.musicline.de/en/melodysearch/input