Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων: το έργο ΠΟΛΥΜΝΙΑ*

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων: το έργο ΠΟΛΥΜΝΙΑ*"

Χαρικλώ Ζαφειρόπουλος
8 χρόνια πριν
Προβολές:

1 Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων: το έργο ΠΟΛΥΜΝΙΑ* Δρ. Σοφία Τσεκερίδου Επίκουρος Καθηγήτρια *Παρουσιάζονται αποτελέσματα έρευνας και ανάπτυξης που προέκυψαν από τη συνεργασία με το Ινστιτούτο Πολιτιστικής και Εκπαιδευτικής Τεχνολογίας, Ξάνθη, και με το Τμήμα Πληροφορικής και Τηλεπικοινωνιών, ΕΚΠΑ, Αθήνα, στα πλαίσια της Ενότητας Εργασίας 4 του εθνικά χρηματοδοτούμενου έργου ΠΟΛΥΜΝΙΑ ( 15/03 03/2006

συνεργασία με το Ινστιτούτο Πολιτιστικής και Εκπαιδευτικής Τεχνολογίας, Ξάνθη, και με το Τμήμα Πληροφορικής

2 Το έργο ΠΟΛΥΜΝΙΑ: Πύλη παροχής εξελιγμένων μουσικών υπηρεσιών

3 Κοινοπραξία στο έργο ΠΟΛΥΜΝΙΑ (www.

4 Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου Αναγκαιότητα Πληθώρα μη δομημένων ψηφιακών μουσικών δεδομένων στο Διαδίκτυο ή σε συστήματα αρχειοθέτησης και διαχείρισης πολυμεσικών δεδομένων Εύκολη και γρήγορη αναζήτηση και ανάκτηση δεδομένων άμεσου ενδιαφέροντος «Έξυπνη» ανάκτηση βάσει παραδειγμάτων και μουσικής ομοιότητας Ίδια μουσική κατηγορία, ίδια ρυθμικά χαρακτηριστικά, ίδια μελωδία, ύπαρξη όμοιων μουσικών οργάνων, κλπ. Μικρή παρέμβαση χρήστη, ελάχιστος χρόνος χειρωνακτικής αναζήτησης

πολυμεσικών δεδομένων Εύκολη και γρήγορη αναζήτηση και ανάκτηση δεδομένων άμεσου ενδιαφέροντος «Έξυπνη» ανάκτηση βάσει

5 Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου Πολυμεσικά μεταδεδομένα Δομημένη περιγραφή περιεχομένου και δομής πολυμεσικών δεδομένων Κάλυψη αναγκών έξυπνης και γρήγορης αναζήτησης Σε συνδυασμό με όλους τους μηχανισμούς δημιουργίας, αποθήκευσης και διαχείρισης μεταδεδομένων Εμφάνιση προτύπων μεταδεδομένων πολυμεσικών δεδομένων MPEG-7: Multimedia Description, NOT compression Εξασφάλιση ανάπτυξης διαλειτουργικών λύσεων και συστημάτων Ιδίως σε κατανεμημένα συστήματα αρχειοθέτησης πολυμεσικών δεδομένων Ευελιξία XML βάσεων δεδομένων σε XML-based queries

συνδυασμό με όλους τους μηχανισμούς δημιουργίας, αποθήκευσης και διαχείρισης μεταδεδομένων Εμφάνιση προτύπων μεταδεδομένων πολυμεσικών δεδομένων

6 Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου Ολοκληρωμένο σύστημα - στάδια Ανάλυση βάσει περιεχομένου Χρήση αλγορίθμων επεξεργασίας σήματος για την αυτόματη εξαγωγή ηχητικών χαρακτηριστικών χαμηλού επιπέδου FFT, LPC, MFCC, Zero Crossings, Power estimation, Sub-band analysis, Time-frequency analysis, Pitch detection, κλπ. Αντιπροσωπευτικά κάποιας εύρυτερης ηχητικής ιδιότητας, π.χ. ρυθμός ή μελωδία Χρήση αλγορίθμων ταξινόμησης, αναγνώρισης προτύπων, νευρωνικών δικτύων για την μοντελοποίηση ηχητικών δεδομένων HMMs, ICA, κλπ. Χαρακτηριστικά εισόδου από ανάλυση χαμηλού επιπέδου Έξοδος: μοντέλα καθορισμένων ηχητικών κλάσεων

FFT, LPC, MFCC, Zero Crossings, Power estimation, Sub-band analysis, Time-frequency analysis, Pitch detection, κλπ.

7 Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου Ολοκληρωμένο σύστημα - στάδια (2) Περιγραφή μουσικών δεδομένων Με τυποποιημένους τρόπους μέσω χρήσης προτύπων μεταδεδομένων Περιγραφή με χαρακτηριστικά χαμηλού επιπέδου» MPEG-7 Audio Part» Αυτόματη δημιουργία δομών μεταδεδομένων (XML instance files) Περιγραφή σημασιολογίας» MPEG-7 Multimedia Description Schemes Part» MusicXML: αναπαράσταση μουσικής παρτιτούρας

προτύπων μεταδεδομένων Περιγραφή με χαρακτηριστικά χαμηλού επιπέδου» MPEG-7 Audio Part» Αυτόματη δημιουργία

8 Ανάλυση, Περιγραφή και Ανάκτηση Μουσικών Δεδομένων βάσει Περιεχομένου Ολοκληρωμένο σύστημα - στάδια (3) Αποθήκευση μεταδεδομένων Σε σχεσιακές βάσεις δεδομένων με επεκτάσεις για διαχείριση XML δεδομένων Oracle 10g» Μη δομημένος τρόπος αποθήκευσης» Δομημένος τρόπος αποθήκευσης Σε native XML βάσεις δεδομένων (πλήρεις λειτουργίες διαχείρισης XML δεδομένων βάσει W3C προδιαγραφών (XML Parsing, XML namespaces, XPath, XQuery, )) Ανάκτηση βάσει μεταδεδομένων Εύρεση των σχετικών XML υποδέντρων και απομόνωση συνόλου δεδομένων από βάση Χρήση κλασικών μεθόδων ανάκτησης

10g» Μη δομημένος τρόπος αποθήκευσης» Δομημένος τρόπος αποθήκευσης Σε native XML βάσεις δεδομένων (πλήρεις λειτουργίες διαχείρισης XML

9 Αρχιτεκτονική Συστήματος Ανάλυσης και Ανάκτησης Μουσικής βάσει Περιεχομένου exist Native XML Database

10 ΠΟΛΥΜΝΙΑ: Σενάρια ανάκτησης μουσικής πληροφορίας Ταξινόμηση ηχογραφήσεων σε προκαθορισμένα μουσικά είδη (musical genre classification) Εύρεση ηχογραφήσεων με ηχοχρωματικές ομοιότητες (timbral-based similarity retrieval) Εξαγωγήρυθμικώνχαρακτηριστικώναπόηχογραφήσεις (beat, tempo and rhythm tracking) Εντοπισμός ηχογραφήσεων που περιέχουν, μελωδία ή ρυθμικά χαρακτηριστικά που προκύπτουν από περιγραφή του χρήστη (query-by-humming, query-by-rhythm) Εντοπισμός οργάνων σε ηχογραφήσεις (instrument spotting) Εξαγωγή, με αυτοματοποιημένο τρόπο, επαναλαμβανόμενων τμημάτων από μουσικές ηχογραφήσεις (repeated pattern finding)

Εντοπισμός ηχογραφήσεων που περιέχουν, μελωδία ή ρυθμικά χαρακτηριστικά που προκύπτουν από περιγραφή του χρήστη (query-by-humming, query-by-rhythm)

11 Μεταδεδομένα MPEG-7 Πρότυπο - ΠΟΛΥΜΝΙΑ Περιγραφή σημασιολογικής πληροφορίας μουσικού κομματιού Βάσει του MPEG-7 Multimedia Description Schemes (MDS) part Μετάφραση Dublin Core σημασιολογικών μεταδεδομένων σε MPEG-7 MDS μέσω XSLT Περιγραφή ηχητικών χαρακτηριστικών χαμηλού επιπέδου Ηχητικά χαρακτηριστικά: ανάλυση βάσει περιεχομένου (ΕΚΠΑ) Χρήση MPEG-7 Audio Part Επέκταση MPEG-7 ορισμών του Audio Part με σκοπό την περιγραφή νέων ηχητικών χαρακτηριστικών

XSLT Περιγραφή ηχητικών χαρακτηριστικών χαμηλού επιπέδου Ηχητικά χαρακτηριστικά: ανάλυση βάσει περιεχομένου

12 MPEG-7 Πρότυπο Audio Part Περιγραφείς χαµηλού επιπέδου (low level description tools) 17 χρονικοί (temporal) και φασµατικοί (spectral) περιγραφείς Χροιά, Ένταση, Οξύτητα, Τόνος, κλπ.

13 MPEG-7 Πρότυπο Audio + MDS Parts

14 Επεκτάσεις σε MPEG-7 ηχητικά μεταδεδομένα Για την περιγραφή ολικών ρυθμικών χαρακτηριστικών Όχι short term χαρακτηριστικών του MPEG-7 Υπάρχοντες MPEG-7 ορισμοί Νέοι ορισμοί

15 Επεκτάσεις σε MPEG-7 ηχητικά μεταδεδομένα Για την περιγραφή long term ηχητικών χαρακτηριστικών, από μέσους όρους σε short term παράθυρα Νέοι ορισμοί Υπάρχοντες MPEG-7 ορισμοί

16 Επεκτάσεις σε MPEG-7 ηχητικά μεταδεδομένα Ένα παράδειγμα πλήρους MPEG-7 xml instance αρχείου με όλους τους περιγραφείς (MPEG-7 MDS, MPEG-7 Audio low level, MPEG-7 Πολύμνια επεκτάσεις) να εμφανίζονται, μπορείτε να δείτε εδώ

τους περιγραφείς (MPEG-7 MDS, MPEG-7 Audio low level,

17 Σημασιολογικά δεδομένα Dublin Core Παράδειγμα αρχείου Dublin Core για την ενσωμάτωση σημασιολογικών μεταδεδομένων μπορείτε να δείτε εδώ

18 ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ)

19 ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ) Αποτέλεσμα

20 ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ)

21 ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ)

22 ΠΟΛΥΜΝΙΑ Πρωτότυπο Σύστημα (ΙΠΕΤ)

23 Ενδεικτικές Βιβλιογραφικές Αναφορές 1. D. Byrd, T. Crawford, Problems of Music Information retrieval in the Real World, Information Processing and Management Journal, Elsevier, vol. 38, pp , F. Pachet, Content Management for Electronic Music Distribution, Communications of the ACM, Vol. 46, No. 4, April T. Miura, I. Shioya, Similarity among melodies for Music Information Retrieval, CIKM 03, November 3 8, 2003, New Orleans, Louisiana, USA. 4. W. Chai, B. Vercoe, Music Thumbnailing via Structural Analysis, MM 03, November 2-8, 2003, Berkeley, California, USA. 5. J. Shifrin, B. Pardo, C. Meek, W. Birmingham, HMM-Based Musical Query Retrieval, JCDL 02, July 13-17, 2002, Portland, Oregon, USA. 6. J. Pickens, T. Crawford, Harmonic Models for Polyphonic Music Retrieval, CIKM 02, November 4 9, 2002, McLean, Virginia, USA. 7. J. Loeffler, K. Biatov, C. Eckes, J. Koehler, IFINDER: An MPEG-7-Based Retrieval System for Distributed Multimedia Content, Multimedia 02, December 1-6, 2002, Juan-les-Pins, France. 8. J.M. Martinez, R. Koenen, F. Pereira, MPEG-7: the generic Multimedia Content Description Standard, IEEE Multimedia Magazine, April-June A.T. Lindsay et al., Representation and linking mechanisms for audio in MPEG-7, Signal Processing: Image Communication, Elsevier, no.16, pp , P. Pierrick, Low-level musical descriptors for MPEG-7, Signal Processing: Image Communication, Elsevier, no.16, pp , Michael Good, An Internet-Friendly Format For Sheet Music, The MusicXML Web site, U. Westermann, W. Klas, An Analysis of XML Database Solutions for the Management of MPEG-7 Media Descriptors, ACM Computing Surveys, vol. 35, no.4, pp , December H. Kosch, MPEG-7 and Multimedia database Systems, SIGMOD Record, vol. 31, no. 2, pp , June Content-based Unified Interfaces and Descriptors for Audio/music Databases available Online (CUIDADO) FP5 IST EU-funded project. Web site: The MPEG-7 powered MelodySearchEngine, Fraunhofer Institute, Web site:

Σχετικά έγγραφα

MIDI [8] MIDI. [9] Hsu [1], [2] [10] Salamon [11] [5] Song [6] Sony, Minato, Tokyo , Japan a) b)

MIDI [8] MIDI. [9] Hsu [1], [2] [10] Salamon [11] [5] Song [6] Sony, Minato, Tokyo , Japan a) b) 1,a) 1,b) 1,c) 1. MIDI [1], [2] U/D/S 3 [3], [4] 1 [5] Song [6] 1 Sony, Minato, Tokyo 108 0075, Japan a) Emiru.Tsunoo@jp.sony.com b) AkiraB.Inoue@jp.sony.com c) Masayuki.Nishiguchi@jp.sony.com MIDI [7]