ΝΤUA Τεχνολογία Πολυμέσων
6. Διάλεξη 6: Μεταδεδομένα
What Metadata is data about data An item of metadata may describe an individual data - content item, or a collection of data - multiple content items Traditionally used in DBs Describe schema and define constraints Used in Social media / messaging: <! START CUSTOM CODE > <meta property= og:url expr:content= data:blog.canonicalurl /> <meta property= og:title expr:content= data:blog.pagetitle /> <meta property= og:site_name expr:content= data:blog.title />
The Metadata problem Increasing availability of multimedia content Multiple multimedia domains Huge amount of multimedia data Increasing number of TV and broadcast stations Multimedia content in the Web Personal archives Individuals creators and producers of content More and more situations where it is necessary to have information about the content Difficulty to manage information, to find, to select, to filter what is needed
The Metadata problem Descriptions can be classified into two broad categories: Information that is present in the content: Low-level features that are automatically extracted e.g., (video) color, texture, motion (audio) pitch, tempo, volume High-level (semantic) feature related to the human interpretation of the content, e.g., car driving fast or tiger attacks deer Information that cannot be deduced from the content e.g., data and time, author, copyright data, genre, parental rating, links to other related material
The Metadata problem Goals: Describe content Archive and management of content Automatic methods to analyze content
The Metadata problem Searching and Discovering content Text annotation
The Metadata problem Text based annotation is not always suitable Requires manual description to label content Not suitable for large collections of content Subjective, description may vary from person to person Desirable to have objective features to describe multimedia content Objective features can be automatically generated Examples colour histogram, level of motion in video
Metadata scheme Metadata schema Defines a set of metadata elements Examples: Dublin Core, MPEG-7, TV Anytime, SMPTE Metadata Dictionary, EBU P/Meta Encoding scheme Defines the syntax Examples: HTML, XML, RDF, MIME
Το πρότυπο MPEG7 Το MPEG-7 Ονομάζεται «Multimedia Interface» Content Description Δεν είναι πρότυπο κωδικοποίησης, αλλά περιγράφει το περιερχόμενο των πολυμεσικών δεδομένων Στόχος είναι η διαλειτουργικότητα των λειτουργιών (searching, indexing, filtering) και η διαλειτουργικότητα μεταξύ συσκευών διαχείρισης πολυμέσων Τα μεταδεδομένα μπορούν να αποθηκευτούν μαζί ή ξεχωριστά από τα πολυμεσικά δεδομένα που περιγράφουν
Το πρότυπο MPEG7 The description generation (feature extraction, indexing) is not a part of the standard The description consumption (search engine, retrieval process) is also not a part of the standard
Το πρότυπο MPEG7 The MPEG-7 descriptions of content that may include Information describing creation & production process of the content: director, title, short feature movie Information related to the usage of the content: copyright pointers, usage history, broadcast schedule Information of the storage features of the content: storage format, encoding Structural information on spatial, temporal or spatio-temporal components of the content: scene cuts for video, segmented regions for image Information about low level features in the content: colors, textures, sound timbres, melody description Conceptual information of the reality captured by the content: objects and events, interactions among objects Information about how to browse the content in an efficient way Information about collections of objects. Information about the interaction of the user with the content: user preferences, usage history
Το πρότυπο MPEG7 Πεδίο εφαρμογής Αρχιτεκτονική, μεσιτική και αρχιτεκτονική εσωτερικού χώρου (π.χ. αναζήτηση ιδεών για διακόσμηση). Ραδιοφωνικές ή τηλεοπτικές μεταδόσεις. Πολιτισμικές υπηρεσίες (ιστορικά μουσεία, εκθέσεις τέχνης κτλ.). Ψηφιακές βιβλιοθήκες (π.χ. καταλόγους εικόνων, μουσικούς καταλόγους, αρχεία εικόνας και ήχου κτλ.). Ηλεκτρονικό εμπόριο (π.χ. προσωπικές διαφημίσεις - personalized advertising, on-line κατάλογοι αγορών κτλ.). Εκπαίδευση (π.χ. αποθετήρια πολυμεσικών πόρων, αναζήτηση πολυμέσων για εκπαιδευτική υποστήριξη).
Το πρότυπο MPEG7 Πεδίο εφαρμογής Οικιακή ψυχαγωγία (π.χ. συστήματα διαχείρισης προσωπικών πολυμεσικών συλλογών, δημιουργία home video, αναζήτηση παιχνιδιού, karaoke). Υπηρεσίες έρευνας (π.χ. αναγνώριση ανθρώπινων χαρακτηριστικών, ιατροδικαστική). Δημοσιογραφία (π.χ. αναζήτηση των λόγων ενός συγκεκριμένου ιστορικού προσώπου, του προσώπου του ή ης φωνής του). Πολυμεσικές υπηρεσίες καταλόγου (π.χ. χρυσός οδηγός, Τουριστικές πληροφορίες κτλ.). Εμπόριο (π.χ. αναζήτηση ρούχων για αγορά). Κοινωνικές υπηρεσίες (π.χ υπηρεσίες γραφείων συνοικεσίων). Υπηρεσίες επιτήρησης (π.χ. έλεγχος κυκλοφορίας, μεταφορές κτλ.).
Ο στόχος σενάρια χρήσης Το πρότυπο MPEG7 MPEG-7 standard organizes the example applications into three sets; Pull applications, where client applications will submit queries to the descriptions repository and will receive a set of descriptions matching the query for browsing. Push applications, where as user agent driven media selection and filtering process will select descriptions from the available ones and perform the programmed actions afterward (e.g., switching a broadcast channel or recording the described stream) Specialized professional applications
Το πρότυπο MPEG7 Τα κύρια στοιχεία Οι Περιγραφείς - Descriptors (D s) Τα Σχήματα - Description Schemes (DS s) Η Γλώσσα - Description Definition Language (DDL) Εργαλεία συστήματος - Systems tools
Οι Περιγραφείς - Descriptors (D s) Το πρότυπο MPEG7 Οι Περιγραφείς είναι υπεύθυνοι για την αναπαράσταση, σύνταξη και τη σημασιολογία των χαρακτηριστικών κατώτερου επιπέδου (low level features). Π.χ. χρώμα, κίνηση κάμερας κτλ.
Το πρότυπο MPEG7 Τα Σχήματα - Description Schemes (DS s) Ένα σχήμα περιγραφής προδιαγράφει την δομή και την σημασιολογία των σχέσεων ανάμεσα στα συστατικά στοιχεία του, τα οποία μπορεί να είναι ταυτόχρονα περιγραφείς και σχήματα περιγραφής.
Το πρότυπο MPEG7 Η Γλώσσα - Description Definition Language (DDL) Η DDL δημιουργεί νέα Σχήματα Περιγραφής, και Περιγραφέων. Κάνει επίσης δυνατή την επέκταση και την τροποποίηση των ήδη υπαρχόντων. DDL βασίζεται στη Extensible Markup Language (XML).
Systems tools: μεταφορά των περιγραφών Το πρότυπο MPEG7 συγχρονισμός της περιγραφής με την παρουσίαση του πολυμεσικού υλικού διαχείριση και προστασία περιεχομένου
Τα μετα-δεδομένα Το πρότυπο MPEG7 Τα μεταδεδομένα είτε είναι αποθηκευμένα μαζί με το πολυμεσικό υλικό, είτε είναι τοποθετημένα σε Βάση Δεδομένων μακριά από του. Αναπαράσταση: Σε DDL Σε BiM (Binary format for Metadata) Όταν τα μετα-δεδομένα πρέπει να μεταφερθούν ή να συμπιεστούν Το BiM παρέχει μια συνεκτική και streamable αναπαράσταση μιας MPEG-7 περιγραφής
Το πρότυπο MPEG7 Δομή προτύπου ISO/IEC 15938-1: Systems specifies the tools for preparing descriptions for efficient transport and storage (binary format), compressing descriptions, and allowing synchronization between content and descriptions ISO/IEC 15938-2: Description Definition Language specifies the language for defining the standard set (syntax) of description tools (DSs, Ds, and datatypes) and for defining new description tools ISO/IEC 15938-3: Visual specifies the description tools pertaining to visual content ISO/IEC 15938-4: Audio specifies the description tools pertaining to audio content ISO/IEC 15938-5: Multimedia Description Schemes specifies the generic description tools pertaining to multimedia including audio and visual content ISO/IEC 15938-6: Reference software provides a software implementation of the standard ISO/IEC 15938-7: Conformance testing specifies the guidelines and procedures for testing conformance of implementations of the standard ISO/IEC 15938-8: Extraction and use of descriptions provides guidelines and examples of the extraction and use of descriptions
Multimedia Description Schemes Το πρότυπο MPEG7 Deal with generic features and multimedia descriptions Metadata structures for describing and annotating multimedia content Not specific to image, video or audio but general to multimedia content. MDS is organized into the following areas Basic Elements Content Description Content Management Content Organization Navigation and Access User Interaction
MDS: Basic Elements Το πρότυπο MPEG7 Essentials of multimedia content description Used repeatedly in descriptions of multimedia content Used by other parts of MPEG-7 (Visual and Audio) MDS: Content Management DS Creation Info: Title, creators, creation location & dates, genre category, age classification DS Usage Info : Usage rights,... Links to rights holders & rights management DS Media description : compression, coding and storage format of multimedia content
MSD: Content Management Το πρότυπο MPEG7
Το πρότυπο MPEG7 MDS Content organization: Provide tools for modelling the attributes and features of group AV content, specifying common properties and relations
MSD Content description: Το πρότυπο MPEG7 representation of perceivable information, that is from the view point of its structure representation of real-world semantics (objects, events) and conceptual notions and combination of them example (spatial): A single image decomposed into a set of segments (or regions). Each image region can then be further described using other tools example (termporal): A single video / audio clip can be decomposed into a set temporal segments E.g. Segment a video clip into video shots
MSD Content description: Το πρότυπο MPEG7
MDS Navigation and access Το πρότυπο MPEG7 Description schemes for enabling browsing & retrieval: Summarization and view tools (e.g., highlights of a soccer game), variations (e.g., low resolution etc) MPEG-7 enables that this summary (of audio-video content) to be captured in XML format
Το πρότυπο MPEG7 MPEG-7 Visual Component Six descriptor categories: Color descriptors (7) Texture descriptors (3) Shape descriptors (3) Motion descriptors (4) Localization descriptors (2) Face recognition (1) Examples DominantColor ScalableColor ColorLayout TextureBrowsing ShapeContour ShapeShape3D CameraMotion MotionActivity κ.α.
Το πρότυπο MPEG7 MPEG-7 Audio Component Generic (application independent) Low-level descriptors (temporal and spectral) High-level audio description tools Audio signature description scheme Musical instrument timbre description tools Melody description tools General sound recognition and indexing description tools Spoken content description tools Examples Silence Instrument Timbre Harmonic InstrumentTimbre Pitch, Contour, Noise κ.α.
Δομική αποσύνθεση video (2/2) Το πρότυπο MPEG7
MPEG-7 Example Το πρότυπο MPEG7