ΝΤUA Τεχνολογία Πολυμέσων
Contents 2. Lesson 5: Video Metadata
What Metadata is data about data. An item of metadata may describe an individual datum, or content item, or a collection of data including multiple content items. Types of metadata Author Name File Size Rights Management Audio Visual Features Text Annotation Etc
Το MPEG group Motion Picture Expert Group Το πρότυπο MPEG7 Ιδρύθηκε από τον ISO (International Standards Organization) το 1988 Έχει δημιουργήσει τα MPEG 1, 2, 4, 7 και 21
Το πρότυπο MPEG7 Το MPEG-1 Πρότυπο το 1992 Έδωσε καλή ποιότητα ήχου και εικόνας Σπάει το video σε 30 καρέ το δευτερόλεπτο MP3 (MPEG- Layer 3)
Το MPEG-2 Πρότυπο το 1996 Κωδικοποίηση του DVD Πολύ καλή ποιότητα ήχου και video Χρησιμοποιεί υψηλή ανάλυση Το πρότυπο MPEG7
Το πρότυπο MPEG7 Το MPEG-4 Πρότυπο το 1998 Βασίστηκε στο MPEG-1 και MPEG-2 Το πρώτο πρότυπο για αναπαράσταση πολυμέσων Προοριζόταν για τηλεδιασκέψεις Έχει πολλές διαφορετικές εκδοχές
Το πρότυπο MPEG7 Το MPEG-7 Πρότυπο το 2001 Δεν είναι πρότυπο κωδικοποίησης Ονομάζεται «Multimedia Content Description Interface» Χρησιμοποιεί τα προηγούμενα πρότυπα MPEG Standards Στόχος: η διευκόλυνση της αναζήτησης και η διαλειτουργικότητα ανάμεσα στις πολυμεσικές συλλογές
Ο στόχος Το πρότυπο MPEG7
Το πρότυπο MPEG7 Πεδίο εφαρμογής Αρχιτεκτονική, μεσιτική και αρχιτεκτονική εσωτερικού χώρου (π.χ. αναζήτηση ιδεών για διακόσμηση). Ραδιοφωνικές ή τηλεοπτικές μεταδόσεις. Πολιτισμικές υπηρεσίες (ιστορικά μουσεία, εκθέσεις τέχνης κτλ.). Ψηφιακές βιβλιοθήκες (π.χ. καταλόγους εικόνων, μουσικούς καταλόγους, αρχεία εικόνας και ήχου κτλ.). Ηλεκτρονικό εμπόριο (π.χ. προσωπικές διαφημίσεις (personalized advertising), on-line κατάλογοι αγορών κτλ.). Εκπαίδευση (π.χ. αποθετήρια πολυμεσικών πόρων, αναζήτηση πολυμέσων για εκπαιδευτική υποστήριξη).
Το πρότυπο MPEG7 Πεδίο εφαρμογής Οικιακή ψυχαγωγία (π.χ. συστήματα διαχείρισης προσωπικών πολυμεσικών συλλογών, δημιουργία home video, αναζήτηση παιχνιδιού, karaoke). Υπηρεσίες έρευνας (π.χ. αναγνώριση ανθρώπινων χαρακτηριστικών, ιατροδικαστική). Δημοσιογραφία (π.χ αναζήτηση των λόγων ενός συγκεκριμένου ιστορικού προσώπου, του προσώπου του ή ης φωνής του). Πολυμεσικές υπηρεσίες καταλόγου (π.χ. χρυσός οδηγός, Τουριστικές πληροφορίες κτλ.). Εμπόριο (π.χ. αναζήτηση ρούχων για αγορά). Κοινωνικές υπηρεσίες (π.χ υπηρεσίες γραφείων συνοικεσίων). Υπηρεσίες επιτήρησης (π.χ. έλεγχος κυκλοφορίας, μεταφορές κτλ.).
Το πρότυπο MPEG7 Δομή προτύπου Τμήμα 1: Systems (System tools) Τμήμα 2: Description Definition Language (DDL) Τμήμα 3: Visual (D s) Τμήμα 4: Audio (D s) Τμήμα 5: Multimedia Description Schemes (DS s & D s) Τμήμα 6: Reference Software Τμήμα 7: Conformance
Το πρότυπο MPEG7 Τα κύρια στοιχεία Οι Περιγραφείς - Descriptors (D s) Τα Σχήματα - Description Schemes (DS s) Η Γλώσσα - Description Definition Language (DDL) Το Σύστημα - Systems
Οι Περιγραφείς - Descriptors (D s) Το πρότυπο MPEG7 Οι Περιγραφείς είναι υπεύθυνοι για την σύνταξη και τη σημασιολογία των χαρακτηριστικών κατώτερου επιπέδου (low level features). Π.χ. χρώμα, κίνηση κάμερας κτλ.
Το πρότυπο MPEG7 Τα Σχήματα - Description Schemes (DS s) Ένα σχήμα περιγραφής προδιαγράφει την δομή και την σημασιολογία των σχέσεων ανάμεσα στα συστατικά στοιχεία του, τα οποία μπορεί να είναι ταυτόχρονα περιγραφείς και σχήματα περιγραφής.
Το πρότυπο MPEG7 Η Γλώσσα - Description Definition Language (DDL) Η DDL δημιουργεί νέα Σχήματα Περιγραφής, και Περιγραφέων. Κάνει επίσης δυνατή την επέκταση και την τροποποίηση των ήδη υπαρχόντων. Με βάση την XML Schema επιτρέπει τον προσδιορισμό των Περιγραφέων και των Σχημάτων Περιγραφής.
Το πρότυπο MPEG7 Η Γλώσσα - Description Definition Language (DDL)
Το Σύστημα - Systems Το πρότυπο MPEG7 Τα συστήματα του MPEG7 έχουν κάποιες απαιτήσεις και αυτές είναι οι: η μεταφορά των περιγραφών, ο συγχρονισμός της περιγραφής με την παρουσίαση του πολυμεσικού υλικού και η διαχείριση των streams.
Τα μετα-δεδομένα Σε DDL Σε BiM (Binary format for Metadata) Το πρότυπο MPEG7 Τα μεταδεδομένα είτε είναι αποθηκευμένα μαζί με το πολυμεσικό υλικό, είτε είναι τοποθετημένα σε Βάση Δεδομένων μακριά από του.
Το πρότυπο MPEG7 DDL Ορίζει MP7 Schema + Extensions Μοντέλο DS Επικυρώνεται DS DS DS D D D XML 010010 BiM Systems <Mp7> <tag1/> </Mp7>
Τα Bασικά Σχήματα Το πρότυπο MPEG7
Το Σχήμα Παραγωγής CreationInformation DS Το πρότυπο MPEG7 Creation D ( περιέχει ημερομηνίες, ενέργειες, υλικό, Οργανισμοί κτλ) Classification D RelatedMaterial Ds
CreationInformation DS Το πρότυπο MPEG7
Σχηματικά (2/3) Το πρότυπο MPEG7
Το πρότυπο MPEG7 Άλλα Σχήματα UsageInformation DS Rights Ds Financial Ds Availability Ds UsageRecord Ds
Οπτικοί Περιγραφείς DominantColor ScalableColor ColorLayout TextureBrowsing ShapeContour ShapeShape3D CameraMotion MotionActivity κ.α. Το πρότυπο MPEG7
Το πρότυπο MPEG7 Ηχητικοί Περιγραφείς Silence Instrument Timbre Harmonic InstrumentTimbre Pitch, Contour, Noise κ.α.
Το πρότυπο MPEG7 Δομική αποσύνθεση video (1/2) <Mpeg7> <VideoSegment id="seg0"> A Video clip Video seg. Key frame Visual features < MediaTime/> <TemporalDecomposition> <VideoSegment id= vs001 > <MediaLocator/> <MediaTime/> <TemporalDecomposition> <StillRegion id= sr001 > <MediaLocator/> <MediaRelTimePoint /> <Visual/> </StillRegion> </TemporalDecomposition> </VideoSegment> </ TemporalDecomposition> </VideoSegment> </Mpeg7>
Δομική αποσύνθεση video (2/2) Το πρότυπο MPEG7
Το πρότυπο MPEG7 Tο παράδειγμα <Mpeg7> <Video> <TemporalDecomposition> <VideoSegment> <TextAnnotation type = Scene description > <FreeTextAnnotation>Tyson knocks some poor sap out</freetextannotation> </TextAnnotation> <MediaTime> <MediaTimePoint>T00:01:00:0F24 </MediaTimePoint>...
Το αποτέλεσμα Το πρότυπο MPEG7
Δομική αποσύνθεση εικόνας Το πρότυπο MPEG7