ΝΤUA. Τεχνολογία Πολυμέσων

Transcript

1 ΝΤUA Τεχνολογία Πολυμέσων

2 Contents 2. Lesson 5: Video Metadata

3 What Metadata is data about data. An item of metadata may describe an individual datum, or content item, or a collection of data including multiple content items. Types of metadata Author Name File Size Rights Management Audio Visual Features Text Annotation Etc

4 Το MPEG group Motion Picture Expert Group Το πρότυπο MPEG7 Ιδρύθηκε από τον ISO (International Standards Organization) το 1988 Έχει δημιουργήσει τα MPEG 1, 2, 4, 7 και 21

5 Το πρότυπο MPEG7 Το MPEG-1 Πρότυπο το 1992 Έδωσε καλή ποιότητα ήχου και εικόνας Σπάει το video σε 30 καρέ το δευτερόλεπτο MP3 (MPEG- Layer 3)

6 Το MPEG-2 Πρότυπο το 1996 Κωδικοποίηση του DVD Πολύ καλή ποιότητα ήχου και video Χρησιμοποιεί υψηλή ανάλυση Το πρότυπο MPEG7

7 Το πρότυπο MPEG7 Το MPEG-4 Πρότυπο το 1998 Βασίστηκε στο MPEG-1 και MPEG-2 Το πρώτο πρότυπο για αναπαράσταση πολυμέσων Προοριζόταν για τηλεδιασκέψεις Έχει πολλές διαφορετικές εκδοχές

8 Το πρότυπο MPEG7 Το MPEG-7 Πρότυπο το 2001 Δεν είναι πρότυπο κωδικοποίησης Ονομάζεται «Multimedia Content Description Interface» Χρησιμοποιεί τα προηγούμενα πρότυπα MPEG Standards Στόχος: η διευκόλυνση της αναζήτησης και η διαλειτουργικότητα ανάμεσα στις πολυμεσικές συλλογές

9 Ο στόχος Το πρότυπο MPEG7

10 Το πρότυπο MPEG7 Πεδίο εφαρμογής Αρχιτεκτονική, μεσιτική και αρχιτεκτονική εσωτερικού χώρου (π.χ. αναζήτηση ιδεών για διακόσμηση). Ραδιοφωνικές ή τηλεοπτικές μεταδόσεις. Πολιτισμικές υπηρεσίες (ιστορικά μουσεία, εκθέσεις τέχνης κτλ.). Ψηφιακές βιβλιοθήκες (π.χ. καταλόγους εικόνων, μουσικούς καταλόγους, αρχεία εικόνας και ήχου κτλ.). Ηλεκτρονικό εμπόριο (π.χ. προσωπικές διαφημίσεις (personalized advertising), on-line κατάλογοι αγορών κτλ.). Εκπαίδευση (π.χ. αποθετήρια πολυμεσικών πόρων, αναζήτηση πολυμέσων για εκπαιδευτική υποστήριξη).

11 Το πρότυπο MPEG7 Πεδίο εφαρμογής Οικιακή ψυχαγωγία (π.χ. συστήματα διαχείρισης προσωπικών πολυμεσικών συλλογών, δημιουργία home video, αναζήτηση παιχνιδιού, karaoke). Υπηρεσίες έρευνας (π.χ. αναγνώριση ανθρώπινων χαρακτηριστικών, ιατροδικαστική). Δημοσιογραφία (π.χ αναζήτηση των λόγων ενός συγκεκριμένου ιστορικού προσώπου, του προσώπου του ή ης φωνής του). Πολυμεσικές υπηρεσίες καταλόγου (π.χ. χρυσός οδηγός, Τουριστικές πληροφορίες κτλ.). Εμπόριο (π.χ. αναζήτηση ρούχων για αγορά). Κοινωνικές υπηρεσίες (π.χ υπηρεσίες γραφείων συνοικεσίων). Υπηρεσίες επιτήρησης (π.χ. έλεγχος κυκλοφορίας, μεταφορές κτλ.).

12 Το πρότυπο MPEG7 Δομή προτύπου Τμήμα 1: Systems (System tools) Τμήμα 2: Description Definition Language (DDL) Τμήμα 3: Visual (D s) Τμήμα 4: Audio (D s) Τμήμα 5: Multimedia Description Schemes (DS s & D s) Τμήμα 6: Reference Software Τμήμα 7: Conformance

13 Το πρότυπο MPEG7 Τα κύρια στοιχεία Οι Περιγραφείς - Descriptors (D s) Τα Σχήματα - Description Schemes (DS s) Η Γλώσσα - Description Definition Language (DDL) Το Σύστημα - Systems

14 Οι Περιγραφείς - Descriptors (D s) Το πρότυπο MPEG7 Οι Περιγραφείς είναι υπεύθυνοι για την σύνταξη και τη σημασιολογία των χαρακτηριστικών κατώτερου επιπέδου (low level features). Π.χ. χρώμα, κίνηση κάμερας κτλ.

15 Το πρότυπο MPEG7 Τα Σχήματα - Description Schemes (DS s) Ένα σχήμα περιγραφής προδιαγράφει την δομή και την σημασιολογία των σχέσεων ανάμεσα στα συστατικά στοιχεία του, τα οποία μπορεί να είναι ταυτόχρονα περιγραφείς και σχήματα περιγραφής.

16 Το πρότυπο MPEG7 Η Γλώσσα - Description Definition Language (DDL) Η DDL δημιουργεί νέα Σχήματα Περιγραφής, και Περιγραφέων. Κάνει επίσης δυνατή την επέκταση και την τροποποίηση των ήδη υπαρχόντων. Με βάση την XML Schema επιτρέπει τον προσδιορισμό των Περιγραφέων και των Σχημάτων Περιγραφής.

17 Το πρότυπο MPEG7 Η Γλώσσα - Description Definition Language (DDL)

18 Το Σύστημα - Systems Το πρότυπο MPEG7 Τα συστήματα του MPEG7 έχουν κάποιες απαιτήσεις και αυτές είναι οι: η μεταφορά των περιγραφών, ο συγχρονισμός της περιγραφής με την παρουσίαση του πολυμεσικού υλικού και η διαχείριση των streams.

19 Τα μετα-δεδομένα Σε DDL Σε BiM (Binary format for Metadata) Το πρότυπο MPEG7 Τα μεταδεδομένα είτε είναι αποθηκευμένα μαζί με το πολυμεσικό υλικό, είτε είναι τοποθετημένα σε Βάση Δεδομένων μακριά από του.

20 Το πρότυπο MPEG7 DDL Ορίζει MP7 Schema + Extensions Μοντέλο DS Επικυρώνεται DS DS DS D D D XML BiM Systems <Mp7> <tag1/> </Mp7>

21 Τα Bασικά Σχήματα Το πρότυπο MPEG7

22 Το Σχήμα Παραγωγής CreationInformation DS Το πρότυπο MPEG7 Creation D ( περιέχει ημερομηνίες, ενέργειες, υλικό, Οργανισμοί κτλ) Classification D RelatedMaterial Ds

23 CreationInformation DS Το πρότυπο MPEG7

24 Σχηματικά (2/3) Το πρότυπο MPEG7

25 Το πρότυπο MPEG7 Άλλα Σχήματα UsageInformation DS Rights Ds Financial Ds Availability Ds UsageRecord Ds

26 Οπτικοί Περιγραφείς DominantColor ScalableColor ColorLayout TextureBrowsing ShapeContour ShapeShape3D CameraMotion MotionActivity κ.α. Το πρότυπο MPEG7

27 Το πρότυπο MPEG7 Ηχητικοί Περιγραφείς Silence Instrument Timbre Harmonic InstrumentTimbre Pitch, Contour, Noise κ.α.

28 Το πρότυπο MPEG7 Δομική αποσύνθεση video (1/2) <Mpeg7> <VideoSegment id="seg0"> A Video clip Video seg. Key frame Visual features < MediaTime/> <TemporalDecomposition> <VideoSegment id= vs001 > <MediaLocator/> <MediaTime/> <TemporalDecomposition> <StillRegion id= sr001 > <MediaLocator/> <MediaRelTimePoint /> <Visual/> </StillRegion> </TemporalDecomposition> </VideoSegment> </ TemporalDecomposition> </VideoSegment> </Mpeg7>

29 Δομική αποσύνθεση video (2/2) Το πρότυπο MPEG7

30 Το πρότυπο MPEG7 Tο παράδειγμα <Mpeg7> <Video> <TemporalDecomposition> <VideoSegment> <TextAnnotation type = Scene description > <FreeTextAnnotation>Tyson knocks some poor sap out</freetextannotation> </TextAnnotation> <MediaTime> <MediaTimePoint>T00:01:00:0F24 </MediaTimePoint>...

31 Το αποτέλεσμα Το πρότυπο MPEG7

32 Δομική αποσύνθεση εικόνας Το πρότυπο MPEG7