MPEG-7 : Περιγραφή πολυμεσικού περιεχομένου

Transcript

1 MPEG-7 : Περιγραφή πολυμεσικού περιεχομένου Εξαγωγή μεταδεδομένων / περιγραφών Χαμηλού επιπέδου περιγραφείς Συντακτικός και σημασιολογικός ορισμός Ανάκτηση πολυμεσικών τεκμηρίων XML / OWL

2 Δημοσίευση 2002 (ISO) Εισαγωγή Περιγραφή οπτικοακουστικού περιεχομένου Ανάκτηση με βάση το περιεχόμενο εικόνες βίντεο γραφική 3Δ μοντέλα ήχος φωνή Παράσταση με κείμενο (XML) ή δυαδική 2

3 Ορισμοί Δεδομένα (εικόνα, ήχος,...) Χαρακτηριστικά (χρώμα, ρυθμός, κίνηση,...) Περιγραφέας (ιστόγραμμα χρωμάτων,...) Τιμή περιγραφέα Σχήμα περιγραφής (δομή και σημασιολογία) Περιγραφή : σχήμα και τιμές Κωδικοποιημένη περιγραφή Γλώσσα ορισμού περιγραφής 3

4 Πλήρης περιγραφή 4

5 Παράδειγμα περιγραφής 5

6 Περιγραφείς χρώματος 6

7 Ομοιότητα χρωμάτων 7

8 Συστήματα χρωμάτων RGB, YCbCr, μονοχρωματικό (Y) HMMD HSV Άνοιξη

9 Ιστόγραμμα χρώματος Ιστόγραμμα χρωμάτων HSV : (11 bits/bin) Μετασχηματισμός Haar ιστογράμματος χρωμάτων Επέκταση σε ομάδα εικόνων 9

10 Κύρια χρώματα F = {{c i, p i, v i }, s}, i = 1, 2,..., N Αλγόριθμος k-means p i : 5 bits (ποσοστό) v i : 3 bits (διασπορά) Χωρική συνοχή (s) με συνδεσιμότητα 8 σημείων (5 bits) 10

11 Δομή χρώματος Μπλοκ 8 x 8 Ιστόγραμμα τοπικής κατανομής χρωμάτων HMMD 11

12 Χωρική κατανομή χρωμάτων Σύστημα χρωμάτων YCbCr Περιοχή οποιουδήποτε σχήματος Ένα μπλοκ 8 x 8 με ισόχωρο τεμαχισμό Αντιπροσωπευτικό χρώμα κάθε τεμαχίου Μετασχηματισμός συνημιτόνου Αντιδιαγώνια σάρωση 12 συντελεστές (6+3+3) 12

13 Περιγραφείς υφής Ποιοτική περιγραφή υφής Κανονικότητα (2 bits) Κατευθυντικότητα (2x3 bits) Κλίμακα ή ανάλυση (2x2 bits) Ομοιογενής υφή Ανάλυση στην κλίμακα και στην κατεύθυνση με φίλτρα Gabor : 5 κλίμακες και 6 κατευθύνσεις 13

14 Περιγραφείς υφής Ιστόγραμμα ακμών Χωρική κατανομή 4 ακμών κατεύθυνσης και μιας ακμής χωρίς κατεύθυνση Τρία επίπεδα εντοπισμού: συνολικά, ημι-συνολικά και τοπικά Χρήσιμο για φυσικές εικόνες με χαρακτηριστικά αντικείμενα 14

15 Πλαίσιο αντικειμένου Περιγραφείς σχήματος Περιγραφέας περιοχής Γωνιακός ακτινικός μετασχηματισμός Περιγραφέας περιγράμματος Εκκεντρότητα και κυκλικότητα Κορυφές διαγράμματος καμπυλότητας Ύψος μέγιστης κορυφής Θέσεις κορυφών Περιγραφέας τρισδιάστατης επιφάνειας Τοπικός δείκτης κυρτότητας Ιστόγραμμα του δείκτη σε όλη την επιφάνεια Επίπεδες επιφάνειες 15

16 Περιγραφείς κίνησης / Δραστηριότητα Δραστηριότητα κίνησης Κατεύθυνση Χωρική και χρονική κατανομή 16

17 Περιγραφείς κίνησης Κίνηση κάμερας 17

18 Περιγραφείς κίνησης αντικειμένου Τροχιά κίνησης αντικειμένου Παραμετρική κίνηση αντικειμένου 18

19 Δομές / χαρακτηριστικά ήχου Τμηματοποίηση Κλιμάκωση Περιγραφείς χαμηλού επιπέδου (Σήμα/Φάσμα/Χροιά) Περιγραφείς υψηλού επιπέδου (Σχήματα/Εργαλεία) 19

20 Βασικοί περιγραφείς ήχου Κυματομορφή Περιβάλλουσα Ισχύς Περιβάλλουσα μετά από λείανση 20

21 Βασικοί περιγραφείς ήχου Περιβάλλουσα του φάσματος λογαριθμική κλίμακα, φασματογράφημα Κέντρο βάρους του φάσματος Έκταση του φάσματος Ομαλότητα του φάσματος Θεμελιώδης συχνότητα Αρμονικότητα μουσικοί τόνοι, φωνήεντα κρουστικός ήχος θόρυβος, σύμφωνα Σιωπή 21

22 Περιγραφείς χροιάς ήχου Χρόνος ατάκας Χρονικό κέντρο περιβάλλουσας σήματος Κέντρο βάρους του φάσματος (γραμμική κλίμακα) Κέντρο βάρους των αρμονικών του φάσματος Φασματική απόκλιση αρμονικών (λογαριθμικό μέτρο) Φασματική έκταση αρμονικών (κανονικοποιημένη τυπική απόκλιση ως προς κέντρο βάρους) Συντελεστής συσχέτισης αρμονικών σε διαδοχικά χρονικά διαστήματα 22

23 Περιγραφείς φασματικής βάσης Συναρτήσεις βάσης ανάλυσης Αναπαράσταση του φάσματος ισχύος Προβολή στη βάση 23

24 Σχήμα υπογραφής Περιγραφείς υψηλού επιπέδου Χροιά μουσικού οργάνου Αρμονικό όργανο: κέντρο βάρους των αρμονικών του φάσματος, φασματική απόκλιση, φασματική έκταση αρμονικών, μεταβολή αρμονικών στο χρόνο, χρόνος ατάκας Κρουστικό όργανο: χρόνος ατάκας, χρονικό κέντρο περιβάλλουσας σήματος, κέντρο βάρους φάσματος Μελωδία (μονοφωνική, νότες και ρυθμός) Σχήμα περιγραφής περιγράμματος μελωδίας (5 βήματα) Σχήμα περιγραφής ακολουθίας μελωδίας (λεπτομερής) Εργαλεία αναγνώρισης και δεικτοδότησης ήχων: φασματική βάση στατιστικό μοντέλο και μοντέλο ταξινόμησης Περιγραφή ομιλίας (αυτόματη αναγνώριση φωνής) Άνοιξη

25 Σχήματα περιγραφής βασικών στοιχείων και περιεχομένου Τύποι δεδομένων Κατασκευές Εργαλεία Τμήμα οπτικοακουστικό ακουστικό οπτικό ακίνητη περιοχή κινούμενη περιοχή Έννοιες συμβάντα αντικείμενα καταστάσεις Άνοιξη