MPEG7 Multimedia Content Description Interface

Transcript

1 MPEG7 Multimedia Content Description Interface Τυποποιεί την περιγραφή του περιεχοµένου των πολυµέσων (video audio) εν επεξεργάζεται αλλά! Συλλέγει χαρακτηριστικά πού χρειάζονται για περιγραφή δεδοµένων εικόνας-ήχου! Κάνει δόµηση της περιγραφής για δηµιουργία «κοινής γλώσσας» ώστε να! Πραγµατοποιείται indexing - retrieval browsing κλπ. Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

2 ιαδικασίες περιγραφής (Descriptors) # Οπτικές (Visual)! Περιγραφή χρώµατος o Χρωµατικοί χώροι o Επικρατούντα χρώµατα (dominant colors) o Χρωµατική δοµή (color structure) o Χρωµατικός σχεδιασµός (color layout) o Κλιµακωτή περιγραφή χρωµάτων o! Περιγραφή Υφής! Περιγραφή Σχήµατος! Περιγραφή «κίνησης»! Περιγραφή προσώπου o Βασικό εργαλείο: PCA ανάλυση # Ακουστικές (Audio)! Ταξινόµηση ήχου και οµοιότητα! Περιεχόµενο προφορικού λόγου Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

3 Ποσοτική εκτίµηση των Descriptors! Βασίζεται στη διαδικασία «ανάκτησης» Λαµβάνει υπόψη: o o o Aν οι όµοιες εικόνες είναι πρώτες στη σειρά οµοιότητας Αν παρουσιάζονται στην ανάκτηση «λάθος» εικόνες Αν παραλείπονται εικόνες που είναι όµοιες µε την εικόνα αναζήτησης.! Κλασσικός εκτιµητής : Modified Retrieval Rank MRR=AVR(q)-0.5[+NG(q)] Όπου MRR AVR(q) = NG(q) NG(q) k= Rank * k q είναι η εικόνα αναζήτησης (query) και NG(q) οι όµοιες εικόνες ή Normalized MRR NMRR Μικρές τιµές του NMRR --> καλή συµπεριφορά Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

4 Χρωµατικοί χώροι Οι χρωµατικοί χώροι που χρησιµοποιούνται στο πρωτόκολλο MPEG7 είναι: o RGB o YcbCr o HSV Σχετίζεται Y=0.299R+0.587G+0.4B Cb=-0.69R-0.33G+0.500B Cr=0.500R-0.49G-0.08B. µε την περιγραφή ιστογράµµατος συνόλου στιγµιότυπων (group of frames histogram descriptor) 2. µε την κλιµακωτή περιγραφή χρωµάτων (scalable color descriptor) Val Hue Sat Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

5 o HMMD. Είναι πιο κοντά στο χώρο οµοιόµορφης αντίληψης (perceptually uniform color space) 2. H ονοµασία του οφείλεται στα µεγέθη: Hue, Max, Min, Diff (Sum) που σχετίζονται µε τα αντίστοιχα RGB ως εξής Max=max(R,G,B) Min=min(R,G,B) Diff=Max-Min Sum=(Max+Min)/2 Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

6 Περιγραφή επικρατούντων χρωµάτων (dominant color descriptors) Προσφέρει µία περιγραφή των βασικών χρωµάτων µίας εικόνας µε σκοπό την εύρεση (απόκτηση) των οµοίων εικόνων. Ορισµός: F={(c i, p i,υ i ),s} i=,2,..n # Ν ο αριθµός των (επικρατούντων) χρωµάτων. Ορίζεται ίδιος για όλη την βάση (συνήθης τιµή Ν=8) # c i είναι το χαρακτηριστικό διάνυσµα (πχ. R,G,B) της οµάδας (3bits) # p i είναι το ποσοστό των pixels που αντιστοιχούν στην οµάδα c i # υ i είναι η διακύµανση των pixels της οµάδας i. # s περιγράφει την χωρική συνάφεια RGB είναι ο «default» χρωµατικός χώρος Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

7 Υπολογισµοί. Οµαδοποίηση των pixels (CIE, LUV) και υπολογισµός των c i. (Προτείνεται ο Lloyd αλγόριθµος. Μπορεί να χρησιµοποιηθεί ο fcm) 2. Υπολογισµός των ποσοστών p i (5 bits) 3. Υπολογισµός της διακύµανσης υ i κάθε οµάδας 4. Υπολογισµός της συνεκτικότητας για εύρεση οµάδων pixels µε ίδιο χρώµα στο επίπεδο της εικόνας. Η τιµή s υπολογίζεται ως η µέση τιµή όλων των οµάδων. Μέτρο οµοιότητας D 2 (F,F 2 ) = N i= p 2 i + N 2 j= p 2 2j N N 2 i= j= 2a i,2j p i p 2j a kl = d 0 kl / d max d d kl kl T T d d d max =aτ d Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

8 Παραλλαγές o Για χωρική συνάφεια D s =w abs(s -s 2 )D+w 2 D o Για να συµπεριληφθεί και η υ s.. Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

9 Περιγραφή Χρωµατικής δοµής (Color Structure Descriptor) υο ισο-χρωµατικά επίπεδα µε διαφορετική δοµή h s (m) m {, M} s = το µέγεθος του παραθύρου (structuring element) πχ s=8 2 M = το µέγεθος του κβαντισµένου χρωµατικού χώρου που είναι συνήθως ο ΗΜΜD πχ Μ=256 $ Η περιγραφή της χρωµατικής δοµής µίας εικόνας αναφέρεται στη κατανοµή του χρώµατος αφενός και στη χωρική δοµή αφετέρου. $ Μοιάζει µε έγχρωµο ιστόγραµµα Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

10 $ Πώς υπολογίζεται. Ορίζεται ο αριθµός των bins πχ Γίνεται κβάντιση του χρωµατικού χώρου µέσα από διαδικασίες οµαδοποίησης 3. Ορίζεται ένα δοµικό στοιχείο (structuring element) δηλ ένα παράθυρο (πχ 3x3) που διατρέχει την εικόνα 4. Σε κάθε σηµείο του παραθύρου εντοπίζονται τα υπάρχοντα χρώµατα και για κάθε ένα (χρώµα όχι pixel) προστίθεται µία µονάδα στο αντίστοιχο bin Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

11 Περιγραφή Χρωµατικoύ σχεδιασµού (Color Layout Descriptor-CLD) o Ενδείκνυται για γρήγορη ανάκτηση o Είναι ανεξάρτητος της ανάλυσης o Αναδεικνύει την χωρική κατανοµή του χρώµατος o Χρησιµοποιείται ο YcbCr χρωµατικός χώρος Υλοποιείται σύµφωνα µε το διάγραµµα: Εικόνα εισόδου Κατάτµηση σε 64 blocks Επιλογή ενός χαρακτηριστικού χρώµατος για κάθε block DCT Zigzag scanning and weighting CLD Σύγκριση δύο εικόνων µε CLDs {DY,DCr,DCb} και {DY,DCr,DCb } γίνεται µε την εξής σχέση: D = i 2 2 w y (DYi DYi ) + w b (DCb i DCb i ) w r (DCri DCri ) i i 2 Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών

12 Βιβλιογραφία. Introduction to MPEG7, B.Smanjunath, P. Salembier and T. Sikora Eds J. Wiley&Sons, Ltd, ENGLAND, 2002, Chapter3 2. B. S. Manjunath, Jens-Rainer Ohm, Vinod V. Vasudevan, and Akio Yamada Color and Texture Descriptors IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL., NO. 6, JUNE Σ.Φωτόπουλος -Μεταπτυχιακό Πρόγραµµα Σπουδών