Θέµα: Το πρότυπο MPEG7

ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΑΡΧΕΙΟΝΟΜΙΑΣ ΒΙΒΛΙΟΘΗΚΟΝΟΜΙΑΣ «Επιστήµη της Πληροφορίας - ιοίκηση και Οργάνωση Βιβλιοθηκών µε έµφαση στις Νέες Τεχνολογίες της Πληροφορίας» Εργασία στο µάθηµα: Ψηφιακές βιβλιοθήκες Θέµα: Το πρότυπο MPEG7 Του Παπαχριστόπουλου Λεωνίδα Επιβλέπων καθηγητής: Σαράντος Καπιδάκης ΑΘΗΝΑ 2005

Περιεχόµενα Εισαγωγή...3 Τα πρότυπα MPEG...4 To MPEG-1...4 To MPEG-2...4 To MPEG4...5 MPEG-21...5 Πλαίσιο ενδιαφερόντων MPEG-7...6 Πεδίο εφαρµογής του MPEG7...9 Η δοµή του προτύπου...11 Η διαλειτουργικότητα...14 Τα σχήµατα...20 Πληροφορίες για τα µέσα αποθήκευσης...23 Πληροφορίες χρήσης...23 Παραδείγµατα δόµησης Σχηµάτων...33 Αντιστοιχία στοιχείων του DC και MPEG7...34 Βιβλιογραφία...35 2

Εισαγωγή Η πρόσβαση στον ήχο και το video συνηθιζόταν να είναι ένα απλό ζήτηµα απλό εξαιτίας της απλότητας πρόσβασης των µηχανισµών πρόσβασης και εξαιτίας της έλλειψης πόρων. Το ποσοστό της οπτικοακουστικής πληροφορίας που κυκλοφορεί σε ψηφιακή µορφή στα ψηφιακά αρχεία, στο διαδίκτυο, σε προσωπικές και επαγγελµατικές βάσεις δεδοµένων είναι ανυπολόγιστό και συνεχίζει να αυξάνεται. Η αξία της πληροφορίας συχνά εξαρτάται από το πόσο εύκολα µπορεί να βρεθεί, να ανακτηθεί, να φιλτραριστεί και να διαχυθεί. Η µετάβαση από την δεύτερη στην τρίτη χιλιετία συµπίπτει µε νέους τρόπους παραγωγής, προσφοράς, αναζήτησης και διαχείρισης της πολυµεσικής πληροφορίας. Η ευρυζωνικότητα προσφέρει παγκοσµίως, αλλά ακόµα περιορισµένα στη χώρα µας, ποιότητα ήχου και video σε µεγάλες ταχύτητες. Η τάση είναι σαφής: στα επόµενα χρόνια οι χρήστες θα έχουν να αντιµετωπίσουν ένα µεγάλο αριθµό δεδοµένων που θα παρέχονται από πολλούς πληροφοριακούς πόρους, που η πρόσβαση και η αποδοτικότητα τους µοιάζει απίστευτη σήµερα. Παρόλο που οι χρήστες έχουν αυξηµένη πρόσβαση σε αυτούς τους πληροφοριακούς πόρους, η αναγνώριση και η αποδοτική διαχείριση τους γίνεται όλο και περισσότερο δύσκολη, λόγω του µεγάλου όγκου. Αυτό συµβαίνει όχι µόνο στους απλούς χρήστες, αλλά και στους επαγγελµατίες. Το παραπάνω πρόβληµα δεν απασχολεί µόνο τις ψηφιακές βιβλιοθήκες, αλλά και τους παραγωγούς πολυµεσικού περιεχοµένου. Αυτή η προκλητική κατάσταση, απαιτεί µία λύση και αυτή µοιάζει να είναι το MPEG-7. Τα πρότυπα MPEG-1 και MPEG-2 έκαναν πραγµατικότητα την παραγωγή εµπορικών προϊόντων, όπως το Video CD, MP3, το ψηφιακό ραδιόφωνο (DAB), DVD, την ψηφιακή τηλεόραση (DVB και ATSC), και άλλες εµπορικές υπηρεσίες. Το MPEG-4 είναι το πρώτο πραγµατικό πρότυπο αναπαράστασης πολυµέσων, επιτρέποντας την διαδραστικότητα και τον συνδυασµό. Επίσης το MPEG-4 παρέχει στα προτυποποιηµένα δεδοµένα την ολοκλήρωση της παραγωγής, την διάδοση και την πρόσβαση σε διαδραστικά πολυµέσα, δηµιουργεί πολυµεσικό περιεχόµενο για κινητά τηλέφωνα, διαδραστικά γραφικά και ενισχυµένη ψηφιακή τηλεόραση. Στη συνέχεια παρατίθενται περισσότερα στοιχεία για την ιστορία των MPEG. 3

Τα πρότυπα MPEG Το MPEG-7 είναι ένα πρότυπο ISO/IEC που αναπτύχθηκε από την MPEG (Moving Picture Experts Group), την επιτροπή που έχει επίσης αναπτύξει τα ήδη γνωστά πρότυπα MPEG-1 (1992), MPEG-2 (1994) και το MPEG-4(Version 1 το 1998 και version 2 το 1999). Από το τέλος της δεκαετίας του 1980, η επιτροπή της MPEG έχτισε τα θεµέλια της µεταφοράς ψηφιακού περιεχοµένου µε τα µεγάλης επιτυχίας πρότυπα. To MPEG-1 Σήµερα το πρότυπο MPEG-1 για βίντεο και ήχο (ανάµεσα στο οποίο συγκαταλέγεται και το MP3 (MPEG- Layer 3), µορφή συµπίεσης αρχείων ήχου) είναι πιθανόν η καλύτερη µορφή για την ανταλλαγή δεδοµένων µε άλλους, επειδή είναι πρότυπο παγκόσµια κατανοητό. Συνδυάζει καλή συµπίεση µε υψηλή ποιότητα, µε αποτέλεσµα αυτή η µορφή να είναι διάσηµη για πολλά χρόνια. Το MPEG-1 είναι η αρχή της επανάστασης των πολυµέσων στους ηλεκτρονικούς υπολογιστές. Σχεδιάστηκε για εφαρµογές βίντεο σε CD. To MPEG-2 Το πρότυπο MPEG-2 είναι οπτικοακουστικό πρότυπο, που χρησιµοποιήθηκε εκτενώς για ψυχαγωγικές εφαρµογές βίντεο. Εφαρµόζεται στις ψηφιακές τηλεοράσεις και τα DVD και υπάρχουν εκατοµµύρια αποκωδικοποιητές του MPEG-2 σε ψηφιακούς δορυφόρους, καλωδιακά κουτιά, DVD players και υπολογιστές. Είναι µια πολύ πιο δηµιουργική µορφή από το MPEG-1, καθώς επιτυγχάνει υψηλότερες συµπιέσεις µε καλύτερη ποιότητα. Η κωδικοποίηση και η αποκωδικοποίηση του MPEG-2 πραγµατοποιείται πιο επιτυχηµένα στους υπολογιστές από το MPEG-1, ειδικά στο βίντεο. Οπτικά κάθε εικόνα που βλέπουµε στην τηλεόραση σήµερα,ακόµα και σε αναλογικό παραλήπτη, έχει ως κάποιο σηµείο κωδικοποιηθεί και αποκωδικοποιηθεί σε MPEG-2. 4

Στην αρχή υπήρχαν προβλήµατα για τη µεταφορά δεδοµένων, γιατί απαιτούσε υψηλή ταχύτητα για τη µεταφορά µιας µόνο εικόνας στο διαδίκτυο. Με κάποιες βελτιώσεις µεταφέρονται εικόνες υψηλής ποιότητας σε µικρή ταχύτητα, λειτουργώντας στους ίδιους αποκωδικοποιητές. To MPEG4 Το MPEG-4 αφορά την παραγωγή, κατανοµή (distribution) και πρόσβαση του πολυµεσικού περιεχοµένου. Παρόλο που το MPEG-1 και MPEG-2 κάλυπταν ένα αρκετά µεγάλο εύρος εφαρµογών, όπως η ψηφιακή τηλεόραση και το διαδραστικό video (interactive video), σύντοµα έγινε αντιληπτό ότι οι εφαρµογές που έχουν σχέση µε τα πολυµέσα έχουν περισσότερες απαιτήσεις. Αναπτύχθηκε λοιπόν το MPEG-4 µε σκοπό να παρέχει ένα προτυποποιηµένο σύνολο τεχνολογιών, που θα καταστήσει ικανή την ενοποίηση (integration) της παραγωγής, κατανοµής, και τα παραδείγµατα για την πρόσβαση στο περιεχόµενο (content access paradigms), και τα διαδραστικά πολυµέσα για την ανάπτυξη της χρήσης των εφαρµογών πολυµέσων στο Internet. Κάτι που αξίζει να σηµειωθεί είναι ότι το MPEG-4 επίσης επιτρέπει την επισύναψη µεταδεδοµένων σχετικά µε το περιεχόµενο επάνω στο αντικείµενο. Εποµένως ο χρήστης µπορεί να χρησιµοποιήσει αυτό το stream δεδοµένων µε την πληροφορία του περιεχοµένου του αντικειµένου (Object Content Information, OCI) για να στείλει πληροφορία σχετική µε το κείµενο (δηλαδή τα µεταδεδοµένα) ταυτόχρονα µε το περιεχόµενο του MPEG-4. Ωστόσο στο συγκεκριµένο πρότυπο δεν υπάρχει κάποια τυποποιηµένη δοµή και καθορισµένη µορφή που να αφορά τα µεταδεδοµένα. MPEG-21 Η βασική ιδέα του προτύπου αυτού είναι η διαχείριση του περιεχοµένου και στη συνέχεια η πρόσβαση σε αυτό. Είναι ένα πλαίσιο που επιτρέπει τη διαχειρισιµότητα και τη φορητότητα του περιεχοµένου. Οι χρήστες του ασχολούνται µε ψηφιακά αντικείµενα, που µπορεί να είναι είτε µια φωτογραφία είτε µια οπτικοακουστική συλλογή. Τα πρότυπα MPEG-7 και MPEG-21 είναι πρόσθετα εργαλεία, που επεκτείνουν τη λειτουργικότητα των προτύπων MPEG. Το MPEG-4 έχει άψογη συνεργασία µε τα δύο αυτά πρότυπα. Οι περιγραφές και τα µεταδεδοµένα του MPEG-7 µπορούν να 5

µεταφερθούν µε το MPEG-4 και οι προδιαγραφές του MPEG-21 γράφουν για να συµπληρώσουν την παρουσίαση του περιεχοµένου του MPEG-4. Πλαίσιο ενδιαφερόντων MPEG-7 H οπτικοακουστική πληροφορία παίζει σηµαντικό ρόλο στη ζωή µας και στην κοινωνία και είναι αποτυπωµένη σε αναλογικό - συµβατικό υλικό ή σε ψηφιακό υλικό που συνεχώς κερδίζει έδαφος. Καθηµερινά, κατακλυζόµαστε από τέτοιας µορφής πληροφορία και µπορεί να διακριθεί σε εικόνες, γραφικά, τρισδιάστατες εικόνες, ήχο, οµιλία, video και άλλα ποικίλα µορφότυπα. Μέχρι σήµερα ο χειρισµός τέτοιου είδους πληροφοριών γινόταν αποκλειστικά από τον άνθρωπο, άλλα πλέον σε πολλές περιπτώσεις η ανταλλαγή, η δηµιουργία και η ανάκτηση γίνεται από υπολογιστικά συστήµατα. Αυτό υποδηλώνει ότι πρέπει να επιτευχθεί η κατανόηση της εικόνας από το σύστηµα και ταυτόχρονα να επιτευχθούν κάποιες µετατροπές, όπως από λόγο σε κείµενο, από εικόνα σε λόγο, από λόγο σε εικόνα και άλλες. Πέρα όµως από αυτές τις µετατροπές, ένα άλλο θέµα είναι η ανάκτηση της πληροφορίας η οποία πρέπει να είναι γρήγορη, ακριβείς και να είναι αναζητήσιµη σε πολλά µορφότυπα. Παραδείγµατος χάριν, ένας κώδικας σε ένα τηλεοπτικό πρόγραµµα µπορεί να θέσει σε λειτουργία ένα κατάλληλα προγραµµατισµένο PVR (Personal Video Recorder) για να καταγράψει ένα συγκεκριµένο πρόγραµµα, ή ένας αισθητήρας εικόνας προκαλεί έναν συναγερµό όταν συµβαίνει ένα ορισµένο οπτικό γεγονός. Είναι ευδιάκριτο λοιπόν ότι µε την κατάλληλη κωδικοποίηση, η οπτικοακουστική πληροφορία µπορεί να είναι πιο χρήσιµη και εκµεταλλεύσιµη. Οι οπτικοακουστικές πηγές θα διαδραµατίσουν έναν όλο και περισσότερο κυρίαρχο ρόλο στις ζωές µας, και θα υπάρξει µια αυξανόµενη ανάγκη να κατασταθούν αυτές οι πηγές πιο επεξεργάσιµες. Πρέπει µε λίγα λόγια να αναπτυχθούν εργαλεία ερµηνείας της πληροφορίας. Αυτή η ερµηνεία πρέπει να γίνεται από µία συσκευή ή από έναν απλό ηλεκτρονικό υπολογιστή. Στο παραπάνω παράδειγµα µε το τηλεοπτικό πρόγραµµα, ένας αισθητήρας εικόνας µπορεί να δηµιουργήσει οπτικά δεδοµένα όχι µε βάση τα pixels (pixels values), αλλά µε βάση το χρόνο και τα αντικείµενα Αυτά θα µπορούσαν έπειτα να αποθηκευτούν και να υποβληθούν σε επεξεργασία προκειµένου να διαπιστωθεί αν τα αποτελέσµατά τους ευσταθούν. Ένα PVR (Personal Video 6

Recorder) µπορεί να ενεργοποιηθεί από την ίδια την οπτικοακουστική πληροφορία για να καταγράψει για παράδειγµα ένα δελτίο ειδήσεων. Το MPEG-7 είναι ένα πρότυπο για να περιγράφει πολυµεσικό περιεχόµενο προκειµένου να καλυφθούν οι ανάγκες διαχείρισης. Η διαχείριση µπορεί να γίνεται σε πραγµατικό και µη-πραγµατικό χρόνο. Τον Οκτώβρη του 1996 η επιτροπή MPEG ξεκίνησε τις εργασίες της προκειµένου να βρει µια λύση στα ερωτήµατα που αναφέρθησαν παραπάνω. Το νέο µέλος της οικογένειας MPEG ονοµάστηκε "Multimedia Content Description Interface" «Περιβάλλον Περιγραφής Πολυµεσικού Περιεχοµένου» (εν συντοµία MPEG-7), παρέχει τυποποιηµένες βασικές τεχνολογίες που επιτρέπουν την περιγραφή οπτικοακουστικού περιεχοµένου σε περιβάλλοντα πολυµέσων. Το υλικό στο οποίο απευθύνεται το MPEG-7 περιλαµβάνει όπως προείπαµε: εικόνες, γραφικά, τρισδιάστατες εικόνες, ήχο, οµιλία, video και συνδυασµούς αυτών. Επίσης µία ειδική περίπτωση είναι και δεδοµένα που σχετίζονται µε τα χαρακτηριστικά του προσώπου. Το MPEG-7 επιτρέπει διαφορετική διάσπαση στην περιγραφή του, προσφέροντας έτσι την δυνατότητα να υπάρχουν διαφορετικά επίπεδα διάκρισης. Παρόλο που η περιγραφή του MPEG-7 δεν βασίζεται στην κωδικοποιηµένη αναπαράσταση του υλικού, εντούτοις µπορεί να εκµεταλλευτεί τα πλεονεκτήµατα που του προσφέρει το κωδικοποιηµένο περιεχόµενο σε MPEG-4. Αν το υλικό είναι κωδικοποιηµένο µε MPEG-4, το οποίο παρέχει τα µέσα για την κωδικοποίηση οπτικοακουστικού υλικού ως αντικείµενο που σχετίζεται µε το χρόνο (time-synchronization) και τον χώρο (όταν λέµε χώρο εννοούµε την τοποθεσία στην εικόνα και στο δωµάτιο για τον ήχο). Έτσι είναι δυνατόν να δηµιουργηθούν περιγραφείς µέσα σε µία σκηνή πάνω σε ηχητικά ή οπτικά δεδοµένα. Επειδή οι περιγραφείς πρέπει να έχουν κάποια σηµασία στο πλαίσιο µιας εφαρµογής, πρέπει να είναι διαφορετικοί για διαφορετικούς τύπους χρήσης. Αυτό σηµαίνει ότι το ίδιο υλικό µπορεί να περιγραφεί µε διαφορετικά χαρακτηριστικά ανάλογα µε το προσδοκώµενο αποτέλεσµα. Παραδείγµατος χάριν σε ένα οπτικό υλικό: ένα κατώτερο αφαιρετικό επίπεδο θα ήταν η περιγραφή ενός σχήµατος, µεγέθους, υφής, 7

χρώµατος, κίνησης (τροχιά), θέσης (π.χ που βρίσκεται το χ αντικείµενο στη σκηνή;). Αντίστοιχα για τον ήχο θα είναι: το κλειδί, το ύφος, το tempo, οι αλλαγές του tempo, και η πηγή προέλευσης τους ηχητικού σήµατος. Το ανώτατο επίπεδο θα δίνει σηµασιολογική περιγραφή π.χ: «Αυτή είναι η σκηνή που ένας καφέ σκύλος γαβγίζει στα αριστερά και στα δεξιά υπάρχει µία µπλε µπάλα, µε τον ήχο των περαστικών αυτοκινήτων στο background». Ενδιάµεσα επίπεδα αφαίρεσης µπορούν επίσης να υπάρξουν. Τα επίπεδα αφαίρεσης σχετίζονται µε τον τρόπο που µπορούν να εξαχθούν χαρακτηριστικά: πολλά χαρακτηριστικά χαµηλού επιπέδου µπορούν να εξαχθούν αυτόµατα, ενώ τα ανώτατα χαρακτηριστικά χρειάζονται την συµβολή του ανθρώπινου παράγοντα. Χρειάζεται να υπάρχουν οι εξής πληροφορίες όταν περιγράφονται πολυµεσικά δεδοµένα: Ο τύπος µορφοτύπου Για παράδειγµα τι format έχει ο υλικό που περιγράφουµε (π.χ. JPEG, MPEG-2) ή ο όγκος του αρχείου. Αυτή η πληροφορία είναι απαραίτητη για να διαπιστωθεί αν µπορεί να διαβαστεί το υλικό από το τερµατικό ή τη συσκευή που χρησιµοποιούµε. Προϋποθέσεις πρόσβασης στο υλικό Αυτό περιλαµβάνει links προκειµένου να εξασφαλιστεί η πρόσβαση. Αυτό περιλαµβάνει την εγγραφή και την καταβολή χρηµατικού αντιτίµου στην εταιρεία ή τον οποιοδήποτε κάτοχο πνευµατικών δικαιωµάτων. Ταξινόµηση Αυτό περιλαµβάνει την ένταξη του υλικού σε µια προκαθορισµένη κατηγορία, ανάλογα µε το περιεχόµενό του. Links σε άλλες σχετικές συλλογές Αυτή η πληροφορία µπορεί να διευκολύνει την αναζήτηση του χρήστη. Το περιβάλλον, το πλαίσιο Στην περίπτωση ενός καταγεγραµµένου πραγµατικού γεγονότος είναι απαραίτητο να σηµειωθεί η αφορµή της καταγραφής (π.χ. οι Ολυµπιακοί Αγώνες 1996, τελικός των 200 µέτρων ανδρών). Με λίγα λόγια οι στόχοι που προβλέπεται να καλύψει το MPEG-7 είναι τρεις: 8

Η περιγραφή του πολυµεσικού περιεχοµένου Η ευέλικτη διαχείριση των δεδοµένων και Η διαλειτουργικότητα των συστηµάτων Πεδίο εφαρµογής του MPEG7 Τo MPEG-7 παρέχει υποστήριξη σε ένα ευρύ φάσµα εφαρµογών (π.χ πολυµεσικές ψηφιακές βιβλιοθήκες, παραγωγή πολυµέσων, συσκευές οικιακής ψυχαγωγίας κτλ.). Το MPEG-7 θα µετατρέψει τον παγκόσµιο ιστό τόσο αναζητήσιµο όσον αφορά στο πολυµεσικό υλικό, όπως είναι σήµερα αναζητήσιµος για το κείµενο. Αν αναλογιστούµε ότι όλοι σχεδόν σήµερα κάνουµε χρήση των πολυµέσων, καταλαβαίνουµε ταυτόχρονα ότι λίγο πολύ καλύπτει ένα µεγάλο φάσµα των ανθρώπινων δραστηριοτήτων. Μερικές από αυτές είναι: Αρχιτεκτονική, µεσιτική και αρχιτεκτονική εσωτερικού χώρου (π.χ. αναζήτηση ιδεών για διακόσµηση). Ραδιοφωνικές ή τηλεοπτικές µεταδόσεις. Πολιτισµικές υπηρεσίες (ιστορικά µουσεία, εκθέσεις τέχνης κτλ.). Ψηφιακές βιβλιοθήκες (π.χ. καταλόγους εικόνων, µουσικούς καταλόγους, αρχεία εικόνας και ήχου κτλ.). 9

Ηλεκτρονικό εµπόριο (π.χ. προσωπικές διαφηµίσεις (personalized advertising), on-line κατάλογοι αγορών κτλ.). Εκπαίδευση (π.χ. αποθετήρια πολυµεσικών πόρων, αναζήτηση πολυµέσων για εκπαιδευτική υποστήριξη). Οικιακή ψυχαγωγία (π.χ. συστήµατα διαχείρισης προσωπικών πολυµεσικών συλλογών, δηµιουργία home video, αναζήτηση παιχνιδιού, karaoke). Υπηρεσίες έρευνας (π.χ. αναγνώριση ανθρώπινων χαρακτηριστικών, ιατροδικαστική). ηµοσιογραφία (π.χ αναζήτηση των λόγων ενός συγκεκριµένου ιστορικού προσώπου, του προσώπου του ή ης φωνής του). Πολυµεσικές υπηρεσίες καταλόγου (π.χ. χρυσός οδηγός, Τουριστικές πληροφορίες κτλ.). ηµιουργία πολυµέσων (π.χ. υπηρεσίες προσωπικών ειδήσεων (personalized electronic news service)). Εµπόριο (π.χ. αναζήτηση ρούχων για αγορά). Κοινωνικές υπηρεσίες (π.χ υπηρεσίες γραφείων συνοικεσίων). Υπηρεσίες επιτήρησης (π.χ. έλεγχος κυκλοφορίας, µεταφορές κτλ.). Ο τύπος του περιεχοµένου και το ερώτηµα του χρήστη δεν είναι απαραίτητο να είναι τα ίδια, για παράδειγµα ένα οπτικό υλικό µπορεί να αναζητηθεί είτε οπτικά, είτε µε µουσική ή λόγω κτλ. Είναι ευθύνη της µηχανής αναζήτησης να αντιστοιχήσει το ρώτηµα µε την περιγραφή σε MPEG-7. Μερικές µορφές ερωτηµάτων µπορούν να είναι οι παρακάτω: Μπορεί ο χρήστης να παίξει ορισµένες νότες και να κάνει ανάκτηση µιας λίστας µουσικών κοµµατιών παρόµοια µε τη νότα που ζητήθηκε ή ακόµα και εικόνες που ταιριάζουν µε τις νότες όσον αφορά στο συναίσθηµα που προκαλούν. Ο χρήστης µπορεί να ζωγραφίσει µερικές γραµµές στον υπολογιστή και να αναζητήσει εικόνες που περιέχουν παρόµοια γραφικά, λογότυπα, ιδεογράµµατα.. 10

Σε ένα σύνολο πολυµεσικών αντικειµένων, µπορεί ο χρήστης να περιγράψει ο χρήστης τις κινήσεις και τις σχέσεις ανάµεσα στα αντικείµενα και µπορεί να πάρει παρόµοια υλικό µε τους προσδιορισµούς που έχει δώσει. Ο χρήστης µπορεί να περιγράψει κάποιες ενέργειες και να λάβει ένα κινηµατογραφικό σενάριο που να περιέχει ότι ζήτησε. Η δοµή του προτύπου Το MPEG-7 αποτελείται από εφτά (7) µέρη. Κάθε ένα από αυτά τα µέρη ασχολείται µε διαφορετικά θέµατα και έτσι µπορούµε να χρησιµοποιήσουµε ανάλογα µε τις ανάγκες µας ξεχωριστό σύστηµα. Επίσηµα το πρότυπο του MPEG-7 αναφέρεται σαν ISO 15938 και αποτελείται από: 1) ISO/IEC 15 938-1: MPEG-7 Systems, Συστήµατα στο MPEG-7. Το πρώτο µέρος του προτύπου, προσδιορίζει τις λειτουργίες του προτύπου στο επίπεδο του συστήµατος. Οι λειτουργίες αυτές είναι η προετοιµασία των περιγραφών για το ΜPEG-7 για την ικανοποιητική αποθήκευση και διάδοσή τους, ο συγχρονισµός του περιεχοµένου και των περιγραφών και η ανάπτυξη των ανάλογων προσαρµοσµένων αποκωδικοποιητών. 2) ISO/IEC 15 938-2: MPEG-7 Description Definition Language, Γλώσσα Προσδιορισµού της Περιγραφής. Η γλώσσα αυτή είναι µία προτυποποιηµένη γλώσσα για την δηµιουργία νέων Περιγραφέων ή Σχηµάτων Περιγραφής, όπως επίσης και για την επέκταση των ήδη υπαρχόντων Σχηµάτων Περιγραφής και Περιγραφέων. 3) ISO/IEC 15 938-3: MPEG-7 Visual, Περιγραφή οπτικού περιεχοµένου στο ΜPEG-7. Αυτό το µέρος προδιαγράφει ένα σύνολο από προτυποποιηµένους Περιγραφείς και Σχήµατα Περιγραφέων. Οι Περιγραφείς οπτικού περιεχοµένου πραγµατεύονται συνήθως εξειδικευµένα χαρακτηριστικά όπως το χρώµα, η υφή, το µέγεθος και η κίνηση της εικόνας. Τα Σχήµατα Περιγραφής για το οπτικό περιεχόµενο 11

απαιτούν συχνά την χρήση άλλων Περιγραφέων χαµηλού επιπέδου ή βοηθητικών στοιχείων, όπως τη δοµή ( την χωρική διάταξη, την εµφάνιση), την οπτική γωνία ( πολλαπλές πλευρές), τον εντοπισµό ( εντοπισµό της εικόνας), και τον χρόνο ( χρονική διαδοχή). Έχει προτυποποιηθεί ένας αριθµός Περιγραφέων για κάθε χαρακτηριστικό, όπως οι περιγραφείς για τα χρώµατα, για την πυκνότητα, για την µορφή, την κίνηση και άλλοι περιγραφείς. Τέτοιοι περιγραφείς µπορεί να είναι οι περιγραφείς για την κλιµάκωση του χρώµατος, για την µορφή της εικόνας, για την τροχιά της κίνησης και η αναγνώριση του προσώπου σε κάθε κατηγορία αντίστοιχα.επίσης έχει προσδιοριστεί και ένα σχήµα Περιγραφής για τον εντοπισµό της πληροφορίας, που ονοµάζεται SpatioTemporal locator και συντίθεται από άλλα Σχήµατα Περιγραφής, όπως το FigureTranjectory Description Scheme και το ParameterTrajectory Description Scheme. 4) ISO/IEC 15 938-4: MPEG-7 Audio, Περιγραφή Ακουστικού Περιεχοµένου. Σε αυτό το µέρος προσδιορίζεται ένα προτυποποιηµένο σύνολο Περιγραφέων και Σχηµάτων Περιγραφής. Οι Περιγραφείς του ήχου στο ΜPEG-7 πραγµατεύονται τέσσερις κλάσσεις ηχητικών σηµάτων, που είναι: η καθαρή οµιλία, η καθαρή µουσική, pure sound effects και arbitrary soundtracks. Oι περιγραφείς και τα Σχήµατα Περιγραφής πραγµατεύονται χαρακτηριστικά του ήχου, όπως τη σιωπή, το περιεχόµενο του προφορικού λόγου, το ηχόχρωµα, την µελωδία. Οπως οι περιγραφείς για το οπτικό υλικό, έτσι και οι περιγραφείς για το ακουστικό περιεχόµενο, απαιτούν συχνά την χρήση άλλων χαµηλού επιπέδου Περιγραφέων όπως scalable series και ένα πλαίσιο Περιγραφής του Ήχου. Παραδείγµατα προτυποποιηµένων Περιγραφέων για τα ποικίλα χαρακτηριστικά του ήχου, µπορούν να είναι τα εξής: Περιγραφείς για την σιωπή, περιγραφείς για περιεχόµενο προφορικού λόγου, περιγραφείς για το ηχόχρωµα, για την επίδραση του ήχου και τον τύπο της µελωδίας, όπως οι περιγραφείς για τον τύπο σιωπής, για τον τύπο του οµιλητή στο προφορικό 12

περιεχόµενο, για τον τύπο του ηχοχρώµατος του µουσικού οργάνου και για τον τύπο του ρυθµού σε κάθε κατηγορία αντίστοιχα. 5) ISO/IEC 15 938-5: MPEG-7 Multimedia Description Schemes, Σχήµατα Περιγραφής Πολυµέσων. Τα Σχήµατα Περιγραφής Πολυµέσων στο ΜPEG-7, προδιαγράφουν ένα πλαίσιο εργασίας υψηλού επιπέδου, που επιτρέπει την γενική περιγραφή όλων των ειδών των πολυµέσων, περιλαµβάνοντας δεδοµένα ήχου, εικόνας και κειµένου. Περισσότερο εκτενής αναφορά θα γίνει στη συνέχεια, στην ενότητα για τα Σχήµατα Περιγραφής Πολυµέσων. 6) ISO/IEC 15 938-6: MPEG-7 Reference Software, Σχετικό Λογισµικό. Αυτό το µέρος έχει σκοπό να παρέχει τις εφαρµογές των σχετικών µερών του ΜPEG-7 και είναι γνωστό σαν experimentation software (XM). Σε αυτό το µέρος περιγράφονται το απαραίτητο λογισµικό, το λειτουργικό περιβάλλον του ΜPEG-7 και οι περιορισµοί του copyright. Παρόλο που περιλαµβάνεται σε αυτό κάποιο λογισµικό για την εξαγωγή των Περιγραφέων, η εστίαση γίνεται πιο πολύ στην δηµιουργία των bitstream των Περιγραφέων και των Σχηµάτων Περιγραφής µε µία ρυθµιστική σύνταξη, παρά στην απόδοση των εργαλείων. Μέχρι στιγµής τα συστατικά που περιλαµβάνει ανήκουν σε τέσσερις κατηγορίες: Στον αναλυτή (parser) της DDL, στον αναλυτή της εγκυρότητας της DDL ( validation parser), στους περιγραφείς για οπτικό περιεχόµνο, στους περιγραφείς για ακουστικό πεεριεχόµενο και στα Σχήµατα Περιγραφής Πολυµέσων 7) ISO/IEC 15 938-7: MPEG-7 Confοrmance, στοχεύει να παρέχει τις κατευθυντήριες γραµµές και διαδικασίες για να δοκιµάσει την συµβατότητα των εφαρµογών του MPEG-7. Για αυτό το µέρος του προτύπου δεν υπάρχουν ακόµα πολλά στοιχεία, γιατί οι έρευνες βρίσκονται σε πολύ αρχικό στάδιο. 13

Επειδή στην παρούσα εργασία το ενδιαφέρον είναι για την γενική περιγραφή της πληροφορίας, για το πώς αυτή γίνεται και όχι για κάποια συγκεκριµένη εφαρµογή ή για την συµβατότητα αυτών των περιγραφών, θα εστιάσουµε σε συγκεκριµένα µέρη του προτύπου. Στην ενότητα που ακολουθεί, θα γίνει η ανάλυση του πρώτου, του δεύτερου και του πέµπτου, µέρους του προτύπου, δηλαδή η ανάλυση των Συστηµάτων του MPEG-7, της Γλώσσας Προσδιορισµού της Περιγραφής και των Σχηµάτων Περιγραφής των Πολυµέσων. Η διαλειτουργικότητα Στόχος της παρούσας εργασίας δεν ήταν µόνο να προβληθεί ένα ακόµα πρότυπο περιγραφής πολυµεσικού υλικού, αλλά να δοθεί και έµφαση στη διαλειτουργικότητα που πρέπει να υπάρχει µεταξύ των συλλογών µε πολυµεσικό περιεχόµενο. Οι περιγραφές του MPEG-7 µπορούν να εντοπισθούν µαζί µε το συνδεδεµένο µε αυτές οπτικοακουστικό υλικό στο ίδιο stream δεδοµένων ή στο ίδιο αποθηκευτικό σύστηµα, αλλά οι περιγραφές θα µπορούσαν να υπάρξουν και αλλού. Όταν το περιεχόµενο και οι περιγραφές του δεν βρίσκονται µαζί, θα µπορούσαν να αποδειχθούν χρήσιµοι µηχανισµοί που συνδέουν το οπτικό ακουστικό υλικό µαζί µε τις περιγραφές τους, Αυτοί οι σύνδεσµοι θα µπορούσαν να χρησιµέψουν και στις δύο κατευθύνσεις. Ο συνδυασµός της ευελιξίας και της διαλειτουργικότητας επιτρέπει τόσο στους ανθρώπους όσο και στις µηχανές να ανταλλάσσουν, να ανακτούν και να επαναχρησιµοποιούν το σχετικό υλικό. Είναι απόλυτα βασικό ότι το MPEG-7 υπάρχει για να εξυπηρετεί αυτόν τον στόχο Η προτυποποίηση κυρίως αναζητεί τρόπους για να φτάσει πέρα από κάθε απλή, αυθαίρετη λύση και να παρέχει όχι µόνο ένα πλαίσιο, αλλά ένα στέρεο µέσο µε το οποίο οι λύσεις που προτείνουν οι βιοµηχανίες θα µπορούσαν να συνεργαστούν. Εάν το MPEG-7 θα γίνει αρκετά εξειδικευµένο ή αρκετά γενικό ως προς τις εφαρµογές του, τότε αυτός ο στόχος, που είναι και κύριος, θα αποτύχει. Προκειµένου να επιτύχει τους στόχους του το προαναφερθέν πρότυπο έχει στη διάθεσή του κάποια εργαλεία που είναι οι Περιγραφείς (descriptors), τα Σχήµατα Περιγραφής (Description schemes) την Γλώσσα Προσδιορισµού της Περιγραφής (Description Definition Language) και τα συστήµατα. 14

1. Οι Περιγραφείς (descriptors): Ένας Περιγραφέας είναι µία αναπαράσταση ενός χαρακτηριστικού, καθορίζει την σύνταξη και την σηµασιολογία της αναπαράστασης του χαρακτηριστικού. Ένας Περιγραφέας πρέπει να είναι ακριβής για να προσδιορίσει ένα χαρακτηριστικό. Το MPEG-7 πραγµατεύεται διάφορα επίπεδα αφαίρεσης. Στο χαµηλότερο επίπεδο αφαίρεσης, οι περιγραφείς µπορούν να περιλαµβάνουν χαρακτηριστικά όπως η µορφή, το χρώµα, το µέγεθος και η κίνηση της camera ( αν είναι palm ή tilt, αν κάνει traveling κτλ.) για τις εικόνες και το video, η αρµονία και το ηχόχρωµα για την µουσική. Στο υψηλό επίπεδο µπορεί να βρίσκονται τα γεγονότα που συµβαίνουν, οι σχέσεις µεταξύ των ατόµων, κάποιες αφηρηµένες έννοιες. Οι περιγραφείς ήχου και εικόνας αναπαριστούν εξειδικευµένα χαρακτηριστικά που σχετίζονται µε ακουστικό και οπτικό περιεχόµενο αντίστοιχα. Υπάρχουν επίσης και οι γενικοί περιγραφείς (generic descriptions) που περιγράφουν τα γενικά χαρακτηριστικά. Είναι πιθανό να έχουµε ποικίλους περιγραφείς που να αναπαριστούν ένα µοναδικό χαρακτηριστικό και αυτό σηµαίνει ότι πραγµατεύεται διαφορετικές σχετικές απαιτήσεις. 2. Σχήµατα Περιγραφής (Description schemes): Ένα σχήµα περιγραφής προδιαγράφει την δοµή και την σηµασιολογία των σχέσεων ανάµεσα στα συστατικά στοιχεία του, τα οποία µπορεί να είναι ταυτόχρονα περιγραφείς και σχήµατα περιγραφής. Η διάκριση ανάµεσα στα σχήµατα Περιγραφής και στους Περιγραφείς είναι ότι ένας Περιγραφέας ασχολείται µε την αναπαράσταση και την παρουσίαση (representation) ενός χαρακτηριστικού, ενώ το σχήµα περιγραφής σχετίζεται µε την δοµή (structure) µιας περιγραφής. Γίνεται αντιληπτό λοιπόν ότι οι περιγραφείς και τα σχήµατα περιγραφής αναφέρονται σε διαφορετικές πλευρές και για αυτό αποτελούν δύο πολύ διαφορετικές έννοιες. Βέβαια αυτές οι έννοιες είναι αλληλένδετες και συνδέονται στενά όπως θα δούµε σε παρακάτω σχήµα. Τα σχήµατα περιγραφής επιτρέπουν την δηµιουργία πολύπλοκων περιγραφών µε το να προσδιορίζουν την δοµή και την σηµασιολογία των σχέσεων ανάµεσα στους Περιγραφείς και στα Σχήµατα Περιγραφής. Για παράδειγµα, ένα Σχήµα Περιγραφής για ένα τµήµα από video µπορεί να προσδιορίζει 15

την σύνταξη και την σηµασιολογία των συστατικών στοιχείων του, όπως την βαθύτερη αποσύνθεση των τµηµάτων, τα χαρακτηριστικά κάθε τµήµατος ξεχωριστά ( για παράδειγµα το µήκος ενός τµήµατος) και τις σχέσεις ανάµεσα στα συστατικά στοιχεία. Όπως συµβαίνει και µε τους Περιγράφεις, έτσι και τα Σχήµατα Περιγραφής µπορούν να κατηγοριοποιηθούν σε Σχήµατα Περιγραφής για τον ήχο, την εικόνα, ή να είναι γενικά. Τα γενικά Σχήµατα Περιγραφής συνήθως αναπαριστούν γενική πληροφορία που σχετίζεται µε όλα τα είδη των µέσων ( ήχο, εικόνα, κείµενο, γραφικά, κ.τ.λ.) Σε µία περιγραφή εκτός από τους Περιγραφείς και τα Σχήµατα Περιγραφής που προέρχοµαι εσωτερικά από το κείµενο, το MPEG-7 περιλαµβάνει και Περιγραφείς και Σχήµατα Περιγραφής που έχουν σχέση µε την δηµιουργία, την παραγωγή την διαχείριση του οπτικοακουστικού υλικού. Αυτά τα µεταδεδοµένα µπορεί να περιέχουν πληροφορίες για τις προϋποθέσεις της πρόσβασης στο υλικό (για παράδειγµα, πληροφορία για τα δικαιώµατα της πνευµατικής ιδιοκτησίας του υλικού), για την ταξινόµηση ( να περιλαµβάνει ταξινόµηση του υλικού σε έναν αριθµό προκαθορισµένων κατηγοριών) και συνδέσµους µε άλλα σχετικά στοιχεία ( όπου και η πληροφορία αυτή πιθανό να κάνει πιο σύντοµη την έρευνα του χρήστη). 3. Γλώσσα Προσδιορισµού της Περιγραφής (Description Definition Language): Η DDL δηµιουργεί νέα Σχήµατα Περιγραφής, και Περιγραφέων. Κάνει επίσης δυνατή την επέκταση και την τροποποίηση των ήδη υπαρχόντων. Με βάση την XML Schema επιτρέπει τον προσδιορισµό των Περιγραφέων και των Σχηµάτων Περιγραφής. Οι περιγραφείς και τα σχήµατα Περιγραφής που υπάρχουν είναι ανεξάρτητα της εφαρµογής στην οποία χρησιµοποιούνται. Όταν είναι απαραίτητο να περιγράψουµε περιεχόµενο από συγκεκριµένα πεδία, όπως από τον τοµέα των ειδήσεων ή τα films, υπάρχει συχνά η ανάγκη για επέκταση και εξειδίκευση των ειδικών εργαλείων του MPEG-7 και η χρήση της DDL για να προσδιορίσουµε τα εξειδικευµένα ή επιπρόσθετα εργαλεία. Με την υιοθέτηση του XML Schema σαν την βάση για την Γλώσσα Προσδιορισµού της Περιγραφής του MPEG-7, το 16

αποτέλεσµα είναι η διευκόλυνση της διαλειτουργικότητας µε την χρήση µιας κοινής, γενικής και ισχυρής µορφής αναπαράστασης της πληροφορίας που περιγράφεται. Αντίστροφα, διευκολύνεται και η χρήση των εργαλείων του MPEG-7 για την επέκταση των ήδη υπαρχόντων εφαρµογών της XML µε τις λειτουργίες που διαθέτουν οι περιγραφές του πολυµεσικού περιεχοµένου. Όλα τα προαναφερθέντα στοιχεία που αναφέρθηκαν σχετικά µε του Περιγραφείς, τα Σχήµατα Περιγραφής και την DDL συνοψίζονται στο παρακάτω σχήµα. 17

4. Τα Συστήµατα: Τα συστήµατα του MPEG7 µπορούν και συνδέουν τη δυαδική µορφή των µεταδεδοµένων µε την µορφή κειµένου, καθώς και µε το πολυµεσικό περιεχόµενο. Τα µεταδεδοµένα στο MPEG7 µπορούν να αποθηκεύονται µαζί µε το πολυµεσικό υλικό ή ακόµα και σε αποµακρυσµένη βάση δεδοµένων. Τα συστήµατα του MPEG7 έχουν κάποιες απαιτήσεις και αυτές είναι οι: η µεταφορά των περιγραφών, ο συγχρονισµός της περιγραφής µε την παρουσίαση του πολυµεσικού υλικού και η διαχείριση των streams. Η µεταφορά των περιγραφών πραγµατοποιείται χρησιµοποιώντας µία ποικιλία από πρωτόκολλα µετάδοσης και αποθήκευσης. Κάποια από αυτά τα πρωτόκολλα περιλαµβάνουν και το streaming, όπως για παράδειγµα είναι η ζωντανή αναµετάδοση των περιγραφών µαζί µε το περιεχόµενο. Σε αυτές τις περιπτώσεις οι πολυµεσικές περιγραφές πρέπει να µεταφέρονται κοµµάτι µε κοµµάτι, προκειµένου να προσαρµόσουν (match) την µεταφορά των περιγραφών στους πελάτες (clients) που έχουν περιορισµένες δυνατότητες δικτύου και τερµατικού. Σε δεύτερο επίπεδο έχουµε τον συγχρονισµό. Ο συγχρονισµός των διαφορετικών συστατικών στοιχείων σε µία οπτικοακουστική παρουσίαση έχει φυσικά σχέση µε τον χρόνο. Για ορισµένες εφαρµογές οι πληροφορίες των περιγραφών πρέπει να παρουσιαστούν στον χρήστη σε ακριβείς στιγµές στον χρόνο, µαζί µε το περιεχόµενο. Η παρουσίαση του MPEG-7 πρέπει να επιτρέπει τον ακριβή προσδιορισµό της σηµείωσης του χρόνου, έτσι ώστε τα δεδοµένα που λαµβάνονται να µπορούν να επεξεργαστούν και να παρουσιαστούν στις κατάλληλες στιγµές στον χρόνο και να συγχρονίζονται µεταξύ τους. Η διαχείριση των streams της οπτικοακουστικής πληροφορίας, που περιλαµβάνει και περιγραφές του MPEG-7, υπονοεί την ανάγκη συγκεκριµένων µηχανισµών, που θα επιτρέψουν σε µία εφαρµογή να καταναλώσει (consume) το περιεχόµενο. Αυτό περιλαµβάνει µηχανισµούς, όπως τον εντοπισµό των δεδοµένων, την περιγραφή της εξάρτησης που υπάρχει ανάµεσα στα δεδοµένα, την σύνδεση των περιγραφών µε τα δεδοµένα και την πρόσβαση στην πληροφορία σχετικά µε την πνευµατική ιδιοκτησία που συνδέεται µε τα δεδοµένα. 18

Όπως προείπαµε η περιγραφή µε µορφή κειµένου του υλικού που µας ενδιαφέρει (χάρη στην DDL) έχει και δυαδική αναπαράσταση. Η γνωστή BiM (Binary format for metadata) είναι ο άλλος εαυτός της περιγραφής σε κείµενο. Είναι η µεταφορά σε δυαδική µορφή της περιγραφής σε XML. Υπάρχει άµεση σχέση µεταξύ της BiM και της DDL καθώς µπορούµε να εξάγουµε περιγραφή από την ψηφιακή µορφή και το αντίστροφο. Επίσης η δυαδική υπόσταση της περιγραφής έχει οργανωθεί και σχεδιαστεί µε τέτοιο τρόπο ώστε να επιτρέπεται η ορθότητα της σύνταξης και η εγκυρότητα της περιγραφής. Η µετάδοση της πληροφορίας δεν περιλαµβάνει µόνο downstream διαδικασίες. Με λίγα λόγια downstream σηµαίνει ότι ο server αποστέλλει την πληροφορία στον client. Περιλαµβάνει επίσης και την αντίστροφη διαδικασία. Από το τερµατικό δηλαδή στο server, που ονοµάζεται upstream. Το παρακάτω είναι παράδειγµα περιγραφής οπτικοακουστικού περιεχοµένου σε XML. <Mpeg7> <DescritpionMetadata>...</DescriptionMetadata> <Description xsi:type= ContentEntity > <MultimediaContent xsi:type= VideoType > <Video id= video_example > <MediaInformation>...</MediaInformation> <TemporalDecomposition gap= false overlap= false > <VideoSegment id= VS1 > <MediaTime> <MediaTimePoint> T00:00:00</MediaTimePoint> <MediaDuration>PT2M</MediaDuration> </MediaTime> <VisualDescriptor xsi:type= GoFGoPColorType aggregation= average > <ScalableColor numofcoef= 8 numofbitplanesdicarded= 0 > <Coeff>1 2 3 4 5 6 7 8</Coeff> </ScalableColor> </VisualDescriptor> </VideoSegment> <VideoSegment id= VS2 > <MediaTime> <MediaTimePoint>T00:02:00 </MediaTimePoint> <MediaDuration>PT2M</MediaDuration> </MediaTime> <VisualDescriptor xsi:type= GoFGoPColorType aggregation= average > <ScalableColor numofcoef= 8 numofbitplanesdicarded= 0 > <Coeff>8 7 6 5 4 3 2 1</Coeff> </ScalableColor> </VisualDescriptor> </VideoSegment> </TemporalDecompostion> </Video> </MultimediaContent> </Description> </Mpeg7> 19

Τα σχήµατα Σε αυτή την ενότητα θα δούµε συνοπτικά τα σχήµατα περιγραφής πολυµέσων. Τα MPEG-7 Multimedia Description Schemes (DSs) είναι δοµές µεταδεδοµένων που περιγράφουν οπτικοακουστικό περιεχόµενο. Τα DSs όπως θα καθιερώσουµε να αναφέρουµε από εδώ και πέρα, παρέχουν προτυποποιηµένο τρόπο περιγραφής του οπτικοακουστικού υλικού σε XML, γεγονός που διευκολύνει στην διαχείριση του περιεχοµένου δηλαδή την αναζήτηση, την ευρετηρίαση και την πρόσβαση. Το αποτέλεσµα των περιγραφών µπορεί να αποτυπωθεί και σε µορφή αναγνώσιµη από τον άνθρωπο δηλαδή XML, αλλά και σε συµπιεσµένη δυαδική µορφή που χρησιµεύει στην µετάδοση και αποθήκευση του υλικού. Ο στόχος του MPEG-7 είναι η διαλειτουργική αναζήτηση, ευρετηρίαση και πρόσβαση στο οπτικοακουστικό περιεχόµενο. Αυτό θα επιτευχθεί µέσω της διαλειτουργικότητας ανάµεσα στις εφαρµογές που χρησιµοποιούν οπτικοακουστικές περιγραφές. Οι περιγραφείς του MPEG-7 σχεδιάστηκε αρχικά για να περιγραφούν χαρακτηριστικά χαµηλού επιπέδου όπως το χρώµα, η υφή, η κίνηση, η ηχητική ενέργεια κτλ όπως και χαρακτηριστικά όπως ο χρόνος, ο τόπος, η ποιότητα κτλ. Θεωρείται δεδοµένο ότι οι περισσότεροι περιγραφείς χαµηλού επιπέδου θα εξάγονται αυτόµατα στις εκάστοτε εφαρµογές. Αντιθέτως τα MPEG-7 DSs σχεδιάστηκαν αρχικά για να περιγράψουν χαρακτηριστικά υψηλού επιπέδου όπως περιοχές, αντικείµενα, γεγονότα και άλλα µεταδεδοµένα που σχετίζονται µε την παραγωγή, δηµιουργία και χρήση. Τα DSs παράγουν περισσότερο σύνθετους περιγραφείς, ενοποιώντας τους περιγραφείς και τα DSs και ταυτόχρονα δηλώνοντας τη σχέση τους. Το παρακάτω σχήµα παρουσιάζει τους βασικούς τοµείς από τους οποίους αποτελείται το MPEG-7 Multimedia DSs. Αυτοί είναι: Basic Elements, Content Description, Content Management, Content Description, Content Organization, Navigation and Access και User Interaction. 20

Μία MPEG-7 περιγραφή ξεκινά µε ένα βασικό top elment - στοιχείο που δηλώνει αν η περιγραφή είναι ολόκληρη ή µέρος άλλης. Αυτό το στοιχείο καθορίζει για τον τύπο της περιγραφής που θα ακολουθήσει π.χ εικόνα, video κτλ., συγκεντρώνει τα εργαλεία για τη συγκεκριµένη περιγραφής. Επίσης περιγράφει µεταδεδοµένα σχετικά µε την περιγραφή που σχετίζονται µε το χρόνο δηµιουργίας, τη version κτλ. Τα βασικά στοιχεία εντοπίζουν κοµµάτια περιεχοµένου, χώρους, άτοµα, οργανισµούς και άλλες γραπτές πληροφορίες. Χρονική πληροφορία: Τα Time DS και MediaTime DS περιγράφουν χρονική πληροφορία. Η βασική στρατηγική είναι η εξής: θέτονται σηµεία έναρξης και λήξης ενός συµβάντος και περιγράφεται το εσωτερικό τους. Στο παραπάνω παράδειγµα τα σηµεία στο χρόνο τα ονοµάζουµε t 1 και t 2. Η διάρκεια µετριέται ως t 2 - t 1. Επίσης µπορούµε να θέσουµε ένα χρονικό σηµείο αναφοράς και να περιγραφεί ένα σηµείο σχετικό ως προς αυτό. Ακόµα µία περίοδος χρόνου µπορεί να αποτελείται από άλλες µικρότερες περιόδους. 21

Σχολιασµός κειµένου: το MPEG-7 παρέχει εργαλείο που µπορεί να παρέχει πληροφορίες που µπορούν να απαντούν στις ερωτήσεις Ποιος; Τι; Ποια ενέργεια; Που; Πότε; και Πως; Επίσης πιο σύνθετα εργαλεία µπορούν να προσδιορίσουν την σχέση µεταξύ ρήµατος και υποκειµένου. Το MPEG-7 παρέχει εργαλεία διαχείρισης περιεχοµένου Τα εργαλεία αυτά περιγράφουν πληροφορίες όπως: (1) δηµιουργία και παραγωγή, (2) µέσο αποθήκευσης και µορφότυπο αρχείου, και (3) χρήση περιεχοµένου. Όσον αφορά στη δηµιουργία περιγράφεται η δηµιουργία και η ταξινόµηση του οπτικοακουστικού υλικού. Αυτό περιλαµβάνει τον τίτλο και πληροφορίες όπως ο δηµιουργός, ο τόπος δηµιουργίας και ηµεροµηνία. Η ταξινόµηση αφορά τοµείς όπως είδος, αντικείµενο, σκοπός, γλώσσα κτλ. Οι πληροφορίες µέσου αφορούν στην αποθήκευση, την συµπίεση και κωδικοποίηση του οπτικοακουστικού περιεχοµένου. Επίσης περιέχονται πληροφορίες χρήσης και παρέχονται υπερσυνδέσµοι προς τους κατόχους δικαιωµάτων. Το Usage Record DS και το Availability DSs παρέχει πληροφορίες που σχετίζονται µε τη χρήση, τη µετάδοση, τις πωλήσεις CD κτλ. Τέλος το Financial DS παρέχει πληροφορίες για το κόστος παραγωγής και τα έσοδα που προέρχονται από τη χρήση του υλικού. Τα εργαλεία περιγραφής για τη δηµιουργία και την παραγωγή του υλικού περιγράφουν πληροφορίες που σχετίζονται µε τη δηµιουργία του οπτικοακουστικού υλικού. Η πληροφορία αυτή δεν µπορεί να εξαχθεί αυτόµατα 22

Το αρχικό στοιχείο είναι το CreationInformation DS και αποτελείται από το Creation D (που περιέχει ηµεροµηνίες, ενέργειες, υλικό, Οργανισµοί κτλ), το Classification D (περιέχει το είδος, τη γλώσσα κτλ) και το RelatedMaterial Ds. Πληροφορίες για τα µέσα αποθήκευσης Το Content Management Description Tools επιτρέπει την περιγραφή του κύκλου ζωής του περιεχοµένου, από το περιεχόµενο στην κατανάλωση. Το περιεχόµενο που περιγράφεται από το MPEG-7 µπορεί να είναι διαθέσιµο σε διαφορετικές µορφές και σχήµατα κωδικοποίησης. Για παράδειγµα µία συναυλία µπορεί να έχει καταγραφθεί: α) σε µορφή ήχου και β) σε οπτικοακουστική µορφή. Κάθε µία από τις παραπάνω µορφές µπορεί να είναι κωδικοποιηµένη µε διαφορετικό σχήµα κωδικοποίησης. Περιεχόµενο (content): Το περιεχόµενο είναι µία οντότητα που έχει µια συγκεκριµένη µορφή να αναπαριστά την πραγµατικότητα. Μία συναυλία µπορεί να είναι σε audio media, audio-visual media. Πληροφορίες µέσου (Media Information): Το format του περιεχοµένου περιγράφεται από το Media Information DS. Πληροφορίες δηµιουργίας (Creation Information): Πληροφορίες για τη διαδικασία δηµιουργίας περιεχοµένου περιγράφονται από το CreationInformation DS. Πληροφορίες χρήσης (Usage Information): Πληροφορίες που σχετίζονται µε τη χρήση του περιεχοµένου περιγράφονται από το UsageInformation DS. Πληροφορίες χρήσης Η περιγραφή χρήσης πραγµατοποιείται από το UsageInformation DS, που µε τη σειρά του αποτελείται από το Rights D, το Financial D (περιέχει πληροφορίες που σχετίζονται µε το κόστος παραγωγής του υλικού καθώς και το κέρδος από τη χρήση του),το Availability Ds και το UsageRecord Ds. Το MPEG-7 παρέχει σχήµατα (DSs) για την περιγραφή της δοµής και της σηµασιολογίας του οπτικοακουστικού υλικού. Τα εργαλεία δοµής περιγράφουν τη 23

δοµή του οπτικοακουστικού υλικού όπως καρέ, κινούµενες και σταθερές εικόνες, περιοχές ήχου. Τα σηµασιολογικά εργαλεία περιγράφουν αντικείµενα γεγονότα και στοιχεία που σχετίζονται µε την πραγµατικότητα οµικές πτυχές: περιγράφεται η δοµή του οπτικοακουστικού υλικού. Το Structure DSs περιγράφει ένα Segment DS που αντιπροσωπεύει την χωρική και χρονική δοµή του οπτικοακουστικού υλικού. Το Segment DS µπορεί να οργανωθεί σε ιεραρχική δοµή προκειµένου να παραχθεί πίνακας περιεχοµένων ή ευρετήριο προκειµένου να γίνεται αναζήτηση. Επίσης µπορεί να περιγραφθεί παραπάνω σε άλλη βάση όπως το χρώµα, η υφή, το σχήµα, η κίνηση και τα χαρακτηριστικά ήχου. Εννοιολογικές πτυχές: περιγράφεται η σηµασιολογία του οπτικοακουστικού υλικού. Το Semantic DSs περιλαµβάνει οντότητες όπως αντικείµενα, γεγονότα και σχέσεις. Το Structure DSs και το Semantic DSs σχετίζονται µεταξύ τους µε ένα σύνολο από υπερσυνδέσµους που επιτρέπουν να περιγραφθει το υλικό και δοµικά και εννοιολογικά. Το MPEG-7 παρέχει DSs για τη διευκόλυση και ανάκτηση οπτικοακουστικού υλικού µε τη δηµιουργία περίληψεων, χωρισµάτων και παραλλαγών του οπτικοακουστικού υλικού. Περιλήψεις: παρέχουν µικρές περιλήψεις που βοηθούν στην ανακάλυψη και πλοήγηση µέσα στο οπτικοακουστικό υλικό. Το Summary DSs περιέχει δύο τύπους πλοήγησης: τον ιεραρχικός και τον διαδοχικό. Στο πρώτο η οργάνωση της πληροφορίας γίνεται σε διαφορετικά επίπεδα και αυτό αφορά στη λεπτοµέρεια. Στο δεύτερο παρέχεται µια ακολουθία εικόνων ή τηλεοπτικών καρέ, ενδεχοµένως συγχρονισµένα µε ήχο. Χωρισµοί και αποσυνθέσεις: περιγράφουν τις διαφορετικές αποσυνθέσεις του οπτικοακουστικού σήµατος στο χώρο, τον χρόνο και τη συχνότητα Παραλλαγές: παρέχει πληροφορίες για διαφορετικές παραλλαγές του οπτικοακουστικού προγράµµατος όπως εκδοχές χαµηλής ποιότητας, εκδοχές διαφορετικών γλωσσών κτλ. 24

Το MPEG-7 παρέχει επίσης σχήµατα για την οργάνωση των συλλογών του οπτικοακουστικού υλικού και των Περιγραφέων. Το Collection DS οργανώνει συλλογές οπτικοακουστικού περιεχοµένου. Τέλος το τελευταίο σύνολο από τα MPEG-7 DSs σχετίζεται µε την διάδραση του χρήστη (User Interaction). Το User Interaction DSs περιγράφει τις προτιµήσεις του χρήστη και το ιστορικό χρήσης. Η ιεραρχική αποδόµηση της οπτικοακουστικής πληροφορίας µπορεί να κάνει την αναζήτηση πιο εύκολη. Για παράδειγµα ένα video segment µπορεί να αποδοµηθεί σε κινούµενες περιοχές και αυτές να διαιρεθούν σε ακίνητες περιοχές. Ο παρακάτω πίνακας παρουσιάζει τα χαρακτηριστικά που µπορούν να εξαχθούν από ένα τµήµα video (Video Segment), ένα τµήµα ακίνητης περιοχής (Still Region), ένα τµήµα κινούµενης περιοχής (Moving Region) και τµήµα ήχου (Audio Segment). Feature Video Still Moving Audio Segment Region Region Segment Time X. X X Shape. X X. Color X X X. Texture. X.. Motion X. X. Camera motion X... Audio features.. X X 25

Συνοπτικά οι Περιγραφείς: Τύπος Χαρακτηριστικό Περιγραφέας Οπτικός Χρώµα Υφή Σχήµα DominantColor ScalableColor ColorLayout ColorStructure GoFGoPColor (extension of ColorStructure) HomogeneousTexture TextureBrowsing EdgeHistogram RegionShape 26

ContourShape Shape3D Κίνηση CameraMotion MotionTrajectory ParametricMotion MotionActivity Τύπος Χαρακτηριστικό Περιγραφέας Ήχος Σιωπή Χροιά Οµιλία οµή µουσικής Ηχητικά εφέ Silence InstrumentTimbre HarmonicInstrumentTimbre PercussiveInstrumentTimbre Phoneme Articulation Language MelodicContour Rhythm Reverberation, Pitch, Contour, Noise Παρακάτω παρουσιάζεται ένα παράδειγµα περιγραφής εικόνας. Η αρχική εικόνα περιγράφεται ως Still Region, SR1, η οποία περιγράφεται µε βάση την δηµιουργία (τίτλος, δηµιουργός), τις πληροφορίες χρήσης (copyright), τις πληροφορίες µέσου (file format) το ιστόγραµµα χρώµατος και την περιγραφή υφής. Η αρχική εικόνα µπορεί να υποδιαιρεθεί σε άλλες. Το δέντρο απαρτίζεται από 8 εικόνες ενώ όπως βλέπουµε η όγδοη εικόνα απαρτίζεται από δύο κοµµάτια. Σε κάθε «παιδί» του 27

αρχικού περιγραφόµενου τµήµατος µεταβιβάζονται οι ιδιότητες του αρχικού, όπως οι πληροφορίες χρήσης, δηµιουργίας κτλ. Σε ορισµένες περιπτώσεις δεν µπορούµε να έχουµε δένδρο περιγραφής, διότι δεν το επιτρέπουν οι συνθήκες. Το πρόβληµα αυτό αντιµετωπίζεται µε το SegmentRelation DS που δηµιουργούν σχέσεις. Στο παρακάτω παράδειγµα έχουµε µία ακίνητη περιοχή - εικόνα και τρεις κινούµενες. Τη δοµή του περιεχοµένου την αναπαριστά το σχεδιάγραµµα που ακολουθεί. Το Video Segment: τρίπλα και σουτ περιέχει την µπάλα, τον τερµατοφύλακα και τον παίκτη. Η µπάλα παραµένει κοντά στον παίκτη που κατευθύνεται στον τερµατοφύλακα. Ο παίκτης εµφανίζεται στα δεξιά του τερµατοφύλακα. Το Goal score video segment περιλαµβάνει τις ίδιες κινούµενες περιοχές συν την εικόνα που ονοµάζουµε Goal. 28

Για κάποιες εφαρµογές, η οπτική πλευρά που χρησιµοποιήθηκε παραπάνω, µπορεί να φανεί ακατάλληλη, διότι επισηµαίνει τις δοµικές πλευρές του περιεχοµένου. Για εφαρµογές στις οποίες η περιγραφή της δοµής δεν έχει καµία πραγµατική χρησιµότητα, αλλά όπου ο χρήστης ενδιαφέρεται περισσότερο για την σηµασιολογία του περιεχοµένου, µία εναλλακτική προσέγγιση είναι το Σχήµα για την Περιγραφή 29

της Σηµασιολογίας (Semantic Description Scheme). Σε αυτήν την προσέγγιση η έµφαση δεν δίνεται στα τµήµατα, αλλά στα γεγονότα, στα αντικείµενα, στα µέρη, στον χρόνο στον πραγµατικό κόσµο ( και όχι στα τµήµατα) και στην αφαίρεση. Ο πραγµατικός κόσµος αναφέρεται στο περιβάλλον µίας σηµασιολογικής περιγραφής, που σηµαίνει ότι η περιγραφή έχει νόηµα µόνο στην πραγµατικότητα. Αυτή η περιγραφή καλύπτει τον κόσµο που απεικονίζεται µέσα στις συγκεκριµένες αποδόσεις τιµών του οπτικοακουστικού περιεχοµένου, καθώς επίσης και πιο αφηρηµένες περιγραφές που αναπαριστούν τους πιθανούς κόσµους που περιγράφονται στα πιθανά µέσα στα οποία υπάρχουν. Μία περιγραφή µπορεί να καλύπτει πολλαπλούς πραγµατικούς κόσµους, που αποτυπώνονται στις πολλαπλές αποδόσεις τιµών του οπτικοακουστικού περιεχοµένου. Όπως φαίνεται και στην, το Σχήµα Περιγραφής για την σηµασιολογική βάση (SemanticBase Description Scheme) περιγράφει τον πραγµατικό κόσµο και τις σηµασιολογικές οντότητες στον πραγµατικό κόσµο. Επιπρόσθετα ένας αριθµός εξειδικευµένων Σχηµάτων Περιγραφής προέρχονται από το γενικό (generic) Σχήµα για την περιγραφή της σηµασιολογικής βάσης, ο οποίος περιγράφει συγκεκριµένους (specific) τύπους σηµασιολογικών οντοτήτων, όπως τον πραγµατικό κόσµο, τον χρόνο, τα αντικείµενα, τα γεγονότα που συµβαίνουν. Το Σχήµα Περιγραφής της Σηµασιολογίας (Semantic Description Scheme) περιγράφει πραγµατικούς κόσµους που είτε απεικονίζονται από το οπτικοακουστικό περιεχόµενο είτε συνδέονται µε αυτό. Μπορεί επίσης να χρησιµοποιηθεί για να περιγράψει ένα template για οπτικοακουστικό περιεχόµενο. Στην πρακτική, το Σχήµα αυτό σκοπεύει να ενσωµατώσει την περιγραφή ενός πραγµατικού κόσµου. Το Σχήµα Περιγραφής των αντικειµένων (Object Description Scheme) περιγράφει ένα αντικείµενο που µπορούµε να το αντιληφθούµε ή ένα αντικείµενο που είναι αφηρηµένο. Ένα αντικείµενο που αντιλαµβανόµαστε είναι µία οντότητα που στην πραγµατικότητα υπάρχει, δηλαδή έχει µία χρονική και χωρική υπόσταση σε έναν πραγµατικό κόσµο (για παράδειγµα το πιάνο του Στέλιου). Ένα αφηρηµένο αντικείµενο είναι το αποτέλεσµα της αφαίρεσης που πραγµατοποιήσαµε πάνω σε ένα αντικείµενο που αντιλαµβανόµασταν (για παράδειγµα ένα οποιοδήποτε πιάνο). Κατά βάση αυτό δηµιουργεί ένα object template. Το AgentObject Description Scheme επεκτείνεται πέρα από το Σχήµα Περιγραφής του αντικειµένου. Το Σχήµα αυτό περιγράφει έναν οργανισµό, ένα πρόσωπο, µία οµάδα ανθρώπων ή προσωποποιηµένα αντικείµενα (για παράδειγµα σε µία ταινία µία κούπα που µιλάει). Το Σχήµα Περιγραφής των γεγονότων (Event 30

Description Scheme)περιγράφει ένα γεγονός το οποίο µπορούµε να αντιληφθούµε ή που είναι αφηρηµένο. Ένα γεγονός που µπορούµε να αντιληφθούµε είναι µία δυναµική σχέση που µπορεί να περιλαµβάνει ένα ή περισσότερα αντικείµενα που συµβαίνουν σε µία περιοχή σε χρόνο και χώρο του πραγµατικού κόσµου (για παράδειγµα, ο Tom παίζει το πιάνο). Ένα αφηρηµένο γεγονός είναι το αποτέλεσµα, όταν σε ένα γεγονός το οποίο µπορούµε να αντιληφθούµε, υφιστούµε αφαίρεση (για παράδειγµα, οποιοσδήποτε µπορεί να παίξει πιάνο). Εδώ επίσης δηµιουργείται ένα template για το γεγονός. Τέλος το Σχήµα Περιγραφής του Σηµασιολογικού Xρόνου (SemanticTime Description Scheme) και το Σχήµα για την Περιγραφή του Σηµασιολογικού Χώρου (SemanticPlace Description Scheme) περιγράφουν αντίστοιχα τον χρόνο και τον χώρο στον πραγµατικό κόσµο. 31

Τέλος στο παρακάτω σχήµα παρατηρούµε την ιεραρχική αποδόµηση της οπτικοακουστικής πληροφορίας. Το σχήµα δείχνει ένα παράδειγµα της ιεραρχικής περίληψης ενός αγώνα ποδοσφαίρου. Η HierarchicalSummary description δίνει τρία επίπεδα πληροφορίας. Σε αυτό το παράδειγµα ο αγώνας συνοψίζεται σε ένα καρέ, που αποτελεί και τη ρίζα του δένδρου. Στο επόµενο στάδιο της ιεραρχίας υπάρχουν άλλα καρέ που έχουν περιλήψεις του video. 32

Παραδείγµατα δόµησης Σχηµάτων 33

Αντιστοιχία στοιχείων του DC και MPEG7 DC Element Επεξήγηση MPEG-7 Path 1 Title Το όνοµα που φέρει ο πόρος CreationMetaInformation.Creation.Title.TitleText (TitleType="original") 2 Creator Η οντότητα που είναι υπεύθυνη για την δηµιουργία του CreationMetaInformation.Creation.Creator (role="creator") περιεχοµένου του πόρου. 3 Subject Το θέµα του περιεχοµένου. CreationMetaInformation.Classification.PackagedType 4 Description Περιγραφή του περιεχοµένου. CreationMetaInformation.Creation.CreationDescription 5 Publisher Οντότητα που κάνει τον πόρο UsageMetaInformation.Publication.Publisher or διαθέσιµο. CreationMetaInformation.Creation.Creator (role="publisher") 6 Contributor Οντότητα που έχει συµβάλει στη δηµιουργία του περιεχοµένου. CreationMetaInformation.Creation.Creator (role="contributor") 7 Date Ηµεροµηνία που σχετίζεται µε CreationMetaInformation.Creation.CreationDate ένα γεγονός στον κύκλο ζωής του πόρου. 8 Type Η φύση και το είδος του CreationMetaInformation.Classification.Genre περιεχοµένου. 9 Format Το µορφότυπο (MPEG-1, QuickTime, RealVideo ) MediaInformation.MediaProfile.MediaFormat.FileForma t 10 Identifier Μια µοναδική αναφορά στον MediaInformation.MediaIdentification.Identifier πληροφοριακό πόρο. 11 Source Η αναφορά στην πηγή από όπου MediaInformation.MediaProfile.MediaInstance.Identifier προέρχεται ο πόρος µας. 12 Language Η γλώσσα του περιεχοµένου του πόρου µας. CreationMetaInformation.Classifcation.Language.Langua gecode or MediaInformation.MediaProfile.MediaFormat.AudioLan guage 13 Relation Αναφορά σε σχετικό υλικό. CreationMetaInformation.RelatedMaterial.MediaLocator.MediaURL 14 Coverage Το πλαίσιο και ο στόχος του CreationMetaInformation.Creation.CreationLocation.Pla 34

περιεχοµένου του πόρου. 15 Rights Πληροφορία για τα δικαιώµατα του πόρου. cename or CreationMetaInformation.Classification.Country CreationMetaInformation.Creation.Date UsageMetaInformation.Rights.RightsID Βιβλιογραφία 1. MPEG-7 Overview, ISO/IEC JTC1/SC29/WG11N6828 Palma de Mallorca, October 2004, (http://www.chiariglione.org/mpeg) 2. MPEG-7 Overview of MPEG-7 Description Tools, Part 2, José M. Martínez 3. MPEG-7 Behind the Scenes, D-Lib Magazine September 1999. 4. Search and Delivery of Multimedia Information Using MPEG-7 Technology, Master of Science Thesis in Computing Science 172 Degree Thesis IT3 ISSN 1100-1836 2000-08-29 5. Introduction to MPEG7, B.Smanjunath, P. Salembier and T. Sikora Eds,J.Wiley&Sons, Ltd, ENGLAND, 2002, Chapter13 6. http://www.lgcit.com/migr/cmip/hmmd/hmmd.html 7. IEEE Transactions on Circuits and Systems for Video Technology, Special Issue on MPEG-7, June 2001. 35