ΜΕΤΑΠΤΥΧΙΑΚΗ ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΑΝΘΡΩΠΟΚΕΝΤΡΙΚΗ ΑΝΑΛΥΣΗ ΒΙΝΤΕΟ ΙΑΝΟΥΑΡΙΟΣ 2008 ΗΜΗΤΡΗΣ ΣΠΑΧΟΣ Α.Ε.Μ. 126

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΤΜΗΜΑΤΟΣ ΠΛΗΡΟΦΟΡΙΚΗΣ : ΨΗΦΙΑΚΑ ΜΕΣΑ ΜΕΤΑΠΤΥΧΙΑΚΗ ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΑΝΘΡΩΠΟΚΕΝΤΡΙΚΗ ΑΝΑΛΥΣΗ ΒΙΝΤΕΟ ΙΑΝΟΥΑΡΙΟΣ 2008 Επιβλέπων καθηγητής: Ι.ΠΗΤΑΣ ΗΜΗΤΡΗΣ ΣΠΑΧΟΣ Α.Ε.Μ. 126

2 2

3 ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ I : ΤΟ ΠΡΌΤΥΠΟ MPEG7 5 ΤΑ ΠΡΌΤΥΠΑ MPEG 5 TO MPEG-1 5 TO MPEG-2 5 TO MPEG4 6 MPEG-21 6 ΑΝΑΓΚΑΙΌΤΗΤΑ ΤΟΥ ΠΡΟΤΎΠΟΥ MPEG ΠΕ ΊΟ ΕΦΑΡΜΟΓΉΣ ΤΟΥ MPEG7 10 Η ΟΜΉ ΤΟΥ ΠΡΟΤΎΠΟΥ 12 Η ΙΑΛΕΙΤΟΥΡΓΙΚΌΤΗΤΑ ΤΟΥ ΠΡΟΤΎΠΟΥ MPEG-7 15 ΣΧΉΜΑΤΑ ΠΕΡΙΓΡΑΦΉΣ ΠΟΛΥΜΈΣΩΝ 21 ΠΛΗΡΟΦΟΡΊΕΣ ΜΈΣΩΝ ΑΠΟΘΉΚΕΥΣΗΣ 24 ΠΛΗΡΟΦΟΡΊΕΣ ΧΡΉΣΗΣ 24 ΠΑΡΑ ΕΊΓΜΑΤΑ ΌΜΗΣΗΣ ΣΧΗΜΆΤΩΝ 33 ΑΝΤΙΣΤΟΙΧΊΑ ΣΤΟΙΧΕΊΩΝ ΤΟΥ DC ΚΑΙ MPEG7 35 ΚΕΦΑΛΑΙΟ II : Η ΓΛΏΣΣΑ XML 36 Η ΓΛΏΣΣΑ XML ΣΕ 10 ΣΗΜΕΊΑ 36 Η ΣΎΝΤΑΞΗ ΤΗΣ XML 41 XML ΣΧΉΜΑΤΑ (XML SCHEMAS) 42 ΚΕΦΑΛΑΙΟ III : ΗΜΙΟΥΡΓΊΑ ΒΆΣΗΣ Ε ΟΜΈΝΩΝ ΑΛΉΘΕΙΑΣ ΙΑΛΌΓΩΝ 45 ΠΕΡΙΓΡΑΦΉ ΥΛΙΚΟΎ 45 WEB PORTAL 51 ΚΕΦΑΛΑΙΟ IV : ΗΜΙΟΥΡΓΊΑ ΕΜΠΛΟΥΤΙΣΜΈΝΗΣ ΒΆΣΗΣ Ε ΟΜΈΝΩΝ 52 ΗΜΙΟΥΡΓΊΑ ΒΆΣΗΣ Ε ΟΜΈΝΩΝ ΜΕ ΠΛΗΡΟΦΟΡΊΕΣ SHOT CUTS, APPEARANCES, FACE TRACKING 52 ΣΥΓΧΏΝΕΥΣΗ ΒΆΣΕΩΝ Ε ΟΜΈΝΩΝ ΑΛΉΘΕΙΑΣ ΚΑΙ ΗΜΙΟΥΡΓΊΑ ΕΜΠΛΟΥΤΙΣΜΈΝΗΣ ΒΆΣΗΣ Ε ΟΜΈΝΩΝ 54 WEB PORTAL 57 ΚΕΦΑΛΑΙΟ V : ANTHROPOS7 MPEG7 EDITOR 58 ΒΑΣΙΚΉ ΠΕΡΙΓΡΑΦΉ ΤΟΥ ΠΡΟΓΡΆΜΜΑΤΟΣ ANTHROPOS7 EDITOR 58 ΙΟΡΘΏΣΕΙΣ ΠΟΥ ΈΓΙΝΑΝ ΣΤΟ ΠΡΌΓΡΑΜΜΑ ANTHROPOS7 EDITOR ΒΕΛΤΊΩΣΗ ΤΗΣ ΤΑΧΎΤΗΤΑΣ ΕΠΕΞΕΡΓΑΣΊΑΣ ΤΟΥ EDITOR ADDING/DELETING ROIS ADDING A SCHEMA VALUE 62 3

4 4. SCHEMA ENTRY ADD SCHEMA ENTRY INFORMATION ADDING A ROI DOUBLE FRAME NUMBER INFO PANEL 63 ΠΡΟΣΘΉΚΕΣ ΚΑΙ ΒΕΛΤΙΏΣΕΙΣ COMPARE FUNCTIONS XML VALIDATION ZOOM FUNCTION 66 ΒΙΒΛΙΟΓΡΑΦΙΑ 67 4

5 ΚΕΦΑΛΑΙΟ I : Το πρότυπο MPEG7 ΠΡΟΕΠΙΣΚΟΠΗΣΗ ΚΕΦΑΛΑΙΟΥ - Τα πρότυπα MPEG - Η δοµή του προτύπου MPEG7 - Η διαλειτουργικότητα του προτύπου MPEG7 Τα πρότυπα MPEG Το MPEG-7 είναι ένα πρότυπο ISO/IEC που αναπτύχθηκε από την MPEG (Moving Picture Experts Group), την επιτροπή που έχει επίσης αναπτύξει τα ήδη γνωστά πρότυπα MPEG-1 (1992), MPEG-2 (1994) και το MPEG-4(Version 1 το 1998 και version 2 το 1999). Από το τέλος της δεκαετίας του 1980, η επιτροπή της MPEG έχτισε τα θεµέλια της µεταφοράς ψηφιακού περιεχοµένου µε τα µεγάλης επιτυχίας πρότυπα. To MPEG-1 Σήµερα το πρότυπο MPEG-1 για βίντεο και ήχο (ανάµεσα στο οποίο συγκαταλέγεται και το MP3 (MPEG- Layer 3), µορφή συµπίεσης αρχείων ήχου) είναι πιθανόν η καλύτερη µορφή για την ανταλλαγή δεδοµένων µε άλλους, επειδή είναι πρότυπο παγκόσµια κατανοητό. Συνδυάζει καλή συµπίεση µε υψηλή ποιότητα, µε αποτέλεσµα αυτή η µορφή να είναι διάσηµη για πολλά χρόνια. Το MPEG-1 είναι η αρχή της επανάστασης των πολυµέσων στους ηλεκτρονικούς υπολογιστές. Σχεδιάστηκε για εφαρµογές βίντεο σε CD. To MPEG-2 Το πρότυπο MPEG-2 είναι οπτικοακουστικό πρότυπο, που χρησιµοποιήθηκε εκτενώς για ψυχαγωγικές εφαρµογές βίντεο. Εφαρµόζεται στις ψηφιακές τηλεοράσεις και τα DVD και υπάρχουν εκατοµµύρια αποκωδικοποιητές του MPEG-2 σε ψηφιακούς δορυφόρους, 5

6 καλωδιακά κουτιά, DVD players και υπολογιστές. Είναι µια πολύ πιο δηµιουργική µορφή από το MPEG-1, καθώς επιτυγχάνει υψηλότερες συµπιέσεις µε καλύτερη ποιότητα. Η κωδικοποίηση και η αποκωδικοποίηση του MPEG-2 πραγµατοποιείται πιο επιτυχηµένα στους υπολογιστές από το MPEG-1, ειδικά στο βίντεο. Οπτικά κάθε εικόνα που βλέπουµε στην τηλεόραση σήµερα,ακόµα και σε αναλογικό παραλήπτη, έχει ως κάποιο σηµείο κωδικοποιηθεί και αποκωδικοποιηθεί σε MPEG-2. Στην αρχή υπήρχαν προβλήµατα για τη µεταφορά δεδοµένων, γιατί απαιτούσε υψηλή ταχύτητα για τη µεταφορά µιας µόνο εικόνας στο διαδίκτυο. Με κάποιες βελτιώσεις µεταφέρονται εικόνες υψηλής ποιότητας σε µικρή ταχύτητα, λειτουργώντας στους ίδιους αποκωδικοποιητές. To MPEG4 Το MPEG-4 αφορά την παραγωγή, κατανοµή (distribution) και πρόσβαση του πολυµεσικού περιεχοµένου. Παρόλο που το MPEG-1 και MPEG-2 κάλυπταν ένα αρκετά µεγάλο εύρος εφαρµογών, όπως η ψηφιακή τηλεόραση και το διαδραστικό video (interactive video), σύντοµα έγινε αντιληπτό ότι οι εφαρµογές που έχουν σχέση µε τα πολυµέσα έχουν περισσότερες απαιτήσεις. Αναπτύχθηκε λοιπόν το MPEG-4 µε σκοπό να παρέχει ένα προτυποποιηµένο σύνολο τεχνολογιών, που θα καταστήσει ικανή την ενοποίηση (integration) της παραγωγής, κατανοµής, και τα παραδείγµατα για την πρόσβαση στο περιεχόµενο (content access paradigms), και τα διαδραστικά πολυµέσα για την ανάπτυξη της χρήσης των εφαρµογών πολυµέσων στο Internet. Κάτι που αξίζει να σηµειωθεί είναι ότι το MPEG-4 επίσης επιτρέπει την επισύναψη µεταδεδοµένων σχετικά µε το περιεχόµενο επάνω στο αντικείµενο. Εποµένως ο χρήστης µπορεί να χρησιµοποιήσει αυτό το stream δεδοµένων µε την πληροφορία του περιεχοµένου του αντικειµένου (Object Content Information, OCI) για να στείλει πληροφορία σχετική µε το κείµενο (δηλαδή τα µεταδεδοµένα) ταυτόχρονα µε το περιεχόµενο του MPEG-4. Ωστόσο στο συγκεκριµένο πρότυπο δεν υπάρχει κάποια τυποποιηµένη δοµή και καθορισµένη µορφή που να αφορά τα µεταδεδοµένα. MPEG-21 Η βασική ιδέα του προτύπου αυτού είναι η διαχείριση του περιεχοµένου και στη συνέχεια η πρόσβαση σε αυτό. Είναι ένα πλαίσιο που επιτρέπει τη διαχειρισιµότητα και 6

7 τη φορητότητα του περιεχοµένου. Οι χρήστες του ασχολούνται µε ψηφιακά αντικείµενα, που µπορεί να είναι είτε µια φωτογραφία είτε µια οπτικοακουστική συλλογή. Τα πρότυπα MPEG-7 και MPEG-21 είναι πρόσθετα εργαλεία, που επεκτείνουν τη λειτουργικότητα των προτύπων MPEG. Το MPEG-4 έχει άψογη συνεργασία µε τα δύο αυτά πρότυπα. Οι περιγραφές και τα µεταδεδοµένα του MPEG-7 µπορούν να µεταφερθούν µε το MPEG-4 και οι προδιαγραφές του MPEG-21 γράφουν για να συµπληρώσουν την παρουσίαση του περιεχοµένου του MPEG-4. Αναγκαιότητα του προτύπου MPEG-7 H οπτικοακουστική πληροφορία παίζει σηµαντικό ρόλο στη ζωή µας και στην κοινωνία και είναι αποτυπωµένη σε αναλογικό - συµβατικό υλικό ή σε ψηφιακό υλικό που συνεχώς κερδίζει έδαφος. Καθηµερινά, κατακλυζόµαστε από τέτοιας µορφής πληροφορία και µπορεί να διακριθεί σε εικόνες, γραφικά, τρισδιάστατες εικόνες, ήχο, οµιλία, video και άλλα ποικίλα µορφότυπα. Μέχρι σήµερα ο χειρισµός τέτοιου είδους πληροφοριών γινόταν αποκλειστικά από τον άνθρωπο, άλλα πλέον σε πολλές περιπτώσεις η ανταλλαγή, η δηµιουργία και η ανάκτηση γίνεται από υπολογιστικά συστήµατα. Αυτό υποδηλώνει ότι πρέπει να επιτευχθεί η κατανόηση της εικόνας από το σύστηµα και ταυτόχρονα να επιτευχθούν κάποιες µετατροπές, όπως από λόγο σε κείµενο, από εικόνα σε λόγο, από λόγο σε εικόνα και άλλες. Πέρα όµως από αυτές τις µετατροπές, ένα άλλο θέµα είναι η ανάκτηση της πληροφορίας η οποία πρέπει να είναι γρήγορη, ακριβείς και να είναι αναζητήσιµη σε πολλά µορφότυπα. Παραδείγµατος χάριν, ένας κώδικας σε ένα τηλεοπτικό πρόγραµµα µπορεί να θέσει σε λειτουργία ένα κατάλληλα προγραµµατισµένο PVR (Personal Video Recorder) για να καταγράψει ένα συγκεκριµένο πρόγραµµα, ή ένας αισθητήρας εικόνας προκαλεί έναν συναγερµό όταν συµβαίνει ένα ορισµένο οπτικό γεγονός. Είναι ευδιάκριτο λοιπόν ότι µε την κατάλληλη κωδικοποίηση, η οπτικοακουστική πληροφορία µπορεί να είναι πιο χρήσιµη και εκµεταλλεύσιµη. Οι οπτικοακουστικές πηγές θα διαδραµατίσουν έναν όλο και περισσότερο κυρίαρχο ρόλο στις ζωές µας, και θα υπάρξει µια αυξανόµενη ανάγκη να κατασταθούν αυτές οι πηγές πιο επεξεργάσιµες. Πρέπει µε λίγα λόγια να αναπτυχθούν εργαλεία ερµηνείας της 7

8 πληροφορίας. Αυτή η ερµηνεία πρέπει να γίνεται από µία συσκευή ή από έναν απλό ηλεκτρονικό υπολογιστή. Στο παραπάνω παράδειγµα µε το τηλεοπτικό πρόγραµµα, ένας αισθητήρας εικόνας µπορεί να δηµιουργήσει οπτικά δεδοµένα όχι µε βάση τα pixels (pixels values), αλλά µε βάση το χρόνο και τα αντικείµενα Αυτά θα µπορούσαν έπειτα να αποθηκευτούν και να υποβληθούν σε επεξεργασία προκειµένου να διαπιστωθεί αν τα αποτελέσµατά τους ευσταθούν. Ένα PVR (Personal Video Recorder) µπορεί να ενεργοποιηθεί από την ίδια την οπτικοακουστική πληροφορία για να καταγράψει για παράδειγµα ένα δελτίο ειδήσεων. Το MPEG-7 είναι ένα πρότυπο για να περιγράφει πολυµεσικό περιεχόµενο προκειµένου να καλυφθούν οι ανάγκες διαχείρισης. Η διαχείριση µπορεί να γίνεται σε πραγµατικό και µη-πραγµατικό χρόνο. Τον Οκτώβρη του 1996 η επιτροπή MPEG ξεκίνησε τις εργασίες της προκειµένου να βρει µια λύση στα ερωτήµατα που αναφέρθησαν παραπάνω. Το νέο µέλος της οικογένειας MPEG ονοµάστηκε "Multimedia Content Description Interface" «Περιβάλλον Περιγραφής Πολυµεσικού Περιεχοµένου» (εν συντοµία MPEG-7), παρέχει τυποποιηµένες βασικές τεχνολογίες που επιτρέπουν την περιγραφή οπτικοακουστικού περιεχοµένου σε περιβάλλοντα πολυµέσων. Το υλικό στο οποίο απευθύνεται το MPEG-7 περιλαµβάνει όπως προείπαµε: εικόνες, γραφικά, τρισδιάστατες εικόνες, ήχο, οµιλία, video και συνδυασµούς αυτών. Επίσης µία ειδική περίπτωση είναι και δεδοµένα που σχετίζονται µε τα χαρακτηριστικά του προσώπου. Το MPEG-7 επιτρέπει διαφορετική διάσπαση στην περιγραφή του, προσφέροντας έτσι την δυνατότητα να υπάρχουν διαφορετικά επίπεδα διάκρισης. Παρόλο που η περιγραφή του MPEG-7 δεν βασίζεται στην κωδικοποιηµένη αναπαράσταση του υλικού, εντούτοις µπορεί να εκµεταλλευτεί τα πλεονεκτήµατα που του προσφέρει το κωδικοποιηµένο περιεχόµενο σε MPEG-4. Αν το υλικό είναι κωδικοποιηµένο µε MPEG-4, το οποίο παρέχει τα µέσα για την κωδικοποίηση οπτικοακουστικού υλικού ως αντικείµενο που σχετίζεται µε το χρόνο (time-synchronization) και τον χώρο (όταν λέµε χώρο εννοούµε 8

9 την τοποθεσία στην εικόνα και στο δωµάτιο για τον ήχο). Έτσι είναι δυνατόν να δηµιουργηθούν περιγραφείς µέσα σε µία σκηνή πάνω σε ηχητικά ή οπτικά δεδοµένα. Επειδή οι περιγραφείς πρέπει να έχουν κάποια σηµασία στο πλαίσιο µιας εφαρµογής, πρέπει να είναι διαφορετικοί για διαφορετικούς τύπους χρήσης. Αυτό σηµαίνει ότι το ίδιο υλικό µπορεί να περιγραφεί µε διαφορετικά χαρακτηριστικά ανάλογα µε το προσδοκώµενο αποτέλεσµα. Παραδείγµατος χάριν σε ένα οπτικό υλικό: ένα κατώτερο αφαιρετικό επίπεδο θα ήταν η περιγραφή ενός σχήµατος, µεγέθους, υφής, χρώµατος, κίνησης (τροχιά), θέσης (π.χ που βρίσκεται το χ αντικείµενο στη σκηνή;). Αντίστοιχα για τον ήχο θα είναι: το κλειδί, το ύφος, το tempo, οι αλλαγές του tempo, και η πηγή προέλευσης τους ηχητικού σήµατος. Το ανώτατο επίπεδο θα δίνει σηµασιολογική περιγραφή π.χ: «Αυτή είναι η σκηνή που ένας καφέ σκύλος γαβγίζει στα αριστερά και στα δεξιά υπάρχει µία µπλε µπάλα, µε τον ήχο των περαστικών αυτοκινήτων στο background». Ενδιάµεσα επίπεδα αφαίρεσης µπορούν επίσης να υπάρξουν. Τα επίπεδα αφαίρεσης σχετίζονται µε τον τρόπο που µπορούν να εξαχθούν χαρακτηριστικά: πολλά χαρακτηριστικά χαµηλού επιπέδου µπορούν να εξαχθούν αυτόµατα, ενώ τα ανώτατα χαρακτηριστικά χρειάζονται την συµβολή του ανθρώπινου παράγοντα. Χρειάζεται να υπάρχουν οι εξής πληροφορίες όταν περιγράφονται πολυµεσικά δεδοµένα: Ο τύπος µορφοτύπου Για παράδειγµα τι format έχει ο υλικό που περιγράφουµε (π.χ. JPEG, MPEG-2) ή ο όγκος του αρχείου. Αυτή η πληροφορία είναι απαραίτητη για να διαπιστωθεί αν µπορεί να διαβαστεί το υλικό από το τερµατικό ή τη συσκευή που χρησιµοποιούµε. Προϋποθέσεις πρόσβασης στο υλικό Αυτό περιλαµβάνει links προκειµένου να εξασφαλιστεί η πρόσβαση. Αυτό περιλαµβάνει την εγγραφή και την καταβολή χρηµατικού αντιτίµου στην εταιρεία ή τον οποιοδήποτε κάτοχο πνευµατικών δικαιωµάτων. Ταξινόµηση Αυτό περιλαµβάνει την ένταξη του υλικού σε µια προκαθορισµένη κατηγορία, ανάλογα µε το περιεχόµενό του. 9

10 Links σε άλλες σχετικές συλλογές Αυτή η πληροφορία µπορεί να διευκολύνει την αναζήτηση του χρήστη. Το περιβάλλον, το πλαίσιο Στην περίπτωση ενός καταγεγραµµένου πραγµατικού γεγονότος είναι απαραίτητο να σηµειωθεί η αφορµή της καταγραφής (π.χ. οι Ολυµπιακοί Αγώνες 1996, τελικός των 200 µέτρων ανδρών). Με λίγα λόγια το MPEG-7 προβλέπεται να καλύψει τρεις στόχους: 1. Η περιγραφή του πολυµεσικού περιεχοµένου 2. Η ευέλικτη διαχείριση των δεδοµένων και 3. Η διαλειτουργικότητα των συστηµάτων 1. Πεδίο εφαρµογής του MPEG7 Τo MPEG-7 παρέχει υποστήριξη σε ένα ευρύ φάσµα εφαρµογών (π.χ πολυµεσικές ψηφιακές βιβλιοθήκες, παραγωγή πολυµέσων, συσκευές οικιακής ψυχαγωγίας κτλ.). Το MPEG-7 θα µετατρέψει τον παγκόσµιο ιστό τόσο αναζητήσιµο όσον αφορά στο πολυµεσικό υλικό, όπως είναι σήµερα αναζητήσιµος για το κείµενο. 10

11 Αν αναλογιστούµε ότι όλοι σχεδόν σήµερα κάνουµε χρήση των πολυµέσων, καταλαβαίνουµε ταυτόχρονα ότι λίγο πολύ καλύπτει ένα µεγάλο χρήσεων. Παραδείγµατα όπου θα µπορούσε να χρησιµοποιηθεί το πρότυπο MPEG7 είναι: - Ψηφιακές βιβλιοθήκες - Αρχεία οπτικοακουστικού υλικού - Επιλογή προγραµµάτων που εκπέµπονται από τηλεοπτικά δικτυα - Εκπαίδευση (π.χ. αναζήτηση πολυµεσικού υλικού για υποστήριξη) - Ηλεκτρονικό εµπόριο (π.χ. προσωποποιηµένες επιλογές και διαφήµιση) - Υπηρεσίες πολιτιστικού τύπου (µουσεία, αίθουσες τέχνης) - Οικιακή ψυχαγωγία - ηµοσιογραφία Ο τύπος του περιεχοµένου και το ερώτηµα του χρήστη δεν είναι απαραίτητο να είναι τα ίδια, για παράδειγµα ένα οπτικό υλικό µπορεί να αναζητηθεί είτε οπτικά, είτε µε µουσική ή λόγω κτλ. Είναι ευθύνη της µηχανής αναζήτησης να αντιστοιχήσει το ρώτηµα µε την περιγραφή σε MPEG-7. 11

12 Μερικές µορφές ερωτηµάτων µπορούν να είναι οι παρακάτω: Μπορεί ο χρήστης να παίξει ορισµένες νότες και να κάνει ανάκτηση µιας λίστας µουσικών κοµµατιών παρόµοια µε τη νότα που ζητήθηκε ή ακόµα και εικόνες που ταιριάζουν µε τις νότες όσον αφορά στο συναίσθηµα που προκαλούν. Ο χρήστης µπορεί να ζωγραφίσει µερικές γραµµές στον υπολογιστή και να αναζητήσει σκηνές βίντεο που περιέχουν παρόµοια γραφικά, λογότυπα, ιδεογράµµατα.. Σε ένα σύνολο πολυµεσικών αντικειµένων, µπορεί ο χρήστης να περιγράψει ο χρήστης τις κινήσεις και τις σχέσεις ανάµεσα στα αντικείµενα και µπορεί να πάρει παρόµοια υλικό µε τους προσδιορισµούς που έχει δώσει. Ο χρήστης µπορεί να περιγράψει κάποιες ενέργειες και να λάβει ένα κινηµατογραφικό σενάριο που να περιέχει ότι ζήτησε. Η δοµή του προτύπου Το MPEG-7 αποτελείται από εφτά (7) µέρη. Κάθε ένα από αυτά τα µέρη ασχολείται µε διαφορετικά θέµατα και έτσι µπορούµε να χρησιµοποιήσουµε ανάλογα µε τις ανάγκες µας ξεχωριστό σύστηµα. Επίσηµα το πρότυπο του MPEG-7 αναφέρεται σαν ISO και αποτελείται από: 1) ISO/IEC : MPEG-7 Systems, Συστήµατα στο MPEG-7. Το πρώτο µέρος του προτύπου, προσδιορίζει τις λειτουργίες του προτύπου στο επίπεδο του συστήµατος. Οι λειτουργίες αυτές είναι η προετοιµασία των περιγραφών για το ΜPEG-7 για την ικανοποιητική αποθήκευση και διάδοσή τους, ο συγχρονισµός του περιεχοµένου και των περιγραφών και η ανάπτυξη των ανάλογων προσαρµοσµένων αποκωδικοποιητών. 2) ISO/IEC : MPEG-7 Description Definition Language, Γλώσσα Προσδιορισµού της Περιγραφής. Η γλώσσα αυτή είναι µία προτυποποιηµένη γλώσσα για την δηµιουργία νέων Περιγραφέων ή Σχηµάτων Περιγραφής, 12

13 όπως επίσης και για την επέκταση των ήδη υπαρχόντων Σχηµάτων Περιγραφής και Περιγραφέων. 3) ISO/IEC : MPEG-7 Visual, Περιγραφή οπτικού περιεχοµένου στο ΜPEG-7. Αυτό το µέρος προδιαγράφει ένα σύνολο από προτυποποιηµένους Περιγραφείς και Σχήµατα Περιγραφέων. Οι Περιγραφείς οπτικού περιεχοµένου πραγµατεύονται συνήθως εξειδικευµένα χαρακτηριστικά όπως το χρώµα, η υφή, το µέγεθος και η κίνηση της εικόνας. Τα Σχήµατα Περιγραφής για το οπτικό περιεχόµενο απαιτούν συχνά την χρήση άλλων Περιγραφέων χαµηλού επιπέδου ή βοηθητικών στοιχείων, όπως τη δοµή ( την χωρική διάταξη, την εµφάνιση), την οπτική γωνία ( πολλαπλές πλευρές), τον εντοπισµό ( εντοπισµό της εικόνας), και τον χρόνο ( χρονική διαδοχή). Έχει προτυποποιηθεί ένας αριθµός Περιγραφέων για κάθε χαρακτηριστικό, όπως οι περιγραφείς για τα χρώµατα, για την πυκνότητα, για την µορφή, την κίνηση και άλλοι περιγραφείς. Τέτοιοι περιγραφείς µπορεί να είναι οι περιγραφείς για την κλιµάκωση του χρώµατος, για την µορφή της εικόνας, για την τροχιά της κίνησης και η αναγνώριση του προσώπου σε κάθε κατηγορία αντίστοιχα.επίσης έχει προσδιοριστεί και ένα σχήµα Περιγραφής για τον εντοπισµό της πληροφορίας, που ονοµάζεται SpatioTemporal locator και συντίθεται από άλλα Σχήµατα Περιγραφής, όπως το FigureTranjectory Description Scheme και το ParameterTrajectory Description Scheme. 4) ISO/IEC : MPEG-7 Audio, Περιγραφή Ακουστικού Περιεχοµένου. Σε αυτό το µέρος προσδιορίζεται ένα προτυποποιηµένο σύνολο Περιγραφέων και Σχηµάτων Περιγραφής. Οι Περιγραφείς του ήχου στο ΜPEG-7 πραγµατεύονται τέσσερις κλάσσεις ηχητικών σηµάτων, που είναι: η καθαρή οµιλία, η καθαρή µουσική, pure sound effects και arbitrary soundtracks. Oι περιγραφείς και τα Σχήµατα Περιγραφής πραγµατεύονται χαρακτηριστικά του ήχου, όπως τη σιωπή, το περιεχόµενο του προφορικού λόγου, το 13

14 ηχόχρωµα, την µελωδία. Οπως οι περιγραφείς για το οπτικό υλικό, έτσι και οι περιγραφείς για το ακουστικό περιεχόµενο, απαιτούν συχνά την χρήση άλλων χαµηλού επιπέδου Περιγραφέων όπως scalable series και ένα πλαίσιο Περιγραφής του Ήχου. Παραδείγµατα προτυποποιηµένων Περιγραφέων για τα ποικίλα χαρακτηριστικά του ήχου, µπορούν να είναι τα εξής: Περιγραφείς για την σιωπή, περιγραφείς για περιεχόµενο προφορικού λόγου, περιγραφείς για το ηχόχρωµα, για την επίδραση του ήχου και τον τύπο της µελωδίας, όπως οι περιγραφείς για τον τύπο σιωπής, για τον τύπο του οµιλητή στο προφορικό περιεχόµενο, για τον τύπο του ηχοχρώµατος του µουσικού οργάνου και για τον τύπο του ρυθµού σε κάθε κατηγορία αντίστοιχα. 5) ISO/IEC : MPEG-7 Multimedia Description Schemes, Σχήµατα Περιγραφής Πολυµέσων. Τα Σχήµατα Περιγραφής Πολυµέσων στο ΜPEG- 7, προδιαγράφουν ένα πλαίσιο εργασίας υψηλού επιπέδου, που επιτρέπει την γενική περιγραφή όλων των ειδών των πολυµέσων, περιλαµβάνοντας δεδοµένα ήχου, εικόνας και κειµένου. Περισσότερο εκτενής αναφορά θα γίνει στη συνέχεια, στην ενότητα για τα Σχήµατα Περιγραφής Πολυµέσων. 6) ISO/IEC : MPEG-7 Reference Software, Σχετικό Λογισµικό. Αυτό το µέρος έχει σκοπό να παρέχει τις εφαρµογές των σχετικών µερών του ΜPEG-7 και είναι γνωστό σαν experimentation software (XM). Σε αυτό το µέρος περιγράφονται το απαραίτητο λογισµικό, το λειτουργικό περιβάλλον του ΜPEG-7 και οι περιορισµοί του copyright. Παρόλο που περιλαµβάνεται σε αυτό κάποιο λογισµικό για την εξαγωγή των Περιγραφέων, η εστίαση γίνεται πιο πολύ στην δηµιουργία των bitstream των Περιγραφέων και των Σχηµάτων Περιγραφής µε µία ρυθµιστική σύνταξη, παρά στην απόδοση των εργαλείων. Μέχρι στιγµής τα συστατικά που περιλαµβάνει ανήκουν σε τέσσερις κατηγορίες: Στον αναλυτή (parser) της DDL, στον αναλυτή της 14

15 εγκυρότητας της DDL ( validation parser), στους περιγραφείς για οπτικό περιεχόµνο, στους περιγραφείς για ακουστικό πεεριεχόµενο και στα Σχήµατα Περιγραφής Πολυµέσων 7) ISO/IEC : MPEG-7 Confοrmance, στοχεύει να παρέχει τις κατευθυντήριες γραµµές και διαδικασίες για να δοκιµάσει την συµβατότητα των εφαρµογών του MPEG-7. Για αυτό το µέρος του προτύπου δεν υπάρχουν ακόµα πολλά στοιχεία, γιατί οι έρευνες βρίσκονται σε πολύ αρχικό στάδιο. Στην ενότητα που ακολουθεί, θα γίνει η ανάλυση του πρώτου, του δεύτερου και του πέµπτου, µέρους του προτύπου, δηλαδή η ανάλυση των Συστηµάτων του MPEG-7, της Γλώσσας Προσδιορισµού της Περιγραφής και των Σχηµάτων Περιγραφής των Πολυµέσων. Η διαλειτουργικότητα του προτύπου MPEG-7 Στόχος της παρούσας εργασίας δεν ήταν µόνο να προβληθεί ένα ακόµα πρότυπο περιγραφής πολυµεσικού υλικού, αλλά να δοθεί και έµφαση στη διαλειτουργικότητα που πρέπει να υπάρχει µεταξύ των συλλογών µε πολυµεσικό περιεχόµενο. Οι περιγραφές του MPEG-7 µπορούν να εντοπισθούν µαζί µε το συνδεδεµένο µε αυτές οπτικοακουστικό υλικό στο ίδιο stream δεδοµένων ή στο ίδιο αποθηκευτικό σύστηµα, αλλά οι περιγραφές θα µπορούσαν να υπάρξουν και αλλού. Όταν το περιεχόµενο και οι περιγραφές του δεν βρίσκονται µαζί, θα µπορούσαν να αποδειχθούν χρήσιµοι µηχανισµοί που συνδέουν το οπτικό ακουστικό υλικό µαζί µε τις περιγραφές τους, Αυτοί οι σύνδεσµοι θα µπορούσαν να χρησιµέψουν και στις δύο κατευθύνσεις. Ο συνδυασµός της ευελιξίας και της διαλειτουργικότητας επιτρέπει τόσο στους ανθρώπους όσο και στις µηχανές να ανταλλάσσουν, να ανακτούν και να επαναχρησιµοποιούν το σχετικό υλικό. Είναι απόλυτα βασικό ότι το MPEG-7 υπάρχει για να εξυπηρετεί αυτόν τον στόχο Η προτυποποίηση κυρίως αναζητεί τρόπους για να φτάσει πέρα από κάθε απλή, αυθαίρετη λύση και να παρέχει όχι µόνο ένα πλαίσιο, αλλά ένα στέρεο µέσο µε το οποίο οι λύσεις που προτείνουν οι βιοµηχανίες θα µπορούσαν να συνεργαστούν. Εάν το MPEG-7 θα 15

16 γίνει αρκετά εξειδικευµένο ή αρκετά γενικό ως προς τις εφαρµογές του, τότε αυτός ο στόχος, που είναι και κύριος, θα αποτύχει. Προκειµένου να επιτύχει τους στόχους του το προαναφερθέν πρότυπο έχει στη διάθεσή του κάποια εργαλεία που είναι οι Περιγραφείς (descriptors), τα Σχήµατα Περιγραφής (Description schemes) την Γλώσσα Προσδιορισµού της Περιγραφής (Description Definition Language) και τα συστήµατα. 1. Οι Περιγραφείς (descriptors): Ένας Περιγραφέας είναι µία αναπαράσταση ενός χαρακτηριστικού, καθορίζει την σύνταξη και την σηµασιολογία της αναπαράστασης του χαρακτηριστικού. Ένας Περιγραφέας πρέπει να είναι ακριβής για να προσδιορίσει ένα χαρακτηριστικό. Το MPEG-7 πραγµατεύεται διάφορα επίπεδα αφαίρεσης. Στο χαµηλότερο επίπεδο αφαίρεσης, οι περιγραφείς µπορούν να περιλαµβάνουν χαρακτηριστικά όπως η µορφή, το χρώµα, το µέγεθος και η κίνηση της camera ( αν είναι palm ή tilt, αν κάνει traveling κτλ.) για τις εικόνες και το video, η αρµονία και το ηχόχρωµα για την µουσική. Στο υψηλό επίπεδο µπορεί να βρίσκονται τα γεγονότα που συµβαίνουν, οι σχέσεις µεταξύ των ατόµων, κάποιες αφηρηµένες έννοιες. Οι περιγραφείς ήχου και εικόνας αναπαριστούν εξειδικευµένα χαρακτηριστικά που σχετίζονται µε ακουστικό και οπτικό περιεχόµενο αντίστοιχα. Υπάρχουν επίσης και οι γενικοί περιγραφείς (generic descriptions) που περιγράφουν τα γενικά χαρακτηριστικά. Είναι πιθανό να έχουµε ποικίλους περιγραφείς που να αναπαριστούν ένα µοναδικό χαρακτηριστικό και αυτό σηµαίνει ότι πραγµατεύεται διαφορετικές σχετικές απαιτήσεις. 2. Σχήµατα Περιγραφής (Description schemes): Ένα σχήµα περιγραφής προδιαγράφει την δοµή και την σηµασιολογία των σχέσεων ανάµεσα στα συστατικά στοιχεία του, τα οποία µπορεί να είναι ταυτόχρονα περιγραφείς και σχήµατα περιγραφής. Η διάκριση ανάµεσα στα σχήµατα Περιγραφής και στους Περιγραφείς είναι ότι ένας Περιγραφέας ασχολείται µε την αναπαράσταση και την παρουσίαση (representation) ενός 16

17 χαρακτηριστικού, ενώ το σχήµα περιγραφής σχετίζεται µε την δοµή (structure) µιας περιγραφής. Γίνεται αντιληπτό λοιπόν ότι οι περιγραφείς και τα σχήµατα περιγραφής αναφέρονται σε διαφορετικές πλευρές και για αυτό αποτελούν δύο πολύ διαφορετικές έννοιες. Βέβαια αυτές οι έννοιες είναι αλληλένδετες και συνδέονται στενά όπως θα δούµε σε παρακάτω σχήµα. Τα σχήµατα περιγραφής επιτρέπουν την δηµιουργία πολύπλοκων περιγραφών µε το να προσδιορίζουν την δοµή και την σηµασιολογία των σχέσεων ανάµεσα στους Περιγραφείς και στα Σχήµατα Περιγραφής. Για παράδειγµα, ένα Σχήµα Περιγραφής για ένα τµήµα από video µπορεί να προσδιορίζει την σύνταξη και την σηµασιολογία των συστατικών στοιχείων του, όπως την βαθύτερη αποσύνθεση των τµηµάτων, τα χαρακτηριστικά κάθε τµήµατος ξεχωριστά ( για παράδειγµα το µήκος ενός τµήµατος) και τις σχέσεις ανάµεσα στα συστατικά στοιχεία. Όπως συµβαίνει και µε τους Περιγράφεις, έτσι και τα Σχήµατα Περιγραφής µπορούν να κατηγοριοποιηθούν σε Σχήµατα Περιγραφής για τον ήχο, την εικόνα, ή να είναι γενικά. Τα γενικά Σχήµατα Περιγραφής συνήθως αναπαριστούν γενική πληροφορία που σχετίζεται µε όλα τα είδη των µέσων ( ήχο, εικόνα, κείµενο, γραφικά, κ.τ.λ.) Σε µία περιγραφή εκτός από τους Περιγραφείς και τα Σχήµατα Περιγραφής που προέρχοµαι εσωτερικά από το κείµενο, το MPEG-7 περιλαµβάνει και Περιγραφείς και Σχήµατα Περιγραφής που έχουν σχέση µε την δηµιουργία, την παραγωγή την διαχείριση του οπτικοακουστικού υλικού. Αυτά τα µεταδεδοµένα µπορεί να περιέχουν πληροφορίες για τις προϋποθέσεις της πρόσβασης στο υλικό (για παράδειγµα, πληροφορία για τα δικαιώµατα της πνευµατικής ιδιοκτησίας του υλικού), για την ταξινόµηση ( να περιλαµβάνει ταξινόµηση του υλικού σε έναν αριθµό προκαθορισµένων κατηγοριών) και συνδέσµους µε άλλα σχετικά στοιχεία ( όπου και η πληροφορία αυτή πιθανό να κάνει πιο σύντοµη την έρευνα του χρήστη). 3. Γλώσσα Προσδιορισµού της Περιγραφής (Description Definition Language): Η DDL δηµιουργεί νέα Σχήµατα Περιγραφής, και 17

18 Περιγραφέων. Κάνει επίσης δυνατή την επέκταση και την τροποποίηση των ήδη υπαρχόντων. Με βάση την XML Schema επιτρέπει τον προσδιορισµό των Περιγραφέων και των Σχηµάτων Περιγραφής. Οι περιγραφείς και τα σχήµατα Περιγραφής που υπάρχουν είναι ανεξάρτητα της εφαρµογής στην οποία χρησιµοποιούνται. Όταν είναι απαραίτητο να περιγράψουµε περιεχόµενο από συγκεκριµένα πεδία, όπως από τον τοµέα των ειδήσεων ή τα films, υπάρχει συχνά η ανάγκη για επέκταση και εξειδίκευση των ειδικών εργαλείων του MPEG-7 και η χρήση της DDL για να προσδιορίσουµε τα εξειδικευµένα ή επιπρόσθετα εργαλεία. Με την υιοθέτηση του XML Schema σαν την βάση για την Γλώσσα Προσδιορισµού της Περιγραφής του MPEG-7, το αποτέλεσµα είναι η διευκόλυνση της διαλειτουργικότητας µε την χρήση µιας κοινής, γενικής και ισχυρής µορφής αναπαράστασης της πληροφορίας που περιγράφεται. Αντίστροφα, διευκολύνεται και η χρήση των εργαλείων του MPEG-7 για την επέκταση των ήδη υπαρχόντων εφαρµογών της XML µε τις λειτουργίες που διαθέτουν οι περιγραφές του πολυµεσικού περιεχοµένου. 4. Τα Συστήµατα: Τα συστήµατα του MPEG7 µπορούν και συνδέουν τη δυαδική µορφή των µεταδεδοµένων µε την µορφή κειµένου, καθώς και µε το πολυµεσικό περιεχόµενο. Τα µεταδεδοµένα στο MPEG7 µπορούν να αποθηκεύονται µαζί µε το πολυµεσικό υλικό ή ακόµα και σε αποµακρυσµένη βάση δεδοµένων. Τα συστήµατα του MPEG7 έχουν κάποιες απαιτήσεις και αυτές είναι οι: η µεταφορά των περιγραφών, ο συγχρονισµός της περιγραφής µε την παρουσίαση του πολυµεσικού υλικού και η διαχείριση των streams. Η µεταφορά των περιγραφών πραγµατοποιείται χρησιµοποιώντας µία ποικιλία από πρωτόκολλα µετάδοσης και αποθήκευσης. Κάποια από αυτά τα πρωτόκολλα περιλαµβάνουν και το streaming, όπως για παράδειγµα είναι η ζωντανή αναµετάδοση των περιγραφών µαζί µε το περιεχόµενο. Σε αυτές τις περιπτώσεις οι πολυµεσικές περιγραφές πρέπει να µεταφέρονται κοµµάτι µε κοµµάτι, προκειµένου να προσαρµόσουν (match) την µεταφορά των 18

19 περιγραφών στους πελάτες (clients) που έχουν περιορισµένες δυνατότητες δικτύου και τερµατικού. Σε δεύτερο επίπεδο έχουµε τον συγχρονισµό. Ο συγχρονισµός των διαφορετικών συστατικών στοιχείων σε µία οπτικοακουστική παρουσίαση έχει φυσικά σχέση µε τον χρόνο. Για ορισµένες εφαρµογές οι πληροφορίες των περιγραφών πρέπει να παρουσιαστούν στον χρήστη σε ακριβείς στιγµές στον χρόνο, µαζί µε το περιεχόµενο. Η παρουσίαση του MPEG-7 πρέπει να επιτρέπει τον ακριβή προσδιορισµό της σηµείωσης του χρόνου, έτσι ώστε τα δεδοµένα που λαµβάνονται να µπορούν να επεξεργαστούν και να παρουσιαστούν στις κατάλληλες στιγµές στον χρόνο και να συγχρονίζονται µεταξύ τους. Η διαχείριση των streams της οπτικοακουστικής πληροφορίας, που περιλαµβάνει και περιγραφές του MPEG-7, υπονοεί την ανάγκη συγκεκριµένων µηχανισµών, που θα επιτρέψουν σε µία εφαρµογή να καταναλώσει (consume) το περιεχόµενο. Αυτό περιλαµβάνει µηχανισµούς, όπως τον εντοπισµό των δεδοµένων, την περιγραφή της εξάρτησης που υπάρχει ανάµεσα στα δεδοµένα, την σύνδεση των περιγραφών µε τα δεδοµένα και την πρόσβαση στην πληροφορία σχετικά µε την πνευµατική ιδιοκτησία που συνδέεται µε τα δεδοµένα. Όπως προείπαµε η περιγραφή µε µορφή κειµένου του υλικού που µας ενδιαφέρει (χάρη στην DDL) έχει και δυαδική αναπαράσταση. Η γνωστή BiM (Binary format for metadata) είναι ο άλλος εαυτός της περιγραφής σε κείµενο. Είναι η µεταφορά σε δυαδική µορφή της περιγραφής σε XML. Υπάρχει άµεση σχέση µεταξύ της BiM και της DDL καθώς µπορούµε να εξάγουµε περιγραφή από την ψηφιακή µορφή και το αντίστροφο. Επίσης η δυαδική υπόσταση της περιγραφής έχει οργανωθεί και σχεδιαστεί µε τέτοιο τρόπο ώστε να επιτρέπεται η ορθότητα της σύνταξης και η εγκυρότητα της περιγραφής. Η µετάδοση της πληροφορίας δεν περιλαµβάνει µόνο downstream διαδικασίες. Με λίγα λόγια downstream σηµαίνει ότι ο server αποστέλλει την πληροφορία στον client. Περιλαµβάνει επίσης και την αντίστροφη διαδικασία. Από το τερµατικό δηλαδή στο server, που ονοµάζεται upstream. Το παρακάτω είναι παράδειγµα περιγραφής οπτικοακουστικού περιεχοµένου σε XML. 19

20 <Mpeg7> <DescritpionMetadata>...</DescriptionMetadata> <Description xsi:type= ContentEntity > <MultimediaContent xsi:type= VideoType > <Video id= video_example > <MediaInformation>...</MediaInformation> <TemporalDecomposition gap= false overlap= false > <VideoSegment id= VS1 > <MediaTime> <MediaTimePoint> T00:00:00</MediaTimePoint> <MediaDuration>PT2M</MediaDuration> </MediaTime> <VisualDescriptor xsi:type= GoFGoPColorType aggregation= average > <ScalableColor numofcoef= 8 numofbitplanesdicarded= 0 > <Coeff> </Coeff> </ScalableColor> </VisualDescriptor> </VideoSegment> <VideoSegment id= VS2 > <MediaTime> <MediaTimePoint>T00:02:00 </MediaTimePoint> <MediaDuration>PT2M</MediaDuration> </MediaTime> <VisualDescriptor xsi:type= GoFGoPColorType aggregation= average > <ScalableColor numofcoef= 8 numofbitplanesdicarded= 0 > <Coeff> </Coeff> </ScalableColor> </VisualDescriptor> </VideoSegment> </TemporalDecompostion> </Video> </MultimediaContent> </Description> </Mpeg7> 20

21 Σχήµατα περιγραφής πολυµέσων Σε αυτή την ενότητα θα δούµε συνοπτικά τα σχήµατα περιγραφής πολυµέσων. Τα MPEG-7 Multimedia Description Schemes (DSs) είναι δοµές µεταδεδοµένων που περιγράφουν οπτικοακουστικό περιεχόµενο. Τα DSs όπως θα καθιερώσουµε να αναφέρουµε από εδώ και πέρα, παρέχουν προτυποποιηµένο τρόπο περιγραφής του οπτικοακουστικού υλικού σε XML, γεγονός που διευκολύνει στην διαχείριση του περιεχοµένου δηλαδή την αναζήτηση, την ευρετηρίαση και την πρόσβαση. Το αποτέλεσµα των περιγραφών µπορεί να αποτυπωθεί και σε µορφή αναγνώσιµη από τον άνθρωπο δηλαδή XML, αλλά και σε συµπιεσµένη δυαδική µορφή που χρησιµεύει στην µετάδοση και αποθήκευση του υλικού. Ο στόχος του MPEG-7 είναι η διαλειτουργική αναζήτηση, ευρετηρίαση και πρόσβαση στο οπτικοακουστικό περιεχόµενο. Αυτό θα επιτευχθεί µέσω της διαλειτουργικότητας ανάµεσα στις εφαρµογές που χρησιµοποιούν οπτικοακουστικές περιγραφές. Οι περιγραφείς του MPEG-7 σχεδιάστηκε αρχικά για να περιγραφούν χαρακτηριστικά χαµηλού επιπέδου όπως το χρώµα, η υφή, η κίνηση, η ηχητική ενέργεια κτλ όπως και χαρακτηριστικά όπως ο χρόνος, ο τόπος, η ποιότητα κτλ. Θεωρείται δεδοµένο ότι οι περισσότεροι περιγραφείς χαµηλού επιπέδου θα εξάγονται αυτόµατα στις εκάστοτε εφαρµογές. Αντιθέτως τα MPEG-7 DSs σχεδιάστηκαν αρχικά για να περιγράψουν χαρακτηριστικά υψηλού επιπέδου όπως περιοχές, αντικείµενα, γεγονότα και άλλα µεταδεδοµένα που σχετίζονται µε την παραγωγή, δηµιουργία και χρήση. Τα DSs παράγουν περισσότερο σύνθετους περιγραφείς, ενοποιώντας τους περιγραφείς και τα DSs και ταυτόχρονα δηλώνοντας τη σχέση τους. Το παρακάτω σχήµα παρουσιάζει τους βασικούς τοµείς από τους οποίους αποτελείται το MPEG-7 Multimedia DSs. Αυτοί είναι: Basic Elements, Content Description, Content Management, Content Description, Content Organization, Navigation and Access και User Interaction. 21

22 Μία MPEG-7 περιγραφή ξεκινά µε ένα βασικό top elment - στοιχείο που δηλώνει αν η περιγραφή είναι ολόκληρη ή µέρος άλλης. Αυτό το στοιχείο καθορίζει για τον τύπο της περιγραφής που θα ακολουθήσει π.χ εικόνα, video κτλ., συγκεντρώνει τα εργαλεία για τη συγκεκριµένη περιγραφής. Επίσης περιγράφει µεταδεδοµένα σχετικά µε την περιγραφή που σχετίζονται µε το χρόνο δηµιουργίας, τη version κτλ. Τα βασικά στοιχεία εντοπίζουν κοµµάτια περιεχοµένου, χώρους, άτοµα, οργανισµούς και άλλες γραπτές πληροφορίες. Χρονική πληροφορία: Τα Time DS και MediaTime DS περιγράφουν χρονική πληροφορία. Η βασική στρατηγική είναι η εξής: θέτονται σηµεία έναρξης και λήξης ενός συµβάντος και περιγράφεται το εσωτερικό τους. Στο παραπάνω παράδειγµα τα σηµεία στο χρόνο τα ονοµάζουµε t 1 και t 2. Η διάρκεια µετριέται ως t 2 - t 1. Επίσης µπορούµε να θέσουµε ένα χρονικό σηµείο αναφοράς και να περιγραφεί ένα σηµείο σχετικό ως προς αυτό. Ακόµα µία περίοδος χρόνου µπορεί να αποτελείται από άλλες µικρότερες περιόδους. 22

23 Σχολιασµός κειµένου: το MPEG-7 παρέχει εργαλείο που µπορεί να παρέχει πληροφορίες που µπορούν να απαντούν στις ερωτήσεις Ποιος; Τι; Ποια ενέργεια; Που; Πότε; και Πως; Επίσης πιο σύνθετα εργαλεία µπορούν να προσδιορίσουν την σχέση µεταξύ ρήµατος και υποκειµένου. Το MPEG-7 παρέχει εργαλεία διαχείρισης περιεχοµένου Τα εργαλεία αυτά περιγράφουν πληροφορίες όπως: (1) δηµιουργία και παραγωγή, (2) µέσο αποθήκευσης και µορφότυπο αρχείου, και (3) χρήση περιεχοµένου. Όσον αφορά στη δηµιουργία περιγράφεται η δηµιουργία και η ταξινόµηση του οπτικοακουστικού υλικού. Αυτό περιλαµβάνει τον τίτλο και πληροφορίες όπως ο δηµιουργός, ο τόπος δηµιουργίας και ηµεροµηνία. Η ταξινόµηση αφορά τοµείς όπως είδος, αντικείµενο, σκοπός, γλώσσα κτλ. Οι πληροφορίες µέσου αφορούν στην αποθήκευση, την συµπίεση και κωδικοποίηση του οπτικοακουστικού περιεχοµένου. Επίσης περιέχονται πληροφορίες χρήσης και παρέχονται υπερσυνδέσµοι προς τους κατόχους δικαιωµάτων. Το Usage Record DS και το Availability DSs παρέχει πληροφορίες που σχετίζονται µε τη χρήση, τη µετάδοση, τις πωλήσεις CD κτλ. Τέλος το Financial DS παρέχει πληροφορίες για το κόστος παραγωγής και τα έσοδα που προέρχονται από τη χρήση του υλικού. Τα εργαλεία περιγραφής για τη δηµιουργία και την παραγωγή του υλικού περιγράφουν πληροφορίες που σχετίζονται µε τη δηµιουργία του οπτικοακουστικού υλικού. Η πληροφορία αυτή δεν µπορεί να εξαχθεί αυτόµατα 23

24 Το αρχικό στοιχείο είναι το CreationInformation DS και αποτελείται από το Creation D (που περιέχει ηµεροµηνίες, ενέργειες, υλικό, Οργανισµοί κτλ), το Classification D (περιέχει το είδος, τη γλώσσα κτλ) και το RelatedMaterial Ds. Πληροφορίες µέσων αποθήκευσης Το Content Management Description Tools επιτρέπει την περιγραφή του κύκλου ζωής του περιεχοµένου, από το περιεχόµενο στην κατανάλωση. Το περιεχόµενο που περιγράφεται από το MPEG-7 µπορεί να είναι διαθέσιµο σε διαφορετικές µορφές και σχήµατα κωδικοποίησης. Για παράδειγµα µία συναυλία µπορεί να έχει καταγραφθεί: α) σε µορφή ήχου και β) σε οπτικοακουστική µορφή. Κάθε µία από τις παραπάνω µορφές µπορεί να είναι κωδικοποιηµένη µε διαφορετικό σχήµα κωδικοποίησης. Περιεχόµενο (content): Το περιεχόµενο είναι µία οντότητα που έχει µια συγκεκριµένη µορφή να αναπαριστά την πραγµατικότητα. Μία συναυλία µπορεί να είναι σε audio media, audio-visual media. Πληροφορίες µέσου (Media Information): Το format του περιεχοµένου περιγράφεται από το Media Information DS. Πληροφορίες δηµιουργίας (Creation Information): Πληροφορίες για τη διαδικασία δηµιουργίας περιεχοµένου περιγράφονται από το CreationInformation DS. Πληροφορίες χρήσης (Usage Information): Πληροφορίες που σχετίζονται µε τη χρήση του περιεχοµένου περιγράφονται από το UsageInformation DS. Πληροφορίες χρήσης Η περιγραφή χρήσης πραγµατοποιείται από το UsageInformation DS, που µε τη σειρά του αποτελείται από το Rights D, το Financial D (περιέχει πληροφορίες που σχετίζονται µε το κόστος παραγωγής του υλικού καθώς και το κέρδος από τη χρήση του),το Availability Ds και το UsageRecord Ds. 24

25 Το MPEG-7 παρέχει σχήµατα (DSs) για την περιγραφή της δοµής και της σηµασιολογίας του οπτικοακουστικού υλικού. Τα εργαλεία δοµής περιγράφουν τη δοµή του οπτικοακουστικού υλικού όπως καρέ, κινούµενες και σταθερές εικόνες, περιοχές ήχου. Τα σηµασιολογικά εργαλεία περιγράφουν αντικείµενα γεγονότα και στοιχεία που σχετίζονται µε την πραγµατικότητα οµικές πτυχές: περιγράφεται η δοµή του οπτικοακουστικού υλικού. Το Structure DSs περιγράφει ένα Segment DS που αντιπροσωπεύει την χωρική και χρονική δοµή του οπτικοακουστικού υλικού. Το Segment DS µπορεί να οργανωθεί σε ιεραρχική δοµή προκειµένου να παραχθεί πίνακας περιεχοµένων ή ευρετήριο προκειµένου να γίνεται αναζήτηση. Επίσης µπορεί να περιγραφθεί παραπάνω σε άλλη βάση όπως το χρώµα, η υφή, το σχήµα, η κίνηση και τα χαρακτηριστικά ήχου. Εννοιολογικές πτυχές: περιγράφεται η σηµασιολογία του οπτικοακουστικού υλικού. Το Semantic DSs περιλαµβάνει οντότητες όπως αντικείµενα, γεγονότα και σχέσεις. Το Structure DSs και το Semantic DSs σχετίζονται µεταξύ τους µε ένα σύνολο από υπερσυνδέσµους που επιτρέπουν να περιγραφθει το υλικό και δοµικά και εννοιολογικά. Το MPEG-7 παρέχει DSs για τη διευκόλυση και ανάκτηση οπτικοακουστικού υλικού µε τη δηµιουργία περίληψεων, χωρισµάτων και παραλλαγών του οπτικοακουστικού υλικού. Περιλήψεις: παρέχουν µικρές περιλήψεις που βοηθούν στην ανακάλυψη και πλοήγηση µέσα στο οπτικοακουστικό υλικό. Το Summary DSs περιέχει δύο τύπους πλοήγησης: τον ιεραρχικός και τον διαδοχικό. Στο πρώτο η οργάνωση της πληροφορίας γίνεται σε διαφορετικά επίπεδα και αυτό αφορά στη λεπτοµέρεια. Στο δεύτερο παρέχεται µια ακολουθία εικόνων ή τηλεοπτικών καρέ, ενδεχοµένως συγχρονισµένα µε ήχο. Χωρισµοί και αποσυνθέσεις: περιγράφουν τις διαφορετικές αποσυνθέσεις του οπτικοακουστικού σήµατος στο χώρο, τον χρόνο και τη συχνότητα Παραλλαγές: παρέχει πληροφορίες για διαφορετικές παραλλαγές του οπτικοακουστικού προγράµµατος όπως εκδοχές χαµηλής ποιότητας, εκδοχές διαφορετικών γλωσσών κτλ. 25

26 Το MPEG-7 παρέχει επίσης σχήµατα για την οργάνωση των συλλογών του οπτικοακουστικού υλικού και των Περιγραφέων. Το Collection DS οργανώνει συλλογές οπτικοακουστικού περιεχοµένου. Τέλος το τελευταίο σύνολο από τα MPEG-7 DSs σχετίζεται µε την διάδραση του χρήστη (User Interaction). Το User Interaction DSs περιγράφει τις προτιµήσεις του χρήστη και το ιστορικό χρήσης. Η ιεραρχική αποδόµηση της οπτικοακουστικής πληροφορίας µπορεί να κάνει την αναζήτηση πιο εύκολη. Για παράδειγµα ένα video segment µπορεί να αποδοµηθεί σε κινούµενες περιοχές και αυτές να διαιρεθούν σε ακίνητες περιοχές. Ο παρακάτω πίνακας παρουσιάζει τα χαρακτηριστικά που µπορούν να εξαχθούν από ένα τµήµα video (Video Segment), ένα τµήµα ακίνητης περιοχής (Still Region), ένα τµήµα κινούµενης περιοχής (Moving Region) και τµήµα ήχου (Audio Segment). Feature Video Segment Still Region Moving Region Audio Segment Time X. X X Shape. X X. Color X X X. Texture. X.. Motion X. X. Camera X... motion.. X X Audio features 26

27 Συνοπτικά οι Περιγραφείς: Τύπος Οπτικός Χαρακτηριστικό Περιγραφέας Χρώµα DominantColor ScalableColor ColorLayout ColorStructure GoFGoPColor (extension of ColorStructure) Υφή HomogeneousTexture TextureBrowsing EdgeHistogram Σχήµα RegionShape ContourShape Shape3D Κίνηση CameraMotion MotionTrajectory ParametricMotion MotionActivity Τύπος Χαρακτηριστικό Περιγραφέας Ήχος Σιωπή Χροιά Οµιλία οµή µουσικής Silence InstrumentTimbre HarmonicInstrumentTimbre PercussiveInstrumentTimbre Phoneme Articulation Language MelodicContour 27

28 Rhythm Ηχητικά εφέ Reverberation, Pitch, Contour, Noise Παρακάτω παρουσιάζεται ένα παράδειγµα περιγραφής εικόνας. Η αρχική εικόνα περιγράφεται ως Still Region, SR1, η οποία περιγράφεται µε βάση την δηµιουργία (τίτλος, δηµιουργός), τις πληροφορίες χρήσης (copyright), τις πληροφορίες µέσου (file format) το ιστόγραµµα χρώµατος και την περιγραφή υφής. Η αρχική εικόνα µπορεί να υποδιαιρεθεί σε άλλες. Το δέντρο απαρτίζεται από 8 εικόνες ενώ όπως βλέπουµε η όγδοη εικόνα απαρτίζεται από δύο κοµµάτια. Σε κάθε «παιδί» του αρχικού περιγραφόµενου τµήµατος µεταβιβάζονται οι ιδιότητες του αρχικού, όπως οι πληροφορίες χρήσης, δηµιουργίας κτλ. Σε ορισµένες περιπτώσεις δεν µπορούµε να έχουµε δένδρο περιγραφής, διότι δεν το επιτρέπουν οι συνθήκες. Το πρόβληµα αυτό αντιµετωπίζεται µε το SegmentRelation DS που δηµιουργούν σχέσεις. Στο παρακάτω παράδειγµα έχουµε µία ακίνητη περιοχή - εικόνα και τρεις κινούµενες. Τη δοµή του περιεχοµένου την αναπαριστά το σχεδιάγραµµα που ακολουθεί. Το Video Segment: τρίπλα και σουτ περιέχει την µπάλα, τον τερµατοφύλακα και τον παίκτη. Η µπάλα παραµένει κοντά στον παίκτη που 28

29 κατευθύνεται στον τερµατοφύλακα. Ο παίκτης εµφανίζεται στα δεξιά του τερµατοφύλακα. Το Goal score video segment περιλαµβάνει τις ίδιες κινούµενες περιοχές συν την εικόνα που ονοµάζουµε Goal. 29

30 Για κάποιες εφαρµογές, η οπτική πλευρά που χρησιµοποιήθηκε παραπάνω, µπορεί να φανεί ακατάλληλη, διότι επισηµαίνει τις δοµικές πλευρές του περιεχοµένου. Για εφαρµογές στις οποίες η περιγραφή της δοµής δεν έχει καµία πραγµατική χρησιµότητα, αλλά όπου ο χρήστης ενδιαφέρεται περισσότερο για την σηµασιολογία του περιεχοµένου, µία εναλλακτική προσέγγιση είναι το Σχήµα για την Περιγραφή της Σηµασιολογίας (Semantic Description Scheme). Σε αυτήν την προσέγγιση η έµφαση δεν δίνεται στα τµήµατα, αλλά στα γεγονότα, στα αντικείµενα, στα µέρη, στον χρόνο στον πραγµατικό κόσµο ( και όχι στα τµήµατα) και στην αφαίρεση. Ο πραγµατικός κόσµος αναφέρεται στο περιβάλλον µίας σηµασιολογικής περιγραφής, που σηµαίνει ότι η περιγραφή έχει νόηµα µόνο στην πραγµατικότητα. Αυτή η περιγραφή καλύπτει τον κόσµο που απεικονίζεται µέσα στις συγκεκριµένες αποδόσεις τιµών του οπτικοακουστικού περιεχοµένου, καθώς επίσης και πιο αφηρηµένες περιγραφές που αναπαριστούν τους πιθανούς κόσµους που περιγράφονται στα πιθανά µέσα στα οποία υπάρχουν. Μία περιγραφή µπορεί να καλύπτει πολλαπλούς πραγµατικούς κόσµους, που αποτυπώνονται στις πολλαπλές αποδόσεις τιµών του οπτικοακουστικού περιεχοµένου. Όπως φαίνεται και στην, το Σχήµα Περιγραφής για την σηµασιολογική βάση (SemanticBase Description Scheme) περιγράφει τον πραγµατικό κόσµο και τις σηµασιολογικές οντότητες στον πραγµατικό κόσµο. Επιπρόσθετα ένας αριθµός εξειδικευµένων Σχηµάτων Περιγραφής προέρχονται από το γενικό (generic) Σχήµα για την περιγραφή της σηµασιολογικής βάσης, ο οποίος περιγράφει συγκεκριµένους (specific) τύπους σηµασιολογικών οντοτήτων, όπως τον πραγµατικό κόσµο, τον χρόνο, τα αντικείµενα, τα γεγονότα που συµβαίνουν. Το Σχήµα Περιγραφής της Σηµασιολογίας (Semantic Description Scheme) περιγράφει πραγµατικούς κόσµους που είτε απεικονίζονται από το οπτικοακουστικό περιεχόµενο είτε συνδέονται µε αυτό. Μπορεί επίσης να χρησιµοποιηθεί για να περιγράψει ένα template για οπτικοακουστικό περιεχόµενο. Στην πρακτική, το Σχήµα αυτό σκοπεύει να ενσωµατώσει την περιγραφή ενός πραγµατικού κόσµου. Το Σχήµα Περιγραφής των αντικειµένων (Object Description Scheme) περιγράφει ένα αντικείµενο που µπορούµε να το αντιληφθούµε ή ένα αντικείµενο που είναι αφηρηµένο. Ένα αντικείµενο που αντιλαµβανόµαστε είναι µία οντότητα που στην πραγµατικότητα υπάρχει, δηλαδή έχει µία χρονική και χωρική υπόσταση σε έναν πραγµατικό κόσµο (για παράδειγµα το πιάνο του Στέλιου). Ένα 30

31 αφηρηµένο αντικείµενο είναι το αποτέλεσµα της αφαίρεσης που πραγµατοποιήσαµε πάνω σε ένα αντικείµενο που αντιλαµβανόµασταν (για παράδειγµα ένα οποιοδήποτε πιάνο). Κατά βάση αυτό δηµιουργεί ένα object template. Το AgentObject Description Scheme επεκτείνεται πέρα από το Σχήµα Περιγραφής του αντικειµένου. Το Σχήµα αυτό περιγράφει έναν οργανισµό, ένα πρόσωπο, µία οµάδα ανθρώπων ή προσωποποιηµένα αντικείµενα (για παράδειγµα σε µία ταινία µία κούπα που µιλάει). Το Σχήµα Περιγραφής των γεγονότων (Event Description Scheme)περιγράφει ένα γεγονός το οποίο µπορούµε να αντιληφθούµε ή που είναι αφηρηµένο. Ένα γεγονός που µπορούµε να αντιληφθούµε είναι µία δυναµική σχέση που µπορεί να περιλαµβάνει ένα ή περισσότερα αντικείµενα που συµβαίνουν σε µία περιοχή σε χρόνο και χώρο του πραγµατικού κόσµου (για παράδειγµα, ο Tom παίζει το πιάνο). Ένα αφηρηµένο γεγονός είναι το αποτέλεσµα, όταν σε ένα γεγονός το οποίο µπορούµε να αντιληφθούµε, υφιστούµε αφαίρεση (για παράδειγµα, οποιοσδήποτε µπορεί να παίξει πιάνο). Εδώ επίσης δηµιουργείται ένα template για το γεγονός. Τέλος το Σχήµα Περιγραφής του Σηµασιολογικού Xρόνου (SemanticTime Description Scheme) και το Σχήµα για την Περιγραφή του Σηµασιολογικού Χώρου (SemanticPlace Description Scheme) περιγράφουν αντίστοιχα τον χρόνο και τον χώρο στον πραγµατικό κόσµο. 31

32 Τέλος στο παρακάτω σχήµα παρατηρούµε την ιεραρχική αποδόµηση της οπτικοακουστικής πληροφορίας. Το σχήµα δείχνει ένα παράδειγµα της ιεραρχικής περίληψης ενός αγώνα ποδοσφαίρου. Η HierarchicalSummary description δίνει τρία επίπεδα πληροφορίας. Σε αυτό το παράδειγµα ο αγώνας συνοψίζεται σε ένα καρέ, που αποτελεί και τη ρίζα του δένδρου. Στο επόµενο στάδιο της ιεραρχίας υπάρχουν άλλα καρέ που έχουν περιλήψεις του video. 32

33 Παραδείγµατα δόµησης Σχηµάτων 33

34 34

35 Αντιστοιχία στοιχείων του DC και MPEG7 DC Element Επεξήγηση MPEG-7 Path 1 Title Το όνοµα που φέρει ο πόρος CreationMetaInformation.Creation.Title.TitleText (TitleType="original") 2 Creator Η οντότητα που είναι υπεύθυνη CreationMetaInformation.Creation.Creator για την δηµιουργία του (role="creator") περιεχοµένου του πόρου. 3 Subject Το θέµα του περιεχοµένου. CreationMetaInformation.Classification.PackagedType 4 Description Περιγραφή του περιεχοµένου. CreationMetaInformation.Creation.CreationDescription 5 Publisher Οντότητα που κάνει τον πόρο UsageMetaInformation.Publication.Publisher or διαθέσιµο. CreationMetaInformation.Creation.Creator (role="publisher") 6 Contributor Οντότητα που έχει συµβάλει στη CreationMetaInformation.Creation.Creator δηµιουργία του περιεχοµένου. (role="contributor") 7 Date Ηµεροµηνία που σχετίζεται µε CreationMetaInformation.Creation.CreationDate ένα γεγονός στον κύκλο ζωής του πόρου. 8 Type Η φύση και το είδος του CreationMetaInformation.Classification.Genre περιεχοµένου. 9 Format Το µορφότυπο (MPEG-1, MediaInformation.MediaProfile.MediaFormat.FileForma QuickTime, RealVideo ) t 10 Identifier Μια µοναδική αναφορά στον MediaInformation.MediaIdentification.Identifier πληροφοριακό πόρο. 11 Source Η αναφορά στην πηγή από όπου MediaInformation.MediaProfile.MediaInstance.Identifier προέρχεται ο πόρος µας. 12 Language Η γλώσσα του περιεχοµένου του CreationMetaInformation.Classifcation.Language.Langua πόρου µας. gecode or MediaInformation.MediaProfile.MediaFormat.AudioLan guage 13 Relation Αναφορά σε σχετικό υλικό. CreationMetaInformation.RelatedMaterial.MediaLocator.MediaURL 14 Coverage Το πλαίσιο και ο στόχος του CreationMetaInformation.Creation.CreationLocation.Pla περιεχοµένου του πόρου. cename or CreationMetaInformation.Classification.Country CreationMetaInformation.Creation.Date 15 Rights Πληροφορία για τα δικαιώµατα UsageMetaInformation.Rights.RightsID του πόρου. 35

36 ΚΕΦΑΛΑΙΟ II : Η γλώσσα XML ΠΡΟΕΠΙΣΚΟΠΗΣΗ ΚΕΦΑΛΑΙΟΥ - Τα βασικά συστατικά της XML - H σύνταξη της XML - XML Σχήµατα (XML Schemas) Η γλώσσα XML σε 10 σηµεία Η ακόλουθη συνοπτική παρουσίαση των 10 χαρακτηριστικών ιδιοτήτων της XML συγκεντρώνει βασικές έννοιες και προσφέρει µία ολοκληρωµένη εικόνα για τη γλώσσα. Η παρουσίαση αυτών των εννοιών είναι απαραίτητη προϋπόθεση και γνώση για κάποιον που θέλει να κατανοήσει τη λειτουργία αυτών που περιγράφονται στα παρακάτω κεφάλαια (XML βάσεις δεδοµένων αλήθειας, εφαρµογή Anthropos7 Editor). H XML είναι µία γλώσσα για τη δόµηση δεδοµένων Με την έννοια δοµηµένα δεδοµένα εννοούµε µία συλλογή στοιχείων δεδοµένων όπως είναι για παράδειγµα τα λογιστικά φύλλα, οι κατάλογοι διευθύνσεων, οι παράµετροι διαµόρφωσης, οι οικονοµικές συναλλαγές και τα τεχνικά σχέδια. Η XML είναι, δηλαδή, ένα σύνολο κανόνων (ή διαφορετικά ένα πακέτο κατευθυντήριων γραµµών ή συµβάσεων) για το σχεδιασµό µορφών κειµένου οι οποίες διευκολύνουν τη δόµηση των δεδοµένων σας. Η XML δεν είναι γλώσσα προγραµµατισµού. εν χρειάζεται, εποµένως, να είστε προγραµµατιστής για να την χρησιµοποιήσετε ή να τη µάθετε. Η XML διευκολύνει τον υπολογιστή να παράγει δεδοµένα, να διαβάζει δεδοµένα και να εξασφαλίζει τη σαφήνεια της δοµής των δεδοµένων. Η XML αποφεύγει τις συνήθεις παγίδες του σχεδιασµού γλωσσών: είναι επεκτάσιµη, ανεξάρτητη συστήµατος υλικού και µπορεί να υποστηρίξει διεθνείς και τοπικές προσαρµογές. Η XML είναι πλήρως συµβατή µε Unicode. 36

37 Η XML θυµίζει λίγο την HTML Η XML, όπως η HTML, χρησιµοποιεί ετικέτες (tags) (λέξεις µέσα σε γωνιακές αγκύλες '<' και '>') και γνωρίσµατα (τύπου όνοµα = "τιµή"). Σε αντίθεση µε την HTML η οποία διευκρινίζει τη σηµασία κάθε ετικέτας και γνωρίσµατος και συχνά προσδιορίζει πως θα εµφανίζεται σε φυλλοµετρητή το κείµενο το οποίο περιλαµβάνεται σε αυτά, η XML χρησιµοποιεί ετικέτες µόνο για να οριοθετήσει κοµµάτια δεδοµένων και αφήνει την ερµηνεία των δεδοµένων στη εφαρµογή που τα διαβάζει. Εν ολίγοις, εάν δείτε "<p>" σε αρχείο XML, µην βιαστείτε να συµπεράνετε ότι είναι παράγραφος (p = paragraph). Ανάλογα µε το κείµενο, ενδέχεται να είναι τιµή (p = price), παράµετρος (p = parameter), πρόσωπο (p = person), το γράµµα π (p = a p) ή ακόµα και κάτι που δεν αρχίζει καν από π (p)! Η XML είναι κείµενο αλλά δεν προορίζεται για ανάγνωση Τα προγράµµατα που παράγουν λογιστικά φύλλα, καταλόγους διευθύνσεων και άλλα δοµηµένα δεδοµένα αποθηκεύουν, συχνά, τα εν λόγω δεδοµένα στο σκληρό δίσκο, χρησιµοποιώντας δυαδική µορφή ή µορφή κειµένου. Ένα από τα πλεονεκτήµατα της µορφής κειµένου είναι ότι επιτρέπει στο χρήστη, ένα είναι αναγκαίο, να δει τα δεδοµένα χωρίς το πρόγραµµα που τα παρήγαγε. Εάν χρειαστεί, δηλαδή, σας δίνει τη δυνατότητα να διαβάσετε µία µορφή κειµένου µε το διορθωτή κειµένου της προτίµησής σας. Οι µορφές κειµένου επιτρέπουν, επίσης, στους κατασκευαστές λογισµικού να εκσφαλµατώνουν εφαρµογές µε µεγαλύτερη ευκολία. Όπως και τα αρχεία HTML, τα αρχεία XML είναι αρχεία κειµένου τα οποία δεν προορίζονται για ανάγνωση αλλά προσφέρουν αυτή τη δυνατότητα στο χρήστη εάν προκύψει ανάγκη. Ωστόσο, οι κανόνες των αρχείων XML είναι αυστηροί σε αντίθεση µε τα αρχεία HTML. Η παράληψη µίας ετικέτας ή ένα γνώρισµα δίχως αγκύλες καθιστά άχρηστο το αρχείο XML ενώ η HTML ανέχεται τέτοιου είδους παραλήψεις και συχνά τις επιτρέπει εξολοκλήρου. Η επίσηµη προδιαγραφή της XML δεν επιτρέπει σε εφαρµογές να προσπαθούν να µαντέψουν ποιο είναι το πρόγραµµα δηµιουργός ενός αρχείου XML µε χαµένο σύνδεσµο. Εάν ο σύνδεσµος του αρχείου παρουσιάζει πρόβληµα, η εφαρµογή πρέπει να σταµατήσει και να αναφέρει το σφάλµα. 37

38 Η XML είναι "φλύαρη" γλώσσα Η XML εµφανίζεται υπό µορφή κειµένου και χρησιµοποιεί ετικέτες για την οριοθέτηση των δεδοµένων και για τον λόγο αυτό τα αρχεία XML είναι σχεδόν πάντα µεγαλύτερα σε έκταση από συγκρίσιµα αρχεία σε δυαδική µορφή. Πρόκειται για συνειδητή επιλογή των σχεδιαστών της XML. Τα πλεονεκτήµατα ενός αρχείου υπό µορφή κειµένου είναι ολοφάνερα (δείτε χαρακτηριστικό 3) και τα µειονεκτήµατα αντισταθµίζονται συνήθως σε άλλο επίπεδο. Η χωρητικότητα του σκληρού δίσκου δεν είναι τόσο ακριβή όσο παλαιότερα και προγράµµατα όπως το zip και το gzip µπορούν να συµπιέσουν αρχεία αποτελεσµατικά και γρήγορα. Επιπρόσθετα, πρωτόκολλα επικοινωνίας όπως τα πρωτόκολλα µόντεµ και το HTTP/1.1, το οποίο είναι το πρωτόκολλο πυρήνας του Ιστού, µπορούν να συµπιέσουν πολύ εύκολα αρχεία µε µεγάλη ταχύτητα µεταφοράς και το ίδιο αποτελεσµατικά όσο και τα δυαδικά αρχεία. Η XML συνδυάζει διαφορετικές τεχνολογίες Η XML 1.0 είναι η προδιαγραφή που ορίζει τι είναι οι "ετικέτες" και τα "γνωρίσµατα". Πέρα από την XML 1.0, "η οικογένεια XML" είναι ένα διαρκώς αναπτυσσόµενο σύνολο λειτουργικών µονάδων οι οποίες προσφέρουν χρήσιµες υπηρεσίες για τη διεκπεραίωση σηµαντικών έργων τα οποία ανακύπτουν συχνά. H Xlink περιγράφει έναν προκαθορισµένο τρόπο εισαγωγής υπερσυνδέσµων σε αρχεία XML. Τα XPointer και τα XFragments είναι συντακτικά υπό διαµόρφωση για την υπόδειξη θέσεων ενός εγγράφου XML. Το XPointer µοιάζει λίγο µε URL αλλά αντί να υποδεικνύει έγγραφα στον Ιστό, υποδεικνύει κοµµάτια πληροφοριών ενός εγγράφου XML. Το CSS, η γλώσσα µορφοποίησης σελίδων, είναι δυνατό να εφαρµοστεί σε XML όπως και σε HTML. Το XSL είναι προηγµένη γλώσσα (advanced language) µορφοποίησης σελίδων. Βασίζεται στο XSLT, µία γλώσσα µετασχηµατισµού η οποία χρησιµοποιείται για την αναδιάταξη, την πρόσθεση και την διαγραφή ετικετών και γνωρισµάτων. Το DOM είναι ένα προκαθορισµένο σύνολο λειτουργιών για τη διαχείριση αρχείων XML (και HTML) από µία γλώσσα προγραµµατισµού. Τα XML Schemas 1 και 2 επιτρέπουν στους κατασκευαστές λογισµικού να ορίσουν µε ακρίβεια τις δοµές των δικών τους µορφών XML. Υπάρχουν αρκετά εργαλεία και λειτουργικές µονάδες τα οποία βρίσκονται υπό 38

39 διαµόρφωση ή είναι ήδη διαθέσιµα. Μπορείτε να ενηµερώνεστε για ό,τι καινούριο στη σελίδα του W3C's technical reports page. Η XML είναι καινούρια όχι, όµως, εντελώς καινούρια Η ανάπτυξη της XML ξεκίνησε το Από το Φεβρουάριο του 1998 η XML αποτελεί Σύσταση του W3C. Ίσως, λοιπόν να θεωρήσετε ότι η XML δεν έχει ωριµάσει ακόµα τεχνολογικά. Στην πραγµατικότητα, όµως, η τεχνολογία XML δεν είναι τόσο καινούρια. Πριν από την XML υπήρχε η SGML, η οποία αναπτύχθηκε στις αρχές της δεκαετίας του '80, τυποποιήθηκε από τον ISO το 1986, και χρησιµοποιήθηκε ευρέως σε προγράµµατα µε εκτεταµένη τεκµηρίωση. Η ανάπτυξη της HTML ξεκίνησε το Οι σχεδιαστές της XML επέλεξαν τα καλύτερα τµήµατα της SGML, χρησιµοποίησαν την εµπειρία που είχαν αποκτήσει κατά την ανάπτυξη της HTML και παρήγαγαν µία γλώσσα η οποία δεν είναι λιγότερο ισχυρή από την SGML αλλά είναι πιο κανονικοποιηµένη και πολύ πιο εύχρηστη. Βλέπετε, λοιπόν, είναι δύσκολο να διακρίνει κανείς την εξελικτική από την επαναστατική πρόοδο... Αξίζει να σηµειωθεί, τέλος, ότι ενώ η SGML χρησιµοποιείται κυρίως για τεχνική τεκµηρίωση, και πολύ λιγότερο για δεδοµένα άλλου είδους, για την XML ισχύει ακριβώς το αντίθετο. Η XML οδηγεί την HTML σε XHTML Μία από τις εφαρµογές XML υπάρχει υπό µορφή εγγράφου: πρόκειται για την XHTML του W3C, το διάδοχο της HTML. Η XHTML διαθέτει αρκετά κοινά στοιχεία µε την HTML. Το συντακτικό, όµως, έχει αλλάξει έτσι ώστε να συµβαδίζει µε τους κανόνες της XML. Τα έγγραφα µε βάση την XML χρησιµοποιούν το συντακτικό της XML,µε ορισµένους, όµως, περιορισµούς (π.χ., η XHTML επιτρέπει "<p>", όχι όµως "<r>"); και πρόσθεση σηµασίας στο συντακτικό (η XHTML λέει ότι το "<p>" σηµαίνει "paragraph" (παράγραφος), και όχι "price" (τιµή) ή "person" (πρόσωπο) και όχι κάτι άλλο). Η XML επιδέχεται συνδυασµό διαφορετικών µορφών Η XML επιτρέπει στο χρήστη τον ορισµό νέας µορφής εγγράφου προσφέροντάς του τη δυνατότητα να συνδυάσει και να χρησιµοποιήσει άλλες µορφές. Ωστόσο, επειδή δύο διαφορετικές µορφές, οι οποίες έχουν αναπτυχθεί ανεξάρτητα, ενδέχεται να διαθέτουν 39

40 στοιχεία ή γνωρίσµατα µε το ίδιο όνοµα, πρέπει να αποδοθεί ιδιαίτερη προσοχή κατά το συνδυασµό των δύο µορφών (το "<p>" µπορεί να σηµαίνει "paragraph" (παράγραφος) στη µία µορφή και "person" (πρόσωπο) στην άλλη). Για την αποφυγή σύγχυσης ονοµάτων κατά το συνδυασµό µορφών, η XML παρέχει ένα µηχανισµό namespace Παραδείγµατα µορφών µε βάση την XML οι οποίες χρησιµοποιούν namespaces είναι η XSL και η RDF.Το XML Schema σχεδιάστηκε µε στόχο να επιδείξει την ικανότητα υποστήριξης συνδυασµών στο επίπεδο ορισµού δοµών εγγράφου XML καθιστώντας εφικτό το συνδυασµό δύο σχηµάτων και την παραγωγή τρίτου το οποίο αντιπροσωπεύει δύο συγχωνευµένες δοµές εγγράφου. Η XML αποτελεί τη βάση του RDF και του Σηµασιολογικού Ιστού Ο Σκελετός Περιγραφής Πόρων του W3C (Resource Description Framework) (RDF) είναι µία µορφή κειµένου XML η οποία υποστηρίζει περιγραφή πόρων και εφαρµογές µεταδεδοµένων, όπως οι κατάλογοι µουσικής, οι συλλογές φωτογραφιών και οι βιβλιογραφίες. Για παράδειγµα, το RDF έχει τη δυνατότητα να σας βοηθήσει να αναγνωρίσετε πρόσωπα σε ένα άλµπουµ φωτογραφιών του Ιστού χρησιµοποιώντας πληροφορίες από µία προσωπική λίστα επαφών. Στη συνέχεια, ο πελάτης ηλεκτρονικού ταχυδροµείου σας (mail client), µπορεί να αποστείλει µηνύµατα σε όσους εµφανίζονται στις φωτογραφίες ειδοποιώντας τους ότι οι φωτογραφίες τους έχουν δηµοσιευθεί στον Ιστό. Όπως συµβαίνει και στα συγχωνευµένα έγγραφα (integrated documents) HTML, τα συστήµατα µενού και τις φόρµες αιτήσεων για την έναρξη του αρχικού Ιστού, το RDF συνδυάζει εφαρµογές και πράκτορες σε έναν ενιαίο Σηµασιολογικό Ιστό. Και, βέβαια, όπως οι άνθρωποι έχουν συµφωνήσει να χρησιµοποιούν κοινές ονοµασίες για τις σηµασίες των λέξεων που χρησιµοποιούν όταν επικοινωνούν, έτσι και οι υπολογιστές χρειάζονται µηχανισµούς οι οποίοι να ορίζουν κοινά ονόµατα για τους όρους ώστε να είναι εφικτή η αποτελεσµατική επικοινωνία. Οι επίσηµες περιγραφές όρων που ανήκουν σε ένα συγκεκριµένο νοηµατικό πεδίο (για παράδειγµα αυτό των αγορών ή των κατασκευών) ονοµάζονται οντολογίες και συνιστούν σηµαντικό τµήµα του Σηµασιολογικού Ιστού. Οι οντολογίες του RDF, και η αναπαράσταση των διαφόρων σηµασιών ώστε οι υπολογιστές να διευκολύνουν τους ανθρώπους στην εκτέλεση 40

41 διαφόρων εργασιών αποτελούν µέρος της ραστηριότητας Σηµασιολογικού Ιστού Semantic Web Activity. Η XML δεν χρειάζεται άδεια χρήσης, λειτουργεί ανεξαρτήτως συστήµατος υλικού και τυγχάνει ευρείας υποστήριξης Η επιλογή της XML ως βάση για κάποιο έργο, προσφέρει πρόσβαση σε µια µεγάλη και διαρκώς αναπτυσσόµενη κοινότητα εργαλείων (ένα από τα οποία µπορεί να εξυπηρετεί πλήρως από µόνο του τις ανάγκες σας) και ειδικών µε µεγάλη εµπειρία στις εν λόγω τεχνολογίες. Η επιλογή της XML είναι σαν να διαλέγετε SQL για βάσεις δεδοµένων: πρέπει να δηµιουργήσετε τη δική σας βάση δεδοµένων και τα δικά σας προγράµµατα και διαδικασίες για τη διαχείρισή της. Υπάρχουν, όµως, πολλά εργαλεία στη διάθεσή σας και άνθρωποι για να σας βοηθήσουν. Και επειδή η XML δεν χρειάζεται άδεια χρήσης µπορείτε να κατασκευάσετε πάνω της το δικό σας λογισµικό δίχως να πρέπει να πληρώσετε τίποτα σε κανέναν. Επίσης, τυγχάνει ευρείας και ολοένα επεκτεινόµενης υποστήριξης που σηµαίνει ότι δεν δεσµεύεστε σε ένα µόνο κατασκευαστή. Η XML δεν είναι πάντα η καλύτερη λύση αλλά αξίζει να τη λάβετε υπόψη σας. Η σύνταξη της XML Τα XML έγγραφα θα πρέπει να ακολουθούν αυστηρά κάποιες συγκεκριµένες προδιαγραφές στη σύνταξή τους. Ενώ οι browsers είναι ανεκτικοί σε λάθη της HTML δεν συµβαίνει το ίδιο µε τους XML parsers. Οι ακόλουθοι κανόνες θα πρέπει να ισχύουν: - Ένα XML έγγραφο µπορεί να περιέχει µόνο ένα στοιχείο εγγράφου (document element). Το στοιχείο εγγράφου αυτό συχνά ονοµάζεται ρίζα και βρίσκεται στην κορυφή του εγγράφου. Όλα τα υπόλοιπα στοιχεία ανήκουν και περιέχονται σ αυτό. - Όλα τα στοιχεία πρέπει να έχουν ετικέτα (tag) κλεισίµατος. - Τα στοιχεία ενός εγγράφου δεν µπορεί να αλληλοκαλύπτονται. Για παράδειγµα το παρακάτω είναι λάθος <b>this is bold text. <i>this is bold italic text.</b> This is italic text.</i> - Όλες οι τιµές των ετικετών των στοιχείων (attributes) θα πρέπει να περικλείονται από εισαγωγικά. 41

42 - εν µπορούν σε ένα έγγραφο να χρησιµοποιηθούν οι χαρακτήρες <, >, και &. Στη θέση αυτών µπορούν να χρησιµοποιηθούν οι lt;, >, or &. XML Σχήµατα (XML Schemas) Με λίγα λόγια, τα XML Σχήµατα καθορίζουν τα κοινά markup λεξιλόγια και επιτρέπουν στα µηχανήµατα να εφαρµόσουν κανόνες φτιαγµένους από ανθρώπους. Εξασφαλίζουν ένα µέσο για να προσδιοριστεί η δοµή, το περιεχόµενο και η σηµασιολογία των εγγράφων XML. Τα συστήµατα Databases, ERP και EDI µπορούν να ξεχωρίσουν µια ηµεροµηνία από µια στοιχειοσειρά, όµως µέχρι σήµερα, δεν υπήρχε κάποιος συγκεκριµένος τρόπος να διδαχτεί η διαφορά στα XML συστήµατά σας. Τώρα υπάρχει και είναι το XML Σχήµα. Τα XML Σχήµατα φέρνουν στην XML εµπλουτισµένες περιγραφές δεδοµένων, οι οποίες είναι συνηθισµένες π.χ. σε άλλα συστήµατα επιχειρήσεων αλλά λείπουν από την XML. Τώρα οι δηµιουργοί των συστηµάτων XML µπορούν να δοκιµάσουν την ικανότητα του XML Σχήµατος ώστε να ορίσουν τις εφαρµογές XML, οι οποίες είναι πολύ πιο εκλεπτυσµένες στον τρόπο που περιγράφουν, δηµιουργούν, διευθύνουν και επικυρώνουν τις πληροφορίες που περιέχονται σε ένα XML έγγραφο. Τα χαρακτηριστικά της XML αποτελούνται από τρία µέρη. Το πρώτο µέρος προσδιορίζει µια σειρά απλών τύπων δεδοµένων, οι οποίοι µπορούν να συνδεθούν µε τύπους στοιχείων και ιδιότητες της XML, γεγονός που επιτρέπει στο λογισµικό XML να χειρίζεται µε καλύτερο τρόπο ηµεροµηνίες, αριθµούς και άλλους τύπους πληροφοριών. Το δεύτερο µέρος των χαρακτηριστικών προτείνει µεθόδους για την περιγραφή της δοµής και τον περιορισµό των περιεχοµένων των εγγράφων του XML, και προσδιορίζει του κανόνες που κατευθύνουν την ισχύ του σχήµατος των εγγράφων. Το τρίτο µέρος είναι ένα αναγνωστικό, το οποίο εξηγεί τι είναι τα σχήµατα, σε τι διαφέρουν από τα DTD και πώς κάποιος µπορεί να φτιάξει ένα σχήµα. Φέρνοντας τους τύπους δεδοµένων στην XML, το XML Σχήµα αυξάνει την δύναµη και την χρησιµότητα της XML στους δηµιουργούς των συστηµάτων ηλεκτρονικού εµπορίου, 42

43 στους συγγραφείς των βάσεων δεδοµένων και σε οποιονδήποτε ενδιαφέρεται να χρησιµοποιήσει και να χειριστεί µεγάλους όγκους δεδοµένων στον Παγκόσµιο Ιστό. Τώρα είναι ευκολότερο από ποτέ να προσδιορίσει κανείς τα στοιχεία και τις ιδιότητες σε µια µεταβλητή και να επικυρώσει έγγραφα, τα οποία χρησιµοποιούν πολλαπλές µεταβλητές προσδιορισµένες από διαφορετικά σχήµατα, εξασφαλίζοντας καλύτερη ενοποίηση µε τις XML Μεταβλητές. Το XML Σχήµα Εισάγει την Ευελιξία, την Πιστότητα εδοµένων για τους Χρήστες Το XML Σχήµα εισάγει νέα επίπεδα ευελιξίας που µπορούν να επιταχύνουν την υιοθέτηση της XML για σηµαντική βιοµηχανική χρήση. Για παράδειγµα, ο συγγραφέας ενός σχήµατος µπορεί να φτιάξει ένα σχήµα δανειζόµενος από ένα προηγούµενο, όµως το παραµερίζει σε σηµεία όπου χρειάζονται νέα ιδιαίτερα χαρακτηριστικά. Η αρχή, ονόµατι κληρονοµιά, είναι παρεµφερής µε τη συµπεριφορά των Cascading Style Sheets, και επιτρέπει στον χρήστη να αναπτύξει XML Σχήµατα τα οποία εξυπηρετούν καλύτερα τις ανάγκες τους, χωρίς να αρχίσουν από το µηδέν ένα νέο λεξιλόγιο. Το XML Σχήµα επιτρέπει στον συγγραφέα να καθορίσει ποια µέρη του εγγράφου είναι επικυρώσιµα ή να αναγνωρίσει µέρη ενός εγγράφου όπου µπορεί να εφαρµοστεί ένα σχήµα. Το XML Σχήµα επίσης, ορίζει στους χρήστες των συστηµάτων ηλεκτρονικού εµπορίου τον τρόπο να διαλέξουν ποιο XML Σχήµα χρειάζονται για να επικυρώσουν στοιχεία σε µια δεδοµένη µεταβλητή, έτσι ώστε να εξασφαλίζεται καλύτερη ασφάλεια σε συναλλαγές του ηλεκτρονικού εµπορίου και µεγαλύτερη προστασία από µη εγκεκριµένες αλλαγές σε εγκεκριµένους κανόνες. Επιπλέον, αφού τα XML Σχήµατα είναι τα ίδια έγγραφα της XML, είναι δυνατόν να χειριστούν από συγγραφικά εργαλεία της XML ή δια µέσου της XSLT. Το XML Σχήµα έχει την πλήρη υποστήριξη Ο πίνακας της οµάδας εργασίας αναφέρει τους ηγέτες της πληροφορικής τεχνολογίας στην έρευνα και την βιοµηχανία. Στα µέλη περιλαµβάνονται: Academia Sinica, 43

44 ArborText Inc, Bootstrap Alliance και LSU, Calico Commerce, Commerce One, Defense Information Systems Agency (DISA), DevelopMentor, Distributed Systems Technology Centre (DSTC Pty Ltd), Graphic Communications Association, Health Level Seven, Hewlett Packard Company, IBM; Informix, Intel, Lawrence Berkeley National Laboratory, Lexica LLC, Lotus Development Corporation, Microsoft Corporation, Microstar, MITRE, NCR, Oracle Corp., Progress Software, SAP AG, Software AG, Sun Microsystems, TIBCO Software, University of Edinburgh, webmethods Inc, Xerox, και XMLSolutions. 44

45 ΚΕΦΑΛΑΙΟ III : ηµιουργία βάσης δεδοµένων αλήθειας διαλόγων ΠΡΟΕΠΙΣΚΟΠΗΣΗ ΚΕΦΑΛΑΙΟΥ - Περιγραφή υλικού - XML αναπαράσταση των δεδοµένων Περιγραφή υλικού Στα πλαίσια της διπλωµατικής εργασίας δηµιουργήθηκε µια βάση δεδοµένων αληθείας (ground truth) µε πληροφορίες διαλόγου για επίλεγµένες σκηνές απο ταινίες. Αρχικά επιλέχθηκαν 6 ταινίες καθώς και σκηνές από τις ταινίες. Οι ταινίες καθώς επίσης και οι σκηνές που επιλέχθηκαν φαίνονται στον παρακάτω πίνακα. Αριθµός σκηνών Αριθµός σκηνών Αριθµός σκηνών Τίτλος ταινίας διαλόγου που δεν είναι ανά ταινία διάλογος Analyze That Cold Mountain Jackie Brown Lord of the Rings I Platoon Secret Window Συνολικός αριθµός σκηνών

46 Η διάρκεια κάθε σκηνής κυµαίνεται από δευτερόλεπτα και οι σκηνές επιλέχθηκαν ώστε να αντιπροσωπεύουν όλες τις δυνατές περιπτώσεις. Στη συνέχεια το αρχείο βίντεο κάθε σκηνής διαχωρίστηκε σε δύο ξεχωριστά αρχεία: ένα αρχείο ήχου (που περιέχει τον ήχο κάθε σκηνής) και ένα για βίντεο (χωρίς ήχο, που περιέχει το βίντεο κάθε σκηνής). Κατόπιν διαφορετικοί άνθρωποι δούλεψαν πάνω στα αρχεία αυτά. Ο υπογράφων την εργασία ασχολήθηκε µε όλα τα αρχεία βίντεο. Όλες οι σκηνές αρχικά χαρακτηρίστηκαν ως προς τον τύπο διαλόγου τους. Τονίζεται ότι ο χαρακτηρισµός αποδόθηκε ξεχωριστά στα αρχεία ήχου και ξεχωριστά στα αρχεία βίντεο. Οι τύποι διαλόγου για τα αρχεία ήχου κάθε σκηνής είναι: CD (Clean Dialogue Καθαρός διάλογος). ιάλογος µε χαµηλής έντασης θόρυβο στο παρασκήνιο. BD (Dialogue with background ιάλογος µε παρασκήνιο). ιάλογος µε σχετικά υψηλής έντασης θόρυβο στο παρασκήνιο. Οι τύποι µη-διαλόγου για τα αρχεία ήχου κάθε σκηνής είναι: CM (Clean Monologue Καθαρός µονόλογος). Μονόλογος µε χαµηλής έντασης θόρυβο στο παρασκήνιο. BM (Monologue with background Μονόλογος µε παρασκήνιο). Μονόλογος µε σχετικά υψηλής έντασης θόρυβο στο παρασκήνιο. Οτιδήποτε άλλο πέρα από τα παραπάνω ND (Other - Άλλο). Οι τύποι διαλόγου για τα αρχεία βίντεο κάθε σκηνής είναι: CD (Clean Dialogue - Καθαρός διάλογος). ύο ηθοποιοί είναι παρόντες στη σκηνή, τα πρόσωπά τους εµφανίζονται εναλλάξ στη σκηνή (σε ένα πρότυπο του τύπου 46

47 A-B-A-B) ή ταυτόχρονα, και υπάρχει κίνηση του στόµατος και των χειλιών του κάθε ηθοποιού. BD (Dialogue with background - ιάλογος µε παρασκήνιο). Τουλάχιστον δύο ηθοποιοί είναι παρόντες στη σκηνή, τα πρόσωπά τους εµφανίζονται εναλλάξ στη σκηνή (σε ένα πρότυπο του τύπου A-B-A-B) ή ταυτόχρονα, και υπάρχει κίνηση του στόµατος και των χειλιών. Εκτός από τους ηθοποιούς που εµπλέκονται στον διάλογο εµφανίζονται και άλλοι ηθοποιοί στο παρασκήνιο. Μεγάλης χρονικής διάρκειας διακοπές χωρίς καθόλου διάλογο µπορεί να περιέχονται στη σκηνή. Οι τύποι µη-διαλόγου για τα αρχεία βίντεο κάθε σκηνής είναι: CM (Clean Monologue- Καθαρός µονόλογος). Ένας ηθοποιός είναι παρών στη σκηνή, το πρόσωπό του φαίνεται και υπάρχει κίνηση στόµατος και χειλιών. BM (Monologue with background - Μονόλογος µε παρασκήνιο). Τουλάχιστον ένας ηθοποιός εµφανίζεται στη σκηνή, το πρόσωπό του φαίνεται και υπάρχει κίνηση στόµατος και χειλιών. Μπορεί να εµφανίζονται και άλλοι ηθοποιοί στο παρασκήνιο. Μεγάλης χρονικής διάρκειας διακοπές χωρίς καθόλου διάλογο µπορεί να περιέχονται στη σκηνή. Οτιδήποτε άλλο πέρα από τα παραπάνω ND (Other - Άλλο). Στη συνέχεια, δηµιουργήθηκε ένα αρχείο XML το οποίο περιέχει τους ηθοποιούς της κάθε σκηνής και ένα αναγνωριστικό (identifier) για τον κάθε ηθοποιό, έτσι ώστε να αναφερόµαστε σε αυτόν µε το αναγνωριστικό του. Η δοµή του αρχείου είναι: <?xml version="1.0"?> <Actors> <Actor> <Id>100</Id> <Name>Robert de Niro</Name> <sex>male</sex> <Age>adult</Age> </Actor> 47

48 <Actor> <Id>101</Id> <Name>Billy Crystal</Name> <sex>male</sex> <Age>adult</Age> </Actor> <Actor> <Id>102</Id> <Name>Cathy Moriarty</Name> <sex>female</sex> <Age>adult</Age> </Actor> <Actor> <Id>103</Id> <Name>Actor1</Name> <sex>male</sex> <Age>adult</Age> </Actor> <Actor> <Id>104</Id> <Name>Actor2</Name> <sex>male</sex> <Age>adult</Age> </Actor> <Actor> <Id>105</Id> <Name>Actor3</Name> <sex>male</sex> <Age>adult</Age> </Actor> </Actors> Τα δεδοµένα που καταγράφηκαν για τα αρχεία ήχου είναι δραστηριότητα οµιλίας (speech activity) και για κάθε έναν από τους ηθοποιούς που εµφανίζονται στη σκηνή και αποτελούν τα πρόσωπα που συµµετέχουν στο διάλογο. Σχετικά µε τα αρχεία βίντεο καταγράφηκαν δεδοµένα για κάθε έναν από τους ηθοποιούς που εµφανίζονται στη σκηνή και αποτελούν τα πρόσωπα που συµµετέχουν στο διάλογο σχετικά µε την κίνηση ή όχι του στόµατος και των χειλιών. Πιο συγκεκριµένα καταγράφηκε η χρονική στιγµή και το καρέ (frame) του βίντεο που αρχίζει να φαίνεται 48

49 κίνηση στόµατος και χειλιών καθώς και η χρονική στιγµή και το καρέ (frame) που τελειώνει αυτή η κίνηση. Κρίθηκε απαραίτητο να υπάρχουν οι παρακάτω αντιπροσωπευτικές καταστάσεις, οι οποίες παρουσιάζονται κωδικοποιηµένες µε έναν αριθµό η κάθε µία. 0 (φαίνεται µόνο το πίσω µέρος του κεφαλιού του ηθοποιού) 1 (το πρόσωπο του ηθοποιού φαίνεται και δεν υπάρχει κίνηση στόµατος και χειλιών) 2 (το πρόσωπο του ηθοποιού φαίνεται και υπάρχει κίνηση στόµατος και χειλιών.) Τα παραπάνω στοιχεία αποθηκεύτηκαν σε XML αρχεία (ένα αρχείο για κάθε σκηνή που περιλαµβάνει τα δεδοµένα τόσο για τα αρχεία ήχου όσο και για τα αρχεία βίντεο). Η δοµή ενός τέτοιου αρχείου φαίνεται παρακάτω: <?xml version="1.0" encoding="utf-8"?> <Movie> <Title>AnalyzeThat</Title> <Genre>Comedy,Crime</Genre> <Confidence>1</Confidence> <NumberOfAudioChannels>2</NumberOfAudioChannels> <AudioCoding>PCM</AudioCoding> <AudioSamplingFrequency>48000</AudioSamplingFrequency> <AudioSampleSize>16</AudioSampleSize> <VideoCompression>DivXCodec6.1.1</VideoCompression> <VideoFrameRate>25</VideoFrameRate> <VideoDataRate>252000</VideoDataRate> <VideoSampleSize>24</VideoSampleSize> <Width>720</Width> <Height>576</Height> <Audio> <AudioScene> <Id>1</Id> <Source>ANALYZETHAT_04_00_04_27_A.wav</Source> <BeginTime>240000</BeginTime> <EndTime>267080</EndTime> <ADialogueType>BM</ADialogueType> <Confidence>1</Confidence> 49

50 <AudioSegment> <Id>1</Id> <BeginTime>0</BeginTime> <EndTime>27000</EndTime> <ASegmentType>UPL</ASegmentType> <Confidence>1</Confidence> <Speaker> <Id>103</Id> <BeginTime>882</BeginTime> <EndTime>2741</EndTime> </Speaker>... </AudioSegment> </AudioScene> <VideoScene> <Id>3</Id> <Source>ANALYSETHAT_30_19_30_57_V.avi</Source> <BeginTime> </BeginTime> <EndTime> </EndTime> <BeginFrame>45475</BeginFrame> <EndFrame>46425</EndFrame> <VdialogueType>BM</VdialogueType> <Confidence>1</Confidence> <VideoSegment> <Id>1</Id> <BeginTime>0</BeginTime> <EndTime>38000</EndTime> <BeginFrame>0</BeginFrame> <EndTime>950</EndTime> <Vwidth>720</Vwidth> <Vheight>404</Vheight> <VSegmentType>To be defined</vsegmenttype> <Confidence>1</Confidence> <Actor> <Id>100</Id> <State>0</State> <BeginTime>0</BeginTime> <EndTime>120</EndTime> <BeginFrame>0</BeginFrame> <EndFrame>2</EndFrame> </Actor> <Actor> 50

51 <Id>104</Id> <State>1</State> <BeginTime>0</BeginTime> <EndTime>120</EndTime> <BeginFrame>0</BeginFrame> <EndFrame>2</EndFrame> </Actor>... </VideoSegment> </VideoScene> </Movie> Η παραπάνω δοµή αρχείου θα πρέπει να τονιστεί ότι δεν ακολουθεί το πρότυπο µορφοποίησης MPEG-7. Web portal Η βάση δεδοµένων είναι διαθέσιµη από το web για χρήση σε επιστηµονική έρευνα και τεκµηρίωση µόνο σε χρήστες που είναι εξουσιοδοτηµένοι και διαθέτουν όνοµα και κωδικό εισόδου (username-password). Για τους εξουσιοδοτηµένους χρήστες η διεύθυνση που µπορούν να κατεβάσουν την βάση δεδοµένων (αρχεία ήχου και βίντεο, αρχεία µεταδεδοµένων XML) 51

52 ΚΕΦΑΛΑΙΟ IV : ηµιουργία εµπλουτισµένης βάσης δεδοµένων ΠΡΟΕΠΙΣΚΟΠΗΣΗ ΚΕΦΑΛΑΙΟΥ - ηµιουργία βάσης δεδοµένων µε πληροφορίες shot cuts, appearances, face tracking. - Συγχώνευση βάσεων δεδοµένων αλήθειας και δηµιουργία εµπλουτισµένης βάσης δεδοµένων - Web portal Στα πλαίσια της διπλωµατικής εργασίας και σαν επόµενος στόχος τέθηκε η δηµιουργία µιας βάσης δεδοµένων αλήθειας µε ακόµη περισσότερα στοιχεία. Ο υπογράφων ανέλαβε τον γενικό συντονισµό της δηµιουργίας της νέας βάσης δεδοµένων καθώς επίσης και τη συγχώνευση των δεδοµένων διαλόγου (η διαδικασία ανάπτυξης των οποίων δόθηκε στο προηγούµενο κεφάλαιο) µε τα νέα δεδοµένα αλήθειας που δηµιουργήθηκαν. ηµιουργία βάσης δεδοµένων µε πληροφορίες shot cuts, appearances, face tracking Στη συνέχεια, επιλέχθηκαν δύο ακόµη ταινίες καθώς και µία τηλεοπτική σειρά και νέες σκηνές προστέθηκαν. Αναλυτικά: Αριθµός σκηνών Τίτλος ταινίας ανά ταινία The prestige 6 American beauty 6 Friends 6 52

53 Στα πλαίσια της µεταπτυχιακής εργασίας ο υπογράφων συνντόνισε µια οµάδα 15 περίπου ατόµων, τα οποία δούλεψαν πάνω στις προηγούµενες σκηνές και στις σκηνές που προστέθηκαν τώρα µε σκοπό να δηµιουργηθεί µια βάση δεδοµένων αλήθειας για τα παρακάτω χαρακτηριστικά: - Shot cut πληροφορίες για την κάθε σκηνή - Πληροφορίες για τις εµφανίσεις των ηθοποιών που συµµετέχουν σε κάθε σκηνή (κυρίως για τους ηθοποιούς που µετέχουν στον διάλογο για τις σκηνές διαλόγου) - Εντοπισµός (µε χρήση κατάλληλων εργαλείων) προσώπων ηθοποιών και παρακολούθηση τους σε όλη τη διάρκεια της σκηνής (µε κατάλληλο bounding box σε κάθε frame της σκηνής γύρω από το πρόσωπο του ηθοποιού). Ακόµη, σαν στόχος της συγκεκριµένης φάσης τέθηκε να δοκιµαστούν και να εντοπιστούν τυχόν σφάλµατα των εφαρµογών DIVA3D και Anthropos7 Editor. Συνοπτικά η διαδικασία που ακολουθήθηκε για κάθε σκηνή ήταν η εξής. - Εξάχθηκαν shot cut πληροφορίες µε χρήση του DIVA3D και του Shot Boundary module. Όπου χρειάστηκε οι πληροφορίες διορθώθηκαν ώστε να ανταποκρίνονται πλήρως στην πραγµατικότητα µε χρήση του DIVA3D που δίνει αυτή τη δυνατότητα. - Εξάχθηκαν πληροφορίες σχετικά µε τον εντοπισµό των προσώπων των ηθοποιών της σκηνής σε κάθε frame µε χρήση του video tracking module του DIVA3D. Το κάθε άτοµο ήταν ελεύθερο να χρησιµοποιήσει αλγόριθµό εντοπισµού της επιλογής του ή ακόµα και να προβεί σε καθοδηγούµενη διαδικασία (µε τη χρήση σχεδιασµού του boundind box που επιτρέπει το video tracking module). Από τα παραπάνω δηµιουργήθηκε ένα XML αρχείο µε τα αποτελέσµατα των shots και ένα τελικό XML αρχείο (στο πρότυπο µορφοποίησης του MPEG-7 ISO). - Στη συνέχεια το τελικό XML αρχείο εισήχθη στο Anthropos7 Editor προκειµένου να γίνει διόρθωση των αποτελεσµάτων έτσι ώστε η τελική βάση δεδοµένων αλήθειας να είναι όσο το δυνατόν πιο κοντά στην πραγµατικότητα. Το πρόγραµµα Anthropos7 Editor και οι λειτουργίες του περιγράφονται σε επόµενο κεφάλαιο. 53

54 Τα τελικά XML αρχεία που περιέχουν τα δεδοµένα είναι συµβατά µε το πρότυπο µορφοποίησης MPEG-7 ISO.. Μέσα απ όλη αυτή τη διαδικασία, εκτός από το τελικό αποτέλεσµα που προέκυψε και ήταν η βάση δεδοµένων αληθείας, δόθηκε η ευκαιρία να δοκιµαστούν όλα τα εργαλεία που αναφέρθηκαν παραπάνω, να εντοπιστούν τυχόν σφάλµατα και να προωθηθούν στους αρµόδιους προγραµµατιστές για διόρθωση. Στο επόµενο κεφάλαιο περιγράφονται οι διορθώσεις που έγιναν από τον υπογράφοντα στο πρόγραµµα Anthropos7 Editor από σφάλµατα που προέκυψαν µέσα από την παραπάνω διαδικασία. Συγχώνευση βάσεων δεδοµένων αλήθειας και δηµιουργία εµπλουτισµένης βάσης δεδοµένων Ο επόµενος στόχος που τέθηκε ήταν να συγχωνευθούν οι δύο βάσεις αλήθειας που δηµιουργήθηκαν όπως περιγράφηκε παραπάνω, σε µία τρίτη, εννιαία βάση δεδοµένων αλήθειας σύµφωνη µε τη µορφοποίηση του προτύπου MPEG-7 ISO. Κατά τη διαδικασία συγχώνευσης χρησιµοποιήθηκε ο XML parser της Microsoft (ενώ παντού αλλού χρησιµοποιήθηκε ο Xerces XML parser) και έτσι δόθηκε η ευκαιρία να δοκιµαστεί αν η έξοδος των προγραµµάτων DIVA3D και Anthropos7 Editor είναι συµβατή. Βρέθηκε ότι είναι καλύτερο να χρησιµοποιείται το attribute xmlns:xsi αντί του xmlns (ο parser της Microsoft εµφάνιζε λάθος σε αντίθετη περίπτωση). Πιο συγκεκριµένα δεν πρόκειται ακριβώς για attribute αλλά για ένα namespace ψεύδοattribute. Όπως αναφέρθηκε παραπάνω τα αποτελέσµατα της βάσης δεδοµένων αλήθειας για τους διάλογους αποθηκεύθηκαν σε µορφή XML που όµως δεν ακολουθεί το πρότυπο µορφοποίησης MPEG-7 ISO. Οι επιµέρους στόχοι, λοιπόν, που τέθηκαν ήταν δύο: 1. Να δηµιουργηθεί µια ενιαία βάση δεδοµένων αλήθειας που θα περιέχει και τα δεδοµένα και των δύο βάσεων δεδεοµένων αλήθειας που δηµιουργήθηκαν. 54

55 2. Να ακολουθούν όλα τα δεδοµένα το πρότυπο µορφοποίησης MPEG-7 ISO, έτσι ώστε να είναι εύκολα στη χρήση και στην επεξεργασία τους (π.χ. απο το πρόγραµµα πρόγραµµα Anthropos7 Editor που δέχεται σαν είσοδο τέτοιου είδους αρχεία). Η συγχώνευση επιλέχθηκε να γίνει µε βάση το mediatimepoint element, ο τύπος του οποίου περιγράφεται παρακάτω: complextype name="mediatimetype"> <sequence> <choice> <element name="mediatimepoint" type="mpeg7:mediatimepointtype"/> <element name="mediareltimepoint" type="mpeg7:mediareltimepointtype"/> <element name="mediarelincrtimepoint" type="mpeg7:mediarelincrtimepointtype"/> </choice> <choice minoccurs="0"> <element name="mediaduration" type="mpeg7:mediadurationtype"/> <element name="mediaincrduration" type="mpeg7:mediaincrdurationtype"/> </choice> </sequence> </complextype> <simpletype name="mediatimepointtype"> <restriction base="mpeg7:basictimepointtype"> <pattern value="(\-?\d+(\-\d{2}(\- \d{2})?)?)?(t\d{2}(:\d{2}(:\d{2}(:\d+)?)?)?)?(f\d+)?"/> </restriction> </simpletype> Επειδή κάθε ένα από τα δύο αρχεία XML είχε αναφορά στους ηθοποιούς µε βάση κάποιο µοναδικό ID (αλλά διαφορετικό για τους ίδιους ηθοποιούς σε κάθε ένα απο τα XML αρχεία), ο συγχρονισµός των ηθοποιών έγινε χειροκίνητα για κάθε ζεύγος αρχείων. Με δεδοµένο ένα MediaTimePoint σηµείο ο ακριβής αριθµός του frame µπορεί να εξαχθεί όπως παρακάτω: 55

56 framenumber = (int)( totalseconds * numberoffractions) / 1001; Για παράδειγµα αν το σηµείο είναι T00:00:16:4484F30000 τότε totalseconds = 16 numberoffractions = 4484; framenumber = (16 * ) / 1001 = 484 Αντίστροφα, µε δεδοµένο ένα ακριβή αριθµό frame, το σηµείο MediaTimePoint µπορεί να ανακληθεί όπως παρακάτω: numberoffractions = (framenumber *1001) % 30000; (where % is modulus) totalseconds = (framenumber*1001-numberoffractions)/30000; Για παράδειγµα αν frame number=484, τότε numberoffractions = (484 *1001) % = 4484 totalseconds = (484 * )/30000 = 16 Η συγχώνευση λόγου του όγκου των δεδοµένων έγινε µε batch διαδικασίες µε scripts που δηµιουργήθηκαν σε γλώσσα Jscript στο Windows Scripting Shell. Η διαδικασία οπυ ακολουθήθηκε είναι η εξής: 1. Στον φάκελο που περιέχει τα αρχεία XML της βάσης δεδοµένων αλήθειας µια συγκεκριµένης ταινίας (µε όλες τις σκηνές της) µε τα χαρακτηριστικά των προσώπων (τη βάση δηλαδή που περιγράφηκε στο ΚΕΦΑΛΑΙΟ ΙΙΙ) δηµιουργούµε ένα υποφάκελο µε το όνοµα gt1 καθώς επίσης και το αρχείο mergexml.v1.0.wsf 2. Στον υποφάκελο gt1 τοποθετούµε το αρχείο XML της συγκεκριµένης ταινίας από τη βάση δεδοµένων αλήθειας που περιγράφηκε στο ΚΕΦΑΛΑΙΟ ΙΙ καθώς επίσης και το αρχείο xml2frames-mediapoints.v2.0.wsf 3. Τρέχουµε πρώτα (µε διπλό κλικ) το αρχείο xml2frames-mediapoints.v2.0.wsf και κατόπιν µε τον ίδιο τρόπο το αρχείο mergexml.v1.0.wsf. Σαν αποτέλεσµα παίρνουµε τα αρχικά XML αρχεία όλων των σκηνών µιας συγκεκριµένης ταινίας, εµπλουτισµένα πλέον µε τα δεδοµένα διαλόγου. Το επιθεµατικό 56

57 _Rich προστίθεται στο τέλος κάθε XML αρχείου (τα αρχικά XML αρχεία διατηρούνται)- που υποδηλώνει τον εµπλουτισµό τους. Web portal Η βάση δεδοµένων είναι διαθέσιµη από το web για χρήση σε επιστηµονική έρευνα και τεκµηρίωση µόνο σε χρήστες που είναι εξουσιοδοτηµένοι και διαθέτουν όνοµα και κωδικό εισόδου (username-password). Για τους εξουσιοδοτηµένους χρήστες η διεύθυνση που µπορούν να κατεβάσουν την βάση δεδοµένων (αρχεία ήχου και βίντεο, αρχεία µεταδεδοµένων XML) 57

58 ΚΕΦΑΛΑΙΟ V : Anthropos7 MPEG7 Editor ΠΡΟΕΠΙΣΚΟΠΗΣΗ ΚΕΦΑΛΑΙΟΥ - Βασική περιγραφή του προγράµµατος Anthropos7 Editor. - ιορθώσεις σφαλµάτων. - Προσθήκες και βελτιώσεις. Βασική περιγραφή του προγράµµατος Anthropos7 Editor Ο Anthropos7 Editor είναι ένα πρόγραµµα το οποίο µας επιτρέπει να επεξεργαστούµε µε τρόπο εύκολο, µέσα από ένα γραφικό περιβάλλον εργασίας τις MPEG-7 πληροφορίες (µεταδεδοµένα) ενός video. Στο παρόν κεφάλαιο θα δοθούν επιγραµµατικά οι δυνατότητες του editor, ενώ περισσότερες πληροφορίες µπορούν να βρεθούν στο αρχείο βοήθειας που συνοδεύει το Anthropos7 Editor. Η εφαρµογή Anthropos7 Editor δόθηκε στον υπογράφοντα σε µορφή πηγαίου κώδικα απο τον κο Ι.Πήτα. Ο υπογράφων ανέλαβε τον εντοπισµό και τη διόρθωση των σφαλµάτων της εφαρµογής, καθώς επίσης και την προσθήκη κάποιων επιπλέον δυνατοτήτων. Προτού προχωρήσουµε στην περιγραφή των βασικών λειτουργιών του Anthropos7 Editor παραθέτουµε µερικές χρήσιµες έννοιες, η οποίες θα βοηθήσουν στην καλύτερη κατανόηση των λειτουργιών της εφαρµογής. Actor Appearance Actor Instance Παρέχει οπτικές πληροφορίες σχετικά µε τη δραστηριότητα ενός ηθοποιού σε ένα συγκεκριµένο χρονικό διάστηµα µέσα σε µια ταινία. Παρέχει πληροφορίες (για παράδειγµα τις περιοχές ενδιαφέροντος 58

59 ROI Scene Schema Shot Transition ROIs) σχετικά µε ένα ηθοποιό σε επίπεδο frame. Καθορίζει µια περιοχή ενδιαφέροντος ενός αντικειµένου είτε µέσω ενός πολυγώνου είτε µέσω ενός ορθογωνίου. Μπορεί να περιγράψει µέρος του σώµατος του ηθοποιού σε ένα actor instance. (για παράδειγµα πρόσωπο, µάτια, στόµα κλπ). Μια σκηνή αποτελείται από ένα σύνολο λήψεων οι οποίες συνδεόµενες µαζί έχουν ένα λογικό νόηµα. Καθορίζει τον τρόπο µε τον οποίο η εφαρµογή ανακτά και αποθηκεύει πληροφορίες από το MPEG-7 αρχείο, το οποίο περιέχει αποθηκευµένες όλες τις πληροφορίες. Ένα σύνολο από frames, τα οποία έχουν ληφθεί από µια κάµερα και από µία µοναδική κίνηση/λήψη της κάµερας. Ο τρόπος µε τον οποίο τα shots τα οποία αποτελούν µια σκηνή συνδέονται µεταξύ τους. Το κεντρικό παράθυρο του περιβάλλοντος εργασίας του Anthropos7 Editor φαίνεται παρακάτω: 59

60 Πάνω αριστερά είναι η περιοχή του video. Πάνω και δεξιά είναι η περιοχή των πληροφοριών ενώ στο κάτω µέρος της εφαρµογής περιέχει πληροφορίες σχετικά µε τον χρόνο, τα frames, τα actor appearances, τα shots, και τα actor instances. Επιγραµµατικά, µερικές απο τις δυνατότητες της εφαρµογής Anthropos7 Editor είναι: - Υποστηρίζει αρχεία XML του προτύπου MPEG-7 ISO ως αρχεία εισόδου πληροφορίων - Επιτρέπει την προσθήκη/επεξεργασία/διαγραφή ιδιοτήτων στο αρχείο εισόδου MPEG-7. - Επιτρέπει την προσθήκη/επεξεργασία/διαγραφή ROIs µέσα από γραφικό περιβάλλον. Τα ROIs µπορεί να είναι είτε κλειστές πολυγωνικές γραµµές είτε ορθογώνια παραλληλόγραµµα. - Επιτρέπει την προσθήκη/επεξεργασία/διαγραφή των shots, των actor appearances, και των actor instances που απαρτίζουν µια σκηνή. Ο χρήστης 60

61 µπορεί να προσθέσει µεταδεδοµένα σχετικά µε όλα τα παραπάνω (όπως π.χ. πληροφορίες σχετικές µε το όνοµα του ηθοποιού, ενδεχοµένως κάποιο αναγνωριστικό του ηθοποιού κλπ). - Η εφαρµογή Anthropos7 Editor υποστηρίζει ένα ειδικό τύπο µεταδεδοµένων κάτω από τη γενική ονοµασία events. Η γενική οντότητα event παριστάνει ένα γενικό τύπο γεγονότος. Για παράδειγµα ένας τύπος event είναι ο διάλογος, δηλαδή πότε µια σκηνή είναι διάλογος ή όχι. Ο χρήστης καθορίζει ο ίδιος τα γεγονότα, ενώ υπάρχουν και events που έχουν ήδη δηµιουργηθεί για να καλύπτουν κάποιες κοινές περιπτώσεις (όπως π.χ. ο διάλογος που περιγράφηκε πριν). ιορθώσεις που έγιναν στο πρόγραµµα Anthropos7 Editor Στα πλαίσια της παρούσης διπλωµατικής εργασίας ήταν και ο έλεγχος και η αποσφαλµάτωση της εφαρµογής Anthropos7 Editor, καθώς και η επέκταση των δυνατότητων της εφαρµογής. Τα πιο σηµαντικά σφάλµατα απο αυτά που βρέθηκαν διορθώθηκαν και περιγράφονται παρακάτω:. 1. Βελτίωση της ταχύτητας επεξεργασίας του editor Η πιο σηµαντική βελτίωση καθώς τα µεγάλα XML αρχεία που προέκυπταν από την αυτόµατη επεξεργασία του video tracker περιείχαν µεγάλο αριθµό κόµβων (nodes) µε πολύγωνα ή µε bounding boxes των προσώπων των ηθοποιών και λόγω του τρόπου επεξεργασίας από το πρόγραµµα δηµιουργούνταν µεγάλες καθυστερήσεις κατα την επεξεργασία ή την διόρθωσή τους. Χρειάστηκε να αλλάξουν οι εσωτερικές δοµές που χρησιµοποιούσε το πρόγραµµα για την αποθήκευση των πληροφορίων καθώς επίσης και η αναζήτηση των ROIs περιορίστηκε πλεον σε επίπεδο shot, αυξάνοντας έτσι κατά πολύ την ταχύτητα επεξεργασίας του editor. Υπο δοκιµή είναι η συµπεριφορά του editor σε µεγάλα αρχεία XML που αφορούν σε ολοκλήρες ταινίες και είναι της τάξεως των ΜΒ. 61

62 2. Adding/Deleting ROIs Το δεύτερο σηµαντικό σφάλµα που βρέθηκε αφορά στην προσθήκη/διαγραφή περιοχών ενδιαφέροντος (ROIs). Πιο συγκεκριµένα, η λειτουργία της διαγραφής σε κάποιες περιπτώσεις διέγραφε ROIs τα οποία δεν ανήκαν στο συγκεκριµένο frame, αλλά και σε frames που ανήκαν σε άλλα shots. Επίσης, η λειτουργία της προσθήκης/δηµιουργίας νέας περιοχής ενδιαφέροντος παρουσίαζε προβληµατα, κάνοντας ουσιαστικά αδύνατη την δηµιουργία νέου ROI. Τα 2 προαναφερθέντα σφάλµατα διορθώθηκαν, και βρίσκονται κάτω απο ελεγχο για τη σωστή λειτουργίας τους. 3. Adding a schema value Oι επιλογές Create, Custom για τα schema values σε καποιες περιπτωσεις παρεµεναν ανενεργες. 4. Schema Entry Add Στην προσθηκη Schema Entry η αποθηκευση γίνεται πλέον µε το πατηµα του Enter ή µε το lost focus του πεδίου (ενώ πρώτα έπρεπε κανείς να δηµιουργήσει και να διαγραψει ένα νέο entry προκειµένου να σωθεί το προηγούµενο). 5. Schema Entry information Προστέθηκε η δυνατότητα στην εφαρµογή να διαβάζει tag τυπου event και να εµφανίζεται σαν text annotation (αυτό χρησιµοποιήθηκε στην εµφάνιση των αποτελεσµάτων του Dialog Detection module). 6. Adding a ROI Όταν δεν υπήρχε ενεργή η επιλογή Select available appearance η επιλογή Create new δεν ήταν πάντα ενεργή (αυτό το bug είναι διαφορετικό απο αυτό που περιγράφηκε παραπάνω). 62

63 7. Double frame number 0 ιορθώθηκε bug που εµφάνιζε τα δύο πρώτα frames µε τον αριθµό 0. Υπο διερεύνηση είναι bug που αφορά στην εµφάνιση του σωστού αριθµού των συνολικών frames. 8. Info panel Στο Info panel ο αριθµός frame δεν αλλάζει µε το mouseover και η ενηµέρωση πλέον του panel γίνεται σε real χρονο και δεν βασίζεται πλεον σε events (π.χ. στο mouse over). Προσθήκες και βελτιώσεις 1. Compare functions Τα XML αρχεία µε τα µεταδεδοµένα για ένα video που παράγονται αυτόµατα απο προγράµµατα, όπως για παράδειγµα το προγραµµα DIVA3D, περιέχουν πληροφορίες τις οποίες µπορεί ο χρήστης να δεί και να επεξεργαστεί µε την εφαρµογή Anthropos7 Editor. Όπως προαναφέρθηκε, στα πλαίσια της διπλωµατικής δηµιουργήθηκε µια βάση δεδοµένων αλήθειας σχετικά µε διάφορες πληροφορίες, όπως για παράδειγµα face detection, dialog, speech activity κ.α. Κατά την ανάπτυξη προγραµµάτων τα οποία εξάγουν αυτόµατα τέτοιου είδους πληροφορίες ενα σηµαντικό εργαλείο για τους προγραµµατιστές που τα αναπτύσουν είναι ένα εργαλείο που θα ελέγχει κατα πόσο τα αποτελέσµατα τους είναι κοντά ή οχι στο ground truth, δηλαδη σε αυτό που πραγµατικά συµβαίνει. Ουσιαστικά, δηλαδή θέλαµε µια λειτουργία σύγκρισης µεταξύ 2 αρχείων XML που περιέχουν πληροφορίες και µεταδεδοµένα (δηλαδη του XML αρχείου απο το ground truth και του XML αρχείου που παράγεται αυτόµατα απο κάποια εφαρµογή). Προστέθηκε στην εφαρµογή, λοιπόν, µια λειτουργία σύγκρισης. Οι λειτουργίες σύγκρισης είναι διαθέσιµες κάτω απο το κεντρικό µενού της εφαρµογής στην επιλογή Tools. Για παράδειγµα, θα δούµε τη διαδικασία που συγκρίνει αποτελέσµατα σχετικά µε face detection. Απο το µενού της εφαρµογής επιλέγουµε Tools -> Compare face detection results. 63

64 Εµφανίζεται το παράθυρο επιλογής των παραµέτρων (αρχείων εισόδου και εξόδου κλπ) για τη σύγκριση: Πιο συγκεκριµένα: - XML file for ground truth: Είναι το XML αρχειο απο τη βάση δεδοµένων αλήθειας. 64