Συγχρονισµός πολυµέσων

Transcript

1 Συγχρονισµός πολυµέσων Έννοια του συγχρονισµού Απαιτήσεις παρουσίασης Ποιότητα υπηρεσίας συγχρονισµού Πλαίσιο αναφοράς συγχρονισµού Κατανεµηµένος συγχρονισµός Προδιαγραφές συγχρονισµού Τεχνολογία Πολυµέσων 12-1

2 Έννοια του συγχρονισµού Ενοποιηµένη διαχείριση µέσων Ψηφιακή αναπαράσταση και συγχρονισµός µέσων Συγχρονισµός ενός αντικειµένου Χρονικές σχέσεις ανάµεσα στα LDU ενός συνεχούς µέσου Συγχρονισµός πολλαπλών αντικειµένων Χρονικές σχέσεις ανάµεσα σε πολλαπλά µέσα Συνεχή µέσα Χρονικές συσχετίσεις ανάµεσα στα LDU Συγχρονισµός µεταξύ συνεχών µέσων ιακριτά µέσα εν υπάρχουν εγγενείς χρονικές συσχετίσεις Συγχρονισµός µε συνεχή µέσα Τεχνολογία Πολυµέσων 12-2

3 Έννοια του συγχρονισµού Επίπεδα ορισµού των LDU Μουσική συµφωνία (ήχος) Συµφωνία, µέρη, νότες, δείγµατα Κινηµατογραφική ταινία (βίντεο) Ταινία, GOP, µακροµπλόκ, εικονοστοιχεία Ιεραρχική οργάνωση LDU Ιεραρχία περιεχοµένου (συµφωνία -> µέρη) Ιεραρχία κωδικοποίησης (πλαίσιο -> µακροµπλόκ) Ζωντανός συγχρονισµός: φυσικά µέσα Αναπαραγωγή συσχετίσεων ψηφιοποίησης Συνθετικός συγχρονισµός: συνθετικά µέσα Αναπαραγωγή ανεξάρτητων µέσων Οι συσχετίσεις ορίζονται εκ των υστέρων Τεχνολογία Πολυµέσων 12-3

4 Απαιτήσεις παρουσίασης Συγχρονισµός ενός αντικειµένου Αποφυγή διαταραχής στο χρόνο παρουσίασης Συγχρονισµός πολλών αντικειµένων Συγχρονισµός µετά από διαφορετικές καθυστερήσεις Περιορισµένο µπλοκάρισµα Κενά για µικρές καθυστερήσεις Επανάληψη LDU για µεγάλες καθυστερήσεις Αναψηφιοποίηση µέσων Επιτάχυνση ή επιβράδυνση ροών δεδοµένων Συγχρονισµός µέσων µε απόκλιση ρολογιού Επανάληψη/παράλειψη/παρεµβολή LDU Μετατροπές PL/SECM/NTSC Τεχνολογία Πολυµέσων 12-4

5 Απαιτήσεις παρουσίασης Απαιτήσεις παρουσίασης Εξαρτώνται από την αντίληψη κάθε ατόµου Βασιζόµαστε σε εµπειρικές µελέτες Συγχρονισµός χειλιών Βίντεο (χείλη) και ήχος (φωνή) Θετική απόκλιση: βίντεο έπεται του ήχου Αρνητική απόκλιση: ήχος έπεται του βίντεο Εµπειρική µελέτη Παρουσιαστής ειδήσεων Όψη κεφαλής, ώµων, σώµατος Απόκλιση σε βήµατα 40 ms Παρόµοια αποτελέσµατα (καµπύλες) Ελαφρά µεγαλύτερη ενόχληση σε όψη κεφαλής Τεχνολογία Πολυµέσων 12-5

6 Απαιτήσεις παρουσίασης Εντοπισµένα σφάλµατα (%) Κεφαλή Ώµοι Σώµα Απόκλιση (msec) Τεχνολογία Πολυµέσων 12-6

7 Απαιτήσεις παρουσίασης Ανοχή στην απόκλιση Πιο ενοχλητική η θετική απόκλιση Πιο απότοµη αύξηση καµπυλών στα δεξιά Οφείλεται στην ταχύτητα του φωτός Η αρνητική απόκλιση είναι καθηµερινό φαινόµενο Απόσταση 20 m, αρνητική απόκλιση 60 ms Εντός συγχρονισµού: 80 msέως +80 ms εν έγιναν αντιληπτές ή κρίθηκαν αποδεκτές Εκτός συγχρονισµού: πάνω από +/ 160 ms Έγιναν αντιληπτές και κρίθηκαν ενοχλητικές. Μεταβατικές: +/- 80 έως 160 ms Αποδοχή ανάλογα µε παρατηρούµενη εικόνα Τεχνολογία Πολυµέσων 12-7

8 Ποιότητα υπηρεσίας συγχρονισµού Συγχρονισµός δείκτη µε οµιλία Μέχρι 750 ms όταν ο δείκτης έπεται του ήχου Μέχρι 500 ms όταν ο ήχος έπεται του δείκτη Συγχρονισµός καναλιών ήχου Στερεοφωνικός ήχος: 11 ms Οµιλία µε µουσική στο φόντο: 500 ms Συζήτηση από διαφορετικά κανάλια: 120 ms Ποιότητα υπηρεσίας συγχρονισµού Συγχρονισµός επιπέδου παραγωγής Μικρή ή µηδενική απόκλιση Συγχρονισµός επιπέδου παρουσίασης Απόκλιση εντός ορίων αντίληψης Τεχνολογία Πολυµέσων 12-8

9 Ποιότητα υπηρεσίας συγχρονισµού Μέσα Εφαρµογή Όριο ανοχής Κινούµενα σχέδια Συσχέτιση +/- 120 ms Ήχος Συγχρονισµός χειλιών +/- 80 ms Βίντεο Εικόνα Με επικάλυψη +/- 240 ms Χωρίς επικάλυψη +/- 500 ms Κείµενο Με επικάλυψη +/- 240 ms Χωρίς επικάλυψη +/- 500 ms Κινούµενα σχέδια Συσχέτιση +/- 80 ms Ήχος Στενή εξάρτηση (στέρεο) +/- 11 µs Ενδιάµεση εξάρτηση (διάλογος) +/- 120 ms Ήχος Χαλαρή εξάρτηση (φόντο) +/- 500 ms Εικόνα Στενή εξάρτηση (παρτιτούρα) +/- 5 ms Χαλαρή εξάρτηση (παρουσίαση) +/- 500 ms Κείµενο Σχολιασµός κειµένου +/- 240 ms είκτης Σχολιασµός δείκτη -500 ms / +750 ms Τεχνολογία Πολυµέσων 12-9

10 Πλαίσιο αναφοράς συγχρονισµού Πολυμεσική εφαρμογή επίπεδο προδιαγραφών υψηλό επίπεδο αντικειμένων επίπεδο ροών επίπεδο αφαίρεσης επίπεδο μέσων χαμηλό Επίπεδο µέσων Συγχρονισµός των LDU ενός συνεχούς µέσου Συγχρονισµός πολλαπλών µέσων από εφαρµογή Παρακολούθηση ρολογιού για εµφάνιση υποτίτλων Τεχνολογία Πολυµέσων 12-10

11 Πλαίσιο αναφοράς συγχρονισµού Επίπεδο ροών Ροές και οµάδες ροών συνεχών µέσων Ορισµός χρονικών περιορισµών µεταξύ ροών Ορισµός γεγονότων στις επιθυµητές στιγµές Εµφάνιση υποτίτλων όταν συµβούν τα γεγονότα Επίπεδο αντικειµένων Πολυµεσικές παρουσιάσεις και αντικείµενα µέσων Ορισµός χρονικών περιορισµών µεταξύ αντικειµένων Συγχρονισµός διακριτών µέσων µε συνεχή Ορισµός του πότε θα εµφανιστούν οι υπότιτλοι Επίπεδο προδιαγραφών Εργαλεία δηµιουργίας προδιαγραφών συγχρονισµού Εργαλεία µετατροπής προδιαγραφών συγχρονισµού Τεχνολογία Πολυµέσων 12-11

12 Κατανεµηµένος συγχρονισµός Κατανεµηµένο σύστηµα πολυµέσων Αυξηµένη καθυστέρηση και διαταραχή λόγω µετάδοσης Πότε µεταδίδονται οι προδιαγραφές; Πριν την παρουσίαση Κατάλληλη για συνθετικό συγχρονισµό Καθυστέρηση λόγω µετάδοσης προδιαγραφών Μέσω χωριστού καναλιού Κατάλληλη για ζωντανό συγχρονισµό Απαιτεί πρόσθετο κανάλι συγχρονισµού Πολυπλεγµένες µε ροές µέσων εν αυξάνει την καθυστέρηση ούτε απαιτεί πρόσθετα κανάλια εν µπορούµε να χειριστούµε κάθε ροή διαφορετικά Τεχνολογία Πολυµέσων 12-12

13 Κατανεµηµένος συγχρονισµός πηγή ζήτηση εύρους ζώνης προορισμός πηγή ζήτηση εύρους ζώνης Συγχρονισµός στην πηγή Αρκεί ένα κανάλι για όλες τις πληροφορίες Συγχρονισµός στον προορισµό Συγχρονισµός πριν την παρουσίαση προορισμός Τεχνολογία Πολυµέσων 12-13

14 Κατανεµηµένος συγχρονισµός πηγή ήχου () Τ a, Ο a πηγή βίντεο (V) Τ v, O v N la N lv Προορισμός ΑV T av Ακρίβεια συγχρονισµού ρολογιών Παρουσίαση ήχου και βίντεο τη στιγµή T av Ήχος: αρχίζει τη στιγµή T a =T av -N la -O a Βίντεο: αρχίζει τη στιγµή T v =T av -N lv -O v N la,n lv : καθυστέρηση µετάδοσης O a, O v : απόκλιση ανάµεσα στα ρολόγια (άγνωστη) Εκτίµηση άνω ορίου απόκλισης Εκχώρηση ενταµιευτών και έγκαιρη εκκίνηση Έγκαιρη εκκίνηση µετάδοσης Τεχνολογία Πολυµέσων 12-14

15 Προδιαγραφές συγχρονισµού δ1 δ1 δ1 before(δ1) beforeendof(δ1) cobegin(δ1) δ1 δ1 δ2 δ1 δ2 δ1 δ2 coend(δ1) while(δ1,δ2) delayed(δ1,δ2) startin(δ1,δ2) δ1 δ2 δ2 δ1 δ1 δ2 δ3 endin(δ1,δ2) cross(δ1,δ2) overlaps(δ1,δ2,δ3) Προδιαγραφές διαστηµάτων ιάφορες σχέσεις ανάµεσα στα διαστήµατα Τεχνολογία Πολυµέσων 12-15

16 Προδιαγραφές συγχρονισµού καταγραφή αλληλεπίδρασης αλληλεπίδραση ήχος 1 P1 P2 P3 κινούμενα σχέδια P4 βίντεο ήχος 2 Προδιαγραφές διαστηµάτων Επιτρέπονται µηδενικές και άγνωστες παράµετροι χρόνος εν χειρίζεται σχέσεις ανάµεσα σε µέρη αντικειµένων Πιθανά προβλήµατα όταν ορίζονται οι άγνωστες διάρκειες Προδιαγραφές αξόνων Γενικό ρολόι συγχρονισµού (χρονικός άξονας) Σύνδεση αντικειµένων µε το ρολόι Τεχνολογία Πολυµέσων 12-16

17 Προδιαγραφές συγχρονισµού Προδιαγραφές αξόνων εν χειρίζεται αντικείµενα µε άγνωστη διάρκεια Κάθε µέσο πρέπει να συγχρονιστεί µε το ρολόι Συνήθως χρησιµοποιείται ο ήχος ως γενικό ρολόι Προδιαγραφές βασιζόµενες σε ροή ελέγχου Συγχρονισµός σε προκαθορισµένα σηµεία Ιεραρχικές προδιαγραφές Παρουσίαση εν σειρά ή παράλληλα Φύλλα: αντικείµενα µέσων Εσωτερικοί κόµβοι: σειρά παρουσίασης παιδιών Χρονικές καθυστερήσεις ως αντικείµενα Συγχρονισµός µόνο σε αρχή / τέλος αντικειµένων εν µπορεί να εκφράσει περίπλοκες σχέσεις Τεχνολογία Πολυµέσων 12-17

18 Προδιαγραφές συγχρονισµού Παρουσίαση εν σειρά Κατ Αλλ Εικ 1 Εικ 2 Εικ 3 Ήχος 1 Βίντεο Παράλληλη παρουσίαση Κίν 1 Κίν 2 Ήχος 2 Κίν 3 Αλλ Εικ 4 Ιεραρχικές προδιαγραφές Τεχνολογία Πολυµέσων 12-18