Κωδικοποίηση βίντεο (MPEG) Εισαγωγή στο MPEG-2 Κωδικοποίηση βίντεο Κωδικοποίηση ήχου Ροή δεδοµένων Εισαγωγή στο MPEG-4 οµή σκηνών Κωδικοποίηση ήχου και βίντεο Τεχνολογία Πολυµέσων 11-1
Εισαγωγή στο MPEG-2 Στόχοι MPEG-2 Υψηλή ανάλυση µέχρι και HDTV Ρυθµοί δεδοµένων 4 Mbps έως 100 Mbps Προφίλ και επίπεδα Κάθε προφίλ υποστηρίζει µία κατηγορία εφαρµογών Περιγράφεται ο αλγόριθµος κωδικοποίησης Κάθε επίπεδο δίνει τις παραµέτρους των προφίλ Ρυθµός δειγµατοληψίας, ανάλυση, ρυθµός δεδοµένων Κύριο προφίλ MPEG-2 Αποθήκευση ή µετάδοση (4 Mbps έως 80 Mbps) Κατάλληλο για υποστήριξη HDTV Κλιµακώσιµα προφίλ Φορητός δέκτης για απλή ευκρίνεια Σταθερός δέκτης για HDTV Τεχνολογία Πολυµέσων 11-2
Εισαγωγή στο MPEG-2 Απλό Κύριο Κλιµάκωση Χωρική Υψηλό Προφίλ Προφίλ Προφίλ SNR κλιµάκωση Προφίλ Πλαίσια-B Όχι Ναι Ναι Ναι Ναι Λόγος 4:1:1 4:1:1 4:1:1 4:1:1 4:1:1, 4:2:2 ειγµ/ψίας SNR Κλιµάκωση Όχι Όχι SNR Χωρική Χωρική Επίπεδο Υψηλό <80 Mbps <100 Mbps (1920x1152) Υψηλό-1440 <60 Mbps <60 Mbps <80 Μbps (1440x1152) Κύριο <15 Mbps <15 Mbps <15 Mbps <20 Mbps (720x576) Χαµηλό (352x288) <4 Mbps <4 Mbps Προκαθορισµένοι συνδυασµοί προφίλ και επιπέδων Οριζόντιος άξονας: αυξανόµενη λειτουργικότητα Κατακόρυφος άξονας: αυξανόµενη ποιότητα Τεχνολογία Πολυµέσων 11-3
Κωδικοποίηση βίντεο Πλαίσιο Τεμάχιο 1 Τεμάχιο 2 Τεμάχιο 3... MB 4:2:2 Y B 1 B 3 B 2 B 4 Cb B 5 B 7 Cr B 6 B 8 οµή βίντεο Τεμάχιο Τεμάχιο 29 Τεμάχιο 30 MB1 MB2 MB3... MB43 MB44 Κωδικοποίηση µε πολλαπλές ποιότητες Αντοχή στις απώλειες κελιών (δίκτυα ATM) Παράδειγµα: ανάλυση 704x480 30 τεµάχια ανά πλαίσιο, 44 µακροµπλόκ ανά τεµάχιο 6 µπλοκ σε (4:1:1) ή 8 µπλοκ σε (4:2:2) B 1 B 3 MB 4:1:1 Y B 2 B 4 Cb B 5 Cr B 6 Τεχνολογία Πολυµέσων 11-4
Κωδικοποίηση βίντεο Χωρική κλιµάκωση Αποκωδικοποίηση βίντεο σε διαφορετικές αναλύσεις Πυραµιδική κωδικοποίηση της εικόνας Συνήθως κλιµάκωση µε βάση τις δυνάµεις του 2 Κλιµάκωση ρυθµού δεδοµένων Αναπαραγωγή µε χαµηλότερο ρυθµό πλαισίου Γρήγορη κίνηση εµπρός µε σταθερό ρυθµό πλαισίου Υλοποίηση µε περιοδικά πλαίσια-i Το MPEG-2 δεν υποστηρίζει πλαίσια-d Κλιµάκωση σήµατος προς θόρυβο (SNR) Μεταβλητή κβαντοποίηση των συντελεστών DCT Στρωµατοποιηµένη κωδικοποίηση ιάκριση δεδοµένων για διόρθωση λαθών Τεχνολογία Πολυµέσων 11-5
Κωδικοποίηση ήχου Πολυκαναλικός ήχος Μέχρι πέντε κανάλια πλήρους εύρους Κεντρικό, εµπρός, περιφερειακά Κανάλι βελτίωσης µπάσων (LFE) Συχνότητες 15-120 Hz Πολύγλωσση οµιλία και σχολιασµός Κινηµατογραφικός ήχος 5.1 Επέκταση του MPEG-1 Υποδιπλάσιοι ρυθµοί δειγµατοληψίας Αποδοτικό µε 64 Kbps ανά κανάλι Συµβατότητα µε MPEG-1 L C R LS 3/2 (α) RS 2/2 (β) 3/1 2/1 LFE (γ) L LS L C R L R LFE (δ) R RS Τεχνολογία Πολυµέσων 11-6
Ροή δεδοµένων Πολύπλεξη βίντεο, ήχου και άλλων µέσων Ροές κατάληλες για αποθήκευση και µετάδοση Χρονοσφραγίδες για συγχρονισµό ροών Πρώτο στάδιο πολύπλεξης ιαίρεση ροής σε πακέτα Στοιχειώδης ροή πακέτων (PES) εύτερο στάδιο πολύπλεξης Ροή προγράµµατος (PS) ή ροή µεταφοράς (TS) Ροή προγράµµατος Παρόµοια µε τις ροές του MPEG-1 Κατάλληλη για περιβάλλοντα ελεύθερα λαθών Πακέτα µεταβλητού µήκους και σταθερή καθυστέρηση Τεχνολογία Πολυµέσων 11-7
Ροή δεδοµένων Ροή µεταφοράς PES µαζί µε ανεξάρτητες βάσεις χρονισµού Κατάλληλη για περιβάλλοντα µε απώλειες ή θόρυβο Πακέτα σταθερού µήκους (184+4 bytes) Μετατροπή µεταξύ ροών Μεταβλητός ρυθµός µετάδοσης Χρήση ενταµιευτή για σταθερό ρυθµό µετάδοσης Μεταβαλλόµενη ποιότητα µέσων Καθυστέρηση από άκρο σε άκρο Περιορίζεται από το µέγεθος των ενταµιευτών Κάτω από ένα δευτερόλεπτο για ήχο και βίντεο Μπορεί να είναι µεγάλη για διαλογικές εφαρµογές Τεχνολογία Πολυµέσων 11-8
Εισαγωγή στο MPEG-4 Γιατί δεν υπάρχει MPEG-3; Σχεδιαζόταν για τα συστήµατα HDTV Υπερκαλύφθηκε από το MPEG-2 Πρότυπο MPEG-4 Μείωση αντί αύξησης ρυθµού δεδοµένων εκαπλάσια συµπίεση από H.261 (στόχος) Στόχοι του MPEG-4 Αλληλεπίδραση µε φυσικό και συνθετικό περιεχόµενο Κατέβασµα νέων εφαρµογών και αλγορίθµων Υποστήριξη κλιµακωτών ροών δεδοµένων Ανεξαρτησία από τη δικτυακή τεχνολογία ιαφοροποίηση από τα MPEG-1/2 Έµφαση στη δοµή των ροών Κάλυψη της διεπαφής µε τους χρήστες Τεχνολογία Πολυµέσων 11-9
Εισαγωγή στο MPEG-4 Αναπαράσταση οπτικοακουστικών σκηνών Φυσικά και συνθετικά αντικείµενα Ανθρώπινα πρόσωπα και σώµατα Κινήσεις προσώπων και σωµάτων Σύνθεση οµιλίας από κείµενο Λειτουργίες MPEG-4 Κωδικοποίηση πολυµεσικών µονάδων Σύνθεση µονάδων σε οπτικοακουστικές σκηνές Πολύπλεξη ροών δεδοµένων Αλληλεπίδραση σκηνών µε τον παραλήπτη ύο είδη κωδικοποίησης Κωδικοποίηση οπτικοακουστικών αντικειµένων (AVO) Κωδικοποίηση σύνθεσης σκηνών Τεχνολογία Πολυµέσων 11-10
οµή σκηνών Κωδικοποίηση VOP 0 σχήμα κίνηση κείμενο αποθήκευση CD/DVD Ορισμός VOP MUX ροή bit Κωδικοποίηση VOP 1 σχήμα κίνηση κείμενο εξυπηρετητής βίντεο Αποκωδικοποίηση VOP 0 σχήμα κίνηση κείμενο πολυμεσικό δίκτυο Σύνθεση Αποκωδικοποίηση VOP 1 σχήμα κίνηση κείμενο DEMUX αποθήκευση CD/DVD Τεχνολογία Πολυµέσων 11-11
οµή σκηνών Πρωταρχικό (primitive) AVO Αµετάβλητο φόντο δύο διαστάσεων Εικόνα ατόµου που περπατάει και µιλάει Φωνή που σχετίζεται µε το άτοµο αυτό Ιεραρχική οργάνωση AVO Οπτικό AVO (άτοµο) και ηχητικό AVO (φωνή) Μοντέλο σκηνών Βασίζεται στη γλώσσα VRML αλλά 2 διαστάσεων Αλληλεπίδραση και συγχρονισµός AVO Επιφάνεια αντικειµένου βίντεο (VOP) Αναπαράσταση οπτικού AVO Σχήµα: χάρτης ψηφίων Κίνηση και υφή: όπως στο MPEG-2 ή µε κυµατίδια Τεχνολογία Πολυµέσων 11-12
οµή σκηνών Πολυπλέκτης (MUX) Πολύπλεξη πληροφοριών σύνθεσης σε µία ροή Θέση, βάθος και προσανατολισµός AVO Πλαίσιο ενοποιηµένης µεταφοράς πολυµέσων (DMIF) ιεπαφή MPEG-4 µε το δίκτυο Τυποποιηµένη επικοινωνία πολυµεσικών εφαρµογών Αποπολυπλέκτης (DEMUX) Ανάκτηση σχήµατος, κίνηση και υφής AVO από µία ροή Αποκωδικοποίηση AVO και σύνθεση σκηνής Προδιαγραφές βίντεο MPEG-4 Ποικιλία ρυθµών δεδοµένων, αναλύσεων και ποιοτήτων Μέθοδοι κωδικοποίησης φυσικών και συνθετικών σκηνών υνατότητα πρόσβασης στα αντικείµενα των σκηνών Πρόσβαση µε βάση το περιεχόµενο Τεχνολογία Πολυµέσων 11-13
Κωδικοποίηση ήχου και βίντεο Σύνθεση σκηνής από ιεραρχία αντικειµένων Αρχικά, µετάδοση της ιεραρχίας των αντικειµένων Μετά, µετάδοση των αλλαγών σε κάθε κόµβο Πιθανώς, µεταβολή και της ιεραρχίας Ο χρήστης αλληλεπιδρά µε τους κόµβους Πιθανοί τρόποι αλληλεπίδρασης Αλλαγή θέσης παρατήρησης της σκηνής Σύρσιµο αντικειµένων σε άλλες θέσεις Εκκίνηση µίας ακολουθίας γεγονότων Αναπαράσταση αντικειµένων βίντεο και ήχου Καθορισµός απαιτούµενων τάξεων αντικειµένων Κατέβασµα τάξεων που λείπουν από τον παραλήπτη Αρχικοποίηση τάξεων και δοµών δεδοµένων Αποπολύπλεξη, συγχρονισµός και αποκωδικοποίηση Τεχνολογία Πολυµέσων 11-14
Κωδικοποίηση ήχου και βίντεο Κωδικοποίηση ανθρώπινων χαρακτηριστικών Παράµετροι περιγραφής προσώπων και κινήσεών του Παράµετροι περιγραφής σώµατος και κινήσεών του Αναπαράσταση αντικειµένων µε πλέγµατα Σύνολα επίπεδων πολυγωνικών επιφανειών Ρεαλιστική απεικόνιση µε προβολή υφών Μέθοδοι κωδικοποίησης φυσικού ήχου 2-6 Kbps: παραµετρική κωδικοποίηση 6-24 Kbps: γραµµική πρόβλεψη µε κωδικούς διέγερσης 24-64 Kbps: µετασχηµατισµός χρόνου σε συχνότητες Κωδικοποιητής κειµένου σε φωνή (TTS) Ρυθµοί δεδοµένων 200 bps έως 1,2 Kbps Απλό κείµενο ή κείµενο µε πληροφορίες προσωδίας Τεχνολογία Πολυµέσων 11-15
Κωδικοποίηση ήχου και βίντεο Μουσική σύνθεση µε βάση παρτιτούρα Ρυθµοί δεδοµένων 2 Kbps έως 3 Kbps Ορχήστρα που αποτελείται από όργανα και οδηγίες προς αυτά Τράπεζα ήχων και σύνολο ηχητικών εφφέ Χωρική και χρονική κλιµάκωση Μερική αποκωδικοποίηση για παρουσίαση Εφαρµογές κλιµάκωσης ίκτυα µε περιορισµούς στην ταχύτητα µετάδοσης Εφαρµογές µειωµένης ανάλυσης ή ποιότητας Υποστήριξη θορυβωδών καναλιών Αλγόριθµοι συµπίεσης µε ανοχή στα λάθη Ανασυγχρονισµός διακοπτόµενων ροών Ανάκτηση παρεφθαρµένων ροών Απόκρυψη σφαλµάτων Τεχνολογία Πολυµέσων 11-16