Κωδικοποίηση βίντεο (MPEG)

Transcript

1 (MEG) Εισαγωγή στο MEG-1 Κωδικοποίηση βίντεο οµή βίντεο Κωδικοποίηση ήχου Ροή δεδοµένων Τεχνολογία Πολυµέσων 11-1

2 Εισαγωγή στο MEG-1 MEG (Motion ictures Experts Group) ίντεο και ήχος υψηλής ποιότητας ιανοµή (CD-ROM) ή µετάδοση Ρυθµός δεδοµένων µέχρι 1,2 Mbps Αντιστοιχεί σε CD-ROΜ µονής ταχύτητας Αξιοποίηση άλλων προτύπων JEG: ενδοπλαισιακή κωδικοποίηση H.261: διαπλαισιακή κωδικοποίηση Συµµετρική και ασυµµετρική συµπίεση Κωδικοποίηση ήχου Κωδικοποίηση βίντεο Πολύπλεξη ροών δεδοµένων Τεχνολογία Πολυµέσων 11-2

3 Μορφότυπα εικόνας Ανάλυση πλαισίου µέχρι 768 x 576 Συνιστώσες YUV, αναλογία (4:1:1) 8 bits ανά εικονοστοιχείο ανά συνιστώσα Τυποποιηµένο µορφότυπο ανταλλαγής (SIF) NTSC: 352 x 240 (φωτεινότητα), 176 x 120 (χρωµικότητα) AL/SECAM: 352 x 288 (φωτεινότητα), 176 x 144 (χρωµικότητα) Ρυθµοί πλαισίου από 23,97 Hz έως 60 Hz 14 λόγοι διαστάσεων εικονοστοιχείων 1:1 για τετράγωνα εικονοστοιχεία ιαφορετικοί λόγοι για προσαρµογή σε 4:3 και 16:9 ιαπλαισιακή και ενδοπλαισιακή κωδικοποίηση Τεχνολογία Πολυµέσων 11-3

4 Πλαίσιο Τεμάχιο 1 Τεμάχιο 2 Τεμάχιο 3... Τεμάχιο Τεμάχιο 14 Τεμάχιο 15 MB1 MB2 MB3... MB21 MB22 Το πλαίσιο διαιρείται σε µακροµπλόκ 16 x 16 φωτεινότητα και 8 x 8 χρωµικότητα Οριζόντια τεµάχια (slices) Όλα τα µακροµπλόκ στην ίδια οριζόντιο 352 x 240 (NTSC): 15 τεµάχια x 22 µακροµπλόκ B 1 B 3 MB Y B 2 B 4 Cb B 5 Cr B 6 Τεχνολογία Πολυµέσων 11-4

5 Συµβιβασµός αντικρουόµενων αναγκών Αποδοτική κωδικοποίηση: διαπλαισιακή κωδικοποίηση Τυχαία προσπέλαση: ενδοπλαισιακή κωδικοποίηση Πλαίσια-I (Ι-frames) Κωδικοποιούνται χωρίς αναφορές σε άλλα πλαίσια Κατάλληλα για τυχαία προσπέλαση Συµπίεση JEG µε απωλεστικό ακολουθιακό ρυθµό Μπλοκ φωτεινότητας και χρωµικότητας (8x8) Μετασχηµατισµός DCT Κβαντοποίηση συντελεστών DCM για συντελεστές DC, διάταξη για συντελεστές AC Κωδικοποίηση µήκους σειρών (RLE) Κωδικοποίηση εντροπίας παρόµοια µε Huffman Τεχνολογία Πολυµέσων 11-5

6 RGB YUV Συντελεστές DCT Κβαντοποιημένοι συντελεστές DCT Κατάργηση μηδενικών Κώδικας μεταβλητού μήκους Δείγματα RGB σε YUV Μετασχηματισμός (DCT) Κβαντοποίηση Μήκους σειρών Παραλλαγή Huffman Πίνακας Πίνακας Σταθερός ρυθµός δεδοµένων Παράγοντας κλιµάκωσης συντελεστών κβαντοποίησης Ακέραιος αριθµός ανάµεσα στο 1 και το 31 Πολλαπλασιαστής συντελεστών κβαντοποίησης Παρακολουθεί τη χωρητικότητα του ενταµιευτή Μεταδίδεται σε κάθε αλλαγή τιµής Τεχνολογία Πολυµέσων 11-6

7 I Πρόβλεψη προς τα εμπρός Πρόβλεψη προς τα εμπρός I I Χρόνος Πλαίσια- (-frames) Επανόρθωση κίνησης Οι συνεχόµενες εικόνες συνήθως διαφέρουν λίγο Από αµέσως προηγούµενο πλαίσιο-i ή πλαίσιο- Εντοπισµός πλέον παρόµοιου µακροµπλόκ Επιτρέπονται και µακροµπλόκ χωρίς πρόβλεψη Τεχνολογία Πολυµέσων 11-7

8 ιάφορες µέθοδοι εύρεσης πλησιέστερου πλαισίου Συµβιβασµός υπολογιστικής ισχύος, κόστους και ποιότητας ιάφορα κριτήρια ταιριάσµατος µπλοκ ιαφορές όλων των εικονοστοιχείων Άθροισµα διαφορών όλων των συνιστωσών Επιλογή του µικρότερου αθροίσµατος Κωδικοποίηση µεταβολής ιάνυσµα κίνησης και διαφορές των µπλοκ εν προσδιορίζεται η µέθοδος επιλογής εν προσδιορίζεται η περιοχή αναζήτησης Έµµεσος περιορισµός από το διάνυσµα Εξαρτάται από την υπολογιστική ισχύ Τεχνολογία Πολυµέσων 11-8

9 Δείγματα Πλαίσιο αναφοράς RGB σε YUV YUV YUV Όροι σφάλματος Συντελεστές DCT Κβαντοποιημένοι συντελεστές DCT Κατάργηση μηδενικών Κώδικας μεταβλητού μήκους Ταίριασμα περιοχών Μετασχηματισμός (DCT) Κβαντοποίηση Μήκους σειρών Παραλλαγή Huffman Πίνακας Πίνακας Διάνυσμα κίνησης ιάνυσµα κίνησης: DCM σε γειτονικά µακροµπλόκ ιαφορές των µπλοκ: µετασχηµατισµός DCT Ταυτόχρονη κωδικοποίηση / κβαντοποίηση AC και DC Τεχνολογία Πολυµέσων 11-9

10 Πλέον παρόμοια μακρομπλόκ πλαίσιο I πλαίσιο B πλαίσιο F1 F1 F2 F3 Πλέον παρόμοια μακρομπλόκ Πλαίσια-B (B-frames) Αµέσως προηγούµενο ή επόµενο πλαίσιο-i ή Επιτρέπεται χρήση και των δύο πλαισίων ύο διανύσµατα κίνησης Παρεµβολή για µακροµπλόκ αναφοράς Τεχνολογία Πολυµέσων 11-10

11 I B Πρόβλεψη δύο κατευθύνσεων I Πρόβλεψη δύο κατευθύνσεων Κωδικοποίηση πλαισίων-b Ίδια µέθοδος µε τα πλαίσια- Περιοδική χρήση πλαισίων-i και πλαισίων- B I Κωδικοποίηση ενδιάµεσων πλαισίων-b Πλαίσια-D (D-frames) Ενδοπλαισιακή κωδικοποίηση Χαµηλότερη ποιότητα από τα πλαίσια-i Κωδικοποιούνται µόνο οι συνιστώσες DC Γρήγορη κίνηση εµπρός και πίσω Τεχνολογία Πολυµέσων 11-11

12 οµή βίντεο Πρόβλεψη δύο κατευθύνσεων Πρόβλεψη μίας κατεύθυνσης Ι Ι Οµάδα εικόνων (GO) Ξεκινάει και τελειώνει µε διαδοχικά πλαίσια-i Περιλαµβάνει όλα τα ενδιάµεσα πλαίσια- και B ασική µονάδα συγχρονισµού στο MEG-1 Οµάδα πλαισίων Ξεκινάει µε πλαίσιο-i ή Τελειώνει πριν το επόµενο πλαίσιο- ή I ιαφορετική σειρά αποκωδικοποίησης και εµφάνισης N = 15 Τεχνολογία Πολυµέσων M = 3

13 οµή βίντεο Ενταµίευση πλαισίων Πλαίσιο-I: µέχρι το επόµενο πλαίσιο- Πλαίσιο-: µέχρι το επόµενο πλαίσιο- ή πλαίσιο-i Πλαίσιο-B: καθόλου Σειρά εµφάνισης IBBBBBBIBBBBBB Σειρά αποκωδικοποίησης IBBBBIBBBBBB Περιοδικότητα πλαισίων N: ελάχιστη µονάδα τυχαίας προσπέλασης M: ελάχιστη µονάδα αποκωδικοποίησης Προετοιµασία ήχου ειγµατοληψία 48 KHz, 44,1KHz ή 32 KHz Κβαντοποίηση µε 16 bits ανά δείγµα Ένα ή δύο (ανεξάρτητα ή εξαρτηµένα) κανάλια Τρία επίπεδα (layers) κωδικοποίησης Τεχνολογία Πολυµέσων 11-13

14 Κωδικοποίηση ήχου ασική κωδικοποίηση ιαχωρισµός φάσµατος σε 32 υπό-ζώνες (sub-bands) Μετασχηµατισµός FFT σε κάθε ζώνη Ψυχοακουστικό (psychoacoustical) µοντέλο Ένα ισχυρό ηχητικό σήµα κρύβει τα πιο ασθενή Από το πλάτος εκτιµούµε τον ανεκτό θόρυβο στη ζώνη Ανάλογη προσαρµογή της κβαντοποίησης Τελική κωδικοποίηση Επίπεδα 1 και 2: κωδικοποίηση CM Επίπεδο 3: κωδικοποίηση Huffman Ρυθµός δεδοµένων: τουλάχιστον 32 Kbps Επίπεδο 1: µέχρι 448 Kbps Επίπεδο 2: µέχρι 384 Kbps Επίπεδο 3 µέχρι 320 Kbps, µε µεταβλητό ρυθµό Τεχνολογία Πολυµέσων 11-14

15 Ροή δεδοµένων Ροή δεδοµένων ήχου Πλαίσια -> µονάδες πρόσβασης -> υποδοχές Επίπεδο 1: 4 bytes ανά υποδοχή Επίπεδα 2 και 3: 1 byte ανά υποδοχή Ροή δεδοµένων βίντεο (6 επίπεδα) Επίπεδο ακολουθίας: ενταµίευση Ρυθµός δεδοµένων και χώρος ενταµίευσης Ενταµιευτής επαλήθευσης µετά τον κβαντοποιητή Ψυχοακουστικό Μοντέλο Εκτίµηση καθυστέρησης και απαιτούµενου χώρου Μεταβολή του παράγοντα κλιµάκωσης Καµία συσχέτιση µεταξύ διαδοχικών ακολουθιών Επίπεδο οµάδων εικόνων: προσπέλαση Αποτελείται από ένα τουλάχιστον πλαίσιο-i ιάκριση σειράς παρουσίασης και αποσυµπίεσης Έλεγχος Ασυμπίεστα Δεδομένα Ήχου Φίλτρα Κβαντοποίηση Πολύπλεξη Κωδικοποίηση Συμπιεσμένα Δεδομένα Ήχου 32 Υπο-ζώνες Τεχνολογία Πολυµέσων 11-15

16 Ροή δεδοµένων Επίπεδο εικόνας: πλαίσια Αριθµοί σειράς για συσχέτιση πλαισίων Επίπεδο τεµαχίου: τεµάχια πλαισίων Μεταβολή πλήθους µακροµπλόκ σε κάθε πλαίσιο Επίπεδο µακροµπλόκ: χαρακτηριστικά µακροµπλόκ Επίπεδο µπλοκ: χαρακτηριστικά µπλοκ Πολύπλεξη ροών δεδοµένων Συγχρονισµός, ρύθµιση ρολογιών, ενταµίευση ιαίρεση ροής δεδοµένων σε πακέτα (packs) Χρονοσφραγίδες συγχρονισµού επί µέρους ροών Μέγιστος ρυθµός δεδοµένων στο πρώτο πακέτο υσκολία πρόσβασης για δικτυακές ροές Τεχνολογία Πολυµέσων 11-16