Συστήµατα και Αλγόριθµοι Πολυµέσων Ιωάννης Χαρ. Κατσαβουνίδης Οµιλία #: ιεθνές στάνταρ συµπίεσης βίντεο H.264 28 Νοεµβρίου 2005
Επανάληψη Ανθεκτικότητα στο θόρυβο κατά τη µετάδοση ψηφιακού βίντεο MPEG4 Πακετοποίηση δεδοµένων (RM) Επανάληψη επικεφαλίδας (HEC) Χωρισµός δεδοµένων (DP) Αναστρέψιµοι κωδικοί µεταβλητού µήκους (RVLC) Κυκλική ενδο-ανανέωση (CIR) Προσαρµοσµένη ενδο-ανανέωση (AIR)
Επανάληψη (2) Αρχιτεκτονική µικροεπεξεργαστή Xtensa (Tensilia) Πυρήνας µικροεπεξεργαστή που µπορεί να προσαρµοστεί ή να επεκταθεί ανάλογα µε τις εφαρµογές TIE: καινούργιες εντολές γλώσσας µηχανής που καθορίζονται από το σχεδιαστή Όλες οι παράµετροι του µικροεπεξεργαστή µπορούν να καθοριστούν και συνεπώς να βελτιστοποιηθούν ανάλογα µε τηνεφαρµογή.
Άσκηση #0 Να υλοποιήσετε τον αλγόριθµο εύρεσης διανύσµατος κίνησης χρησιµοποιώντας το κριτήριο της ελαχιστοποίησης του αθροίσµατος των απολύτων τιµών των διαφορών (minsad) Να εφαρµόσετε τον αλγόριθµο εύρεσης διανύσµατος κίνησης σε µπλοκ 6x6 φωτεινότητας του βίντεο sr9 και να σχεδιάσετε το ιστόγραµµατωνδιανυσµάτων κίνησης οριζοντίως και καθέτως για κάθε καρέ
Άσκηση #0 (συνέχεια) Να µεταφέρετε το πρόγραµµααπό αρχιτεκτονική PC (Windows/Intel/AMD) σε αρχιτεκτονική Tensilia-Xtensa.
Χρονοδιάγραµµα MPEG MPEG VCD Ποιότητα βίντεο τηλεόρασης (352 288), ήχος CD (2 κανάλια,44.khz) ρυθµός µετάδοσης,5mbps MPEG2 DVD Ποιότητα βίντεο ψηφιακής τηλεόρασης (720 480), πολυκάναλος ήχος σινεµά (6 κανάλια,48khz) ρυθµός µετάδοσης 8Mbps MPEG4 Κινητά 3ης γενιάς Καλής ποιότητας βίντεο (76x44), µε τηλεφωνικής ποιότητας ήχο ( κανάλι, 8KHz) σε χαµηλούς ρυθµούς µετάδοσης 28Kbps H.264 Κινητά 3ης γενιάς Καλής ποιότητας βίντεο (76x44), µε τηλεφωνικής ποιότητας ήχο ( κανάλι, 8KHz) σε χαµηλούς ρυθµούς µετάδοσης 28Kbps 993 996 999 2003
MPEG4 part 0: H.264 Originally alled H.26L ( Long term ), H.264 is an effort within ITU-T to establish a high effiieny video ompression standard Core experiments demonstrate 40-50% bit-rate savings over H.263 H.26L & MPEG4 groups joined to form JVT (Joint Video Team) in order to ontribute part 0 to MPEG4 version 2: Advaned Video Coding; H.264 standard drafted May 2003
MPEG4 part 0: H.264 H.264 unique tehnology: Only one regular VLC is used for symbol oding Alternatively, ontext-adaptive arithmeti or Huffman entropy oding is used /4 pixel positions are used for motion predition, with 6x6 separable interpolation filter. A number of different blok-sizes are used for motion predition: 4x4, 4x8, 8x4, 8x8, 8x6, 6x8, 6x6 In-loop de-bloking filter is normative for the deoder
MPEG4 part 0: H.264 More H.264 unique tehnology: Residual oding is based on 4x4 bloks and an exat integer transform (DCT-like) is used Non-linear quantization sale is used, different for luma and hroma Multiple referene frames may be used for predition and this is onsidered to replae any use of B-frames Multiple intra oding modes that allow for predition from bloks from the same frame (almost same oding effiieny as JPEG2000)
H.264 tehnology Variable maroblok partitions maroblok partition of 6*6 luma samples and assoiated hroma samples 2 maroblok partitions of 6*8 luma samples and assoiated hroma samples 2 maroblok partitions of 8*6 luma samples and assoiated hroma samples 4 sub-marobloks of 8*8 luma samples and assoiated hroma samples Maroblok partitions 0 0 0 0 2 3 sub-maroblok partition of 8*8 luma samples and assoiated hroma samples 2 sub-maroblok partitions of 8*4 luma samples and assoiated hroma samples 2 sub-maroblok partitions of 4*8 luma samples and assoiated hroma samples 4 sub-maroblok partitions of 4*4 luma samples and assoiated hroma samples Sub-maroblok partitions 0 0 0 0 2 3
H.264 tehnology Intra predition modes 8 6 3 7 5 Τµήµα Μηχ. Η/Υ, 0 Τηλεπ. & ικτύων 4
H.264 tehnology ½ and ¼-pixel motion ompensation A aa B C bb D E F G a b H I J d dd h i j k m ee ff n e p f q K L M s N P Q g r R gg S T hh U
H.264 tehnology Integer inverse transform = f 33 32 3 30 23 22 2 20 3 2 0 03 02 0 00 = 23 29 8 20 25 6 8 23 4 6 20 3 4 8 3 6 0 v
H.264 tehnology In-loop de-bloking filter
H.264 tehnology UVLC Bit string form Range of odenum odenu m syntax element value 0 0 0 0 x 0-2 0 0 x x 0 3-6 2 0 0 0 x 2 x x 0 7-4 3 2 0 0 0 0 x 3 x 2 x x 0 5-30 4 2 0 0 0 0 0 x 4 x 3 x 2 x x 0 3-62 5 3 6 3 k ( ) k+ Ceil( k 2 )
H.264 tehnology CAVLC Total number of non-zero oeffiients is oded Both trailing zeroes ( run ) and trailing ones are oded, ontext-adaptive Level is oded, ontext-adaptive
H.264 tehnology CABAC Value of syntax element 0 0 Bin string P(0) P() 0 0.3 0 2 0 0 0.2 0.3 3 0 0.2 0.3 4 0 5 0 binidx 0 2 3 4 5...
H.264 Tehnology Amendments to the 05/2003 standard led to the urrent 03/2005 version that introdued new tools and profiles Fidelity Range Extensions (FRE), inluding 8x8 integer transform (Hadamard-like) 8x8 intra-predition mode RGB-like olor representation More than 8-bit video YUV400 (monohrome), YUV422 and YUV444 olor formats Loseless Region Coding
ιάγραµµασυστήµατος κωδικοποιητή βίντεο H.264
MPEG4 part 0: H.264 More work is needed to make suessful produts out of H.264: Enoding omplexity is ~00x that of MPEG2 Deoding omplexity is ~3x that of MPEG2 Interlaed tools, error resiliene Rate ontrol
MPEG /2/4 omparison How muh better is MPEG4 over MPEG2? Depends highly on the enoder MPEG (/2/4) only define the deoder, not the enoder; there is no standard MPEG enoder MPEG2 enoders in 993 were using 50% more bitrate than MPEG2 enoders in 2000; the same deoder an be used to deode all suh streams Under the same level of sophistiation for the enoder, MPEG4 has 0-5% better effiieny due to additional oding tools over MPEG2 for high bit-rate ontent
MPEG effiieny omparison PSNR(dB) 50 45 40 35 30 25 20 5 0 5 0 0 2000 4000 6000 8000 0000 2000 MPEG MPEG2 MPEG4 H.264 Bitrate Πανεπιστήµιο (kbps) Θεσσαλίας
MPEG4 vs. H.264 omparison Same aveats as for MPEG2 vs. MPEG4 omparison apply H.264 requires signifiantly higher omplexity and any error resiliene tools redue its oding effiieny Under same level of sophistiation, H.264 has 5-20% better effiieny due to additional oding tools over MPEG4 for low bit-rate ontent
MPEG/2 summary MPEG and MPEG2 are well established and widely used standards for medium and high bit-rate ompression of video signals for digital storage media (DVD) and digital TV broadasting
MPEG4 summary MPEG4 is an emerging standard that extends video ompression to a variety of multimedia ontent, addresses the whole range of bit-rates and gives the flexibility to offer multimedia ontent through every ommuniation hannel
H.264 summary H.264 is a new video ompression standard that an potentially improve over MPEG/2/4 by a signifiant fator and further enhane the apabilities of MPEG4