Η ανάγκη για συμπίεση

Transcript

1 Πρότυπα συμπίεσης

2 Η ανάγκη για συμπίεση High-Definition Television (HDTV) 1920x frames per second (full motion) 8 bits για κάθε κανάλι χρώματος 1.5 Gb/sec! Κάθε κανάλι 6 MHz Max data rate: 19.2 Mb/sec Μειώνεται σε 18 Mb/sec w/audio + control Η συμπίεση θα πρέπει να είναι 83:1!

3 Πρότυπο DV κοινοπραξία δέκα εταιριών DV που είναι γνωστό ως DVC (Digital Video Cassette), ανάλυση & δειγματοληψία Συμπίεση DCT (Discrete Cosine Transform) -> ρυθμός μετάδοσης ~25 Mbits/sec (συμπίεση 5:1). βασικό πρότυπο για άλλα γνωστά πρότυπα 720 x 480, 4:1:1 (NTSC) 720x576, 4:2:0 (PAL) DVCAM DVCPRO

4 ΜPEG

5 Πρότυπο MPEG-1 Πραγματικό πρότυπο πολυμέσων, περιλαμβάνει προδιαγραφές για κωδικοποίηση, συμπίεση, μετάδοση ήχου, βίντεο και δεδομένων σε μια σειρά από συγχρονισμένα και πολυπλεγμένα πακέτα

6 Πρότυπο MPEG-1 format για το σήμα βίντεο = SIF format 352 x 288 pixels με 25 frames/sec ή 352 x 240 pixels με 30 frames/sec παρέχει ποιότητα ανάλογη με το VHS format στις συσκευές βίντεο χωρική κωδικοποίηση (στο πρότυπο της σειράς H.26X) ιδέες πρόβλεψης κίνησης (I, P, B frames)

7 Πρότυπο MPEG-2 δυνατότητες συμπίεσης, κωδικοποίησης, & μετάδοσης σημάτων πολυμέσων υψηλής ποιότητας, σε χερσαία, δορυφορικά & ευρείας ζώνης δικτύα MPEG-2 = πρότυπο μετάδοσης υποστηρίζει ποικιλία format πακέτων (μεγάλων και μεταβλητού μήκους πακέτων - 1 έως 64 kbits) δυνατότητα διόρθωσης σφαλμάτων (εφαρμογές καλωδιακής τηλεόρασης, δορυφορικές συνδέσεις)

8 Πρότυπο MPEG-2 σχεδιάστηκε αρχικά κωδικοποίηση βίντεο (από TV) σε υψηλή ποιότητα με ρυθμούς μετάδοσης 4 9 Mbits/sec επεκτάθηκε ώστε να περιλαμβάνει βίντεο υψηλής ανάλυσης, όπως για HDTV (10 50 Mbits/sec)

9 Πρότυπα τελευταίας γενιάς - MPEG-4 MPEG-1, 2 στόχος: αποτελεσματική αποθήκευση & μετάδοση οπτικοακουστικού υλικού, συμπιέζοντας τα δεδομένα. MPEG-4 επεκτείνει καθορίζοντας περιγραφή των ψηφιακών οπτικοακουστικών σκηνών μέσω οπτικοακουστικών αντικειμένων & συγκεκριμένες σχέσεις χώρου και χρόνου προσφέρει νέο είδος αλληλεπίδρασης (στο πλαίσιο κωδικοποίησης, αποκωδικοποίησης, ή σύνθεσης αντικειμένων). ολοκλήρωση αντικειμένων διαφορετικής φύσης (π.χ. φυσικό βίντεο, γραφικά, κείμενο κλπ.)

10 Πρότυπα τελευταίας γενιάς - MPEG-4 MPEG-4 υποστηρίζει: μεθόδους σάρωσης: την προοδευτική (progressive) & την συμπλεκόμενη (interlaced). χωρικές αναλύσεις φωτεινότητας: αυθαίρετα μεγέθη από 8*8 έως 2048*2048, π.χ. SQSIF/SQCIF, QSIF/QCIF, SIF/CIF, 4*SIF/CIF, και CCIR 601. χρωματικούς χώρους: μονόχρωμο, Y, Cr, Cb, συνδυασμένο με κάποιο Άλφα Κανάλι (με το ίδιο μέγεθος όπως τα δεδομένα στο Y). χωρικές αναλύσεις χρωματικότητας: 4:0:0, 4:2:0, 4:2:2. καλύτερη ποιότητα βίντεο σε διαφορετικούς ρυθμούς μετάδοσης (8 Kbits/sec - 4 Mbits/sec)

11 Πρότυπα τελευταίας γενιάς - Η.264/AVC Πρόσφατο πρότυπο κωδικοποίησης βίντεο των οργανισμών ITU-T Video Coding Experts Group και ISO/IEC Moving Picture Experts Group Στόχος: βελτιωμένη απόδοση συμπίεσης και πρόβλεψης βίντεο για διαλογικές εφαρμογές (βιντεοτηλέφωνα) μη διαλογικές εφαρμογές (η αποθήκευση, η απευθείας μετάδοση, ή η μετάδοση ως ροή δεδομένων (streaming))

12 Πρότυπα τελευταίας γενιάς - Η.264/AVC Κυριότερες διαφορές H.264/AVC από υπάρχοντα πρότυπα: βελτιωμένη δυνατότητα πρόβλεψης κίνησης (διανύσματα κίνησης) χρήση ενός μετασχηματισμού ακριβούς ταιριάσματος για μικρό μέγεθος μπλοκ χρήση προσαρμοζόμενου φίλτρου απαλοιφής του φαινομένου μπλοκ χρήση βελτιωμένων μεθόδων κωδικοποίησης εντροπίας

13 Πρότυπα τελευταίας γενιάς - Η.264/AVC επίτευξη σημαντικής βελτίωσης στη σχέση ρυθμού παραμόρφωσης έναντι των υπόλοιπων σύγχρονων προτύπων MPEG ~ 50 % (εξοικονόμηση ρυθμού μετάδοσης για ισοδύναμη ποιότητα οπτικού σήματος)

14 Προτεινόμενες Αναλύσεις ανά Εφαρμογή Ανάλυση Ψηφιοποίησης 720 x 480 pixels (SD) Δομή Δειγματοληψίας Κβαντισμός Format Εφαρμογή Ρυθμός Μετάδοσης 4:2:2 10-bit MPEG -2 Video Editing Mbits/s Ψηφιακή Τηλεόραση (Broadcast over cable, satellite, terrestrial) 4 20 Mbits/s DVD, Βίντεο κατ απαίτηση 4 10 Mbits/s 352 x 288 pixels 4:2:1 10-bit MPEG -1 SIF Αποθήκευση σε CDROM, Βίντεο μέσα από Intranet, Remote Video Surveillance κλπ Mbits/s 176 x 144 pixels 4:1:0 8-bit MPEG -1 QSIF Βίντεο μέσω διαδικτύου, Multimedia Messaging Services (MMS) over mobile networks, εφαρμογές βιντεοτηλεφώνου/βιντεοδιάσκεψης, εφαρμογές προεπισκόπισης, multimedia mailing Kbits/s

15 Μεγέθη αρχείων για επιλεγμένα πρότυπα κωδικοποίησης MPEG-1 QSIF MPEG-1 SIF MPEG-2 Ανάλυση 176 x 144 pixels 352 x 288 pixels 720 x 480 pixels Δομή δειγματοληψίας 4:1:0 4:2:1 4:2:2 Κβαντισμός 8-bit 10-bit 10-bit Αριθμός frame / δευτερόλεπτο Bit-rate ανά δευτερόλεπτο Kbit/s Mbit/s 4 50 Mbit/s Μέγεθος αρχείου μιας ώρας MB MB GB

16 Συμπίεση MPEG Συμπίεση Χωρική Χρονική

17 Χωρική πληροφορία Εκμετάλλευση ομοιότητας γειτονικών pixels

18 Μείωση χωρικού πλεονασμού RGB to YUV Λιγότερη πληροφορία χρώματος Macro Blocks Ομάδες από pixels DCT Pixels σε blocks Κβαντισμός Μείωση δεδομένων για τους συντελεστές Κωδικοποίηση εντροπίας Συμπίεση

19 Μείωση χωρικού πλεονασμού Intra-Frame Encoded Quantization major reduction controls quality Zig-Zag Scan, Run-length coding

20 Eρώτηση Πότε δεν θα έχει καλό αποτέλεσμα η χωρική συμπίεση πληροφορίας; Σε τι είδους εικόνες/ ταινίες

21 Μείωση ανάλυσης Original (63 kb) Low (7kb) Very Low (4 kb

22 Το πρότυπο JPEG Joint Photographic Expert Group / ITU-TS 10:1-20:1 hi quality 30:1-50:1 average quality 60:1-100:1 bad quality

23 JPEG συμπίεση blocks 8x8 pixels 2. Για κάθε block DCT 3. Κβαντισμός χρησιμοποιώντας πίνακα απώλεια πληροφορίας Κωδικοποίηση συντελεστών χρησιμοποιώντας RLE και αποθήκευση σε *.jpg 1. 4.

24 JPEG συμπίεση

25 Discrete cosine transform Μοιάζει με το μετασχηματισμό Fourier Μετασχηματισμός στο χώρο συχνοτήτων

26 Discrete cosine transform G Είσοδος εικόνα Ν1 γραμμών, Ν2 στηλών A(i,j) η τιμή του pixel στη θέση (i,j) B(k1,k2) ο DCT συντελεστής στη θέση (k1,k2) του DCT πίνακα

27 Κεντράρισμα στο μηδέν [0,255] ->[-127, 128]

28 DCT

29 Γιατί επιτυγχάνεται συμπίεση; Το μεγαλύτερο ποσό ενέργειας συγκεντρώνεται πάνω αριστερά Η κάτω δεξιά γωνία περιέχει υψηλές συχνότητες και οι τιμές τους είναι σχετικά χαμηλές. Οι υψηλές συχνότητες μπορούν να αγνοηθούν χωρίς μεγάλη αλλοίωση της εικόνας

30 Κβαντισμός Πρέπει να συμβιβάσουμε ποιότητα εικόνας και βήμα κβαντισμού Μεγάλο βήμα κβαντισμού αλλοιώνει την εικόνα Μικρό βήμα συνεπάγεται υψηλή ποιότητα

31 Κβαντισμός Ποιο είναι το βέλτιστο βήμα; Μικρό βήμα στις χαμηλές συχνότητες και μεγάλο στις υψηλές

32 Πίνακας κβαντισμού Μήτρα κβαντοποίησης

33 Zig-zag Για καλυτερη κωδικοποίηση χρησιμοποιείται ακολουθία zigzag

34 Κωδικοποίηση

35 Run Length Encoding WWWWWWWWWWWWBWWWWWWWWWWWWBBBWWWWWWWWWWWWWWWWWWWWWWWWBWWWWWWWWWWWWWW 12W1B12W3B24W1B14W

36 JPEG

37 Συμπίεση στο χρόνο Ομοιότητα μεταξύ διαφορετικών πλαισίων

38 Χρονική δράση Talking Head

39 Συμπίεση στο χρόνο

40 Συμπίεση στο χρόνο

41 Συμπίεση στο χρόνο I frames ανεξάρτητα P frames βασίζονται στα προηγούμενα I, P frames B frames βασίζονται στα προηγούμενα και επόμενα I και P frames Για την περίπτωση που αποκαλυφθεί κάτι B frames αποκωδικοποιούνται αφού αποκωδικοποιηθούν τα επόμενα P frames

42 Group of Pictures (GOP) Ξεκινά με ένα I-frame Τελειώνει με frame ακριβώς πριν το επόμενο I frame Open ends in B-frame, Closed in P-frame (What is the difference?) Τυπική ακολουθία: IBBPBBPBBI IBBPBBPBBPBBI Γιατί δεν έχουμε μόνο P και B frames?

43 Ερώτηση Πότε η συμπίεση στο χρόνο είναι μη αποτελεσματική?

44 Ερώτηση Πότε η συμπίεση στο χρόνο είναι μη αποτελεσματική? Αλλαγές σκηνών Μεγάλη κίνηση

45 Πρόβλεψη κίνησης Αν το πρώτο πλαίσιο είναι κωδικοποιημένο κατά JPEG, ποιος ειναι ο καλύτερος τρόπος να κωδικοποιήσουμε το πλαίσιο 2? JPEG πρόβλεψη Frame 1 Frame 2

46 Πρόβλεψη Το προηγούμενο πλαίσιο ονομάζεται πλαίσιο αναφοράς Το τρέχον πλαίσιο ονομάζεται πλαίσιο στόχος Το πλαίσιο στόχος αναλύεται σε 16x16 macroblocks Για κάθε macroblock, υπολογίζουμε το καλύτερο ταίριασμα με το πλαίσιο αναφοράς Το 2D διάνυσμα κίνησης και το σφάλμα πρόβλεψης καταγράφονται Σφάλμα πρόβλεψης: DCT+Quantization+RLE+Huffman Διάνυσμα κίνησης: Quantization+entropy coding

47 Ταιριάζοντας Macroblocks Μέθοδοι αναζήτησης Πλήρης - ψάξε σε RxR περιοχές για να βρεις το ελάχιστο MAD ή MSE

48 Γιατί πλαίσιο B? πλαίσιο 1 πλαίσιο 2 πλαίσιο 3 Μπορούμε να πετύχουμε καλύτερη πρόβλεψη σε περίπτωση επικάλυψης Στο πλαίσιο 2, η μαύρη περιοχή δε μπορεί να προβλεφθεί από το πλαίσιο 1, διότι στο πλαίσιο 1 δεν είναι ορατή Μπορεί να προβλφθεί από το πλαίσιο 3

49 Φέτες Για καλύτερη ανοχή σε σφάλματα το πλαίσιο διαμερίζεται σε φέτες (slices) Aν μια φέτα έχει πρόβλημα η αποκωδικοποίηση θα ξεκινήσει από την επόμενη. Το επόμενο πλαίσιο αποτελείται από 7 φέτες

50 Επίπεδα MPEG Sequence Layer Group of Pictures Layer

51 Aπόδοση συμπίεσης Type Size Compression I 18 KB 7:1 P 6 KB 20:1 B 2.5 KB 50:1 Avg 4.8 KB 27: Αν και ο ρυθμός μετάδοσης των πλαισίων είναι σταθερός ο ρυθμός μετάδοσης των δεδομένων είναι μεταβλητός