Ραδιοτηλεοπτικά Συστήματα Ενότητα 4: Ψηφιοποίηση και συμπίεση σημάτων εικόνας

Transcript

1 ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Ραδιοτηλεοπτικά Συστήματα Ενότητα 4: Ψηφιοποίηση και συμπίεση σημάτων εικόνας Δρ. Νικόλαος- Αλέξανδρος Τάτλας Τμήμα Ηλεκτρονικών Μηχανικών Τ.Ε Κάντε κλικ για να ξεκινήσετε

2 Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 2

3 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 3

4 Περιεχόμενα 4.1 Ψηφιοποίηση και συμπίεση σημάτων εικόνας 4

5 Προσδοκώμενα Αποτελέσματα Στην ενότητα αυτή θα μάθετε για: Χαρακτηριστικά υλικού βίντεο, Ψηφιοποίηση οπτικών σημάτων και πρότυπα, Μη απωλεστικοί αλγόριθμοι συμπίεσης, Συμπίεση οπτικών σημάτων: DCT, κωδικοποίηση, εκτίμηση και αντιστάθμιση κίνησης. Πρότυπα JPEG,MPEG1, MPEG2, Στοιχεία MPEG4. 5

6 4.1 Ψηφιοποίηση και Συμπίεση Σημάτων Εικόνας 6

7 4:2:0 Δειγματοληψία C r, C b Κάθε 2 η γραμμή Ανάλυση Y: (625) C r, C b : (625) Interpolation Είσοδος D2-MAC MPEG-2 7

8 SIF (source intermediate format) Ανάλυση Y: (625) C r, C b : (625) Είσοδος MPEG-1 Πιστότητα VHS 8

9 HDTV 720p Progressive Scan 1280 X i Interlaced 1920 X 1080 Για 4:4:4 1 1,5Gbit/sec (!) 9

10 Παραδείγματα Να υπολογιστεί η χρονική διάρκεια ψηφιοποιημένου σήματος PAL που μπορεί να αποθηκευτεί σε DVD 4,7GB για τα πρότυπα 4:2:2, 4:2:0, SIF και 4:4:4. Να υπολογιστούν τα χαρακτηριστικά των φίλτρων anti-aliasing που απαιτούνται για την ψηφιοποίηση κατά το πρότυπο 4:2:2. (Θεωρείστε ότι A cut-off = -30dB FS και χρήση 3 ης τάξης φίλτρων). 10

11 Μετάδοση Μεγάλο απαιτούμενο εύρος ζώνης 4:2:2 200 Mbit/sec Επίγεια: 40Mbit (64-QAM, 6b/s) Δορυφορική: 135Mbit (QPSK, 2b/s) 4-5Χ για 720p / 1080i Αλγόριθμοι Συμπίεσης Κωδικοποίησης Πολύπλεξης Διόρθωσης σφαλμάτων 11

12 Μετάδοση (συν) 12

13 Τι είναι Συμπίεση Δεδομένων Γενικά; Αλγόριθμος συμπίεσης x bytes y bytes y < x Λόγος συμπίεσης C = y/x Π.χ. Εάν y=5mb και x=10mb, C=2:1 Γιατί συμπίεση; Μειωμένες απαιτήσεις αποθήκευσης και ταχύτητας μετάδοσης. Απωλεστική (lossy) ή μη απωλεστική (lossless) συμπίεση; Εξαρτάται από την εφαρμογή (audio/video, data, κ.λ.π.). 13

14 Συμπίεση Σημάτων Περιορισμένο εύρος ζώνης 8MHz: 30-40Mb/sec Αλγόριθμοι συμπίεσης δεδομένων γενικής χρήσης Εικόνα Ήχος Ψυχοακουστικά κριτήρια 14

15 Ιδιότητες Όρασης Αντίληψη μεταβολής φωτεινότητας Γραμμική σχέση Διόρθωση γ Spatial Masking (Χωρική Συγκάλυψη) Μικρότερη ευαισθησία σε σημεία με λεπτομέρεια. Temporal Masking (Χρονική Συγκάλυψη) Μικρότερη ευαισθησία σε τέλος/αρχή σκηνής. Συχνοτική Ευαισθησία Μικρές και μεσαίες συχνότητες. Motion Tracking (Παρακολούθηση Κίνησης) Μικρότερη ευαισθησία στην αρχή κίνησης. 15

16 Συχνοτική Ευαισθησία 16

17 Εξέλιξη Τεχνικών Συμπίεσης Δεδομένων Τεχνική Εκτίμηση λόγου συμπίεσης Χρονολογία Huffman 1.5-2: RLE 4-10: LZW 2-10:1 1977&84 Quadtree 2: VQ 10: Directional Filtering 10-40: Fractals : MPEG : Surface Methods 10-50: MPEG : MPEG :

18 Μη Απωλεστικοί Αλγόριθμοι Run Length Coding (RLC) Σειρά ίδιων στοιχείων Μετάδοση σειράς και εμφανίσεων Μεταβλητός λόγος συμπίεσης Zip Variable Length Coding (VLC) Αντιστοίχιση ακολουθιών σε bits Πρότερη γνώση πιθανότητας εμφάνισης Αλφάβητο Εικόνες? Huffman 18

19 Huffman Code 19

20 Συμπίεση Οπτικών Σημάτων - DCT Discreet Cosine Transform (DCT). Μετασχηματισμός Fourier διακριτών σημάτων. Ανάλυση σε σειρά cos συντελεστές ΝxN pixel σε NxN συντελεστές Γενικά χρήση πινάκων 8x8, Οριζόντια & Κάθετη συχνότητα. 20

21 DCT (συνέχεια) 21

22 DCT (συνέχεια) 22

23 DCT (συνέχεια) 23

24 Κατώφλι & Κβαντισμός Χαμηλή διακριτική ικανότητα υψηλότερων συχνοτήτων. Μεταβλητή ανάθεση bit ανά συχνότητα Αύξηση αριθμού bits για αυξανόμενη συχνότητα. 24

25 Zig-Zag 25

26 Το πρότυπο JPEG Συμπίεση σταθερής εικόνας RGB, Y, Cr,Cb. 1993: ISO/IEC Απωλεστική / Μη απωλεστική Απωλεστική 10:1 λόγος συμπίεσης, Χρήση σε MPEG. 26

27 Διαδικασία Συμπίεσης JPEG Διαχωρισμός σε block 8x8 Για 4:2: Y blocks, 3240 Cr,Cb blocks Κβαντισμός τυπικά 8 bit DCT Εφαρμογή συνάρτησης κατωφλίου και κβαντισμού DPCM για DC PCM για ΑC Zig-Zag Scan RLC Επαναλαμβανόμενες μηδενικές τιμές VLC 27

28 Αποκωδικοποιητής JPEG 28

29 Παράδειγμα: Bits/px 8, 4, 3, 2, 1 29

30 Παράδειγμα: Μείωση Ανάλυσης 512,382,256,181,128 30

31 MPEG Standards Αποθήκευση και αναπαραγωγή οπτικοακουστικού περιεχομένου από οπτικά μέσα. Αναπαραγωγή σε πραγματικό χρόνο. MPEG-1 (11/1992) SIF input: Χαμηλή πιστότητα system (ISO/IEC ): MPEG-1 multiplex MPEG-1 video (ISO/IEC ) MPEG-1 audio (ISO/IEC ) MPEG-2 (11/1994) system (ISO/IEC ) MPEG-2 video (ISO/IEC ) MPEG-2 audio (ISO/IEC ) Χρήση σε DVB, DVD 31

32 MPEG-1 Bitrate έως 1,5Mbps 1,15 Mbps εικόνα 0,35 Mbps ήχος & λοιπή πληροφορία Ευελιξία Πολυπλοκότητα κωδικοποιητή Λόγος συμπίεσης Ποιότητα Πρόβλεψη με αντιστάθμιση κίνησης - Prediction with movement compensation Εκτίμηση κίνησης 32

33 Πρακτικοί Περιορισμοί MPEG-1 Ισορροπία μεταξύ Ταχύτητας αποκωδικοποίησης Λόγου συμπίεσης Πολυπλοκότητας Ποιότητας Καθυστέρηση συγχρονισμού <0,5sec Χρόνος αναζήτησης < 0,5sec Εξάρτηση μικρότερη από 12 εικόνες για 25 εικ/sec. 33

34 MPEG-1 I (intra) pictures Κωδικοποίηση JPEG P (predicted) pictures Κωδικοποίηση από προηγούμενες I ή P Motion Estimation Μεγάλος λόγος συμπίεσης B (bi-directional or bi-directionally predicted) pictures Παρεμβολή (interpolation) Μέγιστη συμπίεση 34

35 MPEG-1 (συν) Δυνατότητα χρήσης Μόνο I ή I,P ή I, B, P 35

36 MPEG-1 (συν) M: Απόσταση μεταξύ P εικόνων Συν. Μ=3 Ν: Απόσταση μεταξύ Ι εικόνων ή Group of Pictures (GOP) Συν Ν = 12 Σειρά αναπαραγωγής 36

37 Επίπεδα MPEG-1 (Layers) 37

38 Εκτίμηση Κίνησης (Motion Estimation) Διαφορές κινούμενων αντικειμένων. «Ταίριασμα» τμημάτων Macroblock (16Χ16bit), Συσχέτιση ζώνης «άφιξης» με ζώνη «αναχώρησης», Block matching. Διάνυσμα κίνησης. 38

39 Αντιστάθμιση Κίνησης (Motion Compensation) Υψηλές τιμές διανύσματος κίνησης Ασάφεια στην αντιστοίχηση block. Κωδικοποίηση διαφοράς Σφάλμα πρόβλεψης. Για τις Β εικόνες Forward backward και bi-directional παρεμβολή, Αποθήκευση μικρότερου σφάλματος. 39

40 Block Διάγραμμα MPEG1-Encoder 40

41 Block Διάγραμμα MPEG1-Decoder 41

42 MPEG-2 Συμβατότητα MPEG-1. Επίπεδα ποιότητας SIF, 4:2:0, HDTV, HDTV wide. Προφίλ Simple (απλός σχεδιασμός codec, υψηλότερα bitrates), Main (ισορροπία λόγου συμπίεσης-πολυπλοκότητας), Scalable SNR Spatially High (HDTV, 4:2:0/4:2:2). 42

43 Block Διάγραμμα MPEG2-Encoder 43

44 MPEG-2 (συν) 44

45 MPEG-2 (συν) Main Profile / Main Level 4:2:0 720X576@30Hz (576p) I,B,P εικόνες Πιστότητα PAL/SECAM ~4Mb/sec Near CCIR-601 ~9Mb/sec Επεξεργασία interlaced εικόνων. 45

46 Frame Mode / Field Mode Frame / Progressive Λιγότερη κίνηση Field/Interlaced Σημαντικές μεταβολές 46

47 Πλεονεκτήματα MPEG2 vs MPEG1 Αποδοτικότερη συμπίεση interlaced σημάτων. Παραγωγή βέλτιστου MPEG1 bitstream. Πρόβλεψη για χρήση σε επικοινωνίες και μέσα εκπομπής εκτός από αποθήκευση. Υψηλή πιστότητα, δυνατότητα HDTV. Ορισμός πολλαπλών τρόπων λειτουργίας (Scalability) και συμβατότητα με MPEG-1 (backward compatibility). 47

48 MPEG-4 / H.264 Κέρδος >50% σχετικά με MPEG-2 Εφικτή μετάδοση HDTV (MPEG-2~15-18Mbps) Δύο επίπεδα Video Coding Layer VCL Νetwork abstraction layer NAL Κωδικοποίηση interlaced / progressive 4:2:0 4:2:2, 4:4:4 (FRExt) 8 έως 12 bits ανά δείγμα Βελτίωση Μοντέλων Πρόβλεψης Μετατροπής (όχι DCT) Κωδικοποίησης 48

49 Επίπεδα MPEG-4 49

50 Παραδείγματα Σε ροή MPEG-2 με παραμέτρους GOP=12 και 25 fr/sec να βρεθεί η μέγιστη, μέση και ελάχιστη καθυστέρηση έναρξης αναπαραγωγής. Να προσδιοριστεί η θεωρητική ροή σήματος 4:2:2 καθώς και η πρακτική λαμβάνοντας υπόψη τη διάσταση του ορατού πλαισίου. Σε περίπτωση που η ροή αυτή συμπιεστεί κατά MPEG-2 με παραμέτρους M=3 και GOP=N=12 και για μέσους λόγους συμπίεσης I 1:10, B 1:50, P 1:20 να βρεθεί το τελικό μέσο bitrate. Να υπολογιστεί ο αριθμός των αναζητήσεων 50

51 Σε αυτή την ενότητα μιλήσαμε για: 4.1 Ψηφιοποίηση και συμπίεση σημάτων εικόνας 51

52 Ολοκλήρωση Μαθήματος Συγχαρητήρια!! Έχετε ολοκληρώσει με επιτυχία το μάθημα Ραδιοτηλεοπτικά Συστήματα Ενότητα 4: Ψηφιοποίηση και συμπίεση σημάτων εικόνας Δρ. Νικόλαος Αλέξανδρος Τάτλας Τμήμα Ηλεκτρονικών Μηχανικών Τ.Ε ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα 52