ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα Ραδιοτηλεοπτικά Συστήματα Ενότητα 4: Ψηφιοποίηση και συμπίεση σημάτων εικόνας Δρ. Νικόλαος- Αλέξανδρος Τάτλας Τμήμα Ηλεκτρονικών Μηχανικών Τ.Ε Κάντε κλικ για να ξεκινήσετε
Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 2
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 3
Περιεχόμενα 4.1 Ψηφιοποίηση και συμπίεση σημάτων εικόνας 4
Προσδοκώμενα Αποτελέσματα Στην ενότητα αυτή θα μάθετε για: Χαρακτηριστικά υλικού βίντεο, Ψηφιοποίηση οπτικών σημάτων και πρότυπα, Μη απωλεστικοί αλγόριθμοι συμπίεσης, Συμπίεση οπτικών σημάτων: DCT, κωδικοποίηση, εκτίμηση και αντιστάθμιση κίνησης. Πρότυπα JPEG,MPEG1, MPEG2, Στοιχεία MPEG4. 5
4.1 Ψηφιοποίηση και Συμπίεση Σημάτων Εικόνας 6
4:2:0 Δειγματοληψία C r, C b Κάθε 2 η γραμμή Ανάλυση Y: 720 576 (625) C r, C b : 360 288 (625) Interpolation Είσοδος D2-MAC MPEG-2 7
SIF (source intermediate format) Ανάλυση Y: 360 288 (625) C r, C b : 180 144 (625) Είσοδος MPEG-1 Πιστότητα VHS 8
HDTV 720p Progressive Scan 1280 X 720 1080i Interlaced 1920 X 1080 Για 4:4:4 1 1,5Gbit/sec (!) 9
Παραδείγματα Να υπολογιστεί η χρονική διάρκεια ψηφιοποιημένου σήματος PAL που μπορεί να αποθηκευτεί σε DVD 4,7GB για τα πρότυπα 4:2:2, 4:2:0, SIF και 4:4:4. Να υπολογιστούν τα χαρακτηριστικά των φίλτρων anti-aliasing που απαιτούνται για την ψηφιοποίηση κατά το πρότυπο 4:2:2. (Θεωρείστε ότι A cut-off = -30dB FS και χρήση 3 ης τάξης φίλτρων). 10
Μετάδοση Μεγάλο απαιτούμενο εύρος ζώνης 4:2:2 200 Mbit/sec Επίγεια: 40Mbit (64-QAM, 6b/s) Δορυφορική: 135Mbit (QPSK, 2b/s) 4-5Χ για 720p / 1080i Αλγόριθμοι Συμπίεσης Κωδικοποίησης Πολύπλεξης Διόρθωσης σφαλμάτων 11
Μετάδοση (συν) 12
Τι είναι Συμπίεση Δεδομένων Γενικά; Αλγόριθμος συμπίεσης x bytes y bytes y < x Λόγος συμπίεσης C = y/x Π.χ. Εάν y=5mb και x=10mb, C=2:1 Γιατί συμπίεση; Μειωμένες απαιτήσεις αποθήκευσης και ταχύτητας μετάδοσης. Απωλεστική (lossy) ή μη απωλεστική (lossless) συμπίεση; Εξαρτάται από την εφαρμογή (audio/video, data, κ.λ.π.). 13
Συμπίεση Σημάτων Περιορισμένο εύρος ζώνης 8MHz: 30-40Mb/sec Αλγόριθμοι συμπίεσης δεδομένων γενικής χρήσης Εικόνα Ήχος Ψυχοακουστικά κριτήρια 14
Ιδιότητες Όρασης Αντίληψη μεταβολής φωτεινότητας Γραμμική σχέση Διόρθωση γ Spatial Masking (Χωρική Συγκάλυψη) Μικρότερη ευαισθησία σε σημεία με λεπτομέρεια. Temporal Masking (Χρονική Συγκάλυψη) Μικρότερη ευαισθησία σε τέλος/αρχή σκηνής. Συχνοτική Ευαισθησία Μικρές και μεσαίες συχνότητες. Motion Tracking (Παρακολούθηση Κίνησης) Μικρότερη ευαισθησία στην αρχή κίνησης. 15
Συχνοτική Ευαισθησία 16
Εξέλιξη Τεχνικών Συμπίεσης Δεδομένων Τεχνική Εκτίμηση λόγου συμπίεσης Χρονολογία Huffman 1.5-2:1 1952 RLE 4-10:1 1966 LZW 2-10:1 1977&84 Quadtree 2:1 1980 VQ 10:1 1984 Directional Filtering 10-40:1 1985 Fractals 10-1000:1 1988 MPEG-1 10-100:1 1993 Surface Methods 10-50:1 1995 MPEG-2 10-200:1 1995 MPEG-4 10-500:1 1999 17
Μη Απωλεστικοί Αλγόριθμοι Run Length Coding (RLC) Σειρά ίδιων στοιχείων Μετάδοση σειράς και εμφανίσεων Μεταβλητός λόγος συμπίεσης Zip Variable Length Coding (VLC) Αντιστοίχιση ακολουθιών σε bits Πρότερη γνώση πιθανότητας εμφάνισης Αλφάβητο Εικόνες? Huffman 18
Huffman Code 19
Συμπίεση Οπτικών Σημάτων - DCT Discreet Cosine Transform (DCT). Μετασχηματισμός Fourier διακριτών σημάτων. Ανάλυση σε σειρά cos συντελεστές ΝxN pixel σε NxN συντελεστές Γενικά χρήση πινάκων 8x8, Οριζόντια & Κάθετη συχνότητα. 20
DCT (συνέχεια) 21
DCT (συνέχεια) 22
DCT (συνέχεια) 23
Κατώφλι & Κβαντισμός Χαμηλή διακριτική ικανότητα υψηλότερων συχνοτήτων. Μεταβλητή ανάθεση bit ανά συχνότητα Αύξηση αριθμού bits για αυξανόμενη συχνότητα. 24
Zig-Zag 25
Το πρότυπο JPEG Συμπίεση σταθερής εικόνας RGB, Y, Cr,Cb. 1993: ISO/IEC 10918 Απωλεστική / Μη απωλεστική Απωλεστική 10:1 λόγος συμπίεσης, Χρήση σε MPEG. 26
Διαδικασία Συμπίεσης JPEG Διαχωρισμός σε block 8x8 Για 4:2:2 6480 Y blocks, 3240 Cr,Cb blocks Κβαντισμός τυπικά 8 bit DCT Εφαρμογή συνάρτησης κατωφλίου και κβαντισμού DPCM για DC PCM για ΑC Zig-Zag Scan RLC Επαναλαμβανόμενες μηδενικές τιμές VLC 27
Αποκωδικοποιητής JPEG 28
Παράδειγμα: Bits/px 8, 4, 3, 2, 1 29
Παράδειγμα: Μείωση Ανάλυσης 512,382,256,181,128 30
MPEG Standards Αποθήκευση και αναπαραγωγή οπτικοακουστικού περιεχομένου από οπτικά μέσα. Αναπαραγωγή σε πραγματικό χρόνο. MPEG-1 (11/1992) SIF input: Χαμηλή πιστότητα system (ISO/IEC 11172-1): MPEG-1 multiplex MPEG-1 video (ISO/IEC 13818-2) MPEG-1 audio (ISO/IEC 13818-3) MPEG-2 (11/1994) system (ISO/IEC 13818-1) MPEG-2 video (ISO/IEC 13818-2) MPEG-2 audio (ISO/IEC 13818-3) Χρήση σε DVB, DVD 31
MPEG-1 Bitrate έως 1,5Mbps 1,15 Mbps εικόνα 0,35 Mbps ήχος & λοιπή πληροφορία Ευελιξία Πολυπλοκότητα κωδικοποιητή Λόγος συμπίεσης Ποιότητα Πρόβλεψη με αντιστάθμιση κίνησης - Prediction with movement compensation Εκτίμηση κίνησης 32
Πρακτικοί Περιορισμοί MPEG-1 Ισορροπία μεταξύ Ταχύτητας αποκωδικοποίησης Λόγου συμπίεσης Πολυπλοκότητας Ποιότητας Καθυστέρηση συγχρονισμού <0,5sec Χρόνος αναζήτησης < 0,5sec Εξάρτηση μικρότερη από 12 εικόνες για 25 εικ/sec. 33
MPEG-1 I (intra) pictures Κωδικοποίηση JPEG P (predicted) pictures Κωδικοποίηση από προηγούμενες I ή P Motion Estimation Μεγάλος λόγος συμπίεσης B (bi-directional or bi-directionally predicted) pictures Παρεμβολή (interpolation) Μέγιστη συμπίεση 34
MPEG-1 (συν) Δυνατότητα χρήσης Μόνο I ή I,P ή I, B, P 35
MPEG-1 (συν) M: Απόσταση μεταξύ P εικόνων Συν. Μ=3 Ν: Απόσταση μεταξύ Ι εικόνων ή Group of Pictures (GOP) Συν Ν = 12 Σειρά αναπαραγωγής 36
Επίπεδα MPEG-1 (Layers) 37
Εκτίμηση Κίνησης (Motion Estimation) Διαφορές κινούμενων αντικειμένων. «Ταίριασμα» τμημάτων Macroblock (16Χ16bit), Συσχέτιση ζώνης «άφιξης» με ζώνη «αναχώρησης», Block matching. Διάνυσμα κίνησης. 38
Αντιστάθμιση Κίνησης (Motion Compensation) Υψηλές τιμές διανύσματος κίνησης Ασάφεια στην αντιστοίχηση block. Κωδικοποίηση διαφοράς Σφάλμα πρόβλεψης. Για τις Β εικόνες Forward backward και bi-directional παρεμβολή, Αποθήκευση μικρότερου σφάλματος. 39
Block Διάγραμμα MPEG1-Encoder 40
Block Διάγραμμα MPEG1-Decoder 41
MPEG-2 Συμβατότητα MPEG-1. Επίπεδα ποιότητας SIF, 4:2:0, HDTV, HDTV wide. Προφίλ Simple (απλός σχεδιασμός codec, υψηλότερα bitrates), Main (ισορροπία λόγου συμπίεσης-πολυπλοκότητας), Scalable SNR Spatially High (HDTV, 4:2:0/4:2:2). 42
Block Διάγραμμα MPEG2-Encoder 43
MPEG-2 (συν) 44
MPEG-2 (συν) Main Profile / Main Level 4:2:0 720X576@30Hz (576p) I,B,P εικόνες Πιστότητα PAL/SECAM ~4Mb/sec Near CCIR-601 ~9Mb/sec Επεξεργασία interlaced εικόνων. 45
Frame Mode / Field Mode Frame / Progressive Λιγότερη κίνηση Field/Interlaced Σημαντικές μεταβολές 46
Πλεονεκτήματα MPEG2 vs MPEG1 Αποδοτικότερη συμπίεση interlaced σημάτων. Παραγωγή βέλτιστου MPEG1 bitstream. Πρόβλεψη για χρήση σε επικοινωνίες και μέσα εκπομπής εκτός από αποθήκευση. Υψηλή πιστότητα, δυνατότητα HDTV. Ορισμός πολλαπλών τρόπων λειτουργίας (Scalability) και συμβατότητα με MPEG-1 (backward compatibility). 47
MPEG-4 / H.264 Κέρδος >50% σχετικά με MPEG-2 Εφικτή μετάδοση HDTV (MPEG-2~15-18Mbps) Δύο επίπεδα Video Coding Layer VCL Νetwork abstraction layer NAL Κωδικοποίηση interlaced / progressive 4:2:0 4:2:2, 4:4:4 (FRExt) 8 έως 12 bits ανά δείγμα Βελτίωση Μοντέλων Πρόβλεψης Μετατροπής (όχι DCT) Κωδικοποίησης 48
Επίπεδα MPEG-4 49
Παραδείγματα Σε ροή MPEG-2 με παραμέτρους GOP=12 και 25 fr/sec να βρεθεί η μέγιστη, μέση και ελάχιστη καθυστέρηση έναρξης αναπαραγωγής. Να προσδιοριστεί η θεωρητική ροή σήματος 4:2:2 καθώς και η πρακτική λαμβάνοντας υπόψη τη διάσταση του ορατού πλαισίου. Σε περίπτωση που η ροή αυτή συμπιεστεί κατά MPEG-2 με παραμέτρους M=3 και GOP=N=12 και για μέσους λόγους συμπίεσης I 1:10, B 1:50, P 1:20 να βρεθεί το τελικό μέσο bitrate. Να υπολογιστεί ο αριθμός των αναζητήσεων 50
Σε αυτή την ενότητα μιλήσαμε για: 4.1 Ψηφιοποίηση και συμπίεση σημάτων εικόνας 51
Ολοκλήρωση Μαθήματος Συγχαρητήρια!! Έχετε ολοκληρώσει με επιτυχία το μάθημα Ραδιοτηλεοπτικά Συστήματα Ενότητα 4: Ψηφιοποίηση και συμπίεση σημάτων εικόνας Δρ. Νικόλαος Αλέξανδρος Τάτλας Τμήμα Ηλεκτρονικών Μηχανικών Τ.Ε ΕΛΛΗΝΙΚΗ ΔΗΜΟΚΡΑΤΙΑ Ανώτατο Εκπαιδευτικό Ίδρυμα Πειραιά Τεχνολογικού Τομέα 52