ΣΥΜΠΙΕΣΗ BINTEO ΜΕ WAVELETS) Ο μετασχηματισμός wavelet (Discrete Wavelet Transorm DWT) έχει χρησιμοποιηθεί με επιτυχία στη συμπίεση εικόνας6 Αλγόριθμοι EZW SPIHT και JPEG-0006 Ο DWT έχει καλύτερη απόδοση από τον DCT στη συμπίεση εικόνας6 Παρέχει SNR και spatial scalabilt χωρίς σημαντική μείωση της αποδοτικότητας6
VIDEO CODING) Εξετάζουμε δύο τύπους συμπίεσης βίντεο χρησιμοποιώντας wavelets:6 Τύπος I: D μέθοδοι με motion compensation Τύπος II: 3D μέθοδοι με χρονικό φιλτράρισμα (temporal iltering)
Τύπος Ι BACKGROUND) l Αρχική έρευνα στη συμπίεση βίντεο με wavelets 66 Αντικατάσταση του DCT με DWT 66 Μη αποδοτικό6 Motion Estimation/Motion Compensation στο πεδίο του DWT.6 Ο DWT δεν είναι shit invariant6 Η πρόβλεψη δεν είναι πολύ αποδοτική6 6 66 6
Τύπος I BACKGROUND) Overcomplete Discrete Wavelet Transorm (ODWT):6 Είναι shit invariant 6 Αντιστοιχεί σε DWT χωρίς το subsampling
ΤΥΠΟΣ I D συμπίεση βίντεο με DWT και έλεγχο του drit)
DRIFT) Encoder Decoder Base Enhancement Base Enhancement F enc F enc F dec F dec ME/MC MC F ()enc Drit F ()dec
ENCODER)
ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ) Περίπτωση Drit : Η εικονοσειρά κωδικοποιείται χρησιμοποιώντας όλα τα bits για την πρόβλεψη6 Λόγω του θορυβώδους καναλιού θα δημιουργηθεί drit6 Ιδανική περίπτωση: Κάθε rame κωδικοποιείται χρησιμοποιώντας για την πρόβλεψη ακριβώς τον αριθμό bits που ελήφθησαν6 Πρακτικά μη εφικτό χρησιμοποιείται ως άνω όριο της απόδοσης του συστήματος6 Περίπτωση Base Laer: Μόνο το base laer χρησιμοποιείται για την πρόβλεψη 6
ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ) Foreman 64Kbps Susie 64Kbps 3.5 36 3 35 30.5 34 PSNR (db) 30 9.5 PSNR (db) 33 9 8.5 Proposed Threshold Proposed Adaptive Base Ideal Drit 8 0.85 0.87 0.9 0.93 0.95 p 3 3 Proposed Threshold Proposed Adaptive Base Ideal Drit 30 0.85 0.87 0.9 0.93 0.95 p
ΣΥΜΠΕΡΑΣΜΑΤΑ) l 6 l l 6 6 Το drit μπορεί να αντιμετωπιστεί με την περιοδική χρήση intra rames αλλά αυτό απαιτεί περισσότερα bits6 Στους 3D wavelet video coders δεν υπάρχει πρόβλημα drit αλλά εμφανίζεται μεγαλύτερη καθυστέρηση6 Προτείναμε μία νέα μέθοδο για τον έλεγχο του drit χωρίς σημαντική μείωση της αποδοτικότητας συμπίεσης6
ΤΥΠΟΣ ΙΙ-BACKGROUND) Karlsson και Vetterli: Βλέπουν το βίντεο σαν σήµα τριών διαστάσεων Επιπλέον του D µετασχηµατισµού DWT στο χωρικό πεδίο λαµβάνεται και D µετασχηµατισµός στο χρονικό πεδίο Είναι αποτελεσµατική όταν δεν υπάρχει σηµαντική κίνηση 3-D SPIHT: Εκµεταλλεύεται την energ clustering propert των 3D συντελεστών wavelet.
ΤΥΠΟΣ ΙΙ-BACKGROUND) Πρόβληµα της 3D συµπίεσης: Χωρίς Motion Compensation δεν εκµεταλλευόµαστε πλήρως τον πλεονασµό (redundanc) που υπάρχει στην εικονοσειρά Λύση: Motion Compensated Temporal Filtering
ΤΟ ΦΙΛΤΡΟ HAAR } { l h = =
MOTION COMPENSATED TEMPORAL FILTERING ΜΕ LIFTING) Το liting επιτρέπει την εισαγωγή motion compensation στο χρονικό φιλτράρισµα µε perect reconstruction.6 Τα βήµατα liting για το φίλτρο Haar (χωρίς MC) είναι: 6 W -> είναι η motion compensated απεικόνιση του rame ως προς το rame έτσι ώστε W -> ( ). 6 Τα βήµατα liting τροποποιούνται ως 6 h l h = = ) ( W ) ( W - h l h = =
MOTION COMPENSATED TEMPORAL FILTERING ME LIFTING) Βήματα liting για τον 5/3 Wavelet Transorm:6 h l = = - {W {W 4 ) W )} Update Step:6 Το prediction residue χρησιμοποιείται για την αναπροσαρμογή του reerence rame. 6 3D wavelet coding μπορεί να γίνει με δύο τρόπους:6 D χωρικό φιλτράρισμα που ακολουθείται από χρονικό φιλτράρισμα (Dt) 6 Χρονικό φιλτράρισμα που ακολουθείται από D χωρικό φιλτράρισμα (td)6 ( ( h ) W ( h ( ) }
Dt AND td)
ΤΥΠΟΣ II Νέο σχήμα χρονικού φιλτραρίσματος με μειωμένες απαιτήσεις καθυστέρησης για) 3D-Wavelet Video Coders)
MOTION COMPENSATED TEMPORAL FILTERING ME LIFTING) 5/3 Wavelet Transorm Analsis Equation:6 Χωρίς το update step:6 6 )} ( W ) ( {W 4 } ) ( W ) ( {W - h h l h = = } ) ( W ) ( {W - l h = =
MCTF) 6 Τα update steps εξαρτώνται από μεγαλύτερο αριθμό rames πράγμα το οποίο απαιτεί περισσότερα rames να επεξεργαστούν μαζί.6 Χρειαζόμαστε rames από προηγούμενα και μελλοντικά Groups o Frames (GOFs)6 Μεγάλη καθυστέρηση στο encoding και decoding6 Παραλείποντας το update step 6 Μειώνεται η καθυστέρηση6 Μειώνεται η απόδοση συμπίεσης6
ΚΑΘΥΣΤΕΡΗΣΗ) Φίλτρο Haar6 Μικρότερη καθυστέρηση6 Μικρότερη αποδοτικότητα συμπίεσης6 5/3 Filter6 Μεγαλύτερη καθυστέρηση6 Καλύτερη αποδοτικότητα συμπίεσης6 6 6
MCTF - ΑΠΑΙΤΗΣΕΙΣ) Στόχος:6 Μείωση της καθυστέρησης χωρίς μείωση της αποδοτικότητας συμπίεσης.6 Ευελιξία σε:6 Επίτευξη απαιτήσεων καθυστέρησης 6 Επιλογή των update steps6 Χωρίς περιορισμούς στο μήκος του GOF6 Εφαρμόζεται σε Dt και td.6 Προτείνουμε ένα ilter set (NS) όπου6 N Αριθμός rames που φιλτράρονται6 S Αριθμός liting steps6
ΣΧΕΔΙΑΣΗ ΤΟΥ (NS) FILTER SET) Αριθμός των liting steps S για δεδομένο N.6 Μετά από S liting steps δημιουργούνται δύο lowpass and ένα highpass temporal subbands.6 Από τα N rames του GOF προκύπτουν δύο lowpass και (N-) highpass rames.6 Ο αριθμός S είναι:6 S = 3 4 i i i i N 4 N 6 N 0 N 3 5 9 7 Σχεδίαση update step 6 Δεν χρησιμοποιεί rames από μελλοντικά GOFs.6 Δεν γίνεται update στο πρώτο rame του GOF.6 Η καθυστέρηση δεν είναι ποτέ μεγαλύτερη από N rames6 6
Ανάλυση Καθυστέρησης-Encoder Φίλτρο (83)(3)) F0 F F F3 F4 F5 F6 F7 F0 H0 H H L0 L L L3 L4 L0 H0 H L0 L L L0 H0 L0 L L0 LL0 HH0 LL Future Frames needed 0 4 3 0
Ανάλυση Καθυστέρησης-Decoder Φίλτρο (83)(3)) F0 F F F3 F4 F5 F6 F7 F0 H0 H H L0 L L L3 L4 L0 H0 H L0 L L L0 H0 L0 L L0 LL0 HH0 LL Future Frames needed 0 7 6 5 4 3 0
ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ) Χρονικά φίλτρα: 5/3 Haar και Προτεινόμενο6 Motion Estimation και compensation χρησιμοποιώντας το ODWT (Dt)6 Τα Temporal Subbands κωδικοποιούνται με D-SPIHT6
ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ (Garden Sequence)) 6 Rate6 In 6 bps6 5/3 Filter6 N end =6 (93)(3)6 N end =86 (83)(3)6 N end =76 (5)(3)6 N end =46 68 7.9 7.88 7.70 7.05 04 6.89 7.44 7.64 6.774 768 5.58 6.04 6.0 5.54
ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ) Football Sequence Susie Sequence 30 4.5 9.5 4 4.5 9 4 PSNR (db) 8.5 8 PSNR (db) 40.5 40 5/3 Filter 7.5 (93)(3) (83)(3) (5)(3) 7 700 800 900 000 00 00 300 Kbps 39.5 5/3 Filter (93)(3) 39 (83)(3) (5)(3) 38.5 0 40 60 80 300 30 340 360 380 Kbps