ΥΛΟΠΟΙΗΣΗ ΤΟΥ MPEG 4 SIMPLE PROFILE CODEC ΣΤΗΝ ΠΛΑΤΦΟΡΜΑ TMS320DM6437 ΓΙΑ ΕΠΕΞΕΡΓΑΣΙΑ ΒΙΝΤΕΟ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ

Transcript

1 Ειδική Επιστημονική Εργασία ΥΛΟΠΟΙΗΣΗ ΤΟΥ MPEG 4 SIMPLE PROFILE CODEC ΣΤΗΝ ΠΛΑΤΦΟΡΜΑ TMS320DM6437 ΓΙΑ ΕΠΕΞΕΡΓΑΣΙΑ ΒΙΝΤΕΟ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ ΣΩΤΗΡΟΠΟΥΛΟΣ ΚΩΝΣΤΑΝΤΙΝΟΣ Α.Μ:143 Επιβλέπων: Ευάγγελος Ζυγούρης Αναπλ. Καθηγητής ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΦΥΣΙΚΗΣ ΠΑΤΡΑ, ΦΕΒΡΟΥΑΡΙΟΣ 2013

2

3 Ειδική Επιστημονική Εργασία ΥΛΟΠΟΙΗΣΗ ΤΟΥ MPEG 4 SIMPLE PROFILE CODEC ΣΤΗΝ ΠΛΑΤΦΟΡΜΑ TMS320DM6437 ΓΙΑ ΕΠΕΞΕΡΓΑΣΙΑ ΒΙΝΤΕΟ ΣΕ ΠΡΑΓΜΑΤΙΚΟ ΧΡΟΝΟ Σωτηρόπουλος Κωνσταντίνος Μηχανικός Η/Υ, Τηλεπικοινωνιών & Δικτύων Εγκρίθηκε από την τριμελή εξεταστική επιτροπή την στα πλαίσια του ΔΠΜΣ Συστήματα Επεξεργασίας Σημάτων & Επικοινωνιών Ευάγγελος Ζυγούρης Αναπληρωτής Καθηγητής Τμήμα Φυσικής Παν/μιο Πατρών Γεώργιος Οικονόμου Καθηγητής Τμήμα Φυσικής Παν/μιο Πατρών Σπυρίδων Φωτόπουλος Καθηγητής Τμήμα Φυσικής Παν/μιο Πατρών Πάτρα, Φεβρουάριος 2013

4

5 i Πρόλογος Η παρούσα ειδική ερευνητική εργασία εκπονήθηκε στα πλαίσια του Διατμηματικού Προγράμματος Μεταπτυχιακών Σπουδών Ειδίκευσης στα Συστήματα Επεξεργασίας Σημάτων και Επικοινωνιών στο Τμήμα Φυσικής του Πανεπιστημίου Πατρών. Αντικείμενο της παρούσας εργασίας είναι η σχεδίαση και ανάπτυξη του MPEG 4 Simple Profile CODEC στο περιβάλλον Simulink με σκοπό την τελική εκτέλεση του αλγορίθμου DSP που θα προκύψει, στην πλατφόρμα ανάπτυξης TMS320DM6437 EVM. Στο πρώτο κεφάλαιο ορίζεται η έννοια της κωδικοποίησης βίντεο σε πραγματικό χρόνο και περιγράφεται η σύγχυση που επικρατεί γύρω από αυτήν. Επίσης γίνεται μια περιγραφή των επεξεργαστών ψηφιακού σήματος ως προς τα τυπικά χαρακτηριστικά που διαθέτουν, την αρχιτεκτονική τους, την αρχιτεκτονική μνήμης, τα στοιχεία υλικού που διαθέτουν για τη ροή του DSP προγράμματος, ενώ παράλληλα, παρουσιάζεται η ιστορική εξέλιξη των DSPs που οδήγησε στους σύγχρονους DSPs και οι οποίοι, διαθέτουν καλύτερες επιδόσεις από τους προπάτορές τους, και αυτό χάρη στις τεχνολογικές και αρχιτεκτονικές εξελίξεις όπως, οι χαμηλότεροι κανόνες σχεδίασης, η γρήγορη προσπέλαση κρυφής μνήμης δύο επιπέδων, η σχεδίαση του DMA και ενός μεγαλύτερου συστήματος διαύλου. Στο τέλος του κεφαλαίου παρουσιάζεται η αρχιτεκτονική της πλατφόρμας ανάπτυξης TMS320DM6437 EVM καθώς και οι διεπαφές υλικού που διαθέτει για την είσοδο και έξοδο βίντεο/ήχου από αυτήν. Στο δεύτερο κεφάλαιο γίνεται μια εκτενής παρουσίαση των εννοιών που συναντώνται στην κωδικοποίηση βίντεο. Στην αρχή του κεφαλαίου απεικονίζεται το γενικό μοντέλο ενός κωδικοποιητή/αποκωδικοποιητή και βάσει αυτού προχωράμε στην περιγραφή του χρονικού μοντέλου, το οποίο επιβάλλει την πρόβλεψη του τρέχοντος πλαισίου βίντεο χρησιμοποιώντας το προηγούμενο, ενώ παράλληλα, εξηγεί και μεθόδους για την εκτίμηση κίνησης περιοχών (μακρομπλοκ) μέσα στο πλαίσιο ενός βίντεο και το πώς μπορεί να γίνει ο υπολογισμός του σφάλματος κίνησης τους. Στη συνέχεια περιγράφεται το μοντέλο εικόνας το οποίο στην πράξη αποτελείται από τρία συστατικά μέρη: τον μετασχηματισμό (αποσυσχετίζει και συμπιέζει τα δεδομένα), την κβάντιση (μειώνει την ακρίβεια των μετασχηματισμένων δεδομένων) και την ανακατάταξη (ανακατατάσσει τα δεδομένα ούτως ώστε να ομαδοποιήσει μαζί τις σημαντικές τιμές). Οι συντελεστές του μετασχηματισμού μετά την ανακατάταξη και την κωδικοποίηση, μπορούν να κωδικοποιηθούν περαιτέρω με τη χρήση κωδικών μεταβλητού μήκους (Huffman κωδικοποίηση) ή μέσω αριθμητικής κωδικοποίησης. Στο τέλος του κεφαλαίου περιγράφεται το υβριδικό μοντέλο DPCM/DCT CODEC πάνω στον οποίο στηρίζεται και η υλοποίηση του MPEG 4 Simple Profile CODEC. Στο τρίτο κεφάλαιο ουσιαστικά γίνεται μια περιγραφή των χαρακτηριστικών του MPEG 4 Simple Profile CODEC, των εργαλείων που χρησιμοποιεί, της έννοιας αντικείμενο που πλέον υπεισέρχεται στην κωδικοποίηση βίντεο καθώς και τα είδη προφίλ και επιπέδων που υποστηρίζει το συγκεκριμένο πρωτόκολλο κωδικοποίησης/αποκωδικοποίησης. Στο τέταρτο κεφάλαιο παρουσιάζεται η υλοποίηση του κωδικοποιητή, του αποκωδικοποιητή του MPEG 4 Simple Profile CODEC καθώς και των επιμέρους υποσυστημάτων που τους απαρτίζουν. Στο πέμπτο κεφάλαιο περιγράφεται η αλληλεπίδραση του χρήστη με το σύστημα κωδικοποίησης/αποκωδικοποίησης, τι παράμετροι χρειάζονται να δοθούν ως είσοδοι από αυτόν, καθώς και πως είναι δυνατή η χρήση του συγκεκριμένου συστήματος.

6 ii Τελειώνοντας θα ήθελα να ευχαριστήσω τον επιβλέποντα της προσπάθειας αυτής Αναπληρωτή Καθηγητή κ. Ευάγγελο Ζυγούρη, η καθοδήγηση του οποίου υπήρξε καθοριστική. Σωτηρόπουλος Κωνσταντίνος ΠΑΤΡΑ 2013

7 iii Introduction This project objective is the design and development of MPEG 4 Simple Profile CODEC in Simulink environment in order to execute the resulting DSP algorithm on the development platform TMS320DM6437 EVM. The first chapter defines the term of real time video coding which sometimes is misunderstood by most people. Besides there is a brief description of DSP systems, which includes information about their typical characteristics, their architecture, their memory architecture and the hardware elements provided with in order to support the flow of a DSP program. It is also presented the evolution of DSPs through time, which finally gave the modern DSPs with better performance than their ancestors thanks to the technological and architectonical improvements such as, lower design rules, fast-access two-level cache, (E)DMA circuitry and a wider bus system. At the end of this chapter it is presented the architecture of TMS320DM6437 EVM board and its input/output hardware interfaces for video and sound. At the second chapter there is an extensive presentation of terms found at the science of coding/decoding video. At the beginning of this chapter it is depicted a general model including a video encoder/decoder and this is the reason for the description of temporal model, which includes the prediction of current frame from the previous one, and at the same time it explains the computation methods of macroblock motion estimation and motion compensation. Continuing it is described the image model aparted from three component parts, the transformation (decorrelation and data compression), the quantization (reduces the accuracy of transformed data) and the reordering (reorders data on a way that groups significant values all together). The transform coefficients after reordering and coding, can be further coding by using variable length coding (Huffman coding) or arithmetic coding. At the end of the chapter the hybrid model of DPCM/DCT CODEC is described and this is the one where the implementation of MPEG 4 Simple Profile CODEC has been set up. At the third chapter there is a description about the characteristics of MPEG 4 Simple Profile CODEC, the tools used, the object term, which appears on video coding/decoding and also what are the profiles and levels supported by the specific video encoding/decoding protocol. Finally it is described how the coding of rectangular frames is done and the Simulink model of MPEG 4 Simple Profile CODEC which is the base for the implementation of DSP algorithm executed on the development platform. At the forth chapter we present the implementation of MPEG 4 Simple Profile CODEC encoder/decoder and their partial subsystems. At the fifth chapter it is described the interaction between user and the CODEC, what are the parameters needed to be entered as inputs and how the system can be used. Sotiropoulos Constantinos Patra 2013

8 iv

9 v Πίνακας περιεχομένων Πρόλογος... i Introduction... iii Πίνακας περιεχομένων... v Κεφάλαιο 1 Περιγραφή του Συστήματος Εισαγωγή Περιγραφή της real time κωδικοποίησης video Περιγραφή του hardware Επεξεργαστές Ψηφιακού σήματος (DSPs) H αρχιτεκτονική της πλατφόρμας TMS320DM6437 EVM Κεφάλαιο 2 Έννοιες της κωδικοποίησης/αποκωδικοποίησης βίντεο Εισαγωγή Περιγραφή του Συστήματος Κωδικοποιητή/Αποκωδικοποιητή Περιγραφή του χρονικού μοντέλου στην κωδικοποίηση βίντεο Πρόβλεψη βάσει του προηγούμενου βίντεο πλαισίου Αλλαγές που επιβάλλονται λόγω κίνησης Εκτίμηση κίνησης και του σφάλματος κίνησης βασιζόμενοι στο μπλοκ ενός πλαισίου Πρόβλεψη του σφάλματος κίνησης ενός μακρομπλοκ Το μέγεθος του μπλοκ για το σφάλμα κίνησης Αντιστάθμιση κίνησης βασισμένη στις περιοχές του πλαισίου Περιγραφή του μοντέλου εικόνας Κωδικοποίηση εικόνας με πρόβλεψη Κωδικοποίηση Μετασχηματισμού Κβάντιση Ανακατάταξη και κωδικοποίηση των συντελεστών του ΔΜΣ Περιγραφή του κωδικοποιητή εντροπίας Κωδικοποίηση με πρόβλεψη Κωδικοποίηση με μεταβλητού μήκους κώδικες Περιγραφή της αριθμητικής κωδικοποίησης Το υβριδικό μοντέλο DPCM/DCT βίντεο CODEC Κεφάλαιο 3 Περιγραφή του MPEG-4 Visual Simple Profile CODEC Εισαγωγή Περιγραφή των χαρακτηριστικών του MPEG-4 Visual Εργαλεία, Αντικείμενα, Προφίλ και Επίπεδα του MPEG-4 Visual Περιγραφή της έννοιας «βίντεο αντικείμενα» Κωδικοποίηση ορθογωνίων πλαισίων βίντεο Περιγραφή της μορφής του βίντεο εισόδου και εξόδου Ο MPEG-4 Visual Simple Profile CODEC Το Block Diagram προσομοίωσης του MPEG-4 Visual Simple Profile CODEC Κεφάλαιο 4 Υλοποίηση του MPEG-4 Visual Simple Profile CODEC Εισαγωγή Το Block Diagram του CODEC για την πλατφόρμα TMS320DM6437 EVM στο Simulink Υλοποίηση της λειτουργικότητας του κωδικοποιητή Περιγραφή της μορφής του βίντεο εισόδου και εξόδου Περιγραφή του υποσυστήματος κωδικοποίησης Γενική επισκόπηση του υποσυστήματος κωδικοποίησης Υλοποίηση της εκτίμησης κίνησης και της εύρεσης του σφάλματος κίνησης Αναζήτηση τριών βημάτων (Three step Search, 3SS) Υλοποίηση της κωδικοποίησης μετασχηματισμού

10 vi Υλοποίηση της κβάντισης Κβάντιση των intra - coded μακρομπλοκ Κβάντιση των inter - coded μακρομπλοκ Υλοποίηση της ανακατάταξης των συντελεστών του ΔΜΣ Υλοποίηση της κωδικοποίησης (run, level, last) των συντελεστών του ΔΜΣ Υλοποίηση της κωδικοποίησης με τη χρήση κωδίκων μεταβλητού μήκους Περιγραφή του υποσυστήματος αποκωδικοποίησης Γενική επισκόπηση του υποσυστήματος αποκωδικοποίησης Υλοποίηση της αντίστροφης εκτίμησης κίνησης και του σφάλματος κίνησης Υλοποίηση της αποκωδικοποίησης (run, level, last) των συντελεστών του ΔΜΣ Υλοποίηση της αντίστροφης ανακατάταξης των συντελεστών του ΔΜΣ Υλοποίηση της αντίστροφης κβάντισης Αντίστροφη κβάντιση των intra - coded μακρομπλοκ Αντίστροφη κβάντιση των inter - coded μακρομπλοκ Υλοποίηση της αντίστροφης κωδικοποίησης μετασχηματισμού Υλοποίηση της αποκωδικοποίησης με τη χρήση κωδίκων μεταβλητού μήκους Κεφάλαιο 5 Αναφορά στη λειτουργία του συστήματος Εισαγωγή Χρήση του MPEG-4 Visual Simple Profile CODEC Περιγραφή των ρυθμίσεων του Simulink για τη διασύνδεση με το CCS Περιγραφή του GUI αλληλεπίδρασης με το CCS Συμπεράσματα Προτάσεις Βιβλιογραφία Παράρτημα Α Υλοποίηση block στο Simulink με τη χρήση του legacy code tool

11 vii

12 viii

13 Κεφάλαιο 1 Περιγραφή του Συστήματος 1.1 Εισαγωγή Σε αυτό το κεφάλαιο παρουσιάζουμε την έννοια της real time κωδικοποίησης video ενώ παράλληλα, αναφερόμαστε στους Επεξεργαστές Ψηφιακού Σήματος (DSPs) με αναφορά σε κάποια ιστορικά στοιχεία για την εισαγωγή τους στο χώρο της επεξεργασίας σήματος καθώς και την αρχιτεκτονική αυτών. Επίσης γίνεται μια περιγραφή της αρχιτεκτονικής της πλατφόρμας TMS320DM6437 EVM, ενώ υπάρχει, και μια οπτική απεικόνιση των μερών της κάρτας και των δυνατοτήτων που έχουν οι είσοδοι/έξοδοι ήχου και βίντεο που περιλαμβάνει. 1.2 Περιγραφή της real time κωδικοποίησης video Οι χρήστες συχνά χρησιμοποιούν τον όρο βίντεο πραγματικού χρόνου αλλά, για διαφορετικούς ανθρώπους μπορεί να έχει και διαφορετική έννοια. Μια μερίδα χρηστών θεωρεί βίντεο πραγματικού χρόνου το είδος εκείνο που αποστέλλεται υπό τη μορφή δυαδικού ρεύματος πάνω από το διαδίκτυο, ενώ, κάποια άλλη μερίδα χρηστών το είδος εκείνο που χρησιμοποιείται για οπτική επικοινωνία. Στην πρώτη περίπτωση η κατεύθυνση της αποστολής βίντεο είναι μονόπλευρη, υπό την έννοια ότι το βίντεο «ρέει» από μια μοναδική πηγή προς έναν ή περισσότερους προορισμούς. Σε αυτή την περίπτωση που η

14 2 Κεφάλαιο 1 καθυστέρηση μεταξύ της αποστολής και της λήψης του βίντεο δεν είναι σχετική, ο πραγματικός χρόνος (που παρεμβάλλεται μεταξύ της αποστολής και της λήψης) μπορεί να ποικίλλει από μερικά δευτερόλεπτα έως κάποια λεπτά. Στη δεύτερη περίπτωση η ροή του βίντεο είναι αμφίπλευρη, καθώς ρέει και προς τις δύο κατευθύνσεις και μπορεί να θεωρηθεί «συγχρονισμένη», καθώς το ρεύμα βίντεο από τη μία πλευρά αποκρίνεται και αλληλεπιδρά με το ρεύμα βίντεο από την άλλη πλευρά. Σε αυτή την περίπτωση ο πραγματικός χρόνος είναι της τάξης εκατοντάδων ms καθυστέρηση μεταξύ της αποστολής και της λήψης του βίντεο. Η καθυστέρηση είναι ο όρος που χρησιμοποιείται για να περιγράψει το χρόνο που απαιτείται για το ζωντανό βίντεο να συλληφθεί, να κωδικοποιηθεί, να αποσταλεί πάνω από το δίκτυο, να αποκωδικοποιηθεί στην άλλη πλευρά και να γίνει τελικά η απεικόνισή του. Αυτή η ποικιλομορφία της έννοιας «πραγματικός χρόνος» για τις δύο περιπτώσεις βίντεο πραγματικού χρόνου που ήδη αναφέρθηκαν ήταν η αιτία για πολλές αποχωρήσεις πελατών από την βιομηχανία οπτικής επικοινωνίας από τους πωλητές κωδικοποιητών/αποκωδικοποιητών. Καθώς οι αλγόριθμοι συμπίεσης είναι υλοποιημένοι με λογισμικό, εισάγεται κάποιος φόρτος που μπορεί να προκαλέσει προβλήματα σε περιβάλλοντα πραγματικού χρόνου. Η συμπίεση απαιτεί αρκετή υπολογιστική ισχύ, επομένως για μεταδόσεις δεδομένων πραγματικού χρόνου πάνω από κάποια δικτυακή ζεύξη, απαιτείται ένα σύστημα και από τις δύο πλευρές της ζεύξης που μπορεί να συμπιέσει και να αποσυμπιέσει δεδομένα χωρίς να εμφανίζονται σημαντικές καθυστερήσεις. Μερικές εφαρμογές μπορεί να μην είναι ανεκτικές σε καθυστερήσεις κάτι που μπορεί να ωθήσει στη ρύθμιση των επιπέδων συμπίεσης και/ή την ενίσχυση της υπολογιστικής ισχύος ώστε, να εξαλειφθούν αυτές οι καθυστερήσεις. Στη συμπίεση βίντεο κάθε πλαίσιο είναι ένας πίνακας από εικονοστοιχεία που θα πρέπει να ελαχιστοποιηθεί αφαιρώντας την πλεονάζουσα πληροφορία. Η συμπίεση βίντεο συνήθως γίνεται με ειδικά ολοκληρωμένα κυκλώματα, παρά με λογισμικό, ώστε να επιτυγχάνεται καλύτερη απόδοση. Η συνηθισμένη μορφή βίντεο είναι 30 πλαίσια/sec αλλά μελέτες έχουν δείξει ότι τα 16 πλαίσια/sec είναι επίσης ένας αποδεκτός αριθμός σε πολλούς παρατηρητές, οπότε, η μείωση του αριθμού των πλαισίων ανά δευτερόλεπτο αποτελεί μια άλλου είδους μορφή συμπίεσης. Όταν αφαιρείται πληροφορία από ένα πλαίσιο τότε αυτού του είδους η συμπίεση αποκαλείται χωρική ή εσωτερική συμπίεση πλαισίου. Αλλά ένα βίντεο περιέχει αρκετή περιττή διαπλαισιακή πληροφορία όπως για παράδειγμα, το παρασκήνιο γύρω από ένα πρόσωπο που μιλάει σε ένα κλιπ ειδήσεων. Η διαπλαισιακή συμπίεση λειτουργεί ξεκινώντας με την εύρεση ενός πλαισίου κλειδί που αναπαριστά όλα τα πλαίσια με παρόμοια πληροφορία, και έπειτα καταγράφει μόνο τις αλλαγές που συμβαίνουν σε κάθε πλαίσιο. Το πλαίσιο κλειδί ονομάζεται «Ι» πλαίσιο και τα επακόλουθα πλαίσια που περιέχουν μόνο την πληροφορία «διαφοράς» αναφέρονται ως πλαίσια «P» (πλαίσια που προέκυψαν από πρόβλεψη). Ένα «Β» πλαίσιο (πλαίσιο δύο κατευθύνσεων) χρησιμοποιείται όταν αρχίζουν να εμφανίζονται νέες πληροφορίες μέσα στα πλαίσια και περιέχει πληροφορία από προηγούμενα και επόμενα πλαίσια. Κάτι που θα πρέπει να έχουμε υπόψη είναι ότι η διαπλαισιακή συμπίεση παρέχει υψηλά επίπεδα συμπίεσης αλλά είναι δύσκολο να επεξεργαστεί η πληροφορία των πλαισίων όταν είναι διάσπαρτη. Η εσωτερική συμπίεση πλαισίου περιέχει περισσότερη πληροφορία για κάθε πλαίσιο και είναι ευκολότερο να διορθωθεί. Τα «παγωμένα πλαίσια» κατά τη διάρκεια της αναπαραγωγής έχουν επίσης υψηλότερη ανάλυση. Να σημειωθεί ότι και τα δύο είδη συμπίεσης χρησιμοποιούνται συνδυαστικά κατά την συμπίεση βίντεο πραγματικού χρόνου.

15 Περιγραφή του Συστήματος 3 Ένα σύνολο από κωδικοποιητές βίντεο είναι διαθέσιμοι και οι οποίοι δουλεύουν τόσο σε επίπεδο λογισμικού όσο και σε επίπεδο υλικού. Στη συνέχεια αναφέρονται εν συντομία κάποιοι από αυτούς: MPEG (Motion Picture Experts Group) Το MPEG αναπτύσσει πολλά βίντεο πρότυπα συμπίεσης που ορίζουν τη μορφή, τους ρυθμούς δεδομένων, και τις τεχνικές συμπίεσης για διεθνή χρήση. Το MPEG χρησιμοποιεί της μεθόδους εσωτερικής συμπίεσης πλαισίου καθώς και αυτή της διαπλαισιακής συμπίεσης που μόλις περιγράφτηκαν, όπως επίσης και τον ΔΜΣ για τον οποίο θα γίνει αναφορά στο επόμενο κεφάλαιο. Να σημειωθεί ότι το JPEG και το MPEG δεν σχετίζονται παρότι αναπτύχθηκαν από τον ίδιο οργανισμό. Το JPEG είναι για εικόνες χωρίς κίνηση ενώ το MPEG έχει σχεδιαστεί αποκλειστικά για κινούμενο βίντεο. Υπάρχουν πολλές περιγραφές προτύπου MPEG: MPEG 1 Αυτή η προδιαγραφή ορίζει και βίντεο και ήχο και ταυτόχρονα πως θα γίνει η προσπέλαση βίντεο πλήρους κίνησης από τον δίσκο με ταχύτητα 1.5 έως 2 Mbits/sec. MPEG 2 Αυτή η προδιαγραφή προσπαθεί να παρέχει ποιότητα βίντεο πλήρους κίνησης που ξεπερνά τα NTSC, PAL και SECAM συστήματα πανεκπομπής. MPEG 3 Συγχωνεύεται εντός του MPEG 2. MPEG 4 Ορίζεται ως ένα «οπτικοακουστικό σύστημα κωδικοποίησης με πολύ χαμηλό ρυθμό δεδομένων» που σχεδιάστηκε για μετάδοση πάνω από ζεύξεις δεδομένων ταχύτητας 64 Kbit/sec. M JPEG (Motion JPEG) Αυτό το σχήμα βασικά συνδυάζει μια σειρά από ακίνητες εικόνες JPEG που απεικονίζονται πολύ γρήγορα ώστε να σχηματίσουν μια κινούμενη εικόνα. Cinepak Πρόκειται για έναν παλιό κωδικοποιητή που αναπτύχτηκε από την Radius Corp για την αναπαραγωγή βίντεο σε χαμηλής ταχύτητας οδηγούς CD ROM. Το Cinepak παρέχει σχετικά υψηλή ποιότητα και καλές επιδόσεις. Indeo Video 3.2 Ένας κωδικοποιητής βίντεο 24 δυαδικών ψηφίων βασιζόμενος σε επεξεργαστή Intel που πρωτοεμφανίστηκε στη δεκαετία του 80. Όπως και ο Cinepak, αυτός ο κωδικοποιητής σχεδιάστηκε για την αναπαραγωγή βίντεο σε χαμηλής ταχύτητας οδηγούς CD ROM. Indeo Video Interactive 4.1 Αυτός ο κωδικοποιητής παρέχει υψηλότερη ποιότητα από τις προηγούμενες εκδόσεις Indeo. Χρησιμοποιεί τεχνολογία κυματιδίων που θα αναφερθούν σε επόμενο κεφάλαιο. H.261 Αυτό το πρότυπο είναι μέρος του ITU H.320, μιας σειράς από πρότυπα τηλεδιασκέψεων που είναι παρόμοια με το MPEG πρότυπο. Ορίζει συμπίεση βίντεο σε προσαυξήσεις των 64 kbit/sec, μαζί με επιπλέον προδιαγραφές για την πληροφορία της φωτεινότητας και του χρώματος.

16 4 Κεφάλαιο 1 H.263 Ένας κωδικοποιητής που σχεδιάστηκε από την Intel με σκοπό την παράδοση βίντεο πάνω από συνδέσεις μόντεμ ταχύτητας 28.8 Kbit/sec. TrueMotion RT Ένας κωδικοποιητής που σχεδιάστηκε από την εταιρεία Duck και παρέχει υψηλής ανάλυσης βίντεο πλήρους κίνησης. VDOnet VDOwave Αναπτύχθηκε από την εταιρεία VDO και ο σκοπός σχεδίασής του ήταν η παράδοση βίντεο που θα ήταν ειδικά βελτιστοποιημένο για το διαδίκτυο. DVI (Digital Video Interactive) Ένας συμπιεστής βίντεο επάνω σε ολοκληρωμένο κύκλωμα που αναπτύχθηκε από την εταιρεία Intel. RealSystem G2 Η εταιρεία RealSystem είναι γνωστή για τα προϊόντα που παράγει σχετικά με πολυμέσα διαδικτύου. Οι κωδικοποιητές της παρέχουν εκπληκτική ποιότητα για όλους τους ρυθμούς δεδομένων και κάτω από συνθήκες δικτύου που εμπεριέχουν απώλειες δεδομένων. Για παράδειγμα ο κωδικοποιητής ήχου RealAudio G2 ενισχύει την απόκριση συχνότητας κατά 80% για τους χρήστες μόντεμ ταχύτητας 28.8 Kbit/sec. Τα αρχεία RealAudio και RealVideo κλιμακώνονται αυτόματα τώρα σε όλο το φάσμα συχνοτήτων και ο ρυθμός δεδομένων προσαρμόζεται δυναμικά ώστε να ταιριάξει με το διαθέσιμο φάσμα συχνοτήτων, περιορίζοντας έτσι την επανενταμίευση. Άλλες μέθοδοι συμπίεσης βρίσκονται στο δρόμο προς υλοποίηση, και πολλές ήδη υπάρχουσες μέθοδοι αναθεωρούνται. Οι ITU επιτροπές δουλεύουν πάνω σε πρότυπα για βίντεο τηλέφωνα και τηλεδιασκέψεις πάνω από ISDN (Integrated Services Digital Network) συνδέσεις καθώς και άλλες υπηρεσίες. 1.3 Περιγραφή του hardware Επεξεργαστές Ψηφιακού σήματος (DSPs) Ένας επεξεργαστής ψηφιακού σήματος (DSP) είναι ένας εξειδικευμένος μικροεπεξεργαστής με μια βελτιστοποιημένη αρχιτεκτονική για την ικανοποίηση της ανάγκης γρήγορων πράξεων που απαιτεί η ψηφιακή επεξεργασία σήματος. Τυπικά χαρακτηριστικά Οι αλγόριθμοι επεξεργασίας ψηφιακού σήματος συνήθως απαιτούν ένα μεγάλο αριθμό από μαθηματικές πράξεις να εκτελεστεί γρήγορα και επαναληπτικά πάνω σε ένα σύνολο δεδομένων. Σήματα (ίσως από αισθητήρες ήχου ή βίντεο) μετατρέπονται συνεχώς από αναλογικά σε ψηφιακά, ώστε να γίνει ο χειρισμός τους, και στη συνέχεια μετατρέπονται πάλι σε αναλογική μορφή. Πολλές εφαρμογές επεξεργασίας ψηφιακού σήματος έχουν περιορισμούς όσων αφορά την καθυστέρηση, που έχει να κάνει με τις λειτουργίες επεξεργασίας που πρέπει να ολοκληρωθούν μέσα σε κάποιο προκαθορισμένο χρόνο και όπου συνεπώς, η καθυστερημένη επεξεργασία δεν είναι επιθυμητή. Οι περισσότεροι μικροεπεξεργαστές και λειτουργικά συστήματα γενικού σκοπού μπορούν να εκτελέσουν επιτυχώς αλγορίθμους ψηφιακής επεξεργασίας σήματος, αλλά δεν είναι κατάλληλοι προς χρήση σε φορητές συσκευές όπως τα κινητά τηλέφωνα και τα PDA λόγω περιορισμών ισχύος και χώρου. Ένας εξειδικευμένος επεξεργαστής ψηφιακού σήματος όμως, θα τείνει να παρέχει μια λύση χαμηλότερου κόστους, με

17 Περιγραφή του Συστήματος 5 καλύτερες επιδόσεις, χαμηλότερη καθυστέρηση, και καθόλου απαιτήσεις για εξειδικευμένη ψύξη ή μπαταρίες μεγάλης ισχύος. Η αρχιτεκτονική ενός επεξεργαστή ψηφιακού σήματος βελτιστοποιείται ειδικά για την ψηφιακή επεξεργασία σήματος. Αρκετοί από αυτούς υποστηρίζουν επίσης πολλά χαρακτηριστικά ενός επεξεργαστή εφαρμογών ή μικροελεγκτή, αφού η ψηφιακή επεξεργασία σήματος σπάνια είναι η μόνη εργασία που επιτελείται σε ένα σύστημα. Μερικά χρήσιμα χαρακτηριστικά για την βελτιστοποίηση των αλγορίθμων ψηφιακής επεξεργασίας σήματος φαίνονται στη συνέχεια. Αρχιτεκτονική Σύμφωνα με τα πρότυπα των επεξεργαστών γενικού σκοπού, τα σύνολα εντολών των DSPs είναι συχνά πολύ ασυνήθιστα. Τα χαρακτηριστικά του υλικού που είναι ορατά μέσα από τα σύνολα εντολών των DSPs συνήθως περιλαμβάνουν: Διευθυνσιοδότηση υλικού με modulo τρόπο, επιτρέποντας έτσι την υλοποίηση κυκλικών ενταμιευτών χωρίς να απαιτείται ο συνεχής έλεγχος για επαναφορά ( Σχήμα 1.1 ). Σχήμα 1.1 Ένας modulo ενταμιευτής με όριο θέσεων ίσο με 6. Αν αυξηθεί η τιμή της διεύθυνσης δεικτοδότησης στην 0x106 τότε θα δείχνει στα ίδια δεδομένα που θα έδειχνε αν η τιμή της ήταν ίση με 0x100. Μια αρχιτεκτονική μνήμης που είναι σχεδιασμένη για ρευματοδότηση δεδομένων (streaming data), χρησιμοποιώντας ευρέως το DMA και περιμένοντας να γραφτεί κώδικας ούτως ώστε να γνωρίζει την ιεραρχία των κρυφών μνημών και τις συσχετιζόμενες καθυστερήσεις. Η οδήγηση πολλαπλών αριθμητικών μονάδων μπορεί να απαιτήσει αρχιτεκτονικές μνήμης για την υποστήριξη πολλαπλών προσπελάσεων ανά κύκλο εντολής. Ξεχωριστές μνήμες προγράμματος και δεδομένων, και μερικές φορές ταυτόχρονη προσπέλαση σε πολλαπλούς διαύλους δεδομένων. Ειδικές SIMD (Single Instruction, Multiple Data) λειτουργίες. Μερικοί επεξεργαστές χρησιμοποιούν τεχνικές VLIW ώστε κάθε εντολή να οδηγεί πολλαπλές αριθμητικές μονάδες παράλληλα.

18 6 Κεφάλαιο 1 Εξειδικευμένες αριθμητικές εντολές, όπως γρήγορους πολλαπλασιασμούς - συσσωρεύσεις (MACs). Πολλοί βασικοί αλγόριθμοι ψηφιακής επεξεργασίας σήματος, όπως FIR φίλτρα ή ο FFT βασίζονται πάρα πολύ στην απόδοση του πολλαπλασιασμού συσσώρευσης. Διευθυνσιοδότηση με αντιστροφή δυαδικών ψηφίων, ένας συγκεκριμένος τρόπος διευθυνσιοδότησης που είναι χρήσιμος για τον υπολογισμό FFT. Ειδικοί έλεγχοι βρόχων, όπως αρχιτεκτονική υποστήριξη για την εκτέλεση μερικών λέξεων από εντολές μέσα σε ένα βρόχο χωρίς το φόρτο ανάκτησης εντολών και ελέγχου για έξοδο. Σκόπιμος αποκλεισμός από μια μονάδα διαχείρισης μνήμης. Οι DSPs συχνά χρησιμοποιούν λειτουργικά συστήματα που επιτελούν πολλές εργασίες (multi tasking operating systems), αλλά δεν έχουν κάποιο μηχανισμό για υποστήριξη εικονικής μνήμης ή προστασίας μνήμης. Ροή προγράμματος Μονάδα για αριθμούς κινητής υποδιαστολής ενσωματωμένη επάνω στο μονοπάτι δεδομένων 1. Αρχιτεκτονική παροχέτευσης. Παράλληλοι πολλαπλασιαστές συσσωρευτές (μονάδες MAC). Βρόχοι ελεγχόμενοι από το υλικό, για να ελαττωθεί ή να περιοριστεί ο φόρτος που επιβάλλεται από τις λειτουργίες των βρόχων. Αρχιτεκτονική μνήμης Οι DSPs συχνά χρησιμοποιούν εξειδικευμένες αρχιτεκτονικές μνήμης που μπορούν να ανακτήσουν πολλαπλά δεδομένα και/ή εντολές την ίδια στιγμή: Super Harvard αρχιτεκτονική Harvard αρχιτεκτονική Τροποποιημένη von Neumann αρχιτεκτονική Χρήση του DMA Μονάδα υπολογισμού διεύθυνσης μνήμης 1 Μονοπάτι δεδομένων ( datapath ) είναι μια συλλογή από λειτουργικές μονάδες, όπως αριθμητικές λογικές μονάδες ή πολλαπλασιαστές, που επιτελούν λειτουργίες επεξεργασίας δεδομένων. Αποτελούν ένα κύριο μέρος πολλών κεντρικών μονάδων επεξεργασίας μαζί με την μονάδα ελέγχου, που ρυθμίζει κατά κόρον την αλληλεπίδραση μεταξύ του μονοπατιού δεδομένων και των δεδομένων και συνήθως, είναι αποθηκευμένο σε καταχωρητές ή στην κύρια μνήμη.

19 Περιγραφή του Συστήματος 7 Λειτουργίες πάνω σε δεδομένα Αριθμητική κορεσμού, σύμφωνα με αυτήν οι λειτουργίες που προκαλούν υπερχειλίσεις θα συσσωρευτούν στις μέγιστες (ή στις ελάχιστες) τιμές που μπορεί να διατηρήσει ένας καταχωρητής. Αριθμητική σταθερής ακρίβειας (fixed point arithmetic) χρησιμοποιείται συχνά για να επιταχύνει την αριθμητική επεξεργασία. Λειτουργίες απλού κύκλου για να αυξηθούν τα οφέλη της παροχέτευσης. Σύνολα εντολών Ιστορία Λειτουργίες πολλαπλασιασμού συσσώρευσης, που χρησιμοποιούνται εκτεταμένα σε όλες τις πράξεις πινάκων, όπως τη συνέλιξη στο φιλτράρισμα, το εσωτερικό γινόμενο, ή ακόμα στην αποτίμηση πολυωνύμου. Λειτουργίες για την αύξηση του παραλληλισμού: SIMD, VLIW, υπερβαθμωτή αρχιτεκτονική 2. Εξειδικευμένες εντολές για modulo διευθυνσιοδότηση μέσα σε κυκλικούς ενταμιευτές και διευθυνσιοδότηση αντιστροφής δυαδικών ψηφίων για χρήση στον υπολογισμό του FFT. Οι DSPs μερικές φορές χρησιμοποιούν κωδικοποίηση χρονικής στασιμότητας 3 για να απλοποιήσουν το υλικό και να αυξήσουν την αποδοτικότητα της κωδικοποίησης. Πριν την έλευση των αυτόνομων DSP chips που περιγράφτηκαν πιο πάνω, οι πιο πολλές εφαρμογές επεξεργασίας ψηφιακού σήματος υλοποιούνταν χρησιμοποιώντας bit slice επεξεργαστές. Το AMD 2901 bit slice chip μαζί με την οικογένεια του αποτελούσε μια πολύ δημοφιλή επιλογή. Υπήρχαν σχέδια αναφοράς από την AMD, αλλά πολύ συχνά τα χαρακτηριστικά ενός συγκεκριμένου σχεδίου ήταν προορισμένο για εφαρμογές. Αυτές οι αρχιτεκτονικές bit slice μερικές φορές εμπεριείχαν ένα περιφερειακό τσιπ πολλαπλασιαστή. Παραδείγματα τέτοιων πολλαπλασιαστών ήταν η σειρά από την TRW που περιελάμβανε τον TDC1008 και τον TDC1010, μερικοί από τους οποίους συμπεριελάμβαναν έναν συσσωρευτή, και παρείχαν την απαιτούμενη λειτουργία πολλαπλασιασμού συσσώρευσης (MAC function). 2 Σε αυτού του είδους την κωδικοποίηση η εντολή περιγράφει όλες τις λειτουργίες που πρόκειται να εκτελεστούν στα στάδια παροχέτευσης εντός ενός κύκλου εντολής. 3 Μια τέτοια αρχιτεκτονική υλοποιεί ένα είδος παραλληλισμού μέσα σε έναν επεξεργαστή και ονομάζεται παραλληλισμός σε επίπεδο εντολών. Επομένως επιτρέπει γρηγορότερη διεκπεραιωτική ικανότητα της ΚΜΕ από αυτή που θα ήταν δυνατή σε κάθε άλλη περίπτωση δοθέντος ενός συγκεκριμένου ρυθμού ρολογιού. Ένας υπερβαθμωτός επεξεργαστής εκτελεί πάνω από μία εντολές κατά τη διάρκεια ενός κύκλου ρολογιού με την ταυτόχρονη αποστολή πολλαπλών εντολών σε αντίγραφα λειτουργικών μονάδων μέσα στον επεξεργαστή. Κάθε μία από αυτές τις λειτουργικές μονάδες δεν αποτελεί μια ξεχωριστή ΚΜΕ αλλά έναν πόρο εκτέλεσης μέσα σε μια ΚΜΕ όπως είναι μια αριθμητική λογική μονάδα, ένας ολισθητής δυαδικού ψηφίου, ή μια μονάδα πολλαπλασιαστή.

20 8 Κεφάλαιο 1 To 1976, o Richard Wiggins πρότεινε την έννοια Speak & Spell στους Paul Breedlove, Larry Brantingham, και Gene Frantz στις ερευνητικές εγκαταστάσεις της Texas Instruments στο Ντάλας. Δύο χρόνια αργότερα, το 1978, παρήγαγαν το πρώτο Speak & Spell, που το κοσμούσε το «τεχνολογικό στολίδι» TMS5100, ο πρώτος επεξεργαστής ψηφιακού σήματος. Έθεσε επίσης και άλλα ορόσημα, όπως να αποτελέσει το πρώτο τσιπ που χρησιμοποίησε γραμμική κωδικοποίηση πρόβλεψης για να επιτελέσει σύνθεση ομιλίας. Το 1978, η Intel κυκλοφόρησε τον 2920 ως έναν «αναλογικό επεξεργαστή σήματος». Διέθετε ένα ολοκληρωμένο κύκλωμα ADC/DAC με ένα εσωτερικό επεξεργαστή σήματος, αλλά δεν διέθετε έναν πολλαπλασιαστή πάνω σε υλικό και δυστυχώς η κυκλοφορία του δεν στέφθηκε με επιτυχία στην τότε αγορά. Το 1979, η AMI κυκλοφόρησε τον S2811. Σχεδιάστηκε ως ένας περιφερειακός μικροεπεξεργαστής, και έπρεπε να αρχικοποιηθεί από τον ξενιστή. Ο S2811 δεν ήταν επίσης επιτυχημένη κυκλοφορία μέσα στην αγορά. Το 1980 παρουσιάστηκαν στο Διεθνές Συνέδριο Κυκλωμάτων Στερεάς Κατάστασης οι πρώτοι αυτόνομοι, ολοκληρωμένοι DSPs, ο NEC μpd7720 και ο AT&T DSP1. Και οι δύο επεξεργαστές εμπνεύστηκαν από την έρευνα που γινόταν πάνω στις PSTN τηλεπικοινωνίες. Ένας άλλος DSP που κατασκευάστηκε από την Texas Instruments (TI), o TMS32010 που παρουσιάστηκε το 1983, αποδείχτηκε ότι ήταν μια ακόμα μεγαλύτερη επιτυχία. Βασιζόταν στην αρχιτεκτονική Harvard, και γι αυτό είχε διαφορετική μνήμη εντολών και δεδομένων. Επίσης διέθετε και ένα εξειδικευμένο σύνολο εντολών, με εντολές όπως φόρτωσε και συσσώρευσε ή πολλαπλασίασε και συσσώρευσε. Μπορούσε να δουλέψει πάνω σε αριθμούς 16 δυαδικών ψηφίων και χρειαζόταν χρόνο 390 ns για την επιτέλεση μιας πράξης πολλαπλασιασμού πρόσθεσης. Η εταιρεία TI αποτελεί τώρα τον ηγέτη της αγοράς στους DSPs γενικού σκοπού. Ένα άλλο επιτυχές σχέδιο υπήρξε ο Motorola Περίπου πέντε χρόνια αργότερα, η δεύτερη γενιά των DSPs άρχισε να εξαπλώνεται. Διέθεταν τρεις μνήμες για να αποθηκεύουν ταυτόχρονα δύο τελούμενα ενώ περιελάμβαναν και υλικό για να παρέχουν επιτάχυνση σφιχτών βρόχων 4. Επίσης είχαν και μια μονάδα διευθυνσιοδότησης, ικανή για τη διευθυνσιοδότηση βρόχων. Μερικοί από αυτούς λειτουργούσαν πάνω σε μεταβλητές 24 δυαδικών ψηφίων και ένα συνηθισμένο μοντέλο απαιτούσε μόνο 21 ns για μια πράξη MAC. Μέλη αυτής της γενιάς ήταν για παράδειγμα ο AT&T DSP16A ή ο Motorola DSP Η σημαντική βελτίωση που επήλθε στην τρίτη γενιά ήταν η εμφάνιση των μονάδων που ήταν εξειδικευμένες σε εφαρμογές καθώς και οι εντολές στο μονοπάτι δεδομένων, ή ακόμα και οι συνεπεξεργαστές. Αυτές οι μονάδες επέτρεπαν την απευθείας επιτάχυνση υλικού πολύ συγκεκριμένων αλλά, πολύπλοκων μαθηματικών προβλημάτων, όπως του μετασχηματισμού Fourier ή των πράξεων πάνω σε πίνακες. Μερικά ολοκληρωμένα κυκλώματα, όπως ο Motorola MC68356, περιείχαν περισσότερους από έναν επεξεργαστικό πυρήνα ώστε να μπορούν να δουλεύουν παράλληλα. Άλλοι DSPs του 1995 είναι ο TMS320C541 ή ο TMS320C80. Η τέταρτη γενιά χαρακτηρίζεται καλύτερα από τις αλλαγές στο σύνολο εντολών και την κωδικοποίηση/αποκωδικοποίηση εντολών. Προστέθηκαν επεκτάσεις SIMD, και εμφανίστηκαν η υπερβαθμωτή αρχιτεκτονική καθώς και η VLIW. Όπως πάντα, όταν αυξήθηκαν οι ταχύτητες ρολογιού, η πράξη MAC μπορούσε να επιτελείται πλέον μέσα σε 3 ns. 4 Ένας βρόχος κώδικα που εκτελείται χωρίς να απελευθερώνει κάποιον από τους πόρους σε άλλα προγράμματα ή στο λειτουργικό σύστημα.

21 Περιγραφή του Συστήματος 9 Σύγχρονοι DSPs Οι σύγχρονοι επεξεργαστές σήματος οδήγησαν σε καλύτερες επιδόσεις αυτό χάρη στις τεχνολογικές και αρχιτεκτονικές εξελίξεις όπως οι χαμηλότεροι κανόνες σχεδίασης, η γρήγορη προσπέλαση κρυφής μνήμης δύο επιπέδων, η σχεδίαση του DMA και ένα μεγαλύτερο σύστημα διαύλου. Όλοι οι DSPs δεν παρέχουν την ίδια ταχύτητα και υπάρχουν πολλά είδη επεξεργαστών σήματος, καθένα από τα οποία είναι καταλληλότερο για την εργασία που προορίζεται. Η Texas Instruments παράγει την σειρά από DSP C6000, που έχουν ταχύτητες ρολογιού της τάξης των 1.2 GHz και υλοποιούν ξεχωριστές κρυφές μνήμες εντολών και δεδομένων. Επίσης διαθέτουν μια κρυφή μνήμη δύο επιπέδων 8 MiB και 64 κανάλια EDMA. Τα κορυφαία μοντέλα μπορούν να εκτελέσουν 8000 εκατομμύρια εντολές το δευτερόλεπτο (8000 MIPS), να χρησιμοποιούν VLIW ( πολύ μεγάλη λέξη εντολής ), να εκτελούν οκτώ εντολές ανά κύκλο ρολογιού και να είναι συμβατά με μια ευρεία γκάμα από εξωτερικά περιφερειακά και διάφορους διαύλους (PCI/σειριακός/κ.τ.λ.). Τα ολοκληρωμένα κυκλώματα TMS320C6474 έχουν τρεις τέτοιους DSPs, και η νεότερη γενιά των ολοκληρωμένων κυκλωμάτων C6000 υποστηρίζει επεξεργασία με αριθμούς κινητής υποδιαστολής όπως επίσης και σταθερής υποδιαστολής. Η Freescale κατασκευάζει μία οικογένεια από πολυπύρηνους DSP, τους MSC81xx. Οι MSC81xx βασίζονται στους επεξεργαστές StarCore Architecture και ο τελευταίος MSC8144 DSP συνδυάζει τέσσερις SC3400 StarCore DSP πυρήνες που μπορούν να προγραμματιστούν. Κάθε SC3400 StarCore DSP πυρήνας έχει μια ταχύτητα ρολογιού ίση με 1 Ghz. Η XMOS κατασκευάζει μια πολυπύρηνη πολυνηματική σειρά επεξεργαστών που ταιριάζει αρκετά καλά στις DSP λειτουργίες. Οι ταχύτητες στις οποίες λειτουργούν ποικίλουν από 400 έως 1600 MIPS. Οι επεξεργαστές έχουν μία πολυνηματική αρχιτεκτονική που επιτρέπει μέχρι 8 νήματα πραγματικού χρόνου ανά πυρήνα, με την έννοια ότι μια τετραπύρηνη συσκευή θα μπορούσε να υποστηρίξει μέχρι 32 νήματα πραγματικού χρόνου. Τα νήματα επικοινωνούν μεταξύ τους με κανάλια που περιέχουν ενταμιευτές (buffered channels) και επιτυγχάνουν ταχύτητες μέχρι 80 Mbit/s. Οι συσκευές προγραμματίζονται πολύ εύκολα σε γλώσσα προγραμματισμού C και έχουν ως σκοπό να γεφυρώσουν το χάσμα μεταξύ των συμβατικών μικροελεγκτών και των FPGAs. Η εταιρεία CEVA, κατασκευάζει και κυκλοφορεί τρεις διακριτές οικογένειες από DSPs. Η πιο γνωστή ίσως από αυτές είναι η CEVA TeakLite οικογένεια DSP, μια κλασσική αρχιτεκτονική που είναι βασιζόμενη σε μνήμη, με μήκη λέξης ίσα με 16 ή 32 δυαδικά ψηφία και μία ή δύο μονάδες MAC. Η οικογένεια CEVA X DSP παρέχει ένα συνδυασμό από αρχιτεκτονικές VLIW και SIMD, με διάφορα από τα μέλη της οικογένειας να έχουν δύο ή τέσσερις μονάδες MAC 16 δυαδικών ψηφίων. Η Analog Devices κατασκευάζει τον DSP που είναι βασισμένος στον SHARC και η απόδοσή του ποικίλλει από 66 MHz/198 MFLOPS (εκατομμύρια εντολές κινητής υποδιαστολής ανά δευτερόλεπτο) σε 400 MHz/2400 MFLOPS. Μερικά μοντέλα υποστηρίζουν πολλαπλούς πολλαπλασιαστές και Αριθμητικές Λογικές Μονάδες, εντολές SIMD και εξειδικευμένα στοιχεία και περιφερειακά για επεξεργασία ήχου. Η οικογένεια των ενσωματωμένων επεξεργαστών ψηφιακού σήματος Blackfin συνδυάζουν τα χαρακτηριστικά ενός DSP με εκείνα που έχει ένας επεξεργαστής κοινού σκοπού. Ως αποτέλεσμα αυτού, οι συγκεκριμένοι επεξεργαστές μπορούν να τρέξουν απλά λειτουργικά συστήματα όπως το μclinux, το velocity και το Nucleus RTOS ενώ, επεξεργάζονται δεδομένα πραγματικού χρόνου.

22 10 Κεφάλαιο 1 Η NPX Semiconductors κατασκευάζει DSPs που βασίζονται στην τεχνολογία TriMedia VLIW, που είναι βελτιστοποιημένη για επεξεργασία ήχου και βίντεο. Σε μερικά προϊόντα ο DSP πυρήνας είναι κρυμμένος ως ένα μπλοκ καθορισμένης λειτουργίας μέσα σε ένα SoC (System on a Chip), αλλά ο ΝPX επίσης παρέχει μια γκάμα ευέλικτων επεξεργαστών ενός πυρήνα για πολυμέσα. Οι επεξεργαστές TriMedia υποστηρίζουν τόσο αριθμητική σταθερής ακρίβειας όσο και κινητής υποδιαστολής, και έχουν ειδικές εντολές για να χειρίζονται πολύπλοκα φίλτρα και την κωδικοποίηση εντροπίας. Οι περισσότεροι DSPs χρησιμοποιούν αριθμητική σταθερής ακρίβειας, επειδή στον πραγματικό κόσμο της επεξεργασίας σήματος το επιπλέον εύρος τιμών που παρέχεται από την αριθμητική κινητής υποδιαστολής δεν χρειάζεται, ενώ παράλληλα υπάρχει το πλεονέκτημα της μεγάλης ταχύτητας και του περιορισμένου κόστους αφού η πολυπλοκότητα του υλικού δεν είναι μεγάλη. Οι DSPs κινητής υποδιαστολής μπορεί να μην είναι χρήσιμοι σε εφαρμογές όπου απαιτείται ένας δυναμικό εύρος τιμών. Οι παραγωγοί προϊόντων μπορεί να χρησιμοποιήσουν DSPs με αριθμητική κινητής υποδιαστολής για να μειώσουν το κόστος και την πολυπλοκότητα της ανάπτυξης λογισμικού ως πλεονέκτημα απέναντι σε πιο ακριβό υλικό, καθώς είναι γενικά πιο εύκολη η υλοποίηση αλγορίθμων σε αριθμητική κινητής ακρίβειας. Γενικά, οι DSPs είναι ειδικά ολοκληρωμένα κυκλώματα που όμως η λειτουργικότητά τους μπορεί επίσης να υλοποιηθεί και από ολοκληρωμένα κυκλώματα FPGA. Οι ενσωματωμένοι επεξεργαστές γενικού σκοπού RISC αποκτούν ολοένα και περισσότερο λειτουργικότητα κοντά σε αυτή των DSPs. Για παράδειγμα, οι επεξεργαστές ARM Cortex A8 και OMAP3 περιλαμβάνουν έναν Cortex A8 και έναν C6000 DSP H αρχιτεκτονική της πλατφόρμας TMS320DM6437 EVM Η κάρτα TMS320DM6437 EVM αποτελεί μια αναπτυξιακή πλατφόρμα που λειτουργεί είτε αυτόνομα, είτε ως PCI based, και επιτρέπει την ανάπτυξη εφαρμογών για την TI DaVinci TM οικογένεια επεξεργαστών. Επίσης παρέχει όλους εκείνους τους μηχανισμούς για την υλοποίηση περίπλοκων εφαρμογών κωδικοποίησης βίντεο. Συνδυάζοντας έναν από τους τελευταίους DSP πυρήνες της Texas Instruments καθώς και υψηλής ποιότητας διεπαφές για βίντεο και ήχο, δίνει τη δυνατότητα στους σχεδιαστές να αναπτύσσουν λογισμικό και να το διαθέτουν στην αγορά μέσα σε λιγότερο χρόνο. Το Code Composer Studio v3.3 παρέχει μια ολοκληρωμένη πλατφόρμα ανάπτυξης (IDE) για υλοποίηση και αποσφαλμάτωση διαφόρων εφαρμογών εικόνας και βίντεο που είναι υλοποιημένες στις γλώσσες C/C++. Μερικά από τα χαρακτηριστικά και περιφερειακά που διαθέτει η κάρτα είναι τα ακόλουθα: Ένας Texas Instruments DM6437 επεξεργαστής με συχνότητα λειτουργίας έως 600 MHz 1 TVP5146M2 αποκωδικοποιητή βίντεο, που υποστηρίζει composite και S video εισόδους 4 video DAC με S video και RGB, composite ( 3 populated ) εξόδους 128 Mbytes DDR2 DRAM UART, CAN I/O interfaces 16 Mbytes non volatile μνήμη flash, 64 Mbytes NAND flash, 2 Mbytes SRAM AIC33 stereo codec I 2 C interface με onboard eeprom και δυνατότητα επέκτασης 10/100 Mbs Ethernet interface

23 Περιγραφή του Συστήματος 11 Configurable boot load options Embedded JTAG emulation interface 4 user LEDs και 4 position user switch Single voltage power supply ( +5 V ) Συνδέσεις επέκτασης για χρήση θυγατρικής κάρτας VLYNQ Interface S/PDIF Interface, αναλογικό και οπτικό Το chip DM6437 διασυνδέεται με τα περιφερειακά της κάρτας μέσω ενσωματωμένων interfaces και του διαύλου EMIF εύρους 8 δυαδικών ψηφίων. Ο δίαυλος EMIF ελέγχεται μέσω jumpers ώστε να μπορεί να διασυνδεθεί με μνήμες Flash, SRAM, NAND και τις θέσεις επέκτασης για μητρικές κάρτες (daughter card expansion connectors). Η μνήμη DDR2 είναι συνδεδεμένη σε αυτόνομο δίαυλο εύρους 32 δυαδικών ψηφίων. Ο αποκωδικοποιητής βίντεο TVP5146M2 που περιέχεται στην κάρτα, και οι 4 on chip DACs encoders διασυνδέουν το ρεύμα βίντεο με τον επεξεργαστή DM6437. Επίσης έχουν συμπεριληφθεί και λειτουργίες on screen display σε μορφή λογισμικού. Ο AIC33 codec επιτρέπει στον DSP να χειρίζεται αναλογικά σήματα ήχου. Για τον έλεγχο του codec χρησιμοποιείται ο δίαυλος I 2 C, ενώ το ρεύμα ήχου μεταφέρεται από και προς τον codec μέσω του διαύλου McBSP. Επίσης υπάρχουν οι κατάλληλες συνδέσεις με 3.5mm jacks για τη διασύνδεση των αναλογικών σημάτων ήχου. Στην κάρτα συμπεριλαμβάνονται 4 LEDs και ισάριθμα DIP switches ελεγχόμενα από τον προγραμματιστή για την εξυπηρέτηση της εκάστοτε εφαρμογής. Οι συσκευές αυτές διασυνδέονται επίσης μέσω του διαύλου I 2 C. Τα VLYNQ και Ethernet MAC αποτελούν ενσωματωμένα περιφερειακά του DM6437. Η χρήση του VLYNQ είναι εφικτή μόνο όταν δεν χρησιμοποιείται η διασύνδεση PCI. Το Code Composer Studio επικοινωνεί με την κάρτα είτε μέσω του ενσωματωμένου emulator είτε μέσω του 14 pin εξωτερικού JTAG connector. Σχήμα 1.2 Η αρχιτεκτονική της κάρτας TMS320DM6437 EVM. Μπορούν εύκολα να διακριθούν οι θέσεις του AIC33 Codec, του Video Decoder καθώς και του επεξεργαστή DM6437

24 12 Κεφάλαιο 1 Σχήμα 1.3 Η κάρτα TMS320DM6437 EVM και οι είσοδοι/έξοδοι της κάρτας Σχήμα 1.4 Για τις εξόδους των DACs υπάρχει η δυνατότητα προγραμματισμού ώστε να μπορούν να υποστηρίξουν composite video, component video ή RGB. Η έξοδος S - video είναι διαθέσιμη από τον connector P1. Αυτός ο connector οδηγείται από τις εξόδους DAC B και C της κάρτας DM6437. Η έξοδος Video DAC B είναι το chroma και DAC C το luma. Παρουσιάζονται επίσης και κάποιοι τύποι καλωδίων composite που κυκλοφορούν στο εμπόριο

25 Περιγραφή του Συστήματος 13 Σχήμα 1.5 Η είσοδος (1) της κάρτας που φαίνεται στο σχήμα 1.3 αποτελεί την είσοδο για NTSC ή PAL βίντεο από κάποια βίντεο κάμερα ή κάποια άλλη πηγή βίντεο. Στην εικόνα φαίνεται και ένα composite καλώδιο για την παροχή εισόδου. Σχήμα 1.6 Η θύρα (2) αποτελεί θύρα εισόδου S-video και η θύρα (3) αποτελεί θύρα εξόδου S video αντίστοιχα. Τύποι καλωδίων που μπορούν να χρησιμοποιηθούν για αυτές τις θύρες είναι αυτά που απεικονίζονται στην πάνω εικόνα

26

27 Κεφάλαιο 2 Έννοιες της κωδικοποίησης/ αποκωδικοποίησης βίντεο 2.1 Εισαγωγή Με τον όρο συμπίεση εννοούμε τη μετατροπή των αρχικών δεδομένων σε μία νέα μορφή που απαιτεί ένα μικρότερο αριθμό από δυαδικά ψηφία για να αποθηκευτεί. Η συμπίεση βίντεο (κωδικοποίηση βίντεο) είναι η διαδικασία της περικοπής μιας ακολουθίας ψηφιακού βίντεο σε μια ακολουθία με μικρότερο πλήθος δυαδικών ψηφίων. Το «ακατέργαστο» ή ασυμπίεστο ψηφιακό βίντεο απαιτεί ένα μεγάλο ρυθμό ακολουθίας δυαδικών ψηφίων (περίπου 216 Mbits για 1 δευτερόλεπτο ασυμπίεστου βίντεο ποιότητας τηλεόρασης) και ως εκ τούτου η συμπίεση είναι απαραίτητη για την πρακτική αποθήκευση και μετάδοση του. Η συμπίεση περιλαμβάνει ένα συμπληρωματικό ζεύγος συστημάτων, τον κωδικοποιητή (encoder) και τον αποκωδικοποιητή (decoder). Ο κωδικοποιητής μετατρέπει τα δεδομένα της πηγής βίντεο σε μια συμπιεσμένη μορφή (χρησιμοποιώντας έναν μικρότερο αριθμό από δυαδικά ψηφία) πριν αυτό ακόμα μεταδοθεί ή αποθηκευτεί ενώ ο αποκωδικοποιητής επαναφέρει αυτά τα συμπιεσμένα δεδομένα στην αναπαράσταση των αρχικών δεδομένων του βίντεο. Το ζεύγος κωδικοποιητή/αποκωδικοποιητή συχνά συναντάται με την έννοια του CODEC (encoder/decoder) ( Σχήμα 2.1 ).

28 16 Κεφάλαιο 2 Κωδικοποιητής Μετάδοση/ Αποθήκευση Πηγή Βίντεο Αποκωδικοποιητής Οθόνη Σχήμα 2.1 Το ζεύγος κωδικοποιητή/αποκωδικοποιητή δεδομένων βίντεο. Η συμπίεση των δεδομένων επιτυγχάνεται με την αφαίρεση του πλεονασμού πληροφορίας που υπάρχει δηλαδή, στοιχεία τα οποία δεν είναι απαραίτητα για την αξιόπιστη αναπαραγωγή των αρχικών δεδομένων. Πολλοί τύποι δεδομένων εμπεριέχουν στατιστικό πλεονασμό και μπορούν να συμπιεστούν αποτελεσματικά χρησιμοποιώντας συμπίεση χωρίς απώλεια πληροφορίας (lossless compression), με τέτοιο τρόπο ώστε τα δεδομένα που εξέρχονται από τον αποκωδικοποιητή να αποτελούν τέλειο αντίγραφο των αρχικών δεδομένων. Δυστυχώς, η συμπίεση χωρίς απώλεια πληροφορίας σε δεδομένα εικόνας και βίντεο δίνει μόνο ένα μικρό λόγο συμπίεσης. Αξίζει να αναφερθεί ότι το καλύτερο που μπορεί να επιτευχθεί με τα τρέχοντα πρότυπα συμπίεσης χωρίς απώλειες για εικόνες, όπως είναι το JPEG - LS, είναι ένας λόγος συμπίεσης της τάξης με. Η συμπίεση με απώλειες είναι απαραίτητη ούτως ώστε να επιτευχθεί μεγαλύτερος λόγος συμπίεσης. Σε ένα σύστημα συμπίεσης με απώλειες, τα αποσυμπιεσμένα δεδομένα δεν είναι ίδια με αυτά της πηγής βίντεο και επομένως μπορούν να επιτευχθούν μεγάλοι λόγοι συμπίεσης με κόστος την απώλεια στην οπτική ποιότητα. Τα συστήματα συμπίεσης βίντεο στα οποία χάνεται πληροφορία βασίζονται στην αρχή αφαίρεσης υποκειμενικού πλεονασμού πληροφορίας, δηλαδή στοιχεία, που εμπεριέχονται στην εικόνα και στο βίντεο και τα οποία μπορούν να αφαιρεθούν χωρίς να επηρεάζουν σημαντικά την αντίληψη του θεατή σχετικά με την οπτική ποιότητα του τελικού αποτελέσματος. Οι περισσότερες μέθοδοι κωδικοποίησης βίντεο εκμεταλλεύονται τόσο τον χρονικό όσο και τον χωρικό πλεονασμό πληροφορίας ούτως ώστε να συμπιέσουν τα δεδομένα. Στη χρονική περιοχή, υπάρχει μια υψηλή συσχέτιση (ομοιότητα) μεταξύ των πλαισίων του βίντεο που συλλαμβάνονται περίπου την ίδια χρονική στιγμή. Χρονικά γειτονικά πλαίσια (διαδοχικά πλαίσια σε χρονική σειρά) είναι συχνά υψηλά συσχετιζόμενα, ειδικά εάν ο χρονικός ρυθμός δειγματοληψίας (frame rate) είναι σχετικά μεγάλος. Στη χωρική περιοχή, υπάρχει συνήθως ένας μεγάλος συσχετισμός μεταξύ των εικονοστοιχείων (δείγματα) που είναι κοντά το ένα με το άλλο, δηλαδή οι τιμές των γειτονικών δειγμάτων παρουσιάζουν συχνά μεγάλη ομοιότητα (Σχήμα 2.2).

29 Έννοιες της κωδικοποίησης/ αποκωδικοποίησης βίντεο 17 Χρονική συσχέτιση Χωρική συσχέτιση Σχήμα 2.2 Χωρική και χρονική συσχέτιση μεταξύ δύο χρονικά διαδοχικών πλαισίων βίντεο. Τα οπτικά πρότυπα MPEG-4 και H.264 μοιράζονται ένα πλήθος κοινών χαρακτηριστικών. Και τα δύο πρότυπα θεωρούν ένα μοντέλο CODEC που χρησιμοποιεί αντιστάθμιση κίνησης βασιζόμενη σε μπλοκ, κωδικοποίηση μετασχηματισμού, κβάντιση και κωδικοποίηση εντροπίας. Σε αυτό το κεφάλαιο εξετάζουμε τα κύρια στοιχεία αυτού του μοντέλου, ξεκινώντας με το χρονικό μοντέλο (εκτίμηση και αντιστάθμιση κίνησης) και συνεχίζουμε με τους μετασχηματισμούς εικόνων, την κβάντιση, την κωδικοποίηση πρόβλεψης και την κωδικοποίηση εντροπίας. Το κεφάλαιο τελειώνει με ένα πέρασμα του βασικού μοντέλου κωδικοποίησης βίντεο. 2.2 Περιγραφή του Συστήματος Κωδικοποιητή/Αποκωδικοποιητή Το σύστημα Κωδικοποιητή/Αποκωδικοποιητή (CODEC) όπως ήδη αναφέρθηκε κωδικοποιεί ένα πηγαίο αρχείο εικόνας ή βίντεο ακολουθίας σε μια συμπιεσμένη μορφή και έπειτα το αποκωδικοποιεί για να παραχθεί ένα αντίγραφο ή μια προσέγγιση της αρχικής πηγαίας ακολουθίας. Αν η αποκωδικοποιημένη ακολουθία βίντεο είναι ίδια με την αρχική, τότε η ακολουθία κωδικοποίησης είναι χωρίς απώλειες (lossless coding process) ενώ σε αντίθετη περίπτωση είναι με απώλειες (lossy coding process).

30 18 Κεφάλαιο 2 Το σύστημα CODEC αναπαριστά την αρχική βίντεο ακολουθία με ένα μοντέλο (μια αποδοτική κωδικοποιημένη αναπαράσταση που μπορεί να χρησιμοποιηθεί για να ανακατασκευαστεί μια προσέγγιση των αρχικών δεδομένων του βίντεο). Ιδανικά, το μοντέλο θα πρέπει να αναπαριστά την ακολουθία χρησιμοποιώντας όσο γίνεται λιγότερα δυαδικά ψηφία και με όσο γίνεται μεγαλύτερη πειστικότητα. Αυτοί οι δύο στόχοι (αποδοτικότητα συμπίεσης και υψηλή ποιότητα) συνήθως έρχονται σε αντιπαράθεση, επειδή ένας χαμηλότερος ρυθμός συμπίεσης δυαδικών ψηφίων τυπικά παράγει χαμηλότερης ποιότητας εικόνα στον αποκωδικοποιητή. Ένας κωδικοποιητής βίντεο (Σχήμα 2.3) απαρτίζεται από τρεις κύριες λειτουργικές μονάδες: ένα χρονικό μοντέλο, ένα χωρικό μοντέλο και έναν κωδικοποιητή εντροπίας. Η είσοδος στο χρονικό μοντέλο είναι μια ασυμπίεστη ακολουθία βίντεο. Το χρονικό μοντέλο προσπαθεί να μειώσει τον χρονικό πλεονασμό εκμεταλλευόμενο τις ομοιότητες μεταξύ των γειτονικών βίντεο πλαισίων, κατασκευάζοντας συνήθως μια πρόβλεψη του τρέχοντος βίντεο πλαισίου. Στο MPEG - 4 Visual πρότυπο όπως και στο H.264, η πρόβλεψη επιτυγχάνεται από ένα ή περισσότερα προηγούμενα ή μελλοντικά πλαίσια βίντεο και βελτιώνεται αντισταθμίζοντας τις διαφορές μεταξύ των πλαισίων (motion compensated prediction). Η έξοδος του χρονικού μοντέλου είναι ένα υπολειπόμενο πλαίσιο που προκύπτει αφαιρώντας την πρόβλεψη του τρέχοντος πλαισίου από αυτό καθώς και, ένα σύνολο παραμέτρων του μοντέλου, που πρόκειται για ένα σύνολο από διανύσματα κίνησης που περιγράφουν το πώς η κίνηση αντισταθμίστηκε. Το υπολειπόμενο πλαίσιο σχηματίζει την είσοδο στο χωρικό μοντέλο που κάνει χρήση των ομοιοτήτων μεταξύ των γειτονικών δειγμάτων στο υπολειπόμενο πλαίσιο ούτως ώστε να μειώσει τον πλεονασμό της χωρικής πληροφορίας. Στο πρότυπο MPEG - 4 αυτό επιτυγχάνεται με την εφαρμογή ενός μετασχηματισμού στα υπολειπόμενα δείγματα και με την κβάντιση των αποτελεσμάτων. Ο μετασχηματισμός μετατρέπει τα δείγματα σε δείγματα ενός άλλου χώρου όπου, αναπαριστώνται με συντελεστές μετασχηματισμού. Οι συντελεστές κβαντίζονται ούτως ώστε να αφαιρεθούν οι ελάσσονος σημασίας τιμές, αφήνοντας μόνο ένα μικρό αριθμό σημαντικών συντελεστών που παρέχουν μια πιο συμπαγή αναπαράσταση του υπολειπόμενου πλαισίου. Οπότε τελικά η έξοδος του χωρικού μοντέλου είναι ένα σύνολο από κβαντισμένους συντελεστές μετασχηματισμού. Βίντεο Χρονικό μοντέλο υπολειπόμενο Χωρικό μοντέλο συντελεστές διανύσματα Κωδικοποιητής εντροπίας Αποθηκευμένα πλαίσια Κωδικοποιημένη έξοδος Σχήμα 2.3 Μπλοκ διάγραμμα του κωδικοποιητή βίντεο

31 Έννοιες της κωδικοποίησης/ αποκωδικοποίησης βίντεο 19 Οι παράμετροι του χρονικού μοντέλου, γνωστοί με την ονομασία διανύσματα κίνησης, και οι συντελεστές του χωρικού μοντέλου συμπιέζονται με τη χρήση του κωδικοποιητή εντροπίας. Η διαδικασία αυτή αφαιρεί τον στατιστικό πλεονασμό που ενδεχομένως εμπεριέχεται στα δεδομένα (για παράδειγμα, αναπαριστώντας τα συχνά εμφανιζόμενα διανύσματα κίνησης και τους συντελεστές με μικρούς δυαδικούς κώδικες) και παράγει ένα συμπιεσμένο ρεύμα από δυαδικά ψηφία ή ένα αρχείο που μπορεί να μεταδοθεί ή / και να αποθηκευτεί. Μια συμπιεσμένη ακολουθία αποτελείται από κωδικοποιημένες παραμέτρους διανυσμάτων κίνησης, κωδικοποιημένους συντελεστές του υπολειπόμενου πλαισίου καθώς και πληροφορίες κεφαλίδας (header information). Ο αποκωδικοποιητής βίντεο ανακατασκευάζει ένα πλαίσιο βίντεο από το συμπιεσμένο ρεύμα δυαδικών ψηφίων. Οι συντελεστές και τα διανύσματα κίνησης αποκωδικοποιούνται με την χρήση ενός αποκωδικοποιητή εντροπίας εφόσον, το χωρικό μοντέλο αποκωδικοποιηθεί για να ανακατασκευαστεί μια έκδοση του υπολειπόμενου πλαισίου. Ο αποκωδικοποιητής χρησιμοποιεί τις παραμέτρους των διανυσμάτων κίνησης, σε συνδυασμό με ένα ή περισσότερα πλαίσια που έχουν ήδη αποκωδικοποιηθεί, ούτως ώστε να δημιουργηθεί μια πρόβλεψη του τρέχοντος πλαισίου, ενώ το ίδιο το πλαίσιο από μόνο του κατασκευάζεται προσθέτοντας το υπολειπόμενο πλαίσιο σε αυτή την πρόβλεψη. 2.3 Περιγραφή του χρονικού μοντέλου στην κωδικοποίηση βίντεο Ο σκοπός του χρονικού μοντέλου είναι να μειώσει την πλεονάζουσα πληροφορία που εμπεριέχεται μεταξύ των μεταδιδόμενων πλαισίων με το σχηματισμό ενός πλαισίου που προκύπτει ύστερα από πρόβλεψη, και αφαιρώντας το από το τρέχον πλαίσιο. Η έξοδος αυτής της διαδικασίας είναι ένα υπολειπόμενο πλαίσιο (αυτό που προκύπτει ύστερα από την αφαίρεση) και όσο πιο ακριβής είναι αυτή η διαδικασία της πρόβλεψης, τόσο λιγότερη είναι η ενέργεια που εμπεριέχεται στο υπολειπόμενο πλαίσιο. Το υπολειπόμενο πλαίσιο κωδικοποιείται και αποστέλλεται στον αποκωδικοποιητή όπου αναδημιουργείται το πλαίσιο πρόβλεψης, προστίθεται το αποκωδικοποιούμενο υπολειπόμενο πλαίσιο και τελικά ανακατασκευάζεται το τρέχον πλαίσιο. Το πλαίσιο που προκύπτει από πρόβλεψη δημιουργείται από ένα ή περισσότερα προηγούμενα ή επόμενα πλαίσια που ονομάζονται πλαίσια αναφοράς. Η ακρίβεια της πρόβλεψης μπορεί συνήθως να βελτιωθεί με την αντιστάθμιση κίνησης μεταξύ του ή των πλαισίων αναφοράς και του τρέχοντος πλαισίου Πρόβλεψη βάσει του προηγούμενου βίντεο πλαισίου Η πιο απλή μέθοδος της χρονικής πρόβλεψης είναι να χρησιμοποιήσουμε το προηγούμενο πλαίσιο ως προβλεπτή για το τρέχον πλαίσιο. Δύο διαδοχικά πλαίσια από μια ακολουθία βίντεο απεικονίζονται στα Σχήματα 2.4 και 2.5. Το πλαίσιο 1 χρησιμοποιείται ως προβλεπτής για το πλαίσιο 2 και το υπολειπόμενο πλαίσιο (Σχήμα 2.6) προκύπτει αφαιρώντας τον προβλεπτή (πλαίσιο 1) από το τρέχον πλαίσιο 2. Σε αυτή την εικόνα, οι ενδιάμεσα γκρίζες περιοχές αναπαριστούν τις μηδενικές διαφορές μεταξύ του προβλεπτή και του τρέχοντος πλαισίου, ενώ οι φωτεινές και οι σκοτεινές γκρίζες περιοχές αντιστοιχούν στις θετικές και αρνητικές διαφορές αντίστοιχα. Το προφανές πρόβλημα με αυτή την απλοϊκή πρόβλεψη είναι ότι παραμένει ένα μεγάλο ποσοστό ενέργειας στο υπολειπόμενο πλαίσιο (φωτεινές και σκοτεινές περιοχές εντός του υπολειπόμενου πλαισίου) και αυτό