Αριστοτέλειο Πανεπιστήµιο Θεσσαλονίκης Τµήµα Πληροφορικής Μεταπτυχιακό Μάθηµα: ΠΑΡΑΓΩΓΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΨΗΦΙΑΚΩΝ ΜΕΣΩΝ

Transcript

1 Αριστοτέλειο Πανεπιστήµιο Θεσσαλονίκης Τµήµα Πληροφορικής Μεταπτυχιακό Μάθηµα: ΠΑΡΑΓΩΓΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΨΗΦΙΑΚΩΝ ΜΕΣΩΝ Εργασία µε θέµα: Α. ΣΥΜΠΙΕΣΗ ΠΟΛΥΜΕΣΙΚΩΝ Ε ΟΜΕΝΩΝ Β. ΠΡΟΤΥΠΟ MPEG-4 Αστεριάδης Στέλιος Ιανουάριος 2005

2 Α. Συµπίεση 1. Γενικά 1.1 Εισαγωγή Τα αρχεία Video και Audio συνήθως έχουν πολύ µεγάλα ποσά πληροφορίας. Γι αυτό το λόγο, η ανάγκη συµπίεσης είναι επιτακτική, εκτός κι αν υπάρξουν δίκτυα πολύ µεγάλου bandwidth Gigabytes per second. Ωστόσο, το να εξαρτάται κανείς από πολύ µεγάλα δίκτυα δεν είναι και πολύ καλή επιλογή: Όσο και αν αυξάνονται τα όρια κίνησης σε ένα δίκτυο, τόσο και οι ανάγκες θα µεγαλώνουν και θα αγγίζουν τα όρια αυτού. Η συµπίεση, λοιπόν, αποτελεί µέρος της αναπαράστασης ή κωδικοποίησης και είναι ο µηχανισµός λειτουργίας audio, image και video προτύπων. 1.2 Τί είναι η συµπίεση Βασική αρχή των περισσότερων µεθόδων συµπίεσης δεδοµένων είναι η αξιοποίηση του γεγονότος ότι σχεδόν πάντα σε δεδοµένα υπάρχει περίσσεια πληροφορίας. Αυτή (ανάλογα µε τα δεδοµένα), µπορεί να είναι: 1. Χρονική (π.χ. σήµατα ήχου) 2. Χωρική (εξάγεται από την συσχέτιση - π.χ. γειτονικών pixels) 3. Φασµατική (συσχέτιση µεταξύ στοιχείων χρώµατος ή φωτεινότητας) Αυτός ο τρόπος κάνει χρήση του πεδίου της συχνότητας για να εκµεταλλευτεί σχέσεις µεταξύ συχνοτήτων αλλαγής δεδοµένων. 4. Ψυχο-οπτική (εκµεταλλέυεται αντιληπτικές ικανότητες του ανθρωπίνου οπτικού συστήµατος). 2. Είδη συµπίεσης Η συµπίεση µπορεί να κατηγοριοποιηθεί σε δύο µεγάλες ενότητες: Α. Συµπίεση χωρίς απώλειες: Πρόκειται για το είδος συµπίεσης κατά το οποίο η αρχική πληροφορία ανασυντίθεται χωρίς χάσιµο πληροφορίας ή λεπτοµερειών. Εναλλακτικά ονοµάζεται bit-preserving ή αναστρέψιµη µέθοδος. Η συµπίεση χωρίς απώλειες συνεπάγεται 2

3 και τη χρήση κάποιου είδους κωδικοποίησης εντροπίας και βασίζεται σε τεχνικές θεωρίας πληροφορίας Β. Συµπίεση µε απώλειες: Εδώ η ανακατασκευή δεν είναι της ίδιας πιστότητας µε τα αρχικά δεδοµένα. Τεχνικές συµπίεσης βίντεο και ήχου είναι, συνήθως, µε απώλειες. Η συµπίεση µε απώλειες χρησιµοποιεί µεθόδους κωδικοποίησης πηγής. Αυτές µπορεί να περιλαµβάνουν κωδικοποίηση µετασχηµατισµού, διαφορική κωδικοποίηση ή κβαντισµό διανυσµάτων. 2.1 Αλγόριθµοι συµπίεσης χωρίς απώλειες Αυτές οι µέθοδοι είναι οι απλούστερες στην κατανόηση και την εφαρµογή τους. Ωστόσο, αυτή η απλότητά τους έχει σαν τίµηµα χαµηλά ποσοστά συµπίεσης. Παρ όλ αυτά, και αυτές οι µέθοδοι έχουν τις εφαρµογές τους. Ας θεωρηθεί το παράδειγµα της καταστολής απλής επανάληψης (Sipmle Repetition Suppression). Αν σε µία σειρά δεδοµένων εµφανισθεί ένα συγκεκριµένο σύµβολο n φορές, τότε µπορεί να γίνει αντικατάστασή του µε ένα δείγµα (από τα n) και έναν αριθµό των διαδοχικών του επαναλήψεων. Για παράδειγµα, ας θεωρηθεί η ακολουθία ψηφίων: Αυτή µπορεί να αντικατασταθεί ως εξής: 894f32 Όπου f χρησιµοποιείται ως flag για το 0. Με αυτήν την τεχνική, το τί θα εξοικονοµηθεί σε πληροφοριακό χώρο, εξαρτάται από το περιεχόµενο των αρχείων. Όσον αφορά τις εφαρµογές αυτού του απλού αλγορίθµου: 3

4 Καταστολή µηδενικών σε ένα αρχείο Ησυχία σε αρχεία ήχου, παύσεις σε συζητήσεις, κλπ. Bitmaps Φόντα σε εικόνες Κωδικοποίηση εντροπίας Η συµπίεση χωρίς απώλειες πολύ συχνά έχει να κάνει και µε κάποιο είδoς κωδικοποίησης εντροπίας. Σύµφωνα µε τον Shannon, η εντροπία µίας πηγής S ορίζεται ως εξής: Όπου p i είναι η πιθανότητα να ληφθεί το σύµβολο S i της πηγής S. Η παράσταση log 2 (1/p i ) συµβολίζει το ποσό πληροφορίας που περιέχει το S i, δηλαδή τον αριθµό bits που απαιτούνται για την κωδικοποίησή του. Για παράδειγµα, σε µία ασπρόµαυρη εικόνα, η πιθανότητα της κάθε φωτεινότητας είναι p i = 1/256. Από τον παραπάνω τύπο θα προκύψει ότι για την κωδικοποίηση της κάθε φωτεινότητας θα χρειαστούν 8bits. Στόχος στις µεθόδους κωδικοποίησης εντροπίας είναι το µέσο µήκος bits των κωδικοποιηµένων λέξεων να πλησιάζει όσο γίνεται περισσότερο την εντροπία της αρχικής πηγής. Αυτό είναι και το κύριο µέτρο σύγκρισης των διαφόρων µεθόδων κωδικοποίησης εντροπίας Κωδικοποίηση Huffman Ένα αντιπροσωπευτικό και πολύ χρήσιµο παράδειγµα κωδικοποίησης εντροπίας είναι ο κώδικας Huffman. Ας θεωρήσουµε την παρακάτω ακολουθία συµβόλων, συνοδευόµενη από τον αριθµό εµφανίσεων του κάθε ενός από αυτά: Σύµβολο A B C D E Εµφάνιση Η κωδικοποίηση Huffman βασίζεται στην συχνότητα εµφάνισης ενός «τεµαχίου» δεδοµένων (π.χ. γράµµα σε λεξιλόγιο, pixel σε εικόνα, κλπ.) Η βασική αρχή είναι να χρησιµοποιούνται όσο το δυνατό λιγότερα bits για την αναπαράσταση των πιο συχνά εµφανιζόµενων δεδοµένων. Ο κώδικας που προκύπτει αποθηκεύεται σε ένα Code Book. Σε κάθε περίπτωση, τόσο τα κωδικοποιηµένα δεδοµένα όσο και το Code Book πρέπει να σταλθούν στον 4

5 αποκωδικοποιητή για ανακατασκευή των αρχικών δεδοµένων. O αλγόριθµος λειτουργεί ως εξής: Επιλέγονται τα δύο σύµβολα µε την χαµηλότερη συχνότητα εµφάνισης και αντικαθίστανται από ένα µε πιθανότητα το άθροισµα των δύο συµβόλων. ηµιουργείται ένας κόµβος σε ένα δέντρο, στον οποίο αποδίδεται το νέο σύµβολο. Προστίθενται δύο σύνδεσµοι µεταξύ του νέου κόµβου και αυτών που αντιστοιχούν στα σύµβολα που διαγράφηκαν. Οι δύο νέοι σύνδεσµοι σηµατοδοτούνται µε τα ψηφία 0 και 1 (δεν έχει σηµασία η σειρά). Επαναλαµβάνεται η διαδικασία για όλα τα σύµβολα, στο εκάστοτε σύνολο συµβόλων, µέχρι να µείνει ένα µε πιθανότητα εµφάνισης 1. Ο κώδικας Huffman του κάθε συµβόλου s i προκύπτει από τα ψηφία 0 και 1 που συναντώνται ακολουθώντας το µονοπάτι από τη ρίζα του δένδρου µέχρι το αντίστοιχο φύλλο. Σύµβολο Μέτρηση log2(1/p) Κωδικοποίηση Αριθµός bits A B C D E TOTAL (# of bits): 87 5

6 Το µέσο µήκος των κωδικοποιηµένων λέξεων είναι 87/( )=2.23bits/σύµβολο, ενώ η εντροπία της αρχικής πηγής συµβόλων είναι 2.18bits/σύµβολο. Στην περίπτωση κωδικοποίησης Huffman σε εικόνες, διαιρείται η εικόνα σε blocks µεγέθους 8x8. Κάθε block θεωρείται και ένα σύµβολο προς κωδικοποίησης. Στην περίπτωση όπου στατιστική γνώση των δεδοµένων δεν είναι διαθέσιµη, ή υπάρχει αλληλοσυσχέτιση µεταξύ διαδοχικών συµβόλων, ο παραπάνω αλγόριθµος µπορεί να επεκταθεί στην προσαρµοστική κωδικοποίηση Huffman. Σε αυτόν τον αλγόριθµο, µελετάται η εµφάνιση του κάθε συµβόλου κατά τη διάρκεια της κωδικοποίησης και το αντίστοιχο δέντρο συνεχώς ανανεώνεται Αριθµητική κωδικοποίηση Αν και πιο αργή από τη µέθοδο Huffman, η αριθµητική κωδικοποίηση δίνει καλύτερα αποτελέσµατα. Ας υποτεθεί ότι ένα αλφάβητο αποτελείται απλά από τα γράµµατα Χ και Υ, µε πιθανότητες εµφάνισεις για το Χ, prob(x) = 2/3 και για το Υ, prob(y) = 1/3. Εάν το ενδιαφέρον είναι η κωδικοποίηση µηνυµάτων µήκους 2, τότε αντιστοιχούν όλοι οι πιθανοί συνδυασµοί σε διαστήµατα τιµών ανάλογα µε την πιθανότητα εµφάνισής τους (δηλ. 0 µέχρι 1): Για την κωδικοποίηση στέλνεται ένας αριθµός από το διάστηµα που προέκυψε. ηλαδή, στην προκειµένη περίπτωση ο παραπάνω πίνακας αντιστοιχεί στην παρακάτω κωδικοποίηση: 6

7 Όπως φαίνεται, όσο µικρότερο είναι το διάστηµα στο οποίο αντιστοιχεί ένα µήνυµα, δηλαδή όσο µικρότερη πιθανότητα έχει για να συµβεί, τόσο µεγαλύτερος αριθµός bits αντιστοιχίζεται σε αυτό. 3. Κωδικοποίηση πηγής Αυτή η κατηγορία κωδικοποίησης βασίζεται στο περιεχόµενο του αρχικού σήµατος. Εδώ, τα µεγέθη «απώλεια πληροφορίας» και «συµπίεση» είναι ανάλογα. Υπάρχουν, γενικά, τρεις µέθοδοι: Α. Κωδικοποίηση µετασχηµατισµού, Β. ιαφορική κωδικοποίηση Γ. Κβαντισµός διανυσµάτων 3.1. Κωδικοποίηση µετασχηµατισµού Η µέθοδοι συµπίεσης µε χρήση Μετασχηµατισµού επιχειρούν την αποσυσχέτιση των δειγµάτων χρησιµοποιώντας επεξεργασία κατά block (block processing). Ένα απλό παράδειγµα είναι το εξής: Αν θεωρηθεί ένα block 2x2 µονοχρωµατικών pixels θεωρείται ως τιµή-βάση, η τιµή που αποδίδεται στο πάνω αριστερά pixel. Λαµβάνεται η διαφορά από τα άλλα τρία pixels και, τέλος, αποθηκεύεται η τιµή-βάση και οι διαφορές από τα άλλα pixels. Έτσι, σε ένα τέτοιο block, αν χρησιµοποιούνται 8bits/pixel τότε συνολικά χρειάζονται 32bits για την αποθήκευσή του. Εάν, όµως, κρατηθούν 8bits για το βασικό pixel και 4bits για τις τιµές των διαφορών, τότε χρειάζονται 20 bits. Ωστόσο, υπάρχουν πιο ενδεδειγµένες µέθοδοι 7

8 συµπίεσης µε κωδικοποίηση µετασχηµατισµού (π.χ. JPEG, MPEG). Μέθοδοι του πεδίου συχνότητας ανήκουν σε αυτήν την κατηγορία Μέθοδοι του πεδίου της συχνότητας Τα πεδία συχνότητας µπορούν να ληφθούν µε µετασχηµατισµό από το χωρικό ή χρονικό πεδίο µε µετασχηµατισµούς συχνότητας, όπως τον διακριτό µετασχηµατισµό συνηµιτόνου (DCT), τον µετασχηµατισµό Fourier, κ.α ιακριτός Μετασχηµατισµός συνηµιτόνου (DCT) Ο διακριτός µετασχηµατισµός συνηµιτόνου βοηθά στο να χωριστούν τα δεδοµένα σε µέρη µε διαφορετική «συχνοτική αξία». Για παράδειγµα, σε µια εικόνα, θεωρείται ότι το κύριο µέρος της οπτικής της ποιότητας και ενέργειας συγκεντρώνεται στις χαµηλές συχνότητες. Έτσι, χωρίζεται η εικόνα σε blocks 8x8 και µε τον κατάλληλο µετασχηµατισµό, οι άνω αριστερά τιµές του κάθε block, που αναπαριστούν τις χαµηλές συχνότητες, συνήθως έχουν µεγάλη τιµή. Αντίθετα, οι κάτω δεξιά τιµές, που αναπαριστούν τις υψηλές συχνότητες, έχουν χαµηλή τιµή και, συνεπώς, µπορούν να αγνοηθούν, χωρίς να εισάγεται σηµαντική παραµόρφωση της εικόνας- ή, τουλάχιστον, να µην γίνεται αντιληπτή από το ανθρώπινο µάτι. Ο DCT είναι ο πλέον χρησιµοποιούµενος µετασχηµατισµός στην επεξεργασία και συµπίεση πολυµέσων. Επιδέχεται ταχύτατες υλοποιήσεις για N ίσα µε δυνάµεις του 2. Επιπλέον, οι υλοποιήσεις αυτές είναι εύκολα µεταφέρσιµες σε hardware. 3.2 ιαφορική κωδικοποίηση Σε αυτήν την περίπτωση κωδικοποιείται η διαφορά της τρέχουσας τιµής ενός δείγµατος µε µια πρόβλεψη αυτής. Τέτοιες µέθοδοι είναι η DPCM (Differential pulse code modulation), η διαµόρφωση δέλτα (delta modulation) και η µέθοδος Προσαρµοστικού DPCM. Η κύρια διαφορά αυτών των µεθόδων βρίσκεται στον τρόπο πρόβλεψης. Αυτός ο τρόπος συµπίεσης, προφανώς, είναι κατάλληλος σε περιπτώσεις όπου διαδοχικά σήµατα δεν έχουν µεγάλες διαφορές, όπως γίνεται στην κωδικοποίηση video (διαδοχικά frames συνήθως δεν διαφέρουν πολύ) και σε µερικά σήµατα audio Για παράδειγµα, στον DPCM, η τρέχουσα τιµή ενός δείγµατος είναι και η πρόβλεψη του επόµενου. Άρα, αρκεί να κωδικοποιηθούν οι διαφορές µεταξύ διαδοχικών δειγµάτων. Για παράδειγµα, εάν σε κάποια διαδικασία το τρέχον δείγµα έχει την µορφή και η 8

9 πρόβλεψη που είχε γίνει για αυτό ήταν , τότε η κωδικοποίηση θα αφορά στη διαφορά: f(t)= Κβαντισµός διανυσµάτων Πρόκειται για κβαντισµό συνόλου δειγµάτων, είτε µονοδιάστατων, είτε δισδιάστατων σηµάτων. Αν επιλέξουµε να χρησιµοποιήσουµε b bits ανά δείγµα οι διαθέσιµες στάθµες κβαντισµού είναι συνολικά το πολύ N = 2 b. Πρόκειται για µια στρογγυλοποίηση των τιµών. Η συµπίεση επιτυγχάνεται, καθώς τα δεδοµένα ουσιαστικά υπόκεινται σε υποδειγµατοληψία. 4. Συµπίεση ήχου Οι «παραδοσιακές», χωρίς απώλειες µέθοδοι (π.χ. Huffman) συνήθως δεν λειτουργούν καλά στην συµπίεση ήχου. Για αυτό το λόγο, για την κωδικοποίηση ήχου, εφαρµόζονται µέθοδοι µε απώλειες. Τέτοιες είναι: Συµπίεση µη-ήχου (silence compression). Προσαρµοστικός DPCM Adaptive Differential Pulse Code Modulation (ADPCM) έχουν επιτευχθεί µέχρι και 2:1 συµπιέσεις LPC CELP 5. Συµπίεση ακίνητης εικόνας Για την συµπίεση ακίνητων εικόνων (µονόχρωµων µε περισσότερα από δύο επίπεδα φωτεινότητας και έγχρωµων), ουσιαστικά έχει καθιερωθεί το πρότυπο JPEG. Οι εφαρµογές της µεθόδου είναι πάµπολλες και ξεκινούν από την ιατρική µέχρι τα δορυφορικά συστήµατα. Στόχος του βασικού προτύπου JPEG είναι να οδηγήσει σε εικόνες µε αρκετά καλή ποιότητα, σε βαθµούς συµπίεσης τουλάχιστον 16:1 και να µπορεί να χρησιµοποιηθεί για εικόνες µε pixels από 4 έως 12 bits. Για την εύρεση της βέλτιστης τεχνικής προτάθηκαν και 9

10 εξετάστηκαν από την επιτροπή 10 διαφορετικές τεχνικές συµπίεσης και τελικά η τεχνική που επικράτησε σαφώς δίνοντας τα καλύτερα αποτελέσµατα βασίζεται στον µετασχηµατισµό συνηµιτόνου. Το βασικό πρότυπο JPEG, που φαίνεται και στο παρακάτω σχήµα, αποτελείται από τα παρακάτω στάδια: 1. Μετασχηµατισµός DCT 2. Κβαντισµός (που εισάγει απώλειες) 3. Zigzag Scan 4. DPCM on DC component (=στοιχείο µηδενικής συχνότητας) 5. RLE on AC Components 6. Κώδικας εντροπίας (Humming) 6. Συµπίεση Video Το µη συµπιεσµένο video µεταφέρει απαγορευτικά µεγάλο όγκο πληροφορίας. Στις τηλεοράσεις υψηλής ευκρίνειας, για παράδειγµα, το bit rate ξεπερνά ακόµα και το 1Gbps, δηµιουργώντας µεγάλα προβλήµατα αποθήκευσης και επικοινωνιών. Πιο ειδικά, ένα από τα πρότυπα που λειτουργεί στις Ηνωµένες Πολιτείες είναι 1920 γραµµές κάθετα και 1080 γραµµές οριζόντια, µε 30 frames ανά δευτερόλεπτο. Αν όλα αυτά τα νούµερα πολλαπλασιαστούν µεταξύ τους και ληφθούν και 8 bits για κάθε ένα από τα τρία βασικά χρώµατα, το συνολικό data rate που απαιτείται είναι περίπου 1.5 Gb/sec. Εξαιτίας του εύρους ζώνης των 6 MHz, κάθε κανάλι θα µπορεί να µεταφέρει µέχρι 19,2 Μb/sec, αριθµός ο οποίος µπορεί να πέσει µέχρι και τα 18 Mb/sec εξαιτίας του ότι πρέπει ταυτόχρονα να µεταφέρεται ήχος και άλλου είδους βοηθητικές πληροφορίες. Όπως φαίνεται, αυτοί οι 10

11 περιορισµοί σηµαίνουν ότι το αρχικό video πρέπει να κωδικοποιηθεί κατά 83:1. Αυτός ο αριθµός µπορεί να φανεί ακόµη πιο εντυπωσιακός, αν σκεφτεί κανείς ότι η πρόθεση είναι να διανεµηθεί video πολύ υψηλής ποιότητας. Τυπικά πρότυπα συµπίεσης video είναι τα εξής: 1. Η.261 (για εφαρµογές τηλεδιάσκεψης σε δίκτυα ISDN). 2. Μ-JPEG (λόγοι συµπίεσης: από 10:1 έως 20:1) 3. MPEG-1 4. MPEG-2 5. MPEG-4 Ενδεικτικά παρατίθενται τα στάδια του αλγορίθµου MPEG-1: 1. Κβαντισµός 2. Κατωδιαβατό φιλτράρισµα 3. Υποδειγµατοληψία 4. Χωρισµός των εικόνων σε blocks των 8x8 pixels και εφαρµογή του διακριτού µετασχηµατισµού συνηµίτονου (DCT) σε κάθε µία από αυτές. 5. Εφαρµογή τεχνικών εκτίµησης και αντιστάθµισης κίνησης για την µείωση της χρονικής συσχέτισης 6. Κωδικοποίηση των µετασχηµατισµένων υποεικόνων είτε ανεξάρτητα για κάθε εικόνα (intraframe), είτε µε πρόβλεψη της εικόνας από την προηγούµενή της (predictive). 7. Παρεµβολή (interpolation) στον δέκτη, των pixels και των γραµµών που είχαν παραληφθεί κατά την αρχική υποδειγµατοληψία, για επαναδηµιουργία της αρχικής εικόνας σε µορφή CCIR 601. Βιβλιογραφία [1] Guy E. Blelloch, Introduction to Data Compression, Carnegie Mellon University,

12 [2] Α. Ντελόπουλος, Συστήµατα Πολυµέσων και Εικονική πραγµατικότητα, Αριστοτέλειο Πανεπιστήµιο Θεσσαλονίκης [3] [4] 12

13 B. MPEG-4 1.Εισαγωγικά Το ΜPEG-4 είναι ένα ISO/IEC πρότυπο που αναπτύχθηκε από την MPEG (Moving Picture Experts Group), την επιτροπή που κέρδισε τα βραβεία ΕΜΜΥ για τα πρότυπα MPEG-1 και MPEG-2. Τα πρότυπα αυτά, µεταξύ άλλων, κατέστησαν εφικτή την δηµιουργία διαδραστικού βίντεο για CD-ROM, DVD και ψηφιακή τηλεόραση. Το MPEG-4 είναι το αποτέλεσµα µίας άλλης διεθνούς προσπάθειας που απασχόλησε εκατοντάδες ερευνητών και µηχανικών σε όλο τον κόσµο. Το MPEG-4, µε επίσηµη ονοµασία 'ISO/IEC 14496', τελειοποιήθηκε τον Οκτώβριο του 1998 και κατοχυρώθηκε ως διεθνές πρότυπο τους πρώτους µήνες του Ένα χρόνο αργότερα, το επεκτεταµένο πρότυπο MPEG-4 Version 2 κατοχυρώθηκε ως επίσηµο διεθνές πρότυπο. Αρκετές βελτιώσεις προστέθηκαν από τότε και σε αρκετά σηµεία συνεχίζει να γίνεται εντεταµένη έρευνα. Το πρότυπο αυτό κινείται κυρίως γύρω από τρεις τοµείς ψηφιακής τεχνολογίας: Ψηφιακή τηλεόραση ιαδραστικές εφαρµογές γραφικών ιαδραστικά πολυµέσα (World Wide Web, διανοµή και πρόσβαση υλικού) Καταγεγραµµένες εικόνες και ήχοι συνυπάρχουν µε τεχνητά γραφικά και µία νέα γλώσσα για κωδικοποίηση και µετάδοση ήχου εγγυάται ποιότητα τύπου compact-disk, και όλα αυτά γίνονται µε καλή απόδοση, ακόµα και σε χαµηλές ταχύτητες µετάδοσης δεδοµένων. Ένα από τα σπουδαιότερα χαρακτηριστικά του προτύπου είναι ότι το περιεχόµενο µπορεί να αυτοπροσαρµόζεται στην εκάστοτε ταχύτητα µετάδοσης και την αντίστοιχη ποιότητα. Ίσως από τα κυριότερα χαρακτηριστικά που εισήγαγε το MPEG-4 να είναι το ότι θεατές και ακροατές δεν παραµένουν πλέον παθητικοί. Το ύψος της διαδραστικότητας στα οπτικοακουστικά συστήµατα µέχρι πρότινος περιοριζόταν στην ικανότητα του χρήστη να διακόπτει και να επανεκκινεί ένα video σε εξέλιξη. To MPEG-4 είναι τελείως διαφορετικό: Επιτρέπει στον χρήστη να επιδρά σε αντικείµενα µέσα στη σκηνή, είτε αυτά προέρχονται από πραγµατικές πηγές, όπως κινούµενο video, ή από συνθετικές, όπως γραφικά υπολογιστών. Οι συγγραφείς τέτοιων σκηνών µπορούν να δίνουν στο χρήστη την δυνατότητα να σβήνουν ή να προσθέτουν αντικείµενα, να αλλάζουν την συµπεριφορά τους, 13

14 κτλ. Για παράδειγµα, ένα κλικ ποντικιού σε ένα κουτί µπορεί να το κάνει να αναβοσβήνει. Αυτή είναι και η κύρια διαφορά του MPEG-4 µε τα προηγούµενα πρότυπα, MPEG-1 και MPEG-2: Το MPEG-1 είναι, στην ουσία, ένας digital video player. «Παίζει» εικόνα και ήχο σε γραµµικά streams, επιτρέποντας τα ίδια επίπεδα διαδραστικότητας, όπως ένα VCR. Το MPEG-2, που δηµιουργήθηκε για την κωδικοποίηση και την µετάδοση σηµάτων ψηφιακής τηλεόρασης, δεν διαφέρει από το MPEG-1, όσον αφορά τη διαδραστικότητά του. Η καινοτοµία του MPEG-4 σε αυτόν τον τοµέα, οφείλεται στην κωδικοποίηση των δεδοµένων του σε αντικείµενα (objects) ή πακέτα αντικειµένων. Πέρα από ό,τι αφορά στο Internet, το πρότυπο είναι κατάλληλο και για συσκευές επικοινωνίας χαµηλού bit-rate. Οι συσκευές αυτές είναι συνήθως ασύρµατες, όπως, π.χ. κινητά τηλέφωνα, συσκευές χειρός «Dick Tracy» µε video, κ.α. Οµως, είτε γίνεται λόγος για ασύρµατη, είτε για εν-σύρµατη τεχνολογία, οι διάφορες συσκευές έχουν διαφορετικούς χρόνους πρόσβασης ανάλογα µε την σύνδεση και την κίνηση. Ως απάντηση, το MPEG-4 υποστηρίζει αυξοµειώσιµο περιεχόµενο. ηλαδή, επιτρέπει στο περιεχόµενό του να κωδικοποιείται µία φορά και αυτοµάτως να αναπαράγεται σε διαφορετικές ταχύτητες µε αποδεκτή ποιότητα για το εκάστοτε περιβάλλον επικοινωνίας. 2.Η χρησιµότητα των αντικειµένων Σχήµα 1: Αντικείµενα 14

15 Τα συνθετικά στοιχεία του προτύπου, δηλαδή τα στοιχεία video και ήχος είναι τα λεγόµενα αντικείµενα. Αυτά µπορούν να υπάρξουν ανεξάρτητα το ένα από το άλλο. Το αποτέλεσµα της σύνθεσης αυτών των αντικειµένων είναι µία σκηνή MPEG-4. Τα οπτικά στοιχεία (video) αποτελούνται από µαθηµατικές περιγραφές, ενώ αντίστοιχα, τα ηχητικά στοιχεία τοποθετούνται σε ειδικά κανάλια. Έτσι, τα αντικείµενα ορίζονται µόνο µία φορά. Από εκεί και πέρα, ο θεατής, ανάλογα µε τις δυνατότητες που του παρέχονται µπορεί να επεµβαίνει σε αυτά τα αντικείµενα (π.χ. νέα θέση κάµερας). Το πώς θα φαίνονται τα αντικείµενα ανάλογα µε τις απαιτήσεις του θεατή αποτελεί θέµα υπολογισµών του δικού του τερµατικού. Η γλώσσα που χρησιµοποιεί το MPEG-4 για περιγραφή και δυναµική αλλαγή της σκηνής ονοµάζεται BΙnary Format for Scenes (BIFS). Οι εντολές της είναι κατάλληλες, όχι µόνο για να προσθέτουν ή να αφαιρούν αντικείµενα στη σκηνή, αλλά και για να αλλάζουν τις οπτικές ή ακουστικές ιδιότητες ενός αντικειµένου, χωρίς να αλλάζουν το ίδιο το αντικείµενο. Για παράδειγµα, αν θεωρηθεί µία τρισδιάστατη σφαίρα, µπορεί να αλλάζει το χρώµα της. Το σετ εντολών της BIFS µπορεί να χρησιµοποιηθεί για animation αντικειµένων ανάλογα µε την είσοδο που θέτει ο χρήστης στον αποκωδικοποιητή. Η BIFS θα µπορούσε να χρησιµοποιηθεί ακόµη και για να τοποθετηθεί το παράθυρο µιας εφαρµογής µέσα στην σκηνή των αντικειµένων (π.χ. Web browser). Η ΒΙFS δανείζεται πολλές αρχές από την VRML (Virtual Reality Modeling Language). Αυτή είναι και η πλέον διαδεδοµένη µέθοδος που χρησιµοποιείται στο Internet για την περιγραφή 3-D αντικειµένων και την επίδραση των χρηστών σε αυτά. Η BIFS και η VRML µπορούν να αντιµετωπιστούν σα διαφορετικές αναπαραστάσεις των ίδιων δεδοµένων. Στην VRML, τα αντικείµενα και οι δράσεις τους περιγράφονται µε λεκτική µορφή, όπως και σε κάθε γλώσσα υψηλού επιπέδου. Ωστόσο, ο κώδικας της BIFS είναι δυαδικός, και γι αυτό µικρότερος για το ίδιο περιεχόµενο τυπικά 10 µε 15 φορές. Ο λόγος που επιλέχθηκε η BIFS από το MPEG-4 ήταν ότι επέτρεπε real-time-streaming, κάτι που δεν επιτρεπόταν από την VRML. Έτσι, µία σκηνή δεν είναι αναγκαίο να φορτωθεί από το δίκτυο πλήρως προτού µπορέσει να παιχτεί. Αντίθετα, µπορεί να χτίζεται και να παίζεται συνεχώς, ενώ φορτώνεται. Η επόµενη έκδοση του MPEG-4 εµπεριείχε το MPEG-J. Το MPEG-J είναι ένα προγραµµατιστικό σύστηµα που ορίζει ΑΡΙ (Application Programming Interface) για την συν-λειτουργία MPEG-4 media players µε κώδικα Java. Συνδυάζοντας MPEG-4 media και ασφαλή, εκτελέσιµο κώδικα, υπάρχει η δυνατότητα εφοδιασµού µε πολύπλοκο έλεγχο και επεξεργασία των δεδοµένων. Επιπλέον, εξασφαλίστηκε επέκταση της ευελιξίας της 15

16 λειτουργικότητας του προτύπου, ανάλογα µε το περιβάλλον (δίκτυο, τερµατικοί υπολογιστές κτλ.). Το περιεχόµενο µπορεί, λοιπόν, να προσαρµόζεται ανάλογα, αφήνοντας, έτσι, τους δηµιουργούς του, όχι µόνο να συνθέτουν υψηλής διαδραστικότητας περιεχόµενο, αλλά επίσης να αξιοποιούν στο έπακρο τις δυνατότητες του δικτύου και του τερµατικού. Για παράδειγµα, το φόντο µιας εικόνας µπορεί να κωδικοποιηθεί µόνο µία φορά, αντί να κωδικοποιείται συνεχώς, ή µερικά όχι και τόσο σηµαντικά αντικείµενα µπορεί να µην εµφανίζονται σε ορισµένους χρήστες. Η εφαρµογή αυτή της Java, µεταφέρεται σαν ένα διαφορετικό stream στο τερµατικό MPEG-4. Από εκεί θα κατευθυνθεί στο περιβάλλον εκτέλεσης του MPEG-J, από όπου θα υπάρχει άµεση πρόσβαση στο περιεχόµενο MPEG-4 και στα βασικά πακέτα της γλώσσας (java.lang, java.io, java.util). 3.Τακτοποίηση των δεδοµένων Βασικό στοιχείο µεταφοράς και αποθήκευσης των δεδοµένων στο MPEG-4 είναι το στοιχειώδες stream (ES). Μερικά αντικείµενα, όπως ένα τραγούδι ή ένα video αποτελούνται από ένα απλό stream. Άλλα αντικείµενα, ανάλογα µε την πολυπλοκότητά τους, µπορεί να αποτελούνται από δύο ή και περισσότερα. Για παράδειγµα, ένα ευέλικτου µεγέθους (scalable) αντικείµενο αποτελείται από ένα ES για χαµηλής ποιότητας πληροφορία συν ένα ή περισσότερα στρώµατα βελτίωσης, καθένα από τα οποία θα έχει το δικό του ES για βελτιωµένη ποιότητα, όπως video µε εντονότερες λεπτοµέρειες, µεγαλύτερες ταχύτητες. Για την πληροφόρηση του συστήµατος σχετικά µε το ποια στοιχειώδη streams ανήκουν σε ένα συγκεκριµένο αντικείµενο, το MPEG-4 χρησιµοποιεί τους «περιγραφητές αντικειµένων» (object descriptors, OD). Αυτοί περιέχουν µε την σειρά τους «περιγραφητές στοιχειωδών streams» (elementary stream descriptors) για να ενηµερωθεί το σύστηµα τί αποκωδικοποιητές χρειάζονται για την λήψη ενός stream. Με ένα άλλο πεδίο, υπάρχει η δυνατότητα µεταφοράς γραπτής πληροφορίας όσον αφορά το εκάστοτε αντικείµενο. Οι object descriptors στέλνονται σε ανεξάρτητα στοιχειώδη streams, κάτι που τους επιτρέπει να προστίθενται και να αφαιρούνται δυναµικά καθώς η σκηνή αλλάζει. Όσον αφορά στην τελική προβολή των διαφόρων MPEG-4 αντικειµένων, αυτή γίνεται σε ένα στάδιο που αφορά καθαρά και µόνο στον συγχρονισµό των αντικειµένων (πρόσωπα, φωνή, φόντο, κινήσεις κάµερας κλπ.). Εδώ, τα στοιχειώδη streams χωρίζονται σε πακέτα, και προστίθεται χρονική πληροφορία στο «ωφέλιµο φορτίο» αυτών των πακέτων. Αυτά τα πακέτα, τέλος, περνούν στο στάδιο µεταφοράς (transport layer). 16

17 Πληροφορίες συγχρονισµού για τον αποκωδικοποιητή έχουν να κάνουν µε την ταχύτητα του χρονισµού κωδικοποίησης και την χρονική πληροφορία των streams. Αυτή η πληροφορία είναι δύο ειδών: 1) αφ ενός ορίζεται πότε ένα κοµµάτι πληροφορίας πρέπει να αποκωδικοποιηθεί 2) αφ εταίρου περιγράφεται το πότε η συγκεκριµένη πληροφορία θα πρέπει να είναι έτοιµη προς παρουσίαση. Γενικά δεν υπάρχει συγκεκριµένος µηχανισµός µεταφοράς δεδοµένων στο MPEG-4. Τα υπάρχοντα formats και οι αντίστοιχοι µηχανισµοί πολύπλεξης είναι αρκετά. Τέτοιοι µηχανισµοί είναι το MPEG-2 Transport Stream, Αsynchronous Transfer Mode (ATM), και real-time transport protocol (RTP) στο Internet. Το γεγονός ότι το MPEG-2 Transport Stream χρησιµοποιείται από την ψηφιακή τηλεόραση έχει το πολύ σηµαντικό αποτέλεσµα ότι επιτρέπει µοντέλα συν-εκποµπής (co-broadcast modes). Ένα ξεχωριστό κανάλι µεταφοράς µπορεί να υπάρξει για κάθε stream δεδοµένων, αλλά για κάθε σκηνή MPEG-4 µπορεί να υπάρχουν πολλά streams. Για αυτό το λόγο, ένα εργαλείο του MPEG-4, το FlexMux σχεδιάστηκε ώστε να δράσει ως το µεσαίο βήµα για τον εκάστοτε τρόπο µεταφοράς των δεδοµένων. Επιπλέον, ένα ακόµη interface που ορίζεται στο MPEG-4 επιτρέπει στην εφαρµογή να ζητήσει συνδέσεις µε συγκεκριµένη ποιότητα υπηρεσιών σε ότι έχει να κάνει µε παραµέτρους όπως bandwidth, error rate ή καθυστέρηση. 4Αντικειµενοποιώντας οπτική πληροφορία Το κλασικό, «ορθογώνιο» βίντεο, όπως µπορεί να ονοµαστεί ο τύπος βίντεο που προκύπτει από µία κάµερα είναι, φυσικά, ένα από τα οπτικά αντικείµενα που ορίζονται από το πρότυπο. Επιπλέον, αντικείµενα µε αυθαίρετο σχήµα µπορούν να κωδικοποιηθούν ξεχωριστά από το φόντο τους και µετά να τοποθετηθούν µπροστά από άλλους τύπους βίντεο. Στην πραγµατικότητα, το MPEG-4 χρησιµοποιεί δύο τρόπους για να περιγράψει αυθαίρετα σχήµατα, κάθε ένας από τους οποίους είναι κατάλληλος και σε διαφορετικά περιβάλλοντα: Στον πρώτο, γνωστός σαν δυαδικό σχήµα, ένα κωδικοποιηµένο pixel (συγκεκριµένου χρώµατος, φωτεινότητας κλπ.) είτε ανήκει είτε όχι στο εν λόγω αντικείµενο. Αυτή η απλή τεχνική είναι χρήσιµη σε χαµηλού bit-rate περιβάλλοντα, αλλά παρουσιάζει ατέλειες. Για υψηλότερης ποιότητας περιεχόµενο, µία περιγραφή σχήµατος γνωστή ως κλίµακα του γκρι ή alpha shape χρησιµοποιείται. Σε αυτήν, κάθε pixel που ανήκει σε ένα σχήµα δεν έχει 17

18 µία τιµή ON ή OFF, αλλά του αποδίδεται µία χαρακτηριστική τιµή «διαφάνειας». Με αυτό το επιπλέον χαρακτηριστικό, o βαθµός διαφάνειας µπορεί να διαφέρει από pixel σε pixel ενός αντικειµένου, κι έτσι, τα αντικείµενα να αναµιγνύονται είτε στο φόντο, είτε µε άλλα οπτικά αντικείµενα. Ένα παράδειγµα υπάρχει στα περισσότερα δελτία καιρού. Η εικόνα του παρουσιαστή φαίνεται να στέκεται µπροστά από ένα χάρτη, ο οποίος στην πραγµατικότητα υπάρχει κάπου αλλού. εν προκαλεί εντύπωση, λοιπόν, το ότι οι κατασκευαστές εξοπλισµού studio τηλεόρασης εκφράζουν το ενδιαφέρον τους για την τεχνική του αυθαίρετου σχήµατος αντικείµενα αφού πλησιάζει τον τρόπο µε τον οποίο λειτουργούν σήµερα τα πράγµατα σε ένα τηλεοπτικό studio. Η MPEG ήδη εργάζεται επάνω σε bit-rates και επίπεδα ποιότητας αρκετά πιο ψηλά αυτών της τηλεόρασης υψηλής ευκρίνειας (high-definition television - HDTV). 5.Ευελιξία σε µικρές ταχύτητες Από την άλλη πλευρά, πολύ µεγάλη προσπάθεια έγινε στο να γίνει εφικτή η εφαρµογή κινούµενου video σε πολύ χαµηλά bit-rates, κυρίως για φορητές συσκευές. Το MPEG-4 µπόρεσε να κάνει ασύρµατη µετάδοση video (χρησιµοποιώντας Global System for Mobile Communications) στα 10kb/s ταχύτητα που «παραδοσιακά» εξυπηρετούσε τηλεφωνικές συνδιαλέξεις. Ένα ενοχλητικό, εώς και επικίνδυνο χαρακτηριστικό της ασύρµατης τεχνολογίας είναι η ύπαρξη της πιθανότητας σφαλµάτων µετάδοσης εξαιτίας πλεοναζόντων δεδοµένων. Στο πρότυπο χρησιµοποιούνται πολλές τεχνικές για να ξεπερνιούνται τα αναπόφευκτα λάθη όσο το δυνατό πιο άµεσα και να καθίσταται ο αποκωδικοποιητής ικανός να καλύπτει τα αποτελέσµατα των σφαλµάτων. Μια τέτοια τεχνική χρησιµοποιεί δείκτες επανασυγχρονισµού (resynchronization markers) στα video bit-streams. Με αυτές τις τεχνικές, ο συγχρονισµός που χάθηκε µετά από ένα λάθος µπορεί εύκολα να ανακτηθεί, καθώς στη σειρά τον δεδοµένων, ενώ αποκωδικοποιούνται, τοποθετούνται markers που δίνουν εντολή επανασυγχρονισµού της αποκωδικοποίησης. Επέκταση αυτής της τεχνικής είναι να χρησιµοποιείται η τεχνική του προτύπου MPEG-4 που ονοµάζεται «Κώδικες µήκους αντίστροφης µεταβλητής» (Reversible Variable Length Codes RVLC). Τέτοιοι κώδικες µπορούν µοναδικά να αποκωδικοποιηθούν ακόµα και όταν διαβάζονται µε αντίστροφη φορά, που σηµαίνει ότι το σύστηµα µπορεί να χρησιµοποιήσει 18

19 όλη την ακέραια πληροφορία, από τον δείκτη επανασυγχρονισµού µέχρι το σηµείο όπου συνέβη το σφάλµα (σχ.2). Σχήµα 2 Τα χαµηλά bit-rates µπορούν να χρησιµοποιηθούν εξ ίσου καλά χάρη στη χρήση ευέλικτων αντικειµένων στο MPEG-4. Πολλές φορές, πολλοί προµηθευτές οπτικοακουστικού υλικού στο Internet ζητούν από τον θεατή να ορίσει την ποιότητα µε την οποία θα του γίνει η µεταφορά της πληροφορίας, ανάλογα µε το bit-rate που µπορεί να διαχειριστεί. Συνεπώς, έπρεπε να γίνουν διαφορετικές κωδικοποιήσεις για κάθε µία από τις πιθανές ταχύτητες ξεχωριστά. Με την ευέλικτη κωδικοποίηση, ωστόσο, οι προµηθευτές αρκεί να κωδικοποιήσουν τα δεδοµένα τους µονάχα µία φορά. Το bit-rate του εκάστοτε τερµατικού θα ανιχνευτεί πριν τη λήψη ή και η λήψη θα προσαρµόζεται κατά την διάρκεια που θα λαµβάνει χώρα, ανάλογα µε το bit-rate. Σε αυτά τα πλαίσια, σε ένα βασικό επίπεδο µεταφέρεται όλη η πληροφορία κωδικοποιηµένη σε µια βασική ποιότητα. Εφ όσον το bit-rate επιτρέπει, επιπλέον επίπεδα µπορούν να χρησιµοποιηθούν για να ληφθεί καλύτερη εικόνα. Όταν µία σκηνή αποτελείται από διαφορετικά αντικείµενα, είναι ακόµα πιθανό να ληφθούν τα πιο σηµαντικά από αυτά. Αξίζει να σηµειωθεί ότι κάτι τέτοιο επιτρέπει την «άνιση» προστασία από σφάλµατα, έτσι ώστε τα πιο σηµαντικά αντικείµενα να δέχονται µεγαλύτερη προστασία. Αυτό συµβαίνει διότι και η προστασία από σφάλµατα κοστίζει σε bits. Τα sprites, όπως ονοµάζονται, είναι άλλος ένας τρόπος χρήσιµος για να σώζονται bits. Κυρίως χρησιµοποιούνται για την κωδικοποίηση σταθερών και αµετάβλητων φόντων. Χωρίς την χρησιµοποίησή τους, κάθε φορά που θα άλλαζε γωνία η κάµερα διαδραστικά από τον θεατή, το φόντο θα έπρεπε επίσης να ενηµερώνεται. Με την χρήση ενός sprite, ωστόσο, µπορεί να οριστεί το φόντο και να στέλνεται µονάχα µια φορά. Μετά από αυτό, οι καινούριες όψεις θα δηµιουργούνται απλώς στέλνοντας τις καινούριες θέσεις τεσσάρων προκαθορισµένων σηµείων. 19

20 Σχήµα 3: Παράδειγµα κωδικοποίησης sprite σε σειρά εικόνων video 6.Πλέγµατα Ίσως το πιο «διασκεδαστικό» από όλα τα νέα και χρήσιµα εργαλεία του MPEG-4 να είναι η ικανότητα του προτύπου να σχεδιάζει εικόνες επάνω σε αυτοποιηµένα σχήµατα. Όταν σε αυτά τα σχήµατα εφαρµοστεί κίνηση, τότε η απόσταση µεταξύ πραγµατικού και τεχνητού µικραίνει. Κάθε αντικείµενο-πλέγµα, µπορεί να έχει και ένα αντικείµενο σχεδιασµένο επάνω του. Κάποιες παράµετροι που δίνονται, µπορούν να αλλάξουν το αυτοµατοποιηµένο σχήµα, δίνοντας την αίσθηση της κίνησης. Αντιπροσωπευτικό παράδειγµα είναι µία σηµαία που κυµατίζει. Για ακόµα πιο προχωρηµένα εφφέ, επάνω σε τέτοια πλέγµατα µπορούν να εφαρµοστούν και εικόνες-video. Το όφελος σε bit-rate είναι αρκετά µεγάλο: Αρκεί να φανταστεί κανείς ότι, αντί να αποστέλλονται διαφορετικές εικόνες για κάθε παραµόρφωση, αρκεί να σταλθούν οι κατευθύνσεις για αυτό το σκοπό. 20

21 Σχήµα 4: ιδιάστατο µοντέλο πλέγµατος. Αλλάζοντας το σχήµα του πλέγµατος, το ψάρι µπορεί να κινηθεί και να φαίνεται ότι «κολυµπάει». Ακόµη, επάνω στο πλέγµα µπορεί να επικολληθεί εικόνα και να δίνεται η αίσθηση ότι αποτελεί το εξωτερικό µέρος του ψαριού. Τα προκαθορισµένα πρόσωπα είναι επίσης µια πολύ ενδιαφέρουσα περίπτωση πλεγµάτων. Πρόκειται για πρότυπα στον υπολογιστή µε ανεξάρτητο «ρεπερτόριο» ανεξάρτητων κινήσεων και συναισθηµατικών καταστάσεων. Αυτά µπορούν να προσαρµοστούν στα χαρακτηριστικά οποιουδήποτε ανθρώπου και µε κατάλληλη τεχνολογία να κινούνται τα χείλη, τα µάτια κλπ. ανάλογα µε τον λόγο. Η δεύτερη έκδοση του MPEG-4 περιέχει µεθόδους για την µοντελοποίηση και κίνηση ολόκληρων σωµάτων. 7.Άριστη διαχείριση του ήχου Όταν η MPEG ξεκίνησε, ο ήχος βρισκόταν σε δεύτερη µοίρα, θεωρούµενος απλώς ώς ένα σήµα που συνοδεύει το video. Ωστόσο, στο MPEG-4 δίνεται εξ ίσου βαρύτητα σε θέµατα κωδικοποίησης και απόδοσης ήχου, όπως και στο video. Το ΜPEG-4 περιλαµβάνει πολλά εργαλεία για την επίτευξη ενός καλού λόγου πολυπλοκότητας-ποιότητας σε bit-rates που ξεκινάνε από 6 kb/s και ξεπερνάνε τα 128 kb/s. Το εύρος αφορά στα πάντα: Από ένα απλό µονοκαναλικό σήµα, µέχρι ένα υψηλής πιστότητας στέρεο ήχο. Η ποιότητα δεν είναι µονάχα καλύτερη από αυτή που υπάρχει στα 21

22 κλασικά CD, αλλά απαιτεί λιγότερο από το ένα δέκατο της ταχύτητας κωδικοποίησης του τελευταίου, που είναι στα 1411 kb/s. Για ήχο άψογης ποιότητας, το MPEG-4 περιλαµβάνει τον αλγόριθµο advanced audio coding (AAC), όπως είχε καθορισθεί και χρησιµοποιηθεί από το MPEG-2. Ο αλγόριθµος προσφέρει αυτό που ονοµάζεται «µη διακρινόµενος στην ποιότητα ήχος», από µονοκαναλικές σε πολυκαναλικές surround εφαρµογές. Και όλα αυτά σε πολύ χαµηλότερα bit-rates από το mp3 audio format που χρησιµοποιείται ευρέως στο διαδίκτυο. Με τον όρο «µη διακρινόµενος στην ποιότητα ήχος» εννοείται εκείνος που προσφέρει ποιότητα, ακόµη και ανώτερη αυτής που εκπέµπεται. Ο λόγος κωδικοποιείται µε δύο αλγορίθµους: Ένας παραµετρικός κωδικοποιητής διαχειρίζεται λειτουργία στα 2-4kb/s, ή ακόµα χαµηλότερα. Ο άλλος, βασιζόµενος σε µία τεχνική που ονοµάζεται CELP (code excited linear prediction), είναι για λειτουργία στα 4-24kb/s. Αυτός ο αλγόριθµος χρησιµοποιεί δειγµατοληψία στα 8 ή 16KHz για λόγο στενής και ευρείας ζώνης αντίστοιχα. To MPEG-4, όπως αναφέρθηκε προηγουµένως, µπορεί να χρησιµοποιήσει γραπτό λόγο για την παραγωγή ανάλογων κινήσεων και εκφράσεων σε ανθρώπινα γραφικά. Επιπλέον, το κείµενο δεν διαβάζεται απλά από µία επίπεδη και ανέκφραστη φωνή. Αντιθέτως, η φωνή που «κατασκευάζεται» για να εκφωνήσει το κείµενο, εφοδιάζεται µε πληροφορίες όπως αλλαγές στην τονικότητα, την ταχύτητα κλπ. Για ακόµη µεγαλύτερη αυτονοµία των οµιλητών, πληροφορίες όπως ηλικία και φύλο χρησιµοποιούνται. 7.1 Συνθετικός ήχος Το MPEG-4 υποστηρίζει µεθόδους δηµιουργίας «δοµηµένου ήχου». Οι αρχικές και θεµελιώδεις ιδέες ξεκίνησαν από το Massachusetts Institute of Technology's Media Laboratory on NetSound, που χρησιµοποιεί τη γλώσσα σύνθεσης ήχου Csound. Αντίθετα από µία απλή µέθοδο σύνθεσης, ο δοµηµένος ήχος είναι ένα πρότυπο περιγραφής µεθόδων σύνθεσης. Το πρότυπο MPEG-4 για αυτό, µπορεί, λοιπόν, να προσαρµοστεί σε κάθε τρέχουσα ή µελλοντική µέθοδο. Στις µεθόδους δοµηµένου ήχου, ενσωµατώνονται περιγραφητές για πολλά στοιχεία επεξεργασίας σήµατος. Τέτοια στοιχεία είναι ταλαντωτές, ψηφιακά φίλτρα, κ.α. Επιλέγονται κατάλληλα δίκτυα τέτοιων στοιχείων και παράγονται 22

23 συγκεκριµένοι ήχοι. Κάθε τέτοιο δίκτυο, είτε η τελική του ηχητική παραγωγή είναι το σάλπισµα µιας τροµπέτας είτε ένας συναγερµός φωτιάς, ορίζεται ως συγκεκριµένο όργανο. Αυτά τα όργανα µπορούν να φορτωθούν από κάποιο δίκτυο και να αναπαραχθεί ο ήχος του µέσω συγκεκριµένων εντολών. ύο ειδών γλώσσες χρησιµοποιούνται για την διαχείριση τέτοιων ήχων: η SAOL (structured audio orchestra language προφέρεται ως sail) και η SASL (the structured audio score language). Τα όργανα µπορούν να ορισθούν µε την πρώτη, ενώ η δεύτερη εκτελεί τον έλεγχό τους. Εξειδικευµένοι προγραµµατιστές-συνθέτες δοµηµένου ήχου µπορούν να δηµιουργήσουν οποιονδήποτε ήχο, από πιάνο µέχρι καταρράκτες. Αποτέλεσµα του περιγραφικού υποβάθρου της µεθόδου, είναι ότι ο ήχος που πηγαίνει σε κάθε τερµατικό είναι ο ίδιος. Παρ όλο που διαφορές στον εξοπλισµό του κάθε χρήστη υπάρχουν, το αποτέλεσµα πάντα θα είναι το ίδιο από τερµατικό σε τερµατικό. 7.2 Ήχος στο χώρο Αν και λιγότερο φανερά από ότι στις εικόνες, ο ήχος επίσης οργανώνεται σε µορφή αντικειµένων. Ένα audio αντικείµενο µπορεί να είναι ένα κανάλι µονοφωνικού ήχου, ή ένα πολυφωνικό, υψηλής πιστότητας ηχητικό αντικείµενο. Η διαδικασία της σύνθεσης των αντικειµένων είναι στην πραγµατικότητα πολύ πιο αυστηρά καθορισµένη από ότι στις εικόνες. Με την ύπαρξη του ήχου σε µορφή αντικειµένων, µπορούν να γίνουν διαφορετικές µίξεις από τα κανάλια εισόδου στα κανάλια εξόδου (π.χ. ηχεία), ανάλογα µε τις διαφορετικές συνθήκες. Ένα ακόµη πλεονέκτηµα της κατάτµησης του ήχου σε αντικείµενα είναι ότι µπορούν να ενσωµατωθούν σε αυτά διαδικασίες εφφέ, µε επιλεκτικό τρόπο. Για παράδειγµα, εάν ένα κοµµάτι αντιστοιχεί σε ένα αντικείµενο για λόγο και ένα για µουσική, διάφορα εφφέ µπορούν να πραγµατοποιηθούν ανεξάρτητα στα δύο αντικείµενα. Όπως στα οπτικά αντικείµενα, έτσι και στα ηχητικά, µπορούν να αποδοθούν θέσεις στον τρισδιάστατο χώρο. Κάτι τέτοιο είναι αναγκαίο σε video conference. Η έκδοση 2 του MPEG-4 περιλαµβάνει ένα χαρακτηριστικό γνωστό ως environmental spatialisation. Αυτό το χαρακτηριστικό µπορεί να κάνει ένα ηχητικό αντικείµενο να ακούγεται διαφορετικά ανάλογα µε το από πού προέρχεται στο χώρο. Αυτή η τελευταία πληροφορία στέλνεται στον αποκωδικοποιητή, χωρίς την αναγκαία µεσολάβηση του αντικειµένου. Με άλλα λόγια, αυτή η διαδικασία γίνεται τοπικά στο τερµατικό, κι έτσι, 23

24 εξασφαλίζεται µεγαλύτερη εξοικονόµηση σε bits. Ένα διαφωτιστικό παράδειγµα είναι το εξής: Όταν κάποιος που περπατάει σε ένα σπίτι µπει σε ένα δωµάτιο διαφορετικού µεγέθους και σχήµατος, τότε αυτόµατα ο ήχος και η χροιά της φωνής του αλλάζουν. Ωστόσο, το ίδιο το αντικείµενο δεν χρειάζεται να αλλάξει. 8. Χρήση του ΜPEG-4 Ο κύριος χώρος στον οποίο κινείται το πρότυπο είναι το internet. Η ISMA (Internet Streaming Media Alliance), που ιδρύθηκε από τις Apple, Cisco, IBM, Kasenna, Philips, και Sun, δηµιούργησε ένα σύστηµα για ροή δεδοµένων. Το σύστηµα περιλαµβάνει πρότυπα για MPEG-4 Visual και MPEG-4 Audio, και την µεταφορά RTP που προαναφέρθηκε. Κατασκευαστές εξοπλισµού κινητής τεχνολογίας και αντίστοιχοι προµηθευτές υπηρεσιών. Συνήθως, η χρήση ολόκληρου του προτύπου δεν µπορεί να ενσωµατωθεί σε µία φορητή συσκευή. Γι αυτό, η κύρια πρακτική είναι η ενσωµάτωση συγκεκριµένων προφίλ, κατάλληλων για την εκάστοτε εφαρµογή. Το λογισµικό Windows Media της Microsoft χρησιµοποιεί απλές τεχνικές κωδικοποίησης και αποκωδικοποίησης MPEG-4. Το Quicktime 6 της Apple έχει, επίσης, υποστήριξη MPEG-4. Και οι εφαρµογές του προτύπου, φυσικά, δεν σταµατούν εδώ: Έντονο ενδιαφέρον υπάρχει στο χώρο της ραδιοφωνίας. Το Ευρωπαϊκό γκρουπ εκποµπής ψηφιακού ήχου έκρινε ότι το MPEG-4 έχει καλύτερη απόδοση από την αναλογική ΑΜ εκποµπή για το ίδιο εύρος ζώνης. Σχήµα 5: Μερικές από τις εφαρµογές Ωστόσο, η επικράτηση του προτύπου δεν υπήρξε µια εύκολη υπόθεση: Κάποιες αντιδράσεις ήτανε ακόµη και εχθρικές απέναντι στο πρότυπο, µε την πεποίθηση ότι ήρθε για να 24

25 αντικαταστήσει το MPEG-2. Προφανώς, όταν κάποιος βρίσκεται στην αρκετά δαπανηρή αλλαγή από αναλογική σε ψηφιακή (ΜPEG-2), σίγουρα ένα ακόµη πρότυπο MPEG δεν θα του φαίνεται και µία τόσο ελκυστική ιδέα. Ωστόσο, το MPEG-4 δεν δηµιουργήθηκε για την αντικατάσταση του MPEG-2. Αντίθετα, φέρνει πολλές συµπληρώσεις µε νέες εφαρµογές. Ήδη πολλές από τις προσπάθειες της Moving Picture Experts Group για τον σχεδιασµό τρόπων ώστε το MPEG-4 και το MPEG-2 να µπορούν να εργάζονται µαζί, έχουν στεφθεί µε επιτυχία. Καθώς οι τηλεπικοινωνίες γίνονται ψηφιακές και η τηλεοράσεις µοιάζουν ολοένα και περισσότερο µε διαδραστικά τερµατικά, µια νέα φάση στην εξέλιξη των ψηφιακών πολυµέσων βρίσκεται σε εξέλιξη. Βιβλιογραφία [1] Rob Koenen.. [MPEG-4 multimedia for our time. IEEE Spectrum 36(2): [2] Rob Koenen. Overview of the MPEG-4 standard, INTERNATIONAL ORGANISATION FOR STANDARDISATION, 2002 [3] [4] 25

26 Περιεχόµενα Α. Συµπίεση Γενικά Εισαγωγή Τί είναι η συµπίεση Eίδη συµπίεσης Αλγόριθµοι συµπίεσης χωρίς απώλειες Κωδικοποίηση εντροπίας Κωδικοποίηση Huffman Αριθµητική κωδικοποίηση Κωδικοποίηση πηγής Κωδικοποίηση µετασχηµατισµού Μέθοδοι του πεδίου της συχνότητας ιακριτός Μετασχηµατισµός συνηµιτόνου (DCT) ιαφορική κωδικοποίηση Κβαντισµός διανυσµάτων Συµπίεση ήχου Συµπίεση ακίνητης εικόνας Συµπίεση video. 10 Β. ΜPEG-4 1.Εισαγωγικά Η χρησιµότητα των αντικειµένων Τακτοποίηση των δεδοµένων Αντικειµενοποιώντας οπτική πληροφορία Ευελιξία σε µικρές ταχύτητες Πλέγµατα Άριστη διαχείριση του ήχου Συνθετικός ήχος Ήχος στο χώρο Xρήση του MPEG

27 27