Ήχος -Video. ρ. Μαγκλογιάννης Ηλίας. Πανεπιστήµιο Αιγαίου Τµήµα Πληροφοριακών και Επικοινωνιακών Συστηµάτων

Transcript

1 Ήχος -Video ρ. Μαγκλογιάννης Ηλίας Πανεπιστήµιο Αιγαίου Τµήµα Πληροφοριακών και Επικοινωνιακών Συστηµάτων

2 Ήχος και Εφαρµογές O ήχος, κατάλληλα συνδυασµένος µε τα άλλα είδη πληροφορίας, µπορεί να κάνει µια εφαρµογή πολυµέσων πιο αποτελεσµατική. Eκπαιδευτικές εφαρµογές και περίπτερα πληροφοριών (information kiosks) H αφήγηση και ο σχολιασµός των όσων παρουσιάζονται στην οθόνη βοηθά στην µετάδοση του µηνύµατος Εφαρµογές που έχουν ως αντικείµενο την µουσική ή ακόµα εφαρµογές που προορίζονται για ανθρώπους µε προβλήµατα όρασης κάνουν εκτενή και αποτελεσµατική χρήση του ήχου. Aναγνώριση και σύνθεσης οµιλίας σε επαγγελµατικές εφαρµογές. Ήχος -Video 2

3 Σύλληψη (capture) Ήχου Ένας ψηφιοποιητής ήχου (sound digitiser) χρησιµοποιείται για τη σύλληψη σε ψηφιακή µορφή αναλογικού σήµατος Σύνθεση µέσω µουσικών οργάνων που επικοινωνούν µε τον υπολογιστή διαµέσου ενός MIDI interface. Κάθε ήχος µπορεί να αποθηκευτεί στον υπολογιστή ως ψηφιοποιηµένο ηχητικό σήµα. Σε αναλογία µε τα γραφικά, υπάρχει για τη µουσική το πρότυπο MIDI (Musical Instrument Digital Interface). Ήχος -Video 3

4 Χαρακτηριστικά Ήχου Μονοδιάστατο ακουστικό κύµα πίεσης Περιοχή συχνοτήτων ανθρώπινου αυτιού Hz DB = 20 log (A/B) A: Πλάτος του ακουστικού κύµατος Β: Κατώτατο όριο ακουστότητας (πίεση 0,0003 dyn/cm 2 ) για ηµιτονικό σήµα 1 KHz Ψηφιοποίηση Ήχου PCM για τηλεφωνία CD δείγµατα /secτων 8 bit => f max = 4 KHz δείγµατα /secτων 16 bit => f max = 22 KHz Πρότυπο MIDI Ήχος -Video 4

5 Μέγεθος Αρχείων Μέγεθος (bytes) =[ Κανάλια(1 ή 2) x Ρυθµός ειγµατοληψίας (Hz) x Έυρος είγµατος (bits) x Χρονική ιάρκεια (sec)] / 8 Παράδειγµα => 3 min ψηφιακού ήχου µε δειγµατοληψία 44.1 ΚHz και δείγµα 16 bit απαιτεί (2 x x 16 x 180) / 8 = Bytes = 31 MB Συµπιεσµένο Αρχείο Κωδικοποίηση υποζώνης (sub-band coding) MPEG layer 3 Real Audio Ήχος -Video 5

6 Το πρότυπο MIDI Αναπτύχθηκε στη αρχή της δεκαετίας του 80. Το MIDI καθορίζει πως κωδικοποιούνται τα διάφορα στοιχεία µιας µουσικής παρτιτούρας καθώς και τα όργανα που συµµετέχουν. Υπάρχει η δυνατότητα χρησιµοποίησης 127 οργάνων και ηχητικών εφέ. Το MIDI περιέχει και πρότυπα για την επικοινωνία µουσικών οργάνων µε υπολογιστή. Ένας υπολογιστής µε MIDI interface µπορεί να χειριστεί συσκευές που ακολουθούν αυτό το πρότυπο όπως ηλεκτρονικά synthesizers. Τα πλεονεκτήµατα και µειονεκτήµατα του MIDI έναντι της ψηφιοποιηµένης µουσικής είναι ανάλογα µε αυτά των εικόνων έναντι των γραφικών Ήχος -Video 6

7 Συµπίεση Ήχου Οήχος είναι δύσκολο να συµπιεστεί γιατί η ακοή είναι πιο ευαίσθητη στις αλλοιώσεις του ήχου σε σχέση µε την όραση. Ύπαρξη ενδιαφέροντος για συµπίεση του ήχου στην τηλεφωνία, έχουν αναπτυχθεί πολλές τεχνικές αποτελεσµατικής κωδικοποίησης της οµιλίας. Πρότυπα Οπτικοακουστική Τηλεφωνία (Audiovisual Telephony) Πρότυπο Περιγραφή G.711 PCM συχνοτήτων φωνής G.722 ADPCM µε συχνότητα 7kHz και απαιτούµενο εύρος ζώνης 64Kbits/s G.728 CELP κωδικοποίηση που απαιτεί 16Kbits/s Ήχος -Video 7

8 Συχνότητα ειγµ ατοληψίας (khz) Ηχητική ποιότητα και µέθοδος ψηφιοποίησης Κβαντοποίηση (bits) Τεχνική Κωδικοποίησης Ποιότητα PCM Hi-fi ADPCM Hi-fi ADPCM FM µετάδοση (µουσική) ADPCM AM µετάδοση (ο µ ιλία) 8 8 PCM Τηλεφωνική Ήχος -Video 8

9 Το πρότυπο MPEG (I) Το ηχητικό κοµµάτι του MPEG αποτελεί µια οικογένεια τριών διαφορετικών τεχνικών κωδικοποίησης και συµπίεσης ήχου. Αυτές οι οικογένειες ονοµάζονται MPEG-Audio Layer-1, Layer-2, Layer-3. Η συµπίεση γίνεται συνδυάζοντας ένα είδος κωδικοποίησης µετασχηµατισµού και sub-band division: Εφαρµόζεται στο σήµα ένας ταχύς µετασχηµατισµός Fourier (Fast Fourier Transform) Χωρισµός του φάσµατος σε 32 τµήµατα (sub-bands) Ένα ψύχο-ακουστικό µοντέλο εφαρµόζεται στο µετασχηµατισµένο σήµα για να υπολογιστεί το ελάχιστο επίπεδο θορύβου που γίνεται αντιληπτό από το µέσο ακροατή Όταν υπάρχουν 2 στερεοφωνικά κανάλια, γίνεται εκµετάλλευση του σύµφυτου πλεονασµού Ήχος -Video 9

10 Το πρότυπο MPEG (II) Το πρότυπο χρησιµοποιεί 16 bits για την κωδικοποίηση των δειγµάτων ενώ η συχνότητα δειγµατοληψίας είναι 44.1kHz, 48kHz ή 32kHz. Οι επιδόσεις κάθε στρώµατος είναι: MPEG-Audio Layer-1: επιτρέπει την κατασκευή πολύ απλών κωδικοποιητών και αποκωδικοποιητών θυσιάζοντας µέρος της ποιότητας. Ως αποτέλεσµα, η ηχητική ποιότητα είναι µέτρια ενώ το bandwidth που απαιτείται είναι αυξηµένο: 192 ή 256 Kbps ανά κανάλι. MPEG-Audio Layer-2: ο αλγόριθµος αυτή της κατηγορίας έχει βελτιστοποιηθεί για ένα εύρος ζώνης 96 ή 128Kbps ανά µονοφωνικό κανάλι. Η ποιότητα είναι εφάµιλλη του CD. MPEG-Audio Layer-3: έχει την καλύτερη επίδοση από τα τρία στρώµατα. Η ποιότητα του είναι υποδεέστερη αλλά πολύ κοντά σε αυτή του CD. Το βασικό του πλεονέκτηµα είναι ότι απαιτεί µόνο 64Kbps. Ήχος -Video 10

11 MPEG-Audio Layer ΙΙΙ Περισσότερο ιαδεδοµένο Το MPEG layer III απαιτεί το µικρότερο bitrate Το MPEG layer III µπορείς να συρρικνώσει τα αρχικά δεδοµένα ήχου από ένα CD κατά ένα παράγοντα της τάξης του 12 Παραδείγµατα της απόδοσης: Ποιότητα ήχου Εύρος mode Bitrate Λόγος Ήχος τηλεφώνου 2.5 khz mono 8 kbps 96:1 Καλύτερος από shortwave 4.5 khz mono 16 kbps 48:1 Καλύτερος από AM radio 7.5 khz mono 32 kbps 24:1 Σχεδόν FM radio 11 khz stereo kbps :1 Ποιότητα σχεδόν-cd 15 khz stereo 96 kbps 16:1 Ποιότητα CD >15 khzstereo kbps :1 Ήχος -Video 11

12 Ανατοµία ενός αρχείου MP3 Ήχος -Video 12

13 Purpose Frame sync MPEG audio version (MPEG-1, 2, etc.) MPEG layer (Layer I, II, III, etc.) Protection (if on, then checksum follows header) Bitrate index (lookup table used to specify bitrate for this MPEG version and layer) Sampling rate frequency (44.1kHz, etc., determined by lookup table) Padding bit (on or off, compensates for unfilled frames) Private bit (on or off, allows for application-specific triggers) Channel mode (stereo, joint stereo, dual channel, single channel) Mode extension (used only with joint stereo, to conjoin channel data) Copyright (on or off) Original (off if copy of original, on if original) Emphasis (respects emphasis bit in the original recording; now largely obsolete) Length (in Bits) Ήχος -Video 13

14 Video και Εφαρµογές Αναπαραγωγή αποθηκευµένου οπτικοακουστικού υλικού Εκπαιδευτικές και ψυχαγωγικές εφαρµογές στις οποίες µέρος της πληροφορίας βρίσκεται σε µορφή video που αναπαράγεται ανάλογα µε τις ανάγκες της εφαρµογής Χρήση εξυπηρετητών που θα αποθηκεύουν µεγάλες βιβλιοθήκες video-clips και θα τα µεταδίδουν κατόπιν αιτήσεως του χρήστη (video-on-demand) Πραγµατικού χρόνου οπτικοακουστική επικοινωνία Συνοµιλία δύο ατόµων µέσω υπολογιστή που είναι εφοδιασµένος µε κάµερα και συνδεδεµένος σε δίκτυο: τηλεδιάσκεψη H συνεργασία ατόµων που εργάζονται σε διαφορετικά σηµεία µέσω ενός κοινού χώρου εργασίας (shared workspace) Ήχος -Video 14

15 Σύλληψη Video Αναλογικές Κάµερες + Ψηφιοποιητές Αυτές οι συσκευές δέχονται σήµα PAL ή NTSC (video player, videodisk, camera) και το ψηφιοποιούν. Παρέχουν δυνατότητες editing, όπως για παράδειγµα αποµόνωση κάποιων πλαισίων και αποθήκευση τους ως ακίνητες εικόνες, αλλαγή του µεγέθους, των χρωµάτων και της φωτεινότητας της εικόνας και άλλα. Ψηφιακές Κάµερες Video DV Περιλαµβάνεται codec (κωδικοποιητή/αποκωδικοποιητή -coder/decoder) σε επίπεδο υλικού για να ψηφιοποιούν και να αναπαράγουν βίντεο Video Digital 8 Προωθείται από τη Sony. Οι κάµερες Digital 8 χρησιµοποιώντας τις ίδιες κασέτες µε τις κάµερες High 8 κρατούν την προς τα πίσω συµβατότητα (µπορούν να αναπαραγάγουν και κασέτες High 8), ενώ διαθέτουν την ίδια ακριβώς ψηφιακή τεχνολογία µε τις συσκευές DV Ήχος -Video 15

16 Ανάγκη για συµπίεση Άσκηση Eνα κανονικό ασυµπίεστο τηλεοπτικό σήµα PAL καταλαµβάνει ένα bandwidth περίπου 5 MHz. 'Eστω ότι θέλουµε να το µεταδώσουµε ψηφιακά. Για να έχουµε επαρκή ευκρίνεια (resolution) πρέπει κάθε δείγµα να έχει τουλάχιστον 8 bits (2 8 =256 επίπεδα κωδικοποίησης). Αν θέλουµε να έχουµε και χρώµα ποιός είναι ο απαιτούµενος ρυθµός µετάδοσης ; Ήχος -Video 16

17 Επίλυση Για να µην έχουµε απώλεια πληροφορίας (που µεταφράζεται σε µείωση της ποιότητας της εικόνας) πρέπει σύµφωνα µε το θεώρηµα Nyquist να κάνουµε τη δειγµατοληψία στη διπλάσια συχνότητα, δηλαδή στα 10 MHz. Αν κάθε δείγµα να έχει τουλάχιστον 8 bits (2 8 =256 επίπεδα κωδικοποίησης) απαιτείται ρυθµός µετάδοσης 10*8=80 Mbits/sec. Αν θέλουµε να έχουµε και χρώµα ο όγκος της ψηφιακής πληροφορίας γίνεται τριπλάσιος (αφού κάθε χρώµα σχηµατίζεται σα συνδυασµός των τριών βασικών χρωµάτων πράσινο, κόκκινο, µπλέ - µιλώντας πάντα για ασυµπίεστα σήµατα). Συνεπώς χρειαζόµαστε τουλάχιστον 3*80=240 Mbits/sec (30 MB/sec). Ήχος -Video 17

18 Συµπίεση Video Εικόνα: χωρικό πλεόνασµα πληροφορίας Kινούµενη εικόνα: χρονικό πλεόνασµα Ένας αλγόριθµος συµπίεσης κινούµενης εικόνας µπορεί να στηρίζεται µόνο στην εξάλειψη του χωρικού πλεονάσµατος ή να συνδυάζει εξάλειψη και των δύο ειδών πλεονασµάτων. MJPEG Eίναι ένα παράδειγµα της πρώτης κατηγορίας Παρουσιάζει ευκολία επέµβασης στην εικόνα σε επίπεδο πλαισίου και η ανθεκτικότητα σε λάθη κατά την µετάδοση µέσω δικτύου MPEG εύτερη κατηγορία Οδηγεί σε σηµαντικά µεγαλύτερους λόγους συµπίεσης Ήχος -Video 18

19 Μερικά Νούµερα Ταχύτητα ISA bus 40 Μbit/sec (6 φορές µικρoτερη ταχύτητα) Ταχύτητα CD/ROM φτάνει µέχρι 20 Μbit/sec (12 φορές πιο µικρή ταχύτητα) Η αποθήκευση ενός τυπικού κινηµατογραφικού film που διαρκεί 90 min (90*60=5400 sec), θα απαιτούσε 30*5400=162 GΒ Στο CD αποθηκεύονται περίπου 75 λεπτά ασυµπίεστου στερεοφωνικού ψηφιακού ήχου µε συχνότητα δειγµατοληψίας 44.1 KHz και ακρίβεια 16-bit αλλά µόνο 30 δευτερόλεπτα ψηφιακού video DVD (Digital Video Disk) τα οποία είναι οπτικοί δίσκοι µε χωρητικότητα 4.7 GB (δηλαδή 7 φορές πιο µεγάλη από το κανονικό CD), δεν επαρκούν για την αποθήκευση µιας κινηµατογραφικής ταινίας 90 λεπτών ασυµπίεστου ψηφιακού video αφού χρειαζόµαστε τουλάχιστον 35 DVD. Ήχος -Video 19

20 Τα πρότυπα MPEG (Ι) MPEG-1 Αποθήκευση και ανάκτηση κινούµενης εικόνας και ήχου σε ψηφιακά µέσα µε ρυθµό µετάδοσης µέχρι 1,5 Μbits/sec. H εικόνα έχει ανάλυση 352x240 pixels (NTSC) ή 352x288 pixels (PAL) και η ποιότητά της είναι σε επίπεδα VHS video. Χρησιµοποιείται κυρίως για την αποθήκευση video σε CD- ROM, Video-CD και CD-i και όπου αλλού χρειάζεται µικρό (σε σχέση µε το MPEG-2) bandwidth. To MPEG-1 µπορεί να χρησιµοποιηθεί σε εφαρµογές µε ρυθµό µετάδοσης 4-5 Mbits/sec, αλλά τα αποτελέσµατα δεν είναι τόσο καλά, όσο στην κανονική περιοχή λειτουργίας του. Ήχος -Video 20

21 MPEG-2 Τα πρότυπα MPEG (ΙΙ) Aναπτύχθηκε για εφαρµογή στην ψηφιακή τηλεόραση. H βασική ανάλυση της εικόνας ακολουθεί το τηλεοπτικό πρότυπο CCIR-601 (broadcast quality - ποιότητα εκποµπής) δηλαδή 704x480 pixels (NTSC) ή 704x576 pixels (PAL) και υποστηρίζει εικόνα πλεκτής σάρωσης (interlaced). Ο ρυθµός µετάδοσης κυµαίνεται από 3 ως 10 Mbits/sec. Οι εφαρµογές του είναι Καλωδιακή τηλεόραση (CableTV), ορυφορική (Direct Broadcasting Satellite TV) Αποθήκευση κινηµατογραφικών ταινιών στα DVD (Digital Video Disk). Ήχος -Video 21

22 Τα πρότυπα MPEG (ΙΙΙ) MPEG-4 Coding of audio-visual objects. ιάφορες οντότητες που απαρτίζουν την εικόνα και οι οποίες µπορούν κωδικοποιητής και αποκωδικοποιητής να χειρισθούν αυτόνοµα και ανεξάρτητα από τις υπόλοιπες. Με τον όρο οντότητες πάλι εννοούµε σχήµατα και ήχους, φυσικούς ή computer generated που χρησιµοποιούνται για να αναπαραστήσουν άλλα οµοειδή αντικείµενα. Πρότυπο για εφαρµογές επικοινωνίας πολυµέσων (multimedia comunications) Ανάλυση της εικόνας 176x144 pixels Χαµηλοί ρυθµούς µετάδοσης που κυµαίνονται ανάµεσα στα 4.8 και 64 Κbits/sec, κατάλληλα δηλαδή για µετάδοση σε δίκτυα µε µικρό διαθέσιµο bandwidth ανά συνδροµητή, όπως το Internet. Ήχος -Video 22

23 Τµηµατική Πρόβλεψη Κίνησης (Block Motion Compensation) Τµηµατοποίηση της εικόνας σε blocks Αν σε δύο διαδοχικά πλαίσια βρεθούν δύο ίδια blocks κωδικοποιείται απλώς ένα διάνυσµα µετακίνησης (motion compensation) Στην πραγµατικότητα δεν απαιτείται ταύτιση 2 blocks αλλά χρησιµοποιούνται οι µικρότερες απόλυτες διαφορές Μετάδοση Λάθους Απαιτήσεις σε Hardware Ήχος -Video 23

24 Είδη Κωδικοποίησης MPEG Intra-frame Coding Σύµφωνα µε αυτή την προσέγγιση η κάθε εικόνα (frame) αντιµετωπίζεται σαν αυτόνοµη µονάδα και κωδικοποιείται ανεξάρτητα από τις υπόλοιπες, οπότε το τελικό σήµα είναιµία σειρά από διακριτές ακίνητες εικόνες. Inter-frame Coding Λαµβάνονται κατά την κωδικοποίηση υπ όψη οι πιθανές οµοιότητες µεταξύ των πλαισίων και κωδικοποιείται η διαφορά τους µεχρήσητουblock motion compensation. Eτσι στο τελικό σήµα υπάρχειµία εξάρτηση µεταξύ των πλαισίων αφού για να αποκωδικοποιηθεί κάποιο πιθανώς να πρέπει να ληφθούν πληροφορίες και από κάποιο άλλο (προηγούµενο ή επόµενο). Γίνεταιέτσιπολύµεγαλύτερη συµπίεση, αφού µόνο οι διαφορές µεταξύ των πλαισίων κωδικοποιούνται Ήχος -Video 24

25 Είδη Πλαισίων MPEG (I) Ι (Intra frames) Tο είδος αυτό των πλαισίων κάνει χρήση του intra frame-coding. Τα πλαίσια τύπου Ι είναι τα µόνα που είναι κωδικοποιηµένα στο σύνολό τους και η αποκωδικοποίηση µπορεί να γίνει χωρίς αναφορά σε κάποιο άλλο. Επειδή η παρουσία τους είναι απαραίτητη σα σηµείο χρονικής αναφοράς και για να αποφευχθεί η διάδοση των σφαλµάτων που δηµιουργούν τα P πλαίσια επιβάλλεται να µεταδίδονται ανά τακτά χρονικά πλαίσια. Eτσι υπάρχει ένα I πλαίσιο τουλάχιστον κάθε 15 πλαίσια Η διαδικασία της κωδικοποίησης ενός I πλαισίου φαίνεται στο παρακάτω σχήµα. Η εικόνα χωρίζεται σε macroblocks και για κάθε block ξεχωριστά εφαρµόζεται DCT, Κβαντοποίηση, Zig-Zag Scanning,Run- Length-Encoding και Huffman Encoding. P (Predicted frames) Τα πλαίσια τύπου P είναι βασισµένα σε ένα προηγούµενο I ή P πλαίσιο. Με τη βοήθεια του motion compensation προβλέπουν τη νέα θέση όποιων macroblocks έχουν απλά µετακινηθεί και κωδικοποιούν τον αριθµό του macroblock και ένα διάνυσµα κίνησης. Η διαδικασία λοιπόν της κωδικοποίησης τους: σύγκριση macroblocks και δηµιουργία ενός γραµµικού συνδυασµού αυτών που παρουσιάζουν σηµαντική οµοιότητα, δηµιουργία motion vector, µετασχηµατισµός DCT σε κάθε block του νέου macroblock, Κβαντοποίηση, Run-Lenght-Encoding και το αποτέλεσµα κωδικοποιείται µε κωδικοποίηση Huffman, όπως και στα I πλαίσια. Ήχος -Video 25

26 Είδη Πλαισίων MPEG (II) B (Bi-directional frames) Τα πλαίσια τύπου B είναι πλαίσια που δηµιουργούνται λαµβάνοντας το µέσο όρο σε επίπεδο macroblock ενός προηγούµενου και ενός επόµενου πλαισίου Ι και P (ένα από το κάθε είδος). ε συντελούν τόσο πολύ στη διάδοση των σφαλµάτων γιατί δεν χρησιµοποιούνται ως σηµεία αναφοράς και επιπλέον µειώνουν σηµαντικά το σφάλµα παίρνοντας το µέσο όρο από δύο πλαίσια. Ο κύριος λόγος ύπαρξης των Β-πλαισίων είναι η κάλυψη της περίπτωσης κάποιες πληροφορίες της εικόνας να υπάρχουν σε επόµενα πλαίσια και να µην υπάρχουν στα προηγούµενα. Συνεπώς η πρόβλεψή τους µε τα P πλαίσια θα ήταν αδύνατη. Σαν παράδειγµα µπορούµε να αναφέρουµε µία πόρτα που ανοίγει ξαφνικά. Η πληροφορία για το τι βρίσκεται πίσω από την πόρτα υπάρχει στα επόµενα πλαίσια και όχι στα προηγούµενα και για να εµφανιστεί και στο τρέχον πλαίσιο πρέπει να ληφθούν σαν σηµεία αναφοράς και το προηγούµενο και το επόµενο. Ακολουθία : IBBPBBPBBPBBIBBPBBPB Ήχος -Video 26

27 Επικάλυψη αντικειµένων Ι-frame Οι λεπτοµέρειες ανακατασκευάζονται από τα I- και P- frames P-frame B-frame Ήχος -Video 27

28 Μετάδοση Σειρά µετάδοσης: Ήχος -Video 28

29 Πρόβλεψη σε διαδοχικές εικόνες f(t-1) f(t) f(t) f(t 1) Ήχος -Video 29

30 Εκτίµηση κίνησης Καθορισµός macroblock (ΜxN) Κριτήριο ταιριάσµατος: Mean absolute error (MAE) Παράθυρο αναζήτησης: ± p pixels Αλγόριθµος αναζήτησης Πλήρης Λογαριθµική παράλληλη Ιεραρχική Ήχος -Video 30

31 Εκτίµηση κίνησης Βασικό µοντέλο Πρόβλεψη του επόµενου καρέ µε βάση το προηγούµενο I(x, y, t) = I(x, y, t-1) + e(x, y, t) εν εντοπίζει σύνθετες κινήσεις µετακίνηση, περιστροφή, ζουµ Πρόβλεψη για κίνηση I(x, y, t) = I(x+u, y+v, t-1) + e(x, y, t) (u, v) motion vector Ήχος -Video 31

32 Εκτίµηση κίνησης Τρέχουσα εικόνα N M Εικόνα αναφοράς (προηγούµενη) Search region -p N p M Macroblock -p p Εικόνα αναφοράς Search region (προηγούµενη) Ζητήµατα: Βέλτιστο Ταίριασµα Motion vector (u, v) Μέγεθος macroblock (συνήθως Μ = Ν = 8 ή 16) Μέγεθος περιοχής αναζήτησης Ήχος -Video 32

33 Εκτίµηση κίνησης κωδικοποίηση I(x, y, t-1) I(x, y, t) Motion Estimation Motion vector (u, v) Motion Compensation e(x, y, t) = I(x, y, t) - I(x-u, y-v, t-1) DCT coding Transmit Ήχος -Video 33

34 Κριτήρια ΤΟ ΜΕΣΟ ΤΕΤΡΑΓΩΝΙΚΟ ΣΦΑΛΜΑ (MEAN SQUARE ERROR): MSE(d1, d2) = 1 d2) 2 n [ I1(i, j) I2(i + d1, j + ] (i, j) B όπου n είναι η διάσταση του θεωρούµενου τετραγωνικού µπλοκ Β. Το διάνυσµα µετατόπισης d=[d1 d2]τ, υπολογίζεται µε την ελαχιστοποίηση του κριτηρίου Η ΜΕΣΗ ΑΠΟΛΥΤΗ ΙΑΦΟΡΑ (MEAN ABSOLUTE DIFFERENCE): 1 MAD(d1, d2) = I1(i, j) I2(i + d1, j + d2) 2 n (i, j) B Η ΑΡΙΘΜΗΣΗ ΤΩΝ ΤΑΙΡΙΑΣΜΕΝΩΝ PIXELS (MATCHING PEL COUNT): Με βάση την προσέγγιση αυτή, κάθε pixel του µπλοκ Β χαρακτηρίζεται είτε ως ταιριασµένο, είτε ως µη ταιριασµένο, σύµφωνα µε τη σχέση 1,εάν T(i, j;d1,d2) = I1(i, j) I2(i + d1, j + d2) 0, διαφορετικά όπου t είναι µια προκαθορισµένη τιµή κατωφλίου. Τότε ο αριθµός των ταιριασµένων pixels του µπλοκ, δίνεται από τον τύπο:. Το διάνυσµα µετατόπισης υπολογίζεται µε τη µεγιστοποίηση του κριτηρίου 2 t Ήχος -Video 34

35 Πλήρης αναζήτηση Υπολογίζουµε τις (2p+1) 2 τιµές για τα i, j Κάθε σύγκριση απαιτεί 3ΜΝ πράξεις Για διαστάσεις I, J και F καρέ/sec 3IJF(2p + 1) 2 πράξεις/sec π.χ. I = 720, J = 480, F = 30, p = 15 > 30 Giga πράξεις µε εγγυηµένη επιτυχία Βελτίωση Μικρότερο p Υπο-βέλτιστος αλγόριθµος Ήχος -Video 35

36 Λογαριθµική αναζήτηση 1 Στόχος: ελαχιστοποίηση στο διάστηµα [-p, p] Πρώτο βήµα: αποτίµηση στο [-p/2, p/2] Επόµενο: επιλογή διαστήµατος πλάτους p/2 γύρω από το ελάχιστο Συνέχεια µέχρι το πλάτος = 2 k = ceiling(log 2 p) επαναλήψεις Π.χ. για p = 7 Αποτίµηση στο -4, 4 ελάχιστο στο -4 Αποτίµηση στο -6, -2 ελάχιστο στο -2 Αποτίµηση στο -3, -1 ελάχιστο στο -3 Ήχος -Video 36

37 Λογαριθµική αναζήτηση 2 Πρώτο βήµα: 3x3 αποτιµήσεις Τα επόµενα απαιτούν 8 αποτιµήσεις Τελικά: ceiling(log 2 p) επαναλήψεις 3IJF(8k+1) πράξεις p = 15, I = 720, J = 480, F = 30 1 Giga πράξεις Μπορεί να αποτύχει! Ταχύτερη µέθοδος, µεγαλύτερο σφάλµα Ήχος -Video 37

38 Ήχος -Video 38

39 Παράδειγµα Λογαριθµική αναζήτηση τριών βηµάτων (three-step exhaustive search ) (i) Eπιλέγεται το pixel στη θέση (i,j) του επόµενου (search) frame, και τα οκτώ γειτονικά του που απέχουν από αυτό κατά τέσσερα pixels κατά την οριζόντια και κατακόρυφη διεύθυνση. (ii) Το µπλοκ του παρόντος frame µε κέντρο το (i,j) και διαστάσεις nxn (BlockA) συγκρίνεται µε τα αντίστοιχα nxn µπλοκ στο search frame µε κέντρα τα εννέα pixels που επιλέχθηκαν: (i-4,j-4), (i,j-4), (i+4,j-4), (i-4,j), (i,j), (i+4,j), (i-4,j+4), (i,j+4), (i+4,j+4). Καθένα από τα µπλοκ αυτά, το ονοµάζουµε ( BlockB(k,l) ), όπου (k,l) είναι το κέντρο του. Βρίσκουµε εκείνο το µπλοκ (BlockB), του οποίου η σύγκριση µε το BlockΑ, δίνει τη µικρότερη τιµή του κριτηρίου. Βρίσκοντας εκείνη τη θέση (k,l), στην οποία το αντίστοιχο µπλοκ δίνει το ελάχιστο αποτέλεσµα του MAD κριτηρίου, έχουµε υπολογίσει µια πρώτη µετατόπιση του pixel Ι1(i,j) στο frame I2, η οποία είναι d = [ i-k, j-l ]. Ήχος -Video 39

40 Εξαντλητική αναζήτηση τριών βηµάτων ( three-step exhaustive search ) (iii) Το κεντρικό pixel του µπλοκ αυτού (ένα από τα παραπάνω (k,l)), είναι το κέντρο του επόµενου βήµατος αναζήτησης, ενώ µειώνεται η απόσταση των επιλεγόµενων οκτώ γειτονικών του pixels, που τώρα θα απέχουν κατά δυο. Επαναλαµβάνονται, δηλαδή, τα στάδια (i) και (ii), µε διαφορετικό σηµείο (pixel) αναφοράς και διαφορετικές αποστάσεις. Η συνολική µετατόπιση του pixel (i,j), είναι το άθροισµα των επιµέρους µετατοπίσεων που υπολογίζονται σε κάθε βήµα της µεθόδου. Αν σε κάποιο επιλεγµένο pixel, η τιµή του κριτηρίου είναι µηδέν, τότε η µέθοδος σταµατάει και υπολογίζεται η µέχρι εκείνου του σηµείου µετατόπιση, ως συνολική. Ήχος -Video 40

41 Αλγόριθµοι Αναζήτησης Ήχος -Video 41

42 Ιεραρχική αναζήτηση Αρχική Down 2 Υποδειγµατοληψία του αρχικού καρέ 16x16 8x8 4x4 macroblock Πλήρης αναζήτηση στη µικρότερη εικόνα Στο σηµείο ελαχιστοποίησης, αναζήτηση στη µεσαία εικόνα (αναζήτηση σε περιοχή 3x3) Επανάληψη στην αρχική εικόνα Down 4 Ήχος -Video 42

43 ιαδοχική εκτίµηση κίνησης Εκτίµηση µε βάση το προηγούµενο και το επόµενο καρέ Πιο πιθανό να βρεθεί το καλύτερο ταίριασµα Περισσότερες πράξεις x A X B y t-n t t+m Ήχος -Video 43

44 Σύγκριση στην αναζήτηση Πράξεις σε video Μέθοδος αναζήτησης πράξεις ανά macroblock 720x480/30 fps, Giga p = 17 p=7 Πλήρης 3(2 p +1) 2 NM Λογαριθµική 3(8 log 2 p Ιεραρχική 3(2 p 3(4 /4 log 2 p NM / [ + 1) ] Ήχος -Video 44

45 Αποτυχία χωρικής περίσσειας Ακολουθίες video µε υψηλή κίνηση Αποτυγχάνει η εκτίµηση κίνησης Αποτυγχάνει η ανακατασκευή µε P- και B- frames Πιθανή λύση: I-frames (µεγαλύτερο bitrate) Αλλαγές σκηνής Αδύνατο το ταίριασµα των macroblocks Λύση: κωδικοποίηση πρώτου καρέ µε I-frame Ήχος -Video 45

46 Επεκτάσεις Αναγνώριση Κίνησης Ήχος -Video 46

47 Μείωση της χωρικής περίσσειας Ήχος -Video 47

48 Μείωση της χωρικής περίσσειας ιαφορά εικόνων χωρίς αντιστάθµιση κίνησης Ήχος -Video 48

49 Μείωση της χωρικής περίσσειας ιαφορά εικόνων µε αντιστάθµιση κίνησης Ήχος -Video 49

50 Μπλοκ ιάγραµµα Κωδικοποιητή MPEG Ήχος -Video 50

51 Αποκωδικοποίηση DCT codes Receive Motion vector (u, v) I(x, y, t) DCT decoding e(x, y, t) + I(x-u, y-v, t-1) Frame Memory Motion Compensation Ήχος -Video 51

52 Καλύτερη ποιότητα MPEG-2 Επίπεδο VHS TV HDTV εν υπάρχει ο περιορισµός του CD-ROM Υποστήριξη digital TV, DVB digital video broadcasting πληθώρα εµπορικών εφαρµογών Ήχος -Video 52

53 MPEG-2 ιεθνές πρότυπο από το 1996 Υποστήριξη σταθερού (constant) bitrate και µεταβλητού (variable) CBR VBR Τάξη µεγέθους συµπίεσης 60 Mbps για HDTV 15 Mbps για NTSC, PAL and SECAM Ήχος -Video 53

54 MPEG2 vs. MPEG1 Video More sophisticated motion estimation methods (frame/field prediction mode) are developed to improve estimation accuracy for interlaced sequences. Different DCT modes and scanning methods are developed for interlaced sequences. MPEG2 has various scalability modes. MPEG2 has various profiles and levels, each combination targeted for different application Ήχος -Video 54

55 Temporal Scalability: Option 1 Ήχος -Video 55

56 Temporal Scalability: Option 2 Ήχος -Video 56

57 Προφίλ στο MPEG-2 Υποστήριξη διαφορετικών προφίλ π.χ. το προφίλ simple δεν υποστηρίζει B-frames σε κάθε προφίλ υποστηρίζονται levels High level Type 1: 1920x1152, 60 fps 80 Mbps High level Type 2: 1440x1152, 60 fps 60 Mbps Main: 720x576, 30 fps 15 Mbps Low: 352x288, 30 fps 4 Mbps Εµπορικές εφαρµογές: main level/main profile HDTV: High level / Main profile (USA), Next (EE) Ήχος -Video 57

58 Προφίλ στο MPEG-2 Ήχος -Video 58

59 MPEG - 4 Εµφάνιση MPEG-4 Μετά τα MPEG-1 και MPEG-2 που έχουν πολύ σηµαντικές εφαρµογές στο χώρο των ψηφιακών επικοινωνιών (όπως το διαλογικό (interactive) CD, η µετάδοση ψηφιακού ήχου και η ψηφιακή τηλεόραση), η επιτροπή MPEG (Moving Pictures Experts Group) σε συνεργασία µε εκατοντάδες ερευνητές και µηχανικούς από όλον τον κόσµο ξεκίνησε το 1996 την ανάπτυξη ενός νέου προτύπου, του MPEG-4, το οποίο µετά από προσπάθεια πέντε ετών ολοκληρώθηκε τον Οκτώβριο του 1998 και αναγνωρίστηκε ως διεθνές πρότυπο (ISO/IEC 14496) τους πρώτους µήνες του Ανεπάρκεια των προγενέστερων προτύπων Μειωµένη αλληλεπίδραση µε το περιεχόµενο. Μειωµένη επαναχρησιµοποίηση δεδοµένων (data reusability). υσκολία στην ενσωµάτωση φυσικού και συνθετικού περιεχοµένου στην ίδια σκηνή. Η προσπέλαση και µετάδοση πληροφορίας πολυµέσων δεν υποστηρίζεται ιδιαίτερα επιτυχώς (Error correction, Streaming, Uni-casting/Multi-casting). εν συµβαδίζουν τα αρχικά πρότυπα µε τη ραγδαία εξέλιξη στην τεχνολογία του υλικού του λογισµικού και των επικοινωνιών Ήχος -Video 59

60 Νέες Ανάγκες Το οπτικοακουστικό περιεχόµενο κυριαρχεί πλέον σε σχέση µε τα δεδοµένα και τις πληροφορίες που βασίζονται µόνο σε κείµενο. Ανάγκη επέκτασης του περιεχοµένου στις τρεις διαστάσεις (VR). Ανάγκη συσχέτισης του περιεχοµένου µε πρόσθετες µορφές πληροφορίας, όπως το κείµενο, ο ήχος, η εικόνα. Ανάγκη για αλληλεπιδραστικές (interactive) εφαρµογές. Ανάγκη επαναχρησιµοποίησης οπτικοακουστικού υλικού. Η ψηφιακή µορφή αποθήκευσης και µετάδοσης πληροφορίας προσφέρει στο χρήστη τη δυνατότητα αντιγραφής και επαναχρησιµοποίησης των οπτικοακουστικών σκηνών χωρίς απώλεια σε ποιότητα σε αντίθεση µε την αναλογική µορφή. Ήχος -Video 60

61 Καινοτοµίες MPEG - 4 Σκηνή αποτελεί µία κωδικοποιηµένη αναπαράσταση ανεξάρτητων οπτικοακουστικών αντικειµένων µε καθορισµένη σχέση µεταξύ τους ως προς το χρόνο και τον χώρο. Τα αντικείµενα µιας MPEG-4 σκηνής µπορεί να είναι ετερογενή: video, ήχος, ακίνητη εικόνα, γραφικά, κείµενο, 3D κόσµοι. Όταν τα αντικείµενα αυτά συσχετιστούν, προκύπτει ως αποτέλεσµα ένα σύνθετο οπτικοακουστικό αντικείµενο. Αυτή η νέα προσέγγιση αναπαράστασης της πληροφορίας παρέχει τα ακόλουθα πλεονεκτήµατα: µεγαλύτερη δυνατότητα αλληλεπίδρασης του χρήστη µε τη σκηνή επαναχρησιµοποίηση των δεδοµένων αποδοτικότερη διαχείριση του εύρους ζώνης αποδοτική χρήση των πόρων του συστήµατος (µνήµη, υπολογιστική δύναµη) προστασία από σφάλµατα ενσωµάτωση στην ίδια σκηνή συνθετικού και φυσικού περιεχοµένου Ήχος -Video 61

62 Ήχος -Video 62

63 Λογική δοµή σκηνής scene person 2D background furniture audiovisual presentation voice sprite globe desk Ήχος -Video 63

64 Το video στο MPEG-4 (I) Μετάδοση κινούµενου video σε συστήµατα µε πολύ χαµηλούς ρυθµούς µετάδοσης, µε εφαρµογή στις κινητές συσκευές. Το MPEG-4 µπορεί να χρησιµοποιηθεί για ασύρµατη µετάδοση video στα 10 kbits/sec, που είναι ο ρυθµός µετάδοσης του συστήµατος GSM για επικοινωνία φωνής. Χρησιµοποιούνται οι παρακάτω τεχνικές, που διευκολύνουν τον αποκωδικοποιητή να αντιµετωπίσει τις συνέπειες των σφαλµάτων γρήγορα και αποτελεσµατικά: Η χρήση σηµαδιών επανασυγχρονισµού (resync markers) στο ρεύµα µετάδοσης του video. Η χρήση του αντιστρέψιµου µεταβλητού-µήκους κώδικα (reversible variable-length code). Ο κώδικας αυτός µπορεί να αποκωδικοποιηθεί µε µοναδικό τρόπο ακόµα και όταν διαβάζεται αντίστροφα (µετά από εντοπισµό λάθους). Η χρήση των διαβαθµίσιµων (scalable) αντικειµένων, είδος διαβάθµισης εντελώς νέο, επιτρέπει την άνιση προστασία από τα σφάλµατα προστατεύοντας καλύτερα τα πιο σηµαντικά αντικείµενα. Αυτό γίνεται γιατί και η προστασία από τα σφάλµατα κοστίζει σηµαντικό αριθµό bits. Ήχος -Video 64

65 Το video στο MPEG-4 (II) Το MPEG-4 πετυχαίνει µετάδοση video σε συστήµατα χαµηλού ρυθµού µετάδοσης και λόγω της χρήσης των διαβαθµίσιµων (scalable) αντικειµένων. Σήµερα, πολλοί παροχείς οπτικοακουστικού υλικού στο ιαδίκτυο ζητούν από το χρήστη να επιλέξει την ποιότητα του ρεύµατος µετάδοσης (streaming), ανάλογα µε το ρυθµό µετάδοσης (bit-rate) που µπορεί να χειριστεί. Με τη βοήθεια της διαβαθµίσιµης κωδικοποίησης (scalable coding) η κωδικοποίηση των αντικειµένων µπορεί να γίνει µόνο µια φορά, ενώ ο ρυθµός µετάδοσης προσαρµόζεται στις συνθήκες του συστήµατος σύµφωνα µε την ακόλουθη διαδικασία αντί να κωδικοποιείται το περιεχόµενο ξεχωριστά, δηλαδή για όλους τους πιθανούς ρυθµούς µετάδοσης. Ένα βασικό στρώµα µεταδίδει όλη την πληροφορία εξασφαλίζοντας βασική ποιότητα, ενώ στη συνέχεια µπορούν να χρησιµοποιηθούν για βελτίωση εικόνας ένα ή περισσότερα στρώµατα ενίσχυσης, εάν είναι διαθέσιµος ο κατάλληλος ρυθµός µετάδοσης. Επίσης, όταν η σκηνή συντίθεται από διαφορετικά αντικείµενα, είναι δυνατό να σταλεί µόνο το πιο σηµαντικό από αυτά. Ήχος -Video 65

66 Οήχος στο MPEG-4 Το MPEG-4 περιλαµβάνει διάφορα ακουστικά εργαλεία για την επίτευξη µιας καλής απόδοσης σε bit-rates που ξεκινούν από τα 6Κbits/sec και φτάνουν τα 128Κbits/sec. Το εύρος αυτό καλύπτει όλο το φάσµα των δυνατοτήτων, και µάλιστα µε bit-rates σηµαντικά χαµηλότερα από τα αντίστοιχα του mp3 audio format και µε ποιότητα ήχου είναι εφάµιλλη αν όχι καλύτερη από εκείνη του CD. Ο ήχος αναπαρίσταται επίσης µε τη µορφή αντικειµένων. Ένα ακουστικό αντικείµενο µπορεί να είναι ένα µονοφωνικό κανάλι οµιλίας ή ένα ηχητικό αντικείµενο πολλών καναλιών και υψηλής ποιότητας. Όπως συµβαίνει µε τα video αντικείµενα, έτσι και για τα ακουστικά αντικείµενα µπορεί να οριστεί κάποια θέση στον τρισδιάστατο ηχητικό χώρο. Αυτή η δυνατότητα είναι ιδιαίτερα χρήσιµη στην περίπτωση µιας σύσκεψης στην οποία συµµετέχουν πολλοί άνθρωποι ή σε διαλογικές εφαρµογές όπου τόσο οι εικόνες όσο και ο ήχος αποτελούν αντικείµενο χειρισµού. Ήχος -Video 66

67 Example of Scene Composition VOP1 VOL1 VOP2 VOP3 VOL2 The decoder can compose a scene by including different VOPs in a VOL Ήχος -Video 67

68 Body and Face Animation MPEG-4 defines a default 3-D body model (including its geometry and possible motion) through body definition table (BDP) The body can be animated using the body animation parameters (BAP) Similarly, face definition table (FDP) and face animation parameters (FAP) are specified for a face model and its animation Ήχος -Video 68

69 Face Animation Through FAP Ήχος -Video 69

70 Text-to-Speech Synthesis with Face Animation Ήχος -Video 70

71 MPEG-4 vs. MPEG-1 Coding Efficiency Ήχος -Video 71

72 MPEG-7 Overview MPEG-1/2/4 make content available, whereas MPEG-7 allows you to find the content you need! Enable multimedia document indexing, browsing, and retrieval Define the syntax for the metadata (e.g. index and summary) attached to the document Generation of index and summary is not part of the standard! Content description in MPEG-7 Descriptor (D): describing low-level features Description scheme (DS): combining Ds to describe high-level features/structures Description definition language (DDL): define how Ds and DSs can be defined or modified System tools Ήχος -Video 72

73 Content description: segment tree and event tree Segment tree = table of contents Event tree = index Ήχος -Video 73

74 MPEG-7 Visual Descriptors Color Histogram, dominant color, etc. Texture Homogeneity: energy in different orientation and frequency bands (Gabor transform) Coarseness, directionarity, regularity Edge orientation histogram Motion Camera motion Motion trajectory of feature points in non-rigid object Motion parameters of a rigid object Motion activity Shape Boundary-based vs. region-based Ήχος -Video 74

75 Περισσότερες Πληροφορίες Το µέλλον MPEG -21 µε προηγµένα εργαλεία διαχείρισης πολυµεσικής πληροφορίας (digital rights) Ήχος -Video 75