Συστήµατα και Αλγόριθµοι Πολυµέσων Ιωάννης Χαρ. Κατσαβουνίδης Οµιλία #2: Αρχές Επεξεργασίας Σηµάτων Πολυµέσων 4 Οκτωβρίου 2005
Επανάληψη (1) Πολυµέσα είναι Ήχος (1-D σήµα) Εικόνα (2-D σήµα) Βίντεο (3-D σήµα) Πολυµεσικό σύστηµα αποτελείται από Λογισµικό (επιµέρους συστατικά, δοµή, GUI) Υλικό (CPU, µνήµη, συσκευές απόδοσης ήχου και εικόνας) Τηλεπικοινωνικό δίκτυο
Επανάληψη (2) Πολυµεσικοί αλγόριθµοι Τεχνικές ψηφιακής επεξεργασίας σήµατος Τεχνικές κωδικοποίησης και θεωρίας πληροφοριών Συµπίεση και αποσυµπίεση δεδοµένων ( codec ) Πολυµεσικές αρχιτεκτονικές υπολογιστών PC (Intel MMX/SSE/SSE2) Embedded (TI DSP, ARM RISC) ASIC/SOC (full hard-wred desgn, GP-CPU + hardwred block acceleraton, confgurable & etensble Tenslcs)
Βασικές τεχνικές (αρχές) επεξεργασίας πολυµέσων ειγµατοληψία/κβαντοποίηση Μετασχηµατισµοί Θεωρία Πληροφορίας Προ- και Μετά-επεξεργασία πολυµεσικών σηµάτων
ειγµατοληψία Βασίζεται στο θεώρηµατουnyqust: F s >= 2* F MAX Π.χ. Audo CD, F MAX = 20kHz, F s = 44.1kHz Τηλέφωνο - ανθρώπινη φωνή F MAX = 4kHz, F s = 8kHz
Κβαντοποίηση Μη-αναστρέψιµηδιαδικασία Αποτελείται από δύο τµήµατα: Μετατροπή συνεχούς εύρους τιµών σε διακριτές τιµές (=σύµβολα) quantzaton Μετατροπή των συµβόλων σε τιµές (centrods) που αντιπροσωπεύουν το αρχικό εύρος τιµών nverse quantzaton Οαριθµός του bts καθορίζεται από την αποδεκτή ποιότητα αναπαραγωγής του αρχικού σήµατος
Κβαντοποίηση Π.χ. Στο Audo CD, N (# of bts) = 16 Άσκηση #1: επιβεβαιώστε ότι ο ρυθµός δεδοµένων του Audo CD είναι 1411200 bts/sec Άσκηση #2: αποδείξτε τη σηµατοθορυβική σχέση οµοιόµορφου κβαντιστή PSNR = 6*Ν+11 (db) και κατά συνέπεια τη σηµατοθορυβική σχέση του Audo CD ~ 107 db
Επανα-δειγµατοληψία Αύξηση του αριθµού των δειγµάτων (upsamplng) Μείωση του αριθµού των δειγµάτων (down-samplng)
Τεχνικές φίλτρων Βασίζεται στην χρήση της συνάρτησης sync() = sn()/ για τον υπολογισµότωνενδιάµεσων τιµών, σε συνδιασµό µε τη χρήση παραθύρων για τη µείωση της κυµάτωσης (rpples) και της επικάλυψης φάσµατος (alasng) Για τον υπολογισµό τωντιµών εξόδου, γίνεται συνέλιξη (convoluton) των τιµών εισόδου µε τους συντελεστές του φίλτρου Παράδειγµα: [1, -5, 20, 20, -5, 1]
Τεχνικές φίλτρων (2) Ρουτίνα συνέλιξης for (j = 0; j < N; j++) { sum = 0; for ( = -2; < 2; ++) sum += h[]*nput[j+]; output[j] = sum; }
Τεχνικές φίλτρων (3) Ιδιαίτερη αντιµετώπιση στα όρια του σήµατος Συνήθως, επανάληψη του οριακού δείγµατος Πολυπλοκότητα N MACs/output sample Ιδανικός αλγόριθµος για DSPs
Τεχνικές παρεµβολής (1) Βασίζεται στην χρήση πολυώνυµων για τον υπολογισµό ενδιάµεσων τιµών Παρεµβολή πρώτου βαθµού (γραµµική παρεµβολή) Παρεµβολή δευτέρου & τρίτου βαθµού Splnes
Τεχνικές παρεµβολής (2) Γραµµική παρεµβολή y( t) = 1t + 0(1 t),0 t 1 Μπορεί να γραφτεί και ως y( t) = + ( 1 0) t,0 t 0 1
Τεχνικές παρεµβολής (3) εύτερου ή µεγαλύτερου βαθµού παρεµβολή απαιτεί την επίλυση συστήµατος γραµµικών εξισώσεων Π.χ. ευτεροβάθµια παρεµβολή y( t) y(0) y(1) 2 = αt + βt + γ = = 1 0,0 t 1
Τεχνικές παρεµβολής (4) Μπορεί να γραφτεί ως όπου οι τιµές των δ (µία τιµή γιακάθε διάστηµα) υπολογίζονται απαιτώντας συνέχεια των παραγώγων στα όρια των διαστηµάτων: R t t t t y + + = δ δ δ, 1,0 ) )(1 ( ) ( ) ( 0 0 1 2 0 1 ) )(1 ( ) )(1 ( ) ( 2 1 1 1 1 + + = + δ δ δ ) )(1 ( ) )(1 ( 1 1 1 + + = + δ δ
Τεχνικές παρεµβολής (5) Αν έχουµε Νσηµεία ( 0, 1,, N-1 ), δηλαδή (Ν-2) εσωτερικά σηµεία, έχουµε (Ν-2) γραµµικές εξισώσεις. 2 επιπρόσθετες εξισώσεις προκύπτουν µετη βοήθεια προέκτασης των οριακών σηµείων, οπότε λύνουµε τοσύστηµαν εξισώσεων µε Ν αγνώστους και αποκτούµε τους συντελεστές δ 0, δ 1,, δ N-1
Τεχνικές παρεµβολής (6) Στην περίπτωση διδιάστατου σήµατος (εικόνα), εφαρµόζουµετιςπροηγούµενες τεχνικές µε διαχωρίσιµο τρόπο πρώτα κατά τη µία διάσταση και µετά κατά την άλλη.
Τεχνικές κβαντοποίησης (1) Οµοιόµορφη κβαντοποίηση Για προσηµασµένα σήµατα, συνήθως κβαντοποιούµετοπρόσηµο µε 1-bt και το πλάτος (=απόλυτη τιµή) µεταυπόλοιπα(ν-1) bts dead-zone quantzaton Μη-οµοιόµορφη κβαντοποίηση Οι υπο-περιοχές κβαντοποίησης ( bns ) δεν έχουν το ίδιο εύρος. Συνήθως επιλέγουµε το εύρος ούτως ώστε η πιθανότητα κάθε υποπεριοχής να είναι σταθερή
Τεχνικές κβαντοποίησης (2) Μη-οµοιόµορφη κβαντοποίηση Οι τιµές αντικατάστασης υπολογίζονται µε τον αλγόριθµο Lloyd-Ma Εναλλακτικά, το σήµα µετατρέπεται µε τη βοήθεια µιας µη-γραµµικής συνάρτησης σε οµοιόµορφα κατανεµµηµένο και ακολουθεί οµοιόµορφη κβαντοποίηση ( compandng )
Αλγόριθµος κβαντοποίησης Quantzaton: for (=0; <8; ++) { sgn[] = ([]>0)? 0 : 1; q[] = abs([])/(2*qp); }
Αλγόριθµος κβαντοποίησης Inverse Quantzaton: for (=0; <8; ++) { f(q[]==0) r[] = 0; else f (sgn[]==0) r[] = (2*q[]+1)*QP; else r[] = -(2*q[]+1)*QP; }
Technology overvew of MPEG1/2 Basc unt of processng s a pcture Each pcture conssts of an array of pels; for each pel, we assocate one nteger value (usually 8-bt) called lumnance and for each 22 block of pels we assocate two chromnance values, called Cb/Cr or U/V also called YUV 4:2:0 format. YUV 4:2:2 and 4:4:4 are also supported (MPEG2 only).
MPEG1/2 YUV 4:2:0 format (0,0) j Represent lumnance samples Represent chromnance samples
Ασκήσεις Να υπολογίσετε τις παρακάτω στατιστικές ποσότητες για κάθε ένα από τα τρία συστατικά (Y/U/V) του 1ου καρέ του βίντεο src13 Μέσος όρος (µ) ιασπορά (σ) Συσχέτιση 1ου βαθµού κατά τη διάσταση και κατά τη διάσταση y ρ hor = [E((,j)*(,j+1))-µ 2 ]/σ 2 ρ ver = [E((,j)*(+1,j))-µ 2 ]/σ 2 Συσχέτιση 2ου βαθµού κατά τη διάσταση και κατά τη διάσταση y