Θεωρία πληροφοριών. Τεχνολογία Πολυµέσων 07-1

Transcript

1 Θεωρία πληροφοριών Εισαγωγή Αµοιβαία πληροφορία Εσωτερική πληροφορία Υπό συνθήκη πληροφορία Παραδείγµατα πληροφορίας Μέση πληροφορία και εντροπία Παραδείγµατα εντροπίας Εφαρµογές Τεχνολογία Πολυµέσων 07-

2 Εισαγωγή Μετάδοση πληροφοριών Πηγή / Κανάλι / Χρήστης ιακριτά σύµβολα από διακριτό αλφάβητο Κωδικοποιητής πηγής Μείωση των bts προς µετάδοση Αξιοποίηση της φύσης των πληροφοριών Κωδικοποιητής καναλιού Βελτίωση της αξιοπιστίας του καναλιού Αξιοποίηση της φύσης του καναλιού Θεωρία πληροφοριών Μελέτη των ιδιοτήτων της πληροφορίας Εύρεση αποδοτικών µεθόδων κωδικοποίησης Τεχνολογία Πολυµέσων 07-2

3 Εισαγωγή Πηγή Πληροφορίας Κωδικοποιητής Πηγής Κωδικοποιητής Καναλιού Αποδιαµορφωτής Κυµατοµορφής Κανάλι Κυµατοµορφής ιαµορφωτής Κυµατοµορφής ιακριτό κανάλι χωρίς µνήµη Αποκωδικοποιητής Καναλιού Αποκωδικοποιητής Πηγής Χρήστης Πληροφορίας ιακριτό κανάλι χωρίς µνήµη DMC Ανεξάρτητα διακριτά σύµβολα ιαµόρφωση / µετάδοση / αποδιαµόρφωση κυµατοµορφής Κανάλι επικοινωνίας ή µέσο αποθήκευσης Τεχνολογία Πολυµέσων 07-3

4 Αµοιβαία πληροφορία ιακριτές τυχαίες µεταβλητές X και Υ,, 2,, n και,, 2, m X και Y στατιστικά ανεξάρτητες Το Y δεν παρέχει πληροφορία για το X X και Y απόλυτα εξαρτηµένες Το Y παρέχει την ίδια πληροφορία µε το X Ανάλογη µε την υπό συνθήκη πιθανότητα X Y Κανονικοποίηση ανάλογα µε πιθανότητα X X ; : αµοιβαία πληροφορία µεταξύ και ; Τεχνολογία Πολυµέσων 07-4

5 Τεχνολογία Πολυµέσων 07-5 Εσωτερική πληροφορία Ηαµοιβαία πληροφορία είναι συµµετρική X και Υ στατιστικά ανεξάρτητες: ; 0 X και Υ πλήρως εξαρτηµένες Εσωτερική πληροφορία του Πάντα µη αρνητική λογάριθµος αριθµού < αρνητικός Μονάδες µέτρησης πληροφορίας: δυαδικά ψηφία, ; ; ;

6 Τεχνολογία Πολυµέσων 07-6 Υπό συνθήκη πληροφορία Πληροφορία υπό συνθήκη X όταν έχει συµβεί το Y Αµοιβαία πληροφορία ; Πληροφορία από το Y για το X Υπό συνθήκη πληροφορία Εσωτερική πληροφορία του X όταν έχει συµβεί το Y Όλοι οι ορισµοί πληροφορίας συνδέονται ; >0 όταν > ; <0 όταν < ;

7 Παραδείγµατα πληροφορίας υαδική πηγή παράγει bts 0/2 2 υαδική πηγή χωρίς µνήµη k συνεχόµενες τιµές M2 k διαφορετικές ακολουθίες /M2 -k, 2 k 2 Λογαριθµικό µέτρο πληροφορίας 2 2 k Πληροφορία ακολουθίας ανεξάρτητων γεγονότων Άθροισµα πληροφοριών των γεγονότων Με δυαδικό λογάριθµο, πληροφορίας σε bts Τεχνολογία Πολυµέσων 07-7

8 Παραδείγµατα πληροφορίας r 00 -p 0 0 r 0 p ΕΙΣΟ ΟΣ ΕΞΟ ΟΣ r -p r 0 p υαδικό κανάλι DMC µετάδοση bts Σφάλµατα µετάδοσης X: είσοδος, σήµα που στάλθηκε Y: έξοδος, σήµα που λήφθηκε Η έξοδος διαφέρει από την είσοδο µε πιθανότητα p Έστω X0X/2 Τεχνολογία Πολυµέσων 07-8

9 Παραδείγµατα πληροφορίας Πιθανότητα εµφάνισης κάθε εξόδου Y Y X 0 X 0 + Y X X p + p 2 2 Y 0 Y 0 X 0 X 0 + Y 0 X X p + p 2 2 Αµοιβαία πληροφορία Y 0 X 0 0; 0 0; p Y 0 Y 0 X 0 ; 0; p Y 0 Αθόρυβο κανάλι p0, άρα Ι0;0 Θορυβώδες κανάλι p/2, άρα Ι0;0Ι0;0 p/4, άρα Ι0;00,587 και Ι0;- Τεχνολογία Πολυµέσων 07-9

10 Τεχνολογία Πολυµέσων 07-0 Μέση πληροφορία και εντροπία Μέση αµοιβαία πληροφορία X και Y, και, συµµετρικά X;Y Υ;X X και Y στατιστικά ανεξάρτητες, άρα ΙΧ;Υ0 Μέση εσωτερική πληροφορία X Τιµές X: σύµβολα ενός αλφαβήτου HX: εντροπία της πηγής n m n m Y X, ;, ; n n X H

11 Μέση πληροφορία και εντροπία Πηγή µε τυχαία συµπεριφορά /n H X n n n n Απαιτούνται 2 n bts Μέγιστη τιµή εντροπίας Όλα τα σύµβολα είναι εξίσου πιθανά Υπό συνθήκη εντροπία H X Y n m, Όλοι οι ορισµοί µέσης πληροφορίες συνδέονται X ; Y H X H X Y Τεχνολογία Πολυµέσων 07-

12 Παραδείγµατα εντροπίας υαδική πηγή χωρίς µνήµη 0q, -q Εντροπία πηγής H X 0 0 q q q q Συνάρτηση δυαδικής εντροπίας Εξαρτάται από το q Όταν q-q/2, H/2 Όταν q0 ή q, Η00 Εντροπία σε bt/sec Πιθανότητα Τεχνολογία Πολυµέσων 07-2

13 Παραδείγµατα εντροπίας υαδικό κανάλι DMC Εντροπία της πηγής X H X H q q q q q Μέση αµοιβαία πληροφορία X;Y X ; Y H X H X Y Μέγιστη τιµή όταν q-q/2 για κάθε p p0: µέγιστη µέση αµοιβαία πληροφορία p/2: ελάχιστη µέση αµοιβαία πληροφορία Υπό συνθήκη εντροπία HXY Συµπεριφέρεται αντίστροφα από την X;Y p/2: µέγιστη υπό συνθήκη εντροπία p0: ελάχιστη υπό συνθήκη εντροπία Τεχνολογία Πολυµέσων 07-3

14 Παραδείγµατα εντροπίας Μέση αµοιβαία πληροφορία X;Y p p p p p Πιθανότητα συµβόλου X 0 Υπό συνθήκη εντροπία ΗXY p p p p p Πιθανότητα συµβόλου X 0 Μέση αµοιβαία πληροφορία και Υπό συνθήκη εντροπία Λειτουργούν συµπληρωµατικά ως προς την εντροπία της πηγής Τεχνολογία Πολυµέσων 07-4

15 Εφαρµογές Πηγές πληροφοριών πολυµέσων Παράγονται w σύµβολα q,, 2,, w Πιθανότητα παραγωγής q ίση µε q Απλή αναπαράσταση συµβόλων υαδικές ακολουθίες σταθερού µήκους 2 w bts ανά σύµβολο για w σύµβολα Εσωτερική πληροφορία q - 2 q bts Αναπαράσταση µεταβλητού µήκος q bts για το σύµβολο q Σπάνια και συχνά σύµβολα Βέλτιστη δυνατή κωδικοποίηση Εντροπία πηγής ΗΧ: µέσο πλήθος bts ανά σύµβολο Τεχνολογία Πολυµέσων 07-5

16 Εφαρµογές Αποδοτικότητα µίας κωδικοποίησης Μέσο µήκος συµβόλων κωδικοποίησης R Αποδοτικότητα: HX/R Μετάδοση πάνω από κανάλι X: είσοδος, Y: έξοδος Υπό συνθήκη εντροπία HXY Μέση εσωτερική πληροφορία εισόδου, γνωρίζοντας την έξοδο Εντροπία HX Μέση εσωτερική πληροφορία εισόδου, ανεξάρτητα από έξοδο Μέση αµοιβαία πληροφορία X;Y X;YHX-HXY ιαφορά εσωτερικής πληροφορίας πριν και µετά τη µετάδοση Μέση πληροφορία που µεταφέρει το κανάλι Τεχνολογία Πολυµέσων 07-6