1 Βασικές Έννοιες Θεωρίας Πληροφορίας

Transcript

1 1 Βασικές Έννοιες Θεωρίας Πληροφορίας Εντροπία τυχαίων μεταβλητών X, Y : H(X) = E [log Pr(x)] (1) H(X, Y ) = E [log Pr(x, y)] (2) H(X Y ) = E [log Pr(x y)] (3) Ιδιότητες Εντροπίας: Νόμος Bayes: Pr(y x) = Pr(x,y) Pr(x) Κανόνας Αλυσίδας (chain rule): H(Y X) = E [log Pr(y x)] (4) H(X, Y ) = H(X) + H(Y X) (5) Μείωση εντροπίας υπό συνθήκες: H(X, Y ) = H(Y ) + H(X Y ) (6) H(X Y ) H(X) (7) H(X Y, Z) H(X Y ) H(X) (8) Αμοιβαία Πληροφορία I(X; Y ) = E [ ] Pr(X, Y ) log Pr(X) Pr(Y ) (9) I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X) = H(X) + H(Y ) H(X, Y ) (10) Ιδιότητες Αμοιβαίας Πληροφορίας Θετικότητα: I(X; Y ) 0 ισότητα όταν Y = g(x) όπου g ντετερμινιστική 1-1 Κανόνας Αλυσίδας I(X; Y, Z) = I(X; Y ) + I(X; Z Y ) (11) Υπό συνθήκη αμοιβαία πληροφορία I(X; Y, Z) = I(X; Z) + I(X; Y Z) (12) I(X; Y Z) = H(X Z) H(X Y, Z) = H(Y Z) H(Y X, Z) (13) 1

2 Απόσταση Kullback-Leibler μεταξύ κατανομών p, q τυχαίας μεταβλητής X D(p q) = p(x) log p(x) dx 0 (14) q(x) Ιδιότητες δεν υπακούει στη συμμετρία D(p q) D(q p) I(X; Y ) = D(Pr(X, Y ) Pr(X) Pr(Y )) Τυχαίες μεταβλητές X, Y, Z οι οποίες σχηματίζουν αλυσίδα Markov X Y Z Pr(Z, X Y ) = Pr(Z Y ) Pr(X Y ) (15) Data processing inequality: I(X; Y ) I(X; Z) (16) 2 Τυπικές Ακολουθίες Ακολουθία x n με σύμβολα στο αλφάβητο X, (πχ δυαδικό αλφάβητο X = {0, 1}) Εμπειρική κατανομή ακολουθίας Παράδειγμα: x n = (1, 0, 0, 1, 0, 0, 1), n = 7 π(x x n ) = i : x i = x, x X (17) n π(0 x n ) = 4/7 π(1 x n ) = 3/7 (18) Ακολουθία X n = (X 1, X 2,, X n ) ανεξάρτητων τυχαίων μεταβλητών X i με την ίδια κατανομή p X (x) p X n(x n ) = Νόμος μεγάλων αριθμών: για αρκετό μεγάλο n p X (x i ) (19) π(x X n ) p X (x) (20) 2

3 Σύνολο τυπικών ακολουθιών: Νόμος μεγάλων αριθμών: T (n) ϵ (X) = {x n : π(x X n ) p X (x) < ϵp X (x), x X } (21) lim n Pr(XN Tϵ n (X)) 1 (22) Ποια η πιθανότητα εμφάνισης μιας τυπικής ακολουθίας x n ; ( ) n p X n(x n ) = π(x i X n ) nπ(x i X n) = exp n π(x i X n ) log π(x i X n ) (23) (1 ϵ)p X (x i ) π(x i X N ) (1 + ϵ)p X (x i ) (24) exp ( n(h(x) + δ(ϵ)) p X n(x n ) exp ( n(h(x) δ(ϵ)) (25) Για πολύ μεγάλα μήκη n η κατανομή μιας τυπικής ακολουθίας είναι σχεδόν ομοιόμορφη Πόσες τυπικές ακολουθίες υπάρχουν; (1 ϵ) exp (n(h(x) δ(ϵ))) T n ϵ (X) exp (n(h(x) + δ(ϵ)) (26) 3 Από κοινού τυπικές ακολουθίες Ακολουθίες x n και y n στα αλφάβητα X και Y αντίστοιχα Από κοινού εμπειρική κατανομή Παράδειγμα: π(x, y x n, y n ) = i : (x i, y i ) = (x, y), (x, y) X Y (27) n x n = ( ) ỹ n = ( ) π(0, 0 x n, ỹ n ) = 2/7, π(1, 0 x n, ỹ n ) = 1/7 π(0, 1 x n, ỹ n ) = 3/7, π(1, 1 x n, ỹ n ) = 1/7 (28) Ακολουθίες X n = (X 1, X 2,, X n ), Y n = (Y 1, Y 2,, Y n ) από κοινού ανεξάρτητων ζευγών τυχαίων μεταβλητών (X i, Y i ) με την ίδια κατανομή p X,Y (x, y) p X n,y n(xn, y n ) = p X,Y (x i, y i ) (29) 3

4 Από κοινού τυπικές ακολουθίες: T n ϵ (X, Y ) = {(x n, y n ) : π(x, y X n, Y n ) p X,Y (x, y) ϵp X,Y (x, y), (x, y) X Y} (30) Νόμος μεγάλων αριθμών: lim n Pr((Xn, Y n ) Tϵ n (X, Y )) 1 (31) Ιδιότητες από κοινού τυπικών ακολουθιών (x n, y n ) Tϵ n (X, Y ) x n ϵ-τυπική x n T n ϵ (X) και y n ϵ-τυπική y n T n ϵ (Y ) από κοινού πιθανότητα: exp ( n(h(x, Y ) + δ(ϵ))) p X n,y n(xn, y n ) exp ( n(h(x, Y ) δ(ϵ))) (32) υπό συνθήκη πιθανότητα exp ( n(h(y X) + δ(ϵ))) p Y n X n(yn x n ) exp ( n(h(y X) δ(ϵ))) (33) αριθμός από κοινού τυπικών ακολουθιών: (1 ϵ) exp (n(h(x, Y ) δ(ϵ))) T n ϵ (X, Y ) exp (n(h(x, Y ) + δ(ϵ))) (34) Υπό συνθήκη τυπικές ακολουθίες: για δοθείσα ακολουθία x n T n ϵ (Y x n ) = {y n : (x n, y n ) T n ϵ (X, Y )} (35) Νόμος μεγάλων αριθμών: για ϵ τυπική ακολουθία x n T n ϵ (X) και ϵ > ϵ lim n Pr((xn, Y n ) Tϵ n (Y x n )) 1 (36) Ιδιότητες υπό συνθήκη τυπικών ακολουθιών για κάθε x n X n Tϵ n (Y x n ) exp (n(h(y X) + δ(ϵ))) (37) αν x n Tϵ n (X) και ϵ > ϵ Tϵ n (Y x n ) (1 ϵ) exp (n(h(y X) δ(ϵ))) (38) 4

5 4 Achievability Bounds Στόχος: Για κάθε ρυθμό κώδικα R μικρότερο από τη χωρητικότητα του καναλιού C, υπάρχει ένας κώδικας με οσοδήποτε μικρή πιθανότητα σφάλματος Βασικό εργαλείο: αποκωδικοποίηση από κοινού τυπικών συνόλων Βήματα κωδικοποίησης Μετάδοση συνόλου μηνυμάτων M όπου M = Παραγωγή ενός τυχαίου κώδικα C Τυχαία και ανεξάρτητα κατασκευάζουμε κωδικές λέξεις x n (m) με την ίδια κατανομή p X n(x n ) = n p X(x i (m)) Πιθανότητα ενός κώδικα C; Pr(C) = m=1 μετάδοση μηνύματος m μέσω της κωδικής λέξης x n (m) p X (x i (m)) (39) Αποκωδικοποίηση: για τη ληφθείσα ακολουθία y n βρες το μοναδικό μήνυμα m για το οποίο (x n (m), y n ) T n ϵ (X, Y ) Αν υπάρχει παραπάνω από ένα μήνυμα, δήλωσε σφάλμα Μέση πιθανότητα σφάλματος ως προς όλους τους δυνατούς κώδικες που έχουν παραχθεί: P e = C Pr(C)P e (C) (40) Πιθανότητα σφάλματος P e (C) ενός κώδικα C P e (C) = 1 2 nr m=1 P e,m (C) (41) P e = 1 2 nr m=1 Υποθέτουμε ότι μεταδίδεται το μήνυμα m = 1 Σφάλματα αποκωδικοποίησης P e,1 (C): 1 το ζεύγος (x n (1), y n ) δεν είναι ϵ-τυπικό Pr(C)P e,m (C) (42) C E 1 = {x n (1) X n, y n Y n : (x n (1), y n ) / T n ϵ (X, Y )} (43) 2 υπάρχει ένα μήνυμα m 1 για το οποίο το ζεύγος (x n (m ), y n ) είναι ϵ-τυπικό E 2 = { m 1, x n (m) X n, y n Y n : (x n (m ), y n ) T n ϵ (X, Y ) } (44) 5

6 Φράγμα για την πιθανότητα σφάλματος P e,1 (C): Λόγω τυπικότητας (σχέση (31)) Φράγμα συνόλου: P e,1 (C) = Pr(E 1 E 2 ) Pr(E 1 ) + Pr(E 2 ) (45) Pr(E 2 ) m =2 Pr(E 1 ) ϵ 1 (46) Pr((x n (m ), y n ) T ϵ (X, Y )) (47) Προσοχή: οι ακολουθίες x n (m ) και y n είναι στατιστικά ανεξάρτητες Για στατιστικά ανεξάρτητες ακολουθίες x n (m) ϵ-τυπική και y n ϵ-τυπική Pr ((x n (m), y n ) Tϵ n (X, Y )) exp ( n(i(x; Y ) δ(ϵ))) (48) Από (38) (45) καταλήγουμε P e ϵ 1 + exp ( n(i(x; Y ) R δ(ϵ)) (49) 5 Converse Bounds Κάθε κώδικας C με οσοδήποτε μικρή πιθανότητα σφάλματος έχει ρυθμό R μικρότερο της χωρητικότητας του καναλιού Βασικό εργαλείο: Ανισότητα Fano Ανισότητα Fano: W τυχαία μεταβλητή μηνυμάτων στην είσοδο του καναλιού, W [1, M] Ŵ τυχαία μεταβλητή μηνυμάτων στην έξοδο του καναλιού Πιθανότητα σφάλματος P e = Pr(Ŵ W ) H(W Ŵ ) 1 + P e log M (50) 6

7 X n Y n W Encoder Channel Decoder Ŵ Υπόθεση: ομοιόμορφή κατανομή της τυχαίας μεταβλητής των μηνυμάτων nr = H(W ) Ανισότητα Fano + Data Processing inequality nr = H(W ) = H(W Ŵ ) + I(W ; Ŵ ) (51) nr 1 + P e log M + I(X n ; Y n ) 1 + nrp e + nc ή P e 1 C R 1 nr (52) 7