Κεφάλαιο 2 Πληροφορία και εντροπία Άσκηση. Έστω αλφάβητο Α={0,} και δύο πηγές p και q. Έστω οτι p(0)=-r, p()=r, q(0)=-s και q()=s. Να υπολογιστούν οι σχετικές εντροπίες Η(Α,p/q) και Η(Α,q/p). Να γίνει εφαρµογή για α) r=s β) r=/2, s=/4. Η σχετική εντροπία δίνεται από τον τύπο p H( X, PX / QX) = plog 0 = q Άρα r r H( A, PA/ QA) = ( r) log + rlog s s s s H( A, QA/ PA) = ( s) log + slog r r α) r=s H( A, P / Q ) = H( A, Q / P ) = 0 A A A A β) r=/2, s=/4 2 2 2 log2 H( A, PA/ QA) = log + log = log + = 0.2075 bts 2 4 2 4 2 2 4 4 H( A, QA/ PA) = log + log = log + log = 0.887 bts 4 2 4 2 4 2 4 2 Ισχύει H(A,P A /Q A ) H(A,Q A /P A ) Άσκηση(Άλυτη άσκ., σελ.7 σηµειώσεων) 8 κύριοι αποφοίτησαν τη δεκαετία του 60. Γινόταν µια µόνο τελετή αποφοίτησης κάθε χρονιά. Πόση πληροφορία έχει το γεγονός ότι δύο τουλάχιστον από τους οκτώ κυρίους αποφοίτησαν την ίδια χρονιά; Γεγονός Α={ ύο τουλάχιστον από τους 8 αποφοίτησαν την ίδια χρονιά} Α ={Όλοι αποφοίτησαν διαφορετική χρονιά} P(A)=-P(A )=- ---- ;
Αριθµητής: σε 8 κελιά βάζω νούµερα -0. ειγµατοληψία χωρίς επαναθέση ( ιατάξεις)=0!/(0-8)!=84400 Παρονοµαστής: ειγµατοληψία µε επανάθεση ( ιατάξεις µετά επαναλήψεις)=0 8. Άρα Ρ(Α)=-84400/00.000.000=0.98856 Συνεπώς Ι(Α)=-log(p(A))=0.0079522 bts
Κεφάλαιο ίαυλος πληροφορίας Άσκηση. (Άλυτη) σελ.6 σηµειώσεων Να υπολογιστεί η χωρητικότητα του διαύλου πληροφορίας µε πίνακα διαύλου. P Y/ X p p 0 0 p p 0 0 = 0 0 p p 0 0 p p Ο δίαυλος είναι οµοιόµορφος δίαυλος Η χωρητικότητα υπολογίζεται ως εξής: M C = log( M) + p( y / x )log( p( y / x )) = log(4) + plog( p) + ( p)log( p) = 2 H ( p) Οµοιόµορφος ονοµάζεται ένας δίαυλος πληροφορίας όταν όλες οι γραµµές και όλες οι στήλες του πίνακα διαύλου προκύπτουν από αναδιάταξη των στοιχείων οποιασδήποτε γραµµής και στήλης αντίστοιχα. b Άσκηση 2. (Άλυτη) σελ.6 (σηµειώσεων). ίνεται ο πίνακας των συνδετικών πιθανοτήτων των συµβόλων εισόδου-εξόδου ενός υποθετικού διαύλου πληροφορίας. Να υπολογιστούν: η εντροπία εισόδου Η(Χ), η εντροπία εξόδου Η(Υ), ο πίνακας του διαύλου PΥ/Χ, η εντροπία διαύλου Η(Υ/Χ) και η εντροπία θορύβου Η(Χ/Υ). P XY 0.2 0 0. 0 = 0 0. 0.05 0 0. 0.05 0 0.2 Η εντροπία εισόδου Η(Χ) δίνεται από τον τύπο Συνεπώς πρέπει να υπολογιστούν οι πιθανότητες p(x ), p(x 2 ) και p(x ). 4 px ( ) = px (, y) = 0.2 + 0 + 0.+ 0 = 0. 4 px ( ) = px (, y) = 0 + 0.+ 0.05 + 0 = 0.5 2 2 4 px ( ) = px (, y) = 0.+ 0.05 + 0 + 0.2 = 0.5 H ( x) = p( x)log( p( x)) =
Άρα Hx ( ) = px ( )log( px ( )) = 0.log(0.) 0.5log(0.5) 0.5log(0.5) = = =.58 bts/symbol Οµοίως για την εντροπία εξόδου έχουµε Άρα py ( ) = px (, y) = 0.2 + 0 + 0. = 0. = py ( ) = px (, y) = 0 + 0.+ 0.05 = 0.5 2 2 = py ( ) = px (, y) = 0.+ 0.05 + 0 = 0.5 = py ( ) = px (, y) = 0+ 0+ 0.2= 0.2 4 4 = 4 Hy ( ) = py ( )log( py ( )) = 0.log(0.) 0.5log(0.5) 0.5log(0.5) 0.2 log(0.2) = =.926 bts/symbol Πίνακας του διαύλου P Υ/Χ Χρησιµοποιώ τον τύπο του Bayes py ( / x) = p( y, x ) p( x ) αριθµητής από πίνακα P xy και παρονοµαστή από έχω px ( ) = 0., px ( ) = 0.5, px ( ) = 0.5 2 py ( / x) = 0.2 / 0. = 0.66 py ( / x) = 0/0.= 0 2 py ( / x) = 0./0.= 0. py ( / x) = 0/0.= 0 4
Οµοίως για τον πίνακα διαύλου P Χ/Υ P Y / X 0.66 0 0. 0 = 0 0.857 0.4 0 0.285 0.4 0 0.57 Εντροπία διαύλου Η(Υ/Χ) 4 = Εντροπία θορύβου Η(Χ/Υ) ( ) HY ( / X) = px (, y)log py ( / x) = 0.965 4 4 px (, y) H( X / Y) = p( x, y)log ( p( x / y) ) = p( x, y)log = 0.620 = = py ( ) Άλλος τρόπος για τον υπολογισµό της εντροπίας θορύβου Η(Υ)=Η(Χ)-Η(Χ/Υ)+Η(Υ/Χ) Η(Χ/Υ)=Η(Χ)-Η(Y)+H(Y/X)=.58-.926+0.965 Η(Χ/Υ) = 0.620 Άσκηση Απρίλιος 2007. Να υπολογιστεί η χωρητικότητα διαύλου πληροφορίας µε πίνακα διαύλου p 0 p 0 p 0 p 0 PY/ X= 0 q 0 q 0 q 0 q Είναι ιδανικός δίαυλος ; Όχι, ο πίνακας διαύλου θα έπρεπε να είναι µοναδιαίος. Είναι δίαυλος χωρίς απώλειες; Όχι, σε κάθε στήλη του πίνακα διαύλου θα έπρεπε να έχουµε µόνο ένα στοιχείο. Είναι καθοριστικός δίαυλος ; Όχι, σε κάθε γραµµή του πίνακα διαύλου θα έπρεπε να έχουµε µόνο ένα στοιχείο (προφανώς ίσο µε ). Είναι οµοιόµορφος δίαυλος ; Όχι, η πρώτη γραµµή αποτελείται από τα στοιχεία p, -p, 0, 0 ενώ η τρίτη γραµµή αποτελείται από τα στοιχεία q, -q, 0, 0 ). Είναι συµµετρικός δυαδικός δίαυλος; Όχι, δεν είναι 2 2 Είναι δυαδικός δίαυλος εξάλειψης;
Όχι, δεν είναι 2. Τι κάνουµε; Τεχνική Muroga Βήµα : Συνθέτουµε το σύστηµα Ν γραµµικών εξισώσεων: py ( / x) A+ py ( / x) A+ + py ( / x) A = py ( / x)log( py ( / x)) 2 2 p( y / x ) A + p( y / x ) A + + p( y / x ) A = p( y / x )log( p( y / x )) 2 2 2 2 2 2 2 p( y / x ) A + p( y / x ) A + + p( y / x ) A = p( y / x )log( p( y / x )) 2 2 ηλαδή p A + 0 A + ( p) A + 0 A = plog( p) + ( p) log( p) 2 4 ( p) A + 0 A + p A + 0 A = plog( p) + ( p) log( p) 2 4 0 A + q A + 0 A + ( q) A = qlog( q) + ( q) log( q) 2 4 0 A + ( q) A + 0 A + q A = qlog( q) + ( q) log( q) 2 4 Από τις δύο πρώτες εξισώσεις έχουµε: + ( ) = log( ) + ( ) log( ) p A+ p A = p p + p p p A p A p p p p ( ) log( ) ( ) log( ) p A + ( p) A = ( p) A + p A (2p+ ) A = (2p+ ) A A = A p A + ( p) A = plog( p) + ( p) log( p) A = plog( p) + ( p) log( p) A = A = plog( p) + ( p) log( p) A2 = A4 = qlog( q) + ( q) log( q) Βήµα 2: Η χωρητικότητα του διαύλου δίνεται από τη σχέση: ηλαδή A C = log 2 =
C plog( p) + ( p)log( p) qlog( q) + ( q)log( q) plog( p) + ( p)log( p) qlog( q) + ( q)log( q) = log(2 + 2 + 2 + 2 ) = p p q q p p q q p p q q log( p ( p) q ( q) p ( p) q ( q) ) log(2 p ( p) 2 q ( q) ) + + + = + = ) = p p q log 2( p ( p) + q ( q) q p p q p log 2 log( ( ) ( ) ) + p p + q q = p p q q log( ( ) ( ) ) bts/symbol + p p + q q Επέκταση (δεν το ζητάει η άσκηση) Αν p=q τότε ο δίαυλος είναι οµοιόµορφος. P Y/ X p 0 p 0 p 0 p 0 = 0 p 0 p 0 p 0 p Και η χωρητικότητά του είναι M C = log( M) + p( y / x )log( p( y / x )) = log(4) + plog( p) + ( p)log( p) Επαληθεύεται από αυτό που βρήκαµε; p p p p p p + log( p ( p) + p ( p) ) = + log(2 p ( p) ) = p p p p + log(2) + log( p ( p) ) = 2 + log p + log( p) = 2 + plog p+ ( p)log( p) bts/symbol
Κεφάλαιο 4 Κωδικοποίηση πηγής Άσκηση (Άλυτη σελίδα 9). Είναι ο παρακάτω κώδικας µονοσήµαντος και γιατί; x :00 x 2 :000 x : x 4 :00 x 5 :000 x 6 :000 Εξετάζουµε αν κάποια κωδική λέξη είναι πρόθεµα κάποιας άλλης. Η x 2 (000) είναι πρόθεµα της x 5 (000) άρα ο κώδικας δεν είναι στιγµιαία αποκωδικοποιήσιµος (δεν ισχύει η προθεµατική ιδιότητα). Για να αποδείξουµε οτι είναι µονοσήµαντος πρέπει να δείξουµε οτι κάθε λέξη µπορεί να αναγνωριστεί µέσα σε οποιοδήποτε κωδικό µήνυµα. Για να αποδείξουµε οτι δεν είναι µονοσήµαντος πρέπει να δείξουµε ένα αντιπαράδειγµα δηλαδή ένα µήνυµα το οποίο δεν αποκωδικοποιείται µε µοναδικό τρόπο. Ο κώδικας της άσκησης δεν είναι µονοσήµαντος. Ο κώδικας 000 00 αποκωδικοποιείται µε δύο τρόπους x 5 x 4 000 00 x 2 x x x 000 00 Άσκηση 2 (άλυτη σελ.9). Υπάρχει δυαδικός στιγµιαία αποκωδικοποιήσιµος κώδικας µε κωδικές λέξεις µήκους {,4,,,2,}; Αν τα µήκη κωδικών λέξεων ικανοποιούν την ταυτοανισότητα του Kraft τότε εξασφαλίζεται η ύπαρξη στιγµιαία αποκωδικοποιήσιµου κώδικα µε τα συγκεκριµένα µήκη λέξεων. Έχουµε υαδικός Μ=2 l {,4,,,2,}, =,2,6(=)
l M 2 4 2 2 2 2 2 2 = 0 2 = + + + + + = 2 2 2 2 2 2 8+ + 2+ 2+ 4+ 2 9 + + + + + = = 4 4 4 4 4 4 2 2 2 2 2 2 6 6 εν ισχύει η ανισότητα του Kraft άρα δεν υπάρχει δυαδικός στιγµιαία αποκωδικοποιήσιµος κώδικας µε τα παραπάνω µήκη κωδικών λέξεων. Έστω ο δυαδικός κώδικας µε κωδικές λέξεις {0,0,00} και αντίστοιχα µήκη λέξεων {,2,}. Να εξετάσετε αν ισχύει η ανισότητα Kraft-McMllan και να εξετάσετε αν ο κώδικας είναι µονοσήµαντος ή/και στιγµιαία αποκωδικοποιήσιµος Ο παραπάνω δυαδικός κώδικας ικανοποιεί την ανισότητα Kraft- McMllan αφού 2 0 l 2 2 2 2 4+ 2+ 7 M = 2 + 2 + 2 = + + = = = 2 2 2 8 8 Παρόλα αυτά ο παραπάνω κώδικας δεν είναι ούτε µονοσήµαντος (και κατά συνέπεια) ούτε στιγµιαία αποκωδικοποιήσιµος. Αφού όµως ικανοποιείται η ανισότητα Kraft-McMllan γιατί ο κώδικας δεν είναι στιγµιαία αποκωδικοποιήσιµος; Το γεγονός του οτι η ανισότητα Kraft-McMllan ικανοποιείται έχει ως συνέπεια να µπορεί να κατασκευαστεί δυαδικός κώδικας µε µήκη λέξεων {,2,} και ο κώδικας αυτός να είναι µονοσήµαντος και στιγµιαία αποκωδικοποιήσιµος. εν σηµαίνει οτι κάθε κώδικας µε µήκη λέξεων {,2,} είναι µονοσήµαντος και στιγµιαία αποκωδικοποιήσιµος (όπως πχ ο {0,0,00}). Μπορεί όµως να κατασκευαστεί (για παράδειγµα ο κώδικας µε κωδικές λέξεις {,0,00})
Άσκηση 4 (άλυτη σελ.8). Θεωρούµε πηγή πληροφορίας µε αλφάβητο Χ={0,,2} και κατανοµή πιθανοτήτων P X ={0.7, 0.2, 0.}. Να υπολογιστεί το µέσο µήκος στιγµιαία αποκωδικοποιήσιµου κώδικα που κωδικοποιεί τα σύµβολα της πηγής (Χ,P X ). Ποιο το µέσο µήκος στιγµιαία αποκωδικοποιήσιµου δυαδικού κώδικα που κωδικοποιεί τα σύµβολα της δεύτερης επέκτασης (Χ 2,P X 2) της πηγής; Θεωρείστε ότι τα µήκη των κωδικών λέξεων προκύπτουν µε * εφαρµογή της σχέσης l = l = log M( p), Να συγκριθούν τα µέσα µήκη των δύο κωδίκων µε την εντροπία της πηγής. Αφού ο κώδικας είναι δυαδικός (Μ=2) τα µήκη των κωδικών λέξεων * δίνονται από τη σχέση l = l = log 2( p), x p l*=-log 2 (p ) l = -log 2 (p ) 0 0.7 0.546 0.2 2.29 2 0..29 4 Μέσο µήκος 0.7 + 0.2 + 0. 4 =.7 bts ανά σύµβολο πηγής. Για την περίπτωση της δεύτερης επέκτασης έχουµε x x p l*=-log2(p) l= -log2(p) p l 00 0.7 0.7=0.49.029 2 0.9800 0 0.7 0.2=0.4 2.865 0.4200 02 0.7 0.=0.07.865 4 0.2800 0 0.2 0.7=0.4 2.865 0.4200 0.2 0.2=0.04 4.649 5 0.2000 2 0.2 0.=0.02 5.649 6 0.200 20 0. 0.7=0.07.865 4 0.2800 2 0. 0.2=0.02 5.649 6 0.200 22 0. 0.=0.0 6.649 7 0.0700 Σύνολο 2.89 bts/δύο σύµβολα 2.89 bts ανά δύο σύµβολα πηγής. Άρα.4450 bts ανά σύµβολο πηγής. Εντροπία (Χ,P X ) H( X) = p log( p ) = 0.7 log(0.7) 0.2 log(0.2) 0.log(0.) =.568 =
Εντροπία (Χ 2,P X 2). Η(Χ n )=nh(x) άρα Η(Χ 2 )=2Η(Χ)=2.6 Παρατηρούµε οτι κωδικοποιώντας την επέκταση της πηγής το µέσο µήκος του κώδικα µειώθηκε από.7 σε.4450 bts ανά σύµβολο πηγής. Ποιο είναι το κάτω φράγµα του µέσου µήκους; Σύµφωνα µε το θεώρηµα Shannon είναι η Μ-αδική εντροπία της πηγής Η(Χ)/log(Μ) Η(Χ)/log(Μ)=.568/log(2)=.568 Άρα αν κωδικοποιούσαµε ανώτερες επεκτάσεις το µέσο µήκος θα προσέγγιζε την Μ-αδική εντροπία.568.(.7.445... κοντά στο.568) Άσκηση 5 (άλυτη σελ.8). Θεωρούµε µια πηγή πληροφορίας µε αλφάβητο Χ={a,b} και κατανοµή πιθανοτήτων Ρ Χ ={0.4,0.6}. Να βρεθούν τα όρια τιµών του µέσου µήκους ανά σύµβολο πηγής ενός τριαδικού στιγµιαία αποκωδικοποιήσιµου κώδικα που χρησιµοποιείται για την κωδικοποίηση της τρίτης επέκτασης της πηγής πληροφορίας. Τα όρια τιµών του µέσου µήκους ανά σύµβολο πηγής ενός τριαδικού στιγµιαία αποκωδικοποιήσιµου κώδικα που χρησιµοποιείται για την κωδικοποίηση της τρίτης επέκτασης της πηγής πληροφορίας δίνονται από τη σχέση (για n=, Μ=) Εύρεση εντροπίας = Άρα τα όρια είναι τα H( X) L H( X) + log( M ) n log( M) n H( X) = p log( p ) = 0.4 log(0.4) 0.6 log(0.6) = 0.97 H( X) 0.97 0.888 log( M ) = log() = H( X) 0.97 + = + =.27 log( M) n log()
Άσκηση (λυµένη σελ.9). Υπάρχει Μ-αδικός στιγµιαία αποκωδικοποιήσιµος κώδικας µε κωδικές λέξεις µήκους,2,...,n, ; Αν τα µήκη κωδικών λέξεων ικανοποιούν την ταυτοανισότητα του Kraft τότε εξασφαλίζεται η ύπαρξη στιγµιαία αποκωδικοποιήσιµου κώδικα µε τα συγκεκριµένα µήκη λέξεων. Έχουµε M = = Θα πρέπει = M M = = = M M M M M M M 2 M Σηµείωση Το είναι άθροισµα απείρων όρων γεωµετρικής προόδου µε ο = M όρο το α =/Μ και λόγο λ=/μ. Το άθροισµα απείρων όρων γεωµετρικής προόδου µε λ < συγκλίνει και δίνεται από τον τύπο α /(-λ) Με την χρήση αυτής της σχέσης µεταβήκαµε από τον 2 ο όρο στον ο στη πρώτη σχέση.