ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Γ. Κοντογιάννης Πέμπτη 8 Μαΐου 07 Φυλλάδιο #4 Λύσις στ ασκήσων #6. Θόρυβος od. Έστω ότι ένα κανάλι έχι αλφάβητο ισόδου και αλφάβητο ξόδου το {0}. Όπως στο προηγούμνο στ η έξοδος του καναλιού Υ ισούται μ την ίσοδο Χ σύν θόρυβο Ζ od δηλαδή Υ = Χ + Ζ od αλλά ο θόρυβος έχι κατανομή Pr Z 0 / 4 Pr Z / και Pr Z / 4. Υπολογίστ την χωρητικότητά του. Λύση: Το κανάλι αυτό ίναι ασθνώς συμμτρικό λέγξτ το γιατί άρα η χωρητικότητά του ίναι log Z log log 4 log log 4 log / 0.08496 4 4 bts/trassso.. Ενδιάμση πξργασία. Έστω ότι έχουμ ένα δυαδικό συμμτρικό κανάλι { y } μ πιθανότητα σφάλματος = ¼ και η έξοδός του ίναι η ίσοδος σ ένα κανάλι διαγραφής { z y} μ πιθανότητα σφάλματος δ = /. a. Υπολογίστ τη χωρητικότητα του συνολικού καναλιού από το Χ στο Ζ. b. Αν τώρα υποθέσουμ ότι μταξύ των δύο καναλιών έχουμ έναν βέλτιστο αποκωδικοποιητή για το πρώτο και μτά έναν βέλτιστο κωδικοποιητή για το δύτρο τότ ποια θα ίναι η χωρητικότητα του συνολικού καναλιού από το Χ στο Ζ c. Επαναλάβτ τα πιο πάνω για αυθαίρτς τιμές των παραμέτρων και δ. Λύση: a. O συνδυασμός των δύο καναλιών δίνι το παρακάτω κανάλι. Παρατηρούμ ότι η ντροπία του Χ δδομένου του Υ = ίναι η ίδια μ κίνη δδομένου ότι το Υ = 0. --δ 0 0 δ -δ -δ δ - --δ error
Για τον υπολογισμό της χωρητικότητας έχουμ a [0] a [0] a P [0] a [0] a [0] a [0] a [0] 0 0 P 0 0 0 Για τη μγιστοποίηση της παράστασης ως προς ορίζουμ f όπου. Για να μγιστοποιήσουμ την f λύνουμ τη σχέση f ' 0 απ την οποία προκύπτι = -δ/ δηλαδή / και λύνοντας ως προς βρίσκουμ = ½. Άρα η χωρητικότητα ισούται μ BS όπου η χωρητικότητα του καναλιού διαγραφής μ παράμτρο δ και BS η χωρητικότητα του δυαδικού συμμτρικού καναλιού μ παράμτρο. Για τις συγκκριμένς τιμές προκύπτι ότι = /*-/4 = 0.6667*0.887 = 0.58 bts/trassso. b. Σ χρήσις του ου καναλιού μπορούμ να στίλουμ BS = 0.887 bts/tras. και σ χρήσις του ου καναλιού μπορούμ να στίλουμ = / bts/tras. Άρα σ χρήσις του κάθ καναλιού μπορούμ να στίλουμ το λάχιστο αυτών των δύο δηλαδή 0.887 bts/tras. c. Το έχουμ ήδη κάνι πιο πάνω.
. Επξργασία ξόδου. Έχουμ ένα κανάλι μ χωρητικότητα a και ένας στατιστικός προτίνι να πξργαστούμ την P «έξοδο» του καναλιού πριν την αποκωδικοποίηση και αντί για το Υ να αποκωδικοποιήσουμ κάποιο ' f. Μ αυτή τη μέθοδο ισχυρίζται πως μπορί να αυξήσι τη χωρητικότητα του καναλιού. Αποδίξτ ότι κάνι λάθος. Λύση: Αν αντί για Υ χρησιμοποιήσουμ ως έξοδο του καναλιού κάποιο ' f τότ σχηματίζται η αλυσίδα Markov f πομένως από την ανισότητα πξργασίας δδομένων f. Συνπώς το μέγιστο: ' a ' a f a. P P 4. Ασύμμτρο Δυαδικό Κανάλι. Το κανάλι-ζ ίναι ένα δυαδικό κανάλι μ πιθανότητς P 0 0 και P 0 /. [Σχδιάστ το κανάλι σχηματικά και θα καταλάβτ από που προέρχται το όνομα Ζ.] Υπολογίστ την χωρητικότητά του και παρατηρήστ πως η βέλτιστη κατανομή ισόδου δν ίναι η ομοιόμορφη. P Λύση: Αν πάρουμ για ίσοδο μια Χ μ κατανομή BRN τότ: - Χ / / Για τη χωρητικότητα υπολογίζουμ ότι a a a a Για να μγιστοποιήσουμ την πιο πάνω έκφραση ορίζουμ τη συνάρτηση f log log η οποία έχι μέγιστο όταν f ' 0 ή τλικά όταν * έχουμ 5 δίξι ότι η f ίναι κοίλη συνάρτηση του. Άρα * και 5 5 τότ log 5 09 bts/trassso. 5. Κώδικας ag. Έστω ότι θέλουμ να μταδώσουμ τα δδομένα που παράγι μια πηγή ανξάρτητων δδομένων μ κατανομή BRN½ μέσω νός Δ.Σ.Κ. μ πιθανότητα σφάλματος = /8. Χρησιμοποιούμ τον κώδικα ag74 σ παναλαμβανόμνς χρήσις που ίδαμ στο μάθημα. Υ
a. Πόσς χρήσις του καναλιού απαιτούνται για την αποστολή k bts της πηγής b. Αν στίλουμ k = 4 bts ποια ίναι η πιθανότητα σφάλματος δηλαδή η πιθανότητα να αποκωδικοποιηθί τουλάχιστον ένα bt λάθος c. Επαναλάβτ το ρώτημα b. αλλά υποθέτοντας ότι αντί για k = 4 τώρα το k ίναι «μγάλο» δηλαδή το τίνι στο άπιρο. Βρίτ μια προσέγγιση για την πιθανότητα σφάλματος δηλαδή η πιθανότητα να αποκωδικοποιηθί τουλάχιστον ένα από τα k bts λάθος. Λύση: a. Σύμφωνα μ τον κώδικα ag74 στέλνουμ ένα codeword μήκους 7 για κάθ 4 bts πληροφορίας δηλαδή έχουμ 7 χρήσις του καναλιού για κάθ 4 bts πληροφορίας. Επομένως για να στίλουμ k bts χριαζόμαστ 7 k 4 χρήσις του καναλιού. 7 4 b. Σ 4 bts θα χρησιμοποιήσουμ το κανάλι 7 4 φορές πομένως η πιθανότητα σφάλματος ίναι P error P o errors 7 uses of cael P oe error 7 uses of cael 7 /8 7 7/87 /8 6 0 c. Σ k bts θα χρησιμοποιήσουμ το κανάλι Μ = 7 k 4 φορές όπου παρατηρούμ ότι το Μ τίνι στο άπιρο καθώς το. Εδώ η πιθανότητα σφάλματος λοιπόν ίναι την πιθανότητα να μην υπάρξι σφάλμα σ καμία από τις Μ 7άδς δηλαδή M P error 0 k. 6. Κανάλια ν σιρά. Έστω ένα κανάλι διαγραφής μ πιθανότητα σφάλματος το οποίο τοποθτίται ν σιρά μτά από κάποιο δδομένο κανάλι P P y το οποίο έχι αλφάβητο ισόδου Α = { } αλφάβητο ξόδου το ίδιο μ χωρητικότητα και * βέλτιστη κατανομή ισόδου την P. Δίτ το πιο κάτω σχήμα. a. Δίξτ ότι για οποιαδήποτ κατανομή ισόδου του Χ ικανοποιίται η σχέση. b. Δίξτ ότι μια αντίστοιχη σχέση ισχύι για την. c. Υπολογίστ τη χωρητικότητα του καναλιού από το Χ στο Υ.
- - - - P y Ψ Υ Λύση: α. Έστω Ε μια Beroull Τ.Μ. που παίρνι την τιμή αν ή αν Υ = Ε και την τιμή αν το Υ δν ισούται μ Ε. Παρατηρούμ ότι η παράμτρος της Υ δηλ. η πιθανότητα να ισούται μ ίναι. Τότ έχουμ:. 0 0 0 Pr Pr β. Παρομοίως. 0 0 Pr Pr γ. Αντικαθιστώντας τις πιο πάνω σχέσις στον ορισμό της χωρητικότητας:. ] a[ ] a[ ] a[ ' 7. Μταβαλλόμνα κανάλια. Έστω ότι έχουμ παναλαμβανόμνς ανξάρτητς χρήσις νός Δ.Σ.Κ. αλλά μ πιθανότητα σφάλματος η οποία αλλάζι από χρήση σ χρήση δηλαδή ίναι την πρώτη φορά ίναι τη δύτρη... ως την φορά όπου ίναι. Έστω η ίσοδος και η έξοδος του καναλιού τη χρονική στιγμή. Υπολογίστ το a P όπου το μέγιστο ίναι για όλς τις κατανομές P των δυαδικών strgs.
Λύση: Έστω η χωρητικότητα του καναλιού την φορά και έστω μια οποιαδήποτ κατανομή ισόδου P. Τότ έχουμ όπου η η σχέση ισχύι από τον ορισμό της αμοιβαίας πληροφορίας η δύτρη από τον κανόνα αλυσίδας η η γιατί η δέσμυση μιώνι την ντροπία η 4 η γιατί το ίναι δσμυμένα ανξάρτητο από τα δδομένου του γιατί η 5 η από τον ορισμό της αμοιβαίας πληροφορίας και η 6 η από τον ορισμό της χωρητικότητας. Άρα το ζητούμνο μέγιστο ίναι αλλά αν πιλέξουμ τα ανξ. Ber/ τότ ύκολα διαπιστώνουμ ότι υπάρχι ισότητα και στις δύο πιο πάνω ανισότητς άρα το μέγιστο ισούται μ. 8. Ένα κανάλι μ δύο ξόδους. Έστω ένα κανάλι } { y P το οποίο έχι ίσοδο την Χ αλλά δύο ξόδους τις οι οποίς ίναι δσμυμένα ανξάρτητς δδομένου του Χ και έχουν και οι δύο την κατανομή που προκύπτι από το κανάλι } { y P. a. Δίξτ πως για οποιαδήποτ κατανομή ισόδου έχουμ. b. Αποδίξτ πως η χωρητικότητα του καναλιού από το Χ στο ίναι το πολύ διπλάσια της χωρητικότητας του καναλιού από το Χ στο. Λύση: a. Έχουμ αφού Υ Υ ίναι ανξάρτητα δδομένου του Χ.
b. Για τη χωρητικότητα του νέου καναλιού έχουμ a a a a ' όπου a a η χωρητικότητα του αρχικού καναλιού.