ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ Γ Κοντογιάννης Πέμπτη Μαΐου 7 Φυλλάδιο #3 Πρίληψη Προηγούμνου Μαθήματος Κανάλια πικοινωνίας μ θόρυβο και η χωρητικότητά τους Πώς πριγράφουμ ένα κανάλι πικοινωνίας; Τι θα πι «θόρυβος»; Πως ορίζουμ τη «χωρητικότητα»; Ι ΠΑΡΑΔΕΙΓΜΑΤΑ Δυαδικό κανάλι χωρίς θόρυβο Εδώ προφανώς έχουμ χωρητικότητα C = bit/χρήση (ή bit/trsasmissio) Γνικό κανάλι χωρίς θόρυβο 3 m Κι δώ προφανώς έχουμ χωρητικότητα C = log m bits/trasmissio 3 Κανάλι διαγραφής 3 m - E -
Εδώ μ πιθανότητα (-) έχουμ σωστή μτάδοση των δδομένων, και μ πιθανότητα έχουμ «σφάλμα» Το σημαντικό χαρακτηριστικό αυτού του καναλιού ίναι πως, όταν έχουμ σφάλμα πάντα το καταλαβαίνι ο παραλήπτης Έτσι, ένα ποσοστό (- ) του χρόνου στέλνουμ bit χωρίς θόρυβο και τον υπόλοιπο χρόνο δ στέλνουμ τίποτα Συνπώς, μακροπρόθσμα κατά μέσο όρο στέλνουμ (-) bits ανά χρήση του καναλιού και άρα έχουμ χωρητικότητα C = ( ) bits/trasmissio 4 Κανάλι γραφομηχανής / Α Β Γ / / / / / / Α Β Γ Ω / Ω Σ αυτήν την πρίπτωση, μπορούμ να χρησιμοποιήσουμ τα γράμματα ανά δύο, δηλαδή μόνο τα Α, Γ, Ε,, Ψ, ώστ να προκύψι ένα κανάλι χωρίς θόρυβο, μ αλφάβητο ισόδου που πριέχι μόνο στοιχία Άρα η χωρητικότητα C ίναι τουλάχιστον log bits/trasmissio Είναι ίση μ log, ή μπορούμ μ κάποιο πιο έξυπνο τρόπο να πτύχουμ νδχομένως κάτι καλύτρο; 5 Δυαδικό συμμτρικό κανάλι ή ΔΣΚ (Biary Symmetric Chael ή BSC) - - Εδώ η κατάσταση ίναι παρόμοια μ το κανάλι διαγραφής (έχουμ το ίδιο ποσοστό σφαλμάτων) αλλά όταν υπάρχι σφάλμα αυτό ΔΕΝ ίναι γνωστό στον παραλήπτη Άρα σ καμιά πρίπτωση δν μπορούμ να έχουμ πιο αξιόπιστη μτάδοση δδομένων απ ότι στο κανάλι διαγραφής, οπότ δώ η χωρητικότητα C δν ξπρνά τα (-) bits/trasmissio Αλλά μ τι ισούται ακριβώς; ΙΙ ΩΡΗΤΙΚΟΤΗΤΑ ΚΑΝΑΛΙΟ Ορισμός: Ένα κανάλι πικοινωνίας Ρ ίναι μια ομάδα δδομένων κατανομών Ρ(y όπου x A = αλφάβητο ισόδου και y A = αλφάβητο ξόδου X y
ρήση καναλιού: Από το κανάλι αποστέλλται μια ακολουθία συμβόλων x από το αλφάβητο ισόδου, σ ανξάρτητα trasmissios Δηλαδή ο αποστολέας (ή κωδικοποιητής) αποστέλλι τα δδομένα x, x, x3,k τα οποία ΔΕΝ ίναι ανξάρτητα και γνικά δν ίναι καν τυχαία, μ συνχίς ανξάρτητς χρήσις του καναλιού: Στην πρώτη χρήση η έξοδος του καναλιού ίναι η τυχαία μταβλητή Y η οποία έχι κατανομή Pr{ Y = y} = P( y x ) Παρομοίως, η δύτρη έξοδος του καναλιού ίναι το Y το οποίο έχι κατανομή Pr{ Y = y} = P( y x ) ανξάρτητα του x και του Y, Κτλ ωρητικότητα: Σ πολλαπλές χρήσις, πόσα bits/trasmissio μπορούμ να στίλουμ «χωρίς θόρυβο» ή μ μικρή πιθανότητα σφάλματος; Βασική ιδέα: Θέλουμ να διαλέξουμ τις ακολουθίς ισόδου x, x, x3, K, x έτσι ώστ οι (τυχαίς) ακολουθίς ξόδου Y, Y, Y3, K, Y να μην έχουν «μγάλη πικάλυψη», δηλαδή η πιθανότητα να προκύπτι η ίδια έξοδος από δύο διαφορτικές ισόδους να ίναι μικρή: A X A Y P ( y Έτσι, πιλέγουμ ένα codebook B A X τέτοιο ώστ αν πριορισθούμ στο B να έχουμ ένα «νέο κανάλι» που να «μοιάζι» κατά προσέγγιση μ το κανάλι γραφομηχανής! Δηλαδή, η πιθανότητα σφάλματος (η πιθανότητα να λάβουμ ένα Y και να μην γνωρίζουμ από ποιο έχι προκύψι), να ίναι μικρή x ΙΙΙ ΚΩΔΙΚΕΣ Το πρόβλημά μας λοιπόν συνίσταται στην πιλογή νός codebook τέτοιου ώστ να ικανοποιούνται οι ακόλουθς δύο αλληλοαντικρουόμνς προϋποθέσις: α) Το μέγθος B του codebook να ίναι «μγάλο» έτσι ώστ να έχουμ το μγαλύτρο δυνατό «αλφάβητο ισόδου» B
β) Η πιθανότητα σφάλματος να ίναι μικρή, δηλαδή το codebook να οδηγί σ μικρή πικάλυψη, πράμα το οποίο ίναι πιο πιθανό αν το B ίναι «μικρό» Άρα το ζητούμνο ίναι η πιλογή νός B που να μγιστοποιί το πλήθος των «μη συγχύσιμων» ακολουθιών Και το βασικό ρώτημα ίναι, πόσο μγάλο μπορί να ίναι το μέγθος του codebook, αν η πιθανότητα σφάλματος τίνι στο μηδέν; Σημιώνουμ πως ο ρυθμός μτάδοσης της πληροφορίας όταν χρησιμοποιούμ ένα R codebook μ B, ίναι: R log B log = R bits/trasmissio Άρα, διαισθητικά, η χωρητικότητα νός καναλιού ίναι το μέγιστο R > τέτοιο ώστ R να υπάρχουν codebooks B μ μέγθος B και πιθανότητα σφάλματος που να τίνι στο μηδέν για μγάλα Ορισμοί: ) Ένας κώδικας μ ρυθμό R > και μήκος (ή ένας (R,)-κώδικας) για ένα κανάλι P( y, απoτλίται από: R α) ένα codebook B A X μ B = R β) έναν κωδικοποιητή f :{,,, } B R γ) έναν αποκωδικοποιητή g : A Y {,,, } Όπως ίδαμ, ο ρυθμός μτάδοσης πληροφορίας νός (R,)-κώδικα ίναι R log = R bits/trasmissio Έχουμ λοιπόν: ) R f g {,,, } W x P( y Y X B ) W {,, όπου x B και y A Σημιώνουμ ότι το W (άρα και το ) δν ίναι τυχαία Y x R } ) Η μέγιστη πιθανότητα σφάλματος του κώδικα ίναι: ( ) λ = max Pr( W W W R i=,,, = i) 3) Η μέση πιθανότητα σφάλματος του κώδικα ίναι: R ( ) Pe = Pr( W W R i= W = i) 4) Για ένα κανάλι Ρ(y, το R > ίναι φικτός ρυθμός πικοινωνίας αν υπάρχι μια ακολουθία (R,)-κωδίκων τέτοιων ώστ ( ) λ, 5) Η χωρητικότητα του καναλιού ίναι ο μέγιστος φικτός ρυθμός πικοινωνίας
ΙΙΙ ΩΡΗΤΙΚΟΤΗΤΑ ΚΑΝΑΛΙΟ ΘΕΩΡΗΜΑ ΚΩΔΙΚΟΠΟΙΗΣΗΣ ΚΑΝΑΛΙΟ (Shao 948) Ένα οποιοδήποτ κανάλι Ρ(y έχι χωρητικότητα X ; Y ) bits/trasmissio ( όπου η λαχιστοποίηση γίνται μ βάση όλς τις δυνατές κατανομές ισόδου ( Πιο αναλυτικά, έχουμ: ( ) Για κάθ R < C, υπάρχι μια ακολουθία από (R,)-κώδικς μ () λ, ( ) ( ) Για κάθ ακολουθία (R,)-κωδίκων μ λ,, έχουμ R < C ΠΑΡΑΔΕΙΓΜΑΤΑ (αρχικά) ) Εδώ =, άρα έχουμ I ( X ; Y ) = H ( X ) H ( X Y ) = H ( X ) και πομένως C = max H ( X ) = bit/trasmissio και Ρ*~BERN(/ ) ( ) Παρομοίως κι δώ Y = X {,,, m}, οπότ X ; Y ) = max H ( X ) = log m bits/trasmissio και Ρ*~U{,,,m} ( ( 3) Έστω μια νέα δυαδική ΤΜ Σ η οποία πριγράφι το πότ έχουμ σφάλμα:, = Ε Σ =, Ε Παρατηρούμ ότι αν ~ΒERN() τότ P ( Σ = ) = P( Y = Ε) = P( Y = E X = ) P( X = ) + P( Y = E X = ) P( X = ) = P ( X = ) + P( X = ) = δηλαδή η Σ έχι κατανομή BERN() Επίσης παρατηρούμ ότι η Σ ίναι συνάρτηση της και συνπώς υπολογίζουμ I( X ; Y ) = H ( Y ) H ( Y X ) = H ( Y, Σ) P( X = ) H ( Y X = ) P( X = ) H ( Y X = ) = H ( Σ) + H ( Y Σ) h( ) ( ) h( ) = h( ) + P( Σ = ) H ( Y Σ = ) + P( Σ = ) H ( Y Σ = ) h( ) = ( ) H ( Y Σ = ) Εφόσον αυτό ισχύι για οποιοδήποτ για την κατανομή ισόδου, έχουμ X ; Y ) bits/trasmissio, (
αλλά αν ~BERN(/) τότ και η Σ= έχι κατανομή ΒERN(/), πομένως Η( Σ=)= Άρα σ αυτή την πρίπτωση I ( X ; Y ) = C = και P*~BERN(/ ) 4) Εδώ υπολογίζουμ απ υθίας X ; Y ) = max H ( Y ) H ( Y X ) = max H ( Y ) log 4 log = log { } μια που δδομένης της η έχι μόνο δύο ισοπίθανς νδχόμνς τιμές και άρα η ντροπία Η ( ) = Οπότ C log bits/trasmissio Αλλά αν πιλέξουμ ~U{Α,Β,,Ω} τότ και η έχι την ίδια κατανομή (δηλαδή την ομοιόμορφη), πομένως C = log bits/trasmissio και Ρ*~U{Α,Β,,Ω} 5) (ΣΔΚ) Παρομοίως κι δώ, X ; Y ) = max H ( Y ) H ( Y X ) = max H ( Y ) h( ) = h( ) { } μ P*~BERN(/) Τέλος συγκρίνουμ τη χωρητικότητα του ΔΣΚ μ το κανάλι διαγραφής μ την ίδια πιθανότητα σφάλματος: ωρητικότητα (bits/tras) Κανάλι Διαγραφής ΔΣΚ /