ΤΕΙ ΛΑΡΙΣΑΣ ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ

ΤΕΙ ΛΑΡΙΣΑΣ ΤΜΗΜΑ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Εισαγωγή στη Θεωρία Πληροφοριών Χρήστου Νικολαΐδη Συµπληρωµατικές Σηµειώσεις (*) & Ασκήσεις (*) Στις σηµειώσεις µου µε ηµεροµηνία Μάρτιος 23

Συµπληρωµατικές Σηµειώσεις στις ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Στις σηµειώσεις µου «Αρχές Τηλεπικοινωνιών» µε ηµεροµηνία Μάρτιος 23 αντικαταστήστε τις παραγράφους 4.3, 4.4 µε τις παρακάτω παραγράφους 4.3, 4.4, 4.5 και 4.6 Ολόκληρο το κείµενο των ανανεωµένων σηµειώσεων µε ηµεροµηνία «Νοέµβριος 24» υπάρχει στην ιστοσελίδα http://users.otenet.gr/~chrnikol 4.3 ΓΙΑΤΙ ΕΝ ΜΕΙΩΝΟΥΜΕ ΠΕΡΙΣΣΟΤΕΡΟ ΤΟ ΜΗΚΟΣ ΤΩΝ ΚΩ ΙΚΩΝ ΛΕΞΕΩΝ ΑΠΟΚΩ ΙΚΟΠΟΙΗΣΗ Στην παράγραφο 4. αφήσαµε ένα ερώτηµα αναπάντητο. Στη δεύτερη κωδικοποίηση αντιστοιχίσαµε κάποια γράµµατα µε ένα bit και κάποια άλλα µε 5 bits. εν µπορούµε να µειώσουµε περαιτέρω τα µήκη των δυαδικών λέξεων; Αν το πράξουµε, οι κώδικες που θα πάρουµε θα παρουσιάζουν προβλήµατα στην αποκωδικοποίηση. Η µείωση του µήκους των κωδικών λέξεων πρέπει να γίνει µε τέτοιο τρόπο ώστε να εξασφαλίζεται η δυνατότητα οµαλής αποκωδικοποίησης στην έξοδο του συστήµατός µας. Ας δούµε τα προβλήµατα της αποκωδικοποίησης µε κάποια παραδείγµατα. Γνωρίζουµε ότι οποιαδήποτε αντιστοίχιση συµβόλων µε δυαδικά bits αποτελεί κώδικα. ίνουµε λοιπόν τέσσερις κώδικες για τα σύµβολα Α,Β,Γ,.

ος 2 ος 3 ος 4 ος Α Β Γ Ο πρώτος κώδικας δεν είναι καλός διότι τα σύµβολα Β και Γ κωδικοποιούνται µε τον ίδιο τρόπο, οπότε στην αποκωδικοποίηση θα έχουµε πρόβληµα. εν είναι όπως λέµε ευκρινής. Ένας κώδικας θα λέγεται ευκρινής όταν διαφορετικά σύµβολα κωδικοποιούνται µε διαφορετικές κωδικές λέξεις. Στο δεύτερο κώδικα, αν και είναι ευκρινής, δεν είναι πάντοτε δυνατό να αναγνωρίζουµε τις κωδικές λέξεις σε µια ακολουθία κωδικών συµβόλων. Π.χ αν προσπαθήσουµε να αποκωδικοποιήσουµε το µήνυµα αυτό µπορεί να ερµηνευτεί είτε ως ΑΑΑ είτε ως ΑΓ είτε ως ΓΑ. εν ορίζεται λοιπόν µονοσήµαντα το αποτέλεσµα. Ένας ευκρινής κώδικας θα λέγεται µονοσήµαντος όταν κάθε ακολουθία συµβόλων αποκωδικοποιείται µε µοναδικό τρόπο. Ο τρίτος κώδικας είναι µεν µονοσήµαντος αλλά δεν είναι στιγµιαία αποκωδικοποιήσιµος διότι ορισµένες φορές για να αποκωδικοποιήσουµε µια λέξη πρέπει να ελέγξουµε και επόµενα ψηφία. Επιθυµία µας είναι η κάθε κωδική λέξη να αναγνωρίζεται αµέσως µόλις πάρουµε και το τελευταίο της ψηφίο. Π.χ. ας αποκωδικοποιήσουµε το µήνυµα : Φτάνοντας στο δεύτερο ψηφίο δεν είµαστε ακόµη σίγουροι αν το αντιστοιχεί στο Α η αν ακολουθεί κι άλλο ώστε να πάρουµε Β ή ακόµη και Γ. Στο τρίτο ψηφίο επίσης δεν είµαστε σίγουροι αν έχουµε το σύµβολο Β ή ακολουθεί κι άλλο ώστε να πάρουµε το Γ. Μόλις εξετάσουµε και το τέταρτο κωδικό σύµβολο και δούµε θα καταλάβουµε ότι η προηγούµενη τριάδα αντιστοιχούσε στο Β. Η αποκωδικοποίηση βέβαια είναι εφικτή, το µήνυµα που αναζητάµε είναι ΒΑΓ, αλλά δεν έχουµε στιγµιαία αποκωδικοποίηση. Ένας κώδικας θα λέγεται προθεµατικός (ή και στιγµιαία αποκωδικοποιήσιµος) αν καµία κωδική λέξη δεν αποτελεί πρόθεµα σε κάποια άλλη. 2

Με την ιδιότητα του προθεµατικού κώδικα εξασφαλίζουµε ότι µόλις λάβουµε και το τελευταίο ψηφίο µιας κωδικής λέξης τελειώνει η αποκωδικοποίηση της λέξης αυτής. Ο 3 ος κώδικας λοιπόν δεν είναι προθεµατικός. Ο τέταρτος κώδικας είναι προθεµατικός διότι καµία κωδική λέξη δεν αποτελεί πρόθεµα σε κάποια άλλη. Το ψηφίο µας προειδοποιεί κάθε φορά ότι η κωδική λέξη τερµατίζει και η κωδικοποίηση γίνεται στιγµιαία. Έτσι εύκολα και στιγµιαία διαπιστώνουµε πχ ότι = ΒΑ ΓΒΑ Τέλος, να σηµειώσουµε ότι Η κωδικοποίηση Shannon-Fano µας δίνει πάντοτε προθεµατικό κώδικα. 4.4 ΥΑ ΙΚΑ ΕΝΤΡΑ ΓΙΑ ΠΡΟΘΕΜΑΤΙΚΟΥΣ ΚΩ ΙΚΕΣ Ένας προθεµατικός κώδικας µπορεί να αναπαρασταθεί µε ένα δυαδικό δέντρο ως εξής. Ξεκινάµε από έναν κόµβο στην κορυφή και σχηµατίζουµε δύο κλάδους Στον αριστερό κλάδο τοποθετούµε ενώ στον δεξιό. Συνεχίζουµε µε τον ίδιο τρόπο από κάθε νέο κόµβο µέχρι να συµπληρωθούν διαδροµές που αντιστοιχούν σε κωδικές λέξεις. Έτσι στον κώδικα Shannon-Fano του παραδείγµατος 3 Σ Α Ρ Ι Ε Κ Λ αντιστοιχεί το παρακάτω δυαδικό δέντρο 3

Σ Α Ρ Ι Ε Κ Λ Στους τελικούς κόµβους (λέγονται και φύλλα του δέντρου) τοποθετούµε τα αντίστοιχα σύµβολα του κώδικα. Αντίστροφα, από ένα δυαδικό δέντρο µπορούµε να πάρουµε έναν δυαδικό κώδικα και µάλιστα το δέντρο µας εξασφαλίζει ότι ο κώδικας είναι προθεµατικός. Γιατί; ΠΑΡΑ ΕΙΓΜΑ 4. Ποιος κώδικας αντιστοιχεί στο παρακάτω δέντρο; Α Β Γ Ε Ζ Η Θ Αν τοποθετήσουµε σε κάθε αριστερό κλάδο και σε κάθε δεξιό, το σύµβολο Ε για παράδειγµα αντιστοιχεί στην κωδική λέξη. ουλεύοντας παρόµοια για όλα τα σύµβολα θα πάρουµε τον κώδικα Shannon-Fano της παραγράφου 4.2. 4

4.5 ΤΟ ΠΡΩΤΟ ΘΕΩΡΗΜΑ ΤΟΥ SHANNON (ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ ΘΟΡΥΒΟ) Βλέπουµε λοιπόν ότι το ζητούµενο στην κωδικοποίηση σε ένα αθόρυβο περιβάλλον είναι να βελτιώσουµε το µέσο µήκος των κωδικών λέξεων ώστε να έχουµε ταχύτερη µεταφορά δεδοµένων. Στα παραδείγµατα της παραγράφου 4.2 είδαµε ότι καθώς βελτιώνεται το µέσο µήκος των κωδικών λέξεων πλησιάζει την τιµή της εντροπίας της πηγής. Στο Παράδειγµα, µε τον αλγόριθµο Shannon-Fano πετύχαµε ακριβώς την τιµή της εντροπίας. Στο παράδειγµα 2 την πλησιάσαµε αρκετά. Χαρακτηριστικό είναι και το πρόβληµα αυτού του κεφαλαίου όπου η εντροπία της πηγής είναι H 2.7 ενώ βρίσκουµε τρεις κώδικες µε µέσο µήκος κωδικών λέξεων 3, 2.3 και 2.2 bits/σύµβολο αντίστοιχα. Μέχρι ποιο σηµείο µπορούµε να συµπιέσουµε τα δεδοµένα µας ώστε να µεταδίδονται ταχύτερα; Η εντροπία παίζει πράγµατι καθοριστικό ρόλο προς την αναζήτηση ενός καλύτερου κώδικα; Την απάντηση στα ερωτήµατα αυτά τη δίνει ο Shannon. Προηγουµένως θα εξηγήσουµε το σκεπτικό του θεωρήµατος µε ένα απλό παράδειγµα. Έστω η πηγή Α που περιγράφεται από τον πίνακα a b c,7,2, Η εντροπία της πηγής είναι H.57 bits/σύµβολο. Με τον αλγόριθµο Shannon-Fano παίρνουµε τον κώδικα σύµβολο κωδική λέξη a b c µε µέσο µήκος κωδικών λέξεων.7 +.2 2 +. 2 =.3 bits/σύµβολο Είναι φανερό πως δεν µπορούµε να συµπιέσουµε περισσότερο τις κωδικές λέξεις των συµβόλων a, b, c. Μπορούµε όµως να σκεφτούµε ως εξής. Ένα µήνυµα που έχει για παράδειγµα τη µορφή 5

abccbabb µπορεί να θεωρηθεί αντί για ακολουθία 8 συµβόλων, ως ακολουθία των «διπλών» συµβόλων ab, cc, ba, bb. Aν θεωρήσουµε λοιπόν την δεύτερη επέκταση της πηγής έχουµε 9 (διπλά) σύµβολα πηγής aa ab ac ba bb bc ca cb cc,49,4,7,4,4,2,7,2, και κάθε µήνυµα µπορεί να γραφεί ως συνδυασµός αυτών των νέων συµβόλων. Οι αντίστοιχες πιθανότητες προκύπτουν από τον αρχικό πίνακα πιθανοτήτων (θυµίζω πχ ότι p(ab)=p(a)p(b)=(.7)(.2)=.4). Ο αλγόριθµος Shannon-Fano τώρα δίνει σύµβολο Πιθαν. κωδική λέξη aa,49 ab,4 ba,4 ac,7 ca,7 bb,4 bc,2 cb,2 cc, Η εντροπία της νέας πηγής είναι Η(Α 2 )=2Η(Α)=2,34 bits/«διπλό»-σύµβολο ενώ το νέο µέσο µήκος κωδικών λέξεων είναι.49 +.4 3 +.4 3 +.7 4 +.7 4 +.4 4 +.2 5 +.2 6 +. 6 = 2,33 bits/«διπλό»-σύµβολο Ουσιαστικά το νέο µέσο µήκος κωδικών λέξεων είναι 2,33 2 =.65 bits/σύµβολο 6

Συνοψίζοντας έχουµε Εντροπία πηγής Η=.57 Μέσο µήκος κωδικών λέξεων αρχικού κώδικα.3 Μέσο µήκος κωδικών λέξεων νέου κώδικα (επέκταση).65 Το νέο µέσο µήκος λοιπόν είναι ακόµη µικρότερο και πλησιάζει ακόµη περισσότερο στην αρχική εντροπία Η(Α). Εφαρµόζοντας λοιπόν κωδικοποίηση στην επέκταση της πηγής πετυχαίνουµε µεγαλύτερη συµπίεση δεδοµένων. Ο Shannon απέδειξε το εξής: ΘΕΩΡΗΜΑ (Περιγραφή). Έστω µια πηγή Α (µε m σύµβολα) και εντροπία Η(Α). Επεκτείνοντας κατάλληλα την πηγή, µπορούµε να βρούµε έναν δυαδικό κώδικα µε το µέσο µήκος των κωδικών λέξεων να συµπιέζεται όσο επιθυµούµε µέχρι το κατώτατο όριο που είναι η εντροπία της πηγής Η(Α). Γενικότερα, αν χρησιµοποιήσουµε αλφάβητο κωδικοποίησης µε k σύµβολα (αντί για το δυαδικό όπου k=2), το κατώτατο όριο της συµπίεσης είναι H ( A) log 2 k bits/σύµβολο Υπάρχει όµως ένα αντίτιµο στην αναζήτηση του καλύτερου κώδικα ) Η διαδικασία κωδικοποίησης είναι δύσκολη 2) Αυξάνεται ο χρόνος κωδικοποίησης και αποκωδικοποίησης Ο Shannon µας επιτρέπει να είµαστε αισιόδοξοι και να αναζητούµε ολοένα και καλύτερους κώδικες. Η αισιοδοξία που πηγάζει από το θεώρηµα αυτό αποτέλεσε κίνητρο και έδωσε ώθηση στη θεωρία των Κωδίκων και κατ επέκταση στις τηλεπικοινωνίες. Το δυσάρεστο είναι ότι η απόδειξη του Shannon δεν είναι κατασκευαστική, µας εξασφαλίζει δηλαδή ότι υπάρχουν καλύτεροι κώδικες αλλά δεν µας παρέχει τη µέθοδο για να τους βρούµε. 4.6 ΚΩ ΙΚΑΣ HUFFMAN Θα παρουσιάσουµε έναν ακόµη αλγόριθµο κατασκευής κώδικα, τον αλγόριθµο Huffman, που βασίζεται στην αναπαράσταση του δυαδικού δέντρου που περιγράψαµε νωρίτερα. Ο αλγόριθµος αυτό είναι πιο αποτελεσµατικός από τον αλγόριθµο Shannon-Fano. 7

ίνεται µια πηγή ( A, Π) µε A = a, a, K, a } και Π = p p K p ]. Για ευκολία { 2 n [ 2 n υποθέτουµε ότι τα σύµβολα βρίσκονται σε φθίνουσα σειρά πιθανοτήτων (αν όχι τα διατάσσουµε). Κατασκευάζουµε ένα δυαδικό δέντρο ακολουθώντας τα εξής βήµατα:. Τοποθετούµε τα σύµβολα σε µια σειρά κόµβων σηµειώνοντας επάνω τις αντίστοιχες πιθανότητες p a p 2 a 2 p n a n 2. Από τα δύο τελευταία σύµβολα x και y (µε τις µικρότερες πιθανότητες), σχηµατίζουµε έναν νέο κόµβο όπως φαίνεται παρακάτω, σηµειώνοντας επάνω το άθροισµα των δύο πιθανοτήτων p(x)+p(y) x y 3. ιατάσσουµε ξανά µε φθίνουσα σειρά πιθανοτήτων τα σύµβολα που προκύπτουν (όπου στη θέση των δυο παλιών είναι σαν να έχουµε ένα µόνο νέο σύµβολο) και πηγαινουµε στο βήµα 2, µέχρι να καταλήξουµε σε έναν κόµβο (την κορυφή του δέντρου). Στο τέλος σχηµατίζουµε τον προθεµατικό κώδικα που αντιστοιχεί στο δέντρο που κατασκευάσαµε. Σηµείωση: Η τοποθέτηση σε φθίνουσα σειρά δεν είναι απαραίτητη. Σηµασία έχει να ενώνουµε κάθε φορά τα δύο σύµβολα µε τη µικρότερη πιθανότητα. Έτσι, ανάλογα µε τη σειρά που τοποθετούµε κάθε φορά τα σύµβολα, µπορεί να προκύψουν διαφορετικά δέντρα, άρα και διαφορετικοί κώδικες αλλά θα όλοι θα έχουν την ίδια απόδοση. Στη βιβλιογραφία συνήθως δεν συναντάµε την τοποθέτηση σε φθίνουσα σειρά, ωστόσο εδώ την προτιµούµε για µια πιο «τακτοποιηµένη» κατασκευή του δέντρου. Ας γίνουµε πιο σαφείς µε ένα παράδειγµα. 8

ΠΑΡΑ ΕΙΓΜΑ 5. Θεωρούµε την πηγή του παραδείγµατος 3: Α E Ι Κ Λ Ρ Σ,2,,2,,5,3,3 Θα βρούµε έναν κατάλληλο δυαδικό κώδικα σε περιβάλλον χωρίς θόρυβο µε τον αλγόριθµο Huffman. Αρχικά.3.2.3.2...5 Σ Α Ρ Ι Ε Κ Λ Ενώνουµε τα δύο τελευταία σύµβολα Κ και Λ σε ένα, το οποίο θα έχει πιθανότητα.5 και άρα θα τοποθετηθεί τρίτο στη σειρά.3.2.5.3.2. Σ Α Ρ Ι Ε Κ Συνεχίζουµε µε τον ίδιο τρόπο Λ.3.22.2.5.3 Σ Α Ρ Ι Ε Κ Λ µετά.3.28.22.2 Σ Α Ρ Ι Ε µετά Κ Λ.42.3 Σ.28 Α Ρ Ι Ε Κ Λ 9

µετά.58.42 Σ Α Ρ Ι Ε και τελικά Κ Λ. Σ Α Ρ Ι Ε Κ Λ Αν τοποθετήσουµε σε κάθε αριστερό κλάδο και σε κάθε δεξιό λαµβάνουµε Σ Κ Λ Ρ Ι Ε Α Ο κώδικας αυτός είναι µεν διαφορετικός από τον κώδικα που βρήκαµε στο παράδειγµα 3, ωστόσο εµφανίζονται τα ίδια µήκη κωδικών λέξεων στα αντίστοιχα σύµβολα, µε αποτέλεσµα να έχουµε την ίδια απόδοση. Σε άλλες περιπτώσεις ο αλγόριθµος Huffman δίνει καλύτερη απόδοση. Γενικά ο αλγόριθµος Huffman δίνει την καλύτερη δυνατή απόδοση.

Ασκήσεις στις ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Στις σηµειώσεις µου «Αρχές Τηλεπικοινωνιών» µε ηµεροµηνία Μάρτιος 23 αντικαταστήστε τις παραγράφους των ασκήσεων µε τις παρακάτω παραγράφους

ΚΕΦΑΛΑΙΟ ΑΣΚΗΣΕΙΣ - ΠΡΟΒΛΗΜΑΤΑ. Έστω ότι στο παράδειγµα του χωριού Α η συχνότητα των τεσσάρων µηνυµάτων στη διάρκεια µιας χρονιάς είναι 2 ηµέρες, ηµέρες, 5 ηµέρες και 5 ηµέρες αντίστοιχα. Ποιος είναι ο συνολικός χρόνος αναµονής για τη λήψη µηνυµάτων κατά τη διάρκεια µιας χρονιάς για καθεµιά από τις δύο κωδικοποιήσεις που περιγράφονται; Πόση διάρκεια έχει κατά µέσο όρο ένα µήνυµα σε κάθε κωδικοποίηση; Τι συµπέρασµα βγάζετε; 2. Έστω ότι στο παράδειγµα του χωριού Β επαναλαµβάνεται το ίδιο µήνυµα 7 φορές. Μέχρι πόσες φορές µπορεί να µεταδοθεί λανθασµένα το µήνυµα χωρίς ωστόσο να βγει λάθος τελικό συµπέρασµα; 3. Έστω ότι ένας µετεωρολογικός σταθµός (δηλ. η πηγή) στέλνει τη θερµοκρασία της ατµόσφαιρας στο κέντρο (δηλ. στο δέκτη) σε ακέραιες τιµές, από -2 µέχρι +43. Ποιο είναι το αλφάβητο της πηγής; Αν στέλνεται το µήνυµα µε δυαδικές κωδικές λέξεις σταθερού µήκους, ποιο πρέπει να είναι (τουλάχιστον) το µήκος αυτό; Πώς θα µπορούσαµε να βελτιώσουµε τον κώδικά µας αν ο σταθµός βρισκόταν στην Κρήτη; 4. Κωδικοποιήστε τις λέξεις «ΤΕΝΤΑ» και «ΒΥΘΟΣ» σύµφωνα µε τον κώδικα Morse. Που οφείλεται η διαφορά στο µήκος των κωδικών λέξεων που βρήκατε; 5. Ποια είναι η δυαδική κωδική αναπαράσταση του µηνύµατος «ΚΑΛΟΣ» σύµφωνα µε τον Extended ASCII κώδικα του πίνακα ; Κατά την αποθήκευση του µηνύµατος αυτού σε µια δισκέτα αλλοιώνεται το 24 ο bit της δυαδικής σειράς. Ποια λέξη θα αποθηκευτεί στη δισκέτα; Τι συµπέρασµα βγάζετε για την απόδοση του κώδικα ASCII σε περιβάλλον µε θόρυβο; 2

ΚΕΦΑΛΑΙΟ 2 ΑΣΚΗΣΕΙΣ - ΠΡΟΒΛΗΜΑΤΑ. Ποιο είναι το πληροφοριακό περιεχόµενο (αυτοπληροφορία) που αντιστοιχεί α) στην ένδειξη ενός νοµίσµατος β) σε κάθε εποχή του χρόνου γ) στη νικήτρια στήλη του ΛΟΤΤΟ δ) στον αριθµό κυκλοφορίας ΥΗΒ5224. (θυµίζω ότι χρησιµοποιούνται µόνο τα 4 γράµµατα που υπάρχουν και στο λατινικό αλφάβητο, ενώ οι αριθµοί ξεκινούν από το ) Ποιο από τα δύο τελευταία γεγονότα περιέχει περισσότερη πληροφορία; 2. Ποιο είναι το πληροφοριακό περιεχόµενο που συνοδεύει την ένδειξη ενός ζαριού; Αν όλες οι ενδείξεις αποτελούν το αλφάβητο της πηγής µας, ποια είναι η εντροπία της πηγής; (δίνεται log 2 3. 58 ) 3. Έστω ότι τα σύµβολα Α,B,C,D εκπέµπονται από µία πηγή µε πιθανότητες, 2, 3 και α) Να δειχθεί ότι η εντροπία της πηγής είναι ίση µε 4 αντίστοιχα. 3 log 2 5 log 2 3 bits/σύµβολο. β) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και ποια είναι αυτή η µέγιστη τιµή; 4. Πηγή πληροφορίας έχει αλφάβητο Α= {a,b,c} και κατανοµή πιθανοτήτων Π(A)=[.3.5 x]. Να υπολογιστεί το πληροφοριακό περιεχόµενο κάθε συµβόλου και η εντροπία της πηγής. Πότε θα είχαµε τη µέγιστη δυνατή εντροπία; 5. Μια πηγή εκπέµπει 6 σύµβολα µε τις παρακάτω πιθανότητες Α Β Γ Ε Ζ /2 /4 /8 /6 /32 /32 α) Επιβεβαιώστε ότι έχουµε πράγµατι κατανοµή πιθανοτήτων β) Ποια είναι η εντροπία της πηγής; 3

γ) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και ποια είναι αυτή η µέγιστη τιµή; δ) Η κατανοµή στο ερώτηµα γ) δίνει µεγαλύτερη η µικρότερη αβεβαιότητα για την πηγή; 6. Έστω ( A, Π) µια πηγή µε αλφάβητο A = { a, b, c, d}. Να βρεθεί η εντροπία όταν α) τα σύµβολα εκπέµπονται µε ίση πιθανότητα, δηλαδή Π = [ ] 4 4 4 4 β) Π = [ ] γ) Π = [ ] 2 4 8 8 2 2 23 δ) Π = [ ] ε) Π = [ ] 24 24 στ) τι συµπέρασµα βγάζετε σε σχέση µε τη βεβαιότητα του συστήµατος; 7. Έστω πηγή πληροφορίας (A,Π(A)) µε A = a, a } και Π(A) = [..9]. { 2 Άλλη πηγή πληροφορίας µε αλφάβητο B = b, b, } σχετίζεται µε την πρώτη µέσω των υπο συνθήκη πιθανοτήτων { 2 b3 p b / a ).2 p b / a ). 3 p b / a ). 5 ( = ( 2 = ( 3 = p b / a ). p b / a ). 7 p b / a ). 2 ( 2 = ( 2 2 = ( 3 2 = Να υπολογιστούν α) οι πιθανότητες p(b ), p(b 2 ), p(b 3 ) β) όλες οι πιθανότητες p(a i b j ) γ) οι τιµές εντροπίας: H(A), H(B), H(AB), H(A/B), H(B/A). Παρατηρήστε αν ελαττώνεται η εντροπία των δύο πηγών όταν γνωρίζουµε τη γειτονική πηγή. 8. Έστω πηγή πληροφορίας (A,Π(A)) µε Α={,} και Π(Α) = [ 4 3 ]. Να 4 βρεθεί η επέκταση Α 3 και να υπολογιστεί η εντροπία της. (δίνεται log 2 3. 58 ) 9. Έστω πηγή πληροφορίας (A,Π(A)) µε Α={a,b,c} και Π(Α) = [ α) Να βρεθεί η επέκταση Α 2 4 2 ]. 4 β) Να υπολογιστούν αναλυτικά οι τιµές της εντροπίας Η(Α) και Η(Α 2 ) και να επιβεβαιώσετε ότι Η(Α 2 )=2Η(Α) 4

ΚΕΦΑΛΑΙΟ 3 ΑΣΚΗΣΕΙΣ - ΠΡΟΒΛΗΜΑΤΑ. ίνεται συµµετρικό δυαδικό κανάλι πληροφορίας µε αλφάβητο εισόδου και εξόδου Α=Β={,}. Στην είσοδο, τα σύµβολα και εκπέµπονται µε πιθανότητες και 3 2 αντίστοιχα. Η πιθανότητα σφάλµατος είναι 3 q =. α) Να σχεδιάσετε το διάγραµµα του καναλιού β) Να υπολογιστούν οι πίνακες Π (A), Π ( B / A), Π (B), Π ( A, B) γ) Ποια είναι η πιθανότητα να λάβουµε στην έξοδο; δ) Ποια είναι η πιθανότητα να σταλεί και να ληφθεί ; ε) Ποια είναι η πιθανότητα αν σταλεί να ληφθεί ; 2. ίνεται σύστηµα επικοινωνίας µε πηγή εισόδου και εξόδου A=B={a,b,c,d}. α) Έστω ότι τα σύµβολα a,b,c,d εκπέµπονται από την πηγή εισόδου µε πιθανότητες /2, /4, /8 και x αντίστοιχα. Να βρεθεί η τιµή του x και η εντροπία της πηγής Α. β) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και ποια είναι αυτή η µέγιστη τιµή; Πότε η εντροπία γίνεται ; γ) Έστω ότι το c και το d µεταδίδονται πάντοτε αξιόπιστα µέσα από το κανάλι του συστήµατος, ενώ υπάρχει µια πιθανότητα % να µετατραπεί εσφαλµένα το a σε b όπως και το b σε a. Να βρείτε τον πίνακα Π(Β/Α) και να σχεδιάσετε το διάγραµµα του καναλιού. δ) Να υπολογίσετε τον πίνακα Π(Β) και την πιθανότητα να λάβουµε b στην έξοδο. 3. ίνεται ένα σύστηµα τηλεπικοινωνιών µε πηγή εισόδου Α={,} και πηγή εξόδου Β={a,b,c}. Η πιθανότητα εκποµπής του είναι τριπλάσια από αυτή του. Το λαµβάνεται στην έξοδο πότε ως a και πότε ως b µε ίσες πιθανότητες ενώ το πότε ως b και πότε ως c επίσης µε ίσες πιθανότητες. α) Να βρεθεί ο πίνακας Π(Α) και η εντροπία της πηγής Α β) Να βρεθεί ο πίνακας του καναλιού Π(Β/Α) και να σχεδιάσετε το διάγραµµα του καναλιού 5

γ) Να βρεθεί η πιθανότητα λήψης του συµβόλου c στη έξοδο. δ) Να βρεθεί ο πίνακας Π(Α,Β) και η πιθανότητα να συµβεί εκποµπή του και λήψη του b. [ ίνεται log 2 3. 59 ] 4. Σε ένα σύστηµα τηλεπικοινωνιών η πηγή εισόδου Α εκπέµπει τα σύµβολα a, b, c ενώ στην έξοδο λαµβάνονται τα σύµβολα και. Τα σύµβολα a και b εκπέµπονται στην είσοδο µε την ίδια συχνότητα εµφάνισης ενώ το c µε διπλάσια (από αυτή του a ή του b). Το a λαµβάνεται στην έξοδο πάντοτε ως, το c πάντοτε ως, ενώ το b πότε ως και πότε ως µε ίσες πιθανότητες. α) Να βρεθεί ο πίνακας Π(Α) και η εντροπία της πηγής Α β) Να βρεθεί ο πίνακας Π(Β/Α) και να σχεδιάσετε το διάγραµµα του καναλιού γ) Να βρεθούν οι πιθανότητες λήψης των συµβόλων και στη έξοδο. δ) Να βρεθεί ο πίνακας Π(Α,Β) και η πιθανότητα να συµβεί ταυτόχρονα εκποµπή του b και λήψη του. 5. Aν Α={α,α 2 } και Β={b,b 2 }, επιβεβαιώστε ότι α) ( A) Π( B / A) = Π( B) Π β) Π ( A) Π( B / A) = Π( A, B) D 6. Σε ένα σύστηµα επικοινωνίας µε πηγή εισόδου Α={x,x 2,x 3,x 4,x 5 } και πηγή εξόδου Β={y,y 2,y 3,y 4 } δίνεται.25. Π( Α, Β) =.3.5..5.5. α) Να βρείτε του πίνακες Π(Α) και Π(Β) β) Αφού υπολογίσετε τις πιθανότητες p ( y / x) σχηµατίστε τον πίνακα Π(Β/Α) και το διάγραµµα του καναλιού γ) να υπολογίσετε τις διάφορες τιµές εντροπίας του συστήµατος 7. ίνεται κανάλι πληροφορίας µε Π(Β/Α) = / 2 / 2 / 4 3/ 4 α) Να σχεδιάσετε το διάγραµµα του καναλιού β) Να υπολογιστούν οι πιθανότητες p b 4 / a ), p a 3 / b ), p b 5 / a ), p a 2 / b ). ( 3 ( 4 ( 2 ( 5 6

Τι συµπέρασµα βγάζετε για τις πιθανότητες p ( a / b) ; (όπου a σύµβολο εισόδου και b σύµβολο εξόδου) γ) Να υπολογίσετε τη χωρητικότητά του καναλιού. 8. ίνεται κανάλι πληροφορίας µε Π(Β/Α) = α) Να σχεδιάσετε το διάγραµµα του καναλιού β) Να υπολογίσετε τη χωρητικότητά του. 9. ίνεται το δυαδικό συµµετρικό κανάλι (BSC) µε πιθανότητα σφάλµατος q. Έστω ότι η πηγή εισόδου εκπέµπει µε πιθανότητες Π=[p -p] (άρα Η(Α)=h(p) όπου h η συνάρτηση του Shannon) α) Υπολογίστε τους πίνακες Π(Β/Α), Π(Β), Π(Α,Β) β) είξτε ότι Η(ΑΒ)=h(p)+h(q) γ) Ποια είναι η µέγιστη τιµή της εντροπίας Η(Β) και για ποια τιµή του p επιτυγχάνεται; δ) είξτε ότι η διαπληροφορία είναι Ι(Α,Β)=Η(Β)-h(q) ε) Καταλήξτε στο συµπέρασµα ότι η χωρητικότητα του καναλιού είναι C=-h(q). Ποια είναι η χωρητικότητα του δυαδικού συµµετρικού καναλιού αν η πιθανότητα σφάλµατος είναι α) q=.5 β ) q = /4 γ) q=3/4. Σχολιάστε τα αποτελέσµατα. [ ίνεται 3. 59 log 2 ]. ίνεται το κανάλι πληροφορίας µε Α={,}, Β={,*,} και διάγραµµα.9.. *.9 7

To κανάλι αυτό λέγεται κανάλι απόσβεσης, καθώς σε κάποιες περιπτώσεις το σήµα χάνεται και δεν γνωρίζουµε τι έχει διαβιβαστεί. Θεωρούµε ότι τότε λαµβάνουµε το σύµβολο *. Έστω ότι η πηγή εισόδου Α εκπέµπει µε πιθανότητες Π(Α)=[p -p] (άρα Η(Α)=h(p) όπου h η συνάρτηση του Shannon) α) Υπολογίστε τους πίνακες Π(Β/Α), Π(Β), Π(Α,Β) β) είξτε ότι Η(ΑΒ)=h(p)+h(.) και Η(Β)=.9h(p) + h(.) γ) είξτε ότι η διαπληροφορία είναι I(A,B)=.9h(p) δ) Καταλήξτε στο συµπέρασµα ότι η χωρητικότητα του καναλιού είναι C=.9 bits/σύµβολο [Σηµείωση: Γενικά, αν η πιθανότητα απόσβεσης είναι q η χωρητικότητα είναι C= (-q) bits/σύµβολο ] 2. ίνεται το κανάλι πληροφορίας µε m σύµβολα εισόδου και εξόδου και πίνακα m Π( B / A) = m M m m m M m O L m m M m Το κανάλι αυτό λέγεται ανεξάρτητο (independent channel). Να δείξετε ότι η χωρητικότητα αυτού του καναλιού είναι C=, δηλαδή ότι δεν υπάρχει µεταφορά πληροφορίας. Αφού σχεδιάσετε το διάγραµµα του καναλιού αυτού για m=3, σχολιάστε το για να δικαιολογήσετε το αποτέλεσµα. L L 8

ΚΕΦΑΛΑΙΟ 4 ΑΣΚΗΣΕΙΣ - ΠΡΟΒΛΗΜΑΤΑ. Μια πηγή εκπέµπει 5 σύµβολα Α,Β,Γ,,Ε µε τις παρακάτω πιθανότητες Α Β Γ Ε,5,5,5,4,5 α) Ποια είναι η εντροπία της πηγής; (δίνεται log 2.5 = -2.74 και log 2.4 = -.32) β) ώστε µια δυαδική κωδικοποίηση µε σταθερό µήκος κωδικών λέξεων. γ) Βρείτε µια καλύτερη κωδικοποίηση µε τον αλγόριθµο Shannon-Fano. δ) Συγκρίνετε την απόδοση των δύο κωδίκων µε την εντροπία της πηγής. ε) Υπάρχουν και καλύτερες κωδικοποιήσεις. Εξετάστε την απόδοση του κώδικα Α Β Γ Ε στ) Εξηγήστε γιατί οι παραπάνω κώδικες είναι στιγµιαία αποκωδικοποιήσιµοι. 2. ίνονται οι κώδικες Εξετάστε αν είναι ευκρινείς, µονοσήµαντοι ή προθεµατικοί (στιγµιαία αποκωδικοποιήσιµοι) ος 2 ος 3 ος Α Β Γ Ε 3. ίνεται η πηγή εισόδου m n o p q r s t,,2,2,5,2,3,3,8 9

α) Να κατασκευάσετε έναν block κώδικα (δηλ. όλες οι κωδικές λέξεις να έχουν το ίδιο µήκος) µε το µικρότερο δυνατό µήκος. Ποια είναι η απόδοσή του; β) Να βρείτε έναν καταλληλότερο δυαδικό κώδικα από τον block κώδικα του α) µε τον αλγόριθµο Shannon-Fano. γ) Με τον κώδικα Shannon-Fano που βρήκατε, να αποκωδικοποιήσετε το µήνυµα Πόσα bits θα χρειαζόµασταν για το ίδιο µήνυµα µε τον κώδικα του ερωτήµατος α); Πετυχαίνουµε συµπίεση; Σχολιάστε το αποτέλεσµα. δ) Να υπολογιστεί το µέσο µήκος του κώδικα. Πόσα bits θα καταλάµβανε κατά µέσο όρο ένα κείµενο χαρακτήρων µε block κώδικα και πόσα µε τον κώδικα Shannon-Fano που κατασκευάσατε; ε) Εξηγήστε γιατί η εντροπία της πηγής Α είναι µικρότερη από 3 bits/σύµβολο. 4. ίνεται η πηγή A={a,b,c} µε αντίστοιχες πιθανότητες x, και 8. 8 α) Να υπολογίσετε το x και την εντροπία της πηγής Α. Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή Α και ποια είναι αυτή η µέγιστη τιµή; [δίνεται log 2 3 =. 58 ] β) Να βρείτε κατάλληλο δυαδικό κώδικα µε τον αλγόριθµο Shannon-Fano και να µετρήσετε την απόδοσή του (µέσο µήκος κωδικών λέξεων). γ) Αφού βρείτε την επέκταση Α 2 και υπολογίσετε τις πιθανότητες των νέων συµβόλων, εφαρµόστε τον αλγόριθµο Shannon Fano για σύµβολα της πηγής Α 2. δ) Μετρήστε την απόδοση του νέου κώδικα (σε bits/διπλό_σύµβολο και τελικά σε bits/σύµβολο) ε) είξτε πως πετυχαίνουµε συµπίεση δεδοµένων κωδικοποιώντας και µε τους δύο κώδικες το µήνυµα aabaacaa Συγκρίνετε το µέσο µήκος των δύο κωδίκων. Τι πετυχαίνουµε; Μέχρι ποιο σηµείο µπορεί να βελτιωθεί η απόδοση αυτή; (Σχολιάστε σε σχέση µε το πρώτο θεώρηµα του Shannon) 5. Μια πηγή A εκπέµπει 2 σύµβολα a,b µε πιθανότητες 3 και 4 α) Υπολογίστε την εντροπία της πηγής (δίνεται ότι log 2 3, 58 ) αντίστοιχα. 4 β) Εφαρµόστε τον αλγόριθµο Shannon-Fano για τα σύµβολα της πηγής Α, της επέκτασης Α 2 και της επέκτασης Α 3. Βελτιώνεται η απόδοση; 2

γ) Προσπαθήστε να βρείτε έναν καλύτερο κώδικα για την επέκταση Α 3 τροποποιώντας ελαφρώς µόνο το πρώτο βήµα του αλγορίθµου Shannon-Fano και υπολογίστε την απόδοσή του. 6. Για να σταλεί µια ασπρόµαυρη φωτογραφία από έναν δορυφόρο αναλύεται σε,, pixels (κουκίδες) όπου κάθε pixel είναι είτε άσπρο (Α) είναι µαύρο (Μ). Αρχικά χρησιµοποιείται η κωδικοποίηση Πηγή Κώδικας Α Μ Ωστόσο, παρατηρείται γενικά ότι στις φωτογραφίες µόνο το / των pixels είναι µαύρα. Χρησιµοποιήστε την πληροφορία αυτή και α) βρείτε την τρίτη επέκταση X 3 της πηγής X={Α,Μ} µε τις αντίστοιχες πιθανότητες εµφάνισης για τα 8 νέα σύµβολα πηγής που προκύπτουν. x (για ευκολία στη συνέχεια, εκφράστε όλες τις πιθανότητες στη µορφή ) β) βρείτε έναν αποδοτικότερο κώδικα εφαρµόζοντας τον αλγόριθµο Shannon-Fano στην πηγή X 3. γ) δείξτε πως πετυχαίνουµε συµπίεση δεδοµένων στην ακολουθία των pixels Α Α Α Α Α Μ Α Α Α δ) συγκρίνετε τις αποδόσεις των δύο κωδίκων (µέσος µήκος ανά pixel) ε) Μέχρι ποια τιµή µπορεί να φτάσει η βελτίωση της απόδοσης σύµφωνα µε το πρώτο Θεώρηµα Shannon; (δίνεται log 2 9 = 3. 7 και log 2 = 3. 322 ) 7. Προσπαθήστε να κατασκευάσετε δυαδικά δέντρα για τους τρεις κώδικες της άσκησης 2. Μπορείτε σε κάθε περίπτωση; Σχολιάστε. 8. Να βρεθεί ο κώδικας Huffman για την πηγή της άσκησης και να υπολογιστεί το µέσο µήκος του. 9. Να βρεθεί ο κώδικας Huffman για την πηγή της άσκησης 3 και να υπολογιστεί το µέσο µήκος του.. Να βρεθεί ο κώδικας Huffman για την πηγή Α, την δεύτερη επέκταση Α 2 και τη τρίτη επέκταση Α 3 της άσκησης 5. Βελτιώνεται η απόδοση; 2

ΚΕΦΑΛΑΙΟ 5 ΑΣΚΗΣΕΙΣ - ΠΡΟΒΛΗΜΑΤΑ. ίνεται ο κώδικας α) Πόσα σφάλµατα ανιχνεύει (µε σιγουριά); β) Πόσα σφάλµατα διορθώνει (µε σιγουριά); γ) Ποιος είναι ο ρυθµός του κώδικα; δ) Πόσα ψηφία αποτελούν πραγµατική πληροφορία και πόσα πλεονάζουσα; 2. Σε ένα τηλεπικοινωνιακό σύστηµα µε συµµετρικό δυαδικό κανάλι (BSC) και πιθανότητα σφάλµατος q=. χρησιµοποιούνται οι κωδικοποιήσεις: ΜΗΝΥΜΑ ΚΩ ΙΚΑΣ ΚΩ ΙΚΑΣ 2 Α Β Γ ενώ η αποκωδικοποίηση γίνεται προς την πλησιέστερη κωδική λέξη. Έστω ότι στέλνεται το µήνυµα Α. α) Να δείξετε σε έναν πίνακα όλες τις πιθανές λήψεις και αντίστοιχες αποκωδικοποιήσεις µε τον κώδικα. β) Ποια είναι η πιθανότητα σφάλµατος στη µετάδοση του Α µε τον κώδικα ; γ) Να δείξετε σε έναν πίνακα όλες τις πιθανές λήψεις και αντίστοιχες αποκωδικοποιήσεις µε τον κώδικα 2, εάν συµβούν µέχρι και 2 σφάλµατα δ) Εάν συµβούν 3 σφάλµατα µε τον κώδικα 2 µπορεί να γίνει διόρθωση; ε) Ποια είναι η πιθανότητα σφάλµατος στη µετάδοση του Α µε τον κώδικα 2; στ) Εάν σταλεί ένα µήνυµα, bits, πόσα λάθη αναµένονται ανάλογα µε τον κώδικα που χρησιµοποιούµε; Σχολιάστε το αποτέλεσµα. 22

3. ίνεται ο κώδικας Είναι κατάλληλος σε περιβάλλον µε θόρυβο; ικαιολογήστε την απάντησή σας. Προσθέστε ένα bit ελέγχου ισοτιµίας και πείτε σε τι εξυπηρετεί. 4. Να βρεθεί ο γραµµικός κώδικας µε πίνακα ελέγχου ισοτιµίας Η=[Α Ι], όπου A = Ποιο είναι το µήκος, η διάσταση, ο ρυθµός και η ελάχιστη απόσταση του κώδικα; Μπορεί να ανιχνεύσει σφάλµατα; Μπορεί να διορθώσει σφάλµατα; 5. Να βρεθεί ο γραµµικός κώδικας που προκύπτει από τον πίνακα ελέγχου ισοτιµίας H =. Ποιο είναι το µήκος, η διάσταση, ο ρυθµός και η ελάχιστη απόσταση του κώδικα; Πόσα σφάλµατα µπορεί να διορθώσει; 6. Να βρείτε τον γραµµικό κώδικα που προκύπτει από τον x3 πίνακα Α = ( ) αφού πρώτα βρείτε τον πίνακα ελέγχου ισοτιµίας, τη γεννήτρια, το µήκος, τη διάσταση και το ρυθµό του κώδικα. 7. είξτε ότι ο επαναληπτικός κώδικας µήκους n είναι γραµµικός αφού βρείτε τον πίνακα ελέγχου ισοτιµίας του και τη γεννήτριά του. 23

8. Στην έξοδο ενός τηλεπικοινωνιακού συστήµατος που χρησιµοποιεί τον κώδικα Hamming Η(3) λαµβάνουµε την ακολουθία ιαπιστώστε αν έχουν συµβεί σφάλµατα κατά τη µετάδοση και διορθώστε το µήνυµα. 9. Ο κώδικας Hamming H(4) έχει µήκος n=5. Ποιος είναι ο πίνακας ελέγχου ισοτιµίας του; Πόσες κωδικές λέξεις περιέχει; Πόσα σφάλµατα µπορεί να διορθώσει; Έστω ότι λαµβάνουµε στην έξοδο τα µηνύµατα: ιαπιστώστε αν έχει συµβεί σφάλµα κατά τη µετάδοση. Πως θα αποκωδικοποιηθούν τα µηνύµατα; 24

ΣΥΝΤΟΜΕΣ ΑΠΑΝΤΗΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ Τις αναλυτικές λύσεις µπορείτε να τις βρείτε στην ιστοσελίδα http://users.otenet.gr/~chrnikol ΚΕΦΑΛΑΙΟ. η: 365 λεπτά, άρα λεπτά κατά µέσο όρο 2η: 23 λεπτά, άρα 6,3 λεπτά κατά µέσο όρο 2. Μέχρι 3 φορές. 3. Α={-2,-9,-8,..., 42, 43} (64 σύµβολα), µήκος = 6 4. Η λέξη ΒΥΘΟΣ αντιστοιχεί σε περισσότερα κωδικά σύµβολα διότι περιέχει πιο σπάνια γράµµατα του αλφαβήτου απ ότι η λέξη ΤΕΝΤΑ 5. Αποτέλεσµα = «ΚΑΚΟΣ» ΚΕΦΑΛΑΙΟ 2. α) bit, β) 2 bits γ) 23,74 bits δ) 24.55 bits 2. log 2 6 = 2. 58 bits 3. Μέγιστη εντροπία = 2 bits/σύµβολο 4. Μέγιστη εντροπία = log 2 3 bits/σύµβολο 5. α) άθροισµα πιθ/των=, β) 3/6 bits/σύµβολο γ) 2 bits/σύµβολο δ) µεγαλύτερη αβεβαιότητα 6. α) 2 bits/σύµβολο, β).75 bits/σύµβολο, γ) bit/σύµβολο, δ) περίπου. bits/σύµβολο ε) 7. α).,.66,.23 25

β) p(a i,b j ) b b 2 b 3 α.2.3.5 α 2.9.63.8 γ) Η(Α)=.47 bits/σύµβολο Η(Β)=.23 bits/σύµβολο Η(ΑΒ)=.66 bits/σύµβολο Η(Α/Β)= Η(ΑΒ) - Η(Β) =.43 bits/σύµβολο Η(Β/Α)= Η(ΑΒ) - Η(Α) =.9 bits/σύµβολο 8. Η τρίτη επέκταση έχει 8 σύµβολα και εντροπία 2.43 bits/σύµβολο 9. Η δεύτερη επέκταση έχει 9 σύµβολα και εντροπία 3 bits/σύµβολο ΚΕΦΑΛΑΙΟ 3. γ) δ) 3 ε) 3 2. α) Η=.75 bits/σύµβολο β) Η max = 2 bits/σύµβολο δ) πιθ/τα = /4 3. α) Π(Α) = [/4 3/4], Η(Α) =.8 bits/σύµβολο γ) 3/8 δ) /8 4. α) Π(Α) = [/4 /4 /2 ] Η(Α) =.5 bits/σύµβολο γ) 3/8 και 5/8 αντίστοιχα δ) /8 5. Υπόδειξη: Π ) = p( b / a ) p ( a2 Π ( B / A) = p( b / a2 ) (A [ a ) p( )] p( b p( b 2 2 / a ) / a ) 2 6. α) Π(Α)= [.25.4.5.5.5] Π(Β)=[.35.35.2.] β) / 4 Π( B / A) = 3/ 4 / 3 2 / 3 / 3 2 / 3 26

γ) Η(Α)= 2.66 bits/σύµβολο Η(Β)=.857 bits/σύµβολο Η(ΑΒ)=2.666 bits/σύµβολο Η(Β/Α) = Η(ΑΒ)-Η(Α) =.6 bits/σύµβολο Η(Α/Β) = Η(ΑΒ)-Η(Β) =.89 bits/σύµβολο 7. β) p b 4 / a ) = /4 και p b 5 / a ) = p a 3 / b ) = p a 2 / b ) = ( 3 ( 2 Γενικά, p ( a / b) είναι είτε είτε γ) C=2 bits/σύµβολο ( 4 ( 5 8. C= bit/σύµβολο 9. Θεωρητική. γ) max Η(Β)= για p=/2 (και q /2). α) C= β) και γ) C=.9 bits/σύµβολο. α) Π(Β)= [.9..9( p) ] p και Π(Α,Β)=.9 p 2. Θεωρητική. µεταξύ άλλων πρέπει να βρεθούν τα εξής: p m p2 Π (B) = [ L ] Π ( A, B) = m m m m M pm m ( B) = log m H (AB) = log 2 m + H ( A) H 2 p m p2 m M pm m.p.( p).9( p) L L O L p m p 2 m M p m m ΚΕΦΑΛΑΙΟ 4. Η εντροπία είναι H 2,7. Ο κώδικας Shannon-Fano είναι Α Β Γ Ε 27

Οι τρεις κώδικες έχουν µέσο µήκος 3 bits/σύµβολο, 2.3 bits/σύµβολο, 2.2 bits/σύµβολο αντίστοιχα 2. ος : ευκρινής, όχι µονοσήµαντος. 2 ος : ευκρινής, µονοσήµαντος, όχι προθεµατικός 3 ος : ευκρινής, µονοσήµαντος, προθεµατικός 3. α) µηκος = 3 bits β) m n o p q r s t γ) sosto, πετυχαίνουµε συµπίεση δ) Ένα κείµενο χαρακτήρων θα καταλάµβανε κατά µέσο όρο µε τον block κώδικα 3 bits ενώ µε τον κώδικα Shannon-Fαno 272 bits ε) Την µέγιστη εντροπία θα την είχαµε αν τα οκτώ σύµβολα ήταν ισοπίθανα. Αυτή θα ήταν Η=ln8=3 bits/σύµβολο. Άρα η εντροπία της πηγής Α είναι µικρότερη από 3bits/σύµβολο 4. α) H (A) =.65 bits/σύµβολο, H max = β) Μέσο µήκος =.25 bits/σύµβολο.58 bits/σύµβολο γ) Ο αλγόριθµος Shannon-Fano για την δεύτερη επέκταση είναι aa ab ac ba ca bb bc cb cc 28

δ) 2.56 bits/διπλό σύµβ =.78 bits/σύµβολο ε) Το µήνυµα κωδικοποιείται ως εξής: ος κώδικας: aabaacaa = 2ος κώδικας: aa ba ac aa = ( bits) (8 bits) 5. α) Η(Α) =.8 bits/σύµβολο β) ίνουµε τον κώδικα Shannon-Fano µόνο για την τρίτη επέκταση aaa aab aba baa abb bab bba bbb Οι αντίστοιχες αποδόσεις των τριών κωδίκων (µέσα µήκη) είναι bit/σύµβολο,.68 bits/διπλό σύµβολο=.84 bits/σύµβολο 2.59 bits/τριπλό σύµβολο=.86 bits/σύµβολο γ) Καλύτερος κώδικας: aaa aab aba baa abb bab bba bbb µε µέσο µήκος = 2.47 bits/τριπλό σύµβολο=.82 bits/σύµβολο 6. β) Ο κώδικας Shannon-Fano που προκύπτει είναι ΑΑΑ ΑΑΜ ΑΜΑ ΜΑΑ ΑΜΜ ΜΑΜ ΜΜΑ ΜΜΜ γ) Αρχικός κώδικας Shannon-Fano δ) bit/pixel και,532 bits/pixel ε) Η απόδοση µπορεί να µειωθεί µέχρι.469 bits/pixel 29

7. Μόνο στον τρίτο κώδικα. Β Α Γ Ε 8. Ο κώδικας Huffman είναι Α Β Γ Ε µε µέσο µήκος 2.2 bits/σύµβολο. 9. Ο κώδικας Huffman είναι m n o p q r s t µε µέσο µήκος 2.72 bits/σύµβολο.. Ο τρεις κώδικες Huffman είναι a b aa ab ba bb Οι αποδόσεις των τριών κωδίκων είναι aaa aab aba abb baa bab bba bbb. bit/σύµβολο,.84 bits/σύµβολο,.82 bits/σύµβολο. 3

ΚΕΦΑΛΑΙΟ 5. α) µέχρι 2 β) µέχρι γ) /3 δ) 2 ψηφία και 4 ψηφία 2. α) Κάθε λήψη,,, αποκωδικοποιείται ως έχει. β) Η πιθανότητα σφάλµατος είναι.2=2%. γ) Ενδεικτικά µερικά παραδείγµατα: αν ληφθεί αποκωδικοποιείται αν ληφθεί αποκωδικοποιείται αν ληφθεί αποκωδικοποιείται δ) όχι ε) Η πιθανότητα σφάλµατος είναι.6 =,6%. στ) 2 bits µε τον πρώτο και 6 bits µε τον δεύτερο κώδικα. 3. Όχι, δεν είναι κατάλληλος σε περιβάλλον µε θόρυβο. Προσθέτουµε ένα bit ελέγχου ισοτιµίας: 4. Ο κώδικας είναι: ιάσταση: k=2, µήκος: n=4, ρυθµός: R=/2, ελάχιστη απόσταση: d=2 Μπορεί να ανιχνεύσει µέχρι και σφάλµα. εν διορθώνει κανένα. 5. Ο κώδικας είναι: ιάσταση: k=2, µήκος: n=5, ρυθµός: R=2/5, ελάχιστη απόσταση: d=3 ιορθώνει ένα σφάλµα. 3

32 6. ) = ( H, = G, ιάσταση: k=3, µήκος: n=4, ρυθµός: R=3/4, Ο κώδικας είναι: 7. Προκύπτει από τον (n-)x πίνακα = M A 8. Το µήνυµα αποκωδικοποιείται ως (σηµειώνονται οι διορθώσεις) 9. Είναι: = H Περιέχει 248 κωδικές λέξεις. ιορθώνει ένα σφάλµα. Το πρώτο µήνυµα είναι σωστό και αποκωδικοποιείται ως έχει. Το δεύτερο µήνυµα αποκωδικοποιείται ως: Το τρίτο µήνυµα αποκωδικοποιείται ως :