ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2009 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ, ΚΩ ΙΚΩΝ ΚΑΙ ΚΡΥΠΤΟΓΡΑΦΙΑ Θέµα 1 ο (2 µονάδες) ίνεται η πληροφοριακή πηγή µε αλφάβητο A={a,b,c,d,e} και πιθανοτική κατανοµή των συµβόλων του αντίστοιχα P(A)=(1/8, 1/16, 1/16, 1/4, 1/2) (α) Ποιο είναι το σύνολο των µηνυµάτων µήκους µέχρι και 4 γράµµατα; (β) Ποίο είναι το σύνολο των µηνυµάτων µήκους ακριβώς 5 γραµµάτων; (γ) Η έννοια της εντροπίας αναφέρεται σε µήνυµα ή / και σε αλφάβητο. Τι παριστάνει; Εξηγήστε µε σαφήνεια για κάθε περίπτωση. (δ) Να βρεθεί η πιθανότητα εµφάνισης του µηνύµατος abcdae θεωρώντας ότι το µήνυµα εµφανίζει (i) η πληροφοριακή πηγή Α και (ii) η πληροφοριακή πηγή Α 2. Υπάρχει διαφορά; Εξηγήστε. Θέµα 2 ο (2 µονάδες) Το κρυπτογραφηµένο µήνυµα ενός µηνύµατος είναι το PMUQUQMTWHJD Το µήνυµα έχει κρυπτογραφηθεί κατά Hill, στο Αγγλικό αλφάβητο µε 26 25 33 21 33 γράµµατα, και κλειδί το Κ 1 = 2 12 ή τοκ 2 = 12 5. Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος και η επαλήθευση. Θέµα 3 ο (6 µονάδες) ίνεται το µήνυµα: NIΨON ANOMHMATA MH MONAN OΨΙΝ (Μεταξύ των λέξεων υπάρχει ένα κενό ) Να γίνει η Κωδικοποίησή του κατά 1. Huffman 2. Shannon-Fano 3. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 1
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2008 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ, ΚΩ ΙΚΩΝ ΚΑΙ ΚΡΥΠΤΟΓΡΑΦΙΑ Θέµα 1 ο (2 µονάδες) ίνεται η πληροφοριακή πηγή µε αλφάβητο A={a,b,c,d,e} και πιθανοτική κατανοµή των συµβόλων του αντίστοιχα P(A)=(1/4, 1/4, 1/8, 1/8, 1/4) (α) Ποιο είναι το σύνολο των µηνυµάτων µήκους µέχρι και 4 γράµµατα; (β) Ποίο είναι το σύνολο των µηνυµάτων µήκους ακριβώς 5 γραµµάτων; (γ) Η έννοια της εντροπίας αναφέρεται σε µήνυµα ή / και σε αλφάβητο. Τι παριστάνει; Εξηγήστε µε σαφήνεια για κάθε περίπτωση. (δ) Να βρεθεί η πιθανότητα εµφάνισης του µηνύµατος abcdae θεωρώντας ότι το µήνυµα εµφανίζει (i) η πληροφοριακή πηγή Α και (ii) η πληροφοριακή πηγή Α 2. Υπάρχει διαφορά; Εξηγήστε. Θέµα 2 ο (2 µονάδες) Το µήνυµα ΤΝΤ ΝΗΦΙΙΑ έχει κρυπτογραφηθεί κατά Hill, στο Ελληνικό αλφάβητο µε 24 γράµµατα, και κλειδί το Κ1= 26 3 13 32 23 29 ή τοκ2= 27 28. Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος και επαλήθευση. Θέµα 3 ο (6 µονάδες) ίνεται το µήνυµα: ΜΙΑ_ΗΡΕΜΗ_ΣΗΜΕΡΑ_ΜΕΡΑ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 4. Huffman 5. Shannon-Fano 6. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 2
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2008 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ, ΚΩ ΙΚΩΝ ΚΑΙ ΚΡΥΠΤΟΓΡΑΦΙΑ Θέµα 1 ο (2 µονάδες) ίνεται η πληροφοριακή πηγή µε αλφάβητο A={a,b,c,d,e} και πιθανοτική κατανοµή των συµβόλων του αντίστοιχα P(A)=(1/4, 1/4, 1/8, 1/8, 1/4) (α) Ποιο είναι το σύνολο των µηνυµάτων µήκους µέχρι και 3 γράµµατα; (β) Ποίο είναι το σύνολο των µηνυµάτων µήκους ακριβώς 4 γραµµάτων; (γ) Η έννοια της εντροπίας αναφέρεται σε µήνυµα ή όχι. Τι παριστάνει; Εξηγήστε µε σαφήνεια. (δ) Να βρεθεί η πιθανότητα εµφάνισης του µηνύµατος abcdae θεωρώντας ότι το µήνυµα εµφανίζει (i) η πληροφοριακή πηγή Α και (ii) η πληροφοριακή πηγή Α 2. Υπάρχει διαφορά; Εξηγήστε. Θέµα 2 ο (2 µονάδες) Το µήνυµα ΓΠΘΩΒΡΑΓ έχει κρυπτογραφηθεί κατά Hill στο Ελληνικό αλφάβητο µε 2 3 24 γράµµατα, και κλειδί το 1 29 ή το 11 8 3 4. Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος και επαλήθευση. Θέµα 3 ο (6 µοναδες) ίνεται το µήνυµα: ΜΙΑ_ΠΑΠΙΑ_ΜΑ_ΠΙΑ_ΠΑΠΙΑ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 7. Huffman 8. Shannon-Fano 9. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 3
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΣ-Β 2007 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (4 µονάδες) Τριαδικός συµµετρικός δίαυλος επιτυγχάνει να στείλει το σωστό σύµβολο στην έξοδό του µε πιθανότητα p. Το αλφάβητο εισόδου Α είναι ισοπίθανο. 1) Είναι ο δίαυλος οµοιόµορφος και γιατί; Να υπολογισθούν: 2) Η πιθανοτική κατανοµή του αλφαβήτου εξόδου Ρ(Β). 3) Οι backward Εντροπίες Η(Α b) του αλφαβήτου εισόδου. 4) Η ασάφεια Η(Α Β) και η αµοιβαία πληροφορία Ι(Α;Β) του διαύλου. Θέµα 2 ο (6 µονάδες) ίνεται το µήνυµα: ΕΠΙ_ΤΕΛΟΥΣ_ΤΕΛΟΣ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 10. Huffman 11. Shannon-Fano 12. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 4
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΣ 1997 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (4 µονάδες) Κωδικοποιούµε το πηγαίο αλφάβητο S = { s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = { 0.25, 0.15, 0.12, 0.10, 0.08, 0.06, 0.06, 0.06, 0.06, 0.04, 0.03 } (α) Υπολογίστε την H(S) και H 3 (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3 }, µε την µέθοδο Huffman. (γ) Πόσες περιστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (γ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο (δύο µονάδες) ίνεται ο BSC µε πίνακα διαύλου P 11 =2/3, P 12 =1/3, P 21 =1/10, P 22 =9/10 και πιθανότητες του αλφαβήτου εισόδου P(Α)=[3/4,1/4]. (α) Να υπολογισθούν οι a priori και a posteriori εντροπίες του Α. (β) Να υπολογισθεί η δεύτερη επέκταση του διαύλου. (γ) Τι σηµαίνουν τα στοιχεία του πίνακα αυτού ; Θέµα 3 ο (δύο µονάδες) Να αποδείξετε ότι (α) H(A 2 )=2H(A). Τι συµπέρασµα εξάγετε ; (β) Αν Α={0,1} και P(A)=[q,p], δηλαδή P(1)=p και P(0)=q, να δειχθεί ότι H(A 3 )=-3[plogp+(1-p)log(1-p)], µε δύο τρόπους Θέµα 4 ο (δύο µονάδες) Να αποδειχθεί ότι, αν διασυνδεθούν Ν όµοιοι δίαυλοι BSC έτσι ώστε το αλφάβητο εξόδου εκάστου να είναι αλφάβητο εισόδου του εποµένου του, παράγεται δίαυλος BSC. 5
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΜΑΡΤΙΟΣ 1999 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (2.5 µονάδες) Κωδικοποιούµε το πηγαίο αλφάβητο S = { s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = { 0.23, 0.15, 0.12, 0.10, 0.08, 0.07, 0.07, 0.06, 0.05, 0.04, 0.03 } (α) Υπολογίστε την H 2 (S) και H 10 (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2}, µε την µέθοδο Huffman. (γ) Πόσες συστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (γ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο (2 µονάδες) ίνεται ο BSC µε πίνακα διαύλου P 11 =2/3, P 12 =1/3, P 21 =1/10, P 22 =9/10 και πιθανότητες του αλφαβήτου εισόδου P(Α)=[3/4,1/4]. (α) Να υπολογισθούν οι a priori και a posteriori εντροπίες του Α. (β) Να υπολογισθεί η δεύτερη επέκταση του διαύλου. (γ) Τι σηµαίνουν τα στοιχεία του πίνακα αυτού; ώστε µια πλήρη και σωστή διατύπωση εξήγηση. Θέµα 3 ο (2 µονάδες) Να αποδείξετε ότι (α) H(A 2 )=2H(A). Τι συµπέρασµα εξάγετε ; (β) Αν Α={0,1} και P(A)=[q,p], δηλαδή P(1)=p και P(0)=q, να δειχθεί ότι H(A 3 )=-3[plogp+(1-p)log(1-p)], µε δύο τρόπους Θέµα 4 ο (1.5 µονάδες) ίδεται το πηγαίο αλφάβητο Α = { s 1, s 2, s 3, s 4 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = {0.1,0.2,.0.3,0.4 }. Να υπολογισθεί η δεύτερη επέκταση του Α, οι αντίστοιχες πιθανότητες των συµβόλων του και η Εντροπία του. είξτε ότι H(A 2 )=2H(A). Θέµα 5 ο (2 µονάδες) ιατυπώστε και δώστε την απόδειξη της ανισότητας Kraft.. 6
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΣ 20000 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (3 µονάδες) Κωδικοποιούµε το πηγαίο αλφάβητο S = {s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = {0.25, 0.15, 0.12, 0.10, 0.08, 0.06, 0.06, 0.06, 0.06, 0.04, 0.03} (α) Υπολογίστε την H (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3 }, µε την µέθοδο Huffman. (γ) Πόσες συστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (γ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο (2.5 µονάδες) ίνεται ο πίνακα διαύλου P(B/A) µε p 11 =2/3,p 12 =1/3, p 21 =1/10, p 22 =9/10, αλφάβητο εισόδου Α={x 1, x 2 }, πιθανότητες του αλφαβήτου εισόδου P(Α)=[3/4,1/4] και αλφάβητο εξόδου το Β{y 1, y 2 }, (α) Να υπολογισθούν οι a priori και a posteriori εντροπίες. (β) Να υπολογισθεί η δεύτερη επέκταση του διαύλου. (γ) Τι σηµαίνουν τα στοιχεία του πίνακα αυτού ; Θέµα 3 ο (2.5 µονάδες) ίδεται δίαυλος µε αλφάβητο εισόδου Α={0,1}, P(A)={1/2,1/2), και αλφάβητο εξόδου το Β={0,1}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ=00110110 να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; ώστε κάποια εξήγηση. L1 1 O QB ( / A) = 2 2 1 3 M P 4 4 Θέµα 4 ο (1+1 µονάδες) N Q α) ώστε τους ορισµούς της Αυτοπληροφορίας και Εντροπίας µε κάποιο παράδειγµα β) ιατυπώστε την ανισότητα Kraft, δώστε την ερµηνεία της και κάποιο παράδειγµα 7
ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΙΑΣΤΗΜΙΚΗΣ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2000 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Ι ΑΣΚΩΝ : ηµήτριος. ιαµαντίδης Θέµα 1 ο (3 µονάδες) ίδεται δίαυλος πληροφορίας µε αλφάβητο εισόδου Α={a,b,c}, πιθανότητες συµβόλων εισόδου P(A)={1/3,1/3,1/3) και αλφάβητο εξόδου το Β={a,b,c}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ=acaba να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; εξηγείστε. QB ( / A) = L NM Θέµα 2 ο (3.5 µονάδες) O QP 1/ 3 1/ 3 1/ 3 2/ 3 1/ 3 0 0 2/ 3 1/ 3 Στον προηγούµενο δίαυλο (α) Να υπολογίστε τις Backward πιθανότητες του διαύλου και να επαληθεύσετε (β) Ποια η πιθανότητα να λήφθηκε το µήνυµα aba ενώ στάλθηκε το bca; (γ ) Ποια η πιθανότητα να λήφθηκε το µήνυµα bca ενώ στάλθηκε το bac; (δ) Ποια µηνύµατα είναι αδύνατον να ληφθούν και γιατί. Θέµα 3 ο (3.5 µονάδες) ίδεται το πηγαίο αλφάβητο S = {s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = { 0.20, 0.15, 0.10, 0.10, 0.08, 0.08, 0.08, 0.08, 0.06, 0.04, 0.03 } (α) Υπολογίστε την H(S) και H 3 (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3 }, µε την µέθοδο Huffman. (γ) Πόσες περιστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (δ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε (ε) Είναι ο κώδικας που προκύπτει συµπαγής και γιατί. 8
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΣ 2001 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (α) (β) (γ) ίνεται το µήνυµα: ΗΡΘΑ ΝΑ ΡΕΡΗΤΟΡΕΥΣΩ ΤΟ ΡΗΡΕΤΟΡΕΥΜΕΝΟ ΡΩ Υπολογίστε την Εντροπία του και το µέσο µήκος του. Να γίνει η Κωδικοποίησή του κατά Huffman και κατά Shannon-Fano στο δυαδικό αλφάβητο. Ποια κωδικοποίηση είναι καλύτερη και γιατί; Θέµα 2 ο Σε ένα BSC οι πιθανότητες εισόδου είναι P(A)=(3a,a) και οι πιθανότητες εξόδου είναι P(B)=(2b, 3b). (α) Να υπολογισθεί ο πίνακας της δεύτερης επέκτασης του ιαύλου. (β) Να υπολογισθεί η ασάφεια του διαύλου. Θέµα 3 ο ίνονται δύο δίαυλοι Χ και Υ µε πίνακες αντιστοίχως : 0.2 0.8 0.5 0.4 0.1 X(B A) =, Y(C B) 0.8 0.2 = 0.5 0.1 0.4, X(A) = [ 0.5 0.5] και Y(C) = [ p(c = 0) p(c = 1) p(c =?)] Οι δίαυλοι συνδέονται ώστε η έξοδος του Χ να είναι είσοδος του Υ. Ποια η πιθανότητα να µην µπορούµε να αποφανθούµε ότι το µήνυµα 01001 είναι σωστό ή είναι λάθος αν αυτό (α) είναι γνωστό ότι έχει σταλεί και (β) δεν είναι γνωστό ότι έχει σταλεί. Θέµα 4 ο Να αποδείξετε ότι (α) H(A 2 )=2H(A). Τι συµπέρασµα εξάγετε ; (β) Αν Α={0,1} και P(A)=(q,p), δηλαδή p(a=0)=q και p(a=1)=p, να δειχθεί ότι H(A 3 )=-3[plogp+(1-p)log(1-p)] 9
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2001 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (α) (β) (γ) ίνεται το µήνυµα: ΚΑΛΗΜΕΡΑ ΜΗΤΕΡΑ ΕΙΠΕ Ο ΠΑΤΕΡΑΣ Υπολογίστε την Εντροπία του και το µέσο µήκος του. Να γίνει η Κωδικοποίησή του κατά Huffman και κατά Shannon-Fano στο δυαδικό αλφάβητο. Ποια κωδικοποίηση είναι καλύτερη και γιατί; Θέµα 2 ο Σε ένα ίαυλο οι πιθανότητες των συµβόλων εισόδου είναι P(A)=(5a,a) και οι πιθανότητες των συµβόλων εξόδου είναι P(B)=(2b, 3b). (α) Να υπολογισθεί ο πίνακας της δεύτερης επέκτασης του ιαύλου. (β) Να υπολογισθεί η ασάφεια του διαύλου. Θέµα 3 ο ίδεται δίαυλος πληροφορίας µε αλφάβητο εισόδου Α={a,b,c}, πιθανότητες συµβόλων εισόδου P(A)={1/3,1/3,1/3) και αλφάβητο εξόδου το Β={a,b,c}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ=abaca να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; εξηγείστε. 1/3 1/3 1/3 QB ( / A) = 2/3 1/3 0 0 2/3 1/3 10
ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΙΑΣΤΗΜΙΚΗΣ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2002 ΜΑΘΗΜΑ: ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Ι ΑΣΚΩΝ: Επ. Καθ. ηµήτριος ιαµαντίδης ΘΕΜΑ 1 ο (µονάδες 3 = 1+1+0.5+0.5) ίνεται δίαυλος µε αλφάβητο εισόδου A = {a 1,a 2,a 3}, πιθανοτική κατανοµή των συµβόλων του P[A] = [1/2 1/4 1/4], αλφάβητο εξόδου B = {b 1,b 2,b 3} και πίνακα 1/2 1/4 1/4 διαύλου AB = 1/4 1/2 1/4 1/4 1/4 1/2 Να απαντηθούν τα εξής ερωτήµατα: 1) Ποια η πιθανότητα να ληφθεί στην έξοδο το µήνυµα b1bbbb, 2 2 3 2 αν δεν γνωρίζουµε ποιο µήνυµα έχει σταλεί. 2) Ποια η πιθανότητα να ληφθεί στην έξοδο το µήνυµα b1bbbb, 2 2 3 2 αν γνωρίζουµε ότι έχει σταλεί το µήνυµα aaaaa 3 3 2 1 2 3) Ποια η εντροπία του αλφαβήτου εισόδου 4) Ποια η εντροπία του αλφαβήτου εξόδου ΘΕΜΑ 2 ο (µονάδες 3 = 1+0.5+0.5+1) 5) ιατυπώστε την ανισότητα Kraft και εξηγήστε τι εκφράζει 6) ιατυπώστε την έννοια της εντροπίας ενός αλφαβήτου και εξηγήστε τι εκφράζει 7) ιατυπώστε τις δύο γενικές µεθόδους κρυπτογραφίας και επεξηγήστε. 8) ιατυπώστε την κρυπτογραφία RSA και επεξηγήστε. ΘΕΜΑ 3 ο (µονάδες 4 = 1.5+2+0.5) Στο µήνυµα abra cadabra εφαρµόστε την κωδικοποίηση κατά 1) Hoffman 2) Shannon-Fano 3) Ποια µέθοδος είναι καλύτερη και γιατί; 11
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΣ 2002 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (3 µονάδες) Κωδικοποιούµε το πηγαίο αλφάβητο S = {s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = {0.25, 0.15, 0.12, 0.10, 0.08, 0.06, 0.06, 0.06, 0.06, 0.04, 0.03} (α) Υπολογίστε την H (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3 }, µε την µέθοδο Huffman. (γ) Πόσες συστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (γ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο (2.5 µονάδες) ίνεται ο πίνακα διαύλου P(B/A) µε p 11 =2/3,p 12 =1/3, p 21 =1/10, p 22 =9/10, αλφάβητο εισόδου Α={x 1, x 2 }, πιθανότητες του αλφαβήτου εισόδου P(Α)=[3/4,1/4] και αλφάβητο εξόδου το Β{y 1, y 2 }, (α) Να υπολογισθούν οι a priori και a posteriori εντροπίες. (β) Να υπολογισθεί η δεύτερη επέκταση του διαύλου. (γ) Τι σηµαίνουν τα στοιχεία του πίνακα αυτού ; Θέµα 3 ο (2.5 µονάδες) ίδεται δίαυλος µε αλφάβητο εισόδου Α={0,1}, P(A)={1/2,1/2), και αλφάβητο εξόδου το Β={0,1}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ=00110110 να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; ώστε κάποια εξήγηση. L1 1 O QB ( / A) = 2 2 1 3 M P 4 4 Θέµα 4 ο (1+1 µονάδες) N Q α) ώστε τους ορισµούς της Αυτοπληροφορίας και Εντροπίας µε κάποιο παράδειγµα β) ιατυπώστε την ανισότητα Kraft, δώστε την ερµηνεία της και κάποιο παράδειγµα 12
ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΙΑΣΤΗΜΙΚΗΣ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2003 ΜΑΘΗΜΑ: ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Ι ΑΣΚΩΝ: Επ. Καθ. ηµήτριος ιαµαντίδης ΘΕΜΑ 1 ο (µονάδες 7 = 2+2+2+1) ίνεται µήνυµα THIS IS A TEST MESSAGE µε χαρακτήρες ASCII-8 bits. Να κωδικοποιηθεί το µήνυµα στο δυαδικό αλφάβητο κατά: 5) Huffman 6) Shannon-Fano 7) Lempel-Ziv (LZ78) 8) Ποια από τις κωδικοποιήσεις είναι καλύτερη και γιατί; ΘΕΜΑ 2 ο (µονάδες 2) Τριαδικός συµµετρικός δίαυλος επιτυγχάνει να στείλει το σωστό σύµβολο στην έξοδό του µε πιθανότητα p. Το αλφάβητο εισόδου Α είναι ισοπίθανο. Να υπολογισθούν: 9) Είναι ο δίαυλος οµοιόµορφος και γιατί; 10) Η πιθανοτική κατανοµή του αλφαβήτου εξόδου Ρ(Β). 11) Οι backward Εντροπίες Η(Α b) του αλφαβήτου εισόδου. 12) Η ασάφεια του διαύλου Η(Α Β) 13) Η αµοιβαία πληροφορία Ι(Α;Β) του διαύλου. ΘΕΜΑ 3 ο (µονάδες 1) Να αποδειχθεί ότι οι backward πιθανότητες Ρ(Α Β) του αλφαβήτου εισόδου ενός διαύλου αποτελούν στοχαστικά διανύσµατα. (Γενική περίπτωση διαύλου). Χρόνος γραπτών εξετάσεων δύο (2) ώρες. Καλή επιτυχία. 13
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2003 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο ίνεται το µήνυµα: ΑΑΒΒΕ-ΕΕΒΒΟ-ΤΤΗΑΤ-ΤΑΕΒΟ-ΕΑΑΒΒ-ΗΗΤΤΑ-ΑΑΒΤΑ-ΗΤΑΕΒ-ΑΒ Αν S είναι το πηγαίο αλφάβητο του µηνύµατος αυτού (α) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3}, µε την µέθοδο Huffman. (β) Πόσες περιστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; Εξηγήστε. (γ) Υπολογίστε το µέσο µήκος L και την Εντροπία Η του S και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο Σε ένα τετραδικό συµµετρικό δίαυλο το σύµβολο a 3 αποτυγχάνει στη µετάδοσή του µε πιθανότητα 1/6. (α) Ποιά η πιθανότητα επιτυχούς µετάδοσης των συµβόλων b 3 και b 1 ; (β) Ποιά είναι η πιθανοτική κατανοµή των συµβόλων Β του αλφάβητου εξόδου του διαύλου αν τα σύµβολα του αλφάβητου εισόδου a 1, a 2 και a 3 αποστέλονται µε πιθανότητα 1/2, 1/4 και 1/4 αντίστοιχα; (γ) Ποιός ο πίνακας του διαύλου; (δ) Να υπολογισθούν οι a priori και a posteriori εντροπίες του Α. Θέµα 3 ο Να αποδείξετε ότι (α) H(A 2 )=2H(A). Τι συµπέρασµα εξάγετε ; (β) Αν Α={0,1} και P(A)=[q,p], δηλαδή P(1)=p και P(0)=q, να δειχθεί ότι H(A 3 )=-3[plogp+(1-p)log(1-p)]. Θέµα 4 ο Να αποδειχθεί ότι, αν διασυνδεθούν Ν όµοιοι δίαυλοι BSC έτσι ώστε το αλφάβητο εξόδου εκάστου να είναι αλφάβητο εισόδου του εποµένου του, παράγεται δίαυλος BSC. 14
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΦΕΒΡΟΥΑΡΙΟΥ 2004-01-27 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Να υπολογισθούν τα στατιστικά στοιχεία του µηνύµατος, δηλαδή, η εντροπία και τα µέση µήκη των πιο πάνω κωδίκων. Να γίνουν παρατηρήσεις. ΘΕΜΑ 2 ο ίνεται οµοιόµορφος δίαυλος D=(X,P(X),Y,Y(P),P(Y X)) µε : Αλφάβητο εισόδου Χ=[a, b, c] και πιθανοτική κατανοµή P(Χ) = [ pr(x=a)=1/2, pr(x=b)=1/4, pr(x=c)= 1/4] Αλφάβητο εξόδου Υ=[a, b, c] και πιθανοτική κατανοµή P(Υ) = [ pr(y=a)=1/3, pr(y=b)=3/8, pr(y=c)=7/24] 1. Να υπολογισθεί ο πίνακας του διαύλου P(Y X) 2. Να υπολογισθεί η πιθανότητα να ληφθεί στην έξοδο το µήνυµα aabcb a. Όταν είναι γνωστό ότι στάλθηκε b. Όταν δεν είναι γνωστό ότι στάλθηκε 3. Τι παρατηρείται; Σχολιάστε. 4. Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca ΘΕΜΑ 3 ο Να κρυπτογραφηθεί και να αποκρυπτογραφηθεί το µήνυµα «ΤΩΡΑ», µε τον 11 8 κρυπτογράφο Hill και κλειδί τον πίνακα 3 7. Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). Υποδείξεις Στο πρώτο θέµα κάθε κωδικοποίηση βαθµολογείται µε 2 µονάδες, εφόσον απαντηθούν σωστά όλα. Το δεύτερο θέµα βαθµολογείται µε δύο µονάδες Το τρίτο θέµα µε δύο µονάδες. Μη χάνετε το χρόνο σας σε πράξεις. Λύστε πρώτα ότι είναι γνωστό και όχι χρονοβόρο. εν χρειάζεται (δεν πρέπει) να µετατρέπουµε τις πιθανότητες σε δεκαδικούς αριθµούς. Τα κλάσµατα είναι ακριβή και δεν σπαταλούµε χρόνο κατά τους υπολογισµούς. 15
- ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΦΕΒΡΟΥΑΡΙΟΥ 2004-01-27 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Να υπολογισθούν τα στατιστικά στοιχεία του µηνύµατος, δηλαδή, η εντροπία και τα µέση µήκη των πιο πάνω κωδίκων. Να γίνουν παρατηρήσεις. ΑΠΑΝΤΗΣΗ Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ Αρχικό µήνυµα Ο-ΘΕΙΟΣ-ΕΦΥΓΕ-ΕΜΕΙΣ-ΜΕΙΝΑΜΕ Μήκος µηνύµατος σε σύµβολα = 27 Ο-ΘΕΙΣΦΥΓΜΝΑ Αριθµός διαφορετικών (διακριτών) συµβόλων = 12 Συχνότητες Συµβόλων 1) Ο 2 2) - 4 3) Θ 1 4) Ε 7 5) Ι 3 6) Σ 2 7) Φ 1 8) Υ 1 9) Γ 1 10) Μ 3 11) Ν 1 12) Α 1 Ταξινόµηση συµβόλων κατά φθίνουσα συχνότητα 1) Ε 7 4 0.259259 2) - 4 2 0.148148 3) Ι 3 5 0.111111 4) Μ 3 10 0.111111 5) Ο 2 1 0.074074 6) Σ 2 6 0.074074 7) Θ 1 3 0.037037 8) Φ 1 7 0.037037 9) Υ 1 8 0.037037 10) Γ 1 9 0.037037 11) Ν 1 11 0.037037 12) Α 1 12 0.037037 16
Κωδικοποίηση κατά Huffman 1) Ε 2 7 01 7 01 7 01 7 01 7 01 7 01 7 01 7 01 8 00 12 1 15 0 2) - 3 4 000 4 000 4 000 4 000 4 000 4 000 5 11 7 10 7 01 8 00 12 1 3) Ι 3 3 101 3 101 3 101 3 101 4 001 4 001 4 000 5 11 7 10 7 01 4) Μ 3 3 110 3 110 3 110 3 110 3 101 4 100 4 001 4 000 5 11 5) Ο 3 2 111 2 111 2 111 2 111 3 110 3 101 4 100 4 001 6) Σ 4 2 1000 2 1000 2 1000 2 1000 2 111 3 110 3 101 7) Θ 5 1 00110 2 1001 2 1001 2 1001 2 1000 2 111 8) Φ 5 1 00111 1 00110 2 0010 2 0010 2 1001 9) Υ 5 1 00100 1 00111 1 00110 2 0011 10) Γ 5 1 00101 1 00100 1 00111 11) Ν 5 1 10010 1 00101 12) Α 5 1 10011 CS Position 7 8 9 3 4 2 2 1 1 1 Κωδικοποίηση κατά Shannon-Fanο 1) Ε 0.259259 0.000000 2 00 2) - 0.148148 0.259259 3 010 3) Ι 0.111111 0.407407 4 0110 4) Μ 0.111111 0.518519 4 1000 5) Ο 0.074074 0.629630 4 1010 6) Σ 0.074074 0.703704 4 1011 7) Θ 0.037037 0.777778 5 11000 8) Φ 0.037037 0.814815 5 11010 9) Υ 0.037037 0.851852 5 11011 10) Γ 0.037037 0.888889 5 11100 11) Ν 0.037037 0.925926 5 11101 12) Α 0.037037 0.962963 5 11110 17
Κωδικοποίηση κατά Lempel-Ziv (LZ78) Index i-1 = 0 1 2 3 4 5 6 7 8 9 10 11 Symbol = Ο - Θ Ε Ι Σ Φ Υ Γ Μ Ν Α k w[k] m[k] s[k] s[k] z[k] length CodeWord 1) Ο 0 Ο 0 0 4 0000 2) - 0-1 1 5 00001 3) Θ 0 Θ 2 2 5 00010 4) Ε 0 Ε 3 3 6 000011 5) Ι 0 Ι 4 4 6 000100 6) ΟΣ 1 Σ 5 24 6 011000 7) -Ε 2 Ε 3 41 7 0101001 8) Φ 0 Φ 6 6 7 0000110 9) Υ 0 Υ 7 7 7 0000111 10) Γ 0 Γ 8 8 7 0001000 11) Ε- 4-1 77 7 1001101 12) ΕΜ 4 Μ 9 85 7 1010101 13) ΕΙ 4 Ι 4 80 8 01010000 14) Σ 0 Σ 5 5 8 00000100 15) -Μ 2 Μ 9 47 8 00101111 16) ΕΙΝ 13 Ν 10 257 8 00000000 17) Α 0 Α 11 11 8 00001010 18) Μ 0 Μ 9 9 8 00001000 19) Ε 0 Ε 3 3 8 00000011 Στατιστικές µηνύµατος Εντροπία = 3.2303963 bits/symbol Hufmann Μέσο µήκος κώδικα = 3.2592592 bits/symbol Shannon-Fano Μέσο µήκος κώδικα = 3.5555556 bits/symbol Lempel-Ziv Μέσο µήκος κώδικα = 6.5000000 bits/symbol Hufmann Λόγος συµπίεσης = 2.4545455 Shannon-Fano Λόγος συµπίεσης = 2.2500000 Lempel-Ziv Λόγος συµπίεσης = 1.6615385 18
ΘΕΜΑ 2 ο ίνεται οµοιόµορφος δίαυλος D=(X,P(X),Y,Y(P),P(Y X)) µε : Αλφάβητο εισόδου Χ=[a, b, c] και πιθανοτική κατανοµή P(Χ) = [ pr(x=a)=1/2, pr(x=b)=1/4, pr(x=c)= 1/4] Αλφάβητο εξόδου Υ=[a, b, c] και πιθανοτική κατανοµή P(Υ) = [ pr(y=a)=1/3, pr(y=b)=3/8, pr(y=c)=7/24] 5. Να υπολογισθεί ο πίνακας του διαύλου P(Y X) 6. Να υπολογισθεί η πιθανότητα να ληφθεί στην έξοδο το µήνυµα aabcb a. Όταν είναι γνωστό ότι στάλθηκε b. Όταν δεν είναι γνωστό ότι στάλθηκε 7. Τι παρατηρείται; Σχολιάστε. 8. 4. Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca ΑΠΑΝΤΗΣΗ 1. Επειδή ο δίαυλος είναι οµοιόµορφος, ο πίνακας του διαύλου P(Y X) θα έχει την µορφή pr( y = a x= a) pr( y = b x= a) pr( y = c x= a) u v w PY ( X) = pry ( a x b) pr( b b x b) pr( y c x b) w u v = = = = = = = pr( y = a x= c) pr( y = b x= c) pr( y = c x= c) v w u δηλαδή οι γραµµές του πίνακα θα είναι µεταθέσεις των u, v και w. Θα ισχύει : P(Y)=P(X)P(Y X). Επιλύουµε το σύστηµα αυτό, και βρίσκουµε τις ζητούµενες πιθανότητες του πίνακα του διαύλου. (1/2)u + (1/4)v + (1/4)w = 1/3 (1/4)u + (1/2)v + (1/4)w = 3/8 (1/4)u + (1/4)v + (1/2)w = 7/24 και βρίσκουµε u=1/3, v=1/2, w=1/6, δηλαδή pr( y = a x= a) pr( y = b x= a) pr( y = c x= a) u v w 1/3 1/2 1/6 P( Y X) = pr( y a x b) pr( b b x b) pr( y c x b) w u v 1/6 1/3 1/2 = = = = = = = = pr( y = a x= c) pr( y = b x= c) pr( y = c x= c) v w u 1/2 1/6 1/3 2a. Αν είναι γνωστό ότι στάλθηκε το µήνυµα aabcb η πιθανότητα να ληφθεί είναι: pr(y=a x=a) pr(y=a x=a) pr(y=b x=b) pr(y=c x=c) pr(y=b x=b)=(1/3)(1/3)(1/3)(1/3)(1/3)=(1/3) 5 =1/243 2b. Αν δεν είναι γνωστό ότι στάλθηκε το µήνυµα aabcb η πιθανότητα να ληφθεί είναι: pr(y=a) pr(y=a) pr(y=b) pr(y=c) pr(y=bb)=(1/3)(1/3)(3/8)(7/24)(3/8)=(3*7*3)/(3*3*8*24*8)=7/1536 3. Παρατηρώ ότι (1/243)<(7/1436), διότι στη δεύτερη περίπτωση µπορεί να ληφθεί το σωστό µήνυµα από λάθος!! 4. Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca είναι : pr(y=a x=b) pr(y=b x=c) pr(y=c x=a)=(1/6)(1/6)(1/6)=1/216 ΘΕΜΑ 3 ο 19
Να κρυπτογραφηθεί και να αποκρυπτογραφηθεί το µήνυµα «ΤΩΡΑ», µε τον κρυπτογράφο Hill και κλειδί τον πίνακα 11 8 3 7 Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). ΑΠΑΝΤΗΣΗ Τα γράµµατα Τ,Ω,Ρ και Α αντιστοιχούν στους αριθµούς 18, 23, 16 και 0. Τα κωδικοποιούµε ανά δύο και έχουµε: 11 8 [ 18 23] [ 267 305] [ 267 mod 24 305mod 24] [ 3 17] 3 7 = = = 11 8 [ 16 0] = [ 176 128] = [ 176 mod 24 128mod 24] = [ 8 8] 3 7 Οι λύσεις 3, 17, 11 και 15 αντιστοιχούν στα γράµµατα, Σ, Μ και Π και η κρυπτογράφηση του µηνύµατος είναι «ΣΙΙ» Για την αποκρυπτογράφηση θα πρέπει να βρούµε τον αντίστροφο του πίνακα κρυπτογράφησης mod24. Έχω : 1 11 8 11 8 11 8 7 8 7 8 / /(77 24) / 53 3 7 = Adj 3 7 ορίζουσα 3 7 = 3 11 = 3 11 = 7 8 7 16 7 / 5mod 24 16 / 5mod 24 a b 11 8 = / 53mod 24 = / 5mod 24 = = = 3 11 21 11 21/ 5mod 24 11/ 5mod 24 c d 9 7 7 / 5mod 24 = a 5a= 7 mod 24 a= 11 16 / 5mod 24 = b 5b= 16 mod 24 b= 8 21/ 5mod 24 = c 5c= 21mod 24 c= 9 11 8 11 8 193 144 1 0 11/ 5mod 24 = d 5d= 11mod 24 d= 7 πράγµατι mod 24 3 7 9 7 = = 96 73 0 1 Αποκρυπτογράφηση : 11 8 3 17 186 143 186 mod 24 143mod 24 18 23 9 7 = = = 11 8 [ 8 8] = [ 160 120] = [ 160 mod 24 120 mod 24] = [ 16 0] 9 7 [ ] [ ] [ ] [ ] 20
- ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΦΕΒΡΟΥΑΡΙΟΥ 2004-01-27 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Να υπολογισθούν τα στατιστικά στοιχεία του µηνύµατος, δηλαδή, η εντροπία και τα µέση µήκη των πιο πάνω κωδίκων. Να γίνουν παρατηρήσεις. ΑΠΑΝΤΗΣΗ Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ Αρχικό µήνυµα Ο-ΘΕΙΟΣ-ΕΦΥΓΕ-ΕΜΕΙΣ-ΜΕΙΝΑΜΕ Μήκος µηνύµατος σε σύµβολα = 27 Ο-ΘΕΙΣΦΥΓΜΝΑ Αριθµός διαφορετικών (διακριτών) συµβόλων = 12 Συχνότητες Συµβόλων 1) Ο 2 2) - 4 3) Θ 1 4) Ε 7 5) Ι 3 6) Σ 2 7) Φ 1 8) Υ 1 9) Γ 1 10) Μ 3 11) Ν 1 12) Α 1 Ταξινόµηση συµβόλων κατά φθίνουσα συχνότητα 1) Ε 7 4 0.259259 2) - 4 2 0.148148 3) Ι 3 5 0.111111 4) Μ 3 10 0.111111 5) Ο 2 1 0.074074 6) Σ 2 6 0.074074 7) Θ 1 3 0.037037 8) Φ 1 7 0.037037 9) Υ 1 8 0.037037 10) Γ 1 9 0.037037 11) Ν 1 11 0.037037 12) Α 1 12 0.037037 21
Κωδικοποίηση κατά Huffman 1) Ε 2 7 01 7 01 7 01 7 01 7 01 7 01 7 01 7 01 8 00 12 1 15 0 2) - 3 4 000 4 000 4 000 4 000 4 000 4 000 5 11 7 10 7 01 8 00 12 1 3) Ι 3 3 101 3 101 3 101 3 101 4 001 4 001 4 000 5 11 7 10 7 01 4) Μ 3 3 110 3 110 3 110 3 110 3 101 4 100 4 001 4 000 5 11 5) Ο 3 2 111 2 111 2 111 2 111 3 110 3 101 4 100 4 001 6) Σ 4 2 1000 2 1000 2 1000 2 1000 2 111 3 110 3 101 7) Θ 5 1 00110 2 1001 2 1001 2 1001 2 1000 2 111 8) Φ 5 1 00111 1 00110 2 0010 2 0010 2 1001 9) Υ 5 1 00100 1 00111 1 00110 2 0011 10) Γ 5 1 00101 1 00100 1 00111 11) Ν 5 1 10010 1 00101 12) Α 5 1 10011 CS Position 7 8 9 3 4 2 2 1 1 1 Κωδικοποίηση κατά Shannon-Fanο 1) Ε 0.259259 0.000000 2 00 2) - 0.148148 0.259259 3 010 3) Ι 0.111111 0.407407 4 0110 4) Μ 0.111111 0.518519 4 1000 5) Ο 0.074074 0.629630 4 1010 6) Σ 0.074074 0.703704 4 1011 7) Θ 0.037037 0.777778 5 11000 8) Φ 0.037037 0.814815 5 11010 9) Υ 0.037037 0.851852 5 11011 10) Γ 0.037037 0.888889 5 11100 11) Ν 0.037037 0.925926 5 11101 12) Α 0.037037 0.962963 5 11110 22
Κωδικοποίηση κατά Lempel-Ziv (LZ78) Index i-1 = 0 1 2 3 4 5 6 7 8 9 10 11 Symbol = Ο - Θ Ε Ι Σ Φ Υ Γ Μ Ν Α k w[k] m[k] s[k] s[k] z[k] length CodeWord 1) Ο 0 Ο 0 0 4 0000 2) - 0-1 1 5 00001 3) Θ 0 Θ 2 2 5 00010 4) Ε 0 Ε 3 3 6 000011 5) Ι 0 Ι 4 4 6 000100 6) ΟΣ 1 Σ 5 24 6 011000 7) -Ε 2 Ε 3 41 7 0101001 8) Φ 0 Φ 6 6 7 0000110 9) Υ 0 Υ 7 7 7 0000111 10) Γ 0 Γ 8 8 7 0001000 11) Ε- 4-1 77 7 1001101 12) ΕΜ 4 Μ 9 85 7 1010101 13) ΕΙ 4 Ι 4 80 8 01010000 14) Σ 0 Σ 5 5 8 00000100 15) -Μ 2 Μ 9 47 8 00101111 16) ΕΙΝ 13 Ν 10 257 8 00000000 17) Α 0 Α 11 11 8 00001010 18) Μ 0 Μ 9 9 8 00001000 19) Ε 0 Ε 3 3 8 00000011 Στατιστικές µηνύµατος Εντροπία = 3.2303963 bits/symbol Hufmann Μέσο µήκος κώδικα = 3.2592592 bits/symbol Shannon-Fano Μέσο µήκος κώδικα = 3.5555556 bits/symbol Lempel-Ziv Μέσο µήκος κώδικα = 6.5000000 bits/symbol Hufmann Λόγος συµπίεσης = 2.4545455 Shannon-Fano Λόγος συµπίεσης = 2.2500000 Lempel-Ziv Λόγος συµπίεσης = 1.6615385 23
ΘΕΜΑ 2 ο ίνεται οµοιόµορφος δίαυλος D=(X,P(X),Y,Y(P),P(Y X)) µε : Αλφάβητο εισόδου Χ=[a, b, c] και πιθανοτική κατανοµή P(Χ) = [ pr(x=a)=1/2, pr(x=b)=1/4, pr(x=c)= 1/4] Αλφάβητο εξόδου Υ=[a, b, c] και πιθανοτική κατανοµή P(Υ) = [ pr(y=a)=1/3, pr(y=b)=3/8, pr(y=c)=7/24] 9. Να υπολογισθεί ο πίνακας του διαύλου P(Y X) 10. Να υπολογισθεί η πιθανότητα να ληφθεί στην έξοδο το µήνυµα aabcb a. Όταν είναι γνωστό ότι στάλθηκε b. Όταν δεν είναι γνωστό ότι στάλθηκε 11. Τι παρατηρείται; Σχολιάστε. 12. 4. Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca ΑΠΑΝΤΗΣΗ 1. Επειδή ο δίαυλος είναι οµοιόµορφος, ο πίνακας του διαύλου P(Y X) θα έχει την µορφή pr( y = a x= a) pr( y = b x= a) pr( y = c x= a) u v w PY ( X) = pry ( a x b) pr( b b x b) pr( y c x b) w u v = = = = = = = pr( y = a x= c) pr( y = b x= c) pr( y = c x= c) v w u δηλαδή οι γραµµές του πίνακα θα είναι µεταθέσεις των u, v και w. Θα ισχύει : P(Y)=P(X)P(Y X). Επιλύουµε το σύστηµα αυτό, και βρίσκουµε τις ζητούµενες πιθανότητες του πίνακα του διαύλου. (1/2)u + (1/4)v + (1/4)w = 1/3 (1/4)u + (1/2)v + (1/4)w = 3/8 (1/4)u + (1/4)v + (1/2)w = 7/24 και βρίσκουµε u=1/3, v=1/2, w=1/6, δηλαδή pr( y = a x= a) pr( y = b x= a) pr( y = c x= a) u v w 1/3 1/2 1/6 P( Y X) = pr( y a x b) pr( b b x b) pr( y c x b) w u v 1/6 1/3 1/2 = = = = = = = = pr( y = a x= c) pr( y = b x= c) pr( y = c x= c) v w u 1/2 1/6 1/3 2a. Αν είναι γνωστό ότι στάλθηκε το µήνυµα aabcb η πιθανότητα να ληφθεί είναι: pr(y=a x=a) pr(y=a x=a) pr(y=b x=b) pr(y=c x=c) pr(y=b x=b)=(1/3)(1/3)(1/3)(1/3)(1/3)=(1/3) 5 =1/243 2b. Αν δεν είναι γνωστό ότι στάλθηκε το µήνυµα aabcb η πιθανότητα να ληφθεί είναι: pr(y=a) pr(y=a) pr(y=b) pr(y=c) pr(y=bb)=(1/3)(1/3)(3/8)(7/24)(3/8)=(3*7*3)/(3*3*8*24*8)=7/1536 3. Παρατηρώ ότι (1/243)<(7/1436), διότι στη δεύτερη περίπτωση µπορεί να ληφθεί το σωστό µήνυµα από λάθος!! 4. Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca είναι : pr(y=a x=b) pr(y=b x=c) pr(y=c x=a)=(1/6)(1/6)(1/6)=1/216 24
ΘΕΜΑ 3 ο Να κρυπτογραφηθεί και να αποκρυπτογραφηθεί το µήνυµα «ΤΩΡΑ», µε τον κρυπτογράφο Hill και κλειδί τον πίνακα 11 8 3 7 Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). ΑΠΑΝΤΗΣΗ Τα γράµµατα Τ,Ω,Ρ και Α αντιστοιχούν στους αριθµούς 18, 23, 16 και 0. Τα κωδικοποιούµε ανά δύο και έχουµε: 11 8 [ 18 23] [ 267 305] [ 267 mod 24 305mod 24] [ 3 17] 3 7 = = = 11 8 [ 16 0] = [ 176 128] = [ 176 mod 24 128mod 24] = [ 8 8] 3 7 Οι λύσεις 3, 17, 11 και 15 αντιστοιχούν στα γράµµατα, Σ, Μ και Π και η κρυπτογράφηση του µηνύµατος είναι «ΣΙΙ» Για την αποκρυπτογράφηση θα πρέπει να βρούµε τον αντίστροφο του πίνακα κρυπτογράφησης mod24. Έχω : 1 11 8 11 8 11 8 7 8 7 8 / /(77 24) / 53 3 7 = Adj 3 7 ορίζουσα 3 7 = 3 11 = 3 11 = 7 8 7 16 7 / 5mod 24 16 / 5mod 24 a b 11 8 = / 53mod 24 = / 5mod 24 = = = 3 11 21 11 21/ 5mod 24 11/ 5mod 24 c d 9 7 7 / 5mod 24 = a 5a= 7 mod 24 a= 11 16 / 5mod 24 = b 5b= 16 mod 24 b= 8 21/ 5mod 24 = c 5c= 21mod 24 c= 9 11 8 11 8 193 144 1 0 11/ 5mod 24 = d 5d= 11mod 24 d= 7 πράγµατι mod 24 3 7 9 7 = = 96 73 0 1 Αποκρυπτογράφηση : 11 8 3 17 186 143 186 mod 24 143mod 24 18 23 9 7 = = = 11 8 [ 8 8] = [ 160 120] = [ 160 mod 24 120 mod 24] = [ 16 0] 9 7 [ ] [ ] [ ] [ ] 25
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΣΕΠΤΕΜΒΡΙΟΥ 2004 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «ΕΘΝΙΚΗ ΕΛΛΑ ΟΣ ΓΕΙΑ ΣΟΥ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Να υπολογισθούν τα στατιστικά στοιχεία του µηνύµατος, δηλαδή, η εντροπία και τα µέση µήκη των πιο πάνω κωδίκων. Να γίνουν παρατηρήσεις. ΘΕΜΑ 2 ο ίδεται δίαυλος πληροφορίας µε αλφάβητο εισόδου Α={a,b,c}, πιθανότητες συµβόλων εισόδου P(A)={1/3,1/3,1/3) και αλφάβητο εξόδου το Β={a,b,c}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ=acaba να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; εξηγείστε. QB ( / A) = ΘΕΜΑ 3 ο L NM O QP 1/ 3 1/ 3 1/ 3 2/ 3 1/ 3 0 0 2/ 3 1/ 3 Να κρυπτογραφηθεί και να αποκρυπτογραφηθεί το µήνυµα «ΜΕΤΑ», µε τον 11 8 κρυπτογράφο Hill και κλειδί τον πίνακα 3 7. Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). 26
ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΙΑΣΤΗΜΙΚΗΣ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2005 ΜΑΘΗΜΑ: ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Ι ΑΣΚΩΝ: Επ. Καθ. ηµήτριος ιαµαντίδης ΘΕΜΑ 1 ο (µονάδες 6 = 2+2+2) ίνεται µήνυµα THISISATIMELESSMESSAGE κωδικοποιηµένο µε χαρακτήρες ASCII των 8 bits. Να κωδικοποιηθεί το µήνυµα στο δυαδικό αλφάβητο κατά: 1) Huffman 2) Shannon-Fano 3) Lempel-Ziv (LZ78) 4) Ποια από τις κωδικοποιήσεις είναι καλύτερη και γιατί; ΘΕΜΑ 2 ο (µονάδες 2) Τριαδικός συµµετρικός δίαυλος αποτυγχάνει να στείλει το σωστό σύµβολο στην έξοδό του µε πιθανότητα q. Το αλφάβητο εισόδου Α είναι ισοπίθανο. 1) Είναι ο δίαυλος οµοιόµορφος και γιατί; 2) Να υπολογισθεί η πιθανοτική κατανοµή του αλφαβήτου εξόδου Ρ(Β). 3) Οι backward Εντροπίες Η(Α b) του αλφαβήτου εισόδου. 4) Η ασάφεια του διαύλου Η(Α Β) 5) Η αµοιβαία πληροφορία Ι(Α;Β) του διαύλου. ΘΕΜΑ 3 ο (µονάδες 2) Αν το µήνυµα ΖΓΕ κρυπτογραφήθηκε κατά HILL µε κλειδί το 1 2 3 5, σε αλφάβητο 24 ελληνικών χαρακτήρων. Ποιο είναι το αρχικό µη κρυπτογραφηµένο µήνυµα; Χρόνος γραπτών εξετάσεων δύο (2) ώρες. Καλή επιτυχία. THISISATIMELESSMESSAGE THISISATIMELESSMESSAGE Message Length in Symbols = 22 THISAMELG Number of distinct Symbols = 9 27
Frequency Table 1) T 2 2) H 1 3) I 3 4) S 6 5) A 2 6) M 2 7) E 4 8) L 1 9) G 1 Frequency Table Sorted 1) S 6 4 0.272727 2) E 4 7 0.181818 3) I 3 3 0.136364 4) T 2 1 0.090909 5) A 2 5 0.090909 6) M 2 6 0.090909 7) H 1 2 0.045455 8) L 1 8 0.045455 9) G 1 9 0.045455 ------ Huffman Encoding ----------------------------- 1) S 2 6 01 6 01 6 01 6 01 6 01 7 00 9 1 13 0 2) E 2 4 11 4 11 4 11 4 11 5 10 6 01 7 00 9 1 3) I 3 3 001 3 001 3 001 4 000 4 11 5 10 6 01 4) T 3 2 101 2 101 3 100 3 001 4 000 4 11 5) A 4 2 0000 2 0000 2 101 3 100 3 001 6) M 4 2 0001 2 0001 2 0000 2 101 7) H 4 1 1001 2 1000 2 0001 8) L 5 1 10000 1 1001 9) G 5 1 10001 CS Position 7 4 3 2 1 1 1 ------ Shannon-Fano Encoding ------------------------ 1) S 0.272727 0.000000 2 00 2) E 0.181818 0.272727 3 010 3) I 0.136364 0.454545 3 011 4) T 0.090909 0.590909 4 1001 5) A 0.090909 0.681818 4 1010 28
6) M 0.090909 0.772727 4 1100 7) H 0.045455 0.863636 5 11011 8) L 0.045455 0.909091 5 11101 9) G 0.045455 0.954545 5 11110 ------ Lempel-Ziv (LZ78) Encoding ------------------- Index i-1 = 0 1 2 3 4 5 6 7 8 Symbol = T H I S A M E L G k w[k] m[k] s[k] s[k] z[k] length CodeWord 1) T 0 T 0 0 4 0000 2) H 0 H 1 1 5 00001 3) I 0 I 2 2 5 00010 4) S 0 S 3 3 5 00011 5) IS 3 S 3 48 6 110000 6) A 0 A 4 4 6 000100 7) TI 1 I 2 17 6 010001 8) M 0 M 5 5 6 000101 9) E 0 E 6 6 7 0000110 10) L 0 L 7 7 7 0000111 11) ES 9 S 3 138 7 0001010 12) SM 4 M 5 65 7 1000001 13) ESS 11 S 3 168 7 0101000 14) AG 6 G 8 98 7 1100010 15) E 0 E 6 6 7 0000110 ------ Information Quantities and Statistics --------- 1) S 6 0.272727 01 2 00 2 2) E 4 0.181818 11 2 010 3 3) I 3 0.136364 001 3 011 3 4) T 2 0.090909 101 3 1001 4 5) A 2 0.090909 0000 4 1010 4 6) M 2 0.090909 0001 4 1100 4 7) H 1 0.045455 1001 4 11011 5 8) L 1 0.045455 10000 5 11101 5 9) G 1 0.045455 10001 5 11110 5 Message Entropy = 2.9019465 bits/symbol Hufmann Code Mean Length = 2.9545455 bits/symbol Shannon-Fano Code Mean Length = 3.2727273 bits/symbol Lempel-Ziv Code Mean Length = 5.7500000 bits/symbol Hufmann Compression Ratio = 2.7076924 Shannon-Fano Compression Ratio = 2.4444444 Lempel-Ziv Compression Ratio = 1.9130435 29
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΣΕΠΤΕΜΒΡΙΟΣ 2005 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «ΕΓΩΚΑΛΑΣΟΥΤΑΛΕΓΑ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; ΘΕΜΑ 2 ο ύο τριαδικοί δίαυλοι συνδέονται σειριακά. Ο πρώτος επιτυγχάνει να στείλει τα σύµβολα εισόδου µε πιθανότητα 1/2 και ο δεύτερος µε πιθανότητα 1/3. Αν το Αλφάβητο εισόδου Χ=[a, b, c] έχει πιθανοτική κατανοµή P(Χ) = [ pr(x=a)=1/2, pr(x=b)=1/4, pr(x=c)= 1/4], να βρεθεί: 1. Η πιθανοτική κατανοµή του αλφαβήτου εξόδου της σύνθεσης των διαύλων. 2. Να υπολογισθεί η πιθανότητα να ληφθεί στην έξοδο το µήνυµα aabcb a. Όταν είναι γνωστό ότι στάλθηκε b. Όταν δεν είναι γνωστό ότι στάλθηκε Τι παρατηρείται; Σχολιάστε. ΘΕΜΑ 3 ο Να αποκρυπτογραφηθεί το µήνυµα «ΨΒΙΙΖΛ», µε τον κρυπτογράφο Hill. Το κλειδι κωδικοποίησης ήταν ο πίνακα 11 8 3 7. Να γίνει επαλήθευση. Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). Υποδείξεις Στο πρώτο θέµα κάθε κωδικοποίηση βαθµολογείται µε 2 µονάδες, εφόσον απαντηθούν σωστά όλα. Το δεύτερο θέµα βαθµολογείται µε δύο µονάδες Το τρίτο θέµα µε δύο µονάδες. Μη χάνετε το χρόνο σας σε πράξεις. Λύστε πρώτα ότι είναι γνωστό και όχι χρονοβόρο. εν χρειάζεται (δεν πρέπει) να µετατρέπουµε τις πιθανότητες σε δεκαδικούς αριθµούς. Τα κλάσµατα είναι ακριβή και δεν σπαταλούµε χρόνο κατά τους υπολογισµούς. 30
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2006 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (α) Να αποδειχθεί σε r-δικό συµµετρικό δίαυλο ότι όταν το αλφάβητο εισόδου είναι ισοπίθανο τότε και το αλφάβητο εξόδου είναι ισοπίθανο (β) Σε 5-δικό συµµετρικό δίαυλο το κάθε σύµβολο διαβιβάζεται µε πιθανότητα επιτυχίας 2/10. Το αλφάβητο εισόδου X={a, b, c, d, e} έχει πιθανοτική κατανοµή P(X)={2/10, 5/10, 1/10, 1/10, 1/10}. Να υπολογισθεί η πιθανότητα να διαβιβασθεί σωστά το µήνυµα bebcda όταν (β1) ξέρουµε ότι στάλθηκε και όταν (β2) δεν ξέρουµε ότι στάλθηκε. Θέµα 2 ο (α) Να κωδικοποιηθεί στο τριαδικό σύστηµα αρίθµησης κατά Hufman το µήνυµα THISISASTAR (β) Να κωδικοποιηθεί το µήνυµα «ΤΑ ΣΗΜΑΤΑ ΣΟΥ ΑΚΑΤΑΛΗΠΤΑ» (β1) κατά Shannon-Fano (β2) κατά LZ78 (γ) Ποια κωδικοποίηση είναι καλύτερη και γιατί; Θέµα 3 ο (α) Να κρυπτογραφηθεί κατά Hill το µήνυµα του δυαδικού αλφαβήτου Χ={Α, Β} 1 2 «ΑΒΒΑ», µε Κλειδί το K = 6 5. Να δοθεί στη συνέχεια η αποκρυπτογράφησή του. (β) Να λυθεί ή εξίσωση 5x=1mod17 Θέµα 4 ο (α) είξτε ότι για κάθε πληροφοριακή πηγή ισχύει H(A 2 )=2H(A). Επιβεβαιώστε για Πληροφοριακή πηγή µε πηγαίο αλφάβητο Α = { s 1, s 2, s 3, s 4 } και Πιθανοτική κατανοµή P(Α) = {0.1, 0.2,. 0.3, 0.4}. (β) ιατυπώστε και εξηγήστε την ανισότητα Kraft. 31
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΣ 2001 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (6 µοναδες) ίνεται το µήνυµα: ΝΙΨΟΝ_ΑΝΟΜΗΜΑΤΑ_ΜΗ_ΜΟΝΑΝ_ΟΨΙΝ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 13. Huffman 14. Shannon-Fano 15. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; Θέµα 2 ο (2 µονάδες) Το µήνυµα RGNQVOVK έχει κρυπτογραφηθεί κατά Hill στο αγγλικό αλφάβητο µε 24 4 27 γράµµατα, Α,Β,...,Ζ,<κενο> και κλειδί το 19 10 ή το 11 8 3 9. Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος. Θέµα 3 ο (2 µοναδες) ίνονται δύο δίαυλοι Χ και Υ µε πίνακες αντιστοίχως : 0.2 0.8 0.5 0.4 0.1 X(B A) =, Y(C B) 0.8 0.2 = 0.5 0.1 0.4, X(A) = [ 0.5 0.5] και Y(C) = [ p(c = 0) p(c = 1) p(c =?)] Οι δίαυλοι συνδέονται ώστε η έξοδος του Χ να είναι είσοδος του Υ. Ποια η πιθανότητα να µην µπορούµε να αποφανθούµε ότι το µήνυµα 01001 είναι σωστό ή είναι λάθος αν αυτό (α) είναι γνωστό ότι έχει σταλεί και (β) δεν είναι γνωστό ότι έχει σταλεί. 32
ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΣ-Α 2007 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (2 µονάδες) ίνεται η πληροφοριακή πηγή µε αλφάβητο A={a,b,c,d,e} και πιθανοτική κατανοµή των συµβόλων του αντίστοιχα P(A)=(1/4, 1/4, 1/8, 1/8, 1/4) (α) Ποιο είναι το σύνολο των µηνυµάτων µήκους µέχρι και 3 γράµµατα; (β) Ποίο είναι το σύνολο των µηνυµάτων µήκους ακριβώς 4 γραµµάτων; (γ) Η έννοια της εντροπίας αναφέρεται σε µήνυµα ή όχι. Τι παριστάνει; Εξηγήστε µε σαφήνεια. (δ) Να βρεθεί η πιθανότητα εµφάνισης του µηνύµατος abcdae θεωρώντας ότι το µήνυµα εµφανίζει (i) η πληροφοριακή πηγή Α και (ii) η πληροφοριακή πηγή Α 2. Υπάρχει διαφορά; Εξηγήστε. Θέµα 2 ο (2 µονάδες) Το µήνυµα GHZW έχει κρυπτογραφηθεί κατά Hill στο αγγλικό αλφάβητο µε 26 22 5 γράµµατα, και κλειδί το 20 11 ή το 11 8 3 9. Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος και επαλήθευση. Θέµα 3 ο (6 µοναδες) ίνεται το µήνυµα: ΤΙ_ΜΕΡΑ_ΚΙ_ΑΥΤΗ_ΣΗΜΕΡΑ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 16. Huffman 17. Shannon-Fano 18. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 33