ΗΜΟΚΡΙΤΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΡΑΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

Transcript

1 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2009 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ, ΚΩ ΙΚΩΝ ΚΑΙ ΚΡΥΠΤΟΓΡΑΦΙΑ Θέµα 1 ο (2 µονάδες) ίνεται η πληροφοριακή πηγή µε αλφάβητο A={a,b,c,d,e} και πιθανοτική κατανοµή των συµβόλων του αντίστοιχα P(A)=(1/8, 1/16, 1/16, 1/4, 1/2) (α) Ποιο είναι το σύνολο των µηνυµάτων µήκους µέχρι και 4 γράµµατα; (β) Ποίο είναι το σύνολο των µηνυµάτων µήκους ακριβώς 5 γραµµάτων; (γ) Η έννοια της εντροπίας αναφέρεται σε µήνυµα ή / και σε αλφάβητο. Τι παριστάνει; Εξηγήστε µε σαφήνεια για κάθε περίπτωση. (δ) Να βρεθεί η πιθανότητα εµφάνισης του µηνύµατος abcdae θεωρώντας ότι το µήνυµα εµφανίζει (i) η πληροφοριακή πηγή Α και (ii) η πληροφοριακή πηγή Α 2. Υπάρχει διαφορά; Εξηγήστε. Θέµα 2 ο (2 µονάδες) Το κρυπτογραφηµένο µήνυµα ενός µηνύµατος είναι το PMUQUQMTWHJD Το µήνυµα έχει κρυπτογραφηθεί κατά Hill, στο Αγγλικό αλφάβητο µε γράµµατα, και κλειδί το Κ 1 = 2 12 ή τοκ 2 = Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος και η επαλήθευση. Θέµα 3 ο (6 µονάδες) ίνεται το µήνυµα: NIΨON ANOMHMATA MH MONAN OΨΙΝ (Μεταξύ των λέξεων υπάρχει ένα κενό ) Να γίνει η Κωδικοποίησή του κατά 1. Huffman 2. Shannon-Fano 3. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 1

2 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2008 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ, ΚΩ ΙΚΩΝ ΚΑΙ ΚΡΥΠΤΟΓΡΑΦΙΑ Θέµα 1 ο (2 µονάδες) ίνεται η πληροφοριακή πηγή µε αλφάβητο A={a,b,c,d,e} και πιθανοτική κατανοµή των συµβόλων του αντίστοιχα P(A)=(1/4, 1/4, 1/8, 1/8, 1/4) (α) Ποιο είναι το σύνολο των µηνυµάτων µήκους µέχρι και 4 γράµµατα; (β) Ποίο είναι το σύνολο των µηνυµάτων µήκους ακριβώς 5 γραµµάτων; (γ) Η έννοια της εντροπίας αναφέρεται σε µήνυµα ή / και σε αλφάβητο. Τι παριστάνει; Εξηγήστε µε σαφήνεια για κάθε περίπτωση. (δ) Να βρεθεί η πιθανότητα εµφάνισης του µηνύµατος abcdae θεωρώντας ότι το µήνυµα εµφανίζει (i) η πληροφοριακή πηγή Α και (ii) η πληροφοριακή πηγή Α 2. Υπάρχει διαφορά; Εξηγήστε. Θέµα 2 ο (2 µονάδες) Το µήνυµα ΤΝΤ ΝΗΦΙΙΑ έχει κρυπτογραφηθεί κατά Hill, στο Ελληνικό αλφάβητο µε 24 γράµµατα, και κλειδί το Κ1= ή τοκ2= Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος και επαλήθευση. Θέµα 3 ο (6 µονάδες) ίνεται το µήνυµα: ΜΙΑ_ΗΡΕΜΗ_ΣΗΜΕΡΑ_ΜΕΡΑ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 4. Huffman 5. Shannon-Fano 6. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 2

3 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2008 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ, ΚΩ ΙΚΩΝ ΚΑΙ ΚΡΥΠΤΟΓΡΑΦΙΑ Θέµα 1 ο (2 µονάδες) ίνεται η πληροφοριακή πηγή µε αλφάβητο A={a,b,c,d,e} και πιθανοτική κατανοµή των συµβόλων του αντίστοιχα P(A)=(1/4, 1/4, 1/8, 1/8, 1/4) (α) Ποιο είναι το σύνολο των µηνυµάτων µήκους µέχρι και 3 γράµµατα; (β) Ποίο είναι το σύνολο των µηνυµάτων µήκους ακριβώς 4 γραµµάτων; (γ) Η έννοια της εντροπίας αναφέρεται σε µήνυµα ή όχι. Τι παριστάνει; Εξηγήστε µε σαφήνεια. (δ) Να βρεθεί η πιθανότητα εµφάνισης του µηνύµατος abcdae θεωρώντας ότι το µήνυµα εµφανίζει (i) η πληροφοριακή πηγή Α και (ii) η πληροφοριακή πηγή Α 2. Υπάρχει διαφορά; Εξηγήστε. Θέµα 2 ο (2 µονάδες) Το µήνυµα ΓΠΘΩΒΡΑΓ έχει κρυπτογραφηθεί κατά Hill στο Ελληνικό αλφάβητο µε γράµµατα, και κλειδί το 1 29 ή το Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος και επαλήθευση. Θέµα 3 ο (6 µοναδες) ίνεται το µήνυµα: ΜΙΑ_ΠΑΠΙΑ_ΜΑ_ΠΙΑ_ΠΑΠΙΑ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 7. Huffman 8. Shannon-Fano 9. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 3

4 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΣ-Β 2007 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (4 µονάδες) Τριαδικός συµµετρικός δίαυλος επιτυγχάνει να στείλει το σωστό σύµβολο στην έξοδό του µε πιθανότητα p. Το αλφάβητο εισόδου Α είναι ισοπίθανο. 1) Είναι ο δίαυλος οµοιόµορφος και γιατί; Να υπολογισθούν: 2) Η πιθανοτική κατανοµή του αλφαβήτου εξόδου Ρ(Β). 3) Οι backward Εντροπίες Η(Α b) του αλφαβήτου εισόδου. 4) Η ασάφεια Η(Α Β) και η αµοιβαία πληροφορία Ι(Α;Β) του διαύλου. Θέµα 2 ο (6 µονάδες) ίνεται το µήνυµα: ΕΠΙ_ΤΕΛΟΥΣ_ΤΕΛΟΣ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 10. Huffman 11. Shannon-Fano 12. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 4

5 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΣ 1997 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (4 µονάδες) Κωδικοποιούµε το πηγαίο αλφάβητο S = { s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = { 0.25, 0.15, 0.12, 0.10, 0.08, 0.06, 0.06, 0.06, 0.06, 0.04, 0.03 } (α) Υπολογίστε την H(S) και H 3 (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3 }, µε την µέθοδο Huffman. (γ) Πόσες περιστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (γ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο (δύο µονάδες) ίνεται ο BSC µε πίνακα διαύλου P 11 =2/3, P 12 =1/3, P 21 =1/10, P 22 =9/10 και πιθανότητες του αλφαβήτου εισόδου P(Α)=[3/4,1/4]. (α) Να υπολογισθούν οι a priori και a posteriori εντροπίες του Α. (β) Να υπολογισθεί η δεύτερη επέκταση του διαύλου. (γ) Τι σηµαίνουν τα στοιχεία του πίνακα αυτού ; Θέµα 3 ο (δύο µονάδες) Να αποδείξετε ότι (α) H(A 2 )=2H(A). Τι συµπέρασµα εξάγετε ; (β) Αν Α={0,1} και P(A)=[q,p], δηλαδή P(1)=p και P(0)=q, να δειχθεί ότι H(A 3 )=-3[plogp+(1-p)log(1-p)], µε δύο τρόπους Θέµα 4 ο (δύο µονάδες) Να αποδειχθεί ότι, αν διασυνδεθούν Ν όµοιοι δίαυλοι BSC έτσι ώστε το αλφάβητο εξόδου εκάστου να είναι αλφάβητο εισόδου του εποµένου του, παράγεται δίαυλος BSC. 5

6 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΜΑΡΤΙΟΣ 1999 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (2.5 µονάδες) Κωδικοποιούµε το πηγαίο αλφάβητο S = { s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = { 0.23, 0.15, 0.12, 0.10, 0.08, 0.07, 0.07, 0.06, 0.05, 0.04, 0.03 } (α) Υπολογίστε την H 2 (S) και H 10 (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2}, µε την µέθοδο Huffman. (γ) Πόσες συστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (γ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο (2 µονάδες) ίνεται ο BSC µε πίνακα διαύλου P 11 =2/3, P 12 =1/3, P 21 =1/10, P 22 =9/10 και πιθανότητες του αλφαβήτου εισόδου P(Α)=[3/4,1/4]. (α) Να υπολογισθούν οι a priori και a posteriori εντροπίες του Α. (β) Να υπολογισθεί η δεύτερη επέκταση του διαύλου. (γ) Τι σηµαίνουν τα στοιχεία του πίνακα αυτού; ώστε µια πλήρη και σωστή διατύπωση εξήγηση. Θέµα 3 ο (2 µονάδες) Να αποδείξετε ότι (α) H(A 2 )=2H(A). Τι συµπέρασµα εξάγετε ; (β) Αν Α={0,1} και P(A)=[q,p], δηλαδή P(1)=p και P(0)=q, να δειχθεί ότι H(A 3 )=-3[plogp+(1-p)log(1-p)], µε δύο τρόπους Θέµα 4 ο (1.5 µονάδες) ίδεται το πηγαίο αλφάβητο Α = { s 1, s 2, s 3, s 4 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = {0.1,0.2,.0.3,0.4 }. Να υπολογισθεί η δεύτερη επέκταση του Α, οι αντίστοιχες πιθανότητες των συµβόλων του και η Εντροπία του. είξτε ότι H(A 2 )=2H(A). Θέµα 5 ο (2 µονάδες) ιατυπώστε και δώστε την απόδειξη της ανισότητας Kraft.. 6

7 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΣ ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (3 µονάδες) Κωδικοποιούµε το πηγαίο αλφάβητο S = {s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = {0.25, 0.15, 0.12, 0.10, 0.08, 0.06, 0.06, 0.06, 0.06, 0.04, 0.03} (α) Υπολογίστε την H (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3 }, µε την µέθοδο Huffman. (γ) Πόσες συστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (γ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο (2.5 µονάδες) ίνεται ο πίνακα διαύλου P(B/A) µε p 11 =2/3,p 12 =1/3, p 21 =1/10, p 22 =9/10, αλφάβητο εισόδου Α={x 1, x 2 }, πιθανότητες του αλφαβήτου εισόδου P(Α)=[3/4,1/4] και αλφάβητο εξόδου το Β{y 1, y 2 }, (α) Να υπολογισθούν οι a priori και a posteriori εντροπίες. (β) Να υπολογισθεί η δεύτερη επέκταση του διαύλου. (γ) Τι σηµαίνουν τα στοιχεία του πίνακα αυτού ; Θέµα 3 ο (2.5 µονάδες) ίδεται δίαυλος µε αλφάβητο εισόδου Α={0,1}, P(A)={1/2,1/2), και αλφάβητο εξόδου το Β={0,1}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ= να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; ώστε κάποια εξήγηση. L1 1 O QB ( / A) = M P 4 4 Θέµα 4 ο (1+1 µονάδες) N Q α) ώστε τους ορισµούς της Αυτοπληροφορίας και Εντροπίας µε κάποιο παράδειγµα β) ιατυπώστε την ανισότητα Kraft, δώστε την ερµηνεία της και κάποιο παράδειγµα 7

8 ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΙΑΣΤΗΜΙΚΗΣ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2000 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Ι ΑΣΚΩΝ : ηµήτριος. ιαµαντίδης Θέµα 1 ο (3 µονάδες) ίδεται δίαυλος πληροφορίας µε αλφάβητο εισόδου Α={a,b,c}, πιθανότητες συµβόλων εισόδου P(A)={1/3,1/3,1/3) και αλφάβητο εξόδου το Β={a,b,c}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ=acaba να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; εξηγείστε. QB ( / A) = L NM Θέµα 2 ο (3.5 µονάδες) O QP 1/ 3 1/ 3 1/ 3 2/ 3 1/ / 3 1/ 3 Στον προηγούµενο δίαυλο (α) Να υπολογίστε τις Backward πιθανότητες του διαύλου και να επαληθεύσετε (β) Ποια η πιθανότητα να λήφθηκε το µήνυµα aba ενώ στάλθηκε το bca; (γ ) Ποια η πιθανότητα να λήφθηκε το µήνυµα bca ενώ στάλθηκε το bac; (δ) Ποια µηνύµατα είναι αδύνατον να ληφθούν και γιατί. Θέµα 3 ο (3.5 µονάδες) ίδεται το πηγαίο αλφάβητο S = {s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = { 0.20, 0.15, 0.10, 0.10, 0.08, 0.08, 0.08, 0.08, 0.06, 0.04, 0.03 } (α) Υπολογίστε την H(S) και H 3 (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3 }, µε την µέθοδο Huffman. (γ) Πόσες περιστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (δ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε (ε) Είναι ο κώδικας που προκύπτει συµπαγής και γιατί. 8

9 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΣ 2001 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (α) (β) (γ) ίνεται το µήνυµα: ΗΡΘΑ ΝΑ ΡΕΡΗΤΟΡΕΥΣΩ ΤΟ ΡΗΡΕΤΟΡΕΥΜΕΝΟ ΡΩ Υπολογίστε την Εντροπία του και το µέσο µήκος του. Να γίνει η Κωδικοποίησή του κατά Huffman και κατά Shannon-Fano στο δυαδικό αλφάβητο. Ποια κωδικοποίηση είναι καλύτερη και γιατί; Θέµα 2 ο Σε ένα BSC οι πιθανότητες εισόδου είναι P(A)=(3a,a) και οι πιθανότητες εξόδου είναι P(B)=(2b, 3b). (α) Να υπολογισθεί ο πίνακας της δεύτερης επέκτασης του ιαύλου. (β) Να υπολογισθεί η ασάφεια του διαύλου. Θέµα 3 ο ίνονται δύο δίαυλοι Χ και Υ µε πίνακες αντιστοίχως : X(B A) =, Y(C B) = , X(A) = [ ] και Y(C) = [ p(c = 0) p(c = 1) p(c =?)] Οι δίαυλοι συνδέονται ώστε η έξοδος του Χ να είναι είσοδος του Υ. Ποια η πιθανότητα να µην µπορούµε να αποφανθούµε ότι το µήνυµα είναι σωστό ή είναι λάθος αν αυτό (α) είναι γνωστό ότι έχει σταλεί και (β) δεν είναι γνωστό ότι έχει σταλεί. Θέµα 4 ο Να αποδείξετε ότι (α) H(A 2 )=2H(A). Τι συµπέρασµα εξάγετε ; (β) Αν Α={0,1} και P(A)=(q,p), δηλαδή p(a=0)=q και p(a=1)=p, να δειχθεί ότι H(A 3 )=-3[plogp+(1-p)log(1-p)] 9

10 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2001 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (α) (β) (γ) ίνεται το µήνυµα: ΚΑΛΗΜΕΡΑ ΜΗΤΕΡΑ ΕΙΠΕ Ο ΠΑΤΕΡΑΣ Υπολογίστε την Εντροπία του και το µέσο µήκος του. Να γίνει η Κωδικοποίησή του κατά Huffman και κατά Shannon-Fano στο δυαδικό αλφάβητο. Ποια κωδικοποίηση είναι καλύτερη και γιατί; Θέµα 2 ο Σε ένα ίαυλο οι πιθανότητες των συµβόλων εισόδου είναι P(A)=(5a,a) και οι πιθανότητες των συµβόλων εξόδου είναι P(B)=(2b, 3b). (α) Να υπολογισθεί ο πίνακας της δεύτερης επέκτασης του ιαύλου. (β) Να υπολογισθεί η ασάφεια του διαύλου. Θέµα 3 ο ίδεται δίαυλος πληροφορίας µε αλφάβητο εισόδου Α={a,b,c}, πιθανότητες συµβόλων εισόδου P(A)={1/3,1/3,1/3) και αλφάβητο εξόδου το Β={a,b,c}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ=abaca να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; εξηγείστε. 1/3 1/3 1/3 QB ( / A) = 2/3 1/ /3 1/3 10

11 ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΙΑΣΤΗΜΙΚΗΣ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2002 ΜΑΘΗΜΑ: ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Ι ΑΣΚΩΝ: Επ. Καθ. ηµήτριος ιαµαντίδης ΘΕΜΑ 1 ο (µονάδες 3 = ) ίνεται δίαυλος µε αλφάβητο εισόδου A = {a 1,a 2,a 3}, πιθανοτική κατανοµή των συµβόλων του P[A] = [1/2 1/4 1/4], αλφάβητο εξόδου B = {b 1,b 2,b 3} και πίνακα 1/2 1/4 1/4 διαύλου AB = 1/4 1/2 1/4 1/4 1/4 1/2 Να απαντηθούν τα εξής ερωτήµατα: 1) Ποια η πιθανότητα να ληφθεί στην έξοδο το µήνυµα b1bbbb, αν δεν γνωρίζουµε ποιο µήνυµα έχει σταλεί. 2) Ποια η πιθανότητα να ληφθεί στην έξοδο το µήνυµα b1bbbb, αν γνωρίζουµε ότι έχει σταλεί το µήνυµα aaaaa ) Ποια η εντροπία του αλφαβήτου εισόδου 4) Ποια η εντροπία του αλφαβήτου εξόδου ΘΕΜΑ 2 ο (µονάδες 3 = ) 5) ιατυπώστε την ανισότητα Kraft και εξηγήστε τι εκφράζει 6) ιατυπώστε την έννοια της εντροπίας ενός αλφαβήτου και εξηγήστε τι εκφράζει 7) ιατυπώστε τις δύο γενικές µεθόδους κρυπτογραφίας και επεξηγήστε. 8) ιατυπώστε την κρυπτογραφία RSA και επεξηγήστε. ΘΕΜΑ 3 ο (µονάδες 4 = ) Στο µήνυµα abra cadabra εφαρµόστε την κωδικοποίηση κατά 1) Hoffman 2) Shannon-Fano 3) Ποια µέθοδος είναι καλύτερη και γιατί; 11

12 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΣ 2002 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (3 µονάδες) Κωδικοποιούµε το πηγαίο αλφάβητο S = {s 1, s 2, s 3, s 4, s 5, s 6, s 7, s 8, s 9, s 10, s 11 }, µε αντίστοιχες πιθανότητες των συµβόλων του P = {0.25, 0.15, 0.12, 0.10, 0.08, 0.06, 0.06, 0.06, 0.06, 0.04, 0.03} (α) Υπολογίστε την H (S) (β) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3 }, µε την µέθοδο Huffman. (γ) Πόσες συστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; ώστε µια γενική διατύπωση για πηγαίο αλφάβητο µε q σύµβολα και κωδικό αλφάβητο µε r σύµβολα. (γ) Υπολογίστε το µέσο µήκος L και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο (2.5 µονάδες) ίνεται ο πίνακα διαύλου P(B/A) µε p 11 =2/3,p 12 =1/3, p 21 =1/10, p 22 =9/10, αλφάβητο εισόδου Α={x 1, x 2 }, πιθανότητες του αλφαβήτου εισόδου P(Α)=[3/4,1/4] και αλφάβητο εξόδου το Β{y 1, y 2 }, (α) Να υπολογισθούν οι a priori και a posteriori εντροπίες. (β) Να υπολογισθεί η δεύτερη επέκταση του διαύλου. (γ) Τι σηµαίνουν τα στοιχεία του πίνακα αυτού ; Θέµα 3 ο (2.5 µονάδες) ίδεται δίαυλος µε αλφάβητο εισόδου Α={0,1}, P(A)={1/2,1/2), και αλφάβητο εξόδου το Β={0,1}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ= να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; ώστε κάποια εξήγηση. L1 1 O QB ( / A) = M P 4 4 Θέµα 4 ο (1+1 µονάδες) N Q α) ώστε τους ορισµούς της Αυτοπληροφορίας και Εντροπίας µε κάποιο παράδειγµα β) ιατυπώστε την ανισότητα Kraft, δώστε την ερµηνεία της και κάποιο παράδειγµα 12

13 ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΙΑΣΤΗΜΙΚΗΣ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2003 ΜΑΘΗΜΑ: ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Ι ΑΣΚΩΝ: Επ. Καθ. ηµήτριος ιαµαντίδης ΘΕΜΑ 1 ο (µονάδες 7 = ) ίνεται µήνυµα THIS IS A TEST MESSAGE µε χαρακτήρες ASCII-8 bits. Να κωδικοποιηθεί το µήνυµα στο δυαδικό αλφάβητο κατά: 5) Huffman 6) Shannon-Fano 7) Lempel-Ziv (LZ78) 8) Ποια από τις κωδικοποιήσεις είναι καλύτερη και γιατί; ΘΕΜΑ 2 ο (µονάδες 2) Τριαδικός συµµετρικός δίαυλος επιτυγχάνει να στείλει το σωστό σύµβολο στην έξοδό του µε πιθανότητα p. Το αλφάβητο εισόδου Α είναι ισοπίθανο. Να υπολογισθούν: 9) Είναι ο δίαυλος οµοιόµορφος και γιατί; 10) Η πιθανοτική κατανοµή του αλφαβήτου εξόδου Ρ(Β). 11) Οι backward Εντροπίες Η(Α b) του αλφαβήτου εισόδου. 12) Η ασάφεια του διαύλου Η(Α Β) 13) Η αµοιβαία πληροφορία Ι(Α;Β) του διαύλου. ΘΕΜΑ 3 ο (µονάδες 1) Να αποδειχθεί ότι οι backward πιθανότητες Ρ(Α Β) του αλφαβήτου εισόδου ενός διαύλου αποτελούν στοχαστικά διανύσµατα. (Γενική περίπτωση διαύλου). Χρόνος γραπτών εξετάσεων δύο (2) ώρες. Καλή επιτυχία. 13

14 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΥ 2003 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο ίνεται το µήνυµα: ΑΑΒΒΕ-ΕΕΒΒΟ-ΤΤΗΑΤ-ΤΑΕΒΟ-ΕΑΑΒΒ-ΗΗΤΤΑ-ΑΑΒΤΑ-ΗΤΑΕΒ-ΑΒ Αν S είναι το πηγαίο αλφάβητο του µηνύµατος αυτού (α) Βρείτε έναν συµπαγή κώδικα του S µε αλφάβητο κωδικοποίησης το C={0,1} και το C={0,1,2,3}, µε την µέθοδο Huffman. (β) Πόσες περιστολές και επαναλήψεις χρειάζονται για κάθε κωδικοποίηση; Εξηγήστε. (γ) Υπολογίστε το µέσο µήκος L και την Εντροπία Η του S και για τους δύο αυτούς κώδικες. Τι παρατηρείτε ; Θέµα 2 ο Σε ένα τετραδικό συµµετρικό δίαυλο το σύµβολο a 3 αποτυγχάνει στη µετάδοσή του µε πιθανότητα 1/6. (α) Ποιά η πιθανότητα επιτυχούς µετάδοσης των συµβόλων b 3 και b 1 ; (β) Ποιά είναι η πιθανοτική κατανοµή των συµβόλων Β του αλφάβητου εξόδου του διαύλου αν τα σύµβολα του αλφάβητου εισόδου a 1, a 2 και a 3 αποστέλονται µε πιθανότητα 1/2, 1/4 και 1/4 αντίστοιχα; (γ) Ποιός ο πίνακας του διαύλου; (δ) Να υπολογισθούν οι a priori και a posteriori εντροπίες του Α. Θέµα 3 ο Να αποδείξετε ότι (α) H(A 2 )=2H(A). Τι συµπέρασµα εξάγετε ; (β) Αν Α={0,1} και P(A)=[q,p], δηλαδή P(1)=p και P(0)=q, να δειχθεί ότι H(A 3 )=-3[plogp+(1-p)log(1-p)]. Θέµα 4 ο Να αποδειχθεί ότι, αν διασυνδεθούν Ν όµοιοι δίαυλοι BSC έτσι ώστε το αλφάβητο εξόδου εκάστου να είναι αλφάβητο εισόδου του εποµένου του, παράγεται δίαυλος BSC. 14

15 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΦΕΒΡΟΥΑΡΙΟΥ ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Να υπολογισθούν τα στατιστικά στοιχεία του µηνύµατος, δηλαδή, η εντροπία και τα µέση µήκη των πιο πάνω κωδίκων. Να γίνουν παρατηρήσεις. ΘΕΜΑ 2 ο ίνεται οµοιόµορφος δίαυλος D=(X,P(X),Y,Y(P),P(Y X)) µε : Αλφάβητο εισόδου Χ=[a, b, c] και πιθανοτική κατανοµή P(Χ) = [ pr(x=a)=1/2, pr(x=b)=1/4, pr(x=c)= 1/4] Αλφάβητο εξόδου Υ=[a, b, c] και πιθανοτική κατανοµή P(Υ) = [ pr(y=a)=1/3, pr(y=b)=3/8, pr(y=c)=7/24] 1. Να υπολογισθεί ο πίνακας του διαύλου P(Y X) 2. Να υπολογισθεί η πιθανότητα να ληφθεί στην έξοδο το µήνυµα aabcb a. Όταν είναι γνωστό ότι στάλθηκε b. Όταν δεν είναι γνωστό ότι στάλθηκε 3. Τι παρατηρείται; Σχολιάστε. 4. Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca ΘΕΜΑ 3 ο Να κρυπτογραφηθεί και να αποκρυπτογραφηθεί το µήνυµα «ΤΩΡΑ», µε τον 11 8 κρυπτογράφο Hill και κλειδί τον πίνακα 3 7. Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). Υποδείξεις Στο πρώτο θέµα κάθε κωδικοποίηση βαθµολογείται µε 2 µονάδες, εφόσον απαντηθούν σωστά όλα. Το δεύτερο θέµα βαθµολογείται µε δύο µονάδες Το τρίτο θέµα µε δύο µονάδες. Μη χάνετε το χρόνο σας σε πράξεις. Λύστε πρώτα ότι είναι γνωστό και όχι χρονοβόρο. εν χρειάζεται (δεν πρέπει) να µετατρέπουµε τις πιθανότητες σε δεκαδικούς αριθµούς. Τα κλάσµατα είναι ακριβή και δεν σπαταλούµε χρόνο κατά τους υπολογισµούς. 15

16 - ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΦΕΒΡΟΥΑΡΙΟΥ ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Να υπολογισθούν τα στατιστικά στοιχεία του µηνύµατος, δηλαδή, η εντροπία και τα µέση µήκη των πιο πάνω κωδίκων. Να γίνουν παρατηρήσεις. ΑΠΑΝΤΗΣΗ Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ Αρχικό µήνυµα Ο-ΘΕΙΟΣ-ΕΦΥΓΕ-ΕΜΕΙΣ-ΜΕΙΝΑΜΕ Μήκος µηνύµατος σε σύµβολα = 27 Ο-ΘΕΙΣΦΥΓΜΝΑ Αριθµός διαφορετικών (διακριτών) συµβόλων = 12 Συχνότητες Συµβόλων 1) Ο 2 2) - 4 3) Θ 1 4) Ε 7 5) Ι 3 6) Σ 2 7) Φ 1 8) Υ 1 9) Γ 1 10) Μ 3 11) Ν 1 12) Α 1 Ταξινόµηση συµβόλων κατά φθίνουσα συχνότητα 1) Ε ) ) Ι ) Μ ) Ο ) Σ ) Θ ) Φ ) Υ ) Γ ) Ν ) Α

17 Κωδικοποίηση κατά Huffman 1) Ε ) ) Ι ) Μ ) Ο ) Σ ) Θ ) Φ ) Υ ) Γ ) Ν ) Α CS Position Κωδικοποίηση κατά Shannon-Fanο 1) Ε ) ) Ι ) Μ ) Ο ) Σ ) Θ ) Φ ) Υ ) Γ ) Ν ) Α

18 Κωδικοποίηση κατά Lempel-Ziv (LZ78) Index i-1 = Symbol = Ο - Θ Ε Ι Σ Φ Υ Γ Μ Ν Α k w[k] m[k] s[k] s[k] z[k] length CodeWord 1) Ο 0 Ο ) ) Θ 0 Θ ) Ε 0 Ε ) Ι 0 Ι ) ΟΣ 1 Σ ) -Ε 2 Ε ) Φ 0 Φ ) Υ 0 Υ ) Γ 0 Γ ) Ε ) ΕΜ 4 Μ ) ΕΙ 4 Ι ) Σ 0 Σ ) -Μ 2 Μ ) ΕΙΝ 13 Ν ) Α 0 Α ) Μ 0 Μ ) Ε 0 Ε Στατιστικές µηνύµατος Εντροπία = bits/symbol Hufmann Μέσο µήκος κώδικα = bits/symbol Shannon-Fano Μέσο µήκος κώδικα = bits/symbol Lempel-Ziv Μέσο µήκος κώδικα = bits/symbol Hufmann Λόγος συµπίεσης = Shannon-Fano Λόγος συµπίεσης = Lempel-Ziv Λόγος συµπίεσης =

19 ΘΕΜΑ 2 ο ίνεται οµοιόµορφος δίαυλος D=(X,P(X),Y,Y(P),P(Y X)) µε : Αλφάβητο εισόδου Χ=[a, b, c] και πιθανοτική κατανοµή P(Χ) = [ pr(x=a)=1/2, pr(x=b)=1/4, pr(x=c)= 1/4] Αλφάβητο εξόδου Υ=[a, b, c] και πιθανοτική κατανοµή P(Υ) = [ pr(y=a)=1/3, pr(y=b)=3/8, pr(y=c)=7/24] 5. Να υπολογισθεί ο πίνακας του διαύλου P(Y X) 6. Να υπολογισθεί η πιθανότητα να ληφθεί στην έξοδο το µήνυµα aabcb a. Όταν είναι γνωστό ότι στάλθηκε b. Όταν δεν είναι γνωστό ότι στάλθηκε 7. Τι παρατηρείται; Σχολιάστε Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca ΑΠΑΝΤΗΣΗ 1. Επειδή ο δίαυλος είναι οµοιόµορφος, ο πίνακας του διαύλου P(Y X) θα έχει την µορφή pr( y = a x= a) pr( y = b x= a) pr( y = c x= a) u v w PY ( X) = pry ( a x b) pr( b b x b) pr( y c x b) w u v = = = = = = = pr( y = a x= c) pr( y = b x= c) pr( y = c x= c) v w u δηλαδή οι γραµµές του πίνακα θα είναι µεταθέσεις των u, v και w. Θα ισχύει : P(Y)=P(X)P(Y X). Επιλύουµε το σύστηµα αυτό, και βρίσκουµε τις ζητούµενες πιθανότητες του πίνακα του διαύλου. (1/2)u + (1/4)v + (1/4)w = 1/3 (1/4)u + (1/2)v + (1/4)w = 3/8 (1/4)u + (1/4)v + (1/2)w = 7/24 και βρίσκουµε u=1/3, v=1/2, w=1/6, δηλαδή pr( y = a x= a) pr( y = b x= a) pr( y = c x= a) u v w 1/3 1/2 1/6 P( Y X) = pr( y a x b) pr( b b x b) pr( y c x b) w u v 1/6 1/3 1/2 = = = = = = = = pr( y = a x= c) pr( y = b x= c) pr( y = c x= c) v w u 1/2 1/6 1/3 2a. Αν είναι γνωστό ότι στάλθηκε το µήνυµα aabcb η πιθανότητα να ληφθεί είναι: pr(y=a x=a) pr(y=a x=a) pr(y=b x=b) pr(y=c x=c) pr(y=b x=b)=(1/3)(1/3)(1/3)(1/3)(1/3)=(1/3) 5 =1/243 2b. Αν δεν είναι γνωστό ότι στάλθηκε το µήνυµα aabcb η πιθανότητα να ληφθεί είναι: pr(y=a) pr(y=a) pr(y=b) pr(y=c) pr(y=bb)=(1/3)(1/3)(3/8)(7/24)(3/8)=(3*7*3)/(3*3*8*24*8)=7/ Παρατηρώ ότι (1/243)<(7/1436), διότι στη δεύτερη περίπτωση µπορεί να ληφθεί το σωστό µήνυµα από λάθος!! 4. Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca είναι : pr(y=a x=b) pr(y=b x=c) pr(y=c x=a)=(1/6)(1/6)(1/6)=1/216 ΘΕΜΑ 3 ο 19

20 Να κρυπτογραφηθεί και να αποκρυπτογραφηθεί το µήνυµα «ΤΩΡΑ», µε τον κρυπτογράφο Hill και κλειδί τον πίνακα Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). ΑΠΑΝΤΗΣΗ Τα γράµµατα Τ,Ω,Ρ και Α αντιστοιχούν στους αριθµούς 18, 23, 16 και 0. Τα κωδικοποιούµε ανά δύο και έχουµε: 11 8 [ 18 23] [ ] [ 267 mod mod 24] [ 3 17] 3 7 = = = 11 8 [ 16 0] = [ ] = [ 176 mod mod 24] = [ 8 8] 3 7 Οι λύσεις 3, 17, 11 και 15 αντιστοιχούν στα γράµµατα, Σ, Μ και Π και η κρυπτογράφηση του µηνύµατος είναι «ΣΙΙ» Για την αποκρυπτογράφηση θα πρέπει να βρούµε τον αντίστροφο του πίνακα κρυπτογράφησης mod24. Έχω : / /(77 24) / = Adj 3 7 ορίζουσα 3 7 = 3 11 = 3 11 = / 5mod / 5mod 24 a b 11 8 = / 53mod 24 = / 5mod 24 = = = / 5mod 24 11/ 5mod 24 c d / 5mod 24 = a 5a= 7 mod 24 a= / 5mod 24 = b 5b= 16 mod 24 b= 8 21/ 5mod 24 = c 5c= 21mod 24 c= / 5mod 24 = d 5d= 11mod 24 d= 7 πράγµατι mod = = Αποκρυπτογράφηση : mod mod = = = 11 8 [ 8 8] = [ ] = [ 160 mod mod 24] = [ 16 0] 9 7 [ ] [ ] [ ] [ ] 20

21 - ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΦΕΒΡΟΥΑΡΙΟΥ ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Να υπολογισθούν τα στατιστικά στοιχεία του µηνύµατος, δηλαδή, η εντροπία και τα µέση µήκη των πιο πάνω κωδίκων. Να γίνουν παρατηρήσεις. ΑΠΑΝΤΗΣΗ Ο ΘΕΙΟΣ ΕΦΥΓΕ ΕΜΕΙΣ ΜΕΙΝΑΜΕ Αρχικό µήνυµα Ο-ΘΕΙΟΣ-ΕΦΥΓΕ-ΕΜΕΙΣ-ΜΕΙΝΑΜΕ Μήκος µηνύµατος σε σύµβολα = 27 Ο-ΘΕΙΣΦΥΓΜΝΑ Αριθµός διαφορετικών (διακριτών) συµβόλων = 12 Συχνότητες Συµβόλων 1) Ο 2 2) - 4 3) Θ 1 4) Ε 7 5) Ι 3 6) Σ 2 7) Φ 1 8) Υ 1 9) Γ 1 10) Μ 3 11) Ν 1 12) Α 1 Ταξινόµηση συµβόλων κατά φθίνουσα συχνότητα 1) Ε ) ) Ι ) Μ ) Ο ) Σ ) Θ ) Φ ) Υ ) Γ ) Ν ) Α

22 Κωδικοποίηση κατά Huffman 1) Ε ) ) Ι ) Μ ) Ο ) Σ ) Θ ) Φ ) Υ ) Γ ) Ν ) Α CS Position Κωδικοποίηση κατά Shannon-Fanο 1) Ε ) ) Ι ) Μ ) Ο ) Σ ) Θ ) Φ ) Υ ) Γ ) Ν ) Α

23 Κωδικοποίηση κατά Lempel-Ziv (LZ78) Index i-1 = Symbol = Ο - Θ Ε Ι Σ Φ Υ Γ Μ Ν Α k w[k] m[k] s[k] s[k] z[k] length CodeWord 1) Ο 0 Ο ) ) Θ 0 Θ ) Ε 0 Ε ) Ι 0 Ι ) ΟΣ 1 Σ ) -Ε 2 Ε ) Φ 0 Φ ) Υ 0 Υ ) Γ 0 Γ ) Ε ) ΕΜ 4 Μ ) ΕΙ 4 Ι ) Σ 0 Σ ) -Μ 2 Μ ) ΕΙΝ 13 Ν ) Α 0 Α ) Μ 0 Μ ) Ε 0 Ε Στατιστικές µηνύµατος Εντροπία = bits/symbol Hufmann Μέσο µήκος κώδικα = bits/symbol Shannon-Fano Μέσο µήκος κώδικα = bits/symbol Lempel-Ziv Μέσο µήκος κώδικα = bits/symbol Hufmann Λόγος συµπίεσης = Shannon-Fano Λόγος συµπίεσης = Lempel-Ziv Λόγος συµπίεσης =

24 ΘΕΜΑ 2 ο ίνεται οµοιόµορφος δίαυλος D=(X,P(X),Y,Y(P),P(Y X)) µε : Αλφάβητο εισόδου Χ=[a, b, c] και πιθανοτική κατανοµή P(Χ) = [ pr(x=a)=1/2, pr(x=b)=1/4, pr(x=c)= 1/4] Αλφάβητο εξόδου Υ=[a, b, c] και πιθανοτική κατανοµή P(Υ) = [ pr(y=a)=1/3, pr(y=b)=3/8, pr(y=c)=7/24] 9. Να υπολογισθεί ο πίνακας του διαύλου P(Y X) 10. Να υπολογισθεί η πιθανότητα να ληφθεί στην έξοδο το µήνυµα aabcb a. Όταν είναι γνωστό ότι στάλθηκε b. Όταν δεν είναι γνωστό ότι στάλθηκε 11. Τι παρατηρείται; Σχολιάστε Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca ΑΠΑΝΤΗΣΗ 1. Επειδή ο δίαυλος είναι οµοιόµορφος, ο πίνακας του διαύλου P(Y X) θα έχει την µορφή pr( y = a x= a) pr( y = b x= a) pr( y = c x= a) u v w PY ( X) = pry ( a x b) pr( b b x b) pr( y c x b) w u v = = = = = = = pr( y = a x= c) pr( y = b x= c) pr( y = c x= c) v w u δηλαδή οι γραµµές του πίνακα θα είναι µεταθέσεις των u, v και w. Θα ισχύει : P(Y)=P(X)P(Y X). Επιλύουµε το σύστηµα αυτό, και βρίσκουµε τις ζητούµενες πιθανότητες του πίνακα του διαύλου. (1/2)u + (1/4)v + (1/4)w = 1/3 (1/4)u + (1/2)v + (1/4)w = 3/8 (1/4)u + (1/4)v + (1/2)w = 7/24 και βρίσκουµε u=1/3, v=1/2, w=1/6, δηλαδή pr( y = a x= a) pr( y = b x= a) pr( y = c x= a) u v w 1/3 1/2 1/6 P( Y X) = pr( y a x b) pr( b b x b) pr( y c x b) w u v 1/6 1/3 1/2 = = = = = = = = pr( y = a x= c) pr( y = b x= c) pr( y = c x= c) v w u 1/2 1/6 1/3 2a. Αν είναι γνωστό ότι στάλθηκε το µήνυµα aabcb η πιθανότητα να ληφθεί είναι: pr(y=a x=a) pr(y=a x=a) pr(y=b x=b) pr(y=c x=c) pr(y=b x=b)=(1/3)(1/3)(1/3)(1/3)(1/3)=(1/3) 5 =1/243 2b. Αν δεν είναι γνωστό ότι στάλθηκε το µήνυµα aabcb η πιθανότητα να ληφθεί είναι: pr(y=a) pr(y=a) pr(y=b) pr(y=c) pr(y=bb)=(1/3)(1/3)(3/8)(7/24)(3/8)=(3*7*3)/(3*3*8*24*8)=7/ Παρατηρώ ότι (1/243)<(7/1436), διότι στη δεύτερη περίπτωση µπορεί να ληφθεί το σωστό µήνυµα από λάθος!! 4. Η πιθανότητα να ληφθεί το µήνυµα abc ενώ στάλθηκε το bca είναι : pr(y=a x=b) pr(y=b x=c) pr(y=c x=a)=(1/6)(1/6)(1/6)=1/216 24

25 ΘΕΜΑ 3 ο Να κρυπτογραφηθεί και να αποκρυπτογραφηθεί το µήνυµα «ΤΩΡΑ», µε τον κρυπτογράφο Hill και κλειδί τον πίνακα Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). ΑΠΑΝΤΗΣΗ Τα γράµµατα Τ,Ω,Ρ και Α αντιστοιχούν στους αριθµούς 18, 23, 16 και 0. Τα κωδικοποιούµε ανά δύο και έχουµε: 11 8 [ 18 23] [ ] [ 267 mod mod 24] [ 3 17] 3 7 = = = 11 8 [ 16 0] = [ ] = [ 176 mod mod 24] = [ 8 8] 3 7 Οι λύσεις 3, 17, 11 και 15 αντιστοιχούν στα γράµµατα, Σ, Μ και Π και η κρυπτογράφηση του µηνύµατος είναι «ΣΙΙ» Για την αποκρυπτογράφηση θα πρέπει να βρούµε τον αντίστροφο του πίνακα κρυπτογράφησης mod24. Έχω : / /(77 24) / = Adj 3 7 ορίζουσα 3 7 = 3 11 = 3 11 = / 5mod / 5mod 24 a b 11 8 = / 53mod 24 = / 5mod 24 = = = / 5mod 24 11/ 5mod 24 c d / 5mod 24 = a 5a= 7 mod 24 a= / 5mod 24 = b 5b= 16 mod 24 b= 8 21/ 5mod 24 = c 5c= 21mod 24 c= / 5mod 24 = d 5d= 11mod 24 d= 7 πράγµατι mod = = Αποκρυπτογράφηση : mod mod = = = 11 8 [ 8 8] = [ ] = [ 160 mod mod 24] = [ 16 0] 9 7 [ ] [ ] [ ] [ ] 25

26 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΣΕΠΤΕΜΒΡΙΟΥ 2004 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «ΕΘΝΙΚΗ ΕΛΛΑ ΟΣ ΓΕΙΑ ΣΟΥ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Να υπολογισθούν τα στατιστικά στοιχεία του µηνύµατος, δηλαδή, η εντροπία και τα µέση µήκη των πιο πάνω κωδίκων. Να γίνουν παρατηρήσεις. ΘΕΜΑ 2 ο ίδεται δίαυλος πληροφορίας µε αλφάβητο εισόδου Α={a,b,c}, πιθανότητες συµβόλων εισόδου P(A)={1/3,1/3,1/3) και αλφάβητο εξόδου το Β={a,b,c}. Αν Q(B/A) είναι ο πίνακας του διαύλου και στέλνεται στον δίαυλο το µήνυµα Μ=acaba να υπολογισθεί η πιθανότητα ότι αυτό θα ληφθεί σωστά εφόσον είναι γνωστό ότι έχει σταλεί και η πιθανότητα να ληφθεί σωστά αν δεν είναι γνωστό ότι έχει σταλεί. Τι παρατηρείτε; εξηγείστε. QB ( / A) = ΘΕΜΑ 3 ο L NM O QP 1/ 3 1/ 3 1/ 3 2/ 3 1/ / 3 1/ 3 Να κρυπτογραφηθεί και να αποκρυπτογραφηθεί το µήνυµα «ΜΕΤΑ», µε τον 11 8 κρυπτογράφο Hill και κλειδί τον πίνακα 3 7. Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). 26

27 ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΙΑΣΤΗΜΙΚΗΣ ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2005 ΜΑΘΗΜΑ: ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Ι ΑΣΚΩΝ: Επ. Καθ. ηµήτριος ιαµαντίδης ΘΕΜΑ 1 ο (µονάδες 6 = 2+2+2) ίνεται µήνυµα THISISATIMELESSMESSAGE κωδικοποιηµένο µε χαρακτήρες ASCII των 8 bits. Να κωδικοποιηθεί το µήνυµα στο δυαδικό αλφάβητο κατά: 1) Huffman 2) Shannon-Fano 3) Lempel-Ziv (LZ78) 4) Ποια από τις κωδικοποιήσεις είναι καλύτερη και γιατί; ΘΕΜΑ 2 ο (µονάδες 2) Τριαδικός συµµετρικός δίαυλος αποτυγχάνει να στείλει το σωστό σύµβολο στην έξοδό του µε πιθανότητα q. Το αλφάβητο εισόδου Α είναι ισοπίθανο. 1) Είναι ο δίαυλος οµοιόµορφος και γιατί; 2) Να υπολογισθεί η πιθανοτική κατανοµή του αλφαβήτου εξόδου Ρ(Β). 3) Οι backward Εντροπίες Η(Α b) του αλφαβήτου εισόδου. 4) Η ασάφεια του διαύλου Η(Α Β) 5) Η αµοιβαία πληροφορία Ι(Α;Β) του διαύλου. ΘΕΜΑ 3 ο (µονάδες 2) Αν το µήνυµα ΖΓΕ κρυπτογραφήθηκε κατά HILL µε κλειδί το , σε αλφάβητο 24 ελληνικών χαρακτήρων. Ποιο είναι το αρχικό µη κρυπτογραφηµένο µήνυµα; Χρόνος γραπτών εξετάσεων δύο (2) ώρες. Καλή επιτυχία. THISISATIMELESSMESSAGE THISISATIMELESSMESSAGE Message Length in Symbols = 22 THISAMELG Number of distinct Symbols = 9 27

28 Frequency Table 1) T 2 2) H 1 3) I 3 4) S 6 5) A 2 6) M 2 7) E 4 8) L 1 9) G 1 Frequency Table Sorted 1) S ) E ) I ) T ) A ) M ) H ) L ) G Huffman Encoding ) S ) E ) I ) T ) A ) M ) H ) L ) G CS Position Shannon-Fano Encoding ) S ) E ) I ) T ) A

29 6) M ) H ) L ) G Lempel-Ziv (LZ78) Encoding Index i-1 = Symbol = T H I S A M E L G k w[k] m[k] s[k] s[k] z[k] length CodeWord 1) T 0 T ) H 0 H ) I 0 I ) S 0 S ) IS 3 S ) A 0 A ) TI 1 I ) M 0 M ) E 0 E ) L 0 L ) ES 9 S ) SM 4 M ) ESS 11 S ) AG 6 G ) E 0 E Information Quantities and Statistics ) S ) E ) I ) T ) A ) M ) H ) L ) G Message Entropy = bits/symbol Hufmann Code Mean Length = bits/symbol Shannon-Fano Code Mean Length = bits/symbol Lempel-Ziv Code Mean Length = bits/symbol Hufmann Compression Ratio = Shannon-Fano Compression Ratio = Lempel-Ziv Compression Ratio =

30 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ : ΣΕΠΤΕΜΒΡΙΟΣ 2005 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΘΕΜΑ 1ο ίνεται το µήνυµα «ΕΓΩΚΑΛΑΣΟΥΤΑΛΕΓΑ». Να γίνει κωδικοποίησή του κατά Huffman, Shannon-Fano και LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; ΘΕΜΑ 2 ο ύο τριαδικοί δίαυλοι συνδέονται σειριακά. Ο πρώτος επιτυγχάνει να στείλει τα σύµβολα εισόδου µε πιθανότητα 1/2 και ο δεύτερος µε πιθανότητα 1/3. Αν το Αλφάβητο εισόδου Χ=[a, b, c] έχει πιθανοτική κατανοµή P(Χ) = [ pr(x=a)=1/2, pr(x=b)=1/4, pr(x=c)= 1/4], να βρεθεί: 1. Η πιθανοτική κατανοµή του αλφαβήτου εξόδου της σύνθεσης των διαύλων. 2. Να υπολογισθεί η πιθανότητα να ληφθεί στην έξοδο το µήνυµα aabcb a. Όταν είναι γνωστό ότι στάλθηκε b. Όταν δεν είναι γνωστό ότι στάλθηκε Τι παρατηρείται; Σχολιάστε. ΘΕΜΑ 3 ο Να αποκρυπτογραφηθεί το µήνυµα «ΨΒΙΙΖΛ», µε τον κρυπτογράφο Hill. Το κλειδι κωδικοποίησης ήταν ο πίνακα Να γίνει επαλήθευση. Θεωρούµε ότι το αλφάβητό µας έχει 24 γράµµατα (σύµβολα, δηλαδή το ελληνικό αλφάβητο). Υποδείξεις Στο πρώτο θέµα κάθε κωδικοποίηση βαθµολογείται µε 2 µονάδες, εφόσον απαντηθούν σωστά όλα. Το δεύτερο θέµα βαθµολογείται µε δύο µονάδες Το τρίτο θέµα µε δύο µονάδες. Μη χάνετε το χρόνο σας σε πράξεις. Λύστε πρώτα ότι είναι γνωστό και όχι χρονοβόρο. εν χρειάζεται (δεν πρέπει) να µετατρέπουµε τις πιθανότητες σε δεκαδικούς αριθµούς. Τα κλάσµατα είναι ακριβή και δεν σπαταλούµε χρόνο κατά τους υπολογισµούς. 30

31 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΥ 2006 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (α) Να αποδειχθεί σε r-δικό συµµετρικό δίαυλο ότι όταν το αλφάβητο εισόδου είναι ισοπίθανο τότε και το αλφάβητο εξόδου είναι ισοπίθανο (β) Σε 5-δικό συµµετρικό δίαυλο το κάθε σύµβολο διαβιβάζεται µε πιθανότητα επιτυχίας 2/10. Το αλφάβητο εισόδου X={a, b, c, d, e} έχει πιθανοτική κατανοµή P(X)={2/10, 5/10, 1/10, 1/10, 1/10}. Να υπολογισθεί η πιθανότητα να διαβιβασθεί σωστά το µήνυµα bebcda όταν (β1) ξέρουµε ότι στάλθηκε και όταν (β2) δεν ξέρουµε ότι στάλθηκε. Θέµα 2 ο (α) Να κωδικοποιηθεί στο τριαδικό σύστηµα αρίθµησης κατά Hufman το µήνυµα THISISASTAR (β) Να κωδικοποιηθεί το µήνυµα «ΤΑ ΣΗΜΑΤΑ ΣΟΥ ΑΚΑΤΑΛΗΠΤΑ» (β1) κατά Shannon-Fano (β2) κατά LZ78 (γ) Ποια κωδικοποίηση είναι καλύτερη και γιατί; Θέµα 3 ο (α) Να κρυπτογραφηθεί κατά Hill το µήνυµα του δυαδικού αλφαβήτου Χ={Α, Β} 1 2 «ΑΒΒΑ», µε Κλειδί το K = 6 5. Να δοθεί στη συνέχεια η αποκρυπτογράφησή του. (β) Να λυθεί ή εξίσωση 5x=1mod17 Θέµα 4 ο (α) είξτε ότι για κάθε πληροφοριακή πηγή ισχύει H(A 2 )=2H(A). Επιβεβαιώστε για Πληροφοριακή πηγή µε πηγαίο αλφάβητο Α = { s 1, s 2, s 3, s 4 } και Πιθανοτική κατανοµή P(Α) = {0.1, 0.2,. 0.3, 0.4}. (β) ιατυπώστε και εξηγήστε την ανισότητα Kraft. 31

32 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΦΕΒΡΟΥΑΡΙΟΣ 2001 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (6 µοναδες) ίνεται το µήνυµα: ΝΙΨΟΝ_ΑΝΟΜΗΜΑΤΑ_ΜΗ_ΜΟΝΑΝ_ΟΨΙΝ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 13. Huffman 14. Shannon-Fano 15. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; Θέµα 2 ο (2 µονάδες) Το µήνυµα RGNQVOVK έχει κρυπτογραφηθεί κατά Hill στο αγγλικό αλφάβητο µε γράµµατα, Α,Β,...,Ζ,<κενο> και κλειδί το ή το Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος. Θέµα 3 ο (2 µοναδες) ίνονται δύο δίαυλοι Χ και Υ µε πίνακες αντιστοίχως : X(B A) =, Y(C B) = , X(A) = [ ] και Y(C) = [ p(c = 0) p(c = 1) p(c =?)] Οι δίαυλοι συνδέονται ώστε η έξοδος του Χ να είναι είσοδος του Υ. Ποια η πιθανότητα να µην µπορούµε να αποφανθούµε ότι το µήνυµα είναι σωστό ή είναι λάθος αν αυτό (α) είναι γνωστό ότι έχει σταλεί και (β) δεν είναι γνωστό ότι έχει σταλεί. 32

33 ΕΞΕΤΑΣΤΙΚΗ ΠΕΡΙΟ ΟΣ: ΣΕΠΤΕΜΒΡΙΟΣ-Α 2007 ΜΑΘΗΜΑ : ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΩΝ ΚΑΙ ΚΩ ΙΚΩΝ Θέµα 1 ο (2 µονάδες) ίνεται η πληροφοριακή πηγή µε αλφάβητο A={a,b,c,d,e} και πιθανοτική κατανοµή των συµβόλων του αντίστοιχα P(A)=(1/4, 1/4, 1/8, 1/8, 1/4) (α) Ποιο είναι το σύνολο των µηνυµάτων µήκους µέχρι και 3 γράµµατα; (β) Ποίο είναι το σύνολο των µηνυµάτων µήκους ακριβώς 4 γραµµάτων; (γ) Η έννοια της εντροπίας αναφέρεται σε µήνυµα ή όχι. Τι παριστάνει; Εξηγήστε µε σαφήνεια. (δ) Να βρεθεί η πιθανότητα εµφάνισης του µηνύµατος abcdae θεωρώντας ότι το µήνυµα εµφανίζει (i) η πληροφοριακή πηγή Α και (ii) η πληροφοριακή πηγή Α 2. Υπάρχει διαφορά; Εξηγήστε. Θέµα 2 ο (2 µονάδες) Το µήνυµα GHZW έχει κρυπτογραφηθεί κατά Hill στο αγγλικό αλφάβητο µε γράµµατα, και κλειδί το ή το Να υποδείξετε ποιο κλειδί είναι σωστό και γιατί. Να γίνει η αποκρυπτογράφηση του µηνύµατος και επαλήθευση. Θέµα 3 ο (6 µοναδες) ίνεται το µήνυµα: ΤΙ_ΜΕΡΑ_ΚΙ_ΑΥΤΗ_ΣΗΜΕΡΑ (Μεταξύ των λέξεων υπάρχει ένα κενό το _ ) Να γίνει η Κωδικοποίησή του κατά 16. Huffman 17. Shannon-Fano 18. LZ78. Ποια κωδικοποίηση είναι καλύτερη και γιατί; 33