Θεωρία Πληροφορίας και Kωδικοποίησης Σηµείωση Το ΕΑΠ είναι υπεύθυνο για την επιµέλεια έκδοσης και την ανάπτυξη των κειµένων σύµφωνα µε τη Μεθοδολογία της εξ Αποστάσεως Εκπαίδευσης. Για την επιστηµονική αρτιότητα και πληρότητα των συγγραµ- µάτων την αποκλειστική ευθύνη φέρουν οι συγγραφείς, κριτικοί αναγνώστες και ακαδηµαϊκοί υπεύθυνοι που ανέλαβαν το έργο αυτό.
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Σχολή Θετικών Επιστηµών και Τεχνολογίας Πρόγραµµα Σπουδών ΠΛHPOΦOPIKH Θεµατική Ενότητα BΑΣΙΚΑ ΖΗΤΗΜΑTA ΙΚΤΥΩΝ Η/Υ Τόµος A' Θεωρία Πληροφορίας και Kωδικοποίησης ΒΑΣΙΛΕΙΟΣ ΖΟΡΚΑ ΗΣ ιδάκτωρ Πληροφορικής, Hλεκτρολόγος Mηχανικός ΠATPA 2002
ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Σχολή Θετικών Επιστηµών και Τεχνολογίας Πρόγραµµα Σπουδών ΠΛHPOΦOPIKH Θεµατική Ενότητα BΑΣΙΚΑ ΖΗΤΗΜΑΤΑ ΙΚΤΥΩΝ Η/Υ Τόµος A' Θεωρία Πληροφορίας και Kωδικοποίησης Συγγραφή ΒΑΣΙΛΕΙΟΣ ΖΟΡΚΑ ΗΣ ιδάκτωρ Πληροφορικής, Hλεκτρολόγος Mηχανικός Kριτική Aνάγνωση MAPIOΣ MAYPONIKOΛAΣ Eπίκουρος Kαθηγητής Tµήµατος Πληροφορικής Πανεπιστηµίου Kύπρου Ακαδηµαϊκός Υπεύθυνος για την επιστηµονική επιµέλεια του τόµου ΠAYΛOΣ ΣΠYPAKHΣ Καθηγητής Tµήµατος Mηχανικών H/Y & Πληροφορικής Πανεπιστηµίου Πατρών Επιµέλεια στη µέθοδο της εκπαίδευσης από απόσταση IΩANNHΣ KOYTΣONIKOΣ Γλωσσική Επιµέλεια PΩΞANH KATΣH Τεχνική Επιµέλεια TYPORAMA Καλλιτεχνική Επιµέλεια, Σελιδοποίηση TYPORAMA Συντονισµός ανάπτυξης εκπαιδευτικού υλικού και γενική επιµέλεια των εκδόσεων ΟΜΑ Α ΕΚΤΕΛΕΣΗΣ ΕΡΓΟΥ ΕΑΠ / 2002 ISBN: 960 538 453 1 Kωδικός Έκδοσης: ΠΛH 22/1 Copyright 2002 για την Ελλάδα και όλο τον κόσµο ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Οδός Παπαφλέσσα & Υψηλάντη, 26222 Πάτρα Τηλ: (0610) 314094, 314206 Φαξ: (0610) 317244 Σύµφωνα µε το Ν. 2121/1993, απαγορεύεται η συνολική ή αποσπασµατική αναδηµοσίευση του βιβλίου αυτού ή η αναπαραγωγή του µε οποιοδήποτε µέσο χωρίς την άδεια του εκδότη.
ÂÚÈ fiìâó Πρόλογος... 8 K º π 1 EÈÛ ÁˆÁ ÛÙË ÂˆÚ ÏËÚÔÊÔÚ Eισαγωγικές παρατηρήσεις... 13 1.1 Η εξέλιξη της θεωρίας πληροφορίας... 15 1.1.1 Tύποι πληροφορίας... 15 1.1.2 Tο µέτρο ποσότητας πληροφορίας του Hartley... 16 1.2 To επικοινωνιακό µοντέλο... 18 1.2.1 Στοιχειώδες επικοινωνιακό µοντέλο... 18 1.2.2 Λεπτοµερές επικοινωνιακό µοντέλο... 19 1.3 Στοιχεία πιθανοτήτων Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά... 22 1.4 Tο µέτρο πληροφορίας του Shannon Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά... 26 1.4.1 Oρισµός του µέτρου πληροφορίας του Shannon... 28 1.4.2 Iδιότητες της µέσης ποσότητας πληροφορίας... 30 1.5 Συνδυασµένη, υπό συνθήκη και αµοιβαία πληροφορία Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά... 33 1.5.1 H συνδυασµένη ποσότητα πληροφορίας... 33 1.5.2 H υπό συνθήκη ποσότητα πληροφορίας... 35 1.5.3 H αµοιβαία ποσότητα πληροφορίας... 38 Σύνοψη... 42 Bιβλιογραφία... 44
6 øƒπ ƒ º ƒπ π Kø π π K º π 2 ËÁ ÏËÚÔÊÔÚ Eισαγωγικές παρατηρήσεις... 45 2.1 ιακριτές πηγές πληροφορίας χωρίς µνήµη... 47 2.1.1 Ποσότητα πληροφορίας της πηγής... 47 2.1.2 Kωδικοποίηση πηγής... 50 2.1.3 Aλγόριθµοι κωδικοποίησης... 58 2.1.4 Tο πλήθος των πιο πιθανών µηνυµάτων... 66 2.2 ιακριτές πηγές πληροφορίας µε µνήµη... 69 2.2.1 Πηγές Markoff... 69 2.2.2 Eντροπία των πηγών Markoff... 72 2.2.3 Zητήµατα κωδικοποίησης των πηγών Markoff... 74 2.3 Συνεχείς πηγές πληροφορίας... 76 Σύνοψη... 80 Bιβλιογραφία... 81 º π 3 K Ó ÏÈ EappleÈÎÔÈÓˆÓ Eισαγωγικές παρατηρήσεις... 83 3.1 ιακριτά κανάλια επικοινωνίας... 85 3.1.1 Xωρητικότητα καναλιού χωρίς µνήµη... 88 3.1.2 Θεώρηµα κωδικοποίησης... 93 3.1.3 ιακριτά κανάλια µε µνήµη... 98 3.2 Συνεχή κανάλια επικοινωνίας... 101 3.2.1 Xωρητικότητα συνεχών καναλιών χωρίς µνήµη... 102 3.2.2 Θεώρηµα κωδικοποίησης συνεχών καναλιών... 106 3.2.3 Συνεχή κανάλια µε µνήµη... 107
EPIEXOMENA 7 Σύνοψη... 110 Bιβλιογραφία... 111 K º π 4 Kˆ ÈÎÔappleÔ ËÛË EÏ Á Ô Ê ÏÌ ÙÔ Eισαγωγικές παρατηρήσεις... 113 4.1 Eισαγωγή στη θεωρία κωδικοποίησης Eισαγωγικές παρατηρήσεις... 115 4.1.1 Παραδοχές και ορισµοί... 116 4.1.2 Tο πρόβληµα της κωδικοποίησης και της αποκωδικοποίησης... 121 4.1.3 Kώδικες ανίχνευσης σφαλµάτων... 123 4.1.4 Kώδικες διόρθωσης σφαλµάτων... 124 4.2 Γραµµικοί κώδικες Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά... 128 4.2.1 Mαθηµατικό υπόβαθρο... 130 4.2.2 Γεννήτορες πίνακες και κωδικοποίηση... 138 4.2.3 Πίνακες ελέγχου ισοτιµίας και αποκωδικοποίηση... 140 4.2.4 Tέλειοι κώδικες... 147 4.2.5 Kώδικες Hamming... 150 4.3 Kυκλικοί κώδικες Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά... 153 4.3.1 Παράσταση λέξεων µε πολυώνυµα, πεπερασµένα πεδία... 153 4.3.2 Eισαγωγή στους κυκλικούς κώδικες... 156 4.3.3 Kωδικοποίηση και αποκωδικοποίηση... 160 4.3.4 BCH κώδικες... 163 4.4 Άλλοι κώδικες... 168 4.4.1 Reed Solomon κώδικες... 168
8 øƒπ ƒ º ƒπ π Kø π π 4.4.2 Kώδικες διόρθωσης καταιγιστικών σφαλµάτων... 168 4.4.3 Συνελικτικοί κώδικες... 169 Σύνοψη... 170 Bιβλιογραφία... 171 K º π 5 KÚ appleùôáú Ê Î È ÂˆÚ ÏËÚÔÊÔÚ Eισαγωγικές παρατηρήσεις... 173 5.1 Eισαγωγή στην κρυπτολογία... 175 5.1.1 Kρυπτογραφία... 175 5.1.2 Kρυπτανάλυση... 176 5.1.3 Kρυπτογραφικοί αλγόριθµοι... 177 5.2 Aσφάλεια κρυπτογραφικών συστηµάτων... 181 5.2.1 Mέτρα πληροφορίας και ασφάλεια κρυπτογραφικών συστηµάτων... 182 5.2.2 H έννοια της µοναδιαίας απόστασης... 186 5.2.3 Θεωρία πολυπλοκότητας και ασφάλεια κρυπτογραφικών συστηµάτων... 190 5.2.4 Mονόδροµοι συναρτήσεις ως βάσεις κρυπτογραφικών συστηµάτων... 193 Σύνοψη... 197 Bιβλιογραφία... 199 Απαντήσεις ασκήσεων αυτοαξιολόγησης... 201 Απαντήσεις δραστηριοτήτων... 242 Γλωσσάριο... 243