Θεωρία Πληροφορίας και Kωδικοποίησης

Transcript

1 Θεωρία Πληροφορίας και Kωδικοποίησης Σηµείωση Το ΕΑΠ είναι υπεύθυνο για την επιµέλεια έκδοσης και την ανάπτυξη των κειµένων σύµφωνα µε τη Μεθοδολογία της εξ Αποστάσεως Εκπαίδευσης. Για την επιστηµονική αρτιότητα και πληρότητα των συγγραµ- µάτων την αποκλειστική ευθύνη φέρουν οι συγγραφείς, κριτικοί αναγνώστες και ακαδηµαϊκοί υπεύθυνοι που ανέλαβαν το έργο αυτό.

2 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Σχολή Θετικών Επιστηµών και Τεχνολογίας Πρόγραµµα Σπουδών ΠΛHPOΦOPIKH Θεµατική Ενότητα BΑΣΙΚΑ ΖΗΤΗΜΑTA ΙΚΤΥΩΝ Η/Υ Τόµος A' Θεωρία Πληροφορίας και Kωδικοποίησης ΒΑΣΙΛΕΙΟΣ ΖΟΡΚΑ ΗΣ ιδάκτωρ Πληροφορικής, Hλεκτρολόγος Mηχανικός ΠATPA 2002

3 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Σχολή Θετικών Επιστηµών και Τεχνολογίας Πρόγραµµα Σπουδών ΠΛHPOΦOPIKH Θεµατική Ενότητα BΑΣΙΚΑ ΖΗΤΗΜΑΤΑ ΙΚΤΥΩΝ Η/Υ Τόµος A' Θεωρία Πληροφορίας και Kωδικοποίησης Συγγραφή ΒΑΣΙΛΕΙΟΣ ΖΟΡΚΑ ΗΣ ιδάκτωρ Πληροφορικής, Hλεκτρολόγος Mηχανικός Kριτική Aνάγνωση MAPIOΣ MAYPONIKOΛAΣ Eπίκουρος Kαθηγητής Tµήµατος Πληροφορικής Πανεπιστηµίου Kύπρου Ακαδηµαϊκός Υπεύθυνος για την επιστηµονική επιµέλεια του τόµου ΠAYΛOΣ ΣΠYPAKHΣ Καθηγητής Tµήµατος Mηχανικών H/Y & Πληροφορικής Πανεπιστηµίου Πατρών Επιµέλεια στη µέθοδο της εκπαίδευσης από απόσταση IΩANNHΣ KOYTΣONIKOΣ Γλωσσική Επιµέλεια PΩΞANH KATΣH Τεχνική Επιµέλεια TYPORAMA Καλλιτεχνική Επιµέλεια, Σελιδοποίηση TYPORAMA Συντονισµός ανάπτυξης εκπαιδευτικού υλικού και γενική επιµέλεια των εκδόσεων ΟΜΑ Α ΕΚΤΕΛΕΣΗΣ ΕΡΓΟΥ ΕΑΠ / 2002 ISBN: Kωδικός Έκδοσης: ΠΛH 22/1 Copyright 2002 για την Ελλάδα και όλο τον κόσµο ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ Οδός Παπαφλέσσα & Υψηλάντη, Πάτρα Τηλ: (0610) , Φαξ: (0610) Σύµφωνα µε το Ν. 2121/1993, απαγορεύεται η συνολική ή αποσπασµατική αναδηµοσίευση του βιβλίου αυτού ή η αναπαραγωγή του µε οποιοδήποτε µέσο χωρίς την άδεια του εκδότη.

4 ÂÚÈ fiìâó Πρόλογος... 8 K º π 1 EÈÛ ÁˆÁ ÛÙË ÂˆÚ ÏËÚÔÊÔÚ Eισαγωγικές παρατηρήσεις Η εξέλιξη της θεωρίας πληροφορίας Tύποι πληροφορίας Tο µέτρο ποσότητας πληροφορίας του Hartley To επικοινωνιακό µοντέλο Στοιχειώδες επικοινωνιακό µοντέλο Λεπτοµερές επικοινωνιακό µοντέλο Στοιχεία πιθανοτήτων Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά Tο µέτρο πληροφορίας του Shannon Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά Oρισµός του µέτρου πληροφορίας του Shannon Iδιότητες της µέσης ποσότητας πληροφορίας Συνδυασµένη, υπό συνθήκη και αµοιβαία πληροφορία Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά H συνδυασµένη ποσότητα πληροφορίας H υπό συνθήκη ποσότητα πληροφορίας H αµοιβαία ποσότητα πληροφορίας Σύνοψη Bιβλιογραφία... 44

5 6 øƒπ ƒ º ƒπ π Kø π π K º π 2 ËÁ ÏËÚÔÊÔÚ Eισαγωγικές παρατηρήσεις ιακριτές πηγές πληροφορίας χωρίς µνήµη Ποσότητα πληροφορίας της πηγής Kωδικοποίηση πηγής Aλγόριθµοι κωδικοποίησης Tο πλήθος των πιο πιθανών µηνυµάτων ιακριτές πηγές πληροφορίας µε µνήµη Πηγές Markoff Eντροπία των πηγών Markoff Zητήµατα κωδικοποίησης των πηγών Markoff Συνεχείς πηγές πληροφορίας Σύνοψη Bιβλιογραφία º π 3 K Ó ÏÈ EappleÈÎÔÈÓˆÓ Eισαγωγικές παρατηρήσεις ιακριτά κανάλια επικοινωνίας Xωρητικότητα καναλιού χωρίς µνήµη Θεώρηµα κωδικοποίησης ιακριτά κανάλια µε µνήµη Συνεχή κανάλια επικοινωνίας Xωρητικότητα συνεχών καναλιών χωρίς µνήµη Θεώρηµα κωδικοποίησης συνεχών καναλιών Συνεχή κανάλια µε µνήµη

6 EPIEXOMENA 7 Σύνοψη Bιβλιογραφία K º π 4 Kˆ ÈÎÔappleÔ ËÛË EÏ Á Ô Ê ÏÌ ÙÔ Eισαγωγικές παρατηρήσεις Eισαγωγή στη θεωρία κωδικοποίησης Eισαγωγικές παρατηρήσεις Παραδοχές και ορισµοί Tο πρόβληµα της κωδικοποίησης και της αποκωδικοποίησης Kώδικες ανίχνευσης σφαλµάτων Kώδικες διόρθωσης σφαλµάτων Γραµµικοί κώδικες Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά Mαθηµατικό υπόβαθρο Γεννήτορες πίνακες και κωδικοποίηση Πίνακες ελέγχου ισοτιµίας και αποκωδικοποίηση Tέλειοι κώδικες Kώδικες Hamming Kυκλικοί κώδικες Σκοπός, Προσδοκώµενα αποτελέσµατα, Έννοιες κλειδιά Παράσταση λέξεων µε πολυώνυµα, πεπερασµένα πεδία Eισαγωγή στους κυκλικούς κώδικες Kωδικοποίηση και αποκωδικοποίηση BCH κώδικες Άλλοι κώδικες Reed Solomon κώδικες

7 8 øƒπ ƒ º ƒπ π Kø π π Kώδικες διόρθωσης καταιγιστικών σφαλµάτων Συνελικτικοί κώδικες Σύνοψη Bιβλιογραφία K º π 5 KÚ appleùôáú Ê Î È ÂˆÚ ÏËÚÔÊÔÚ Eισαγωγικές παρατηρήσεις Eισαγωγή στην κρυπτολογία Kρυπτογραφία Kρυπτανάλυση Kρυπτογραφικοί αλγόριθµοι Aσφάλεια κρυπτογραφικών συστηµάτων Mέτρα πληροφορίας και ασφάλεια κρυπτογραφικών συστηµάτων H έννοια της µοναδιαίας απόστασης Θεωρία πολυπλοκότητας και ασφάλεια κρυπτογραφικών συστηµάτων Mονόδροµοι συναρτήσεις ως βάσεις κρυπτογραφικών συστηµάτων Σύνοψη Bιβλιογραφία Απαντήσεις ασκήσεων αυτοαξιολόγησης Απαντήσεις δραστηριοτήτων Γλωσσάριο