ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ. Χρήστου Νικολαΐδη. Εισαγωγή στη Θεωρία της Πληροφορίας. Θεωρία & Ασκήσεις

Transcript

1 Εισαγωγή στη Θεωρία της Πληροφορίας Θεωρία & Ασκήσεις Χρήστου Νικολαΐδη εκέµβριος

2

3 Χρήστος Νικολαΐδης ιδάκτωρ του Πανεπιστηµίου της Οξφόρδης ΑΡΧΕΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ Εισαγωγή στη Θεωρία της Πληροφορίας Θεωρία & Ασκήσεις emil: εκέµβριος

4

5 ΠΡΟΛΟΓΟΣ Ως ανεξάρτητη επιστήµη, η Θεωρία της Πληροφορίας εµφανίζεται µετά το 98, µε τις µελέτες του Μαθηµατικού C.E. Shnnon οι οποίες παρουσιάζονται σε δύο δηµοσιεύσεις µε τίτλο A Mthemticl Theory of Telecommunictions. Θεωρία και εφαρµογές αναπτύσσονται παράλληλα µε µια αµφίδροµη σχέση και έναν ξέφρενο ρυθµό που θα δικαιολογούσε τον όρο επανάσταση καθώς άλλαξε τον κόσµο των τηλεπικοινωνιών ριζικά στο δεύτερο µισό του ου αιώνα. Μέχρι τότε, υπήρχε η αίσθηση ότι η βελτίωση των τηλεπικοινωνιών αφορούσε κυρίως τα φυσικά µέσα του τηλεπικοινωνιακού συστήµατος κεραίες, κανάλια κλπ). Ο Shnnon υπέδειξε ότι η παρέµβαση στην κωδικοποίηση µπορεί να φέρει τα επιθυµητά αποτελέσµατα. Η συνεργασία Τηλεπικοινωνιακών Μηχανικών και Μαθηµατικών σε ερευνητικό επίπεδο υπήρξε στενή και µια παρουσίαση της Θεωρίας της Πληροφορίας σε προπτυχιακό πρόγραµµα δεν µπορεί να αποφύγει στοιχεία και των δύο κλάδων. Ωστόσο, το σύγγραµµα αυτό έχει εισαγωγικό χαρακτήρα και δεν προχωράει στη σχολαστική ανάπτυξη του θέµατος. Απευθύνεται στον αναγνώστη που ψάχνει το ερέθισµα, που επιθυµεί να καταλάβει τι συµβαίνει στο παρασκήνιο των τηλεπικοινωνιών από την άποψη της Θεωρίας της Πληροφορίας, χωρίς να περιπλανηθεί στα «βαριά µαθηµατικά» που αποτελούν το θεωρητικό υπόβαθρο του αντικειµένου. Αποφεύγονται οι µακροσκελείς και οι δυσνόητες αποδείξεις και όπου κρίνεται σκόπιµο αυτές αναπτύσσονται περιγραφικά. Αν και Μαθηµατικός, προσπαθώ να περιορίσω το µαθηµατικό περιβάλλον της παρουσίασης αυτής, στο βαθµό βέβαια που αυτό είναι δυνατό, και αυτό γίνεται συνειδητά νιώθω απαλλαγµένος από το σύµπλεγµα της επιστηµονικοφανούς ανάπτυξης ενός θέµατος µε την προσθήκη δυσνόητων εννοιών και εκφράσεων και λαµβάνω µόνο υπόψη τον εισαγωγικό χαρακτήρα του συγγράµµατος. εν αποτελεί πράξη αγνωµοσύνης προς τα Μαθηµατικά, αλλά αντίθετα, ένδειξη σεβασµού και προσπάθεια θωράκισης της επιστήµης αυτής. Συµβαίνει πολύ συχνά να χανόµαστε στο δρόµο περίπλοκων µαθηµατικών πράξεων χωρίς να βλέπουµε το τελικό επίτευγµα. Είναι άδικο να στήνεται στο απόσπασµα µια αδιαµφισβήτητη επιστήµη επιτρέψτε µου την αλαζονεία! µόνο και µόνο επειδή ο φορµαλισµός της δεν τη βοηθάει.

6 Ο απαιτητικός λοιπόν µελετητής, µπορεί να δει το συγκεκριµένο σύγγραµµα ως ερέθισµα και από εκεί και πέρα να προχωρήσει, αν το επιθυµεί, σε πιο εξειδικευµένη βιβλιογραφία στη Θεωρία της Πληροφορίας ή ακόµη και στους Κώδικες ιόρθωσης Σφαλµάτων. Υπάρχει εξάλλου πλούσια. Το σύγγραµµα αφιερώνεται στους πρώτους αποδέκτες του, τους σπουδαστές του τµήµατος Τεχνολογίας Πληροφορικής & Τηλεπικοινωνιών του ΤΕΙ Λάρισας. Μέσα από τα µαθήµατά µου, τις παρατηρήσεις τους, τις συζητήσεις µας και την υποµονή τους διαµορφώθηκε το παρόν υλικό. Τους ευχαριστώ. ρ Χρήστος Νικολαΐδης εκέµβριος

7 ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ : ΕΙΣΑΓΩΓΗ. Μια ιδέα για το αντικείµενο. Η Θεωρία της Πληροφορίας Ασκήσεις Σύντοµες Απαντήσεις των Ασκήσεων ΚΕΦΑΛΑΙΟ : ΜΕΤΡΟ ΠΛΗΡΟΦΟΡΙΑΣ ΕΝΤΡΟΠΙΑ. Τι είναι Πληροφορία Πως τη µετράµε. Η Αυτοπληροφορία. Η Εντροπία 6. Το νόηµα της εντροπίας 9.5 Συνδετική Εντροπία 9.6 Υπό Συνθήκη Εντροπία.7 Επέκταση της Πηγής Πληροφορίας Ασκήσεις 6 Σύντοµες Απαντήσεις των Ασκήσεων 8 ΚΕΦΑΛΑΙΟ : ΚΑΝΑΛΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Τι είναι Κανάλι Πληροφορίας 9. Βασικά Χαρακτηριστικά ενός Καναλιού 9. Έννοιες Εντροπίας σε ένα Σύστηµα Επικοινωνίας 5. Χωρητικότητα του Καναλιού 6.5 Χωρητικότητες Απλών Καναλιών 8 Ασκήσεις Σύντοµες Απαντήσεις των Ασκήσεων 6 i

8 ΚΕΦΑΛΑΙΟ : ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΧΩΡΙΣ ΘΟΡΥΒΟ. Τι σηµαίνει κατάλληλη Κωδικοποίηση 9. Κώδικας Shnnon-Fno 5. Αποκωδικοποίηση 57. υαδικά δέντρα για Προθεµατικούς Κώδικες 59.5 Το πρώτο Θεώρηµα του Shnnon 6.6 Κώδικας Huffmn 6 Ασκήσεις 67 Σύντοµες Απαντήσεις των Ασκήσεων 7 ΚΕΦΑΛΑΙΟ 5: ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΜΕ ΘΟΡΥΒΟ 5. Το δεύτερο Θεώρηµα του Shnnon Ανίχνευση Σφαλµάτων ιόρθωση Σφαλµάτων Bit Ελέγχου Ισοτιµίας 8 5. Γραµµικοί Κώδικες ιόρθωσης Σφαλµάτων Ελάχιστη Απόσταση, Ανίχνευση και ιόρθωση Σφαλµάτων Επαναληπτικοί Κώδικες Κώδικες Hmming, H) 89 Ασκήσεις 9 Σύντοµες Απαντήσεις των Ασκήσεων 95 ΠΑΡΑΡΤΗΜΑΤΑ ΠΑΡΑΡΤΗΜΑ Α : ΛΟΓΑΡΙΘΜΟΙ 99 ΠΑΡΑΡΤΗΜΑ B : ΠΙΝΑΚΕΣ ΠΑΡΑΡΤΗΜΑ Γ : ΠΙΘΑΝΟΤΗΤΕΣ ii

9 ΑΝΑΛΥΤΙΚΕΣ ΛΥΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ Λύσεις Κεφαλαίου 7 Λύσεις Κεφαλαίου 9 Λύσεις Κεφαλαίου Λύσεις Κεφαλαίου 5 Λύσεις Κεφαλαίου 5 ΒΙΒΛΙΟΓΡΑΦΙΑ 5 iii

10 iv

11 . ΕΙΣΑΓΩΓΗ. ΜΙΑ Ι ΕΑ ΓΙΑ ΤΟ ΑΝΤΙΚΕΙΜΕΝΟ Ένα χωριό ινδιάνων Α δέχεται συχνά εχθρικές επιθέσεις. Συνεννοούνται λοιπόν οι ινδιάνοι του χωριού µε το γειτονικό σύµµαχο χωριό να καλούν βοήθεια ή να ειδοποιούν ότι δεν την χρειάζονται - µε τη χρήση καπνού. Σχηµατίζουν κάθε πρωί στον ουρανό δύο σύννεφα καπνού, µεγάλα ή µικρά, για να εκφράσουν το µήνυµά τους. Το δεύτερο σύννεφο απέχει από το πρώτο γύρω στα λεπτά έχουν τον τρόπο να µετράνε το χρόνο!). Τα µηνύµατα τα εκφράζουν ως εξής: ΣΥΝΝΕΦΑ ΚΑΠΝΟΥ ΜΗΝΥΜΑ µικρό µικρό ΜΕΓΑΛΟΣ ΚΙΝ ΥΝΟΣ ΑΜΕΣΗ ΒΟΗΘΕΙΑ µικρό µεγάλο ΚΙΝ ΥΝΟΣ ΝΑ ΕΙΣΤΕ ΣΕ ΕΤΟΙΜΟΤΗΤΑ µεγάλο µικρό ΜΙΚΡΟΣ ΚΙΝ ΥΝΟΣ ΤΑ ΒΓΑΖΟΥΜΕ ΠΕΡΑ ΜΟΝΟΙ ΜΑΣ µεγάλο µεγάλο ΚΑΝΕΝΑΣ ΚΙΝ ΥΝΟΣ Έλα όµως που χρειάζονται βοήθεια σχεδόν από τις 65 ηµέρες του χρόνου, οπότε η καθυστέρηση των λεπτών είναι σηµαντική! Την επόµενη χρονιά ο «τηλεπικοινωνιακός µάγος» της φυλής σκέφτεται πως την ΑΜΕΣΗ ΒΟΗΘΕΙΑ, την οποία χρειάζονται πιο συχνά, θα είναι προτιµότερο να την καλούν µε ένα µόνο σύννεφο ώστε να αποφεύγουν την καθυστέρηση των λεπτών. Έτσι τροποποιεί τον «κώδικα επικοινωνίας» ως εξής. ΣΥΝΝΕΦΑ ΚΑΠΝΟΥ ΜΗΝΥΜΑ µικρό ΚΙΝ ΥΝΟΣ ΑΜΕΣΗ ΒΟΗΘΕΙΑ µεγάλο µικρό ΚΙΝ ΥΝΟΣ ΝΑ ΕΙΣΤΕ ΣΕ ΕΤΟΙΜΟΤΗΤΑ µεγάλο µεγάλο µικρό ΜΙΚΡΟΣ ΚΙΝ ΥΝΟΣ ΤΑ ΒΓΑΖΟΥΜΕ ΠΕΡΑ ΜΟΝΟΙ ΜΑΣ µεγάλο µεγάλο µεγάλο µικρό ΚΑΝΕΝΑΣ ΚΙΝ ΥΝΟΣ Το σκεπτικό είναι να τελειώνει το µήνυµα όταν εµφανίζεται το µικρό σύννεφο. Αµέσως µετά ο µάγος σκέφτεται ότι στο τέταρτο µήνυµα το µικρό σύννεφο είναι περιττό, διότι µε τρία µεγάλα σύννεφα θα καταλάβουν οι σύµµαχοι ότι το µήνυµα είναι «ΚΑΝΕΝΑΣ ΚΙΝ ΥΝΟΣ». Βελτιώνει λοιπόν ακόµη περισσότερο τον κώδικα επικοινωνίας ως εξής:

12 ΣΥΝΝΕΦΑ ΚΑΠΝΟΥ ΜΗΝΥΜΑ µικρό ΚΙΝ ΥΝΟΣ ΑΜΕΣΗ ΒΟΗΘΕΙΑ µεγάλο µικρό ΚΙΝ ΥΝΟΣ ΝΑ ΕΙΣΤΕ ΣΕ ΕΤΟΙΜΟΤΗΤΑ µεγάλο µεγάλο µικρό ΜΙΚΡΟΣ ΚΙΝ ΥΝΟΣ ΤΑ ΒΓΑΖΟΥΜΕ ΠΕΡΑ ΜΟΝΟΙ ΜΑΣ µεγάλο µεγάλο µεγάλο ΚΑΝΕΝΑΣ ΚΙΝ ΥΝΟΣ Έτσι λοιπόν στις περίπου ηµέρες «ξεκαθαρίζουν» το µήνυµά τους µε ένα µόνο σύννεφο και έχουν πράγµατι άµεση βοήθεια. Ουσιαστικά οι ινδιάνοι κατασκεύασαν ένα δυαδικό σύστηµα επικοινωνίας όπου µικρό σύννεφο µεγάλο σύννεφο και µε αντίστοιχους κώδικες ΚΩ ΙΚΑΣ ΚΩ ΙΚΑΣ Αφού παρατήρησαν ότι ο κώδικας δεν ήταν αποδοτικός - σπαταλούσαν άσκοπα τον ίδιο χρόνο για όλα τα µηνύµατα ενώ αυτά δεν ήταν ισοπίθανα - βελτίωσαν τον κώδικά τους, στέλνοντας ένα σήµα για το πιο συχνό µήνυµα και τρία για τα πιο απίθανα. Έτσι, κατά µέσο όρο, µείωσαν το χρόνο αποστολής του µηνύµατος. Πρόκειται, όπως θα δούµε, για ένα τηλεπικοινωνιακό σύστηµα χωρίς θόρυβο, όπου ο κύριος στόχος είναι η ταχύτητα µετάδοσης του µηνύµατος. Λέµε χωρίς θόρυβο καθώς δεν εξετάζουµε το ενδεχόµενο να αλλοιωθεί το µήνυµά µας, να µετατραπεί δηλαδή κάποιο σύννεφο από µικρό σε µεγάλο ή το αντίστροφο. ΕΡΩΤΗΜΑ. Μπορούµε πάντοτε να βελτιώνουµε τον κώδικά µας; Πως και µέχρι πού φτάνει η βελτίωση; Σε ένα άλλο χωριό ινδιάνων Β τα πράγµατα είναι πιο απλά. Εδώ τα µηνύµατα είναι µόνο δύο οπότε χρησιµοποιούν µόνο ένα σύννεφο ΣΥΝΝΕΦΑ ΚΑΠΝΟΥ µικρό µεγάλο ΜΗΝΥΜΑ ΚΙΝ ΥΝΟΣ ΒΟΗΘΕΙΑ ΚΑΝΕΝΑΣ ΚΙΝ ΥΝΟΣ

13 Οι πιθανότητες να δεχτούν επίθεση ή όχι είναι περίπου ίδιες οπότε δεν υπάρχει παρόµοιο ζήτηµα µε αυτό του χωριού Α. Το πρόβληµα όµως είναι αλλού. Λόγω των ισχυρών ανέµων και της οµίχλης συµβαίνει πολλές φορές το µικρό σύννεφο να σκορπίζεται και να φαίνεται µεγάλο καθώς και το αντίστροφο. Υπάρχει, θα λέγαµε, αλλοίωση του µηνύµατος. Βλέπουν λοιπόν βοήθεια εκεί που δεν την περιµένουν ενώ συχνά όταν έχουν ανάγκη οι σύµµαχοί τους χορεύουν το χορό της ειρήνης αµέριµνοι! Εδώ ο «µάγος» σκέφτεται ότι θα ήταν πιο λογικό την πραγµατική πληροφορία να την επαναλαµβάνει 5 φορές ώστε να είναι πιο σίγουρος ότι το µήνυµα θα φτάσει σωστά. Με τον τρόπο αυτό, ακόµη και δύο φορές να συµβεί λάθος στο σύννεφο καπνού, οι σύµµαχοι θα καταλάβουν ποιο ήταν το αρχικό µήνυµα. Εδώ οι ινδιάνοι χρησιµοποίησαν τους δυαδικούς κώδικες ΚΩ ΙΚΑΣ ΚΩ ΙΚΑΣ Στον δεύτερο απλά πρόσθεσαν πλεονάζουσα πληροφορία. Πρόκειται για ένα τηλεπικοινωνιακό σύστηµα µε θόρυβο καθώς υπάρχει αλλοίωση του µηνύµατος κατά τη µετάδοση. Μπορεί βέβαια να καθυστερεί το µήνυµα λόγω της πλεονάζουσας πληροφορίας που στέλνουµε, αλλά αυτό είναι το αντίτιµο για τη δυνατότητα διόρθωσης του µηνύµατος, που αποτελεί και τον κύριο στόχο του συστήµατος αυτού. Αν η πιθανότητα να συµβεί λάθος από τους ανέµους ήταν ακόµη µεγαλύτερη ίσως θα έπρεπε να µεγαλώσουµε ακόµη περισσότερο τις κωδικές µας λέξεις. ΕΡΩΤΗΜΑ. Πόσο µπορούµε να µεγαλώσουµε το µήνυµά µας ώστε να έχουµε από τη µια ικανοποιητικό χρόνο µετάδοσης και από την άλλη αξιοπιστία όσον αφορά την ορθή µετάδοση του µηνύµατος; Ποια είναι δηλαδή η χρυσή τοµή; Αυτό εξαρτάται βέβαια από τους ανέµους και την πιθανότητα να συµβεί παραµόρφωση στο µήνυµα, από τις δυνατότητες δηλαδή του «καναλιού» επικοινωνίας. Χρησιµοποιώ αυτό το «πρωτόγονο» παράδειγµα επικοινωνίας για να δείξω ότι στο σύγγραµµα αυτό δεν µας απασχολούν τα φυσικά χαρακτηριστικά ενός τηλεπικοινωνιακού συστήµατος. εν εξετάζουµε ούτε το είδος της πηγής που στέλνει τα µηνύµατα, ούτε τον τύπο του καναλιού, ούτε τις συσκευές που

14 αποτελούν µέρος του συστήµατος. Μας απασχολεί µόνο η µετάδοση της ΠΛΗΡΟΦΟΡΙΑΣ, η κωδικοποίησή της σε µια σειρά από σύµβολα που αναγνωρίζονται από το σύστηµά µας, η αποκωδικοποίησή της, η πιθανή αλλοίωση της κωδικοποιηµένης πληροφορίας και η παρέµβασή µας στην κωδικοποίηση ώστε να αποκαταστήσουµε πιθανά σφάλµατα κατά τη µετάδοση, διατηρώντας µια ικανοποιητική ταχύτητα µετάδοσης. Τόσο οι δορυφορικές επικοινωνίες όσο και η αποστολή µηνυµάτων µε σύννεφα καπνού αντιµετωπίζονται ενιαία από τη ΘΕΩΡΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ. Επιµέρους ζητήµατα που αφορούν συγκεκριµένα τηλεπικοινωνιακά συστήµατα θα αναλυθούν ξεχωριστά, σε αντίστοιχα µαθήµατα. Εδώ εξάλλου µιλάµε για Αρχές Τηλεπικοινωνιών. Για να απαντήσουµε στα ερωτήµατα και, χρειαζόµαστε κάποια εργαλεία. Πρέπει να µπορούµε να µετράµε, µε κάποιο τρόπο, τον όγκο της πληροφορίας που µεταδίδεται αυτό αργότερα θα το ονοµάσουµε ΠΛΗΡΟΦΟΡΙΑΚΟ ΠΕΡΙΕΧΟΜΕΝΟ ή ΑΥΤΟΠΛΗΡΟΦΟΡΙΑ). Πρέπει να µπορούµε να µετράµε τη βεβαιότητα ή την αβεβαιότητα που έχουν τα µηνύµατα της πηγής θυµηθείτε πόσο πιο βέβαια είναι κάποια µηνύµατα σε σχέση µε κάποια άλλα στο χωριό Α και πώς αυτό επηρέασε την κωδικοποίηση). Η µέση αβεβαιότητα για τα µηνύµατα της πηγής εκφράζει τη δυναµική της, τη δυνατότητα της πηγής να εκφράσει πληροφορία, κατά κάποιο τρόπο τη δυνατότητα να παράγει ένα είδος έργου το µέγεθος της δυναµικής αυτής παραπέµπει στην ΕΝΤΡΟΠΙΑ της πηγής). Τέλος, πρέπει να µπορούµε να µετράµε τις ιδιότητες του καναλιού, όσον αφορά την ορθή ή όχι µετάδοση των µηνυµάτων και πώς µπορούµε να εκµεταλλευτούµε τις ιδιότητες αυτές ώστε να στέλνουµε όσο το δυνατό περισσότερη πληροφορία µέσα από το κανάλι θα εισαγάγουµε για το σκοπό αυτό τη ΧΩΡΗΤΙΚΟΤΗΤΑ του καναλιού). Την απάντηση στα ερωτήµατα και θα τη δώσει ο Shnnon, o οποίος, χρησιµοποιώντας τα παραπάνω εργαλεία, απέδειξε ότι έχουµε απεριόριστες δυνατότητες να βελτιώνουµε τον κώδικά µας λαµβάνοντας υπόψη βέβαια κάποιους περιορισµούς).. Η ΘΕΩΡΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Ένα σύστηµα επικοινωνίας έχει τη µορφή ΠΟΜΠΟΣ ΜΕΣΟ ΔΕΚΤΗΣ

15 Μιλάµε για µετάδοση πληροφορίας που στέλνεται από κάποιον ποµπό, περνάει από κάποιο µέσο και φτάνει τελικά στο δέκτη. Όταν λέµε µετάδοση πληροφορίας µπορεί να εννοούµε µετάδοση ήχου µέσω ενσύρµατης τηλεφωνικής γραµµής µετάδοση ραδιοφωνικού σήµατος µετάδοση εικόνας µέσω δορυφόρου µετάδοση δεδοµένων από την κεντρική µνήµη του υπολογιστή σε µια δισκέτα ή, γιατί όχι, µετάδοση σηµάτων καπνού! Ανάλογα µε τη σκοπιά από την οποία εξετάζουµε ένα σύστηµα επικοινωνίας, µπορούµε να αναλύσουµε ακόµη περισσότερο το παραπάνω βασικό σχήµα. Να προσθέσουµε πχ. µεταλλάκτες που µετατρέπουν το µήνυµα σε σήµα ηλεκτρικών παλµών, να εκφράσουµε τη διαµόρφωση του σήµατος, να περιγράψουµε τα τεχνικά χαρακτηριστικά µιας κεραίας κλπ. Για τους σκοπούς της Θεωρίας της Πληροφορίας µας ικανοποιεί η επόµενη ανάλυση: ΘΟΡΥΒΟΣ ΠΗΓΗ ΚΑΝΑΛΙ ΑΠΟΚΩΔΙΚΟ ΠΟΙΗΤΗΣ ΚΩΔΙΚΟ ΠΟΙΗΤΗΣ Κωδικό µήνυµα Παραµορφωµένο Κωδικό µήνυµα ΤΕΛΙΚΟΣ ΑΠΟΔΕΚΤΗΣ Η πηγή του συστήµατος παρέχει πληροφορία µε τη µορφή συµβόλων. Το σύνολο των συµβόλων αυτών αποτελούν το αλφάβητο της πηγής. Ο κωδικοποιητής µετατρέπει τα σύµβολα της πληροφορίας σε κωδικά σύµβολα που αναγνωρίζονται από το σύστηµα. Τα σύµβολα αυτά αποτελούν το αλφάβητο της κωδικοποίησης. Πχ. ένα µήνυµα µπορεί να µετατραπεί σε µια σειρά δυαδικών ψηφίων µε αλφάβητο κωδικοποίησης {,} ή σε µια σειρά από τελείες και παύλες µε ενδιάµεσα κενά, όπως γίνεται στα σήµατα Morse µε αλφάβητο κωδικοποίησης {,, κενό}. Έτσι το κάθε σύµβολο που εκπέµπεται αρχικά από την πηγή αντιστοιχεί σε µία κωδική λέξη. Το σύνολο των κωδικών λέξεων αποτελεί τον κώδικα. Ο κώδικας λοιπόν είναι κατά κάποιο τρόπο το λεξικό της επικοινωνίας 5

16 καθώς περιέχει όλα τα δυνατά µηνύµατα που µεταδίδονται στο σύστηµά µας µε τη µορφή κωδικών λέξεων. Το κανάλι αποτελείται από τα µέσα και τις συσκευές που µεταδίδουν το σήµα από τον ποµπό στον δέκτη. Είναι πολύ πιθανό το κωδικοποιηµένο µήνυµα που διοχετεύεται στο κανάλι να αλλοιωθεί, δηλαδή κάποια από τα κωδικά σύµβολα να τροποποιηθούν για διάφορους λόγους κακή ποιότητα καναλιού, καιρικές συνθήκες, παρεµβολές κλπ). Το σύνολο των αλλοιώσεων αυτών θα ονοµάζεται θόρυβος. Το µήνυµα που θα φτάσει στην έξοδο του καναλιού, παραµορφωµένο ή µη, θα περάσει από τον αποκωδικοποιητή, ο οποίος θα το αποκαταστήσει στην αρχική του µορφή, και θα καταλήξει στον τελικό αποδέκτη. ΠΑΡΑ ΕΙΓΜΑ : Κώδικας Morse Αλφάβητο Πηγής λατινικό) Κωδική Λέξη Αλφάβητο Πηγής ελληνικό) A Α B Β C Θ D E Ε F Φ G Γ H Η I Ι J K Κ L Λ M Μ N Ν O Ο P Π Q Ψ R Ρ S Σ T Τ U V W Ω X Ξ Y Υ Z Ζ Χ Πρόκειται για ένα συµβατικό αλφάβητο το οποίο χρησιµοποιεί αντί των συνηθισµένων γραµµάτων, συνδυασµούς από τελείες ) και παύλες ), 6

17 ουσιαστικά σειρά ηλεκτρικών ρευµατικών παλµών µικρής ή µεγάλης διάρκειας. Η χρονική διάρκεια της παύλας είναι τριπλάσια από αυτήν της τελείας. Η χρονική απόσταση ανάµεσα στις τελείες ή παύλες του ίδιου γράµµατος είναι ίση µε µια τελεία, ανάµεσα στα γράµµατα είναι ίση µε τρεις τελείες, ενώ ανάµεσα σε λέξεις είναι ίση µε επτά τελείες. Αν και εδώ δεν σηµειώνουµε µε κάποιον συγκεκριµένο τρόπο τα κενά ανάµεσα στις τελείες και τις παύλες, θα λέγαµε ότι το αλφάβητο της κωδικοποίησης είναι το {,, κενό}. Για παράδειγµα, όταν µια πηγή στέλνει το µήνυµα του κινδύνου SOS, ο κωδικοποιητής το µετατρέπει σε δείχνουµε µε το / το διαχωρισµό γραµµάτων) / / Εδώ θεωρούµε ότι δεν υπάρχει θόρυβος, οπότε στην αποκωδικοποίηση το παραπάνω µήνυµα θα µετατραπεί ξανά σε SOS για να φτάσει η πληροφορία στον τελικό αποδέκτη. Παρατηρήστε ότι τα γράµµατα Ε και Τ που εµφανίζονται πιο συχνά στην αγγλική γλώσσα κωδικοποιούνται µε µικρές κωδικές λέξεις. Αντίθετα γράµµατα όπως το Q ή το Y που εµφανίζονται σπάνια κωδικοποιούνται µε µεγαλύτερες κωδικές λέξεις. Βέβαια στο ελληνικό αλφάβητο η αντιστοίχιση δεν γίνεται µε το ίδιο ακριβώς σκεπτικό αν και θα έπρεπε ώστε να έχουµε καλύτερη απόδοση) για λόγους ευκολότερης µετάβασης από το ένα αλφάβητο στο άλλο. Ας δούµε και ένα παράδειγµα µε θόρυβο. ΠΑΡΑ ΕΙΓΜΑ Έστω ότι θέλουµε να στείλουµε τις λέξεις ΝΑΙ ή ΟΧΙ από µια πηγή σε έναν δέκτη, αλλά είναι πολύ πιθανό να συµβεί λάθος στη µετάδοση. Η πηγή στέλνει δύο σύµβολα ΝΑΙ ΟΧΙ Αν συµβεί σφάλµα, το µήνυµα θα αλλάξει και θα λάβουµε λάθος πληροφορία. Έτσι χρησιµοποιούµε τον κώδικα που επαναλαµβάνει το σύµβολο 5 φορές 7

18 Οπότε, π.χ. Η πηγή στέλνει: ΝΑΙ Ο κωδικοποιητής το µετατρέπει σε: κωδική λέξη) Ο θόρυβος το αλλοιώνει πχ σε: Ο αποκωδικοποιητής το επαναφέρει: Και το παραδίδει στον τελικό αποδέκτη: ΝΑΙ Τέλος, αναφέρουµε ένα παράδειγµα κωδικοποίησης από το χώρο των Η/Υ ΠΑΡΑ ΕΙΓΜΑ : Κώδικας ASCII Για τη δυαδική αναπαράσταση των αγγλικών γραµµάτων καθώς και άλλων συµβόλων στους Η/Υ χρησιµοποιείται από το 968 ο κώδικας ASCII Americn Stndrd Code for Informtion Interchnge) ο οποίος αντιστοιχεί σε κάθε γράµµα µια κωδική λέξη από 7 bits. Ο κώδικας περιέχει 8 κωδικές λέξεις. Για παράδειγµα, ένα τµήµα του κώδικα είναι: Αλφάβητο Πηγής Κωδική Λέξη Αλφάβητο Πηγής Κωδική Λέξη Αλφάβητο Πηγής Κωδική Λέξη A! B b $ C D d E e F f Αργότερα προστέθηκε και ένα όγδοο bit. Μπροστά από τις παραπάνω κωδικές λέξεις προστέθηκε το ψηφίο, ενώ δηµιουργήθηκε η δυνατότητα αναπαράστασης 8 επιπλέον συµβόλων που αρχίζουν από το ψηφίο η επέκταση αυτή είναι γνωστή ως extended ASCII). Βέβαια η επέκταση δεν είναι µοναδική, αλλάζει ανάλογα µε την εφαρµογή. Μια επέκταση ASCII που αναπαριστά και τα γράµµατα του ελληνικού αλφαβήτου δίνεται στον πίνακα της επόµενης σελίδας. Άλλες επεκτάσεις συµφωνούν βέβαια στα πρώτα 8 σύµβολα αλλά µπορεί να διαφέρουν στα 8 πρόσθετα σύµβολα. 8

19 Εδώ πρέπει να σηµειώσουµε ότι ο κώδικας ASCII δεν ακολουθεί ούτε τη λογική του Παραδείγµατος όπου στα πιο συχνοεµφανιζόµενα γράµµατα αντιστοιχίζουµε µικρότερες κωδικές λέξεις) ούτε εκείνη του Παραδείγµατος όπου επισυνάπτουµε πλεονάζοντα bits µε σκοπό τον εντοπισµό λαθών κατά τη µετάδοση). Πρόκειται για µια απλοϊκή κωδικοποίηση όπου το µόνο που µας ενδιαφέρει είναι η - αντιστοίχιση συµβόλων και δυαδικών κωδικών λέξεων. Από την άποψη αυτή ο συγκεκριµένος κώδικας δεν είναι αποδοτικός ούτε σε περιβάλλον µε θόρυβο ούτε σε περιβάλλον χωρίς θόρυβο. Ως ανεξάρτητη επιστήµη η Θεωρία της Πληροφορίας εµφανίζεται µετά το 98, µε τις µελέτες του Μαθηµατικού C.E. Shnnon, οι οποίες παρουσιάζονται σε δύο δηµοσιεύσεις µε τίτλο A Mthemticl Theory of Telecommunictions. Θεωρία και εφαρµογές αναπτύσσονται παράλληλα µε µια αµφίδροµη σχέση και έναν ξέφρενο ρυθµό που θα δικαιολογούσε τον όρο επανάσταση καθώς άλλαξε τον κόσµο των τηλεπικοινωνιών ριζικά στο δεύτερο µισό του ου αιώνα. Μέχρι τότε, υπήρχε η αίσθηση ότι η βελτίωση των τηλεπικοινωνιών αφορούσε κυρίως τα φυσικά µέσα του τηλεπικοινωνιακού συστήµατος κεραίες, κανάλια κλπ). Ο Shnnon υπέδειξε ότι η παρέµβαση στην κωδικοποίηση µπορεί να φέρει τα επιθυµητά αποτελέσµατα. Η συνεργασία Τηλεπικοινωνιακών Μηχανικών και Μαθηµατικών σε ερευνητικό επίπεδο υπήρξε στενή και µια παρουσίαση της Θεωρίας της Πληροφορίας σε προπτυχιακό πρόγραµµα δεν µπορεί να αποφύγει στοιχεία και των δύο κλάδων. Ωστόσο, για την κατανόηση του αντικειµένου, αποφεύγονται οι µακροσκελείς και οι δυσνόητες µαθηµατικές αποδείξεις και όπου κρίνεται σκόπιµο αναπτύσσονται περιγραφικά. 9

20 ! A Α α " B b Β β # C c Γ γ $ D d δ % E e Ε ε & F f Ζ ζ ' G g Η η H h Θ θ ) I i Ι ι * J j Κ κ + K k Λ λ, L l Μ µ - M m Ν ν. N n Ξ ξ / O o Ο ο P Π π Q q Ρ ρ R r ς S s Σ σ T t Τ τ 5 U u Υ υ 6 V v Φ φ 7 W w Χ χ 8 X x Ψ ψ 9 Y y Ω ω : Z z ; [ { < \ ] } > ^ ~? _ DEL Περιέχει βέβαια και άλλα σύµβολα. Εδώ αναφέρονται τα πιο ` Πίνακας. Extended ASCII 8-bits) που περιλαµβάνει και ελληνικούς χαρακτήρες.

21 ΑΣΚΗΣΕΙΣ. Έστω ότι στο παράδειγµα του χωριού Α η συχνότητα των τεσσάρων µηνυµάτων στη διάρκεια µιας χρονιάς είναι ηµέρες, ηµέρες, 5 ηµέρες και 5 ηµέρες αντίστοιχα. Ποιος είναι ο συνολικός χρόνος αναµονής για τη λήψη µηνυµάτων κατά τη διάρκεια µιας χρονιάς για καθεµιά από τις δύο κωδικοποιήσεις που περιγράφονται; Πόση διάρκεια έχει κατά µέσο όρο ένα µήνυµα σε κάθε κωδικοποίηση; Τι συµπέρασµα βγάζετε;. Έστω ότι στο παράδειγµα του χωριού Β επαναλαµβάνεται το ίδιο µήνυµα 7 φορές. Μέχρι πόσες φορές µπορεί να µεταδοθεί λανθασµένα το µήνυµα χωρίς ωστόσο να βγει λάθος τελικό συµπέρασµα;. Έστω ότι ένας µετεωρολογικός σταθµός δηλ. η πηγή) στέλνει τη θερµοκρασία της ατµόσφαιρας στο κέντρο δηλ. στο δέκτη) σε ακέραιες τιµές, από - µέχρι +. Ποιο είναι το αλφάβητο της πηγής; Αν στέλνεται το µήνυµα µε δυαδικές κωδικές λέξεις σταθερού µήκους, ποιο πρέπει να είναι τουλάχιστον) το µήκος αυτό; Πώς θα µπορούσαµε να βελτιώσουµε τον κώδικά µας αν ο σταθµός βρισκόταν στην Κρήτη;. Κωδικοποιήστε τις λέξεις «ΤΕΝΤΑ» και «ΒΥΘΟΣ» σύµφωνα µε τον κώδικα Morse. Που οφείλεται η διαφορά στο µήκος των κωδικών λέξεων που βρήκατε;.5 Ποια είναι η δυαδική κωδική αναπαράσταση του µηνύµατος «ΚΑΛΟΣ» σύµφωνα µε τον Extended ASCII κώδικα του πίνακα ; Κατά την αποθήκευση του µηνύµατος αυτού σε µια δισκέτα αλλοιώνεται το ο bit της δυαδικής σειράς. Ποια λέξη θα αποθηκευτεί στη δισκέτα; Τι συµπέρασµα βγάζετε για την απόδοση του κώδικα ASCII σε περιβάλλον µε θόρυβο;

22 ΣΥΝΤΟΜΕΣ ΑΠΑΝΤΗΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ. η: 65 λεπτά, άρα λεπτά κατά µέσο όρο η: λεπτά, άρα 6, λεπτά κατά µέσο όρο. Μέχρι φορές.. Α{-,-9,-8,...,, } 6 σύµβολα), µήκος 6. Η λέξη ΒΥΘΟΣ αντιστοιχεί σε περισσότερα κωδικά σύµβολα διότι περιέχει πιο σπάνια γράµµατα του αλφαβήτου απ ότι η λέξη ΤΕΝΤΑ.5 Αποτέλεσµα «ΚΑΚΟΣ»

23 . ΜΕΤΡΟ ΠΛΗΡΟΦΟΡΙΑΣ ΕΝΤΡΟΠΙΑ. ΤΙ ΕΙΝΑΙ ΠΛΗΡΟΦΟΡΙΑ ΠΩΣ ΤΗ ΜΕΤΡΑΜΕ Πριν δώσουµε αυστηρούς ορισµούς ας αναρωτηθούµε τι είναι πληροφορία και µε ποιο τρόπο µπορούµε να τη µετρήσουµε. Αν κάποιος φίλος έρθει ξαφνικά και µας πει ότι «η γη γυρίζει γύρω από τον ήλιο» θα αδιαφορήσουµε ή θα τον κοιτάξουµε µάλλον περίεργα!) διότι δεν µας δίνει ουσιαστικά καµία πληροφορία. Αυτό γιατί το γεγονός που µας περιγράφει συµβαίνει έτσι και αλλιώς, µε άλλα λόγια η πιθανότητά του να συµβεί είναι, δηλαδή %. Στο µεσαίωνα βέβαια η αποκάλυψη της πληροφορίας αυτής πληρώθηκε ακριβά, σήµερα όµως µπορούµε άφοβα να τη θεωρούµε σίγουρη!) Εάν µας πει ότι έριξε ένα ζάρι και έφερε 6, η πρότασή του έχει κάποια αξία διότι µας δίνει µια πληροφορία. Θα µπορούσε κάλλιστα να φέρει,,, ή 5. Το γεγονός που περιγράφει έχει πιθανότητα να συµβεί ίση µε. 6 Εάν βέβαια µας πει ότι έπαιξε µια στήλη ΛΟΤΤΟ και κέρδισε, η πληροφορία είναι πιο σηµαντική. Αυτό γιατί η πιθανότητα να κερδίσει στο ΛΟΤΤΟ ήταν πολύ µικρή, συγκεκριµένα ίση µε βέβαια αν το κερδίζαµε εµείς η πληροφορία θα ήταν ακόµη πιο σηµαντική αλλά εδώ δεν εξετάζουµε τέτοιες ποιοτικές διαφορές!) Εάν στις Σεπτεµβρίου, εκεί που καθόµασταν ήρεµοι και πίναµε τον καφέ µας, ακούγαµε ότι ένα αεροπλάνο έπεσε πάνω σε έναν από τους δίδυµους πύργους της Νέας Υόρκης θα κοιτάζαµε τον φίλο µας πάλι περίεργα, αλλά αυτή τη φορά διότι µας δίνει ΤΗΝ ΠΛΗΡΟΦΟΡΙΑ!. Αυτό γιατί το συγκεκριµένο γεγονός, αν ήταν τυχαίο!), θα είχε απειροελάχιστη πιθανότητα να συµβεί σχεδόν ).

24 Βλέπουµε λοιπόν ότι η έννοια της ΠΛΗΡΟΦΟΡΙΑΣ που αποκοµίζουµε από ένα γεγονός συνδέεται άµεσα µε την ΠΙΘΑΝΟΤΗΤΑ του να συµβεί. Όσο µεγαλύτερη είναι η πιθανότητα αυτή, τόσο µικρότερο είναι το µέγεθος της αντίστοιχης πληροφορίας. Απίθανο γεγονός πιθανότητα Πληροφορία πολύ µεγάλη Σίγουρο γεγονός πιθανότητα Πληροφορία µηδενική ΠΙΘΑΝΟΤΗΤΑ ΠΛΗΡΟΦΟΡΙΑ Την πληροφορία που περιέχει λοιπόν ένα γεγονός θα τη µετράµε ουσιαστικά µε την αντίστοιχη πιθανότητα. Για το σκοπό αυτό εισάγουµε την έννοια του πληροφοριακού περιεχοµένου ενός γεγονότος.. ΤΟ ΠΛΗΡΟΦΟΡΙΑΚΟ ΠΕΡΙΕΧΟΜΕΝΟ ΑΥΤΟΠΛΗΡΟΦΟΡΙΑ) Συµβολίζουµε µε: Α : A) ή : ΙΑ) : το γεγονός την πιθανότητα του Α το πληροφοριακό περιεχόµενο του γεγονότος Α θα το ορίσουµε παρακάτω) Παρατήρηση : Για τη συνάρτηση του πληροφοριακού περιεχοµένου ΙΑ) ενός γεγονότος Α αναµένεται να ισχύουν Το ΙΑ) είναι φθίνουσα συνάρτηση της πιθανότητας Το πληροφοριακό περιεχόµενο δύο ανεξάρτητων γεγονότων Α και Β ισούται µε το άθροισµα των επιµέρους πληροφοριακών περιεχοµένων, δηλαδή I AB) I A) + I B) Αποδεικνύεται ότι τις ιδιότητες αυτές τις ικανοποιεί η συνάρτηση του παρακάτω ορισµού.

25 ΟΡΙΣΜΟΣ: Το πληροφοριακό περιεχόµενο ή αλλιώς αυτοπληροφορία) ενός γεγονότος Α ορίζεται ως I A) log ή Η µονάδα µέτρησης ονοµάζεται bit. log Παρατήρηση : Εµείς εδώ θα χρησιµοποιούµε σαν βάση του λογαρίθµου τον αριθµό. Θα µπορούσαµε να χρησιµοποιήσουµε οποιαδήποτε βάση, οπότε αλλάζει και η µονάδα µέτρησης. λογάριθµος µε βάση log log e µονάδα µέτρησης bit nt log hrtley Μπορούµε εύκολα να διαπιστώσουµε ότι οι ιδιότητες της Παρατήρησης ισχύουν. Η συνάρτηση ΙΑ) είναι προφανώς φθίνουσα ως προς και επιπλέον για δύο ανεξάρτητα γεγονότα Α και Β µε πιθανότητες και q αντίστοιχα, ισχύει I AB) log q) log log q I A) + I B) ΠΑΡΑ ΕΙΓΜΑ. Μια πηγή ενός συστήµατος επικοινωνίας εκπέµπει δύο σύµβολα, το και το µε την ίδια πιθανότητα, δηλαδή το πληροφοριακό περιεχόµενο κάθε συµβόλου. ) και ) log log I bit ) log log I bit ). Να βρεθεί Πρόκειται για το γνωστό σύστηµα δυαδικών ψηφίων {,}. Όταν λοιπόν στέλνουµε µια πληροφορία µε πληροφοριακό περιεχόµενο bits είναι σαν να στέλνουµε δυαδικά ψηφία ή. Σηµείωση: Αν µετρηθεί το ίδιο πληροφοριακό περιεχόµενο στις άλλες µονάδες µέτρησης θα είναι. log Hrtley ή log ln. 69 e nt 5

26 ΠΑΡΑ ΕΙΓΜΑ. Μια πηγή ενός συστήµατος επικοινωνίας εκπέµπει 56 σύµβολα µε την ίδια πιθανότητα, δηλαδή κάθε σύµβολο µε πιθανότητα. Να βρεθεί το 56 πληροφοριακό περιεχόµενο κάθε συµβόλου. log log I bits Με απλά λόγια, όσον αφορά το πληροφοριακό περιεχόµενο, καθένα από τα 56 σύµβολα του συστήµατός µας ισοδυναµεί µε 8 δυαδικά ψηφία. 8. Η ΕΝΤΡΟΠΙΑ ΟΡΙΣΜΟΣ: Έστω ότι µια πηγή ενός συστήµατος επικοινωνίας εκπέµπει τα σύµβολα µηνύµατα) µε πιθανότητες αντίστοιχα.,,,, K n,, K, `, Λέµε ότι έχουµε την πηγή A, Π), όπου A,, K, } είναι το αλφάβητο της πηγής και { n Π K ] είναι ο πίνακας των αντίστοιχων πιθανοτήτων. [ n n Η Εντροπία της πηγής είναι ο µέσος όρος της αυτοπληροφορίας όλων των συµβόλων, δηλαδή οπότε, H συνοπτικά γράφουµε H A) I ) + I ) + L + I ) bits/σύµβολο n n L bits/σύµβολο A) log + log + + n log H A) i log i ) i n Συχνά τον γράφουµε και Π A) [ ) ) K n )] 6

27 Ι ΙΟΤΗΤΕΣ ΤΗΣ ΕΝΤΡΟΠΙΑΣ Η εντροπία παίρνει πάντοτε µη αρνητικές τιµές: H A) εν παίζει ρόλο η σειρά των συµβόλων: H,, K, ) H, K,, ) H,,,, K, ) L n n n οι δύο παραπάνω ιδιότητες προκύπτουν αµέσως από τον ορισµό) Η µέγιστη τιµή της εντροπίας επιτυγχάνεται όταν όλα τα σύµβολα έχουν ίση πιθανότητα, δηλαδή L n προκύπτει εύκολα αναζητώντας ακρότατα στην Η,, n) ) Τότε, H A ) log + log + L + n log και τελικά n n log n+ log n+ L + log n log n n n n H A) log n bits/σύµβολο n n ΠΑΡΑ ΕΙΓΜΑ. Έστω, ) εντροπία όταν A Π µια πηγή µε αλφάβητο A {, }. Να βρεθεί η Π [ I) τα σύµβολα εκπέµπονται µε ίση πιθανότητα, δηλαδή ] Π [ είτε [ ] II) ] Π [ 999 III) ] Π ) IV) Π [ ] το εκπέµπεται µε πιθανότητα δηλαδή ποτέ, το εκπέµπεται µε πιθανότητα, δηλαδή πάντοτε) V) Π [ ] εκπέµπεται πάντοτε το, το δεν εκπέµπεται ποτέ) Π [ VI) γενικά ] ΛΥΣΗ: I) H A) H,) log + log log bit/σύµβολο Θα διαπιστώσουµε ότι αυτή είναι η µεγαλύτερη τιµή που µπορεί να πάρει η εντροπία, όπως µας διαβεβαίωσε η η ιδιότητα παραπάνω. 7

28 II) H A) H,) log + log + log log ) + log,8 bits/σύµβολο H A H + III) ),) log log, bits/σύµβολο διότι log log 999 ) IV) H A) H,) I ) + I ) log bits/σύµβολο V) όµοια. VI) H A) H,) log + )log Η συνάρτηση της τελευταίας περίπτωσης h ) log + )log που ορίζεται στο διάστηµα,) ονοµάζεται συνάρτηση Shnnon. Λαµβάνει τη µέγιστη τιµή της στο, ενώ ελαχιστοποιείται κοντά στα άκρα και. h) Ουσιαστικά στο Παράδειγµα βρήκαµε διαδοχικά 999 h, h h. 8, h h., h ) h) βέβαια το I) log log x log δεν ορίζεται αλλά lim log lim lim + + x + x 8

29 . ΤΙ ΚΑΤΑΛΑΒΑΙΝΟΥΜΕ ΑΠΟ ΤΟ ΠΑΡΑ ΕΙΓΜΑ ΤΟ ΝΟΗΜΑ ΤΗΣ ΕΝΤΡΟΠΙΑΣ Ας δούµε πιο προσεκτικά το παράδειγµα της προηγούµενης παραγράφου. Παρατηρούµε ότι όσο πιο βέβαιοι είµαστε για το τι στέλνει η πηγή τόσο πιο µικρή είναι η εντροπία. Στην περίπτωση IV) είµαστε απολύτως σίγουροι ότι εκπέµπεται το σύµβολο. Ουσιαστικά λοιπόν δεν παρέχεται καµιά πληροφορία καθώς γνωρίζουµε µε απόλυτη βεβαιότητα το τι θα φτάσει στην άλλη άκρη του συστήµατος επικοινωνίας. Γι αυτό και η εντροπία που εκφράζει το µέσο όρο της αυτοπληροφορίας των συµβόλων της πηγής είναι. Το ίδιο συµβαίνει και στην περίπτωση V). Πολύ κοντά στο είναι και η εντροπία στην περίπτωση III) καθώς κι εκεί είµαστε σχεδόν σίγουροι για το τι στέλνει η πηγή, κατά πάσα πιθανότητα στέλνει. Η αβεβαιότητα είναι µεγαλύτερη στην περίπτωση I) διότι δεν είµαστε καθόλου σίγουροι για το τι στέλνει η πηγή. Όση πιθανότητα έχει να σταλεί το σύµβολό, τόση πιθανότητα έχει και το σύµβολο. Εάν γνωρίζουµε τι στέλνεται, έχουµε στα χέρια µας µια σηµαντική πληροφορία. Εδώ είναι µεγαλύτερη και η εντροπία. Συνοψίζοντας, η εντροπία εκφράζει τη µέση αβεβαιότητα της πηγής Θα µπορούσαµε να πούµε ότι εκφράζει τη δυναµική µιας πηγής όσον αφορά τον όγκο της πληροφορίας που µπορεί να µεταδώσει. Όσο µεγαλύτερη είναι η αβεβαιότητα για τα σύµβολα που στέλνει η πηγή τόσο µεγαλύτερη είναι η δυναµική αυτή, δηλαδή η εντροπία..5 ΣΥΝ ΕΤΙΚΗ ΕΝΤΡΟΠΙΑ Θεωρούµε δύο πηγές πληροφορίας, A)) AΠ και B, Π B)), όπου A,, K, }, Π A) [ ) ) K )] { n n B b, b, K, b }, Π B) [ b ) b ) K b )] { m m 9

30 Η σύνθετη πηγή, )) AB Π AB έχει αλφάβητο AB { b / A και b B} δηλαδή όλους τους δυνατούς συνδυασµούς συµβόλων αb που εκπέµπονται από τις δύο πηγές. Ουσιαστικά πρόκειται για το καρτεσιανό γινόµενο A B που περιέχει τα διατεταγµένα ζεύγη, b), ωστόσο για ευκολία γράφουµε b αντί για, b). Τις αντίστοιχες πιθανότητες του πίνακα Π AB) τις συµβολίζουµε b). Θυµίζουµε από τις πιθανότητες ότι αν b) πιθανότητα να σταλεί α από την πηγή Α και τότε και b από την πηγή Β b / ) πιθανότητα να σταλεί b από την πηγή Β δεδοµένου ότι η πηγή Α στέλνει α b) ) b / ) ενώ αν τα σύµβολα α και b στέλνονται ανεξάρτητα το ένα από το άλλο ισχύει b) ) b) Η συνδετική εντροπία των πηγών Α και Β δίνεται από τον τύπο H AB) i, j b i j ) log b i j ) είχνεται ότι ισχύει γενικά H AB) H A) + H B) ενώ η ισότητα H AB) H A) + H B) ισχύει µόνο στην περίπτωση που οι κατανοµές πιθανοτήτων των συµβόλων των δύο πηγών είναι στατιστικά ανεξάρτητες, µε άλλα λόγια όταν η µία πηγή δεν επηρεάζει την άλλη. Επεκτείνοντας τον ορισµό µπορούµε να συνθέσουµε περισσότερες πηγές A, A,, A k K, ενώ για συνδετική εντροπία της σύνθετης πηγής ισχύει H A A K A ) H A ) + H A ) + L+ H A ) k k Βλέπετε Παράρτηµα Γ

31 ΠΑΡΑ ΕΙΓΜΑ. Θεωρούµε δύο ανεξάρτητες πηγές πληροφορίας µε και Οι αντίστοιχες εντροπίες είναι H A) log 5 H B) log + log A, Π A)) και B, Π B)), A {, b, c}, Π A ) [ ] B { x, y}, Π B ) [ ] 5 + log 5 log 5 log + log 5 log 5 log log + log log log Η σύνθετη πηγή AB, Π AB)) έχει αλφάβητο AB { x, y, bx, by, cx, cy} µε Π AB ) [ ] 5 * Επειδή οι πηγές είναι ανεξάρτητες, οι πιθανότητες της σύνθετης πηγής προέκυψαν απλά µε πολλαπλασιασµό των αντίστοιχων πιθανοτήτων, πχ Η συνδετική εντροπία είναι x) ) x) H AB) log 5+ log + log 5+ log log log 5 log ) + log + log 5) + log + log 5 log ) log 5+ + log log 5+ log log 5 Παρατηρήστε ότι H AB) H A) + H B) καθώς οι δύο πηγές είναι ανεξάρτητες. Προσέξτε ότι το άθροισµα των πιθανοτήτων είναι

32 .6 ΥΠΟ ΣΥΝΘΗΚΗ ΕΝΤΡΟΠΙΑ Η υπό συνθήκη εντροπία H B / A) εκφράζει τη µέση αβεβαιότητα της πηγής Β όταν είναι γνωστό το τι στέλνει η πηγή Α. είχνεται ότι, H B / A) H AB) H A) Άρα, από την προηγούµενη παράγραφο, H B / A) H AB) H B) H A) + H B) H A) και τελικά H B / A) H B) Με άλλα λόγια, κατά τη σύνθεση δύο πηγών, η αβεβαιότητα για την έξοδο µια πηγής ελαττώνεται όταν γνωρίζουµε την έξοδο της γειτονικής πηγής. Προφανώς, αν αντιστρέψουµε τους ρόλους των πηγών Α και Β, ισχύουν, H A/ B) H AB) H B) και H A/ B) H A) Όταν βέβαια οι δύο πηγές είναι στατιστικά ανεξάρτητες, ισχύει H A/ B) H A) και H B / A) H B) δηλαδή η εντροπία των πηγών Α και Β δεν αλλάζει µε τη σύνθεση, όπως είναι φυσικό καθώς η µία πηγή δεν επηρεάζει την άλλη. ΠΑΡΑ ΕΙΓΜΑ 5. Θεωρούµε δύο πηγές πληροφορίας A, Π A)) και B, Π B)), µε και A {,, }, Π A ) [ ] B b, b, }. { b

33 ίνονται επίσης οι πιθανότητες b j / ) των συµβόλων της πηγής Β όταν είναι γνωστό τι στέλνει η πηγή Α: i b j / i ) b b b ) Να βρεθεί η εντροπία της πηγής Α ) Να βρεθούν οι πιθανότητες b) των συµβόλων της πηγής Β ) Να βρεθεί η εντροπία της πηγής Β ) Να βρεθούν οι πιθανότητες b) 5) Να βρεθεί η συνδετική εντροπία H AB) 6) Να βρεθεί η υπό συνθήκη εντροπία H A/ B). Παρατηρήστε αν ελαττώθηκε η εντροπία της πηγής Α. ΛΥΣΗ: ) H A) log + log + log bits/σύµβολο ) b ) b / ) ) + b / ) ) + b / ) ) Όµοια βρίσκουµε, b ) και 8 7 b ) ) H B) log + log + log bits/σύµβολο ) b ) ) b / ) όµοια βρίσκονται και οι υπόλοιπές πιθανότητες. 6

34 5) H AB) ib j )log log 6+ L. 9 b ) 6 i, j i j 6) H A/ B) H AB) H B) που είναι όντως µικρότερη από την εντροπία H A) ΕΠΕΚΤΑΣΗ ΤΗΣ ΠΗΓΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Εάν συνθέσουµε την πηγή πληροφορίας A,, K, } µε τον εαυτό της, έχουµε µια νέα πηγή µε αλφάβητο { n A AA { ) / i, j,, K, n}. i j Εδώ, ) ) ) και η συνδετική εντροπία είναι i j i j H A ) H AA) H A) + H A) H A) Λέµε ότι έχουµε την δεύτερη) επέκταση της πηγής Α. Γενικά, H A k ) kh A) Παρατηρούµε ότι η επέκταση αυξάνει την εντροπία και κατ επέκταση την αβεβαιότητα για τα σύµβολα της πηγής. ΠΑΡΑ ΕΙΓΜΑ 6. Έστω η δυαδική πηγή A, Π) µε A {,} και Π [..9] Η εντροπία της πηγής είναι H A).) log +.9) log Η δεύτερη επέκταση A χρησιµοποιεί όλους τους δυνατούς συνδυασµούς ζευγών του αλφαβήτου, δηλαδή τα παρακάτω σύµβολα µε αντίστοιχες πιθανότητες

35 .).).).9)..9.9).).9.9).9).8 προσέξτε ότι το άθροισµα των πιθανοτήτων είναι πάλι ) Η Εντροπία της δεύτερης επέκτασης είναι H A ).) log +.9) log +.8) log µπορεί όµως να υπολογιστεί και πιο εύκολα διότι H A ) H A) ΠΑΡΑ ΕΙΓΜΑ 7. Έστω η δυαδική πηγή A, Π) µε Η τρίτη επέκταση A {,} και Π [ )] A χρησιµοποιεί όλους τους δυνατούς συνδυασµούς τριάδων του αλφαβήτου, δηλαδή τα παρακάτω σύµβολα µε αντίστοιχες πιθανότητες -) -) -) -) -) -) -) για κάθε τριάδα πολλαπλασιάζουµε τις αντίστοιχες πιθανότητες) Η Εντροπία της επέκτασης είναι όπου h ) η συνάρτηση Shnnon. H A ) H A) h ) 5

36 ΑΣΚΗΣΕΙΣ. Ποιο είναι το πληροφοριακό περιεχόµενο αυτοπληροφορία) που αντιστοιχεί α) στην ένδειξη ενός νοµίσµατος β) σε κάθε εποχή του χρόνου γ) στη νικήτρια στήλη του ΛΟΤΤΟ δ) στον αριθµό κυκλοφορίας ΥΗΒ5. θυµίζω ότι χρησιµοποιούνται µόνο τα γράµµατα που υπάρχουν και στο λατινικό αλφάβητο, ενώ οι αριθµοί ξεκινούν από το ) Ποιο από τα δύο τελευταία γεγονότα περιέχει περισσότερη πληροφορία;. Ποιο είναι το πληροφοριακό περιεχόµενο που συνοδεύει την ένδειξη ενός ζαριού; Αν όλες οι ενδείξεις αποτελούν το αλφάβητο της πηγής µας, ποια είναι η εντροπία της πηγής; δίνεται. 58 log ). Έστω ότι τα σύµβολα Α,B,C,D εκπέµπονται από µία πηγή µε πιθανότητες,, και α) Να δειχθεί ότι η εντροπία της πηγής είναι ίση µε αντίστοιχα. log 5 log bits/σύµβολο. β) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και ποια είναι αυτή η µέγιστη τιµή;. Πηγή πληροφορίας έχει αλφάβητο Α {,b,c} και κατανοµή πιθανοτήτων ΠA)[..5 x]. Να υπολογιστεί το πληροφοριακό περιεχόµενο κάθε συµβόλου και η εντροπία της πηγής. Πότε θα είχαµε τη µέγιστη δυνατή εντροπία;.5 Μια πηγή εκπέµπει 6 σύµβολα µε τις παρακάτω πιθανότητες Α Β Γ Ε Ζ / / /8 /6 / / α) Επιβεβαιώστε ότι έχουµε πράγµατι κατανοµή πιθανοτήτων β) Ποια είναι η εντροπία της πηγής; γ) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και ποια είναι αυτή η µέγιστη τιµή; δ) Η κατανοµή στο ερώτηµα γ) δίνει µεγαλύτερη η µικρότερη αβεβαιότητα για την πηγή; 6

37 .6 Έστω A, Π) µια πηγή µε αλφάβητο A {, b, c, d}. Να βρεθεί η εντροπία όταν α) τα σύµβολα εκπέµπονται µε ίση πιθανότητα, δηλαδή Π [ ] β) Π [ ] 8 8 γ) Π [ ] δ) Π [ ] ε) Π [ ] στ) τι συµπέρασµα βγάζετε σε σχέση µε τη βεβαιότητα του συστήµατος;.7 Έστω πηγή πληροφορίας A,ΠA)) µε A, } και ΠA) [..9]. { Άλλη πηγή πληροφορίας µε αλφάβητο B b, b, } σχετίζεται µε την πρώτη µέσω των υπο συνθήκη πιθανοτήτων { b b / ). b / ). b / ). 5 b / ). b / ). 7 b / ). Να υπολογιστούν α) οι πιθανότητες b), b), b) β) όλες οι πιθανότητες ibj) γ) οι τιµές εντροπίας: HA), HB), HAB), HA/B), HB/A). Παρατηρήστε αν ελαττώνεται η εντροπία των δύο πηγών όταν γνωρίζουµε τη γειτονική πηγή..8 Έστω πηγή πληροφορίας A,ΠA)) µε Α{,} και ΠΑ) [ βρεθεί η επέκταση Α και να υπολογιστεί η εντροπία της. δίνεται. 58 ]. Να log ).9 Έστω πηγή πληροφορίας A,ΠA)) µε Α{,b,c} και ΠΑ) [ α) Να βρεθεί η επέκταση Α ]. β) Να υπολογιστούν αναλυτικά οι τιµές της εντροπίας ΗΑ) και ΗΑ ) και να επιβεβαιώσετε ότι ΗΑ )ΗΑ) 7

38 ΣΥΝΤΟΜΕΣ ΑΠΑΝΤΗΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ. α) bit, β) bits γ),7 bits δ).55 bits. log bits. Μέγιστη εντροπία bits/σύµβολο. Μέγιστη εντροπία log bits/σύµβολο.5 α) άθροισµα πιθ/των, β) /6 bits/σύµβολο γ) bits/σύµβολο δ) µεγαλύτερη αβεβαιότητα.6 α) bits/σύµβολο, β).75 bits/σύµβολο, γ) bit/σύµβολο, δ) περίπου. bits/σύµβολο ε).7 α).,.66,. β) i,bj) b b b α...5 α γ) ΗΑ).7 bits/σύµβολο ΗΒ). bits/σύµβολο ΗΑΒ).66 bits/σύµβολο ΗΑ/Β) ΗΑΒ) - ΗΒ). bits/σύµβολο ΗΒ/Α) ΗΑΒ) - ΗΑ).9 bits/σύµβολο.8 Η τρίτη επέκταση έχει 8 σύµβολα και εντροπία. bits/σύµβολο.9 Η δεύτερη επέκταση έχει 9 σύµβολα και εντροπία bits/σύµβολο 8

39 . ΚΑΝΑΛΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. ΤΙ ΕΙΝΑΙ ΚΑΝΑΛΙ ΠΛΗΡΟΦΟΡΙΑΣ Το κανάλι πληροφορίας σε ένα σύστηµα επικοινωνίας είναι το φυσικό µέσο ανάµεσα στην πηγή που εκπέµπει την πληροφορία και τον αποδέκτη της πληροφορίας. Γνωρίζουµε διάφορους τύπους καναλιών, ενσύρµατους όπως π.χ. τα χάλκινα καλώδια και τα οµοαξονικά καλώδια, ασύρµατους όπως στις ραδιοεπικοινωνίες και τις επίγειες ή δορυφορικές ζεύξεις, τις οπτικές ίνες κλπ. Εδώ δεν θα µπούµε στον κόπο να περιγράψουµε τα φυσικά χαρακτηριστικά αυτών των καναλιών. Θα τα εξετάσουµε ενιαία, από την πλευρά της Θεωρίας της Πληροφορίας, δηλαδή σαν µέσα επικοινωνίας που δέχονται κάποια πληροφορία από την πηγή εισόδου και µεταφέρουν την πληροφορία αυτή, αξιόπιστα ή µη, στην πηγή εξόδου. Στην µελέτη µας, η πληροφορία αυτή θα εκφράζεται µε µια σειρά συµβόλων, διακριτών µεταξύ τους. Μιλάµε δηλαδή για διακεκριµένα σύµβολα, ψηφία, π.χ στο δυαδικό σύστηµα επικοινωνίας για τα σύµβολα και, που µεταφέρονται από τη µια άκρη του καναλιού στην άλλη, µε άλλα λόγια για ψηφιακή µορφή πληροφορίας. Βέβαια υπάρχει και η αναλογική µορφή πληροφορίας όπου το µήνυµα που στέλνουµε δεν περιγράφεται µε διακεκριµένες τιµές, όπως και, αλλά µε τιµές σε ένα συνεχές διάστηµα. εν θα αναφερθούµε στην αναλογική µορφή καθώς η ψηφιακή εξυπηρετεί το σκοπό µας: να κατανοήσουµε πως λειτουργεί ένα κανάλι, πως µπορούµε να µετρήσουµε την χωρητικότητά του και πως µπορούµε να αξιοποιήσουµε την χωρητικότητα αυτή για να βρούµε έναν κατάλληλο τρόπο µετάδοσης της πληροφορίας ή όπως λέµε έναν κατάλληλο κώδικα.. ΒΑΣΙΚΑ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ ΕΝΟΣ ΚΑΝΑΛΙΟΥ Σε ένα σύστηµα επικοινωνίας η αρχική πληροφορία µεταφράζεται σε µηνύµατασύµβολα εισόδου, διοχετεύεται στο κανάλι για να µεταδοθεί στον δέκτη όπου λαµβάνεται σε µηνύµατα-σύµβολα εξόδου. Έχουµε και λέµε λοιπόν 9

40 Ένα κανάλι πληροφορίας συνοδεύεται από µια πηγή εισόδου ή ποµπό) A, Π A)) και Ας είναι και µία πηγή εξόδου ή δέκτη) B, Π B)). A,, K, }, Π A) [ ) ) K )] { m m B b, b, K, b }, Π B) [ b ) b ) K b )] { n n ηλαδή το κανάλι µας τροφοδοτείται µε τα µηνύµατα του αλφαβήτου Α, µε συχνότητες εµφάνισης όπως καθορίζονται στον πίνακα Π A), και τα µεταφέρει στην έξοδο δεν µας ενδιαφέρει µε ποιο τρόπο), όπου λαµβάνουµε τα µηνύµατα του αλφαβήτου Β, µε συχνότητες εµφάνισης όπως καθορίζονται στον πίνακα Π B). Συνήθως τα δύο αλφάβητα Α και Β συµπίπτουν. Εάν για κάθε σύµβολο στην είσοδο γνωρίζουµε τι θα λάβουµε στην έξοδο, τα πράγµατα είναι απλά και δεν χρειάζεται πολλή µελέτη. Ενώ όµως ένα σύµβολο α της εισόδου φτάνει κατά πάσα πιθανότητα στην έξοδο ως κάποιο συγκεκριµένο σύµβολο b, το σύνηθες πρόβληµα στις τηλεπικοινωνίες είναι ότι υπάρχει και µια πιθανότητα το σύµβολο α να αλλοιωθεί και να µετατραπεί σε κάποιο άλλο σύµβολο αντί του αναµενόµενου b. Έχει λοιπόν νόηµα να λάβουµε υπόψη τις πιθανότητες ij bj i / ) η πιθανότητα να λάβουµε στην έξοδο b j δεδοµένου ότι έχει σταλεί στην είσοδο το i Προσοχή: η πιθανότητα αυτή είναι διαφορετική από την i, bj ) η πιθανότητα να σταλεί i και να ληφθεί b j Ας πάρουµε π.χ. το σενάριο όπου το στέλνεται σπάνια αλλά όποτε στέλνεται µετατρέπεται σε b. Τότε η πιθανότητα, b ) είναι µικρή σπάνια έχουµε αυτόν τον συνδυασµό), ενώ η πιθανότητα b / ) είναι.

41 Τα στοιχεία ) / i j ij b, που είναι χαρακτηριστικά για ένα κανάλι, µπορούν να τοποθετηθούν σε ένα διάγραµµα καναλιού: Για τους υπολογισµούς µας χρήσιµος είναι ο Πίνακας Καναλιού Π mn m m n n A B K O M L L ) / Η ροή της πληροφορίας από την είσοδο στην έξοδο ελέγχεται από αυτόν ακριβώς τον πίνακα. Ανεξάρτητα από τη συχνότητα µε την οποία διοχετεύονται τα σύµβολα στο κανάλι, ο πίνακας καναλιού δείχνει κατά πόσο αλλοιώνονται τα σύµβολα κατά τη µετάδοση. Την ίδια µορφή mxn έχει και ο πίνακας ), B A Π που αποτελείται απ όλες τις πιθανότητες ), j i b των συνδυασµών να σταλεί i και να ληφθεί j b. Είναι δηλαδή ), B A Π ), ), ), ), ), ), ), ), ), n m m m n n b b b b b b b b b K O M L L Ας τροποποιήσουµε ελαφρώς τον πίνακα ) A Π γράφοντάς τον στη διαγώνια µορφή Π ) ) ) m D A O M b b M n m n b

42 Από τις ιδιότητες των πιθανοτήτων προκύπτουν οι σχέσεις η απόδειξη αφήνεται ως άσκηση). Π A) Π B / A) Π B) σχηµατικά θα λέγαµε ΕΙΣΟ ΟΣ)xΚΑΝΑΛΙ) ΕΞΟ ΟΣ). Π A) Π B / A) Π A, B) D. Στον πίνακα Π A, B), α) το άθροισµα των στοιχείων της i γραµµής ισούται µε ) β) το άθροισµα των στοιχείων της j στήλης ισούται µε b ) j i ΠΑΡΑ ΕΙΓΜΑ. Θεωρούµε το δυαδικό συµµετρικό κανάλι πληροφορίας µε διάγραµµα ηλαδή, στο κανάλι αυτό τα σύµβολα και µεταδίδονται αξιόπιστα κατά 9%, ενώ υπάρχει και µια πιθανότητα σφάλµατος %: 9% % % 9% Έστω επίσης ότι στην πηγή εισόδου τα σύµβολα και εκπέµπονται µε πιθανότητες. και.6 αντίστοιχα προσέξτε ότι οι πιθανότητες αυτές δεν εµπλέκονται καθόλου στο διάγραµµα του καναλιού) α) Να υπολογιστούν οι πίνακες Π A), Π B / A), Π B), Π A, B) β) Ποια είναι η πιθανότητα να λάβουµε στην έξοδο; γ) Ποια είναι η πιθανότητα να σταλεί και να ληφθεί ; δ) Ποια είναι η πιθανότητα να ληφθεί αν σταλεί ;

43 ΛΥΣΗ: α) Ο πίνακας Π A) δίνεται από την εκφώνηση: Π A ) [..6] Ο πίνακας του καναλιού Π B / A) δίνεται από το διάγραµµα:.9 Π B / A)...9 Ο πίνακας Π B) υπολογίζεται από τη σχέση.9 Π B ) Π A) Π B / A) [..6]. Ο πίνακας Π A, B) υπολογίζεται από τη σχέση..9 [..58] Π A, B) Π D A) Π B / A) β) Είναι ). 58 B [δίνεται από τον πίνακα B) Π ] γ) Είναι,). [δίνεται από τον πίνακα Π A, B) ] δ) Είναι / ). [δίνεται από τον πίνακα B / A) B / A Π ] Ας δούµε και ένα πιο σύνθετο κανάλι. ΠΑΡΑ ΕΙΓΜΑ. ίνεται ένα σύστηµα επικοινωνίας µε πηγή εισόδου A {, b, c, d} και αντίστοιχες πιθανότητες πηγή εξόδου B { x, y, z},,, και X, 8 πίνακα καναλιού ΠΒ/Α) όταν τα σύµβολα εισόδου και εξόδου είναι ίδια, καλό είναι να βάζουµε έναν δείκτη που να αποτρέπει τη σύγχυση. Εδώ πχ αντί για ).58 γράψαµε Β).58, ενώ για το σύµβολο της εισόδου θα γράφαµε Α).6 µε παρόµοιο σκεπτικό γράψαµε Β/Α/) αντί για /) ώστε να φαίνεται ότι το αναφέρεται στην έξοδο Β και το στην είσοδο Α. Αν δεν υπάρχει σύγχυση µπορούµε να παραλείπουµε τους δείκτες.

44 α) Να υπολογίσετε το πληροφοριακό περιεχόµενο αυτοπληροφορία) του συµβόλου d και την εντροπία της πηγής Α. β) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή Α και ποια είναι αυτή η µέγιστη τιµή; Πότε η εντροπία γίνεται ; γ) Να σχεδιάσετε το διάγραµµα του καναλιού. δ) Αφού υπολογίσετε τους πίνακες ΠΒ) και ΠΑ,Β), να βρείτε τις πιθανότητες να λάβουµε y στην έξοδο. εάν σταλεί c να λάβουµε y. να σταλεί c και να λάβουµε y. ΛΥΣΗ: α) Είναι X + + ). 8 8 Άρα, το ζητούµενο πληροφοριακό περιεχόµενο είναι I d) log8 bits, ενώ η εντροπία της πηγής Α είναι H A) log + log + log8+ log bits/σύµβολο 8 8 β) Η εντροπία θα ήταν µέγιστη εάν τα σύµβολα ήταν ισοπίθανα, δηλ. µε πιθανότητα το καθένα. Η τιµή της θα ήταν H log log bits/σύµβολο Η εντροπία γίνεται, όταν υπάρχει απόλυτη βεβαιότητα στην πηγή, δηλαδή όταν κάποιο από τα σύµβολα έχει πιθανότητα εκποµπής ενώ όλα τα υπόλοιπα. γ) x b y c / / z d

45 5 δ) Έχουµε Π Π Π ) / ) ) A B A B και ) / ) ), A B A B A D Π Π Π Π 8 8 B) Π 8 8 ), B A 8 Οι ζητούµενες πιθανότητες είναι να λάβουµε y στην έξοδο: y)9/ [από τον ΠΒ)] εάν σταλεί c να λάβουµε y: y/c)/ [από τον ΠΒ/Α)] να σταλεί c και να λάβουµε y: c,y)/ [από τον ΠΑ,Β)]. ΕΝΝΟΙΕΣ ΕΝΤΡΟΠΙΑΣ ΣΕ ΕΝΑ ΣΥΣΤΗΜΑ ΕΠΙΚΟΙΝΩΝΙΑΣ Στο προηγούµενο κεφάλαιο µιλήσαµε για την εντροπία µιας πηγής που δίνεται από τον τύπο i i i A H log ) και εξηγήσαµε ότι εκφράζει τη µέση αβεβαιότητα και κατ επέκταση τη µέση ποσότητα πληροφορίας) που φέρει κάθε σύµβολο της πηγής. Σε ένα σύστηµα επικοινωνίας µπορούµε να µιλάµε για ΕΝΤΡΟΠΙΑ ΕΙΣΟ ΟΥ ) )log ) i i m i A H εκφράζει τη µέση πληροφορία που φέρει κάθε σύµβολο στην είσοδο του καναλιού.

46 ΕΝΤΡΟΠΙΑ ΕΞΟ ΟΥ H B) n bi )log b ) i i εκφράζει τη µέση πληροφορία που φέρει κάθε σύµβολο στην έξοδο του καναλιού. ΕΝΤΡΟΠΙΑ ΣΥΣΤΗΜΑΤΟΣ H AB) i, bj )log, b ) i, j i j Είναι η συνδετική εντροπία των πηγών εισόδου και εξόδου και εκφράζει τη µέση πληροφορία ανά ζεύγος εισόδου εξόδου. Λίγο πιο πολύπλοκες, αλλά χρήσιµες για το σκοπό µας είναι οι επόµενες δύο έννοιες ΕΝΤΡΟΠΙΑ ΘΟΡΥΒΟΥ H A/ B) H AB) H B) εντροπία εισόδου όταν είναι γνωστή η έξοδος). Εκφράζει τη µέση αβεβαιότητα ανά σύµβολο εισόδου που γίνεται αντιληπτή στην έξοδο. Αποδίδεται στον θόρυβο του καναλιού. ΕΝΤΡΟΠΙΑ ΚΑΝΑΛΙΟΥ H B / A) H AB) H A) εντροπία εξόδου όταν είναι γνωστή η είσοδος). Εκφράζει τη µέση αβεβαιότητα ανά σύµβολο εξόδου που γίνεται αντιληπτή στην είσοδο. Αποδίδεται στην άγνοια για τη δοµή του καναλιού.. ΧΩΡΗΤΙΚΟΤΗΤΑ ΤΟΥ ΚΑΝΑΛΙΟΥ Είµαστε έτοιµοι να ορίσουµε τώρα την έννοια της χωρητικότητας ενός καναλιού. Θα χρησιµοποιήσουµε σαν εργαλεία τις έννοιες της προηγούµενης παραγράφου. Πρώτα χρειαζόµαστε ένα µεταβατικό µέγεθος, την διαπληροφορία ενός καναλιού. 6

47 ΟΡΙΣΜΟΣ: Η διαπληροφορία η και αµοιβαία πληροφορία) ενός καναλιού ορίζεται ως I A, B) H A) + H B) H AB) και εκφράζει τη µέση ποσότητα πληροφορίας που διοχετεύεται στο κανάλι ανά σύµβολο πληροφορίας. Από τον ορισµό των υπο-συνθήκη εντροπιών H A/ B) και H B / A) προκύπτουν εύκολα οι ισοδύναµοι ορισµοί I A, B) H A) H A/ B) ) I A, B) H B) H B / A) ) Η διαπληροφορία είναι µη αρνητικό µέγεθος και όταν δεν υπάρχει θόρυβος παίρνει τη µέγιστη τιµή της, καθώς τότε η εντροπία θορύβου H A/ B) είναι. Η ποσότητα πληροφορίας που διοχετεύεται στο κανάλι εξαρτάται από το πως εκπέµπονται τα σύµβολα στην πηγή εισόδου. Ο στόχος µας σε ένα κανάλι είναι να βρούµε τις κατάλληλες πιθανότητες µε τις οποίες θα πρέπει να σταλούν τα σύµβολα στην είσοδο ώστε να µεγιστοποιηθεί η διαπληροφορία. Τότε πετυχαίνουµε την χωρητικότητα του καναλιού: ΟΡΙΣΜΟΣ: Χωρητικότητα C ενός καναλιού είναι η µέγιστη τιµή της διαπληροφορίας σε περιβάλλον θορύβου: C mx{ I A, B)} Π A) Ο προσδιορισµός της κατάλληλης κατανοµής πιθανοτήτων Π A) για τα σύµβολα εισόδου γενικά δεν είναι εύκολος. Θα δούµε στη συνέχεια ορισµένα απλά παραδείγµατα για τον προσδιορισµό της χωρητικότητας ενός καναλιού. 7

48 .5 ΧΩΡΗΤΙΚΟΤΗΤΕΣ ΑΠΛΩΝ ΚΑΝΑΛΙΩΝ Όταν µιλάµε για κανάλι θα αναφερόµαστε κυρίως στον πίνακα Π B / A), εφόσον αυτός χαρακτηρίζει πλήρως το κανάλι. είχνει µε ποια συχνότητα τα σύµβολα εισόδου µετατρέπονται σε σύµβολα εξόδου. Α. ΚΑΘΟΡΙΣΤΙΚΟ ΚΑΝΑΛΙ Deterministic Chnnel) Στο κανάλι αυτό έχουµε ένα µόνο µη µηδενικό στοιχείο σε κάθε γραµµή του πίνακα Π B / A). Για παράδειγµα, έστω,,, } A, b, b, } { B και { b Το διάγραµµα του καναλιού είναι Π B / A) b b b Καθώς όλες οι πιθανότητες b / ) είναι είτε είτε, όταν γνωρίζουµε τι στέλνει η είσοδος είναι πλήρως καθορισµένο το τι θα ληφθεί στην έξοδο, απ όπου προκύπτει και η ονοµασία του καναλιού. Έχουµε τότε H B / A). Άρα, από τον τύπο ) της διαπληροφορίας I A, B) H B) H B / A) H B) και τελικά C mx{ I A, B)} mx { H B)} log n Π A) Π A) bits/σύµβολο Εδώ δεν ξέρουµε ποια κατανοµή Π A) δίνει το mximum, αλλά γνωρίζουµε ότι το αυτό επιτυγχάνεται όταν τα σύµβολα εξόδου Β είναι ισοπίθανα. Στο παράδειγµά µας n, οπότε η χωρητικότητα του καναλιού είναι C log.585 bits/σύµβολο. 8

49 Β. ΚΑΝΑΛΙ ΧΩΡΙΣ ΑΠΩΛΕΙΕΣ Lossless Chnnel) Στο κανάλι αυτό έχουµε ένα µόνο µη µηδενικό στοιχείο σε κάθε στήλη του πίνακα Π B / A). Για παράδειγµα, έστω,, } A, b, b, b, b, } { B και { b5 Π B / A) Το διάγραµµα του καναλιού είναι Στον πίνακα αυτόν φαίνονται οι πιθανότητες b / ) εξ ορισµού) αλλά όχι και οι πιθανότητες / b). Ωστόσο, λόγω της µορφής του καναλιού όπου σε κάθε σύµβολο εξόδου καταλήγει µόνο ένα «βέλος», µπορούµε εύκολα να µαντέψουµε τις πιθανότητες αυτές. Πράγµατι, εάν γνωρίζουµε το σύµβολο b, µπορούµε να καταλάβουµε ποιο σύµβολο α έχει σταλεί. Έτσι αν λάβουµε στην έξοδο b είµαστε σίγουροι ότι έχει σταλεί και όχι ή. Έχουµε λοιπόν, / b ) / b ) / b ) / / / /. b b b b 5 b Με τον ίδιο τρόπο, όλοι οι συνδυασµοί / b) δίνουν ή, µε άλλα λόγια δεν υπάρχει απώλεια πληροφορίας, απ όπου προκύπτει και η ονοµασία του καναλιού. Για την αντίστοιχη εντροπία έχουµε H A/ B). Άρα, από τον τύπο ) της διαπληροφορίας I A, B) H A) H A/ B) H A) και τελικά C mx{ I A, B)} mx { H A)} log m Π A) Π A) bits/σύµβολο 9

50 Στο παράδειγµά µας m, οπότε η χωρητικότητα του καναλιού είναι C log.585 bits/σύµβολο. Γ. Ι ΑΝΙΚΟ ΚΑΝΑΛΙ Idel Chnnel) Πρόκειται για τον συνδυασµό των περιπτώσεων Α και Β. Εδώ χωρητικότητα είναι C mx{ H A)} mx { H B)} log n Π A) Π A) m n, και η Προφανώς η αντιστοιχία συµβόλων εισόδου εξόδου είναι «ένα προς ένα», δηλαδή δεν υπάρχει περίπτωση να αλλοιωθεί ένα σύµβολο ή αλλιώς δεν υπάρχει θόρυβος. Π.χ. Εδώ, B / A) Π. Έχουµε m n οπότε η χωρητικότητα του καναλιού είναι C log bit/σύµβολο. ΥΑ ΙΚΟ ΣΥΜΜΕΤΡΙΚΟ ΚΑΝΑΛΙ Binry Symmetric Chnnel BSC) Είναι το σύνηθες δυαδικό κανάλι µε πιθανότητα σφάλµατος q -q q q -q

51 είχνεται ότι η απόδειξη αφήνεται ως άσκηση) η χωρητικότητα του καναλιού αυτού είναι δηλαδή όπου h q) η συνάρτηση Shnnon. C q log q) log q C h q) q

52 ΑΣΚΗΣΕΙΣ. ίνεται συµµετρικό δυαδικό κανάλι πληροφορίας µε αλφάβητο εισόδου και εξόδου ΑΒ{,}. Στην είσοδο, τα σύµβολα και εκπέµπονται µε πιθανότητες και αντίστοιχα. Η πιθανότητα σφάλµατος είναι α) Να σχεδιάσετε το διάγραµµα του καναλιού q. β) Να υπολογιστούν οι πίνακες Π A), Π B / A), Π B), Π A, B) γ) Ποια είναι η πιθανότητα να λάβουµε στην έξοδο; δ) Ποια είναι η πιθανότητα να σταλεί και να ληφθεί ; ε) Ποια είναι η πιθανότητα αν σταλεί να ληφθεί ;. ίνεται σύστηµα επικοινωνίας µε πηγή εισόδου και εξόδου AB{,b,c,d}. α) Έστω ότι τα σύµβολα,b,c,d εκπέµπονται από την πηγή εισόδου µε πιθανότητες /, /, /8 και x αντίστοιχα. Να βρεθεί η τιµή του x και η εντροπία της πηγής Α. β) Για ποια κατανοµή πιθανοτήτων θα είχαµε τη µέγιστη εντροπία στην πηγή και ποια είναι αυτή η µέγιστη τιµή; Πότε η εντροπία γίνεται ; γ) Έστω ότι το c και το d µεταδίδονται πάντοτε αξιόπιστα µέσα από το κανάλι του συστήµατος, ενώ υπάρχει µια πιθανότητα % να µετατραπεί εσφαλµένα το σε b όπως και το b σε. Να βρείτε τον πίνακα ΠΒ/Α) και να σχεδιάσετε το διάγραµµα του καναλιού. δ) Να υπολογίσετε τον πίνακα ΠΒ) και την πιθανότητα να λάβουµε b στην έξοδο.. ίνεται ένα σύστηµα τηλεπικοινωνιών µε πηγή εισόδου Α{,} και πηγή εξόδου Β{,b,c}. Η πιθανότητα εκποµπής του είναι τριπλάσια από αυτή του. Το λαµβάνεται στην έξοδο πότε ως και πότε ως b µε ίσες πιθανότητες ενώ το πότε ως b και πότε ως c επίσης µε ίσες πιθανότητες. α) Να βρεθεί ο πίνακας ΠΑ) και η εντροπία της πηγής Α β) Να βρεθεί ο πίνακας ΠΒ/Α) και να σχεδιάσετε το διάγραµµα του καναλιού γ) Να βρεθεί η πιθανότητα λήψης του συµβόλου c στη έξοδο. δ) Να βρεθεί ο πίνακας ΠΑ,Β) και η πιθανότητα να συµβεί εκποµπή του και λήψη του b. [ ίνεται log. 59]