5. ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΜΕ ΘΟΡΥΒΟ

Transcript

1 5. ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΜΕ ΘΟΡΥΒΟ Κατά τη µετάδοση πληροφορίας σε ένα σύστηµα επικοινωνίας συνήθως υπάρχει θόρυβος, δηλαδή κάποια µορφή αλλοίωσης του σήµατος. Στο δυαδικό κανάλι για παράδειγµα, όπου τα µηνύµατά µας µεταφέρονται ως ακολουθίες από και, υπάρχει µια πιθανότητα να µετατραπεί κάποιο σε ή το αντίστροφο και να αλλοιωθεί το µήνυµά µας. Ένας στόχος στις επικοινωνίες είναι η εξασφάλιση αξιοπιστίας της µεταδιδόµενης πληροφορίας, η εύρεση δηλαδή ενός έξυπνου τρόπου να ανιχνεύουµε και, γιατί όχι, να διορθώνουµε τα πιθανά σφάλµατα που µπορεί να προκύψουν κατά τη µετάδοση Μια ιδέα θα ήταν, να επαναλάβουµε το µήνυµά µας, αρκετές φορές µέσα από το κανάλι ώστε να βελτιώσουµε την αξιοπιστία του συστήµατος (το έχουµε δει ήδη αρκετές φορές µέχρι τώρα). Είναι κι αυτός ένας θεµιτός τρόπος. Θα δούµε ότι υπάρχουν και άλλοι τρόποι, πιο «έξυπνοι», να αυξήσουµε το µήκος των µηνυµάτων µας ώστε να έχουµε την ευχέρεια να εντοπίζουµε σφάλµατα. ίπλα λοιπόν στα κωδικά σύµβολα του αρχικού µηνύµατος, που αποτελούν την πραγµατική πληροφορία, θα επισυνάπτουµε επιπλέον κωδικά σύµβολα, που θα ονοµάζουµε πλεονάζουσα πληροφορία, και τα οποία θα αντισταθµίζουν την παραµόρφωση που προκαλεί ο θόρυβος. Φανταστείτε όµως πόσο επιβαρύνουµε την ταχύτητα της επικοινωνίας µε την επιµήκυνση αυτή των µηνυµάτων µας όταν έχουµε να στείλουµε έναν τεράστιο όγκο πληροφορίας. Αναζητούµε λοιπόν µια χρυσή τοµή για δύο αντικρουόµενες επιθυµίες Να βελτιώσουµε την αξιοπιστία του συστήµατος (διορθώνοντας πιθανά σφάλµατα) Να µειώσουµε την ταχύτητα µετάδοσης του µηνύµατος Η πρώτη επιθυµία απαιτεί αύξηση του µήκους των µηνυµάτων ενώ η δεύτερη µείωση. Κατά πόσο µπορούµε να προσεγγίσουµε αυτή τη χρυσή τοµή; Την απάντηση τη δίνει πάλι ο Shao. 75

2 5. ΤΟ ΕΥΤΕΡΟ ΘΕΩΡΗΜΑ ΤΟΥ SHANNON (ΣΕ ΠΕΡΙΒΑΛΛΟΝ ΜΕ ΘΟΡΥΒΟ) Έστω ότι ένας κώδικας αποτελείται από k N κωδικές λέξεις µήκους. Ο λόγος k R θα λέγεται ρυθµός του κώδικα. Ας εξηγήσουµε το ρυθµό µέσα από ένα απλό παράδειγµα. ΠΑΡΑ ΕΙΓΜΑ. Έστω ότι η πηγή του συστήµατός µας εκπέµπει σύµβολα, a,b,c,d. Είναι k και αυτό δηλώνει ότι για την δυαδική κωδικοποίηση της πραγµατικής πληροφορίας απαιτούνται bits. Για παράδειγµα, µια αρχική κωδικοποίηση είναι η a b c d Αν µείνουµε σ αυτόν τον κώδικα, έχουµε και άρα ο ρυθµός του κώδικα είναι R. εν έχουµε όµως την δυνατότητα να εντοπίσουµε σφάλµατα. Για να «προλάβουµε» τυχόν λάθη κατά τη µετάδοση επαναλαµβάνουµε το µήνυµα τρεις φορές, έτσι παίρνουµε τον κώδικα a b c d Τα τελευταία bits αποτελούν την πλεονάζουσα πληροφορία. Το τελικό µήκος είναι 6. Ο ρυθµός λοιπόν του κώδικα είναι k R 6 Γενικά, αν το πλήθος των κωδικών λέξεων είναι Ν, τότε θέτουµε k log N και ο ρυθµός είναι k/. Ουσιαστικά ο αριθµός k εκφράζει πόσα δυαδικά bits χρειάζονται για την αναπαράσταση των Ν συµβόλων της πηγής. 76

3 Προσέξτε ότι η πληροφορία που στέλνεται είναι «τριπλάσια» της πραγµατικής και συνεπώς η ταχύτητα µειώνεται κατά το ένα τρίτο! Με ποιον τρόπο η παραπάνω επιµήκυνση βοηθάει στην «πρόληψη» σφαλµάτων; Για παράδειγµα, αν σταλεί το µήνυµα a και αλλάξει κατά τη µετάδοση κάποιο bit, θα λάβουµε ένα από τα παρακάτω µηνύµατα Όποιο και να λάβουµε στην έξοδο, θα καταλάβουµε ότι από τις αρχικές κωδικές λέξεις η πιο «κοντινή» στο αποτέλεσµα είναι η. Η αποκωδικοποίηση λοιπόν θα επαναφέρει την αλλοιωµένη κωδική λέξη στη σωστή. Οι «αντιφατικοί» στόχοι που εξηγήσαµε στην εισαγωγή του κεφαλαίου αποτυπώνονται στον παρακάτω πίνακα ΡΥΘΜΟΣ ΤΑΧΥΤΗΤΑ ΜΗΚΟΣ ΥΝΑΤΟΤΗΤΑ ΕΝΤΟΠΙΣΜΟΥ ΚΩ ΙΚΑ ΜΕΤΑ ΟΣΗΣ ΚΩ. ΛΕΞΕΩΝ ΣΦΑΛΜΑΤΩΝ Μικρός Μικρή Μεγάλο Μεγάλη Μεγάλος Μεγάλη Μικρό Μικρή ιατυπώνουµε τώρα το δεύτερο θεώρηµα του Shao που αφορά την κωδικοποίηση σε περιβάλλον µε θόρυβο. ΘΕΩΡΗΜΑ (Περιγραφή). Έστω ένα σύστηµα επικοινωνίας µε µια πηγή Α που έχει εντροπία Η(Α) και µε ένα κανάλι χωρητικότητας C. Αν Η(Α) C, τότε υπάρχει ένας κώδικας µε πιθανότητα εσφαλµένης κωδικοποίησης οσοδήποτε µικρή επιθυµούµε, ενώ ο ρυθµός µετάδοσης της πληροφορίας R προσεγγίζει όσο επιθυµούµε τη χωρητικότητα C (αυτή είναι και η µέγιστη τιµή που µπορεί να πάρει ο ρυθµός) Αν <C<Η(Α), τότε δεν υπάρχει κώδικας που να εξασφαλίζει αρκετά µικρή πιθανότητα σφάλµατος. 77

4 Το δεύτερο θεώρηµα του Shao µας πληροφορεί ότι η σηµαντικότερη παράµετρος σε ένα σύστηµα επικοινωνίας είναι η χωρητικότητα του καναλιού C (σε συνδυασµό µε την εντροπία της πηγής) και εγγυάται την ύπαρξη αξιόπιστου κώδικα µε ρυθµό που προσεγγίζει τη χωρητικότητα C. Και πάλι, η απόδειξη του Shao δεν µας παρέχει τη µέθοδο για να βρούµε τον επιθυµητό κώδικα. 5. ΑΝΙΧΝΕΥΣΗ ΣΦΑΛΜΑΤΩΝ ΙΟΡΘΩΣΗ ΣΦΑΛΜΑΤΩΝ Σε ένα σύστηµα επικοινωνίας µε θόρυβο υπάρχουν δύο βασικοί στόχοι για την αντιµετώπιση του θορύβου: Ανίχνευση σφαλµάτων: να γνωρίζουµε απλά ότι συνέβησαν σφάλµατα κατά τη µετάδοση ιόρθωση σφαλµάτων: να εντοπίζουµε τα σφάλµατα που ανιχνεύτηκαν και να τα διορθώνουµε. Εάν έχουµε τη δυνατότητα να επαναλαµβάνουµε κάποιο µήνυµα και αυτό δεν κοστίζει, τότε η ανίχνευση είναι αρκετή. Μόλις καταλάβουµε ότι έγινε σφάλµα, ζητάµε επανάληψη της µετάδοσης. Πολλές φορές όµως δεν είναι δυνατό να επαναληφθεί η µετάδοση (π.χ. µετάδοση από δορυφόρο) οπότε επιζητούµε όχι µόνο την ανίχνευση αλλά και τη διόρθωση των σφαλµάτων. Γενικά το πλήθος των σφαλµάτων που διορθώνει ένας κώδικας είναι µικρότερο από το πλήθος των σφαλµάτων που ανιχνεύει όπως φαίνεται στο ακόλουθο παράδειγµα. Ας πάρουµε και πάλι το δυαδικό συµµετρικό κανάλι επικοινωνίας q -q q -q µε την πηγή να στέλνει τα µηνύµατα και και µε την κωδικοποίηση ΝΑΙ ΟΧΙ πλεονάζοντα bits 78

5 Η πραγµατική πληροφορία βρίσκεται µόνο στο πρώτο σύµβολο. Τα τελευταία bits είναι πλεονάζοντα καθώς δεν προσθέτουν ουσιαστική πληροφορία, εξυπηρετούν µόνο στην αναζήτηση σφαλµάτων. Ανίχνευση: Έστω ότι στέλνουµε το. Αν συµβούν από µέχρι σφάλµατα, στην έξοδο θα φτάσει µια µη επιτρεπτή κωδική λέξη (στην έξοδο ο αποδέκτης γνωρίζει ότι ο κώδικας αποτελείται από τις λέξεις και ). Κάτι ανάλογο συµβαίνει αν σταλεί το µήνυµα. Άρα ο κώδικας ανιχνεύει µέχρι σφάλµατα. ιόρθωση: Έστω και πάλι ότι στέλνουµε το. Ο αποκωδικοποιητής ερµηνεύει το αποτέλεσµα στην έξοδο του καναλιού ως είτε ως, ανάλογα µε το που πλησιάζει περισσότερο η λήψη. Αριθµός σφαλµάτων Τι φτάνει στην έξοδο Πως αποκωδικοποιείται 5 Στις τρεις πρώτες περιπτώσεις λοιπόν λαµβάνουµε στην έξοδο το σωστό µήνυµα. Άρα ο κώδικας διορθώνει µέχρι σφάλµατα. Αν συµβούν είτε σφάλµατα θα τα ανιχνεύσει µεν, αλλά θα τα αποκωδικοποιήσει λανθασµένα ως. Αν συµβούν 5 λάθη δεν θα τα ανιχνεύσει καν. 79

6 Ποια είναι η πιθανότητα να αποκωδικοποιηθεί εσφαλµένα το αρχικό µήνυµα; Αθροίζουµε τις πιθανότητες να συµβούν 5,, ή σφάλµατα: Pq 5 5q (-q)q (-q) ΠΑΡΑ ΕΙΓΜΑ. Έστω δυαδικό κανάλι µε πιθανότητα σφάλµατος q.5 Εάν τα µηνύµατα ΝΑΙ και ΟΧΙ στο προηγούµενο παράδειγµα κωδικοποιηθούν µε ένα bit η πιθανότητα λανθασµένης µετάδοσης είναι q.5 δηλαδή 5%. Ποια είναι η πιθανότητα λανθασµένης µετάδοσης µε τον πιο πάνω κώδικα (επανάληψη 5 bits); ίνεται από τον πιο πάνω τύπο P.585.% ιαπιστώνουµε λοιπόν ότι µε µια επιµήκυνση των µηνυµάτων NAI και ΟΧΙ κατά 5 φορές η πιθανότητα λάθους µειώθηκε από το 5% στο.%, έγινε δηλαδή φορές περίπου µικρότερη. Εάν µας ικανοποιεί αυτός ο βαθµός αξιοπιστίας, ο κώδικας είναι καλός. Εάν η µετάδοση της πληροφορίας αφορά την απόφαση για την έναρξη ενός πυρηνικού πολέµου, οπότε τα λάθη δεν συγχωρούνται(!), τότε πρέπει να βρούµε ακόµη πιο αξιόπιστο κώδικα! 5. ΒΙΤ ΕΛΕΓΧΟΥ ΙΣΟΤΙΜΙΑΣ Ένας εύκολος τρόπος να ανιχνεύουµε ένα σφάλµα είναι να προσθέτουµε ένα bit ελέγχου ισοτιµίας στο τέλος κάθε κωδικής λέξης: Προσθέτουµε ή έτσι ώστε κάθε κωδική λέξη να έχει άρτιο πλήθος από. Συνεπώς, αν στο µήνυµα που θα λάβουµε στην έξοδο εντοπιστεί περιττό πλήθος από θα ο αποκωδικοποιητής θα διαγνώσει σφάλµα. Άρα ο κώδικας ανιχνεύει ένα σφάλµα. Αν συµβούν δύο σφάλµατα δεν θα ανιχνευτούν, ενώ (και γενικά περιττός αριθµός σφαλµάτων) θα ανιχνευτούν. Προφανώς η διόρθωση σφαλµάτων δεν είναι δυνατή. θα µπορούσαµε βέβαια να επιδιώκουµε και περιττό πλήθος για όλες τις κωδικές λέξεις. 8

7 ΠΑΡΑ ΕΙΓΜΑ Θεωρούµε όλες τις δυνατές τριάδες δυαδικών ψηφίων και προσθέτουµε ένα bit ελέγχου ισοτιµίας Αν π.χ φτάσει στον αποκωδικοποιητή το µήνυµα θα ανιχνεύσει ότι έγινε σφάλµα διότι υπάρχει περιττός αριθµός από. Η διόρθωση δεν είναι δυνατή διότι δεν µπορεί να εντοπίσει αν προήρθε από ή ή ή καθώς όλα τα τελευταία διαφέρουν κατά bit από το µήνυµα 5. ΓΡΑΜΜΙΚΟΙ ΚΩ ΙΚΕΣ ΙΟΡΘΩΣΗΣ ΣΦΑΛΜΑΤΩΝ ( ΥΑ ΙΚΟΙ) Οι γραµµικοί κώδικες ορίζονται αυστηρά µε έναν µαθηµατικό, αλγεβρικό τρόπο. Η αλγεβρική δοµή τους εξασφαλίζει ιδιότητες εξαιρετικά χρήσιµες για την κωδικοποίηση και την αποκωδικοποίησή τους. Εδώ θα αρκεστούµε σε έναν µηχανικό τρόπο κατασκευής τους απαλλαγµένο από την πιο προχωρηµένη µαθηµατική θεωρία που τους περιβάλλει. Χρειάζεται µόνο ο πολλαπλασιασµός πινάκων. Θα ασχοληθούµε µόνο µε τους δυαδικούς γραµµικούς κώδικες, αυτούς δηλαδή που έχουν ως αλφάβητο κωδικοποίησης το σύνολο {,}. Έστω ότι το αρχικό µήνυµα που θέλουµε να στείλουµε είναι L k όπου τα ψηφία i είναι ή. Προφανώς υπάρχουν k τέτοια µηνύµατα. 8

8 Στην προηγούµενη παράγραφο προσθέσαµε ένα bit ελέγχου ισοτιµίας για να ανιχνεύουµε σφάλµατα, αλλά συνήθως bit δεν είναι αρκετό. Θέλουµε να κατασκευάσουµε την αντίστοιχη κωδική λέξη συµπληρώνοντας περισσότερα ψηφία L L k k µήνυµα πλεονάζουσα πληροφορία Έστω Α ένας πίνακας (-k) k. Ο πίνακας Η[Α Ι] θα λέγεται πίνακας ελέγχου ισοτιµίας. Έχει διαστάσεις (-k). Τα ψηφία k L επιλέγονται έτσι ώστε να ισχύει H Ο (µηδενικός πίνακας) M Ο κώδικας που παίρνουµε µε τον τρόπο αυτόν θα λέγεται Γραµµικός Κώδικας µε µήκος διάσταση k Ωστόσο, για την ποιότητα του κώδικα δεν έχουν τόση σηµασία οι απόλυτες τιµές των δύο µεγεθών όσο η µεταξύ τους σχέση. Πρόκειται για τον ρυθµό του κώδικα που είχαµε αναφέρει νωρίτερα k R ΠΑΡΑ ΕΙΓΜΑ Θεωρούµε τον πίνακα ελέγχου ισοτιµίας H Στη δυαδική αριθµητική που χρησιµοποιούµε εδώ,,. (λειτουργεί σαν τον τελεστή XOR). Γενικά, το άθροισµα πολλών ψηφίων είναι εάν το πλήθος των είναι άρτιο και εάν το πλήθος είναι περιττό. Π.χ.. 8

9 8 Ο πίνακας Α έχει διαστάσεις, ενώ ο Η έχει 6. Άρα θα είναι k και 6 (διότι (-k) k ). Αυτό σηµαίνει ότι το αρχικό µας µήνυµα έχει ψηφία (είναι οι 8 δυαδικές τριάδες) και θα προσθέσουµε άλλα πλεονάζοντα ψηφία για να πάρουµε την κωδική λέξη. 5 6 ; Πρέπει 6 5 H Ο 6 5 Ο 6 5 Έτσι, γνωρίζοντας τα, υπολογίζουµε εύκολα τα 5 6. Π.χ. για το µήνυµα, η πρώτη εξίσωση δίνει, η δεύτερη 5 και η τρίτη 6. ηλαδή 5 6. Όµοια υπολογίζουµε και για τα υπόλοιπα. Παίρνουµε λοιπόν τον γραµµικό κώδικα

10 Για να µην λύνουµε κάθε φορά τις εξισώσεις, µπορούµε να ακολουθήσουµε και έναν ίσως πιο βολικό τρόπο. Εάν Η[Α Ι], τότε ο πίνακας G[I A t ] λέγεται γεννήτρια του κώδικα διότι δίνει απευθείας τις κωδικές λέξεις: [ ] G [ 5 6 ] Στο ΠΑΡΑ ΕΙΓΜΑ µας π.χ., το µήνυµα κωδικοποιείται ως εξής [ ] G [ ] [ ] Όµοια και τα υπόλοιπα. 5.5 ΤΙ ΠΕΤΥΧΑΜΕ ΜΕ ΤΟ ΓΡΑΜΜΙΚΟ ΚΩ ΙΚΑ - ΕΛΑΧΙΣΤΗ ΑΠΟΣΤΑΣΗ, ΑΝΙΧΝΕΥΣΗ ΚΑΙ ΙΟΡΘΩΣΗ ΣΦΑΛΜΑΤΩΝ Καταρχάς έχουµε έναν εύκολο τρόπο να ανιχνεύουµε σφάλµατα. Είπαµε πως τα πλεονάζοντα ψηφία τα διαλέξαµε έτσι ώστε H Ο (*) M Εάν λοιπόν λάβουµε στην έξοδο του καναλιού ένα µήνυµα L που δεν ικανοποιεί την σχέση (*), διαπιστώνουµε ότι έχουµε σφάλµα. Εάν την ικανοποιεί τη δεχόµαστε ως επιτρεπτή κωδική λέξη. ΠΑΡΑ ΕΙΓΜΑ 5 Στο παράδειγµα της προηγούµενης παραγράφου, λαµβάνουµε στην έξοδο το µήνυµα Έχει συµβεί σφάλµα; 8

11 85 Έχουµε H (µη µηδενικός) Άρα έχει συµβεί σφάλµα στη µετάδοση. Επιπλέον, έχουµε τη δυνατότητα να διορθώνουµε και σφάλµατα. Ορίζουµε πρώτα, Εάν c είναι µια κωδική λέξη, βάρος (c) το πλήθος των µη µηδενικών ψηφίων της c. Εάν c,c είναι δύο κωδικές λέξεις, απόσταση (c,c ) το πλήθος των θέσεων όπου διαφέρουν οι c,c Π.χ. εάν c και c βάρος (c ), βάρος (c ) απόσταση (c, c ), καθώς οι λέξεις διαφέρουν στις θέσεις,5,6. Καθοριστικό ρόλο στους κώδικες παίζει η ελάχιστη απόσταση µεταξύ των κωδικών λέξεων. Τη συµβολίζουµε µε d. Όσο πιο πολύ απέχουν οι κωδικές λέξεις µεταξύ τους τόσο πιο πολλά σφάλµατα µπορούµε να αναγνωρίσουµε. Φανταστείτε σαν κώδικα την ελληνική γλώσσα µε αλφάβητο τα κεφαλαία γράµµατά της. Εάν δούµε τη λέξη ΠΛΑΚΤΡΟΛΟΓΕΟ θα καταλάβουµε ότι συνέβησαν δύο σφάλµατα και θα διορθώσουµε τη λέξη ως ΠΛΗΚΤΡΟΛΟΓΙΟ Αυτό γιατί η απόσταση της λέξης ΠΛΗΚΤΡΟΛΟΓΙΟ από άλλες ελληνικές λέξεις είναι αρκετά µεγάλη.

12 Ωστόσο, εάν δούµε τη λέξη ΛΑΡΟΣ που επίσης είναι λανθασµένη, δεν µπορούµε να καταλάβουµε εάν η σωστή λέξη ήταν ΦΑΡΟΣ ή ΧΑΡΟΣ ή ΛΑΘΟΣ ή ΛΑΓΟΣ κλπ καθώς όλες αυτές απέχουν µόλις ένα σύµβολο από την αρχική. Γενικά λοιπόν, η ελληνική γλώσσα, όπως και κάθε άλλη οµιλούµενη γλώσσα, δεν είναι καλός κώδικας όσον αφορά τη δυνατότητα διόρθωσης σφαλµάτων. Με το σκεπτικό αυτό, επιδίωξη µας στους κώδικες είναι η ελάχιστη απόσταση να είναι όσο το δυνατό µεγαλύτερη ώστε να διορθώνονται περισσότερα σφάλµατα. Εάν π.χ. η ελάχιστη απόσταση είναι 5 και συµβούν ή σφάλµατα σε µια κωδική λέξη θα τα εντοπίσουµε. Εάν συµβούν, τότε ίσως κάνουµε λάθος αναγνώριση. Ο κώδικας λοιπόν διορθώνει µέχρι σφάλµατα. Είναι εύκολο να εντοπίσουµε ποια είναι η ελάχιστη απόσταση; Στους Γραµµικούς Κώδικες ΝΑΙ. ΠΡΟΤΑΣΗ: Σε έναν Γραµµικό Κώδικα, η ελάχιστη απόσταση d είναι ίση µε το ελάχιστο µη µηδενικό βάρος των κωδικών λέξεων. O κώδικας µπορεί να ανιχνεύσει µέχρι d- σφάλµατα. Επιπλέον, εάν d περιττός, τότε ο κώδικας διορθώνει µέχρι d d εάν d άρτιος, τότε ο κώδικας διορθώνει µέχρι σφάλµατα. σφάλµατα. Στο ΠΑΡΑ ΕΙΓΜΑ, το ελάχιστο βάρος άρα και η ελάχιστη απόσταση d είναι. (διαπιστώστε και µόνοι σας ότι όλες οι κωδικές λέξεις ανά δύο απέχουν µεταξύ τους ή ). Άρα ο γραµµικός κώδικας του παραδείγµατος µπορεί να ανιχνεύσει µέχρι σφάλµατα ενώ διορθώνει µε σιγουριά µέχρι και σφάλµα. Μέχρι σήµερα έχει αναπτυχθεί και χρησιµοποιηθεί σε διάφορες εφαρµογές µια πληθώρα γραµµικών κωδίκων. Μια εφαρµογή περιγράφεται στην επόµενη σελίδα, ενώ στις επόµενες δύο παραγράφους θα παρουσιάσουµε δύο ενδεικτικά παραδείγµατα γραµµικών κωδίκων. 86

13 87 ΜΙΑ ΕΦΑΡΜΟΓΗ ΓΡΑΜΜΙΚΟΥ ΚΩ ΙΚΑ Έστω ο πίνακας A Η γεννήτρια ] [ A I G έχει διαστάσεις. Γενικά η γεννήτρια έχει διαστάσεις (-k) οπότε k και Συνεπώς η διάσταση του κώδικα είναι k, το µήκος, ο ρυθµός R και ο κώδικας αποτελείται από 96 k κωδικές λέξεις µήκους bits Στην περίοδο , το διαστηµόπλοιο Voyager έστειλε έγχρωµες φωτογραφίες από τους πλανήτες ία και Κρόνο χρησιµοποιώντας αυτόν τον κώδικα. Καθεµιά από τις 96 κωδικές λέξεις αντιστοιχούσε και σε µια διαφορετική απόχρωση του ηλιακού φάσµατος. Η αποστολή έγινε ως εξής: Κάθε φωτογραφία χωρίστηκε µε ένα ορθογώνιο πλέγµα σε µικρές κουκίδες (piels) και το χρώµα κάθε κουκίδας κωδικοποιήθηκε µε την αντίστοιχη δυαδική λέξη η οποία µεταδόθηκε στη γη. Κατά την αποκωδικοποίηση (και την πιθανή διόρθωση σφαλµάτων που συνέβησαν στην µετάδοση) κάθε κωδική λέξη «µεταφράστηκε» ξανά στο αντίστοιχο χρώµα και κουκίδα-κουκίδα δηµιουργήθηκε η αρχική φωτογραφία. ΚΩ ΙΚΟΠΟΙΗΣΗ ΣΤΟ ΙΑΣΤΗΜΑ ΑΠΟΚΩ ΙΚΟΠΟΙΗΣΗ ΣΤΗ ΓΗ (αντίστροφη διαδικασία µε ταυτόχρονη διόρθωση σφαλµάτων) Ο κώδικας αυτός είναι γνωστός ως Golay Γ. Έχει ελάχιστη απόσταση d8, οπότε µπορεί να διορθώσει µέχρι σφάλµατα σε κάθε κωδική λέξη των άρων bit (αρκετά καλή διόρθωση!). Στην πιο σπάνια περίπτωση που συνέβαιναν περισσότερα σφάλµατα, αλλοιωνόταν το συγκεκριµένο piel, γεγονός που και πάλι δεν επηρέαζε σηµαντικά την συνολική εικόνα Αρχική εικόνα κουκίδες στη σειρά χρώµα κουκίδων µε κωδικές λέξεις των bit

14 5.6 ΕΠΑΝΑΛΗΠΤΙΚΟΙ ΚΩ ΙΚΕΣ Ο επαναληπτικός είναι ο απλούστερος κώδικας που γνωρίζουµε. Έχει µόνο δύο µηνύµατα, το και το, και για να πετύχει διόρθωση σφαλµάτων απλά επαναλαµβάνει τη µετάδοση του ψηφίου αρκετές φορές. Π.χ. Ο κώδικας Απλά στέλνει κάθε ψηφίο 5 φορές ώστε αν συµβούν µέχρι και δύο σφάλµατα να τα διορθώσει. Εάν πχ λάβουµε θα υποθέσουµε ότι στάλθηκε το που απέχει λιγότερο (δηλαδή το αρχικό µήνυµα ήταν ). Είναι γραµµικός µε πίνακα ελέγχου ισοτιµίας οπότε η γεννήτρια είναι H G [ ] και έχουµε τις κωδικοποιήσεις και [ ] [ ] [ ] G [] [ ] [ ] [ ] G [] Η ελάχιστη απόσταση είναι προφανώς d5 και όπως είπαµε διορθώνει σφάλµατα. Γενικά µπορούµε να διαπιστώσουµε εύκολα ότι ο επαναληπτικός κώδικας µήκους είναι γραµµικός και παράγεται από την γεννήτρια G [ L ] 88

15 5.7 ΚΩ ΙΚΕΣ HAMMING, H() Οι κώδικες Hammig H(m) είναι µια οικογένεια κωδίκων και είναι γνωστοί για την εύκολη αποκωδικοποίησή τους. Ενδεικτικά θα αναφέρουµε τον κώδικα H(). Έχει πίνακα ελέγχου ισοτιµίας H Οι στήλες του µοναδιαίου πίνακα βέβαια δεν είναι στο τέλος όπως έχουµε συνηθίσει, αλλά εµφανίζονται στην η, η και η στήλη. Αυτό γίνεται εσκεµµένα. Εάν προσέξουµε θα δούµε ότι οι στήλες του πίνακα είναι όλες οι δυνατές δυαδικές τριάδες κατ αύξουσα σειρά. Ο κώδικας H() έχει διάσταση: k µήκος: 7 ελάχιστη απόσταση: d k Το πλήθος των κωδικών λέξεων του κώδικα είναι 6 Λόγω της κατασκευής του πίνακα Η, εάν λάβουµε την κωδική λέξη το αποτέλεσµα H M 7 όχι µόνο ανιχνεύει αν έχει γίνει σφάλµα ή όχι (ανάλογα αν δώσει Ο ή όχι), αλλά µας δείχνει και τη θέση του σφάλµατος ώστε να το διορθώσουµε. Το αποτέλεσµα θα είναι η δυαδική παράσταση της θέσης του σφάλµατος. ηλαδή, c αν το αποτέλεσµα είναι b τότε η θέση σφάλµατος είναι (cba) a a b c. 89

16 9 ΠΑΡΑ ΕΙΓΜΑ 6 Στην έξοδο ενός τηλεπικοινωνιακού συστήµατος που χρησιµοποιεί κώδικα Hammig λαµβάνουµε τα µηνύµατα ιαπιστώστε αν έχει συµβεί σφάλµα κατά τη µετάδοση. Πως θα αποκωδικοποιηθεί το κάθε µήνυµα; H άρα το πρώτο µήνυµα θεωρείται σωστό. H Άρα έχει συµβεί σφάλµα στη θέση () 6. Η αποκωδικοποίηση θα δώσει το µήνυµα (ίδιο µε το πρώτο). H

17 Άρα έχει συµβεί σφάλµα στη θέση () 7. Η αποκωδικοποίηση θα δώσει το µήνυµα. Στη γενική περίπτωση του κώδικα Hammig H(m), οι στήλες του πίνακα Η είναι όλες οι δυνατές δυαδικές m-άδες κατ αύξουσα σειρά. Στην περίπτωση αυτή µήκος: m - διάσταση: k -m ελάχιστη απόσταση: d Ο κώδικας διορθώνει και πάλι µόνο ένα σφάλµα. Εφόσον όµως αλλάζει η διάσταση k, αλλάζει το πλήθος των κωδικών λέξεων, άρα και το πλήθος των αρχικών µηνυµάτων που µπορεί να εκφράσει ο κώδικας. Το πλήθος αυτό είναι k. 9

18 ΑΣΚΗΣΕΙΣ 5. ίνεται ο κώδικας α) Πόσα σφάλµατα ανιχνεύει (µε σιγουριά); β) Πόσα σφάλµατα διορθώνει (µε σιγουριά); γ) Ποιος είναι ο ρυθµός του κώδικα; δ) Πόσα ψηφία αποτελούν πραγµατική πληροφορία και πόσα πλεονάζουσα; 5. Σε ένα τηλεπικοινωνιακό σύστηµα µε συµµετρικό δυαδικό κανάλι (BSC) και πιθανότητα σφάλµατος q. χρησιµοποιούνται οι κωδικοποιήσεις: ΜΗΝΥΜΑ ΚΩ ΙΚΑΣ ΚΩ ΙΚΑΣ Α Β Γ ενώ η αποκωδικοποίηση γίνεται προς την πλησιέστερη κωδική λέξη. Έστω ότι στέλνεται το µήνυµα Α. α) Να δείξετε σε έναν πίνακα όλες τις πιθανές λήψεις και αντίστοιχες αποκωδικοποιήσεις µε τον κώδικα. β) Ποια είναι η πιθανότητα σφάλµατος στη µετάδοση του Α µε τον κώδικα ; γ) Να δείξετε σε έναν πίνακα όλες τις πιθανές λήψεις και αντίστοιχες αποκωδικοποιήσεις µε τον κώδικα, εάν συµβούν µέχρι και σφάλµατα δ) Εάν συµβούν σφάλµατα µε τον κώδικα µπορεί να γίνει διόρθωση; ε) Ποια είναι η πιθανότητα σφάλµατος στη µετάδοση του Α µε τον κώδικα ; στ) Εάν σταλεί ένα µήνυµα, bits, πόσα λάθη αναµένονται ανάλογα µε τον κώδικα που χρησιµοποιούµε; Σχολιάστε το αποτέλεσµα. 9

19 5. ίνεται ο κώδικας Είναι κατάλληλος σε περιβάλλον µε θόρυβο; ικαιολογήστε την απάντησή σας. Προσθέστε ένα bit ελέγχου ισοτιµίας και πείτε σε τι εξυπηρετεί. 5. Να βρεθεί ο γραµµικός κώδικας µε πίνακα ελέγχου ισοτιµίας Η[Α Ι], όπου A Ποιο είναι το µήκος, η διάσταση, ο ρυθµός και η ελάχιστη απόσταση του κώδικα; Μπορεί να ανιχνεύσει σφάλµατα; Μπορεί να διορθώσει σφάλµατα; 5.5 Να βρεθεί ο γραµµικός κώδικας που προκύπτει από τον πίνακα ελέγχου ισοτιµίας H. Ποιο είναι το µήκος, η διάσταση, ο ρυθµός και η ελάχιστη απόσταση του κώδικα; Πόσα σφάλµατα µπορεί να διορθώσει; 5.6 Να βρείτε τον γραµµικό κώδικα που προκύπτει από τον πίνακα Α ( ) αφού πρώτα βρείτε τον πίνακα ελέγχου ισοτιµίας, τη γεννήτρια, το µήκος, τη διάσταση και το ρυθµό του κώδικα. 5.7 είξτε ότι ο επαναληπτικός κώδικας µήκους είναι γραµµικός αφού βρείτε τον πίνακα ελέγχου ισοτιµίας του και τη γεννήτριά του. 9

20 5.8 Στην έξοδο ενός τηλεπικοινωνιακού συστήµατος που χρησιµοποιεί τον κώδικα Hammig Η() λαµβάνουµε την ακολουθία ιαπιστώστε αν έχουν συµβεί σφάλµατα κατά τη µετάδοση και διορθώστε το µήνυµα. 5.9 Ο κώδικας Hammig H() έχει µήκος 5. Ποιος είναι ο πίνακας ελέγχου ισοτιµίας του; Πόσες κωδικές λέξεις περιέχει; Πόσα σφάλµατα µπορεί να διορθώσει; Έστω ότι λαµβάνουµε στην έξοδο τα µηνύµατα: ιαπιστώστε αν έχει συµβεί σφάλµα κατά τη µετάδοση. Πως θα αποκωδικοποιηθούν τα µηνύµατα; 5. Το διαστηµόπλοιο Voyager χρησιµοποίησε τον κώδικα Golay Γ για την αποστολή έγχρωµων φωτογραφιών στη Γη την περίοδο , (βλέπε στη σελίδα 87). Κάποια στιγµή λήφθηκαν στην Γη τρία έγχρωµα piels ως ακολουθίες bits Ο αποκωδικοποιητής ανίχνευσε σφάλµατα στη λήψη ή όχι; 9

21 ΣΥΝΤΟΜΕΣ ΑΠΑΝΤΗΣΕΙΣ ΤΩΝ ΑΣΚΗΣΕΩΝ 5. α) µέχρι β) µέχρι γ) / δ) ψηφία και ψηφία 5. α) Κάθε λήψη,,, αποκωδικοποιείται ως έχει. β) Η πιθανότητα σφάλµατος είναι.%. γ) Ενδεικτικά µερικά παραδείγµατα: αν ληφθεί αποκωδικοποιείται αν ληφθεί αποκωδικοποιείται αν ληφθεί αποκωδικοποιείται δ) όχι ε) Η πιθανότητα σφάλµατος είναι.6,6%. στ) bits µε τον πρώτο και 6 bits µε τον δεύτερο κώδικα. 5. Όχι, δεν είναι κατάλληλος σε περιβάλλον µε θόρυβο. Προσθέτουµε ένα bit ελέγχου ισοτιµίας: 5. Ο κώδικας είναι: ιάσταση: k, µήκος:, ρυθµός: R/, ελάχιστη απόσταση: d Μπορεί να ανιχνεύσει µέχρι και σφάλµα. εν διορθώνει κανένα. 5.5 Ο κώδικας είναι: ιάσταση: k, µήκος: 5, ρυθµός: R/5, ελάχιστη απόσταση: d ιορθώνει ένα σφάλµα. 95

22 ) ( H, G, ιάσταση: k, µήκος:, ρυθµός: R/, Ο κώδικας είναι: 5.7 Προκύπτει από τον (-) πίνακα M A 5.8 Το µήνυµα αποκωδικοποιείται ως (σηµειώνονται οι διορθώσεις) 5.9 Είναι: H Περιέχει 8 κωδικές λέξεις. ιορθώνει ένα σφάλµα. Το πρώτο µήνυµα είναι σωστό και αποκωδικοποιείται ως έχει. Το δεύτερο µήνυµα αποκωδικοποιείται ως: Το τρίτο µήνυµα αποκωδικοποιείται ως: 5. Μόνο στο τρίτο piel ο αποκωδικοποιητής ανιχνεύει σφάλµα.

23 ΠΑΡΑΡΤΗΜΑΤΑ 97

24 98

25 ΠΑΡΑΡΤΗΜΑ Α : ΛΟΓΑΡΙΘΜΟΙ Αν a y τότε log a y Για παράδειγµα, 8 οπότε log 8 Ισχύουν οι παρακάτω ιδιότητες: log a (y) log a log a y log a (/y) log a - log a y log a log a a log a (/) -log a log a.log a log a l / l a Έτσι, για παράδειγµα log /5 -log 5 -log * 5 -(log log 5)-(log 5 )--log 5 99

26

27 ΠΑΡΑΡΤΗΜΑ B : ΠΙΝΑΚΕΣ Ο σχηµατισµός 7 8 είναι ένα παράδειγµα πίνακα µε γραµµές και στήλες, Λέµε λοιπόν ότι έχουµε ένα πίνακα. Η πρόσθεση δύο πινάκων γίνεται µε απλή πρόσθεση των αντίστοιχων στοιχείων, οπότε οι πίνακες πρέπει να έχουν τις ίδιες διαστάσεις: Ο πολλαπλασιασµός δύο πινάκων Α και Β γίνεται διαφορετικά. Προηγουµένως να πούµε πως «πολλαπλασιάζουµε» µια γραµµή µε µια στήλη. ] [ k a a a L b k b b M k a k b b a b a L ηλαδή πολλαπλασιάζουµε τα αντίστοιχα στοιχεία και προσθέτουµε τα γινόµενα, (όπως στο εσωτερικό γινόµενο). Γενικότερα, για τον πολλαπλασιασµό δύο πινάκων Α και Β, αν ο πίνακας Α έχει k στήλες τότε ο Β πρέπει να έχει k γραµµές. ηλαδή οι διαστάσεις των δύο πινάκων πρέπει να έχουν τη µορφή m k και k. Τότε το αποτέλεσµα έχει διαστάσεις m. Για να βρούµε το γινόµενο ΑΒ «πολλαπλασιάζουµε» κάθε γραµµή του Α µε κάθε στήλη του Β. Όταν πολλαπλασιάζουµε την i γραµµή του Α µε τη j στήλη του Β το αποτέλεσµα θα µπει στη θέση i-j του νέου πίνακα. Η πράξη φαίνεται καλύτερα στο παράδειγµα:

28 ζ ε δ γ β α ζ ε δ γ β α ζ ε δ γ β α ζ ε δ γ β α ζ ε δ γ β α () () () Παρατηρούµε ότι πρώτα πολλαπλασιάζουµε την η γραµµή [α β γ] του Α µε όλες τις στήλες του Β µια προς µια. Έτσι σχηµατίζουµε την η γραµµή στο αποτέλεσµα. Μετά πολλαπλασιάζουµε τη η γραµµή [δ ε ζ] µε όλες τις στήλες του Β µια προς µία. Έτσι σχηµατίζουµε την η γραµµή στο αποτέλεσµα. π.χ Ένας πίνακας θα λέγεται τετραγωνικός. Μοναδιαίος λέγεται ο τετραγωνικός πίνακας που έχει στην κύρια διαγώνιο και σε όλες τις άλλες θέσεις. Π.χ. ο µοναδιαίος πίνακας είναι Ι Μπορούµε να διαπιστώσουµε εύκολα µε παραδείγµατα ότι για οποιονδήποτε πίνακα Α ισχύει ΙΑΑ και ΑΙΑ (δηλαδή ο µοναδιαίος πίνακας συµπεριφέρεται όπως ακριβώς η µονάδα στους πραγµατικούς αριθµούς). Ο ανάστροφος ενός πίνακα Α προκύπτει αν µετατρέψουµε τις γραµµές του σε στήλες (οπότε προφανώς οι στήλες θα γίνουν γραµµές). Συµβολίζεται Α t. Π.χ. Αν Α , τότε Α t Τέλος, δύο πίνακες Α και Β µε το ίδιο πλήθος γραµµών µπορούν να συνενωθούν στον πίνακα [Α Β] όπως στο παράδειγµα: Αν Α, Β 5 8 7, τότε [Α Β] 5 8 7

29 ΠΑΡΑΡΤΗΜΑ Γ : ΠΙΘΑΝΟΤΗΤΕΣ Υπενθυµίζουµε µόνο κάποιες βασικές έννοιες και σχέσεις µε P(A) συµβολίζεται η πιθανότητα του γεγονότος Α. Ισχύει P(Α) P( A ) η πιθανότητα να µη συµβεί το γεγονός Α P(A B) η πιθανότητα να συµβεί είτε το γεγονός Α είτε το γεγονός Β P(A B) ή P(ΑΒ) η πιθανότητα να συµβούν τα γεγονότα Α και Β µαζί P(A B) P(A) P(B) - P(AB) P(B/A) είναι η πιθανότητα να συµβεί το γεγονός Β δεδοµένου ότι έχει συµβεί το γεγονός Α Αν Α,Β είναι ανεξάρτητα γεγονότα τότε P(Β/Α) P(Β) (το Α δεν επηρεάζει την πιθανότητα του Β εφόσον είναι ανεξάρτητο) P(AB) P(A)P(B/A) γενικά P(AB) P(A)P(B) αν Α,Β ανεξάρτητα. Αν το γεγονός Β εξαρτάται από τα γεγονότα Α,Α,Α τα οποία αποτελούν διαµέριση του δειγµατοχώρου (δηλαδή είναι ξένα µεταξύ τους ανά δύο και η ένωσή τους καλύπτει όλο το δειγµατοχώρο), τότε P(B) P(A B) P(A B) P(A B) P(A )P(B/A ) P(A )P(B/A ) P(A )P(B/A ) ΠΑΡΑ ΕΙΓΜΑ ιαλέγουµε δύο χαρτιά από µια τράπουλα 5 φύλλων. Έστω Α «το πρώτο φύλλο είναι ΑΣΣΟΣ» Β «το δεύτερο φύλλο είναι ΑΣΣΟΣ» Να βρεθούν οι πιθανότητες P(A), P(B), P(AB), P(B/A), εάν α) τοποθετήσουµε πίσω στη θέση του το πρώτο φύλλο β) χωρίς να τοποθετήσουµε πίσω το πρώτο φύλλο συνεχίζουµε για το δεύτερο

30 α) Τα γεγονότα Α, Β είναι ανεξάρτητα (το ο φύλλο δεν εξαρτάται από το ο ) P ( A) 5 p ( B) P ( B / A) P( B) P ( AB) P( A) P( B) 69 β) Τα γεγονότα Α,Β είναι εξαρτηµένα (το ο φύλλο εξαρτάται από το ο ) P ( A) 5 P ( B / A) P( B) (διότι αν τραβηχτεί ΑΣΣΟΣ την πρώτη φορά 5 µένουν 5 φύλλα µε ΑΣΣΟΥΣ) P ( AB) P( A) P( B / A) τα γεγονότα A A «το πρώτο φύλλο είναι ΑΣΣΟΣ» A A και «το πρώτο φύλλο δεν είναι ΑΣΣΟΣ» αποτελούν διαµέριση του δειγµατοχώρου. Άρα, P(B) P(A )P(B/A ) P(A )P(B/A ) ΜΕΣΗ ΤΙΜΗ Έστω ότι µια µεταβλητή Χ παίρνει τις τιµές µε αντίστοιχες πιθανότητες a, a, a,, a p, p, p,, Η µέση τιµή της µεταβλητής δίνεται από τη σχέση p X pa pa L p a i p a i i Όταν όλες οι πιθανότητες είναι ίσες (άρα η καθεµιά ίση µε ) η µέση τιµή γίνεται X a a L a a a La (ο γνωστός µας δηλαδή µέσος όρος όπου αθροίζουµε όλες τις τιµές και διαιρούµε µε το πλήθος τους ) Για µια πιο αναλυτική εισαγωγή στις πιθανότητες µπορείτε να δείτε το ΚΕΦΑΛΑΙΟ των σηµειώσεών µου «Στοιχεία Πιθανοτήτων και Θεωρίας Ουρών». Βρίσκονται στην ιστοσελίδα µου: