Μάθημα Επισκόπηση των Τηλεπικοινωνιών

Transcript

1 Μάθημα Επισκόπηση των Τηλεπικοινωνιών Κωδικοποίηση Πηγής & Καναλιού Μάθημα 8 ο 9 ο ΕΘΝΙΚΟ & ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τομέας Επικοινωνιών και Επεξεργασίας Σήματος Τμήμα Πληροφορικής & Τηλεπικοινωνιών

2 Περιεχόμενα Κωδικοποίηση Πηγής Θεωρία πληροφορίας Προθεματικοί κώδικες Αλγόριθμος Huffman Αλγόριθμος Lempel-Ziv Κωδικοποίηση Καναλιού Γραμμικοί κώδικες block Συνελικτικοί κώδικες Κώδικες turbo 2

3 Πληροφορία & Ψηφιακά Συστήματα Βασικοί Στόχοι στις Τηλεπικοινωνίες: 1. η αποδοτική αναπαράσταση των δεδομένων που εξάγει μια πηγή πληροφορίας, 2. η αποδοτική μετάδοση της πληροφορίας πάνω από ένα κανάλι. Με το πρώτο ζήτημα ασχολείται η κωδικοποίηση πηγής (source coding) συμπίεση δεδομένων Με το δεύτερο ζήτημα ασχολείται η κωδικοποίηση καναλιού (channel coding) ανίχνευση και διόρθωση σφαλμάτων

4 Κωδικοποίηση Πηγής & Καναλιού Δεδομένα συμπίεση Κωδικοποίηση Πηγής Κωδική Λέξη πλεονασμός για έλεγχο σφαλμάτων Κωδικοποίηση Καναλιού Κωδική Λέξη Καναλιού Πομπός Δεδομένα αποσυμπίεση Αποκωδικοποίηση Πηγής Κωδική Λέξη ανίχνευση και διόρθωση σφαλμάτων Αποκωδικοποίηση Καναλιού Κωδική Λέξη Καναλιού Δέκτης 4

5 Μοντέλο Ψηφιακών Επικοινωνιών Πηγή Πληροφορίας Αποδέκτης Πληροφορίας Κωδικοποιητής Πηγής Αποκωδικοποιητής Πηγής Κωδικοποιητής Καναλιού Αποκωδικοποιητής Καναλιού Άλλες Πηγές Πολυπλέκτης Αποπλέκτης Άλλοι Αποδέκτες Διαμορφωτής Αποδιαμορφωτής Διασπορά Φάσματος Πολλαπλή Πρόσβαση Θόρυβος + Κανάλι Αποδιασπορά Φάσματος Πολλαπλή Πρόσβαση 5

6 Κωδικοποίηση Πηγής Στόχος: η αποδοτική αναπαράσταση / κωδικοποίηση / συμπίεση της πληροφορίας / σήματος / εξόδου μιας πηγής Ερωτήματα που προκύπτουν: πώς ορίζεται η πληροφορία μιας πηγής; πότε μια πηγή εξάγει περισσότερη πληροφορία; μπορεί να μετρηθεί μαθηματικά; τι αποτέλεσμα έχει στην πληροφορία η εφαρμογή κάποιας επεξεργασίας (π.χ. μετατροπή A/D); πόσο πολύ μπορούν να συμπιεστούν τα δεδομένα μιας πηγής; Απαντήσεις: θεωρία πληροφορίας και τεχνικές κωδικοποίησης πηγής 6

7 Πηγές Πληροφορίας Η έξοδος της πηγής είναι μια τυχαία διαδικασία. Αν ήταν σταθερή (ντετερμινιστική), δεν θα υπήρχε λόγος μετάδοσης... Παραδείγματα πηγών πληροφορίας: ήχος (ομιλία), δεδομένα (bits), χαρακτήρες ASCII, εικόνα, video Διάκριση ως προς το χρόνο: συνεχούς χρόνου (π.χ. αναλογικό ηχητικό σήμα) διακριτού χρόνου (π.χ. δειγματοληπτημένο σήμα, σύμβολα) Διάκριση ως προς τις δυνατές τιμές (αλφάβητο): συνεχείς τιμές (π.χ. αναλογικό σήμα) διακριτές τιμές (π.χ. ASCII) 7

8 Πηγές Πληροφορίας Οι πηγές συνεχούς χρόνου μπορούν να μετατραπούν σε πηγές διακριτού χρόνου μέσω της δειγματοληψίας: το σήμα πρέπει να έχει πεπερασμένο εύρος ζώνης για χαμηλοπερατό σήμα με μέγιστη συχνότητα f max, ο ρυθμός δειγματοληψίας δίνεται από το θεώρημα δειγματοληψία του Nyquist: fs το αρχικό σήμα μπορεί να ανακατασκευαστεί από τα δείγματα χωρίς απώλειες. Οι μελετώμενες πηγές: 2 f max έχουν περιορισμένο εύρος ζώνης, ή μπορεί να περιοριστεί μέσω φιλτραρίσματος. 8

9 Μέτρο Πληροφορίας Για τη θεωρητική ανάλυση πηγές πληροφορίας με διακριτό αλφάβητο. Δυνατότητα γενίκευσης σε πηγές με συνεχές αλφάβητο. Αλφάβητο διακριτής πηγής: Παράδειγμα: ο καιρός στην Ελλάδα κάθε 15 Αυγούστου δίνεται από τα παρακάτω πιθανά γεγονότα (σύμβολα): s 1 : χιόνι s 2 : βροχή s 3 : λιακάδα Πότε εμπεριέχεται περισσότερη πληροφορία; όταν τυχαίνει το σύμβολο s 1 ή το s 2 ; με τι σχετίζεται η πληροφορία που φέρει κάθε σύμβολο; S s1, s2,..., sn Για να περιέχεται πληροφορία πρέπει η εμφάνιση ενός συμβόλου να είναι αποτέλεσμά επιλογής από πολλά δυνατά σύμβολα. Αν η πιθανότητα να εμφανιστεί ένα σύμβολο είναι μεγάλη, τότε το σύμβολο φέρει μικρή πληροφορία. 9

10 Μέτρο Πληροφορίας Η πληροφορία I (s i ) ενός συμβόλου s i (i =1,,N) θα πρέπει να είναι φθίνουσα συνάρτηση της πιθανότητας εμφάνισης p i του (Σp i =1). I p I p p p i j i j 0 1 I p p i i Για συνδυασμό δυο συμβόλων (ακόμα και από διαφορετικές πηγές π.χ. καιρός και δείκτης ΧΑΑ):, για ανεξάρτητα και I p p I p I p p p i j i j i j Θετική συνάρτηση: 0 0 p 1 I p i i Μικρή αλλαγή στην πιθανότητα μικρή αλλαγή στην πληροφορία (συνεχής συνάρτηση). 10

11 Μέτρο Πληροφορίας Πληροφορία ενός συμβόλου (Information) s i με πιθανότητα εμφάνισης p i =p (s i ): I s i log 1 p s i log p s i Βάση του λογαρίθμου a: καθορίζει τις μονάδες πληροφορίας συνήθως χρησιμοποιείται το 2 με μονάδα το bit (ελάχιστη ποσότητα πληροφορίας). μια άλλη χρησιμοποιούμενη τιμή είναι το e με μονάδα το nat. 11

12 Διακριτή Πηγή Χωρίς Μνήμη Discrete Memoryless Source (DMS): διακριτού χρόνου διακριτού αλφαβήτου ανεξάρτητα σύμβολα που ακολουθούν ίδια κατανομή πιθανότητας Περιγράφεται πλήρως από: το αλφάβητο S s,, 1 sn και τις πιθανότητες εμφάνισης p,, 1 pn Ειδικές περιπτώσεις: Δυαδική πηγή χωρίς μνήμη: S 0,1 p,1 p 12 Για p =0.5 δυαδική συμμετρική πηγή χωρίς μνήμη

13 Εντροπία Η εντροπία μιας DMS ορίζεται ως N log2 i i i i i1 i1 N H S pi s p p 13 Ίδια βάση λογαρίθμου με την πληροφορία. Μονάδες bits/σύμβολο (για βάση α=2). Φυσική σημασία: μέση τιμή πληροφορίας ανά σύμβολο κάτω όριο μέσου αριθμού bits για την αναπαράσταση ενός συμβόλου χωρίς σφάλματα (όριο συμπίεσης δεδομένων) Όσο μεγαλύτερη εντροπία έχει μια πηγή, τόσο περισσότερη πληροφορία φέρει, και τόσο περισσότερα bits χρειάζονται για την κωδικοποίησή της Παρατήρηση: lim p0+ (p logp)=0

14 Συνάρτηση Δυαδικής Εντροπίας Για δυαδική DMS με αλφάβητο S={0,1} και πιθανότητες εμφάνισης {p,1-p} ορίζεται η συνάρτηση δυαδικής εντροπίας. H p plog p 1p log 1p b 2 2 Παρατηρήσεις: 1. ελαχιστοποίηση στο p=0 ή 1, Η(0)=Η(1)=0 2. μεγιστοποίηση για ισοπίθανα σύμβολα, Η(1/2)=1 14

15 Εντροπία Ομοιόμορφης Πηγής H εντροπία της δυαδικής DMS μεγιστοποιείται για ισοπίθανα σύμβολα. Γενίκευση: ΗεντροπίαμιαςΝ-αδικής DMS (Ν πλήθος συμβόλων) μεγιστοποιείται όταν τα σύμβολά της ακολουθούν ομοιόμορφη κατανομή, δηλαδή p i =1/N για i =1,,N και παίρνει τιμή H log max 2 N (bits/symbol) Συμπέρασμα: Η εντροπία φράσσεται ως εξής 0 H S log 2 N Ρυθμός πληροφορίας: R r H b s ( bit s/sec) όπου r s είναι ο ρυθμός συμβόλων (symbols/sec) 15

16 Πλεονασμός Πηγής Έμφυτος πλεονασμός πηγής πληροφορίας π.χ. «Τν επμεν ευτα δεν θα γνι το μαθμ γιαι εναι η Κθρη ευτα» Αγγλική γλώσσα πλεονασμός 50%. Πλεονασμός πηγής πληροφορίας = ποσοστό άχρηστης πληροφορίας (δηλ. περιττών επαναλήψεων) που μεταφέρει η έξοδος της. 16 Ουσιαστικά είναι η διαφορά της τρέχουσας κατάστασης από την ιδανική περίπτωση της μέγιστης εντροπίας (στην οποία τα σύμβολα της πηγής χρησιμοποιούνται ισοπίθανα).

17 Κωδικοποίηση Πηγής Αποδοτική αναπαράσταση/αντιστοίχιση συμβόλων μιας πηγής πληροφορίας σε κωδικές λέξεις. Αφαίρεση πιθανού πλεονασμού συμπίεση πληροφορίας Είδη κωδικοποίησης: 1. Αντιστρεπτή ή χωρίς απώλειες (lossless coding): επιτρέπει την ακριβή ανακατασκευή των αρχικών δεδομένων κατά την αποκωδικοποίηση (π.χ. αλγόριθμοί Huffman, Lempel-Ziv με χρήσεις στα GIF, PNG, ZIP). 2. Μη αντιστρεπτή ή με απώλειες (lossy coding): χαρακτηρίζεται από μη αναστρέψιμη απώλεια πληροφορίας (χαμηλότερη ποιότητα με υψηλούς βαθμούς συμπίεσης π.χ. PCM, JPEG, MPEG). Είδη κωδίκων: 1. Σταθερού μήκους: όλες οι κωδικές λέξεις έχουν το ίδιο μήκος. 2. Μεταβλητού μήκους: διαφορετικές κωδικές λέξεις έχουν διαφορετικό μήκος [αξιοποίηση γνώσης στατιστικών ιδιοτήτων πηγής (γνώση πιθανοτήτων συμβόλων)]. 17 Αποκωδικοποίηση πηγής: η αντίστροφη διαδικασία της κωδικοποίησης πηγής, δηλαδή ανάκτηση της αρχικής πληροφορίας γνωρίζοντας τη μέθοδο κωδικοποίησης πηγής.

18 Κωδικοποίηση Πηγής Αντιστοίχιση συμβόλων s i μιας N-αδικής πηγής σε κωδικές λέξεις C (s i ) μήκους l (s i ). Λειτουργικές απαιτήσεις: Μ-αδικές κωδικές λέξεις (συνήθως δυαδικές) βάση λογαρίθμου α=μ Μοναδικά αποκωδικοποιήσιμος κώδικας Μέσο μήκος κώδικα: Απόδοση κώδικα: N i1 L p si l s H S L i 1 18 Πλεονασμός κώδικα μη αποτελεσματικότητα κώδικα σε σχέση με την εντροπία (διαφορετικός από πλεονασμό πηγής): c 1

19 Θεώρημα Κωδικοποίησης Πηγής 19 Ερώτημα: πόσο μπορεί να συμπιεστεί μια πηγή χωρίς να εισαχθούν σφάλματα; Θεώρημα κωδικοποίησης πηγής (1 ο Θεώρημα του Shannon): Έστω πηγή με εντροπία (ή ρυθμό εντροπίας) H που κωδικοποιείται (συμπιέζεται) με ρυθμό R (bits/έξοδο πηγής). ΑνR H, η πηγή μπορεί να κωδικοποιηθεί με οσοδήποτε μικρή πιθανότητα σφάλματος, ΑνR <H, όσο πολύπλοκος κι αν είναι ο κωδικοποιητής πηγής, η πιθανότητα σφάλματος θα είναι μακριά από το 0. Σχόλια: Το R αντιστοιχεί στο μέσο μήκος κώδικα. Εντροπία = κάτω όριο συμπίεσης (κάτω όριο μέσου μήκους κώδικα) για κωδικοποίηση πηγής χωρίς σφάλματα (lossless). Το θεώρημα δίνει την συνθήκη για κωδικοποίηση χωρίς σφάλματα, όμως δεν προτείνει κάποιο αλγόριθμο κωδικοποίησης με R H. Με την περίπτωση του R <H ασχολείται η θεωρία ρυθμού-παραμόρφωσης (Rate-Distortion Theory). L

20 Κωδικοποίηση Πηγής 20

21 Προθεματικοί κώδικες Πρόβλημα: συγχρονισμός πώς μπορώ να βρω τα όρια των μπλοκ στην έξοδο για να γίνει η αποκωδικοποίηση; 21 Λύση: προθεματικοί κώδικες (prefix codes) Προθεματικός κώδικας: καμία κωδική λέξη δεν αποτελεί πρόθεμα κάποιας άλλης άμεσος (επιτρέπει απευθείας αποκωδικοποίηση) μονοσήμαντα αποκωδικοποιήσιμος (κάθε έξοδος αντιστοιχεί σε μοναδική είσοδο) Αλγόριθμοι κωδικοποίησης (συμπίεσης) πηγής. Επιτυγχάνουν ρυθμούς κωδικοποίησης κοντά στην εντροπία (όριο συμπίεσης). Κωδικοποίηση από σταθερό σε μεταβλητό μήκος είσοδος: μπλοκ συμβόλων σταθερού μήκους έξοδος: μπλοκ bits μεταβλητού μήκους

22 Αλγόριθμος Κωδικοποίησης Huffman Αποτελεί προθεματικό κώδικα. Κωδικοποίηση από σταθερό σε μεταβλητό μήκος. Βασική ιδέα: απεικόνιση των συχνότερα εμφανιζόμενων συμβόλων σε βραχύτερες δυαδικές ακολουθίες. Βέλτιστος κώδικας: ελάχιστο μέσο μήκος κώδικα ανάμεσα σε άλλους προθεματικούς κώδικες. Βήματα αλγορίθμου κωδικοποίησης Huffman: 1. ιέταξε τα σύμβολα κατά φθίνουσα σειρά πιθανοτήτων. 2. Συγχώνευσε τα δύο σύμβολα με τις μικρότερες πιθανότητες και δημιούργησε νέο «σύμβολο». 3. Ανάθεσε στα δύο σύμβολα «0» και «1». 4. Ταξινόμησε εκ νέου τη λίστα των συμβόλων. 5. Επανέλαβε τα παραπάνω μέχρι όλα τα σύμβολα συγχωνευτούν σε ένα τελικό σύμβολο. 22

23 Αλγόριθμος Κωδικοποίησης Huffman υαδικό δέντρο: ρίζα: το τελικό σύνθετο σύμβολο φύλλα: τα αρχικά σύμβολα ενδιάμεσοι κόμβοι: σύνθετα σύμβολα Αποκωδικοποίηση ανάθεση bits σε σύμβολα εισόδου Βήματα αποκωδικοποίησης: 1. Ξεκίνα από τη ρίζα του δέντρου και κινήσου προς ένα φύλλο ακολουθώντας το bit που συναντάται κάθε φορά. 2. Όταν φτάσεις σε κάποιο φύλλο έχεις αποκωδικοποιήσει ένα σύμβολο. 3. Επανέλαβε για όλα τα σύμβολα (φύλλα). 23

24 Παράδειγμα Huffman Ι Προθεματική αντιστοίχιση: s 0 : 1 s 1 : 00 s 2 : 01 Μονοσήμαντη και άμεση αποκωδικοποίηση s s s s s s

25 Παράδειγμα Huffman ΙΙ 25

26 Παράδειγμα Huffman ΙΙΙ Τετραδικό Σύστημα 26

27 Σχόλια για Κωδικοποίηση Huffman Παρατηρήσεις Η διαδικασία κωδικοποίησης Huffman δεν είναι μοναδική. Σημεία που μπορούν να υλοποιηθούν με διαφορετικό τρόπο: o o Αν δυο σύμβολα έχουν την ίδια πιθανότητα εμφάνισης υπάρχουν δυο τρόποι διάταξης τους. Η ανάθεση 0 και 1 μπορεί να γίνει από πάνω προς τα κάτω ή από κάτω προς τα πάνω. Διαφορετικές υλοποιήσεις οδηγούν σε σύμβολα με διαφορετικό κώδικα ή ακόμα και διαφορετικό μήκος κώδικα. Το μέσο μήκος κώδικα διατηρείται σταθερό. 27 Μειονεκτήματα Οι κώδικες Huffman παρουσιάζουν ισχυρή εξάρτηση από τη στατιστική της πηγής. Η εκτίμηση της στατιστικής της πηγής απαιτεί χρονοβόρες διαδικασίες. Ο κώδικας μπορεί να είναι μη αποδοτικός επειδή είναι σχεδιασμένος για μπλοκ μήκους ενός συμβόλου π.χ. για μεγάλο p max απαιτείται ιδανικό μήκος κωδικής λέξης μικρότερο από ένα κάτι που δεν είναι εφικτό.

28 Κώδικας Μοrse 28

29 Κώδικας Μοrse & Oxford Dictionary 29

30 Αλγόριθμος Κωδικοποίησης Lempel-Ziv Ξεπερνά τα προβλήματα του αλγορίθμου Huffman. Ανήκει στην κατηγορία των καθολικών (universal) αλγορίθμων μη εξάρτηση από την στατιστική της πηγής. Κωδικοποίηση από μεταβλητό σε σταθερό μήκος. Όταν εφαρμοστεί σε Αγγλικό κείμενο επιτυγχάνει συμπίεση 55% σε σύγκριση με το 43% του Huffman. 30

31 Αλγόριθμος Κωδικοποίησης Lempel-Ziv 31 Μία ακολουθία συμβόλων της πηγής χωρίζεται με μοναδικό τρόπο σε φράσεις μεταβλητού μήκους, οι οποίες στη συνέχεια κωδικοποιούνται σε ακολουθίες σταθερού μήκους. Η κατάτμηση βασίζεται στην αναγνώριση φράσεων ελαχίστου μήκους που δεν έχουν εμφανιστεί ακόμα. Κάθε νέα ακολουθία συμβόλων της πηγής που εμφανίζεται αναγνωρίζεται ως νέα φράση και κωδικοποιείται. Εάν η νέα προς κωδικοποίηση φράση συμπίπτει με μία από τις ήδη γνωστές φράσεις, επιμηκύνεται κατά ένα επιπλέον σύμβολο και όταν καταστεί διαφορετική αναγνωρίζεται ως νέα φράση και κωδικοποιείται. Κάθε νέα φράση μπορεί να χωριστεί σε μία ήδη γνωστή φράση και ένα νέο σύμβολο. ΚΩΔΙΚΟΠΟΙΗΣΗ: Η κωδική λέξη δημιουργείται από τη διαδοχή της δυαδικής λεξικογραφικής διεύθυνσης της γνωστής φράσης και της δυαδικής αναπαράστασης του νέου συμβόλου.

32 Παράδειγμα Lempel-Ziv Δυαδική πηγή παράγει την ακολουθία: Η ακολουθία χωρίζεται στις παρακάτω φράσεις μεταβλητού μήκους: 0,1,00,001,10,000,101,0000,01,010,00001,100,0001, 0100,0010, φράσεις 4 bits για τη διεύθυνση + 1bit για τη νέα έξοδο. 32

33 Παράδειγμα Lempel-Ziv (συνέχεια) 0,1,00,001,10,000,101,0000,01,010,00001,100,0001,0100,0010,

34 Παράδειγμα Lempel-Ziv (συνέχεια) Επομένως η ακολουθία: κωδικοποιείται με τον αλγόριθμο Lempel-Ziv ως: Στο συγκεκριμένο παράδειγμα η κωδικοποίηση αύξησε το μήκος της ακολουθίας!!! Οι δυνατότητες του αλγόριθμου φαίνονται όσο αυξάνεται το μήκος της προς κωδικοποίηση ακολουθίας συμβόλων. 34

35 Ασκήσεις - Παραδείγματα 1) Έστω πηγή πληροφορίας η οποία παράγει τα ακόλουθα σύμβολα που κωδικοποιούνται από κάποιο κώδικα πηγής με τα παρακάτω μήκη: Σύμβολο x 1 x 2 x 3 x 4 x 5 Πιθανότητα Μήκος κωδικής λέξης Να υπολογιστεί η εντροπία της πηγής και ο πλεονασμός της. Πόσο είναι το μέσο μήκος του συγκεκριμένου κώδικα και ο πλεονασμός του; Εισάγει σφάλματα; (Απ: Η=1.425 bits/symbol, Η max =log 2 5=2.32 bits/symbol π=0,39, Ε[L]=2.04 bits/symbol > H π c =0.30) 2) Να κωδικοποιηθεί κατά Huffman η πηγή της προηγούμενης άσκησης και να υπολογιστούν τα αντίστοιχα μεγέθη. (Απ: x 1 =110, x 2 = 10, x 3 = 0, x 4 =1111, x 5 =1110 Ε[L]=1.54 bits/symbol > H π c =0.07) 35

36 Μοντέλο Ψηφιακών Επικοινωνιών Πηγή Πληροφορίας Αποδέκτης Πληροφορίας Κωδικοποιητής Πηγής Αποκωδικοποιητής Πηγής Κωδικοποιητής Καναλιού Αποκωδικοποιητής Καναλιού Άλλες Πηγές Πολυπλέκτης Αποπλέκτης Άλλοι Αποδέκτες Διαμορφωτής Αποδιαμορφωτής Διασπορά Φάσματος Πολλαπλή Πρόσβαση Θόρυβος + Κανάλι Αποδιασπορά Φάσματος Πολλαπλή Πρόσβαση 36

37 Κωδικοποίηση Καναλιού Κανάλι μετάδοσης εισαγωγή παραμόρφωσης μείωση αξιοπιστίας και ποιότητας επικοινωνίας. Τεχνική αύξησης αξιοπιστίας κωδικοποίηση καναλιού. Κωδικοποίηση καναλιού εισαγωγή ελεγχόμενου πλεονασμού (με «δομημένο» τρόπο ώστε να αντιμετωπίζονται αποδοτικότερα οι παραμορφώσεις που εισάγει το κανάλι) αποδοτική μετάδοση πληροφορίας ανίχνευση και διόρθωση σφαλμάτων Αποκωδικοποίηση καναλιού: αντίστροφή διαδικασία ανάκτησης της αρχικής πληροφορίας γνωρίζοντας τη μέθοδο κωδικοποίησης καναλιού, ώστε να ελαχιστοποιηθεί η πιθανότητα σφάλματος. 37

38 Κέρδος Κωδικοποίησης Καναλιού Κέρδος κωδικοποίησης (coding gain): η μείωση σε E b /N 0 που επιτυγχάνεται με τη χρήση κωδικοποίησης καναλιού για επίτευξη ίδιας πιθανότητας σφάλματος CG = (E b /N 0 ) u / (E b /N 0 ) c Μετάδοση ίδιου ρυθμού πληροφορίας αύξηση ρυθμού μετάδοσης κωδικοποιημένου μηνύματος. 38

39 Κατηγορίες Κωδίκων Καναλιού 39

40 Χρήσεις Κωδίκων Καναλιού Hamming ECC μνήμες Reed Solomon CDs, DVDs, Blue-ray Disks, δορυφορικές επικοινωνίες, DSL Turbo ορυφορικές επικοινωνίες, 3G, 4G, WiMAX LDPC (low-density parity-check) DVB-S2, WiMAX, IEEE

41 Κώδικας Ελέγχου Απλής Ισοτιμίας Μετάδοση 4 συμβόλων σε δυαδικό συμμετρικό κανάλι (Binary Symmetric Channel - BSC). Σφάλματα: 100, 111, 001,

42 Γραμμικοί Κώδικες Block Κώδικες block: μετατροπή ακολουθιών k bits πηγής (blocks) σε ακολουθίες μήκους n >k bits που εξαρτώνται μόνο από το εκάστοτε block εισόδου. Γραμμικοί κώδικες: κάθε γραμμικός συνδυασμός (modulo-2 άθροισμα) δύο κωδικών λέξεων είναι επίσης κωδική λέξη του. Ένας γραμμικός κώδικας block C (n,k) αποτελείται (συνήθως) από Μ =2 k κωδικές λέξεις c i μήκους n, δηλαδή C ={c 1, c 2,, c M }. Κωδικός ρυθμός: r c = k / n Για τη διατήρηση ίδιου ρυθμού πληροφορίας: (ρυθμός εισόδου) = r c (ρυθμός εξόδου) Ο αποκωδικοποιητής αναζητά την κωδική λέξη που είναι πλησιέστερη στο λαμβανόμενο block. 42

43 Γεννήτορας & Πίνακας Ελέγχου Ισοτιμίας Για έναν γραμμικό κώδικα block (n,k) ορίζεται ο γεννήτορας πίνακας (generation matrix) G διαστάσεων k x n για τον οποίο ισχύει ότι για μια λέξη πληροφορίας u, η κωδικοποιημένη λέξη παράγεται ως: v ug Επομένως, οποιοσδήποτε γραμμικός συνδυασμός γραμμών του γεννήτορα είναι μια κωδική λέξη. Σημείωση: για την δυαδική περίπτωση τα αθροίσματα είναι modulo-2 (XOR). Ορίζεται ο πίνακας ελέγχου ισοτιμίας (parity check matrix) H διαστάσεων (n-k) xn για τον οποίο ισχύει ότι για κάθε κωδική λέξη ικανοποιούνται οι παρακάτω σχέσεις v H 0 GH 0 43

44 Γραμμικοί Κώδικες Block - Παράδειγμα 44

45 Γραμμικοί Κώδικες Block Παράδειγμα (συνέχεια) 45

46 Βάρος και Απόσταση Hamming Βάρος Hamming (ή απλά βάρος κωδικής λέξης) w(v): το πλήθος των µη μηδενικών συνιστωσών (ψηφίων) της κωδικής λέξης v. Απόσταση Hamming d(v 1,v 2 ) δύο κωδικών λέξεων: το πλήθος των συνιστωσών στις οποίες διαφέρουν οι κωδικές λέξεις v 1 και v 2. Ελάχιστο βάρος κώδικα w min : το ελάχιστο των βαρών των κωδικών λέξεων εκτός της κωδικής λέξης µε όλο μηδενικά. Ελάχιστη απόσταση κώδικα d min : η ελάχιστη απόσταση Hamming μεταξύ δύο οποιονδήποτε διαφορετικών κωδικών λέξεων. Σε οποιονδήποτε γραμμικό κώδικα αποδεικνύεται ότι d min = w min. 46

47 Ικανότητα Ανίχνευσης & Διόρθωσης Ένας γραμμικός κώδικας block μπορεί να ανιχνεύσει σφάλματα. dmin 1 Μπορεί να διορθώσει t σφάλματα. c 2 td d min 1 Για μια λαμβανόμενη λέξη r, ορίζεται το σύνδρομο της ως S r H Αν το σύνδρομο δεν είναι μηδενικό, η r δεν αντιστοιχεί σε κωδική λέξη, άρα περιέχει σφάλματα. Αν η λαμβανόμενη λέξη γραφεί ως άθροισμα της μεταδιδόμενης λέξης και του σφάλματος (r = v e ) τότε ισχύει 47 S e H

48 Κώδικες Hamming Κατηγορία γραμμικών κωδίκων block με n=2 m 1, k=2 m m 1 και d min =3, για κάθε ακέραιο m 2. ιορθωτική ικανότητα ενός απλού σφάλματος. Οι στήλες του πίνακα ελέγχου ισοτιμίας αποτελούνται από όλες τις μη μηδενικές δυαδικές ακολουθίες μήκους m. Κωδικός ρυθμός: r c = (2 m m 1) / (2 m 1) Υψίρυθμοι κώδικες (r c 1 για μεγάλα m) με μικρή ελάχιστη απόσταση. Αποτελούν «τέλειους» κώδικες (μεγαλύτερος δυνατός αριθμός κωδικών λέξεων για δεδομένη d min ) 48

49 Γραμμικοί Κώδικες Block 49

50 Αποκωδικοποίηση 50 Αποκωδικοποίηση μέγιστης πιθανοφάνειας (maximum likelihood) Εύρεση κωδικής λέξης που μεγιστοποιεί την πιθανότητα p(r v). Στην περίπτωση του BSC, η κωδική λέξη που μεγιστοποιεί την παραπάνω πιθανότητα είναι αυτή που απέχει τη μικρότερη απόσταση Hamming από τη λαμβανόμενη. Αποκωδικοποίηση με χρήση τυπικής διάταξης Τυπική διάταξη: πίνακας διαστάσεων 2 n-k x2 k Στοιχεία της είναι όλες οι (δυαδικές) ακολουθίες μήκους n Κατασκευή τυπικής διάταξης Στην πρώτη γραμμή τοποθετούνται οι κωδικές λέξεις. Για την κατασκευή κάθε γραμμής επιλέγεται μια λέξη w μήκους n με το ελάχιστο δυνατό βάρος, η οποία δεν περιέχεται στις προηγούμενες γραμμές. Το i-οστό στοιχείο της γραμμής είναι το αποτέλεσμα της πρόσθεσης της λέξης w με την i-οστή κωδική λέξη στην πρώτη γραμμή. Ο αποκωδικοποιητής εντοπίζει τη θέση της λαμβανόμενης λέξης r στην τυπική διάταξη και επιλέγει την κωδική λέξη που βρίσκεται στην ίδια στήλη με αυτή.

51 Αποκωδικοποίηση - Παράδειγμα Έστω ο κώδικας (5, 2) µε κωδικές λέξεις τις 00000, 01111, και Για λαμβανόμενη λέξη r=[01001], ποια είναι η εκπεμπόμενη κωδική λέξη; Τυπική ιάταξη Κωδική λέξη Σφάλματα 51

52 Κυκλικοί Κώδικες Kατηγορία γραμμικών κωδίκων block που χρησιμοποιούν καταχωρητές ολίσθησης για την κωδικοποίηση/αποκωδικοποίηση. Η κυκλική ολίσθηση μιας κωδικής λέξης δίνει άλλη κωδική λέξη. [ c, c,..., c ] c C [ c, c,..., c ] c C i,0 i,1 in, 1 i in, 1 i,0 in, 2 j Κάθε κωδική λέξη c i μπορεί να αναπαρασταθεί από ένα πολυώνυμο: c n ( x) c c x... c x i i,0 i,1 i, n1 Κάθε λέξη πληροφορίας u μπορεί να αναπαρασταθεί από ένα πολυώνυμο: k 1 u( x) u u x... u x 0 1 k 1 Ορίζεται το πολυώνυμο γεννήτορας: g( x) g g x... g x 0 1 Μια λέξη πληροφορίας αντιστοιχίζεται σε μια κωδική λέξη ως ci ( x) u( x) g( x) nk n k 1 52

53 Κυκλικοί Κώδικες Ορίζεται το πολυώνυμο ελέγχου ισοτιμίας: h( x) Για κάθε κωδική λέξη ισχύει: Γεννήτορας πίνακας k xn : n x 1 g( x) ci ( x) h( x) 0 g( x) g g g g nk1 nk xg( x) 0 g0 g1 g g 0 0 nk1 nk 2g( ) 0 0 g0 g1 g g 0 0 nk1 nk xk 1 ( x) g g0 g g nk1 nk G x x Παραδείγματα κυκλικών κωδίκων: Hamming, Reed-Solomοn, BCH. 53

54 Κώδικες LDPC Κατηγορία γραμμικών κωδίκων block όπου ο πίνακας ελέγχου ισοτιμίας περιέχει μικρό ποσοστό 1 (low-density parity-check LDPC). Προσεγγίζουν το όριο της χωρητικότητας του Shannon. Αναπαράσταση με γράφους Tanner (διμερείς γράφοι). Η αποκωδικοποίηση γίνεται επαναληπτικά χρησιμοποιώντας τους γράφους Tanner και αλγορίθμους όπως ο Βit-Flipping και ο Sum-Product. 54

55 Συνελικτικοί Κώδικες Οι συνελικτικοί κώδικες (convolutional codes) μεταχειρίζονται τα δεδομένα εσόδου σαν μια συνεχή ακολουθά δεδομένων. Οι κωδικοποιητές απαρτίζονται από καταχωρητές ολίσθησης και αθροιστές modulo-2. Επομένως, έχουν μνήμη και κωδικοποιούν ακολουθίες πληροφορίας οποιουδήποτε μήκους. Για κάθε k bits εισόδου παράγονται n bits εξόδου. Τα n αυτά bits δεν καθορίζονται μόνο από τα τρέχοντα k bits πληροφορίας αλλά και από προηγούµενα bits πληροφορίας. Κωδικός ρυθμός: r c = k / n Γραμμικοί κώδικες. L: μήκος εξαναγκασμού 55

56 Συνελικτικοί Κώδικες - Παράδειγμα Παράδειγμα συνελικτικού κωδικοποιητή µε L = 3, n = 3, k = 1. o Η αρχική κατάσταση καταχωρητή ολίσθησης είναι 0. Για μήνυμα πληροφορίας 101 προκύπτει η έξοδος

57 Συνελικτικοί Κώδικες Δέντρο κωδικοποίησης για αναπαράσταση κωδικοποίησης

58 Συνελικτικοί Κώδικες Διάγραμμα καταστάσεων για αναπαράσταση κωδικοποίησης o κατάσταση: περιεχόμενο καταχωρητή ολίσθησης. o οι μεταπτώσεις μεταξύ καταστάσεων δηλώνονται µε βέλη. o σε κάθε βέλος προσδιορίζεται η είσοδος και η έξοδος του κωδικοποιητή. 58

59 Συνελικτικοί Κώδικες Διάγραμμα trellis για αναπαράσταση κωδικοποίησης o αναπαράσταση καταστάσεων, μεταπτώσεων, εισόδου και εξόδου. o συνεχής γραμμή για είσοδο 0 και διακεκομμένη για είσοδο 1 (k =1). 59

60 Αποκωδικοποίηση Χρησιμοποιείται το διάγραμμα trellis. Αλγόριθμοι αποκωδικοποίησης o Viterbi Εντοπίζει στο διάγραμμα trellis το κωδικό μονοπάτι μέγιστης πιθανοφάνειας. o BCJR Αλγόριθμος maximum a posteriori probability (MAP). Για κάθε bit πληροφορίας u t ο αλγόριθμος υπολογίζει την ποσότητα 60

61 Κώδικες Turbo Παράλληλη (ή σε σειρά) σύνδεση δυο (συνελικτικών) κωδικοποιητών μέσω διεμπλοκέα (interleaver). Ο διεμπλοκέας αναδιατάσσει τα bits της ακολουθίας πληροφορίας. Οδηγεί σε μεγάλα μήκη κωδικών λέξεων με πολύ καλές αποδόσεις (κοντά στο όριο της χωρητικότητας του Shannon για μικρά SNR). Χρήση σε εφαρμογές που απαιτούν χαμηλή ισχύ (δορυφορικές επικοινωνίες) και σε εφαρμογές που περιορίζονται από παρεμβολές (3G, 4G, WiMAX). 61

62 Αποκωδικοποίηση Γίνεται επαναληπτικά χρησιμοποιώντας τους αποκωδικοποιητές των περιεχόμενων (συνελικτικών) κωδικοποιητών. Σε κάθε επανάληψη ο ένας αποκωδικοποιητής εκμεταλλεύεται την πρόοδο του άλλου. 62

63 Απόδοση Κωδίκων Turbo 63

64 Εξέλιξη Κωδικοποίησης Καναλιού 64

65 Ασκήσεις - Παραδείγματα 1) Έστω κυκλικός κώδικας Hamming (7,4) με CG=2.3dΒ για πιθανότητα σφάλματος bit Το πολυώνυμο γεννήτορας του είναι g(x) = x 3 + x + 1. Να κωδικοποιηθούν οι λέξεις πληροφορίας u 1 =1001 και u 2 =1100 και να υπολογιστούν τα βάρη και η απόσταση Hamming τους. Ποιος είναι ο ρυθμός εξόδου του κωδικοποιητή για ρυθμό εισόδου 5Κbps; Τι ικανότητα ανίχνευση και διόρθωσης έχει; Αν ο E b /N 0 πριν την κωδικοποίηση είναι 15, τι τιμή σε db θα έχει μετά την κωδικοποίηση για P b =10-5. (Απ: c 1 = , c 2 = , w(c 1 )=4, w(c 2 )=4, d(c 1,c 2 )=4, R εξόδου =8.75Kbps, t d =2, t c =1, (E b /N 0 ) u =11.76dB (E b /N 0 ) c =9.46dB) 65

66 Σύνοψη - Θεωρήματα Κωδικοποίησης Η Κωδικοποίηση Πηγής R Κωδικοποίηση Καναλιού C Πομπός H: εντροπία πηγής R: ρυθμός μετά από την κωδικοποίηση πηγής R b (bps) C: χωρητικότητα καναλιού Μετάδοση χωρίς σφάλματα Θεώρημα κωδικοποίησης πηγής (Shannon): R H Θεώρημα κωδικοποίησης καναλιού (Shannon): R b C 66