Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Σεραφείµ Καραµπογιάς. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.3-1"

Αρκάδιος Μανιάκης
6 χρόνια πριν
Προβολές:

Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής.

1 Ο αλγόριθµος Lempel-iv Ο αλγόριθµος Lempel-iv ανήκει στην κατηγορία των καθολικών universal αλγορίθµων κωδικοποίησης πηγής δηλαδή αλγορίθµων που είναι ανεξάρτητοι από τη στατιστική της πηγής. Ο αλγόριθµος αυτός είναι ένα σχήµα κωδικοποίησης από µπλοκ µεταβλητού µήκους σεσταθερούµήκους. Κάθε ακολουθία συµβόλων της πηγής υφίσταται µια ανάλυση η οποία οδηγεί στην κατάτµησή της µε µοναδικό τρόπο σε φράσεις µεταβλητού µήκους οι οποίες εν συνεχεία κωδικοποιούνται µεχρήσηκωδικώνλέξεωνσταθερούµήκους. Η καινούργια φράση είναι η διαδοχή µιας προηγούµενης φράσης και του νέου συµβόλου της πηγής. Για να την κωδικοποιήσουµε δηµιουργούµε την διαδοχή της δυαδικής λεξικογραφικής διεύθυνσηςτηςπροηγούµενηςκωδικοποιηµένηςφράσηςκαιτουνέου bit. 6.-

2 ... ιευθύνσεις Λεξικού Αρχική λεξικογραφική διεύθυνση Περιεχόµενο Λεξικού Κωδική Λέξη 6.-

3 Μέσο πληροφοριακό περιεχόµενο των συµβόλων σε µακρές εξαρτηµένες ακολουθίες Όλες οι πραγµατικές πηγές εκπέµπουν ακολουθίες συµβόλων που παρουσιάζουν στατιστική εξάρτηση. Αυτή η στατιστική εξάρτηση µειώνει την ποσότητα πληροφορίας. 6.-

4 Στατιστικό υπόδειγµα Markoff για πηγές πληροφορίας Σεραφείµ Καραµπογιάς Ηδιακριτήπηγήπληροφορίαςεκπέµπειένασύµβολόκάθε T s δευτερόλεπτα. Ηπηγήπαράγει σύµβολα που ανήκουν σε ένα πεπερασµένο αλφάβητο σύµφωνα µε ορισµένες πιθανότητες που εξαρτώνται εν γένει από προηγούµενα σύµβολα καθώς και από το ιδιαίτερο σύµβολό που εξετάζουµε. Οι διακριτές στατικές πηγές Markoff παριστάνονται µε µορφή γραφήµατος P P P Παράδειγµα µιας πηγής Markoff Η πιθανότητα µετάπτωσης από την κατάσταση k στην m p km εξαρτάται µόνο από την αρχική κατάσταση k και την τελική κατάσταση m είναι όµως ανεξάρτητη από τις καταστάσεις σε οποιοδήποτε προηγούµενο διάστηµα συµβόλου. Καθώς η πηγή αλλάζει καταστάσεις από k σε m εκπέµπει κάποιο σύµβολο το οποίο εξαρτάται από την αρχικήκατάσταση kκαιαπότηνµετάπτωση k m. Στην αρχή του πρώτου διαστήµατος συµβόλου η πηγή βρίσκεται σε µία από τις n δυνατές καταστάσεις µε πιθανότητες p k k n. 6.-

5 Εντροπία και Ρυθµός Πληροφορίας των Πηγών Markoff Σεραφείµ Καραµπογιάς Η εντροπία των συµβόλων που εκπέµπονται από κάθε κατάσταση k ορίζεται ως το ολικό πληροφορικό περιεχόµενο των συµβόλων που εκπέµπονται από την k κατάσταση δηλαδή k n p km m log p km Η εντροπία της πηγής είναι ο µέσος όρος της εντροπίας των καταστάσεων n P k k k n P k k n p km m log p km όπου P k είναιηπιθανότηταναβρεθείηπηγήστηνκατάσταση k. Ο µέσος ρυθµός πληροφορίας R της πηγής ορίζεται από την R r S όπου r s είναι ο αριθµός των µεταπτώσεων κατάστασης κατά δευτερόλεπτο ή ο ρυθµός συµβόλων της πηγής. sec 6.-5

6 Θεώρηµα: Αν pα i είναι η πιθανότητα που υπάρχει να εκπέµψει η πηγή µια ακολουθία α i από M σύµβολα τότε το µέσο πληροφορικό περιεχόµενο για όλες τις ακολουθίες που περιέχουν M σύµβολα είναι i p ai log p a i και το µέσο πληροφορικό περιεχόµενο ανά σύµβολο στις ακολουθίες που περιέχουν M σύµβολα είναι G M p ai log p ai M i Η G M είναιµιαµονότοναφθίνουσασυνάρτησητουμδηλαδή M lim G M 6.-6

7 Παράδειγµα: ίνεται η πηγή πληροφορίας που έχει για υπόδειγµα µια διακριτή εργοδική τυχαία διαδικασία Markoffµεγράφηµα p p Βρείτε την εντροπία Η της πηγής και το µέσο πληροφοριακό περιεχόµενο σε ένα µήνυµα που περιέχει ένα δύο και τρία σύµβολα. Απάντηση: log + log 8 log + log

8 ιάγραµµα δένδρου για την πηγή 6.-8 p 8 p 8 p 8 56 G

9 6.-9 ιάγραµµα δένδρου για την πηγή p 9 p p p p 9 p p 8 G 5599

10 Αµοιβαία Πληροφορία Σεραφείµ Καραµπογιάς Γιαδιακριτέςτυχαίες µεταβλητές η υποδηλώνειτηνεντροπία ήτηναβεβαιότητα τηςτυχαίαςµεταβλητής ανγίνειγνωστήητυχαίαµεταβλητή. Ανηαρχικήεντροπίατηςτυχαίαςµεταβλητής είναιη τότετοη Η δηλώνει την ποσότητα της αβεβαιότητας του που έχει εξαλειφθεί µε την εµφάνιση της τυχαίας µεταβλητής. Με άλλα λόγια η Η Η είναι η ποσότητα πληροφορίας που παρέχεται από την τυχαίαµεταβλητή γιατηντυχαία µεταβλητή. Η αµοιβαία πληροφορία mutual information µεταξύ δύο διακριτών τυχαίων µεταβλητών και δηλώνεταιµει καιορίζεταιαπότην 6.-

11 Ιδιότητες της αµοιβαίας πληροφορίας µε ισότητα αν και µόνο αν και είναι ανεξάρτητες min y x y p x p y x p y x p log + 5 η υποσυνθήκη αµοιβαία πληροφορία + 7 ο κανόνας αλυσίδας για την αµοιβαία πληροφορία 6.- z z z p n n n 8

12 Η αµοιβαία πληροφορία µεταξύ δύο διακριτών τυχαίων µεταβλητών και δίδεται Εντροπία υπoσυνθήκη εντροπία και αµοιβαία πληροφορία. 6.-

13 ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται διαφορική εντροπία. h f x log [ f x ]dx Η διαφορική εντροπία δεν έχει το διαισθητικό νόηµα της εντροπίας. Για να ανακτήσουµε αξιόπιστα την έξοδο µίας συνεχούς πηγής για κάθε έξοδο πηγής είναι απαραίτητος ένας άπειρος αριθµός. Για δύο τυχαίες µεταβλητές ορίζεται η από κοινού διαφορική εντροπία h f x y log f x y dx dy και η υπό συνθήκη διαφορική εντροπία h h h Η αµοιβαία πληροφορία ανάµεσα σε δύο συνεχείς τυχαίες µεταβλητές και ορίζεται ως h h h h 6.-

Σχετικά έγγραφα

ιαφορική εντροπία Σεραφείµ Καραµπογιάς

ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται