( ) log 2 = E. Σεραφείµ Καραµπογιάς

Transcript

1 Παρατηρούµε ότι ο ορισµός της Η βασίζεται στη χρονική µέση τιµή. Για να ισχύει ο ορισµός αυτός και για µέση τιµή συνόλου πρέπει η πηγή να είναι εργοδική, δηλαδή H ( X) ( ) = E log 2 p k Η εντροπία µιας πηγής πληροφορίας είναι ένα µέτρο της αβεβαιότητας ή ισοδύναµα του πληρο- φοριακού περιεχοµένου της πηγής. Επίσης η εντροπία αποτελεί ένα µέτρο του αριθµού των bits πληροφορίας που χρειάζονται κατά µέσο όρο για να µεταδώσουµε την πληροφορία που περιέχεται στην µεταβλητή X, υπό την προϋπόθεση ότι έχει χρησιµοποιηθεί ένα βέλτιστος αλγόριθµος κωδικοποίησης. Με άλλα λόγια κάθε έξοδος της πηγής απαιτεί H( X ) bits για ουσιαστικά χωρίς σφάλµατα αναπαράσταση. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-

2 Για µία πηγή µε ένα αλφάβητο από Ν σύµβολα, η µέγιστη εντροπία επιτυγχάνεται όταν οι πιθανότητες των συµβόλων είναι ίσες οπότε p = p2 = = p N = H max = log 2 ( N) N bits symbol Σεραφείµ Καραµπογιάς Αν symbols r S sec είναιο σταθερός ρυθµός µετον οποίο εκπέµπονταιτασύµβολααπότηνπηγή, ορίσουµε το µέσο ρυθµό (παροχής) της πληροφορίας από της πηγής ως R = r S H bits sec Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-2

3 Παράδειγµα: Να βρεθεί η εντροπία µιας πηγής που εκπέµπει ένα από τα τρία σύµβολα Α, Β και C σε στατιστικά ανεξάρτητηακολουθίαµεπιθανότητααντίστοιχα /2, /4 και /4. Απάντηση: H =,5 bits symbol Παράδειγµα: Μιαδιακριτήπηγήεκπέµπειένααπόπέντεσύµβολακάθε msec. Οιπιθανότητεςτωνσυµβόλωνείναι /2, /4, /8, /6, και /6 αντίστοιχα. Να βρεθεί η εντροπία της πηγής και ο µέσος ρυθµός πληροφορίας. Απάντηση: H=,875 bits symbol R=875 bits sec Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-3

4 Στη δυαδική πηγή χωρίς µνήµη µε πιθανότητες p και p, αντίστοιχα έχουµε H = p log 2 ( p) ( p) log2( p) Η συνάρτηση αυτή, που συµβολίζεται µε H b (p), είναι γνωστήως ησυνάρτησηδυαδικής εντροπίας. Η συνάρτηση δυαδικής εντροπίας µεγιστοποιείται όταν p = 0,5. H b (0,5) =, δηλαδήτοαποτέλεσµαµπορείναµεταφερθείµε bit. Η µέγιστη τιµής της είναι H b ( p) 0, , 5 p Η συνάρτηση δυαδικής εντροπίας Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-4

5 Για δύο ή περισσότερες τυχαίες µεταβλητές εισάγουµε τη συνδυασµένη και την υποσυνθήκη εντροπία. Έννοιες ιδιαίτερα σηµαντικές για πηγές µε µνήµη. Η συνδυασµένη εντροπία δύο διακριτών τυχαίων µεταβλητών (X,Υ ) ορίζεται από τη σχέση H ( X, Y) = p( x, y) x, y log ( p( x, y) ) Η σχέση γενικεύεται για περισσότερες τυχαίες µεταβλητές Η συνδυασµένη εντροπία είναι απλά η εντροπία µιας τυχαίας διανυσµατικής µεταβλητής Παράδειγµα: ύο δυαδικές τυχαίες µεταβλητές X και Y κατανέµονται σύµφωνα µε τη συνδυασµένη κατανοµή p (X = Y = 0) = p(x = 0, Y = ) = p(x = Y = ) = /3. Υπολογίστετις H(X ), H(Y ) και H( X,Y ). Απάντηση: H(X ) = 0,983, H(Y ) = 0,983 και H(X,Y ) =,5850. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-5

6 Υποσυνθήκη εντροπία Η PMF της τυχαίας µεταβλητής X δεδοµένης της τιµής y της τυχαίας µεταβλητής Y είναι p (x y) Η υποσυνθήκη εντροπία της τυχαίας µεταβλητής X δεδοµένης της τιµής y της τυχαίας µεταβλητής Y ορίζεται από τη σχέση H ( X Y = y) = x p( x y) log ( p( x y) ) η οποία διαισθητικά είναι η ποσότητα αβεβαιότητας στη Χ όταν γνωρίζουµε ότι Υ = y. Η υποσυνθήκη εντροπία είναι η σταθµισµένη µέση τιµή των παραπάνω ποσοτήτων για όλα τα y και υποδηλώνει την εντροπία (ή την αβεβαιότητα) της τυχαίας µεταβλητής X όταν είναι γνωστή η τυχαία µεταβλητή Y. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-6

7 Η υποσυνθήκη εντροπία µιας διακριτής τυχαίας µεταβλητής X δεδοµένης της τυχαίας µεταβλητής Y ορίζεται από τη σχέση ( X Y) H = = x, y x, y p( x p( x, p( y) ( p( x y) ) Σεραφείµ Καραµπογιάς ΕπειδήηYµπορείναπαρέχεικάποιαπληροφορίαγιατη Xείναι H( X Y ) H( X ). y) y) log log ( p( x y) ) Γενικά έχουµε H ( X X ) n X n,..., = x,... x n p( x,... x n ) log ( p( x x,..., x )) n n Αποδεικνύεταιότι H( X, Y ) = H(Y ) + H( X Y ). Το περιεχόµενο της πληροφορίας του ζεύγους ( X, Y ) είναι ίσο προς το πληροφοριακό περιεχόµενο της Y συν το πληροφοριακό περιεχόµενο της X όταν είναι γνωστή η Y. Η σχέση αυτή επίσης δηλώνει ότι η ίδια πληροφορία µεταφέρεται είτε εµφανίζοντας το ζεύγος ( X, Y ), ή αποκαλύπτοντας πρώτα το Y και στη συνέχεια την αποµένουσα πληροφορία στο Χ. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-7

8 Αν X n δηλώνειτηνέξοδοµιαςδιακριτήςπηγήςτηχρονικήστιγµή n, τότε ΗΗ(Χ 2 Χ ) υποδηλώνειτηνκαινούργια πληροφορίαπουπαρέχειηέξοδος X 2 τηςπηγήςσε κάποιονπουγνωρίζειτηνέξοδο X. Γενικά Η (Χ n Χ, Χ 2,, Χ n- ) δηλώνειτηνκαινούργιαπληροφορίαπουπαρέχειηέξοδος X n τηςπηγήςσεκάποιονπουέχειπαρατηρήσειτηνακολουθία (Χ, Χ 2,, Χ n- ). Ο ρυθµός εντροπίας µιας στατικής τυχαίας διαδικασίας διακριτού χρόνου ορίζεται από την H ( X X, X X ) = lim H n 2,, n n Αποδεικνύεται ότι ένας εναλλακτικός ορισµός του ρυθµού εντροπίας για πηγές µε µνήµη είναι H = lim H 2,, n n ( X, X X ) Ορυθµόςτηςεντροπίαςπαίζειτορόλοτηςεντροπίαςγιαπηγέςµεµνήµη. n Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-8

9 ΘΕΩΡΗΜΑ ΚΩ ΙΚΟΠΟΙΗΣΗΣ ΠΗΓΗΣ Σεραφείµ Καραµπογιάς Τοθεώρηµααυτόκαθορίζειέναθεµελιώδεςόριοστορυθµό, µετονοποίοηέξοδοςµιαςπηγής πληροφορίας µπορεί να συµπιεστεί χωρίς να προκληθεί µεγάλη πιθανότητα σφάλµατος. Σε ακολουθίες από εξόδους µιας DMS µήκους n κάθε γράµµα α ι i =, 2,,N επαναλαµβάνεταιµευψηλήπιθανότητα (πουφτάνειτο καθώςτο n ) περίπου np i φορές. Με άλλα λόγια ασυµπτωτικά σχεδόν όλες οι ακολουθίες είναι περίπου ισοπίθανες. Οι ακολουθίες x που έχουν την παραπάνω δοµή ονοµάζονται τυπικές ακολουθίες. Η πιθανότητα µιας τυπικής ακολουθίας είναι P( X = x) N i = n p N i p i = i = 2 n p i log p i N n i= = 2 p i log p i n H = 2 ( X) Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-9

10 Οι ακολουθίες x που έχουν την παραπάνω δοµή ονοµάζονται τυπικές ακολουθίες. Η πιθανότητα µιας τυπικής ακολουθίας είναι P n p log p i= i 2 i= N n p N n p p i i i i i i n H ( X ) ( = ) p = 2 log X x = 2 = = N Σεραφείµ Καραµπογιάς Παρατηρούµε ότι για µεγάλο n σχεδόν όλες οι ακολουθίες εξόδου µήκους n της πηγής (τυπικές ( X 2 n H ) ακολουθίες) είναιισοπίθανεςµεπιθανότηταπερίπου. Η πιθανότητα του συνόλου των µη τυπικών ακολουθιών είναι αµελητέα.. 2 n H ( X) Ο συνολικός αριθµός των τυπικών ακολουθιών είναι σχεδόν. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-0

11 Παρατηρούµε ότι παρόλο που µία πηγή µε µέγεθος αλφαβήτου N µπορεί να παράγει N n ακολουθίες µήκους n, µπορούµε να λάβουµε υπόψιν το σύνολο των τυπικών ακολουθιών και να αµελήσουµε τις άλλες εξόδους και η πιθανότητα να έχουµε χάσει κάτι πλησιάζει στο µηδέν καθώςτο nτείνειστοάπειρο. Το σύνολο των τυπικών ακολουθιώνµε 2 n H (X ) Τοσύνολοτωντυπικώνκαιτωνµητυπικών ακολουθιών. Αυτή είναι η ουσία της συµπίεσης δεδοµένων, δηλαδή της πρακτικής της αναπαράστασης της εξόδου της πηγής µε ένα αριθµό ακολουθιών µικρότερο από εκείνο που η πηγή παράγει στην πραγµατικότητα. Επειδή ο συνολικός αριθµός των τυπικών ακολουθιών (µε µήκος n) είναι περίπου 2 nh( X ) χρειαζόµαστε n H( X ) bits γιανατιςαναπαραστήσουµε. Παρατηρούµεότικατάµέσοόρο, κάθεέξοδοςτηςπηγήςαπαιτεί H(X ) bits γιαµίαουσιαστικά χωρίς σφάλµατα αναπαράσταση. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-

12 Για µία πηγή της οποίας η PMF είναι οµοιόµορφα κατανεµηµένη έχουµε έτσι το πλήθος των τυπικών ακολουθιών είναι 2 n H H ( X) = log N ( X ) n log N n = 2 Αυτόσηµαίνειότιοαριθµόςτωντυπικώνακολουθίωντηςπηγήςµήκους nείναιίσοςπροςτο συνολικό αριθµό των εξόδων της πηγής και καµία συµπίεση δεν είναι δυνατή. = N Σεραφείµ Καραµπογιάς Εάν η πηγή έχει µνήµη τότε οι έξοδοι δεν είναι ανεξάρτητες και για αυτό φανερώνουν πληροφορία για τις επόµενες εξόδους. Σε µία πηγή µε µνήµη ο ρυθµός µε τον οποίο παράγεται η καινούργια πληροφορία ελαττώνεται καθώςόλοκαιπερισσότερεςέξοδοιτηςπηγήςεµφανίζονται. Γενικά γιαπηγέςµεµνήµηµαςενδιαφέρειορυθµόςεντροπίαςη(χ n Χ, Χ 2,, Χ n- ) Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-2

13 Θεώρηµα κωδικοποίησης πηγής Σεραφείµ Καραµπογιάς Θεώρηµα Κωδικοποίησης Πηγής. Μία πηγή εντροπίας (ή ρυθµού εντροπίας) H µπορεί να κωδικοποιηθεί µε αυθαίρετα µικρή πιθανότητα σφάλµατος σε οποιοδήποτε ρυθµό R (bits / έξοδοπηγής) εφόσον R > H. Αντίστροφα, αν R < H, η πιθανότητα σφάλµατος θα παραµένει µακριά από το µηδέν, ανεξάρτητα από την πολυπλοκότητα του κωδικοποιητή και του αποκωδικοποιητή που χρησιµοποιούνται. Ο κωδικοποιητής πηγής αντιστοιχεί δυαδικές κωδικές λέξεις στα πακέτα συµβόλων της πηγής και παράγει στην έξοδο του µια δυαδική ακολουθία. Το θεώρηµα κωδικοποίησης πηγής δίνει µόνο αναγκαίες και ικανές συνθήκες για την ύπαρξη κωδίκωνπηγής. ίνει επίσης ένα φράγµα στο ρυθµό µε τον οποίο η πηγή µπορεί να συµπιεσθεί (κωδικοποιηθεί) γιααξιόπιστηανακατασκευή. εν προσφέρει συγκεκριµένους αλγορίθµους για να σχεδιασθούν κώδικες που να προσεγγίζουν αυτό το φράγµα. Υπάρχουν δύο γνωστοί αλγόριθµοι που οι επίδοσείς τους είναι πολύ κοντά στο φράγµα της εντροπίας. Ο αλγόριθµος κωδικοποίησης πηγής του Huffman Ο αλγόριθµος κωδικοποίησης πηγής του Lempel-Ziv. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-3

14 Ο Αλγόριθµος Huffman Κωδικοποίησης Πηγής Στην κωδικοποίηση Huffman µπλοκ συµβόλων σταθερού µήκους από τη έξοδο της πηγής απεικονίζονται σε µεταβλητού µήκους µπλοκ δυαδικών συµβόλων. Αυτό καλείται κωδικοποίηση από σταθερό σε µεταβλητό µπλοκ. Οι συχνότερα εµφανιζόµενες ακολουθίες εξόδου σε βραχύτερες δυαδικές ακολουθίες Στην κωδικοποίηση µεταβλητού µήκους πρέπει να υπάρχει ένας και µοναδικός τρόπος για να διαχωρίζουµε τη λαµβανόµενη δυαδική ακολουθία σε κωδικές λέξεις Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-4

15 Κωδικές Λέξεις Σύµβολο a a 2 a 3 a 4 a 5 Πιθανότητα p = 2 p 2 = p 4 3 = p 8 4 = p 6 5 = 6 Κώδικας Κώδικας Κώδικας Κώδικας αυτό-συγχρονιζόµενοι κώδικες άµεσος µονοσήµαντα αποκωδικοποιήσιµοι µη µονοσήµαντα αποκωδικοποιήσιµος Στους κώδικες και 3 καµία κωδική λέξη δεν είναι πρόθεµα µιας άλλης Λέµε ότι ικανοποιούν τη συνθήκη προθέµατος. Γιατοκώδικα τοµέσοµήκοςλέξηςείναι E(L) = 3/6. Ενώγιατοκώδικα 3 τοµέσο µήκος λέξης είναι E(L) = 30/6. Ο ποιο ενδιαφέρων είναι ο κώδικας 3 και είναι ένα παράδειγµα κώδικα Huffman. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-5

16 ιατάξτε τις εξόδους της πηγής κατά φθίνουσα σειρά των πιθανοτήτων τους Σεραφείµ Καραµπογιάς Συγχωνεύστε τις δύο λιγότερο πιθανές εξόδους σε µία µοναδική έξοδο, και θέστε ως πιθανότητα της το άθροισµα των δύο πιθανοτήτων Αν ο αριθµός των εξόδων που αποµένουν είναι 2, τότε προχωρήστε στο επόµενο βήµα. ιαφορετικά, επανέλθετε στο βήµα. Αυθαίρετα αντιστοιχίστε το 0 και το ως κωδικές λέξεις για τις δύο εξόδους που αποµένουν Αν µια έξοδος είναι το αποτέλεσµα της συγχώνευσης δύο εξόδων σε προηγούµενο βήµα, προσαρτήστε στηντρέχουσακωδικήλέξη 0 καιτο γιανααποκτήσετετηνκωδικήλέξηγιατιςπροηγούµενεςεξόδους το βήµα 5. Αν καµία έξοδος δεν προηγείται άλλης σταµατήστε. 0 p = p 2 = p 3 = p 4 = p 5 = Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-6

17 Έχουµεήδηδειότιοικώδικες Huffmanείναιβέλτιστοιµετηνέννοιαότιγια µια δεδοµένη πηγήπαρέχουνκώδικα µεελάχιστοµέσοµήκοςκωδικήςλέξης. Οι κώδικες Huffman παρουσιάζουν ισχυρή εξάρτηση από τις πιθανότητες (τη στατιστική) της πηγής. Η στατιστική της πηγής πρέπει να είναι γνωστή από πριν για να σχεδιάσουµε έναν κώδικα Huffman. Το άλλο πρόβληµα µε τους κώδικες Huffman είναι ότι αν ο κώδικας είναι σχεδιασµένος για µπλοκ µήκους ενός συµβόλου αξιοποιεί µόνο τη συχνότητα εµφάνισης των συµβόλων της πηγήςκαιόχιτηµνήµητης. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.2-7