Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής. Εντροπία Shannon

Transcript

1 Αθανάσιος Χρ. Τζέμος Τομέας Θεωρητικής Φυσικής Εντροπία Shannon Ένα από τα βασικά ερωτήματα της θεωρίας της πληροφορίας ήταν ανέκαθεν το πώς θα μπορούσε να ποσοτικοποιηθεί η πληροφορία, ώστε να μπορούμε να τη χειριζόμαστε σαν όλα τα άλλα φυσικά μεγέθη. Η πρώτη επιτυχής προσπάθεια επίλυσης αυτού του ερωτήματος έγινε το 1948 από τον J.C. Shannon, ο οποίος τη «θρυλική» του πλέον εργασία έφερε επανάσταση σε όλη την επιστημονική κοινότητα. Ο Shannon έκανε αυτή τη μελέτη για λογαριασμό της Bell Corporation και ο σκοπός του ήταν να μεγιστοποιήσει την μεταδιδόμενη πληροφορία μέσω ενός κλασικού καναλιού (π.χ. μιας τηλεφωνικής γραμμής). Μελέτησε λοιπόν τη λεγόμενη «χωρητικότητα» των κλασικών καναλιών, αλλά ο τρόπος που προσέγγισε το ζήτημα είναι τόσο γενικός και εφαρμόστηκε και σε πολλές άλλες επιστήμες, όπως η Βιολογία, τα οικονομικά κλπ. Ο Shannon μοντελοποίησε την πληροφορία σαν μια σειρά από γεγονότα που συμβαίνουν με συγκεκριμένες πιθανότητες, κάτι που έρχεται σε πλήρη αντίθεση με το πώς εμείς αντιλαμβανόμαστε την πληροφορία στην καθημερινή μας ζωή. Έθεσε λοιπόν τις τρεις κάτωθι αξιωματικές συνθήκες, τις οποίες πρέπει να πληροί κάθε μέτρηση της πληροφορίας: 1. Το ποσόν της πληροφορίας σε ένα γεγονός x εξαρτάται μόνο από την πιθανότητά του p. Αυτή είναι μια φυσική απαίτηση, μιας και όσο πιο απίθανο είναι ένα γεγονός, τόσο περισσότερη πληροφορία περιέχει. Για παράδειγμα η βροχή το καλοκαίρι πολύ περισσότερη πληροφορία σαν γεγονός απ ότι η βροχή το χειμώνα. Θα μπορούσε να σημαίνει κάτι σημαντικό για τις κλιματικές συνθήκες μιας περιοχής. 2. Η I(p) είναι μια συνεχής συνάρτηση του p. Η συνέχεια είναι επιθυμητή για τις φυσικές ποσότητες (εξαιρουμένων των μεταβάσεων φάσεως και κάποιων άλλων ανωμαλιών). Στην περίπτωση αυτή η συνθήκη συνεχείας

2 λέει ότι αν η πιθανότητα ενός γεγονότος αλλάξει κατά ένα πολύ μικρό ποσό, η πληροφορία που μεταφέρεται θα αλλάξει πολύ λίγο και αυτή. 3. Ισχύει η αρχή της προσθετικότητας ( x, y) = ( x) + ( y) I p p I p I p η οποία είναι και η πιο αυστηρή, υπό την έννοια ότι δεν είναι πολλές οι συναρτήσεις των θετικών πραγματικών αριθμών (μιλάμε για πιθανότητες) που να είναι προσθετικές. Με τον όρο προσθετικότητα εννοούμε ότι εάν έχουμε δύο ανεξάρτητα γεγονότα που το πρώτο συμβαίνει με πιθανότητα p x και το δεύτερο με πιθανότητα p y, τότε η συνολική πληροφορία που μας δίνουν τα δύο γεγονότα είναι το άθροισμα των επιμέρους πληροφοριών. Ο Shannon απέδειξε ότι υπάρχει μια μοναδική μέτρηση που ικανοποιεί τις παραπάνω συνθήκες και διατηρείται μοναδική κάτω από αφινικούς μετασχηματισμούς. Είναι η εντροπία Shannon και ορίζεται ως εξής: Εάν Χ είναι μια τυχαία μεταβλητή σε ένα σύνολο μεταβλητών x που το καθένα συμβαίνει με πιθανότητα είναι log ( p ). 2 x p x, τότε η εντροπία Shannon του γεγονότος x Data Compression Μια από τις βασικές εφαρμογές τις εντροπίας Shannon είναι η συμπίεση δεδομένων. Έστω λοιπόν ένα σύνολο δεδομένων που θα συμπιεστεί από μια τυχαία μεταβλητή X. Η εντροπία Shannon του X ορίζεται τότε σαν ο λογάριθμος της πιθανότητας = ( = ) ( = ) H X p X x P X x x log Αυτή είναι η μορφή της εντροπίας Shannon που χρησιμοποιούμε στη συμπίεση δεδομένων.

3 Ας υποθέσουμε τώρα ότι η Alice έχει ένα πονηρό κέρμα το οποίο φέρνει μετά από χιλιάδες επαναλήψεις κορώνα με πιθανότητα 0.75 και γράμματα με πιθανότητα Τότε η τυχαία μεταβλητή Χ που περιγράφει το αποτέλεσμα μιας ρίψης με ( = κορώνα ) = 0.75και P( X = γράμματα ) = 0.25 P X. Η Alice και ο Bob μπορούν να είναι σίγουροι ότι μετά από άπειρες ρίψεις θα πάρουν 75% κορώνα και 25% γράμματα. Αυτό λέγεται τυπική ακολουθία (typical sequence). Εάν λοιπόν η Alice θέλει να στείλει τα αποτελέσματά της στον Bob μπορεί απλώς να του πει ποια τυπική ακολουθία έχει μέσω μιας ακολουθίας bits. Κάθε bit της ακολουθίας έχει δύο τιμές, άρα ακολουθία με m bits έχει 2 m πιθανές τιμές. Πόσες είναι όμως οι τυπικές ακολουθίες; Έστω ότι το X n αντιπροσωπεύει n ανεξάρτητα δείγματα από μία τυχαία μεταβλητή X και x 1,...,x n μια ακολουθία τιμών που λαμβάνουμε από τη X n. Τότε η εντροπία Shannon μπορεί να εκφραστεί σαν η αναμενόμενη τιμή του λογαρίθμου log ( p( x) ), την οποία γράφουμε σαν E log ( p( x) ) μεγάλων αριθμών μας λέει τότε ότι για κάθε δ > 0 και ε > 0. Ο ασθενής νόμος των υπάρχει ένα αρκούντως μεγάλο n, τέτοιο ώστε με πιθανότητα τουλάχιστον 1 ε να συμβαίνει μια ε τυπική ακολουθία που ικανοποιεί την ανισότητα ( δ ) ( δ ) nh X nh X+ < p x1 x n < 2,..., 2 Χρησιμοποιώντας το παραπάνω φράγμα και το γεγονός ότι η ολική πιθανότητα των ε τυπικών ακολουθιών κυμαίνεται μεταξύ του 1 ε και του 1 βρίσκουμε το εξής φράγμα στον αριθμό των ακολουθιών N ( ε, δ ) : Χρησιμοποιώντας ( δ ( εδ) ( ε) H X 2 N, 1 2 δ + H X n H X + δ ) bits, όλες οι ε τυπικές ακολουθίες μπορούν να κωδικοποιηθούν με σφάλμα όχι μεγαλύτερο του ε. Τα ε και δ μπορούν να διαλεχτούν να είναι αυθαιρέτως μικρά όσο το n αυξάνεται, έτσι ώστε ο ρυθμός της συμπίεσης να είναι πολύ κοντά στα H ( X ) bits και με μικρό σφάλμα ε (όπως επιθυμούμε). Γι αυτό λοιπόν λέμε ότι ο ρυθμός συμπίεσης είναι ίσος με την εντροπία Shannon του Χ.

4 Τι συμβαίνει όμως εάν προσπαθήσουμε να κωδικοποιήσουμε το Χ χρησιμοποιώντας λιγότερα bits; Εάν τα χρησιμοποιηθούν R < ( ε ) 1 2 H X δ nr τότε όσο το n μεγαλώνει, το 2 γίνεται σημαντικά μικρότερο από το 2 nh X bits,, οπότε οι περισσότερες τυπικές ακολουθίες δεν κωδικοποιούνται και η πιθανότητα σφάλματος αυξάνεται. Σημειωτέον το γεγονός ότι σε αντίθεση για παράδειγμα με τον ανθρώπινο λόγο, η πιο τυχαία ακολουθία είναι και αυτή που είναι και η λιγότερο συμπιέσιμη (ουσιαστικά δεν είναι συμπιέσιμη καθόλου αφού περιέχει το μέγιστο ποσόν εντροπίας). Σε γενικές γραμμές ο σκοπός της συμπίεσης δεδομένων είναι η επικοινωνία δύο ατόμων (Alice και Bob) μέσω ενός καναλιού χωρίς θόρυβο (noiseless channelιδανικό κανάλι). Η Alice έχει ένα σύνολο δεδομένων που αναπαρίσταται από μια κατανομή πιθανότητας Χ, απ την οποία θέλει να στείλει ένα μεγάλο τμήμα από n μηνύματα στον Βob χρησιμοποιώντας όσο το δυνατόν λιγότερα bits. Η συμπίεση δεδομένων λειτουργεί ως εξής: Ένα μεγάλο ποσόν πληροφορίας μπορεί να διαιρεθεί σε τυπικές ακολουθίες που περιέχουν πολλούς πιθανούς χαρακτήρες, αλλά και άτυπες ακολουθίες που αποτελούνται από τους απίθανους χαρακτήρες. Κωδικοποιώντας μόνο τις τυπικές ακολουθίες επιτυγχάνεται κωδικοποίηση του μηνύματος με πολύ λιγότερα bits. Μπορεί δε με μια πολύ μικρή πιθανότητα η τυχαία μεταβλητή να δημιουργήσει και άτυπες ακολουθίες οι οποίες δεν έχουν κωδικοποιηθεί και να αποτύχει τελικά η συμπίεση. Γι αυτόν το λόγο η κωδικοποίηση αυτή λέγεται lossy compression (κωδικοποίηση με απώλειες). Σχετικές μετρήσεις της πληροφορίας Η εντροπία του Shannon μπορεί να χρησιμοποιηθεί και για τον ορισμό άλλων μετρήσεων της πληροφορίας, οι οποίες αναδεικνύουν τις σχέσεις μεταξύ δύο τυχαίων μεταβλητών Χ και Y. Έχουμε λοιπόν: 1. Τη σχετική εντροπία (relative entropy), η οποία μετράει την ομοιότητα των Χ και Y. 2. Τη σύνθετη εντροπία (joint entropy), η οποία μετράει τη συνολική πληροφορία των Χ και Y.

5 3. Την εντροπία υπό συνθήκας (conditional entropy), η οποία μετράει την πληροφορία του Χ, όταν η Υ είναι γνωστή και αντιστρόφως. 4. Την αμοιβαία κοινή εντροπία (mutual entropy), η οποία μετράει τη σχέση των Χ και Υ, υπό την έννοια ότι μας δείχνει πόσο μειώνεται η πληροφορία του Χ όταν μαθαίνουμε το Υ και αντιστρόφως. Σχετική Εντροπία Η σχετική εντροπία ορίζεται ως εξής: ( ) log H X Y = p x p y H X = log / p x p x p y Η εντροπία αυτή αναπαριστά τη διαφορά μεταξύ της αναμενομένης πληροφορίας που λαμβάνεται από τα γεγονότα της Υ που κατανέμονται σύμφωνα με τη Χ p x p y (δηλαδή log της Χ (δηλαδή ( ) ) και της αναμενόμενης πληροφορίας από τα γεγονότα H X ). Είναι πάντοτε θετική. Εάν τώρα Χ=Υ τότε προφανώς η σχετική εντροπία είναι 0. Επίσης αυξάνεται όσο αυξάνεται η «απόσταση» μεταξύ των Χ και Υ. Η σχετική εντροπία είναι μια έννοια πολύ μεγάλης σημασίας για την κλασική στατιστική μηχανική του Gibbs και χρησιμοποιείται πολύ συχνά στην Κβαντική θεωρία πληροφορίας, διότι πολλά σημαντικά αποτελέσματα της τελευταίας

6 βασίζονται στη μονοτονία της. Είναι λοιπόν η πιο κατάλληλη έκφραση της πληροφορίας, διότι η τελευταία είναι ένα καθαρά σχετικό γεγονός. Αυτό, γιατί η απροσδιοριστία σε μια μεταβλητή μετράται πάντα ως προς μια άλλη μεταβλητή. Η εντροπία Shannon είναι μια ειδική περίπτωση της σχετικής εντροπίας. Πράγματι η εντροπία Shannon μιας τυχαίας μεταβλητής είναι η σχετική εντροπία ως προς μια κατάσταση που γνωρί ζουμε με απόλυτ η βεβαιότητα, δηλαδή H ( X) = H( X Y),όπου ( Y= y) = 1 P για κάποια τιμ ή του y. Στο σχήμα μας η σχετική εντροπία είναι το κίτρινο και το θαλασσί τμήμα. Σύνθετη Εντροπία Η σύνθετη εντροπία δύο τυχαίων μεταβλητών Χ και Υ είναι απλώς η εντροπία της σύνθετης κατανομής των Χ και Υ: (, ) = (, ) log (. ) H X Y p x y p x y Εάν τα Χ και Υ είναι ανεξάρτητα, τότε η προσθετική ιδιότητα της εντροπίας Shannon μας δίνει (, ) = + H XY H X HY Η παραπάνω ισότητα δεν ισχύει όταν τα Χ και Υ δεν είναι ανεξάρτητα. Εντροπία υπό συνθήκας Η εντροπία αυτή μετράει την πληροφορία που λαμβάνουμε από τη γνώση του Χ όταν το Υ είναι ήδη γνωστό: όπου p( xy) p( ) / p( x) H X Y = p x y p x y, log =. Εάν ξέρουμε το χρώμα της δεξιάς μας κάλτσας δεν μαθαίνουμε τίποτα καινούργιο με το να κοιτάξουμε το χρώμα της αριστερής μας κάλτσας, μιας και πάντα είναι ίδιες, οπότε η υπό συνθήκας εντροπία είναι 0. Εάν πάλι τα Χ και Υ είναι πλήρως ανεξάρτητα το ένα από το άλλο, τότε H( X) H X Y =, αφού η πληροφορία που αντλούμε απ το Χ δεν μειώνεται λόγω της γνώσης του Υ. Μπορούμε τέλος να περιγράψουμε τη σύνθετη κατανομή των Χ

7 και Υ περιγράφοντας πρώτα το Χ και μετά το Υ με δεδομένο το Χ. Αυτή η κίνηση μας οδηγεί στη διατύπωση μιας σχέσης μεταξύ των συνθέτων και των υπό συνθήκας εντροπιών: (, ) = + H X Y H X H Y X Αμοιβαία Κοινή εντροπία Η κοινή εντροπία μεταξύ δύο μεταβλητών Χ και Υ είναι η διαφορά της πληροφορίας που λαμβάνουμε από το Χ από αυτή που παίρνουμε από το Χ όταν είναι γνωστό το Υ ( : ) = I X Y H X H X Y Αν αυτό φαίνεται λίγο ασαφές μια ματιά στο σχήμα θα λύσει κάποια απορία. Η κοινή εντροπία είναι ο μηνίσκος επικάλυψης των δύο κύκλων. Αν δεν υπάρχει συσχέτιση των Χ και Υ, τότε αυτή είναι προφανώς 0. Αν υπάρχει πλήρης, τότε είναι ίση με την πληροφορία του Χ ή του Υ (αφού είναι ίσες). Σημειωτέον ότι η κοινή εντροπία είναι συμμετρική ως προς τις δύο μεταβλητές,δηλαδή ισχύει: ( : ) = = ( : ) I Y X H Y H Y X I X Y Βλέπουμε λοιπόν ότι η κοινή εντροπία είναι η διαφορά στον αριθμό των bits που χρειαζόμαστε για να εκφράσουμε τα Χ και Υ ξεχωριστά απ ότι σαν σύνθετη κατανομή, δηλαδή: ( : ) = + (, ) I X Y H X H Y H X Y Χωρητικότητα ενός καναλιού με θόρυβο (noisy channel) Όταν η Alice μιλάει στον Bob, το σήμα που στέλνεται μπορεί να θεωρηθεί σαν μια τυχαία μεταβλητή, έστω Χ. Το Χ λοιπόν εκφράζεται απόλυτα μέσω της πιθανότητας να στείλει η Alice στο Bob την αλληλουχία γραμμάτων x (string x). Εάν το κανάλι έχει θόρυβο η τελευταία θα αλλάξει (λόγω σφαλμάτων που κάνουν το 0 1 και αντιστρόφως). Το σήμα λοιπόν που θα λάβει o Bob μπορεί να θεωρηθεί σα μια άλλη τυχαία μεταβλητή Υ. Το πόσο συσχετίζονται τα Χ και Υ είναι ουσιαστικά η χωρητικότητα του καναλιού, μιας και η χωρητικότητα εκφράζει τον αναμενόμενο

8 αριθμό bits της Alice που μπορεί να μάθει ο Bob. Με άλλα λόγια η χωρητικότητα του καναλιού είναι ίση με την κοινή εντροπία των Χ και Υ. Εάν η Alice στείλει στον Bob ένα bit και αυτός το παραλάβει ακέραιο, τότε η χωρητικότητα είναι ίση με 1 bit (όπως και η συσχέτιση μεταξύ τους). Εάν το bit αυτό έχει πιθανότητα ½ (randomizing channel) να αλλάξει, τότε ο Bob δεν μπορεί να κάνει ουδεμία πρόβλεψη για το bit της Alice και συνεπώς η χωρητικότητα είναι 0. Οι δύο παραπάνω περιπτώσεις είναι οι ακραίες καταστάσεις ενός γενικότερου αποτελέσματος που λέγεται Θεώρημα Shannon για κανάλια με θόρυβο (Noisy Channel Theorem): Εάν R είναι ο ρυθμός παραγωγής πληροφορίας, τότε δεδομένου ότι R < C = I( Y : X), η πληροφορία μπορεί να μεταδοθεί με αυθαίρετη αξιοπιστία. Μια πηγή Χ με εντροπία Η θα παράγει περίπου 2 nh X τυπικές ακολουθίες σε n βήματα (το περίπου μπαίνει διότι η παραπάνω πρόταση ισχύει ακριβώς στο όριο των πολύ μεγάλων n). Τώρα, κάθε μια από τις τυπικές ακολουθίες θα διαβαστεί από τον Bob και κάθε έξοδος θα μπορεί να παραχθεί από περίπου 2 nh X Y εισόδους, μιας και το H( X Y)αναπαριστά την εντροπία του Χ ενώ το Υ έχει μετρηθεί. Γι αυτό λοιπόν ο ολικός αριθμός των χρήσιμων μηνυμάτων (nonredundant messages μη περιττά μηνύματα) είναι N nh ( ( X) H( XY) ) = 2 και γι αυτό για τη χωρητικότητα διαλέγουμε μια πηγή με εντροπία που μεγιστοποιεί τ ν ποσότητα H( X η ) H( X Y) δηλαδή την κ οινή εντροπία I ( X : Y) Εάν σε αντίθετη πλευρά διαλέξουμε πηγή που παράγει περισσότερη εντροπία απ. τη χωρητικότητα του καναλιού, τότε το κανάλι δε θα μπορέσει να διαχειριστεί σωστά αυτό το μεγάλο ποσό πληροφορίας με αποτέλεσμα να γίνουν λάθη. Η αμοιβαία κοινή λοιπόν εντροπία μεταξύ εισόδου και εξόδου του καναλιού είναι μια πολύ σημαντική ποσότητα μιας και μέσω αυτής εκφράζεται ο μέγιστος ρυθμός μετάδοσης πληροφορίας μέσω του καναλιού.

9 Βιβλιογραφία 1. Introduction to Quantum Information Science, by Vlatko Vedral (Oxford University Press) 2. Wikipedia