Μέτρηση της πληροφορίας Ησυνάρτηση«Πληροφορία» Εντροπία Πλεονασµός
Ησυνάρτηση«πληροφορία» Τι ακριβώς όµως είναι «πληροφορία» και πώς µπορούµε να την µετρήσουµε; γιανααποτελείκάτι«πληροφορία» θα πρέπει να µπορεί να το αντιλαµβάνεται ο δέκτης, δηλ. (α) να γίνεται αισθητό από τον αισθητήριο µηχανισµό τουκαι (β) να µπορεί να το αποκωδικοποιεί σωστά και να αντιλαµβάνεται έτσι το νόηµά του.
στρίβουµε ένα νόµισµα και θέλουµε να απαντήσουµε στο ερώτηµα: «τι έφερε το νόµισµα, κορώνα ή γράµµατα;». Πότε είναι πιο εύκολη η απάντηση; όταν το νόµισµα είναι γνήσιο και εποµένως τα γεγονότα «κορώνα» και «γράµµατα» είναι ισοπίθανα ;; όταν το νόµισµα είναι επηρεασµένο µε τέτοιο τρόπο ώστε να εµφανίζονται «γράµµατα» µεπιθανότητα0.9 και «κορώνα» µεπιθανότητα0.1 ;; Στην πρώτη περίπτωση περιµένει κανείς να βρίσκει τη σωστή απάντηση στις µισές από τις δοκιµές που κάνει ενώ στη δεύτερη µπορεί να απαντά σωστά 9 στις 10 φορές.
Η αξία της πληροφορίας η «αξία» µιας πληροφορίας είναι ευθέως ανάλογη µε την αβεβαιότητας που αίρει
µαθηµατική έκφραση για τον υπολογισµό της πληροφορίας. Αν Ε είναι ένα γεγονός που εµφανίζεται µε πιθανότητα Ρ(Ε) η ποσότητα που µετρά την πληροφορία θα πρέπει να είναι αντίστροφα ανάλογη µε την πιθανότητα να συµβείαυτότογεγονός. Ορίζουµε ως πληροφορία που παίρνουµε, όταν συµβαίνει αυτό το γεγονός, την ποσότητα: I(E) = log 1 P(E)
Ιδιότητες της συνάρτησης Ι Η συνάρτηση Ι ορίζεται µε τέτοιο τρόπο ώστε να αυξάνει όταν η πιθανότητα εµφάνισης του γεγονότος µειώνεται. Ακόµη γίνεται χρήση της λογαριθµικής συνάρτησης ώστε η συνάρτηση Ι να εµφανίζει την προσθετική ιδιότητα. 1 1 1 1 1 1 I(AB) = log = log = log(( ).( )) = log( ) + log( ) = I(A) + I(B) P(AB) P(A).P(B) P(A) P(B) P(A) P(B)
Εντροπία (1/2) Θα υπολογίσουµε την πληροφορία µιας πηγής όταν αυτή εκπέµπει κάποιο σύµβολο. Πηγή & «αλφάβητο» της πηγής. Ν={a 1, a 2, a 3,, a i,, a N } Όταν εκπέµπεται ένα σύµβολο a Ι( a ι ) = log 1 Ρ( ai )
Εντροπία (2/2) Πολλαπλασιάζοντας την πιθανότητα P(a i ) να εµφανιστεί κάποιο σύµβολο α i επί την πληροφορία που µεταφέρει και αθροίζοντας για όλα τα σύµβολα που µπορεί να εκπέµψει η πηγή, παίρνουµε την ποσότητα Η 0 Ν Η0 = i= 1 1 Ρ( αi).log Ρ( αi) που παριστάνει την µέση τιµή εκπεµπόµενης πληροφορίας ανά σύµβολο της πηγής. Η ποσότητα αυτή ονοµάζεται «εντροπία» (entropy) της πηγής µηδενικής µνήµης και µετριέται σε bits/σύµβολο.
Παράδειγµα: Εντροπία κατά τη ρίψη ενός νοµίσµατος Αλφάβητο Πηγής: {Κ, Γ} Πχ. µήνυµα: { ΚΚΓΚΓΓΓΚΚΓΚΚΓΓΚΚΓΚΚΓΓΓΚΓΚΚΓΚΓΚΚ } Πληροφορία του κάθε γεγονότος Ι( Κ) 1 = log Ρ( Κ) Ι( Γ) 1 = log Ρ( Γ) Στην περίπτωση του γνήσιου νοµίσµατος είναι P(K)=P(Γ)=0.5 οπότε H 0 = 1 bit/σύµβολο Ενώ αν το νόµισµα είναι κάλπικο και Ρ(Κ)=0.9, Ρ(Γ)=0.1 τότε η (1.4) δίνει H 0 = 0.47 bit/σύµβολο
Πλεονασµός (Redundacy) Αν Η η εντροπία της πηγής και H max η µέγιστη τιµή της τότε ορίζουµε ως«πλεονασµό» της πηγής την ποσότητα: R = Η Η max Η max.100% οπλεονασµός εκφράζει ποσοστιαία την απόκλιση της πηγής από την κατάσταση µέγιστης εντροπίας. Όσο µικρότερη η εντροπία της πηγής από τη µέγιστη τιµή H max τόσο µεγαλύτερος ο πλεονασµός.
Η πρακτική σηµασία της εντροπίας και του πλεονασµού Η εντροπία της πληροφορίας εκφράζει το βαθµό αβεβαιότητας που χαρακτηρίζει την εκποµπή των συµβόλων µιας πηγής πληροφορίας και εποµένως το πόσο οργανωµένο (ή ανοργάνωτο) εµφανίζεται το µήνυµα στον δέκτη. Υψηλή εντροπία σηµαίνει µεγάλη αβεβαιότητα για το ποιο σύµβολο θα ακολουθήσει (πχ. σύµβολα ισοπίθανα) Χαµηλή εντροπία σηµαίνει πως η πηγή δεν έχει απόλυτη ελευθερία στην εκποµπή των συµβόλων και υπάρχουν κάποιοι κανόνες που καθορίζουν τον τρόπο µε τον οποίο ακολουθούν τα σύµβολα το ένα το άλλο.
Ο πλεονασµός αντίστοιχα είναι ένας καθαρός αριθµός (ένα ποσοστό) που αποτελεί µέτρο των δεσµών (των κανόνων) που υφίστανται ανάµεσα στα σύµβολα. Όταν η εντροπία είναι µεγάλη ο πλεονασµός είναι χαµηλός, κάτι που δείχνει πως δεν υπάρχει κάποιος καλύτερος τρόπος κωδικοποίησης για το µήνυµα: χρειαζόµαστε όλα τα σύµβολα που χρησιµοποιούνται. Αντίστροφα ο πλεονασµός εµφανίζει υψηλότερη τιµή και το µήνυµα µπορεί να κωδικοποιηθεί αποδοτικότερα (δηλ. να συµπιεσθεί) όταν η εντροπία είναι χαµηλή, δηλ. υπάρχουν περιορισµοί στον τρόπο που η πηγή εκπέµπει τα σύµβολα.
Παράδειγµα Τίµιο νόµισµα Η = Η max R = 0% Κάλπικο νόµισµα (9 στα 10) Η = 0.47 bits/symbol R = 53% Όταν µια πηγή εκπέµπει µε χαµηλή εντροπία και σηµαντικό πλεονασµό τότε είναι δυνατόν να βρεθεί ένας ικανοποιητικος τρόπος ανακωδικοποίησης των συµβόλων της ώστε το µήνυµα της πηγής να εκπέµπεται µε λιγότερασύµβολα.
Είδος Πηγής Αρχική Εκποµπή Κωδικοποίηση (συµπίεση) Τυχαία εκποµπή Μέγιστη εντροπία Μέγιστη αβεβαιότητα 0100101001110 1001101001011 Η ισοπίθανη εκποµπή δεν επιτρέπει συµπίεση. «Τάξη» κατά την εκποµπή Μείωση εντροπίας Μείωση αβεβαιότητας 01110011100111111 0111001111111110 0100100110101110 Συµπίεση αρχικού µηνύµατος.