Μέτρηση της πληροφορίας. Ησυνάρτηση«Πληροφορία» Εντροπία Πλεονασµός

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Μέτρηση της πληροφορίας. Ησυνάρτηση«Πληροφορία» Εντροπία Πλεονασµός"

Αίγλη Τομαραίοι
8 χρόνια πριν
Προβολές:

1 Μέτρηση της πληροφορίας Ησυνάρτηση«Πληροφορία» Εντροπία Πλεονασµός

2 Ησυνάρτηση«πληροφορία» Τι ακριβώς όµως είναι «πληροφορία» και πώς µπορούµε να την µετρήσουµε; γιανααποτελείκάτι«πληροφορία» θα πρέπει να µπορεί να το αντιλαµβάνεται ο δέκτης, δηλ. (α) να γίνεται αισθητό από τον αισθητήριο µηχανισµό τουκαι (β) να µπορεί να το αποκωδικοποιεί σωστά και να αντιλαµβάνεται έτσι το νόηµά του.

3 στρίβουµε ένα νόµισµα και θέλουµε να απαντήσουµε στο ερώτηµα: «τι έφερε το νόµισµα, κορώνα ή γράµµατα;». Πότε είναι πιο εύκολη η απάντηση; όταν το νόµισµα είναι γνήσιο και εποµένως τα γεγονότα «κορώνα» και «γράµµατα» είναι ισοπίθανα ;; όταν το νόµισµα είναι επηρεασµένο µε τέτοιο τρόπο ώστε να εµφανίζονται «γράµµατα» µεπιθανότητα0.9 και «κορώνα» µεπιθανότητα0.1 ;; Στην πρώτη περίπτωση περιµένει κανείς να βρίσκει τη σωστή απάντηση στις µισές από τις δοκιµές που κάνει ενώ στη δεύτερη µπορεί να απαντά σωστά 9 στις 10 φορές.

όταν το νόµισµα είναι επηρεασµένο µε τέτοιο τρόπο ώστε να εµφανίζονται «γράµµατα» µεπιθανότητα0.9 και «κορώνα» µεπιθανότητα0.

4 Η αξία της πληροφορίας η «αξία» µιας πληροφορίας είναι ευθέως ανάλογη µε την αβεβαιότητας που αίρει

5 µαθηµατική έκφραση για τον υπολογισµό της πληροφορίας. Αν Ε είναι ένα γεγονός που εµφανίζεται µε πιθανότητα Ρ(Ε) η ποσότητα που µετρά την πληροφορία θα πρέπει να είναι αντίστροφα ανάλογη µε την πιθανότητα να συµβείαυτότογεγονός. Ορίζουµε ως πληροφορία που παίρνουµε, όταν συµβαίνει αυτό το γεγονός, την ποσότητα: I(E) = log 1 P(E)

πληροφορία θα πρέπει να είναι αντίστροφα ανάλογη µε την πιθανότητα να

6 Ιδιότητες της συνάρτησης Ι Η συνάρτηση Ι ορίζεται µε τέτοιο τρόπο ώστε να αυξάνει όταν η πιθανότητα εµφάνισης του γεγονότος µειώνεται. Ακόµη γίνεται χρήση της λογαριθµικής συνάρτησης ώστε η συνάρτηση Ι να εµφανίζει την προσθετική ιδιότητα I(AB) = log = log = log(( ).( )) = log( ) + log( ) = I(A) + I(B) P(AB) P(A).P(B) P(A) P(B) P(A) P(B)

Ακόµη γίνεται χρήση της λογαριθµικής συνάρτησης ώστε η συνάρτηση Ι να εµφανίζει την

7 Εντροπία (1/2) Θα υπολογίσουµε την πληροφορία µιας πηγής όταν αυτή εκπέµπει κάποιο σύµβολο. Πηγή & «αλφάβητο» της πηγής. Ν={a 1, a 2, a 3,, a i,, a N } Όταν εκπέµπεται ένα σύµβολο a Ι( a ι ) = log 1 Ρ( ai )

8 Εντροπία (2/2) Πολλαπλασιάζοντας την πιθανότητα P(a i ) να εµφανιστεί κάποιο σύµβολο α i επί την πληροφορία που µεταφέρει και αθροίζοντας για όλα τα σύµβολα που µπορεί να εκπέµψει η πηγή, παίρνουµε την ποσότητα Η 0 Ν Η0 = i= 1 1 Ρ( αi).log Ρ( αi) που παριστάνει την µέση τιµή εκπεµπόµενης πληροφορίας ανά σύµβολο της πηγής. Η ποσότητα αυτή ονοµάζεται «εντροπία» (entropy) της πηγής µηδενικής µνήµης και µετριέται σε bits/σύµβολο.

Ν Η0 = i= 1 1 Ρ( αi).log Ρ( αi) που παριστάνει την µέση τιµή εκπεµπόµενης πληροφορίας ανά σύµβολο της πηγής.

9 Παράδειγµα: Εντροπία κατά τη ρίψη ενός νοµίσµατος Αλφάβητο Πηγής: {Κ, Γ} Πχ. µήνυµα: { ΚΚΓΚΓΓΓΚΚΓΚΚΓΓΚΚΓΚΚΓΓΓΚΓΚΚΓΚΓΚΚ } Πληροφορία του κάθε γεγονότος Ι( Κ) 1 = log Ρ( Κ) Ι( Γ) 1 = log Ρ( Γ) Στην περίπτωση του γνήσιου νοµίσµατος είναι P(K)=P(Γ)=0.5 οπότε H 0 = 1 bit/σύµβολο Ενώ αν το νόµισµα είναι κάλπικο και Ρ(Κ)=0.9, Ρ(Γ)=0.1 τότε η (1.4) δίνει H 0 = 0.47 bit/σύµβολο

Κ) Ι( Γ) 1 = log Ρ( Γ) Στην περίπτωση του γνήσιου νοµίσµατος είναι P(K)=P(Γ)=0.

10 Πλεονασµός (Redundacy) Αν Η η εντροπία της πηγής και H max η µέγιστη τιµή της τότε ορίζουµε ως«πλεονασµό» της πηγής την ποσότητα: R = Η Η max Η max.100% οπλεονασµός εκφράζει ποσοστιαία την απόκλιση της πηγής από την κατάσταση µέγιστης εντροπίας. Όσο µικρότερη η εντροπία της πηγής από τη µέγιστη τιµή H max τόσο µεγαλύτερος ο πλεονασµός.

100% οπλεονασµός εκφράζει ποσοστιαία την απόκλιση της πηγής από την κατάσταση

11 Η πρακτική σηµασία της εντροπίας και του πλεονασµού Η εντροπία της πληροφορίας εκφράζει το βαθµό αβεβαιότητας που χαρακτηρίζει την εκποµπή των συµβόλων µιας πηγής πληροφορίας και εποµένως το πόσο οργανωµένο (ή ανοργάνωτο) εµφανίζεται το µήνυµα στον δέκτη. Υψηλή εντροπία σηµαίνει µεγάλη αβεβαιότητα για το ποιο σύµβολο θα ακολουθήσει (πχ. σύµβολα ισοπίθανα) Χαµηλή εντροπία σηµαίνει πως η πηγή δεν έχει απόλυτη ελευθερία στην εκποµπή των συµβόλων και υπάρχουν κάποιοι κανόνες που καθορίζουν τον τρόπο µε τον οποίο ακολουθούν τα σύµβολα το ένα το άλλο.

Υψηλή εντροπία σηµαίνει µεγάλη αβεβαιότητα για το ποιο σύµβολο θα ακολουθήσει (πχ.

12 Ο πλεονασµός αντίστοιχα είναι ένας καθαρός αριθµός (ένα ποσοστό) που αποτελεί µέτρο των δεσµών (των κανόνων) που υφίστανται ανάµεσα στα σύµβολα. Όταν η εντροπία είναι µεγάλη ο πλεονασµός είναι χαµηλός, κάτι που δείχνει πως δεν υπάρχει κάποιος καλύτερος τρόπος κωδικοποίησης για το µήνυµα: χρειαζόµαστε όλα τα σύµβολα που χρησιµοποιούνται. Αντίστροφα ο πλεονασµός εµφανίζει υψηλότερη τιµή και το µήνυµα µπορεί να κωδικοποιηθεί αποδοτικότερα (δηλ. να συµπιεσθεί) όταν η εντροπία είναι χαµηλή, δηλ. υπάρχουν περιορισµοί στον τρόπο που η πηγή εκπέµπει τα σύµβολα.

Όταν η εντροπία είναι µεγάλη ο πλεονασµός είναι χαµηλός, κάτι που δείχνει πως δεν υπάρχει κάποιος καλύτερος τρόπος κωδικοποίησης για το

13 Παράδειγµα Τίµιο νόµισµα Η = Η max R = 0% Κάλπικο νόµισµα (9 στα 10) Η = 0.47 bits/symbol R = 53% Όταν µια πηγή εκπέµπει µε χαµηλή εντροπία και σηµαντικό πλεονασµό τότε είναι δυνατόν να βρεθεί ένας ικανοποιητικος τρόπος ανακωδικοποίησης των συµβόλων της ώστε το µήνυµα της πηγής να εκπέµπεται µε λιγότερασύµβολα.

σηµαντικό πλεονασµό τότε είναι δυνατόν να βρεθεί ένας ικανοποιητικος τρόπος

14 Είδος Πηγής Αρχική Εκποµπή Κωδικοποίηση (συµπίεση) Τυχαία εκποµπή Μέγιστη εντροπία Μέγιστη αβεβαιότητα Η ισοπίθανη εκποµπή δεν επιτρέπει συµπίεση. «Τάξη» κατά την εκποµπή Μείωση εντροπίας Μείωση αβεβαιότητας Συµπίεση αρχικού µηνύµατος.

Σχετικά έγγραφα

I.Επί της Αρχής του σχεδίου Νόµου: ΙΙ. Επί των άρθρων του σχεδίου Νόµου: ΕΙΣΗΓΗΤΙΚΗ ΕΚΘΕΣΗ

ΕΙΣΗΓΗΤΙΚΗ ΕΚΘΕΣΗ στο σχέδιο νόµου «Πρωτοβάθµιο Εθνικό Δίκτυο Υγείας (Π.Ε.Δ.Υ.), αλλαγή σκοπού Ε.Ο.Π.Υ.Υ. και λοιπές διατάξεις» Προς τη Βουλή των Ελλήνων I.Επί της Αρχής του σχεδίου Νόµου: Με τις διατάξεις