Θεωρία Πληροφορίας - Κώδικες. Γιαννακόπουλος Θεόδωρος

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Θεωρία Πληροφορίας - Κώδικες. Γιαννακόπουλος Θεόδωρος"

Σουσάννα Γιαννόπουλος
7 χρόνια πριν
Προβολές:

1 Θεωρία Πληροφορίας - Κώδικες Γιαννακόπουλος Θεόδωρος 1

2 Θεωρία Πληροφορίας - Κώδικες Εργαστήριο 4 Παραδείγματα Python για Θεωρία Πληροφορίας (3 και 4) 2

3 Εντροπία - Μέγιστη Εν. - Οριακές πιθανότητες (1) ITlib.py (part) import numpy eps = Υπολογισμός εντροπίας από array πιθανοτήτων συμβόλων def computeentropy(probs): if numpy.abs(probs.sum()-1.0)<eps: # if sum of probabilities is almost equal to 1 ProbsNonZero = Probs[Probs>eps] # remove zero probabilities return -numpy.sum(probsnonzero * numpy.log2(probsnonzero)) # compute entropy else: raise ValueError("Probabilities must sum to unity!") # raise an error if probabilities do not sum to 1 def computemaxentropy(n): return numpy.math.log(n, 2) Υπολογισμός μέγιστης εντροπίας def computepriorsfromjointp(jointp): if numpy.abs(jointp.sum()-1.0) < eps: Υπολογισμός marginal Px = jointp.sum(axis = 1) πιθανοτήτων P(x), P(y) από τις Py = jointp.sum(axis = 0) από κοινού πιθανότητες P(x,y) return Px, Py else: raise ValueError("Probabilities must sum to unity!") # raise an error if probabilities do not sum to 1 3

4 example3.py: προσομοίωση πηγής - πηγή εκπέμπει σύμβολα a, b και c με πιθανότητες 0.1, 0.2 και θεωρούμε ότι οι πιθανότητες είναι άγνωστες - άρα πρέπει να τις εκτιμήσουμε από τις τιμές των συμβόλων - δηλαδή προσομοιώνουμε μία εκπομπή για την οποία δεν γνωρίζουμε από πριν τις πιθανότητες των συμβόλων - για διαφορετικά πλήθη συμβόλων - να γίνει προσομοίωση της εκπομπής συμβόλων με την συγκεκριμένη κατανομή - να εκτιμηθούν οι πιθανότητες των συμβόλων - να βρεθεί η αντίστοιχη εντροπία - Παράδειγμα random generator accccbccc P(a) = 1/9 P(b) = 1/9 P(c) = 7/9 H =

5 example3.py import ITlib, numpy, os import matplotlib.pyplot as plt def generatesymbols(nsymbols): return [numpy.random.choice(["a","b","c"], p=[0.1,0.2,0.7]) for i in range(nsymbols)] Γεννήτρια τυχαίων μηνυμάτων μήκους nsymbols που ακολουθούν την κατανομή P(a) = 0.1, P(b) = 0.2, P(c) = 0.7 def computeprobsfromsymbols(symbols): Pa = float(symbols.count("a")) / len(symbols) Pb = float(symbols.count("b")) / len(symbols) Pc = float(symbols.count("c")) / len(symbols) return (Pa, Pb, Pc) Εκτίμηση των πιθανοτήτων μέσω counts Πιθανές τιμές του πλήθους δειγμάτων nsymbols = range(10,20,2)+range(25,105,5)+range(200,2000,100)+range(5000,100000,5000) Hs = [] realentropy = ITlib.computeEntropy(numpy.array([0.1,0.2,0.7])) for ns in nsymbols: print "Estimating entropy for %d symbols per message " % ns, symbols = generatesymbols(ns) (Pa, Pb, Pc) = computeprobsfromsymbols(symbols) Hs.append(ITlib.computeEntropy(numpy.array([Pa, Pb, Pc]))) print "P(a)=%.3f P(b)=%.3f P(c)=%.3f --> H=%.3f" % (Pa, Pb, Pc, Hs[-1]) Υπολογισμός συνολικής εντροπίας plt.plot(numpy.log10(nsymbols), Hs); plt.plot(numpy.log10(numpy.array([nsymbols[0],nsymbols[-1]])), [realentropy, realentropy],"--") plt.xlabel("log(nsymbols)"); plt.ylabel("entropy"); plt.show() Για κάθε πλήθος δειγμάτων ns: α) παράγουμε ns δείγματα με την (β) εκτιμούμε τις πιθανότητες (γ) υπολογίζουμε την εντροπία 5

6 example3.py Estimating entropy for 10 symbols per message P(a)=0.300 P(b)=0.100 P(c)= > H=1.295 Estimating entropy for 12 symbols per message P(a)=0.083 P(b)=0.000 P(c)= > H=0.414 Estimating entropy for 14 symbols per message P(a)=0.000 P(b)=0.214 P(c)= > H=0.750 Estimating entropy for 16 symbols per message P(a)=0.125 P(b)=0.312 P(c)= > H=1.366 Estimating entropy for 18 symbols per message P(a)=0.111 P(b)=0.056 P(c)= > H= Estimating entropy for 85 symbols per message P(a)=0.106 P(b)=0.176 P(c)= > H=1.128 Estimating entropy for 90 symbols per message P(a)=0.067 P(b)=0.200 P(c)= > H=1.053 Estimating entropy for 95 symbols per message P(a)=0.116 P(b)=0.179 P(c)= > H=1.160 Estimating entropy for 100 symbols per message P(a)=0.090 P(b)=0.180 P(c)= > H=1.089 Estimating entropy for 200 symbols per message P(a)=0.130 P(b)=0.210 P(c)= > H= Estimating entropy for 900 symbols per message P(a)=0.100 P(b)=0.211 P(c)= > H=1.176 Estimating entropy for 1000 symbols per message P(a)=0.093 P(b)=0.199 P(c)= > H=1.135 Estimating entropy for 1100 symbols per message P(a)=0.104 P(b)=0.227 P(c)= > H=1.213 Estimating entropy for 1200 symbols per message P(a)=0.098 P(b)=0.197 P(c)= > H=1.144 Estimating entropy for 1300 symbols per message P(a)=0.107 P(b)=0.195 P(c)= > H= Estimating entropy for 1900 symbols per message P(a)=0.092 P(b)=0.198 P(c)= > H=1.131 Estimating entropy for 5000 symbols per message P(a)=0.105 P(b)=0.195 P(c)= > H=1.160 Estimating entropy for symbols per message P(a)=0.103 P(b)=0.199 P(c)= > H=1.163 Estimating entropy for symbols per message P(a)=0.101 P(b)=0.200 P(c)= > H=1.159 Estimating entropy for symbols per message P(a)=0.102 P(b)=0.201 P(c)= > H=1.164 Estimating entropy for symbols per message P(a)=0.099 P(b)=0.200 P(c)= > H= Estimating entropy for symbols per message P(a)=0.100 P(b)=0.200 P(c)= > H=1.158 Estimating entropy for symbols per message P(a)=0.100 P(b)=0.199 P(c)= > H=1.156 Estimating entropy for symbols per message P(a)=0.100 P(b)=0.198 P(c)= > H=1.154 Estimating entropy for symbols per message P(a)=0.099 P(b)=0.198 P(c)= > H=1.152 Estimating entropy for symbols per message P(a)=0.102 P(b)=0.200 P(c)= > H=

7 example4.py: εντροπία εικόνας - εντροπία εικόνας = ένδειξη ποικιλομορφίας - grayscale εικόνα: - 1 byte ανά pixel - πιθανές τιμές: κάθε πιθανή τιμή ενός pixel θεωρείται ένα διαφορετικό σύμβολο - πρέπει να εκτιμήσουμε τις πιθανότητες P(pixel=0), P(pixel=1),, P(pixel=255) 7

8 example4.py: εντροπία εικόνας Entropy = bits/pixel 8

9 example4.py import ITlib, numpy, os, cv2 import matplotlib.pyplot as plt def computeimageentropy(path): RGB = cv2.imread(path, cv2.cv_load_image_color) # read an image from a jpg file Grayscale = cv2.cvtcolor(rgb, cv2.cv.cv_rgb2gray) # convert to grayscale (2D) countvalues = numpy.zeros((256,)) # inialize histogram (counter for each pixel value) for i in range(grayscale.shape[0]): # for each row i for j in range(grayscale.shape[1]): # for each collumn j countvalues[grayscale[i,j]] += 1 # increase the respective grayscale value countvalues /= countvalues.sum() # normalize by sum() H = ITlib.computeEntropy(countValues) # compute entropy return H, Grayscale # return entropy and grayscale H1, I1 = computeimageentropy("data" + os.sep + "dot.jpg") H2, I2 = computeimageentropy("data" + os.sep + "seagray.jpg") H3, I3 = computeimageentropy("data" + os.sep + "citygray.jpg") H4, I4 = computeimageentropy("data" + os.sep + "noisegray.jpg") Hmax = ITlib.computeMaxEntropy(256) plt.subplot(2,2,1); plt.imshow(i1, cmap='greys_r'); plt.title('h = %.2f, P = %.1f%%' % (H1, 100*(1.0-H1/Hmax))) plt.subplot(2,2,2); plt.imshow(i2, cmap='greys_r'); plt.title('h = %.2f, P = %.1f%%' % (H2, 100*(1.0-H2/Hmax))) plt.subplot(2,2,3); plt.imshow(i3, cmap='greys_r'); plt.title('h = %.2f, P = %.1f%%' % (H3, 100*(1.0-H3/Hmax))) plt.subplot(2,2,4); plt.imshow(i4, cmap='greys_r'); plt.title('h = %.2f, P = %.1f%%' % (H4, 100*(1.0-H4/Hmax))) plt.show() 9

10 example4.py 10

Σχετικά έγγραφα

Θεωρία Πληροφορίας - Κώδικες. Γιαννακόπουλος Θεόδωρος

Θεωρία Πληροφορίας - Κώδικες. Γιαννακόπουλος Θεόδωρος Θεωρία Πληροφορίας - Κώδικες Γιαννακόπουλος Θεόδωρος 1 Θεωρία Πληροφορίας - Κώδικες Εργαστήριο 3 Παραδείγματα Python για Θεωρία Πληροφορίας (1, 2 και 5) 2 inf_teiste_info_theory_lab - διαθέσιμο στο github