Θεωρία Πληροφορίας - Κώδικες Γιαννακόπουλος Θεόδωρος
Μάθημα 3
Σύνοψη: πληροφορία, εντροπία, χωρητικότητα καναλιού πληροφορία συμβόλου ως προς την αντίστοιχη πιθανότητα πληροφορία q ισοπίθανων συμβόλων q ισοπίθανα συμβ. εντροπία πηγής χωρίς μνήμη: μέση πληροφορία ανα σύμβολο (bits/symbol) ρυθμος πηγης bits/sec, rs: ρυθμός πλεονασμός μετάδοσης συμβόλων (symbol/sec) χωρητικότητα ενθόρυβου καναλιού: µέγιστο πληροφορικό περιεχόµενο μέσος ρυθμός εκπομπής (bits/sec) κοινή και υπο συνθήκη εντροπία C: bits/sec, Β:bandwidth, Hz S/N (SNR): ισχύς σήματος (watt) προς ισχύ θορύβου (watt) καθαρός αριθμός χωρητικότητα (C): μέγιστος ρυθμός μετάδοσης (R) πληροφορίας db καθαρός αριθμός
Παράδειγμα 1 Έστω μηνύματα a, b, c, d με πιθανότητες Pa = ⅛, Pb = ¼, Pc = ½. Ποιά η πληροφορία του μηνύματος abcd; Pd = 1 - Pa - Pb - Pc = 1 - ⅛ - ¼ -½ = ⅛ Αν τα σύμβολα είναι μεταξύ τους ανεξάρτητα, τότε η συνολική πληροφορία είναι:
Παράδειγμα 2 Μια διακριτή πηγή εκπέμπει ένα από τα πέντε σύμβολα κάθε 1 msec. Αν οι πιθανότητες είναι 1/2, 1/4, 1/8, 1/16 και 1/16, βρείτε την εντροπία της πηγής και το μέσο ρυθμό πληροφορίας. Η εντροπία της πηγής είναι: Ο ρυθμός μετάδοσης συμβόλων είναι 1/0.001 = 1000 σύμβολα το δευτερόλεπτο. Ο ρυθμός της πηγής είναι:
Παράδειγμα 3 Μία πηγή έχει εκπέμψει 36 εκατομμύρια σύμβολα σε 1 ώρα, με σταθερό ρυθμό. Τα σύμβολα είναι τα a,b,c,d και e με πιθανότητες ½, ⅛, ⅛, ⅛ και ⅛. Ποιος είναι ο ρυθμός της πηγής; Ο ρυθμός μετάδοσης συμβόλων είναι Άρα ο ρυθμός της πηγής υπολογίζεται ως εξής:
Παράδειγμα 4(1) Δίνονται τα στατιστικά πλήθους κατακτήσεων τίτλων από 3 πρωταθλήματα ποδοσφαίρου (Ελληνικό, Αγγλικό και Euro). Να βρεθεί η εντροπία για το κάθε ένα από αυτά και ο αντίστοιχος πλεονασμός. Count p plog(p) Ολυμπιακος 29 0.50 0.50 Παναθηναικος 17 0.29 0.52 ΑΕΚ 9 0.16 0.42 ΠΑΟΚ 2 0.03 0.17 ΑΕΛ 1 0.02 0.10 58 H 1.70 Hmax 2.32 Π 0.27 sum
Παράδειγμα 4(2) Count p plog(p) Γερμανία 3 0.20 0.46 Ισπανία 3 0.20 0.46 Γαλλία 2 0.13 0.39 Σοβ. Ενωση 1 0.07 0.26 Ιταλία 1 0.07 0.26 Τσεχία 1 0.07 0.26 Πορτογαλλία 1 0.07 0.26 Ολλανδία 1 0.07 0.26 Δανία 1 0.07 0.26 Ελλάδα 1 0.07 0.26 15 H 3.14 Hmax 3.17 Π 0.01 Count p plog(p) Μαν. Γιουνάιτεντ 20 0.17 0.44 Λίβερπουλ 18 0.15 0.42 Άρσεναλ 13 0.11 0.35 Έβερτον 9 0.08 0.28 Άστον Βίλλα 7 0.06 0.24 Σαντερλαντ 6 0.05 0.22 Τσελσυ 5 0.04 0.19 Μαν Σιτυ 4 0.03 0.17 Νιουκαστλ 4 0.03 0.17 Σεφιλντ Γουεν. 4 0.03 0.17 Λιντς 3 0.03 0.14 Γουοντερερς 3 0.03 0.14 Χαντερσφιλντ 3 0.03 0.14 Μπλακμπερν 3 0.03 0.14 Πρεστον 2 0.02 0.10 Τοτεναμ 2 0.02 0.10 Ντερμπυ 2 0.02 0.10 Βερνλυ 2 0.02 0.10 Προτσμουθ 2 0.02 0.10 Ιπσουιτς 1 0.01 0.06 Νοτιγχαμ 1 0.01 0.06 Σεφιλτ Γιουν. 1 0.01 0.06 Γουεστ Μπρ. 1 0.01 0.06 Λεστερ 1 0.01 0.06 117 H 3.98 Hmax 4.58 Π 0.13 Count p plog(p) Ολυμπιακος 29 0.50 0.50 Παναθηναικος 17 0.29 0.52 ΑΕΚ 9 0.16 0.42 ΠΑΟΚ 2 0.03 0.17 ΑΕΛ 1 0.02 0.10 58 H 1.70 Hmax 2.32 Π 0.27
Παράδειγμα 5(1) Εντροπία κειμένων α) parsing β) αφαίρεση συχνών λέξεων (stopwords) γ) υπολογισμός counts δ) υπολογισμός συχνοτήτων ε) υπολογισμός εντροπίας Pink Floyd - Time Ticking away the moments that make up a dull day Fritter and waste the hours in an offhand way. Kicking around on a piece of ground in your home town Waiting for someone or something to show you the way. Tired of lying in the sunshine staying home to watch the rain. You are young and life is long and there is time to kill today. And then one day you find ten years have got behind you. No one told you when to run, you missed the starting gun. Lady Gaga - Bad Romance Beatles - Love me do Love, love me do You know I love you I'll always be true So please, love me do Whoa, love me do Love, love me do You know I love you I'll always be true So please, love me do Whoa, love me do... Beatles - Love me do Love, love me do You know I love you I'll always be true So please, love me do Whoa, love me do Love, love me do You know I love you I'll always be true So please, love me do Whoa, love me do... Eminem - Rap God Look, I was gonna go easy on you and not to hurt your feelings But I'm only going to get this one chance Something's wrong, I can feel it (Six minutes, Slim Shady, you're on) Just a feeling I've got, like something's about to happen, but I don't know what If that means, what I think it means, we're in trouble, big trouble, And if he is as bananas as you say, I'm not taking any chances You were just what the doctor ordered I'm beginning to feel like a Rap God, Rap God All my people from the front to the back nod, back nod Now who thinks their arms are long enough to slap box, slap box? They said I rap like a robot, so call me Rapbot... Mos def - Mathematic Ha ha You know the deal It's just me yo Beats by Su-Primo for all of my peoples, Negros and Latinos And even the gringos Yo, check it one for Charlie Hustle, two for Steady Rock Three for the fourth coming live, future shock It's five dimensions, six senses...
Παράδειγμα 5(2) Εντροπία κειμένων α) parsing β) αφαίρεση συχνών λέξεων (stopwords) γ) υπολογισμός counts δ) υπολογισμός συχνοτήτων ε) υπολογισμός εντροπίας Pink Floyd - Time Eminem - Rap God Lady Gaga - Bad Romance Beatles - Love me do Mos def - Mathematic Term # Freq Term # Freq Term # Freq Term # Freq Term # Freq way 4 0.035 rap 14 0.017 oh 82 0.197 love 24 0.471 two 5 0.012 run 3 0.026 looking 11 0.014 want 46 0.110 whoa 5 0.098 mathematics 5 0.012 day 3 0.026 boy 11 0.014 love 36 0.086 TRUE 4 0.078 yo 4 0.010 come 3 0.026 back 11 0.014 bad 30 0.072 please 4 0.078 talking 4 0.010 tired 2 0.018 make 8 0.010 romance 28 0.067 know 4 0.078 rock 4 0.010 sun 2 0.018 know 8 0.010 mah 18 0.043 always 4 0.078 million 4 0.010 something 2 0.018 god 8 0.010 ah 18 0.043 someone 3 0.059 crack 4 0.010 shorter 2 0.018 still 7 0.009 ooh 14 0.034 yeah 1 0.020 check 4 0.010 find 2 0.018 got 7 0.009 ro 12 0.029 somebody 1 0.020 young 3 0.007 behind 2 0.018 say 6 0.007 rah 12 0.029 oh 1 0.020 three 3 0.007 away 2 0.018 off 6 0.007 la 12 0.029 simple 3 0.007 around 2 0.018 nod 6 0.007 caught 9 0.022 science 3 0.007 again 2 0.018 just 6 0.007 walk 8 0.019 revolve 3 0.007 young 1 0.009 fuck 6 0.007 revenge 7 0.017 prison 3 0.007 years 1 0.009 feel 6 0.007 write 6 0.014 numbers 3 0.007 year 1 0.009 while 5 0.006 gaga 6 0.014 niggas 3 0.007 watch 1 0.009 take 5 0.006 could 6 0.014 mos 3 0.007 waste 1 0.009 never 5 0.006 baby 6 0.014 mighty 3 0.007 warm 1 0.009 cause 5 0.006 wanna 5 0.012 life 3 0.007 waiting 1 0.009 way 4 0.005 friends 5 0.012 keep 3 0.007............................................. H 6.48 H 8.74 H 4.43 H 2.57 H 8.15 Hmax 6.58 Hmax 9.08 Hmax 5.7 Hmax 3.32 Hmax 8.32 Π 1.60% Π 3.80% Π 22.20% Π 22.70% Π 2.00%
Παράδειγμα 6 Ένα κανάλι έχει εύρος ζώνης 5 khz. Αν θέλουμε να μεταφέρουμε 20000 δείγματα / sec, α) να βρεθεί ο λόγος SNR σαν καθαρός αριθμός και σε db. β) αν αυξήσουμε το εύρος ζώνης σε 10000, πόσο αλλάζει το απαιτούμενο SNR (για να μεταφέρουμε με τον ίδιο ρυθμό); α) Η χωρητικότητα του καναλιού πρέπει να είναι μεγαλύτερη από τον απαιτούμενο ρυθμό, αρα: β) Για εύρος ζώνης Β=10000 αντί για 5000 έχουμε: (Η αύξηση του εύρους ζώνης οδηγεί σε μείωση του απαιτούμενου ελάχιστου SNR)
Παράδειγμα 7 Web radio μεταδίδει σήμα με συχνότητα δειγματοληψίας 32KHz, stereo και ανάλυση δείγματος 2 byte. Το σήμα συμπιέζεται ως mp3 με λόγο συμπίεσης 11:1. Ποιο είναι το ελάχιστο εύρος ζώνης του καναλιού από το οποίο θα μεταδοθεί το σήμα αν το SNR ειναι 30dB; Το ηχητικό σήμα έχει ρυθμό: 32000 samples/sec * 16 bits / sample * 2 = 1024000 bits/sample και μετά την συμπίεση περίπου: 93000 bits/sample Μετατρέπουμε το SNR σε καθαρό αριθμό: Πρέπει:
Παράδειγμα 8 Δίνεται ο πίνακας κοινών πιθανοτήτων x,y x=a x=b x=c x=d y=a 1/8 1/16 1/16 1/4 y=b 1/16 1/8 1/16 0 y=c 1/32 1/32 1/16 0 y=d 1/32 1/32 1/16 0 α) H(X), H(Y) β) H(X,Υ) γ) Η(Χ Υ) δ) C οι marginal πιθανότητες προκύπτουν ως άθροισμα ανα γραμμή/στήλη στον πίνακα κοινών πιθανοτήτων. Π.χ. P(X) = sum_y(p(x,y) α) P(X) = (1/4,1/4,1/4,1/4) άρα H(X) = 2 bits P(Y) = (1/2,1/4,1/8,1/8) άρα H(Y) = 7/4 bits β) η από κοινού εντροπία είναι H(X,Y) = -sum(p(x,y)log(p(x,y)) = 27/8 bits γ) Η(X Y) = H(Χ,Υ) - Η(Υ) = 27/8-7/4 = 13/8 bits δ) Η χωρητικότητα είναι ίση με την πληροφορία ανάμεσα στην είσοδο επί τον ρυθμό μετάδοσης συμβόλων και την έξοδο δηλαδή: (H(X) - H(X Y))r s = (2-13/8)r s = 3/8 r s