ΝΤUA. Τεχνολογία Πολυμέσων

Transcript

1 ΝΤUA Τεχνολογία Πολυμέσων

2 Contents 2. Lesson 2: Compression

3 Wh Compress? To reduce the volume of data to be transmitted tet, fa, images) To reduce the bandwidth required for transmission and to reduce storage requirements speech, audio, video)

4 A simple eample Suppose we have a message consisting of 5 smbols, e.g. [ ] How can we code this message using / so the coded message will have minimum length for transmission or saving!) 5 smbols at least 3 bits For a simple encoding, length of code is *3=3 bits

5 A simple eample cont. Intuition: Those smbols that are more frequent should have smaller codes, et since their length is not the same, there must be a wa of distinguishing each code For Huffman code, length of encoded message will be =3*2 +3*2+2*2+3+3=24bits

6 An encoded string must have a unique decoding A code CX) is uniquel decodable if, under the etended code C +, no two distinct strings have the same encoding, i.e. ) ),, c c A X

7 Κατηγορίες Συμπίεσης Συμπίεση χωρίς Απώλειες Μεθόδους χωρίς απώλεια πληροφορίας που χρησιμοποιούν μη απωλεστικούς lossless) αλγορίθμους. Οι συγκεκριμένες μέθοδοι συμπιέζουν τα δεδομένα με τέτοιοι τρόπο, ώστε να μην υπάρχει απώλεια πληροφορίας, ενώ επιτυγχάνουν μέτριο λόγο συμπίεσης. Έτσι μία εικόνα που συμπιέστηκε με μια τέτοια μέθοδο είναι ίδια με την αρχική, όταν αποσυμπιεστεί. Συμπίεση με Απώλειες Μεθόδους με απώλεια πληροφορίας που συμπιέζουν τα δεδομένα απορρίπτοντας μη ουσιώδη πληροφορία. Οι συγκεκριμένες μέθοδοι χρησιμοποιούν απωλεστικούς loss) αλγορίθμους και επιτυγχάνουν υψηλό λόγο συμπίεσης.

8 Lossless Compression Run Length Encoding RLE): aaaaaaabbbb 7a4b abababababa abababababa Lossless compression relies on input being nonrandom to achieve compression.

9 Το μοντέλο του Επικοινωνιακού Συστήματος Πηγή s Η Θεωρία Πληροφορίας μελετά τα θεωρητικά όρια και τις δυνατότητες τέτοιων συστημάτων. Θεωρία Κωδικοποίησης ασχολείται με τη δημιουργία πρακτικών συστημάτων κωδικοποίησης/αποκωδικοποίησης. Δέκτης ŝ Κωδικοποίηση & Συμπίεση Πηγής Αποκωδικοποίηση & Αποσυμπίεση Πηγής q Κωδικοποιητής t Κανάλι με Θόρυβο r qˆ Αποκωδικοποιητής

10 Θεωρία Πληροφορίας Ιδρυτής της θεωρείται ο Claude E. Shannon 96-2) The Mathematical Theor of Communication, Bell Labs, 948 Δύο θεμελιώδη Θεωρήματα Θεμελιώδες Θεώρημα Κωδικοποίησης Πηγής Source Coding Theorem) Θεμελιώδες Θεώρημα Κωδικοποίησης Καναλιού Channel Coding Theorem)

11 Definitions An ensemble X is a triple, A, P ) : value of a random variable A : set of possible values for, A ={a, a 2,, a I } P : probabilit for each value, P ={p, p 2,, p I } pi where P)=P=a i )=p i, p i >, Shannon information content of h) = log 2 /P)) Entrop of H ) A P ).log P ) i a i p i hp i ) a b c z.7.4

12 Entrop Smbols that occur rarel conve a large amount of information h log p ) i Average information per smbol is called entrop H H = Σ p i log 2 /p i ) bits per codeword Η εντροπία δεν εξαρτάται από τις τιμές της τ.μ Χ αλλά από την κατανομή της, και μετριέται σε bits. Average number of bits per codeword = Σ L i p i where L i is the number of bits for the smbol generated b the encoding algorithm i

13 Εντροπία 2) Παράδειγμα Έστω Χ μία τυχαία μεταβλητή με δύο ενδεχόμενα p και -p). Hp)=-p*logp)--p)*log-p) Η μέγιστη τιμή της εντροπίας είναι όταν τα δύο ενδεχόμενα είναι ισοπίθανα X Παράδειγμα 2 a b c d με πιθανότητα / 2 με πιθανότητα / 4 με πιθανότητα / 8 με πιθανότητα / 8 ) log log log log bits

14 Εντροπία 3) Συνδυασμένη ή από κοινού εντροπία Η Συνδυασμένη ή από κοινού εντροπία ΗΧ,Υ) ενός ζεύγους δύο διακριτών τυχαίων μεταβλητών με πιθανότητα μάζας p,) ορίζεται ως, ) p, )log p, )

15 Εντροπία 4) Δεσμευμένη ή υπό συνθήκη εντροπία h i / j )=-log p i / j ) p p Y ) / )log / ) / p p Y X H p p p p ) / )log, / ) ) / )log / ) ) / p p ) / )log, ) / p p X Y ) / )log, ) /

16 Εντροπία 5) Θεώρημα : Αθροιστικός Κανόνας ΗΧ,Υ)=ΗΧ)+ΗΥ/Χ) Το θεώρημα αυτό μας λέει ότι η εντροπία της συνδυασμένης τυχαίας μεταβλητής Χ,Υ) ισούται με την εντροπία της μίας από αυτές, Χ, συν την εξαρτημένη εντροπία της άλλης τ.μ., Υ, όταν έχει συμβεί η Χ. Ισχύει επίσης, ΗΧ,Υ)=ΗΥ)+ΗΧ/Υ) ΗΧ)-ΗΧ/Υ)=ΗΥ)-ΗΥ/Χ) Προσοχή! ΗΧ/Υ) ΗΥ/Χ) Εάν Χ,Υ είναι ανεξάρτητες τ.μ τότε ΗΧ,Υ)=ΗΧ)+ΗΥ) Πρόταση: ΗΧ,Υ/Ζ)=ΗΧ/Ζ)+ΗΥ/Χ,Ζ)

17 Εντροπία 6) Αθροιστική Ιδιότητα Εντροπίας... Παράδειγμα 2: Ας υποθέσουμε ότι η τ.μ Z = {,,2} ως εξής Τότε p)=/2, p)=/4, p2)=/4 /2 Ποια είναι η εντροπία της Χ; ΗZ)=- [p)log p)+ p)log p)+ p2)log p2)] = /2*log2+ /4*log4+ /4*log4 =3/2 bits /2 Υπάρχει και 2 ος τρόπος υπολογισμού της πληροφορίας ιδιαίτερα όταν αυτή μας αποκαλύπτεται σταδιακά; Στο παράδειγμά μας μαθαίνουμε πρώτα εάν Ζ=. Εάν όχι τότε μαθαίνουμε ποια από τις δύο τιμές λαμβάνουμε. Η Πληροφορία ότι {Ζ= ή όχι } ισοδυναμεί με bit αφού Η/2,/2) Εάν η Ζ δεν είναι μηδέν στο πρώτο βήμα τότε λαμβάνουμε νέα πληροφορία στο δεύτερο βήμα μας η οποία και αυτή είναι bit. Η μόνη διαφορά τώρα είναι ότι η πληροφορία αυτή λαμβάνεται μόνο κατά το ήμισυ των προσπαθειών, δηλ. με πιθανότητα ½. ΗΖ)=Η/2,/2)+/2*Η/2,/2)=+/2=3/2 bits Μια άλλη εξήγηση του 2 ου τρόπου. Εάν θεωρήσουμε το αποτέλεσμα του ου βήματος ως μία μεταβλητή Χ={,} και το αποτέλεσμα του 2 ου βήματος ως μια άλλη μεταβλητή Υ ={,} τότε, ΗΖ)=ΗΧ,Υ)=ΗΧ) + ΗΥ/Χ) =+/2*ΗΥ/Χ=)+/2*ΗΥ Χ=)=++/2*Η/2,/2) /2 /2 2 2 X Y

18 Άσκηση Εντροπία 7) Έστω δύο δοχεία Α, Β. Το Α περιέχει 6 κόκκινες αριθμημένες μπάλες από το -6 και το Β περιέχει 8 μπλε αριθμημένες μπάλες από το -8. Έστω Χ η τυχαία μεταβλητή η οποία συμβολίζει το χρώμα και τον αριθμό της μπάλας που επιλέγεται αφού προηγηθεί η επιλογή κάποιου εκ των δύο δοχείων. Η επιλογή των δοχείων Α, Β γίνεται με την ίδια πιθανότητα. Η δε πιθανότητα επιλογής μιας αριθμημένης μπάλας από το επιλεγμένο δοχείο είναι ίδια. Να βρεθεί η εντροπία της Χ. Χ={Κ,...,Κ6,Μ,...,Μ8}, Δ={Κ, Μ} ΗΧ)=ΗΔ)+/2*ΗΚ,...,Κ6)+/2*ΗΜ,...,Μ8) ΗΧ)=log 2 2+/2*{log 2 6+log 2 8}=+7/2=4.5 bits /2 /2 /6 Α Β /8 8

19 Αθροιστική Ιδιότητα Εντροπίας... Παράδειγμα 4 Μία τράπουλα έχει 52 χαρτιά. Αυτά χωρίζονται σε 4 κατηγορίες, σπαθιά, μπαστούνια, καρό και κούπες. Κάθε κατηγορία έχει 3 χαρτιά η κάθε μία ενώ τα σπαθιά και τα μπαστούνια είναι μαύρου χρώματος και τα καρό και οι κούπες κόκκινου χρώματος. Το τυχαίο πείραμα συνιστάται στο τράβηγμα ενός χαρτιού από την τράπουλα. Θεωρούμε ότι η πιθανότητα να τραβήξουμε το κάθε χαρτί είναι η ίδια. Ποια ποσότητα πληροφορίας λαμβάνουμε όταν μας γνωστοποιείται το χαρτί που τραβήξαμε; Αν μας γνωστοποιηθούν διαδοχικά το χρώμα, μετά η κατηγορία και μετά ο αριθμός ποια είναι η ποσότητα της πληροφορίας που θα έχουμε λάβει; Ποια είναι η ποσότητα της πληροφορίας σε κάθε ένα από τα στάδια; Δοθέντος ότι γνωρίζουμε το χρώμα, ποια είναι η ποσότητα της πληροφορίας που λαμβάνουμε όταν μας γνωστοποιείται ο αριθμός; Δοθέντος ότι γνωρίζουμε το χρώμα, ποια είναι η ποσότητα της πληροφορίας που λαμβάνουμε όταν μας γνωστοποιείται η κατηγορία;

20 Αθροιστική Ιδιότητα Εντροπίας... Απάντηση Έστω Χ,Υ,Ζ οι τ.μ που συμβολίζουν χρώμα, κατηγορία, αριθμό. Ποια ποσότητα πληροφορίας λαμβάνουμε όταν μας γνωστοποιείται το χαρτί που τραβήξαμε; ΗΖ)=-log/52)=5.7 bits Αν μας γνωστοποιηθούν διαδοχικά το χρώμα, μετά η κατηγορία και μετά ο αριθμός ποια είναι η ποσότητα της πληροφορίας που θα έχουμε λάβει; Ποια είναι η ποσότητα της πληροφορίας σε κάθε ένα από τα στάδια; ο Στάδιο: Χρώμα Η/2,/2)=-log/2)= bits 2 ο Στάδιο: Κατηγορία HΥ/Χ)=/2*ΗΥ/Χ=μαύρο)+/2*ΗΥ/Χ=κόκκινο)=/2*Η/2,/2)+/2*Η/2,/2)=Η /2,/2)=-log/2)= bits 3 ο Στάδιο: Αριθμός ΗΖ/Χ,Υ)=/4*Η/3,/3,,/3)+...+ /4*Η/3,/3,,/3)=Η/3,/3,,/3)=-log/3)=3.7 bits Δηλαδή αποτελεί γενίκευση του παρακάτω τύπου ΗΧ,Υ,Ζ)=ΗΧ)+ΗΥ,Ζ/Χ)=ΗΧ)+ΗΥ/Χ)+ΗΖ/Χ,Υ)=Η/2,/2)+Η/2,/2)+Η/3,/ 3,...,/3)=++3.7 bits ΠΡΟΣΟΧΗ: Η πληροφορία του συνδυασμένου γεγονότος χρώμα, κατηγορία), ΗΧ,Υ)=Η/4,/4,/4,/4)= 2 bits, ΔΕΝ ΕΙΝΑΙ ΙΣΗ με ΗΥ/Χ)=Η/2,/2)= bits

21 Αμοιβαία Πληροφορία ) Έστω δύο τ.μ. Χ, Υ με συνδυασμένη πιθανότητα μάζας p,) και περιθωριακές πιθανότητες μάζας, p) και p), αντίστοιχα. Τότε η αμοιβαία πληροφορία IX;Y) ορίζεται ως p, ) I X ; Y ) p, )log p ) p ) Συμβολίζει την ποσότητα πληροφορίας που περιέχει μια τμ Χ για μια άλλη τμ Υ.

22 Αμοιβαία Πληροφορία 2) ) / ) ) / )log, ) )log ) / )log, ) )log, ) ) ) ) / )log, ) ) ), )log, ) ; Y X H X H p p p p p p p p p p p p p p p p p Y X I ) log ) / log ) ) / log p p p p

23 Αμοιβαία Πληροφορία 3) Συμπεραίνουμε ότι η αμοιβαία πληροφορία ΙΧ;Υ) είναι η μείωση της αβεβαιότητας της Χ εξαιτίας του γεγονότος ότι γνωρίζουμε την Υ!! Θεώρημα 4: Ισχύουν ΙΧ;Υ)= ΗΧ)-ΗΧ/Υ) ΙΧ;Υ)=ΗΥ)-ΗΥ/Χ) ΙΧ;Υ)=ΗΧ)+ΗΥ)-ΗΧ,Υ) ΙΧ;Υ)=ΙΥ;Χ) ΙΧ;Χ)=ΗΧ) HΧ) HΧ,Υ) HX/Y) ΙX;Υ) ΗΥ/Χ) HY)

24 Αμοιβαία Πληροφορία 4) Παράδειγμα 6: Έστω Χ,Υ) έχουν την παρακάτω πιθανότητα μάζας HX)=7/4 bits και ΗΥ)=2 bits HX/Y)=/8 bits και HY/X)=3/8 bits ΗΧ,Υ)=27/8 bits Χ Υ P) 6 ΙΧ;Υ)=ΗΧ)-ΗΧ/Υ)=ΗΥ)-ΗΥ/Χ)=3/8 bits /2 /4 /8 /8 P) /4 /4 /4 /4

25 Θεώρημα 9: Ανισότητες Εντροπίας ) Έστω Χ μία τ.μ. με πλήθος στοιχείων n. Τότε ισχύει ΗΧ) logn Η ισότητα ισχύει εάν η κατανομή της Χ είναι ομοιόμορφη, δηλ. p)=/n, Χ Θεώρημα : Η εξάρτηση μειώνει την εντροπία) ΗΧ/Υ) ΗΧ) Η ισότητα ισχύει εάν Χ,Υ είναι ανεξάρτητες μεταβλητές Θεώρημα : Ανώτατο Όριο εντροπίας πολυδιάστατης τ.μ) Έστω Χ,Χ 2,...,Χ n τ.μ με συνδυασμένη πιθανότητα μάζας p, 2,, n ). Τότε ισχύει n H X, X, X H 2, n X i i Με την ισότητα να ισχύει στην περίπτωση που οι τ.μ. είναι ανεξάρτητες.

26 Εντροπία Πηγής ) Διακριτή Πηγή Πληροφορίας Παράγει ακολουθίες συμβόλων ή γραμμάτων), s i Αλφάβητο πηγής είναι το σύνολο των συμβόλων S=s,s 2,,s n ), όπου n είναι το πλήθος των συμβόλων Παράγει διαδοχικές ακολουθίες συμβόλων που ονομάζονται μηνύματα Το πλήθος των δυνατών μηνυμάτων μήκους l είναι n l Η Παραγωγή των συμβόλων λαμβάνει χώρα με κάποια πιθανότητα, p i Η παραγωγή κάθε συμβόλου γίνεται Είτε ανεξάρτητα αυτών που έχουν προηγηθεί οπότε αναφερόμαστε σε διακριτή πηγή χωρίς μνήμη Είτε εξαρτάται στατιστικά αυτών που έχουν προηγηθεί οπότε αναφερόμαστε σε διακριτή πηγή με μνήμη

27 Εντροπία Πηγής 2) Ποσότητα πληροφορίας της πηγής χωρίς μνήμη Μέση ποσότητα πληροφορίας ή εντροπία των συμβόλων n bits/smbol) H S p i log p i i Μέγιστη μέση ποσότητα πληροφορίας bits/smbol) n ma H S log logn Πλεονασμός διακριτής πηγής, [,] Μέσος Ρυθμός Πληροφορίας της πηγής σύμβολα/sec) i n n S H S H red ma R r S H S S H logn

28 Εντροπία Πηγής 3) Παράδειγμα: S={,} με p)=3/4 και p)=/4 HS)=.85 bits/smbol mahs)=log2= bit/smbol red=-.85/=.85

29 Εντροπία Πηγής 4) Μέσο πληροφοριακό περιεχόμενο μηνυμάτων της πηγής Εάν γνωρίζουμε ότι η πηγή παράγει μηνύματα μήκους l, με δεδομένο ότι το πλήθος του συνόλου Μ=m,m 2,,m q ), των μηνυμάτων είναι q=n l, και η πιθανότητα εμφάνισης ενός μηνύματος m i είναι pm i ), τότε το μέσο πληροφοριακό περιεχόμενο των μηνυμάτων είναι H l n M i p m )log p i m i Αποδεικνύεται ότι για μια πηγη χωρις μνήμη, ΗΜ)= l*hs), δηλαδή το μέσο πληροφοριακό περιεχόμενο ενός μηνύματος είναι ίσο με το άθροισμα της πληροφορίας που μεταφέρουν τα σύμβολα που το αποτελούν. Παράδειγμα: Τα μηνύματα μήκους 2 που δημιουργούνται από την πηγή των συμβόλων του προηγούμενου παραδείγματος είναι Μ={,,,} πλήθους 4 και οι πιθανότητες να συμβούν είναι p)=9/6, p)=p)=3/6, p)=/6. Τότε ΗΜ)=.63 bits/μήνυμα=2*.85 )

30 Κωδικοποίηση Πηγής ) Πηγή Δέκτης s ŝ Κωδικοποιητής Πηγής/Συμπίεση Αποκωδικοποιητής Πηγής/Συμπίεση q Κωδικοποιητής t Κανάλι με Θόρυβο r qˆ Αποκωδικοποιητής

31 Κωδικοποίηση Πηγής 2) Κωδικοποίηση/συμπίεση της πηγής Είναι η διαδικασία αντιστοίχισης του αλφάβητου των συμβόλων σε ένα άλλο αλφάβητο. Το καινούριο αυτό αλφάβητο ονομάζεται κωδικό αλφάβητο και τα μέλη ονομάζονται κωδικά σύμβολα. ΟΙ ακολουθίες των κωδικών συμβόλων που αντιστοιχούν σε σύμβολα της πηγής λέγονται κωδικές λέξεις Πηγή Συμβόλων Αλφάβητο S={s,s 2,,s n } s i Κωδικοποιητής Πηγής Αλφάβητο Q={,}

32 Κωδικοποίηση Πηγής 3) Ερωτήματα που προκύπτουν από τις σχέσεις που διέπουν τα σύμβολα και τους κώδικες και τις κωδικές λέξεις Πως μπορούμε να κατασκευάσουμε άμεσους κώδικες με το ελάχιστο προσδοκώμενο μήκος για την συμπιεσμένη αναπαράσταση των συμβόλων μιας πηγής; Υπάρχει σχέση μεταξύ πιθανότητας συμβόλου και μήκους κωδικής λέξης; Το πληροφοριακό περιεχόμενο της πηγής των συμβόλων πως επηρεάζει την παραγωγή των κωδικών λέξεων και με ποιό τρόπο;

33 Κωδικοποίηση Πηγής 4) Απαιτήσεις για χρησιμότητα κωδικών Κάθε ακολουθία κωδικών λέξεων πρέπει να μπορεί να αποκωδικοποιηθεί με μοναδικό τρόπο Η αποκωδικοποίηση πρέπει να γίνεται εύκολα και άμεσα Ο κώδικας πρέπει να πετυχαίνει τη βέλτιστη δυνατή συμπίεση

34 Ορισμοί Κωδικοποίηση Πηγής 5) Μη ιδιάζων κώδικας Όταν όλες οι κωδικές λέξεις είναι διαφορετικές Μοναδικά αποκωδικοποιήσιμος Όταν και οι ακολουθίες των κωδικών λέξεων είναι διαφορετικές Άμεσος ή Προθεματικός κώδικας Κάθε μοναδικά αποκωδικοποίησιμος κώδικας που επιτρέπει την άμεση αποκωδικοποίηση της κωδικής λέξης χωρίς να χρειάζεται να λάβει υπόψη του τις επόμενες κωδικές λέξεις. Ο άμεσος κώδικας αποτελείται από κωδικές λέξεις οι οποίες δεν αποτελούν μέρος προθέματα) άλλων

35 Κωδικοποίηση Πηγής 6) Παράδειγμα Μη ιδιάζων, Ι,ΙΙ,ΙΙΙ,ΙV Μοναδικά αποκωδικοποιήσιμος, ΙΙ,ΙΙΙ,ΙV. Ο Ι δεν είναι αφού ΦΦΦΦ, ΦΦΨ, ΨΨ όλα έχουν κωδική λέξη την ίδια, Άμεσοι κώδικες, ΙΙ και ΙΙΙ Ο κώδικας ΙV δεν είναι άμεσος αφού χρειάζεται να γνωρίζουμε ψηφία που ανήκουν στην επόμενη κωδική λέξη, π.χ.? Ι ΙΙ ΙΙΙ ΙV Φ Χ Ψ Ω

36 Κωδικοποίηση Πηγής 8) Παραδείγματα άλλων άμεσων και μη αμέσων κωδικών C={,} C2={,} C3={,,,} C4={,,,} C5={,,,} Άμεσος Μη άμεσος Άμεσος Άμεσος Μη άμεσος

37 Κωδικοποίηση Πηγής 7)

38 Κωδικοποίηση Πηγής ) C4={,,,} C3={,,,}

39 Κωδικοποίηση Πηγής ) Θεώρημα 2: Ανισότητα του Kraft Για κάθε άμεσο κώδικα με πλήθος κωδικών συμβόλων q=2) του κωδικού αλφαβήτου Q και μήκη των κωδικών λέξεων l i, όπου i=,2,,n και n το πλήθος των συμβόλων της πηγής ισχύει, n i 2 l i Αντίστροφα, αν για ένα σύνολο μηκών κωδικών λέξεων ισχύει η ανισότητα Kraft τότε υπάρχει ένας άμεσος κώδικας του οποίου οι κωδικές λέξεις έχουν αυτά τα μήκη.

40 Κωδικοποίηση Πηγής 2) Απόδειξη Τέτοιοι κώδικες άμεσοι και αποκωδικοποιήσιμοι) έχουν κωδικές λέξεις οι οποίες έχουν ένα μέγιστο μήκος, π.χ l ma. Όλες οι λέξεις σε αυτό το επίπεδο είναι είτε μέρος του συνόλου των κωδικών λέξεων είτε απόγονοι άλλων κωδικών λέξεων οι οποίες βρίσκονται σε μικρότερα επίπεδα. Το πλήθος των απογόνων μιας κωδικής λέξης του επιπέδου l i, που βρίσκονται στο επίπεδο l ma, ισούται με το πλήθος των λέξεων μήκους l ma -l i και άρα είναι 2 lma-li. Καθένα από τα σύνολα αυτά των απογόνων κωδικών λέξεων δεν έχει κανένα κοινό στοιχείο μεταξύ τους Επίσης το άθροισμα των απογόνων αυτών δεν μπορεί να ξεπεράσει το q lma που είναι όλο το σύνολο των λέξεων όχι κατ ανάγκη κωδικών μήκους l ma ) Επομένως ισχύει n i 2 2 lma li ) lma n i 2 l i

41 Κωδικοποίηση Πηγής 3) C={,,,}

42 Κωδικοποίηση Πηγής 5) C={,,,,}

43 Συμπίεση Πληροφορίας ή Κωδικοποίηση Πηγής... Με τις πιθανότητες εμφάνισης των συμβόλων τι γίνεται; Μπορούμε να βρούμε ένα κώδικα άμεσο και αποκωδικοποιήσιμο) του οποίου οι κωδικές λέξεις να έχουν το βέλτιστο δυνατό μήκος; Να έχουν δηλαδή κατά μέσο όρο τη μικρότερη τιμή μήκους κωδικής λέξης; min i p l i i υπο τον περιορισμο n i li 2 Υπάρχει σχέση μήκους λέξης και πιθανότητας εμφάνισης συμβόλου πηγής; Αν αντιστοιχίσουμε κωδικές λέξεις μικρού μήκους σε σύμβολα με μεγάλη πιθανότητα εμφάνισης θα μειωθεί το μέσο μήκος της κωδικής λέξης; Ξέρουμε όμως ότι μικρού μήκους κωδικές λέξεις έχουν μεγάλο κόστοs αφού χρειάζεται να εισάγουμε μεγάλου μήκους κωδικές λέξεις για την πλήρη αντιστοίχιση των συμβόλων πηγής. Ποια είναι η βέλτιστη συμπίεση που είναι δυνατόν να επιτευχθεί;

44 Κωδικοποίηση Πηγής 7) Θεώρημα 3: Κωδικοποίησης Πηγής Έστω μια πηγή παράγει S={s,s 2,,s n } σύμβολα με πιθανότητα εμφάνισης κάθε συμβόλου {p,p 2,...,p n }. Τα σύμβολα αυτά κωδικοποιούνται από ένα κωδικό αλφάβητο q συμβόλων και αντιστοιχίζονται σε άμεσο και αποκωδικοποιήσιμο κώδικα n κωδικών λέξεων μήκους l i η κάθε μία, i=,2,,n. Αν ΗS) είναι το μέσο πληροφοριακό περιεχόμενο των συμβόλων της πηγής τότε ισχύει, H S) Tο βέλτιστο ελάχιστο) μέσο μήκος κωδικής λέξης είναι ίσο με το μέσο πληροφοριακό περιεχόμενο της πηγής των συμβόλων και δεν μπορεί να είναι μικρότερο από αυτό. Για ποιές τιμές των l i ισχύει η ισότητα του θεωρήματος της κωδικοποίησης της πηγής; Ελάχιστο του μήκους των κωδικών λέξεων Η ισότητα ισχύει όταν li log 2 pi n i p i l i

45 Κωδικοποίηση Πηγής 9) Δεν μπορούμε λοιπόν να συμπιέσουμε λιγότερο από την εντροπία της πηγής. Πρακτικά πόσο κοντά σε αυτή την τιμή μπορούμε να φτάσουμε; Θεώρημα 4: Για κάθε τ.μ Χ υπάρχει ένας άμεσος και μοναδικά αποκωδικοποιήσιμος κώδικας C του οποίου η μέση τιμή μήκους, LC,X), ικανοποιεί τη σχέση HX) LC,X) < HX)+ Ο κώδικας αυτός έχει κωδικές λέξεις μήκους όπου χ είναι ο μικρότερος l ακέραιος που είναι μεγαλύτερος του χ. log 2 i p i

46 Συμπίεση Πληροφορίας ή Κωδικοποίηση Πηγής... Αλγόριθμοι κωδικοποίησης FANO SHANNON HUFFMAN JPEG και MPEG χρησιμοποιούν μεταξύ άλλων και τον αλγόριθμο Huffman

47 Αλγόριθμος Κωδικοποίησης FANO Βήμα ο : Τα σύμβολα ή τα μηνύματα) ταξινομούνται έτσι ώστε οι πιθανότητές τους είναι σε φθίνουσα ακολουθία. Βήμα 2 ο : Στη συνέχεια τα σύμβολα χωρίζονται σε ομάδες ο αριθμός των οποίων είναι ίσος με τον αριθμό των κωδικών συμβόλων στην περίπτωση δυαδικού κώδικα oι ομάδες χωρισμού συμβόλων είναι δύο). Το κριτήριο σχηματισμού της κάθε ομάδας είναι τέτοιο ώστε αφενός να διατηρείται η σειρά των συμβόλων όπως αυτή έχει καθοριστεί από το βήμα Αφετέρου δε να ελαχιστοποιείται η σχέση k i n p i p ik i Βήμα 3 ο : Για κάθε μία ομάδα συμβόλων που δημιουργήσαμε αντιστοιχίζουμε ένα από τα κωδικά σύμβολα ως το πρώτο τον κωδικών λεξεων που θα προκύψουν Βήμα 4 ο : Επαναλαμβάνουμε τα βήματα 2 & 3 για κάθε μία από τις ομάδες προσθέτοντας κάθε φορά και από ένα κωδικό σύμβολο στην κωδική λέξη μέχρι να δημιουργήσουμε ομάδες με ένα μόνο σύμβολο Ο αλγόριθμος FANO δημιουργεί κώδικες όπου όλες οι κωδικές λέξεις είναι του ίδιου μήκους εάν η διαίρεση σε υποομάδες γίνεται πάντα με την ίδια πιθανότητα.

48 Αλγόριθμος Κωδικοποίησης FANO /2 /2 {s,s2} {s3,,s} /4 /4 /4 /4 {s} {s2} {s3,s4} {s5,,s} Παράδειγμα S={s,s2,,s} {p,p2,,p}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO /8 /8 /8 /8 {s3} {s4} {s5,s6} {s7,,s} /6 /6 /6 /6 {s5} {s6} {s7,s8} {s9,s} /32 /32 /32 /32 {s7} {s8} {s5} {s5}

49 Αλγόριθμος κωδικοποίησης SHANNON Βήμα ο : Τα σύμβολα ή τα μηνύματα) ταξινομούνται έτσι ώστε οι πιθανότητές τους είναι σε φθίνουσα ακολουθία, όπως ακριβώς και του FANO. Βήμα 2 ο : Για κάθε σύμβολο s i του οποίου η πιθανότητα εμφάνισης είναι ps i ) υπολογίζεται η αθροιστική πιθανότητα P j ως εξής: Βήμα 3 ο : Το μήκος της κωδικής λέξης που αντιστοιχεί στο σύμβολο s i ισούται με τον ακέραιο αριθμό l i, που πληροί τη σχέση i Pi p s j ), P, i 2,..., n j l log 2 p i s i Βήμα 4 ο : Η κωδική λέξη c i που αντιστοιχεί στο σύμβολο πηγής s i είναι το δυαδικό ανάπτυγμα του κλάσματος P i μόνο τα πρώτα l i bits αναπτύγματος)

50 Αλγόριθμος κωδικοποίησης SHANNON Μετατροπή δεκαδικού κλασματικού αριθμού σε δυαδικό Ισχύει ότι το δυαδικό ανάπτυγμα ενός δεκαδικού αριθμού F είναι k i όπου τα α i είναι ή F i Πολλαπλασιάζοντας το F με το 2 έχουμε ότι 2 i. 2 2F k k i i a i2 2 Από αυτό προκύπτει ότι το α ισούται με εάν 2F < και εάν 2F Ομοίως τo α 2 ισούται με εάν το 22F-α )< και εάν 22F-α ), κοκ

51 Αλγόριθμος κωδικοποίησης SHANNON Παράδειγμα μετατροπής δεκαδικού κλάσματος σε δυαδικό F=.375 2F=2*.375=.75 < α = 22F-α )=2*.75=.5 α 2 = 222F-α )-α2)=2.5-)= α 3 = Άρα το δυαδικό ανάπτυγμα του.375 είναι. F=.327 2*.327=.654 < α = 2*.654=.38 α 2 = 2*.38-)=.66 < α 3 = 2*.66=.232 α 4 = 2*.232-)=.464 < α 5 = 2*.464=.928 < α 6 = 2*.928=.956 α 7 = 2*.956-)=.92 α 8 = 2*.92-)=.824 α 9 = Άρα το δυαδικό ανάπτυγμα του.327 είναι. Παρατηρούμε ότι είναι δυνατόν το δυαδικό ανάπτυγμα ενός κλάσματος να αποτελείται από άπειρα δυαδικά ψηφία

52 Αλγόριθμος κωδικοποίησης SHANNON Παράδειγμα

53 Κωδικοποίηση HUFFMAN ) Δοθείσας μιας πηγής συμβόλων με πιθανότητες εμφάνισης p i, πως μπορούμε να σχεδιάσουμε ένα βέλτιστο άμεσο κώδικα; Με τον όρο βέλτιστο εννοούμε ελαχιστοποίηση του μέσου μήκους των κωδικών λέξεων ακεραίου μήκους. Η διαδικασία Huffman βασίζεται σε δύο παρατηρήσεις που έχουν σχέση με βέλτιστους κώδικες: Σε έναν βέλτιστο κώδικα τα σύμβολα που εμφανίζονται συχνότερα μεγαλύτερη πιθανότητα εμφάνισης) θα πρέπει να αντιστοιχούν σε μικρότερες κωδικές λέξεις απ ότι σύμβολα με μικρότερη συχνότητα εμφάνισης Σε ένα βέλτιστο κώδικα τα δύο σύμβολα με τη μικρότερη πιθανότητα εμφάνισης αντιστοιχούν σε κωδικές λέξεις ίδιου μήκους

54 Κωδικοποίηση HUFFMAN 2) S={α,β,γ,δ,ε} P={/2,/4,/8,/6,/6} C={,,,,} Εάν τα δύο λιγότερο πιθανά σύμβολα αντιστοιχούσαν σε κωδικές λέξεις διαφορετικού μήκους, για να είναι ο κώδικας άμεσος προθεματικός) δεν θα πρέπει οι κωδικές λέξεις αυτές να αποτελούν προθέματα άλλης κωδικής λέξης ούτε και μεταξύ τους. Άρα αν η μία είναι μεγαλύτερη από την άλλη κατά κ bits καταργώντας τα η λέξη που παίρνουμε είναι επίσης κωδική λέξη και μάλιστα ίδιου μήκους. Διαφέρουν δε μόνο ως προς το τελευταίο bit ή )

55 Κωδικοποίηση HUFFMAN 3) Αλγόριθμος κωδικοποίησης HUFFMAN Ο αλγόριθμος Huffman κατασκευάζει το δυαδικό δέντρο αρχίζοντας από τα φύλλα του και προχωράει προς τη ρίζα του. Βήμα ο : Τα σύμβολα ή τα μηνύματα) ταξινομούνται έτσι ώστε οι πιθανότητές τους είναι σε φθίνουσα ακολουθία. Βήμα 2 ο : Στη συνέχεια παίρνουμε τα δύο σύμβολα με τις μικρότερες πιθανότητες. Γι αυτά μέσα από την διαδικασία του αλγορίθμου θα αναθέσουμε, τις μακρύτερες δυνατές κωδικές λέξεις έτσι ώστε αυτές να έχουν το ίδιο μήκος και να διαφέρουν στο τελευταίο τους ψηφίο. Το βήμα αυτό θα δημιουργήσει το τελευταίο από τα ψηφία της κωδικής λέξης Βήμα 3 ο : Συνδυάζοντας τα δύο σύμβολα που επιλέξαμε στο βήμα 2 σε ένα και αναθέτοντας στο συνδυασμένο σύμβολο το άθροισμα των πιθανοτήτων των επιμέρους συμβόλων επαναλαμβάνουμε τη διαδικασία από το βήμα μεταξύ των συμβόλων που απομένουν και του συμβόλου που δημιουργήσαμε μέχρις ότου καταλήξουμε σε ένα σύμβολο με πιθανότητα. Βήμα 4 ο : Οι κωδικές λέξεις που αντιστοιχούν στο κάθε σύμβολο αποτελούνται από τις ακολουθίες και που δημιουργούνται αν διατρέξουμε το δένδρο που δημιουργήθηκε από τον κόμβο με το μοναδικό σύμβολο προς τα σύμβολα από τα οποία ξεκινήσαμε

56 Κωδικοποίηση HUFFMAN 4) Παράδειγμα α β s i p i H l i Cs i ) γ.2.2 α β γ, δ δ ε ε

57 Κωδικοποίηση HUFFMAN 5) Παράδειγμα Παρατηρείστε τις διαφορές που υπάρχουν μεταξύ βέλτιστου μήκους και ελάχιστου μήκους ΗΧ)=4. bits LC,X)=4.5 bits

58 Κωδικοποίηση HUFFMAN 6) Παρατηρήσεις σχετικά με τον αλγόριθμο Huffman Αποδεικνύεται ότι κανένας άλλος αλγόριθμος δεν μπορεί να οδηγήσει στην κατασκευή κώδικα με μικρότερο μέσο μήκος κωδικών λέξεων για ένα δεδομένο αλφάβητο πηγής. Η κατασκευή του δένδρου γίνεται από τα φύλλα προς τη ρίζα του δένδρου,

59 Κωδικοποίηση HUFFMAN 7) ΑΚΟΛΟΥΘΙΕΣ ΣΥΜΒΟΛΩΝ Μειονεκτήματα αλγορίθμου Huffman Υπόθεση: Τα σύμβολα της πηγής παράγονται ανεξάρτητα το ένα από το άλλο. Τι γίνεται όμως αν τα σύμβολα αυτά εξαρτώνται από το ποια σύμβολα έχουν παραχθεί στο άμεσο παρελθόν; Γνωρίζουμε ότι ο αλγόριθμος Huffman παράγει βέλτιστο κώδικα και άρα βάσει του θεωρήματος ισχύει ότι ΗΧ) LC,X) < HX)+ Άρα κατά μέσο όρο και ανά σύμβολο έχουμε πλεονάζοντα bits μεταξύ και. Αν η εντροπία ΗΧ) της πηγής είναι μεγάλη τότε το πλεονάζον αυτό bit, LC,X)-HX), θα ήταν αμελητέο στην παραγωγή μηνυμάτων. Αν όμως η εντροπία είναι μικρότερη από bit τότε το πλεονάζον bit θα ήταν καθοριστικό στην παραγωγή μηνυμάτων. Χρειάζεται να ξέρουμε τις πιθανότητες εμφάνισης εκ των προτέρων. Αν όχι τότε θα πρέπει να συλλέξουμε πρώτα τα στατιστικά μιας πηγής και μετά να εφαρμόσουμε τον αλγόριθμο Έτσι λοιπόν παρόλο που οι κώδικες Huffman θεωρούνται βέλτιστοι αυτό αφορά στην παραγωγή συμβόλων και όχι στην παραγωγή μηνυμάτων που είναι και αυτό που χρειαζόμαστε στην πράξη.

60 Κωδικοποίηση HUFFMAN 8) Παράδειγμα Έστω μία πηγή με αλφάβητο Α={α,α 2,α 3 } και P={.8,.2,.8}. ΗΑ)=,86 bits/smbol Εφαρμόζοντας τον αλγόριθμο του Huffman παίρνουμε τις εξής κωδικές λέξεις και μήκη Παρατηρούμε ότι το μέσο μήκος κωδικής λέξης είναι.2 bits/smbol το οποίο απέχει κατά 47% από την εντροπία δηλαδή υπάρχει πλεονασμός κατά.384 bits/smbol. Σε επίπεδο μηνυμάτων ακολουθίες συμβόλων) αυτός ο πλεονασμός παίζει καθοριστικό ρόλο Π.χ. Για ακολουθίες μηνυμάτων που αποτελούνται από Ν= σύμβολα τότε σύμφωνα με την κωδικοποίηση κατά Huffman θα παράγαμε κατά μέσο όρο 384 bits περισσότερα από τα 86 που είναι τα αναγκαία Τι πρέπει να γίνει; α i p i H l i Cα i ) α α 2 α ,86,2 HΑ) LC,Α) ΠΛΗ22 : Βασικά Ζητήματα Δικτύων Η/Υ 65

61 Κωδικοποίηση HUFFMAN 9) Παράδειγμα συνέχεια) Να εφαρμόσουμε τον αλγόριθμο όχι σε επίπεδο συμβόλων αλλά σε επίπεδο μηνυμάτων. Έτσι για μηνύματα δύο συμβόλων έχουμε Το μέσο μήκος κάθε κωδικής λέξης που αντιστοιχεί σε μήνυμα 2 συμβόλων είναι.7228 bits και άρα κάθε σύμβολο το μέσο μήκος κωδικής λέξης ανά σύμβολο είναι.7228/2=.864 bits το οποίο συγκρινόμενο με την εντροπία ΗΑ)=.86 είναι μόλις κατά 5.5% προσαυξημένο Το πρόβλημα που παρουσιάζει αυτή η μέθοδος στην πράξη είναι ότι χρειάζεται να υπολογίσουμε όλες τις πιθανότητες των πιθανών μηνυμάτων. Για ένα αλφάβητο με n σύμβολα και μηνύματα μήκους m τότε το σύνολο όλων των μηνυμάτων είναι m n, δηλαδή για ένα αλφάβητο 5 συμβόλων και μηνύματα μήκους θα χρειαστεί να υπολογίσουμε περίπου εκ. πιθανότητες πρώτα!! α i p i H l i Cα i ) α α α α 2 α α 3 α 2 α α 2 α 2 α 2 α 3 α 3 α ,632 HΑ 2 ) ,7228 LC,Α 2 ) α 3 α α 3 α *HΑ) LC,Α 2 )/2=,86

62 Θεώρημα Κωδικοποίησης Πηγής Θεώρημα Shannon Κωδικοποίησης Πηγής Έστω Χ μια τ.μ. παραγωγής συμβόλων πηγής με εντροπία ΗΧ)=Η bits. Για κάθε δ> και <θ<, υπάρχει ένας θετικός ακέραιος αριθμός Ν, τέτοιος ώστε για κάθε Ν>N, ισχύει H N

63 Huffman Coding Assigns fewer bits to smbols that appear more often and more bits to the smbols that appear less often Efficient when occurrence probabilities var widel Huffman codebook from the set of smbols and their occurring probabilities Two properties: generate compact codes prefi propert

64 Huffman average code length Input; probabilities p,p2,,pm for smbols a,a2,,am,respectivel Output: a tree that minimizes the average number of bitsbit rate)to code a smbol. That is, minimizes m l p i l i i Where li is the length of codeword ai

65 Huffman Coding Algorithm. Take the two least probable smbols in the alphabet longest codewords, equal length, differing in last digit) 2. Combine these two smbols into a single smbol, and repeat.

66 EXAMPLE

67 eample P7)=.29 P6)=.28 P5)=.6 P4)=.4 P3)=.7 P2)=.3 P)=.2 P)=. P=.27 P=.3 P=.6 P=.3 P=.57 P=.43

68 Eample Another Eample

69 Παράδειγμα Παράδειγμα

70 Παράδειγμα Παράδειγμα

71 Παράδειγμα Παράδειγμα

72 Παράδειγμα Παράδειγμα

73 Παράδειγμα Παράδειγμα Σύμβολο Πιθανότητα Κωδικός Ψηφία Ν*p F E C B D A FAB Επιπρόσθετα μπορούμε να εφαρμόσουμε RLE

74 Rate Distortion Theor D ma be the MSE or some human perceived measure of distortion

75 Tpes of Loss Compression VBR Variable Bit Rate CBR Constant Bit Rate we Discuss Later

76

77 Sekular & Blake, 5 th ed.

78 Fig. 6-7, p. 356

79