ΝΤUA. Τεχνολογία Πολυμέσων

ΝΤUA Τεχνολογία Πολυμέσων

Περιεχόμενα 2. Διάλεξη 2: Συμπίεση

Wh Comress? To reduce the volume of data to be transmitted tet, fa, images) To reduce the bandwidth required for transmission and to reduce storage requirements seech, audio, video)

A simle eamle Suose we have a message consisting of 5 smbols, e.g. [ ] How can we code this message using / so the coded message will have minimum length for transmission or saving!) 5 smbols at least 3 bits For a simle encoding, length of code is *3=3 bits

A simle eamle cont. Intuition: Those smbols that are more frequent should have smaller codes, et since their length is not the same, there must be a wa of distinguishing each code. The length of encoded message will be =3*2 +3*2+2*2+3+3=24bits

Κατηγορίες Συμπίεσης Συμπίεση χωρίς Απώλειες Μεθόδους χωρίς απώλεια πληροφορίας που χρησιμοποιούν μη απωλεστικούς lossless) αλγορίθμους. Οι συγκεκριμένες μέθοδοι συμπιέζουν τα δεδομένα με τέτοιοι τρόπο, ώστε να μην υπάρχει απώλεια πληροφορίας, ενώ επιτυγχάνουν μέτριο λόγο συμπίεσης. Έτσι μία εικόνα που συμπιέστηκε με μια τέτοια μέθοδο είναι ίδια με την αρχική, όταν αποσυμπιεστεί. Συμπίεση με Απώλειες Μεθόδους με απώλεια πληροφορίας που συμπιέζουν τα δεδομένα απορρίπτοντας μη ουσιώδη πληροφορία. Οι συγκεκριμένες μέθοδοι χρησιμοποιούν απωλεστικούς loss) αλγορίθμους και επιτυγχάνουν υψηλό λόγο συμπίεσης.

Lossless Comression Run Length Encoding RLE): aaaaaaabbbb 7a4b abababababa abababababa Lossless comression relies on inut being nonrandom to achieve comression.

Το μοντέλο του Επικοινωνιακού Συστήματος Πηγή Δέκτης s ŝ Κανάλι με Θόρυβο

Το μοντέλο του Επικοινωνιακού Συστήματος Πηγή Δέκτης s ŝ Κωδικοποίηση & Συμπίεση Πηγής q Κανάλι με Θόρυβο

Το μοντέλο του Επικοινωνιακού Συστήματος Πηγή Δέκτης s ŝ Κωδικοποίηση & Συμπίεση Πηγής q Αποκωδικοποίηση & Αποσυμπίεση Πηγής qˆ Κανάλι με Θόρυβο

Το μοντέλο του Επικοινωνιακού Συστήματος Πηγή Δέκτης s ŝ Κωδικοποίηση & Συμπίεση Πηγής Αποκωδικοποίηση & Αποσυμπίεση Πηγής q Κωδικοποιητής t Κανάλι με Θόρυβο qˆ

Το μοντέλο του Επικοινωνιακού Συστήματος Πηγή Δέκτης s ŝ Κωδικοποίηση & Συμπίεση Πηγής Αποκωδικοποίηση & Αποσυμπίεση Πηγής q Κωδικοποιητής t Κανάλι με Θόρυβο r qˆ Αποκωδικοποιητής

Το μοντέλο του Επικοινωνιακού Συστήματος Πηγή s Η Θεωρία Πληροφορίας μελετά τα θεωρητικά όρια και τις δυνατότητες τέτοιων συστημάτων. Θεωρία Κωδικοποίησης ασχολείται με τη δημιουργία πρακτικών συστημάτων κωδικοποίησης/αποκωδικοποίησης. Δέκτης ŝ Κωδικοποίηση & Συμπίεση Πηγής Αποκωδικοποίηση & Αποσυμπίεση Πηγής q Κωδικοποιητής t Κανάλι με Θόρυβο r qˆ Αποκωδικοποιητής

Το μοντέλο του Επικοινωνιακού Συστήματος Κωδικοποίηση Πηγής: αποδοτική αναπαράσταση των δεδομένων που εξάγει μια πηγή πληροφορίας Κωδικοποίηση Καναλιού: η αποδοτική μετάδοση της πληροφορίας πάνω από ένα κανάλι.

Θεωρία Πληροφορίας Ιδρυτής της θεωρείται ο Claude E. Shannon 96-2) aka father of the Digital Age The Mathematical Theor of Communication, Bell Labs, 948 He showed how information could be quantified with absolute recision, and demonstrated the essential unit of all information media bit Information Theor is one of the few scientific fields fortunate enough to have an identifiable beginning - Claude Shannon's 948 aer. Δύο θεμελιώδη Θεωρήματα Θεμελιώδες Θεώρημα Κωδικοποίησης Πηγής Source Coding Theorem) Θεμελιώδες Θεώρημα Κωδικοποίησης Καναλιού Channel Coding Theorem)

Θεωρία Πληροφορίας Channel Caacit & The Nois Channel Coding Theorem ever communication channel had a seed limit, measured in binar digits er second Shannon Limit) mathematicall imossible to get error free communication above the limit gave rise to the entire field of error-correcting codes and channel coding theor Formal Architecture of Communication Sstems communication sstem can be searated into comonents, which can be treated indeendentl all communication sstems are essentiall based on this model

Θεωρία Πληροφορίας Digital Reresentation establishing that tet, telehone signals, images and film all modes of communication could be encoded in bits, a term that was first used in rint in his article. Efficienc of Reresentation: Source Coding Discusses a loss-less method of comressing data at the source Shannon-Fano) The basic objective of source coding is to remove redundanc in the information to make the message smaller Three ears later after 948), David Huffman, a student of Prof. Fano s class at MIT came u with Huffman Coding, which is widel used for data comression. JPEGS, MP3s and.zip files are onl some eamles.

Source Source coder Channel coder Channel Channel Channel Source Sink, decoder decoder receiver

An source of information Source Source coder Channel coder Channel Channel Channel Source Sink, decoder decoder receiver

Change to an efficient reresentation, i.e., data comression. Source Source coder Channel coder Channel Channel Channel Source Sink, decoder decoder receiver

Change to an efficient reresentation for, transmission, i.e., error control coding. Source Source coder Channel coder Channel Channel Channel Source Sink, decoder decoder receiver

Source Source coder Channel coder Channel Channel Channel Source Sink, decoder decoder receiver Recover from channel distortion.

Source Source coder Channel coder Channel Channel Channel Source Sink, decoder decoder receiver Uncomress

Source Source coder Channel coder Channel Channel Channel Source Sink, decoder decoder receiver The channel is anthing transmitting or storing information a radio link, a cable, a disk, a CD, a iece of aer,

Information and Entro Assume a binar memorless source, e.g., a fli of a coin. How much information do we receive when we are told that the outcome is heads? If it s a fair coin, i.e., Pheads) = P tails) =.5, we sa that the amount of information is bit. If we alread know that it will be or was) heads, i.e., Pheads) =, the amount of information is zero! If the coin is not fair, e.g., Pheads) =.9, the amount of information is more than zero but less than one bit! Intuitivel, the amount of information received is the same if Pheads) =.9 or P heads) =..

Shannon Information An ensemble X is a trile, A, P ) : value of a random variable A : set of ossible values for aka alhabet) A ={a, a 2,, a I } P : robabilit for each value, P ={, 2,, I } where P)=P=a i )= i, i >, Shannon information content or self information) of =a i h) = log 2 /P)) i The roabilit of two indeendent smbols is multilied while their information carried should be added Information carried b a smbol increases with decreasing robabilities, that is smbols that occur rarel conve a large amount of information What logarithm to use? i a i i ha i ) a.575 4. 2 b.28 6.3 3 c.263 5.2...... 26 z.7.4

Shannon Information Eamle : i= => h) = log/ = Eamle 2: i=.5 => h.5) = log/.5 = bit

Entro Average information er smbol is called entro H H ) A P ).log P ) bits er codeword Η εντροπία δεν εξαρτάται από τις τιμές της τ.μ Χ αλλά από την κατανομή της, και μετριέται σε bits. Average number of bits er codeword = Σ L i i where L i is the number of bits for the smbol generated b the encoding algorithm

Εντροπία 2) Παράδειγμα Έστω Χ μία τυχαία μεταβλητή με δύο ενδεχόμενα και -). H)=-*log)--)*log-) Η μέγιστη τιμή της εντροπίας είναι όταν τα δύο ενδεχόμενα είναι ισοπίθανα X Παράδειγμα 2 a b c d με πιθανότητα / 2 με πιθανότητα / 4 με πιθανότητα / 8 με πιθανότητα / 8 ) log log log log 2 2 4 4 8 8 8 8 7 4 bits

Εντροπία 3) Συνδυασμένη ή από κοινού εντροπία Η Συνδυασμένη ή από κοινού εντροπία ΗΧ,Υ) ενός ζεύγους δύο διακριτών τυχαίων μεταβλητών με πιθανότητα μάζας,) ορίζεται ως, ), )log, )

Εντροπία 4) Δεσμευμένη ή υπό συνθήκη εντροπία Uncertaint of X given random variable Y Quantifies the amount of information needed to describe the outcome of a random variable X given that the value of another random variable Y is known h i / j )=-log i / j ) HX Y=) is the entro of the discrete random variable X conditioned on the discrete random variable Y taking a certain value HX Y) is the result of averaging HX Y=) over all ossible values Y ma take Y ) / )log / ) / Y X H ) / )log, ) / )log / ) / ) ) / ) / )log, ) / X Y ) / )log, ) / If is the entro of the discrete random variable conditioned on the discrete random variable taking a certain value, then is the result of averaging ove

Εντροπία 5) Θεώρημα : Αθροιστικός Κανόνας chain rule) ΗΧ,Υ)=ΗΧ)+ΗΥ/Χ) Το θεώρημα αυτό μας λέει ότι η εντροπία της συνδυασμένης τυχαίας μεταβλητής Χ,Υ) ισούται με την εντροπία της μίας από αυτές, Χ, συν την εξαρτημένη εντροπία της άλλης τ.μ., Υ, όταν έχει συμβεί η Χ. Ισχύει επίσης, ΗΧ,Υ)=ΗΥ)+ΗΧ/Υ) ΗΧ)-ΗΧ/Υ)=ΗΥ)-ΗΥ/Χ) Προσοχή! ΗΧ/Υ) ΗΥ/Χ) Εάν Χ,Υ είναι ανεξάρτητες τ.μ τότε ΗΧ,Υ)=ΗΧ)+ΗΥ) Πρόταση: ΗΧ,Υ/Ζ)=ΗΧ/Ζ)+ΗΥ/Χ,Ζ)

Εντροπία 6) Let X, X2,..., Xn be a collection of random variables with, 2,..., n). Then the entro of HX, X2,, Xn) is a sum of conditional entroies.

Εντροπία 8) Αθροιστική Ιδιότητα Εντροπίας: ΗΧ,Υ)=ΗΧ)+ΗΥ/Χ) Παράδειγμα 2: Ας υποθέσουμε ότι η τ.μ Z = {,,2} ως εξής Τότε )=/2, )=/4, 2)=/4 Ποια είναι η εντροπία της Z; ΗZ)=- [)log )+ )log )+ 2)log 2)] = /2*log2+ /4*log4+ /4*log4 =3/2 bits Υπάρχει και 2 ος τρόπος υπολογισμού της πληροφορίας ιδιαίτερα όταν αυτή μας αποκαλύπτεται σταδιακά. Εάν θεωρήσουμε το αποτέλεσμα του ου βήματος ως μία μεταβλητή Χ={,} και το αποτέλεσμα του 2 ου βήματος ως μια άλλη μεταβλητή Υ ={,} τότε, ΗΖ)=ΗΧ,Υ)=ΗΧ) + ΗΥ/Χ) =+/2*ΗΥ/Χ=)+/2*ΗΥ Χ=)=++/2*Η/2,/2) /2 /2 /2 /2 2 2 X Y

Εντροπία 9) Άσκηση Έστω δύο δοχεία Α, Β. Το Α περιέχει 6 κόκκινες αριθμημένες μπάλες από το -6 και το Β περιέχει 8 μπλε αριθμημένες μπάλες από το -8. Έστω Χ η τυχαία μεταβλητή η οποία συμβολίζει το χρώμα και τον αριθμό της μπάλας που επιλέγεται αφού προηγηθεί η επιλογή κάποιου εκ των δύο δοχείων. Η επιλογή των δοχείων Α, Β γίνεται με την ίδια πιθανότητα. Η δε πιθανότητα επιλογής μιας αριθμημένης μπάλας από το επιλεγμένο δοχείο είναι ίδια. Να βρεθεί η εντροπία της Χ. Χ={Κ,...,Κ6,Μ,...,Μ8}, Δ={Κ, Μ} ΗΧ)=ΗΔ,Σ)=ΗΔ) + ΗΣ/Δ) = ΗΔ)+/2*ΗΣ/Δ=Κ)+/2*ΗΣ/Δ=Μ)= =ΗΔ)+/2*ΗΚ,...,Κ6)+/2*ΗΜ,...,Μ8) ΗΧ)=log 2 2+/2*{log 2 6+log 2 8}=+7/2=4.5 bits /2 /2 /6 Α Β /8 2 6 2 8

Εντροπία ) Παράδειγμα 4 Μία τράπουλα έχει 52 χαρτιά. Αυτά χωρίζονται σε 4 κατηγορίες, σπαθιά, μπαστούνια, καρό και κούπες. Κάθε κατηγορία έχει 3 χαρτιά η κάθε μία ενώ τα σπαθιά και τα μπαστούνια είναι μαύρου χρώματος και τα καρό και οι κούπες κόκκινου χρώματος. Το τυχαίο πείραμα συνιστάται στο τράβηγμα ενός χαρτιού από την τράπουλα. Θεωρούμε ότι η πιθανότητα να τραβήξουμε το κάθε χαρτί είναι η ίδια. Ποια ποσότητα πληροφορίας λαμβάνουμε όταν μας γνωστοποιείται το χαρτί που τραβήξαμε; Αν μας γνωστοποιηθούν διαδοχικά το χρώμα, μετά η κατηγορία και μετά ο αριθμός ποια είναι η ποσότητα της πληροφορίας που θα έχουμε λάβει; Ποια είναι η ποσότητα της πληροφορίας σε κάθε ένα από τα στάδια; Δοθέντος ότι γνωρίζουμε το χρώμα, ποια είναι η ποσότητα της πληροφορίας που λαμβάνουμε όταν μας γνωστοποιείται ο αριθμός; Δοθέντος ότι γνωρίζουμε το χρώμα, ποια είναι η ποσότητα της πληροφορίας που λαμβάνουμε όταν μας γνωστοποιείται η κατηγορία;

Εντροπία ) Απάντηση Έστω Χ,Υ,Ζ οι τ.μ που συμβολίζουν χρώμα, κατηγορία, αριθμό. Ποια ποσότητα πληροφορίας λαμβάνουμε όταν μας γνωστοποιείται το χαρτί που τραβήξαμε; ΗΖ)=-log/52)=5.7 bits Αν μας γνωστοποιηθούν διαδοχικά το χρώμα, μετά η κατηγορία και μετά ο αριθμός ποια είναι η ποσότητα της πληροφορίας που θα έχουμε λάβει; Ποια είναι η ποσότητα της πληροφορίας σε κάθε ένα από τα στάδια; ο Στάδιο: Χρώμα Η/2,/2)=-log/2)= bits 2 ο Στάδιο: Κατηγορία HΥ/Χ)=/2*ΗΥ/Χ=μαύρο)+/2*ΗΥ/Χ=κόκκινο)=/2*Η/2,/2)+/2*Η/2,/2)=Η /2,/2)=-log/2)= bits 3 ο Στάδιο: Αριθμός ΗΖ/Χ,Υ)=ΗΖ/Χ=..,Υ=..) + ΗΖ/Χ=..,Υ=..) + ΗΖ/Χ=..,Υ=..) + ΗΖ/Χ=..,Υ=..) = /4*Η/3,/3,,/3)+...+ /4*Η/3,/3,,/3)=Η/3,/3,,/3)=log/3)=3.7 bits Δηλαδή αποτελεί γενίκευση του παρακάτω τύπου ΗΧ,Υ,Ζ)=ΗΧ)+ΗΥ,Ζ/Χ)=ΗΧ)+ΗΥ/Χ)+ΗΖ/Χ,Υ)=Η/2,/2)+Η/2,/2)+Η/3,/ 3,...,/3)=++3.7 bits ΠΡΟΣΟΧΗ: Η πληροφορία του συνδυασμένου γεγονότος χρώμα, κατηγορία), ΗΧ,Υ)=ΗX)+ΗY/X) = 2 bits, ΔΕΝ ΕΙΝΑΙ ΙΣΗ με ΗΥ/Χ)= bits

Αμοιβαία Πληροφορία ) Έστω δύο τ.μ. Χ, Υ με συνδυασμένη πιθανότητα,) και πιθανότητες ) και ), αντίστοιχα. Τότε η αμοιβαία πληροφορία IX;Y) ορίζεται ως, ) I X; Y), )log ) ) Συμβολίζει την ποσότητα πληροφορίας που περιέχει μια τμ Χ για μια άλλη τμ Υ.

Αμοιβαία Πληροφορία 2) ) / ) ) / )log, ) )log ) / )log, ) )log, ) ) ) ) / )log, ) ) ), )log, ) ; Y X H X H Y X I

Αμοιβαία Πληροφορία 2) ) / ) ) / )log, ) )log ) / )log, ) )log, ) ) ) ) / )log, ) ) ), )log, ) ; Y X H X H Y X I ) log ) / log ) ) / log

Αμοιβαία Πληροφορία 3) Συμπεραίνουμε ότι η αμοιβαία πληροφορία ΙΧ;Υ) είναι η μείωση της αβεβαιότητας της Χ εξαιτίας του γεγονότος ότι γνωρίζουμε την Υ!! Θεώρημα 4: Ισχύουν ΙΧ;Υ)= ΗΧ)-ΗΧ/Υ) ΙΧ;Υ)=ΗΥ)-ΗΥ/Χ) ΙΧ;Υ)=ΗΧ)+ΗΥ)-ΗΧ,Υ) ΙΧ;Υ)=ΙΥ;Χ) ΙΧ;Χ)=ΗΧ) HΧ) Venn diagram HΧ,Υ) HX/Y) ΙX;Υ) ΗΥ/Χ) HY)

Αμοιβαία Πληροφορία 4) Παράδειγμα 6: Έστω Χ,Υ) έχουν την παρακάτω πιθανότητα μάζας Χ Υ 2 3 4 2 3 8 6 6 6 8 6 32 32 6 32 32 6 4 4 /4 H ) P ).log P) /2 /4 /8 /8 A P ) HX)=7/4 bits και ΗΥ)=2 bits / ), )log / ), HX/Y)=/8 bits και HY/X)=3/8 bits ΗΧ,Υ)=27/8 bits, ) / ) ΙΧ;Υ)=ΗΧ)-ΗΧ/Υ)=ΗΥ)-ΗΥ/Χ)=3/8 bits ) ΗΧ,Υ)=ΗΧ)+ΗΥ/Χ) P) /4 /4 /4

Θεώρημα 9: Ανισότητες Εντροπίας Έστω Χ μία τ.μ. με πλήθος στοιχείων n. Τότε ισχύει ΗΧ) logn Η ισότητα ισχύει εάν η κατανομή της Χ είναι ομοιόμορφη, δηλ. )=/n, Χ Θεώρημα : Η εξάρτηση μειώνει την εντροπία) ΗΧ/Υ) ΗΧ) Η ισότητα ισχύει εάν Χ,Υ είναι ανεξάρτητες μεταβλητές Θεώρημα : HX,Y) ΗΧ) + HY) Θεώρημα 2: Ανώτατο Όριο εντροπίας πολυδιάστατης τ.μ) Έστω Χ,Χ 2,...,Χ n τ.μ με συνδυασμένη πιθανότητα μάζας, 2,, n ). Τότε ισχύει H X, X, X H 2, n n X i i Με την ισότητα να ισχύει στην περίπτωση που οι τ.μ. είναι ανεξάρτητες.

Εντροπία Πηγής ) Διακριτή Πηγή Πληροφορίας Παράγει ακολουθίες συμβόλων ή γραμμάτων), s i Αλφάβητο πηγής είναι το σύνολο των συμβόλων S=s,s 2,,s n ), όπου n είναι το πλήθος των συμβόλων Παράγει διαδοχικές ακολουθίες συμβόλων που ονομάζονται μηνύματα Το πλήθος των δυνατών μηνυμάτων μήκους l είναι n l Η Παραγωγή των συμβόλων λαμβάνει χώρα με κάποια πιθανότητα, i Η παραγωγή κάθε συμβόλου γίνεται Είτε ανεξάρτητα αυτών που έχουν προηγηθεί οπότε αναφερόμαστε σε διακριτή πηγή χωρίς μνήμη Είτε εξαρτάται στατιστικά αυτών που έχουν προηγηθεί οπότε αναφερόμαστε σε διακριτή πηγή με μνήμη

Εντροπία Πηγής 2) Ποσότητα πληροφορίας της πηγής χωρίς μνήμη Μέση ποσότητα πληροφορίας ή εντροπία των συμβόλων n bits/smbol) HS i log i i Μέγιστη μέση ποσότητα πληροφορίας bits/smbol) n ma HS log logn Πλεονασμός διακριτής πηγής, [,] Μέσος Ρυθμός Πληροφορίας της πηγής rs είναι ο ρυθμός συμβόλων smbols/sec) i n n S H S H red ma R r S H S S H logn

Εντροπία Πηγής 3) Παράδειγμα: S={,} με )=3/4 και )=/4 HS)=.85 bits/smbol mahs)=log2= bit/smbol red=-.85/=.85

Εντροπία Πηγής 4) Μέσο πληροφοριακό περιεχόμενο μηνυμάτων της πηγής Εάν γνωρίζουμε ότι η πηγή παράγει μηνύματα μήκους l, με δεδομένο ότι το πλήθος του συνόλου Μ=m,m 2,,m q ), των μηνυμάτων είναι q=n l, και η πιθανότητα εμφάνισης ενός μηνύματος m i είναι m i ), τότε το μέσο πληροφοριακό περιεχόμενο των μηνυμάτων είναι H l n M i m )log i m i Αποδεικνύεται ότι για μια πηγη χωρις μνήμη, ΗΜ)= l*hs), δηλαδή το μέσο πληροφοριακό περιεχόμενο ενός μηνύματος είναι ίσο με το άθροισμα της πληροφορίας που μεταφέρουν τα σύμβολα που το αποτελούν. Παράδειγμα: Τα μηνύματα μήκους 2 που δημιουργούνται από την πηγή των συμβόλων του προηγούμενου παραδείγματος είναι Μ={,,,} πλήθους 4 και οι πιθανότητες να συμβούν είναι )=9/6, )=)=3/6, )=/6. Τότε ΗΜ)=.63 bits/μήνυμα=2*.85 )

Εντροπία Πηγής 5) Άσκηση Μια πηγή πληροφορίας παράγει σύμβολα, τα οποία ανήκουν στο αλφάβητο S={τ, υ, φ, χ, ψ, ω}. Οι πιθανότητες των συμβόλων αυτών είναι ¼, ¼, /8, /8, /8 και /8, αντίστοιχα. Θεωρώντας την πηγή χωρίς μνήμη, ζητείται να υπολογίσετε α) Το σύμβολο με το μεγαλύτερο και το μικρότερο πληροφορικό περιεχόμενο της πηγής. β) Το μέσο πληροφορικό περιεχόμενο των συμβόλων της πηγής, γ) Το μέσο πληροφορικό περιεχόμενο των μηνυμάτων της πηγής αποτελούμενων από δύο σύμβολα. δ) Τον πλεονασμό της πηγής log6=2,585) και ε) Το μέσο ρυθμό πληροφορίας της πηγής για ρυθμό 5 συμβόλων /sec.

Απάντηση Εντροπία Πηγής 6) α) Τα σύμβολα με το μεγαλύτερο πληροφορικό περιεχόμενο είναι αυτά που έχουν την μικρότερη πιθανότητα δηλαδή Hi)=-log/8)=3 bits όπου i=φ,χ,ψ,ω. Αντίθετα τα σύμβολα με το μικρότερο πληροφορικό περιεχόμενο είναι αυτά που έχουν την μεγαλύτερη πιθανότητα δηλαδή Hi)=log/4)=2 bits όπου i=τ,υ. β) Το μέσο πληροφορικό περιεχόμενο των συμβόλων της πηγής 6 log log log log log log log 2/8) 2,5 bits/smbol. 4 4 4 4 8 8 8 8 8 8 8 8 H S i i i

Εντροπία Πηγής 7) Απάντηση συνέχεια) γ) Για τον υπολογισμό του μέσου πληροφορικού περιεχομένου των μηνυμάτων της πηγής αποτελούμενων από 2 σύμβολα, υπολογίζουμε πρώτα τις συνδυασμένες) πιθανότητες δημιουργίας των μηνυμάτων αυτών. Αφού η πηγή είναι χωρίς μνήμη, για τον υπολογισμό της πιθανότητας κάθε μηνύματος αρκεί να πολλαπλασιάσουμε τις πιθανότητες παραγωγής των συμβόλων από τα οποία αποτελείται. Συνολικά έχουμε 36 μηνύματα. Παρατηρούμε ότι από τα 36 μηνύματα, 4 έχουν πιθανότητα παραγωγής ίση με /6), 6 μηνύματα έχουν πιθανότητα παραγωγής /64) και 6 μηνύματα έχουν πιθανότητα παραγωγής /32). =τ,τ)=/6, 2=τ,υ)=/6, 3=τ,φ)=/32, 4=τ,χ)=/32, 5=τ,ψ)=/32, 6=τ,ω)=/32, 7=υ,τ)=/6, 8=υ,υ)=/6, 9=υ,φ)=/32, =υ,χ)=/32, =υ,ψ)=/32, 2=υ,ω)=/32, 3=φ,τ)=/32, 4=φ,υ)=/32, 5=φ,φ)=/64, 6=φ,χ)=/64, 7=φ,ψ)=/64, 8=φ,ω)=/64, 9=χ,τ)=/32, 2=χ,υ)=/32, 2=χ,φ)=/64, 22=χ,χ)=/64, 23=χ,ψ)=/64, 24=χ,ω)=/64, 25=ψ,τ)=/32, 26=ψ,υ)=/32, 27=ψ,φ)=/64, 28=ψ,χ)=/64, 29=ψ,ψ)=/64, 3=ψ,ω)=/64, 3=ω,τ)=/32, 32=ω,υ)=/32, 33=ω,φ)=/64, 34=ω,χ)=/64, 35=ω,ψ)=/64, 36=ω,ω)=/64.

Απάντηση συνέχεια) Επομένως i Εντροπία Πηγής 8) 36 H M ilog i 4 log -6 log -6 log 32/64) 5 bits/message. 6 6 64 64 32 32 Παρατηρείστε ότι HM)=2 ΗS) Αυτό συμβαίνει λόγω του ότι η πηγή είναι χωρίς μνήμη δ) red=-hs)/mahs)=-hs)/log6=-2,5/2,585)=-,967=,328. ε) R=rHS)=52,5)=25 bits/sec.

Κωδικοποίηση Πηγής ) Πηγή Δέκτης s ŝ Κωδικοποιητής Πηγής/Συμπίεση Αποκωδικοποιητής Πηγής/Συμπίεση q Κωδικοποιητής t Κανάλι με Θόρυβο r qˆ Αποκωδικοποιητής

Κωδικοποίηση Πηγής 2) Κωδικοποίηση/συμπίεση της πηγής Η αποδοτική αναπαράσταση των δεδομένων που εξάγει μια πηγή πληροφορίας Αντιστοίχισης του αλφάβητου των συμβόλων σε ένα άλλο αλφάβητο Το καινούριο αυτό αλφάβητο ονομάζεται κωδικό αλφάβητο και τα μέλη ονομάζονται κωδικά σύμβολα. Οι ακολουθίες των κωδικών συμβόλων που αντιστοιχούν σε σύμβολα της πηγής λέγονται κωδικές λέξεις Πηγή Συμβόλων Αλφάβητο S={s,s 2,,s n } s i Κωδικοποιητής Πηγής Αλφάβητο Q={,}

Κωδικοποίηση Πηγής 4) Απαιτήσεις για χρησιμότητα κωδικών Κάθε ακολουθία κωδικών λέξεων πρέπει να μπορεί να αποκωδικοποιηθεί με μοναδικό τρόπο Η αποκωδικοποίηση πρέπει να γίνεται εύκολα και άμεσα Ο κώδικας πρέπει να πετυχαίνει τη βέλτιστη δυνατή συμπίεση

Ορισμοί Κωδικοποίηση Πηγής 5) Μη ιδιάζων κώδικας Όταν όλες οι κωδικές λέξεις είναι διαφορετικές Μοναδικά αποκωδικοποιήσιμος Όταν και οι ακολουθίες των κωδικών λέξεων είναι διαφορετικές Άμεσος ή Προθεματικός κώδικας Κάθε μοναδικά αποκωδικοποίησιμος κώδικας που επιτρέπει την άμεση αποκωδικοποίηση της κωδικής λέξης χωρίς να χρειάζεται να λάβει υπόψη του τις επόμενες κωδικές λέξεις. Ο άμεσος κώδικας αποτελείται από κωδικές λέξεις οι οποίες δεν αποτελούν μέρος προθέματα) άλλων

Κωδικοποίηση Πηγής 6) Παράδειγμα Μη ιδιάζων, Ι,ΙΙ,ΙΙΙ,ΙV Μοναδικά αποκωδικοποιήσιμος, ΙΙ,ΙΙΙ,ΙV. Ο Ι δεν είναι αφού ΦΦΦΦ, ΦΦΨ, ΨΨ όλα έχουν κωδική λέξη την ίδια, Άμεσοι κώδικες, ΙΙ και ΙΙΙ Ο κώδικας ΙV δεν είναι άμεσος αφού χρειάζεται να γνωρίζουμε ψηφία που ανήκουν στην επόμενη κωδική λέξη, π.χ.? Ι ΙΙ ΙΙΙ ΙV Φ Χ Ψ Ω

Κωδικοποίηση Πηγής 7) Παραδείγματα άλλων άμεσων και μη αμέσων κωδικών C={,} C2={,} C3={,,,} C4={,,,} C5={,,,}

Κωδικοποίηση Πηγής 7) Παραδείγματα άλλων άμεσων και μη αμέσων κωδικών C={,} C2={,} C3={,,,} C4={,,,} C5={,,,} Άμεσος

Κωδικοποίηση Πηγής 7) Παραδείγματα άλλων άμεσων και μη αμέσων κωδικών C={,} C2={,} C3={,,,} C4={,,,} C5={,,,} Άμεσος Μη άμεσος

Κωδικοποίηση Πηγής 7) Παραδείγματα άλλων άμεσων και μη αμέσων κωδικών C={,} C2={,} C3={,,,} C4={,,,} C5={,,,} Άμεσος Μη άμεσος Άμεσος

Κωδικοποίηση Πηγής 7) Παραδείγματα άλλων άμεσων και μη αμέσων κωδικών C={,} C2={,} C3={,,,} C4={,,,} C5={,,,} Άμεσος Μη άμεσος Άμεσος Άμεσος

Κωδικοποίηση Πηγής 7) Παραδείγματα άλλων άμεσων και μη αμέσων κωδικών C={,} C2={,} C3={,,,} C4={,,,} C5={,,,} Άμεσος Μη άμεσος Άμεσος Άμεσος Μη άμεσος

Κωδικοποίηση Πηγής 8) C={,,,}

Κωδικοποίηση Πηγής 9) C4={,,,} C3={,,,}

Κωδικοποίηση Πηγής ) Θεώρημα 2: Ανισότητα του Kraft Για κάθε άμεσο κώδικα με πλήθος κωδικών συμβόλων q=2) του κωδικού αλφαβήτου Q και μήκη των κωδικών λέξεων l i, όπου i=,2,,n και n το πλήθος των συμβόλων της πηγής ισχύει, n i 2 l i Αντίστροφα, αν για ένα σύνολο μηκών κωδικών λέξεων ισχύει η ανισότητα Kraft τότε υπάρχει ένας άμεσος κώδικας του οποίου οι κωδικές λέξεις έχουν αυτά τα μήκη.

Κωδικοποίηση Πηγής ) Απόδειξη Τέτοιοι κώδικες άμεσοι και αποκωδικοποιήσιμοι) έχουν κωδικές λέξεις οι οποίες έχουν ένα μέγιστο μήκος, π.χ l ma. Όλες οι λέξεις σε αυτό το επίπεδο είναι είτε μέρος του συνόλου των κωδικών λέξεων είτε απόγονοι άλλων κωδικών λέξεων οι οποίες βρίσκονται σε μικρότερα επίπεδα. Το πλήθος των απογόνων μιας κωδικής λέξης του επιπέδου l i, που βρίσκονται στο επίπεδο l ma, ισούται με το πλήθος των λέξεων μήκους l ma -l i και άρα είναι 2 lma-li. Καθένα από τα σύνολα αυτά των απογόνων κωδικών λέξεων δεν έχει κανένα κοινό στοιχείο μεταξύ τους Επίσης το άθροισμα των απογόνων αυτών δεν μπορεί να ξεπεράσει το q lma που είναι όλο το σύνολο των λέξεων όχι κατ ανάγκη κωδικών μήκους l ma ) Επομένως ισχύει n i 2 2 lma li ) lma n i 2 l i

Κωδικοποίηση Πηγής 2) C={,,,,}

Κωδικοποίηση Πηγής 3) Μπορούμε να βρούμε ένα κώδικα άμεσο και αποκωδικοποιήσιμο) του οποίου οι κωδικές λέξεις να έχουν το βέλτιστο δυνατό μήκος; Να έχουν δηλαδή κατά μέσο όρο τη μικρότερη τιμή μήκους κωδικής λέξης; min i l i i υπό τον περιορισμό n i li 2 Υπάρχει σχέση μήκους λέξης και πιθανότητας εμφάνισης συμβόλου πηγής; Αν αντιστοιχίσουμε κωδικές λέξεις μικρού μήκους σε σύμβολα με μεγάλη πιθανότητα εμφάνισης θα μειωθεί το μέσο μήκος της κωδικής λέξης; Ξέρουμε όμως ότι μικρού μήκους κωδικές λέξεις έχουν μεγάλο κόστος αφού χρειάζεται να εισάγουμε μεγάλου μήκους κωδικές λέξεις για την πλήρη αντιστοίχιση των συμβόλων πηγής. Το πληροφοριακό περιεχόμενο της πηγής των συμβόλων πως επηρεάζει την παραγωγή των κωδικών λέξεων και με ποιο τρόπο; Ποια είναι η βέλτιστη συμπίεση που είναι δυνατόν να επιτευχθεί;

Κωδικοποίηση Πηγής 4) Θεώρημα 3: Κωδικοποίησης Πηγής Έστω μια πηγή παράγει S={s,s 2,,s n } σύμβολα με πιθανότητα εμφάνισης κάθε συμβόλου {, 2,..., n }. Τα σύμβολα αυτά κωδικοποιούνται από ένα κωδικό αλφάβητο q συμβόλων και αντιστοιχίζονται σε άμεσο και αποκωδικοποιήσιμο κώδικα n κωδικών λέξεων μήκους l i η κάθε μία, i=,2,,n. Αν ΗS) είναι το μέσο πληροφοριακό περιεχόμενο των συμβόλων της πηγής τότε ισχύει, H S) Tο βέλτιστο ελάχιστο) μέσο μήκος κωδικής λέξης είναι ίσο με το μέσο πληροφοριακό περιεχόμενο της πηγής των συμβόλων και δεν μπορεί να είναι μικρότερο από αυτό. Για ποιές τιμές των l i ισχύει η ισότητα του θεωρήματος της κωδικοποίησης της πηγής; Ελάχιστο του μήκους των κωδικών λέξεων Η ισότητα ισχύει όταν li log 2 i n i i l i

Κωδικοποίηση Πηγής 5) Δεν μπορούμε λοιπόν να συμπιέσουμε λιγότερο από την εντροπία της πηγής. Πρακτικά πόσο κοντά σε αυτή την τιμή μπορούμε να φτάσουμε; Θεώρημα 4: Για κάθε τ.μ Χ υπάρχει ένας άμεσος και μοναδικά αποκωδικοποιήσιμος κώδικας C του οποίου η μέση τιμή μήκους, LC,X), ικανοποιεί τη σχέση HX) LC,X) < HX)+ Ο κώδικας αυτός έχει κωδικές λέξεις μήκους όπου χ είναι ο μικρότερος l ακέραιος που είναι μεγαλύτερος του χ. log 2 i i

Συμπίεση Πληροφορίας ή Κωδικοποίηση Πηγής... Αλγόριθμοι κωδικοποίησης FANO SHANNON HUFFMAN JPEG και MPEG χρησιμοποιούν μεταξύ άλλων και τον αλγόριθμο Huffman

Αλγόριθμος Κωδικοποίησης FANO Βήμα ο : Τα σύμβολα ή τα μηνύματα) ταξινομούνται έτσι ώστε οι πιθανότητές τους είναι σε φθίνουσα ακολουθία. Βήμα 2 ο : Στη συνέχεια τα σύμβολα χωρίζονται σε ομάδες ο αριθμός των οποίων είναι ίσος με τον αριθμό των κωδικών συμβόλων στην περίπτωση δυαδικού κώδικα oι ομάδες χωρισμού συμβόλων είναι δύο). Το κριτήριο σχηματισμού της κάθε ομάδας είναι τέτοιο ώστε αφενός να διατηρείται η σειρά των συμβόλων όπως αυτή έχει καθοριστεί από το βήμα Αφετέρου δε να ελαχιστοποιείται η σχέση k i n i ik i Βήμα 3 ο : Για κάθε μία ομάδα συμβόλων που δημιουργήσαμε αντιστοιχίζουμε ένα από τα κωδικά σύμβολα ως το πρώτο τον κωδικών λέξεων που θα προκύψουν Βήμα 4 ο : Επαναλαμβάνουμε τα βήματα 2 & 3 για κάθε μία από τις ομάδες προσθέτοντας κάθε φορά και από ένα κωδικό σύμβολο στην κωδική λέξη μέχρι να δημιουργήσουμε ομάδες με ένα μόνο σύμβολο Ο αλγόριθμος FANO δημιουργεί κώδικες όπου όλες οι κωδικές λέξεις είναι του ίδιου μήκους εάν η διαίρεση σε υποομάδες γίνεται πάντα με την ίδια πιθανότητα.

Αλγόριθμος Κωδικοποίησης FANO Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO

Αλγόριθμος Κωδικοποίησης FANO Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO {s,s2} /2 /2 {s3,,s}

Αλγόριθμος Κωδικοποίησης FANO {s,s2} /4 {s} Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO /2 /4 {s2} /2 {s3,,s}

Αλγόριθμος Κωδικοποίησης FANO {s,s2} /4 {s} Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO /2 /4 {s2} {s3,s4} /2 {s3,,s} /4 /4 {s5,,s}

Αλγόριθμος Κωδικοποίησης FANO {s,s2} /4 {s} Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO {s3} /2 /4 {s2} /8 {s4} /2 {s3,,s} /4 {s3,s4} /8 /4 {s5,,s}

Αλγόριθμος Κωδικοποίησης FANO {s,s2} /4 {s} Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO {s3} /2 /4 {s2} /8 {s4} /2 {s3,,s} /4 /4 {s3,s4} {s5,,s} /8 /8 /8 {s5,s6} {s7,,s}

Αλγόριθμος Κωδικοποίησης FANO /2 /2 {s,s2} {s3,,s} /4 /4 /4 /4 {s} {s2} {s3,s4} {s5,,s} Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO /8 /8 /8 /8 {s3} {s4} {s5,s6} {s7,,s} /6 /6 {s5} {s6}

Αλγόριθμος Κωδικοποίησης FANO /2 /2 {s,s2} {s3,,s} /4 /4 /4 /4 {s} {s2} {s3,s4} {s5,,s} Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO /8 /8 /8 /8 {s3} {s4} {s5,s6} {s7,,s} /6 /6 /6 /6 {s5} {s6} {s7,s8} {s9,s}

Αλγόριθμος Κωδικοποίησης FANO /2 /2 {s,s2} {s3,,s} /4 /4 /4 /4 {s} {s2} {s3,s4} {s5,,s} Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO /8 /8 /8 /8 {s3} {s4} {s5,s6} {s7,,s} /6 /6 /6 /6 {s5} {s6} {s7,s8} {s9,s} /32 /32 {s7} {s8}

Αλγόριθμος Κωδικοποίησης FANO /2 /2 {s,s2} {s3,,s} /4 /4 /4 /4 {s} {s2} {s3,s4} {s5,,s} Παράδειγμα S={s,s2,,s} {,2,,}={/4,/4,/8,/8,/6,/6,/32,/32,/32,/32} Ποιες είναι οι κωδικές λέξεις χρησιμοποιώντας τον αλγόριθμο FANO /8 /8 /8 /8 {s3} {s4} {s5,s6} {s7,,s} /6 /6 /6 /6 {s5} {s6} {s7,s8} {s9,s} /32 /32 /32 /32 {s7} {s8} {s5} {s5}

Αλγόριθμος κωδικοποίησης SHANNON Βήμα ο : Τα σύμβολα ή τα μηνύματα) ταξινομούνται έτσι ώστε οι πιθανότητές τους είναι σε φθίνουσα ακολουθία, όπως ακριβώς και του FANO. Βήμα 2 ο : Για κάθε σύμβολο s i του οποίου η πιθανότητα εμφάνισης είναι s i ) υπολογίζεται η αθροιστική πιθανότητα P j ως εξής: Βήμα 3 ο : Το μήκος της κωδικής λέξης που αντιστοιχεί στο σύμβολο s i ισούται με τον ακέραιο αριθμό l i, που πληροί τη σχέση i Pi s j ), P, i 2,..., n j l log 2 i s i Βήμα 4 ο : Η κωδική λέξη c i που αντιστοιχεί στο σύμβολο πηγής s i είναι το δυαδικό ανάπτυγμα του κλάσματος P i μόνο τα πρώτα l i bits αναπτύγματος)

Αλγόριθμος κωδικοποίησης SHANNON Μετατροπή δεκαδικού κλασματικού αριθμού σε δυαδικό Ισχύει ότι το δυαδικό ανάπτυγμα ενός δεκαδικού αριθμού F είναι k i όπου τα α i είναι ή F i Πολλαπλασιάζοντας το F με το 2 έχουμε ότι 2 i. 2 2F k k i i a i2 2 Από αυτό προκύπτει ότι το α ισούται με εάν 2F < και εάν 2F Ομοίως τo α 2 ισούται με εάν το 22F-α )< και εάν 22F-α ), κοκ

Αλγόριθμος κωδικοποίησης SHANNON Παράδειγμα μετατροπής δεκαδικού κλάσματος σε δυαδικό F=.375 2F=2*.375=.75 < α = 22F-α )=2*.75=.5 α 2 = 222F-α )-α2)=2.5-)= α 3 = Άρα το δυαδικό ανάπτυγμα του.375 είναι. F=.327 2*.327=.654 < α = 2*.654=.38 α 2 = 2*.38-)=.66 < α 3 = 2*.66=.232 α 4 = 2*.232-)=.464 < α 5 = 2*.464=.928 < α 6 = 2*.928=.956 α 7 = 2*.956-)=.92 α 8 = 2*.92-)=.824 α 9 = Άρα το δυαδικό ανάπτυγμα του.327 είναι. Παρατηρούμε ότι είναι δυνατόν το δυαδικό ανάπτυγμα ενός κλάσματος να αποτελείται από άπειρα δυαδικά ψηφία

Αλγόριθμος κωδικοποίησης SHANNON Παράδειγμα

Κωδικοποίηση HUFFMAN ) Δοθείσας μιας πηγής συμβόλων με πιθανότητες εμφάνισης i, πως μπορούμε να σχεδιάσουμε ένα βέλτιστο άμεσο κώδικα; Με τον όρο βέλτιστο εννοούμε ελαχιστοποίηση του μέσου μήκους των κωδικών λέξεων ακεραίου μήκους. Η διαδικασία Huffman βασίζεται σε δύο παρατηρήσεις που έχουν σχέση με βέλτιστους κώδικες: Σε έναν βέλτιστο κώδικα τα σύμβολα που εμφανίζονται συχνότερα μεγαλύτερη πιθανότητα εμφάνισης) θα πρέπει να αντιστοιχούν σε μικρότερες κωδικές λέξεις απ ότι σύμβολα με μικρότερη συχνότητα εμφάνισης Σε ένα βέλτιστο κώδικα τα δύο σύμβολα με τη μικρότερη πιθανότητα εμφάνισης αντιστοιχούν σε κωδικές λέξεις ίδιου μήκους

Κωδικοποίηση HUFFMAN 3) Αλγόριθμος κωδικοποίησης HUFFMAN Ο αλγόριθμος Huffman κατασκευάζει το δυαδικό δέντρο αρχίζοντας από τα φύλλα του και προχωράει προς τη ρίζα του. Βήμα ο : Τα σύμβολα ή τα μηνύματα) ταξινομούνται έτσι ώστε οι πιθανότητές τους είναι σε φθίνουσα ακολουθία. Βήμα 2 ο : Στη συνέχεια παίρνουμε τα δύο σύμβολα με τις μικρότερες πιθανότητες. Γι αυτά μέσα από την διαδικασία του αλγορίθμου θα αναθέσουμε, τις μακρύτερες δυνατές κωδικές λέξεις έτσι ώστε αυτές να έχουν το ίδιο μήκος και να διαφέρουν στο τελευταίο τους ψηφίο. Το βήμα αυτό θα δημιουργήσει το τελευταίο από τα ψηφία της κωδικής λέξης Βήμα 3 ο : Συνδυάζοντας τα δύο σύμβολα που επιλέξαμε στο βήμα 2 σε ένα και αναθέτοντας στο συνδυασμένο σύμβολο το άθροισμα των πιθανοτήτων των επιμέρους συμβόλων επαναλαμβάνουμε τη διαδικασία από το βήμα μεταξύ των συμβόλων που απομένουν και του συμβόλου που δημιουργήσαμε μέχρις ότου καταλήξουμε σε ένα σύμβολο με πιθανότητα. Βήμα 4 ο : Οι κωδικές λέξεις που αντιστοιχούν στο κάθε σύμβολο αποτελούνται από τις ακολουθίες και που δημιουργούνται αν διατρέξουμε το δένδρο που δημιουργήθηκε από τον κόμβο με το μοναδικό σύμβολο προς τα σύμβολα από τα οποία ξεκινήσαμε

Κωδικοποίηση HUFFMAN 4) Παράδειγμα s i α β γ δ ε i,25.25.2.5.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα s i i H α β γ δ ε,25.25.2.5.5 2. 2. 2.3 2.7 2.7

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25 β γ δ ε.25.2.5.5 s i i H α β γ δ ε,25 2..25 2..2 2.3.5 2.7.5 2.7

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25 β.25 s i i H α,25 2. γ.2 β.25 2. γ.2 2.3 δ.3 δ ε.5.5 2.7 2.7 ε

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25 β.25 s i i H α,25 2. γ.2 β.25 2. γ.2 2.3 δ.5.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25 β.45 s i i H α,25 2. γ β.25 2. γ.2 2.3 δ.5.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25 β.25.45 s i i H γ.2 α β,25.25 2. 2. γ.2 2.3 δ.5.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25 β.25.45 s i i H γ.2 α β,25.25 2. 2. γ.2 2.3 δ.5.3.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.55 β.25.45 s i i H γ.2 α β,25.25 2. 2. γ.2 2.3 δ.5.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25.55 β.25.45 s i i H γ.2 α β γ,25.25.2 2. 2. 2.3 δ.5.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25.55 β.25.45.45 s i i H γ.2 α β γ,25.25.2 2. 2. 2.3 δ.5.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25.55 β.25.45 s i i H γ.2 α β γ,25.25.2 2. 2. 2.3 δ.5.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25.55 β.25.45 s i i H Cs i ) γ.2 α β γ,25.25.2 2. 2. 2.3 δ.5.3 δ ε.5.5 2.7 2.7 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25.55 β.25.45 s i i H l i Cs i ) γ.2 α β γ,25.25.2 2. 2. 2.3 2 2 2 δ.5.3 δ ε.5.5 2.7 2.7 3 3 ε.5

Κωδικοποίηση HUFFMAN 4) Παράδειγμα α.25.55 β.25.45 s i i H l i Cs i ) γ.2 α β γ,25.25.2 2. 2. 2.3 2 2 2 δ.5.3 δ ε.5.5 2.7 2.7 3 3 ε.5 2.2855 2.3

Κωδικοποίηση HUFFMAN 6) Παρατηρήσεις σχετικά με τον αλγόριθμο Huffman Αποδεικνύεται ότι κανένας άλλος αλγόριθμος δεν μπορεί να οδηγήσει στην κατασκευή κώδικα με μικρότερο μέσο μήκος κωδικών λέξεων για ένα δεδομένο αλφάβητο πηγής. Η κατασκευή του δένδρου γίνεται από τα φύλλα προς τη ρίζα του δένδρου,

Κωδικοποίηση HUFFMAN 7) ΑΚΟΛΟΥΘΙΕΣ ΣΥΜΒΟΛΩΝ Μειονεκτήματα αλγορίθμου Huffman Υπόθεση: Τα σύμβολα της πηγής παράγονται ανεξάρτητα το ένα από το άλλο. Τι γίνεται όμως αν τα σύμβολα αυτά εξαρτώνται από το ποια σύμβολα έχουν παραχθεί στο άμεσο παρελθόν; Γνωρίζουμε ότι ο αλγόριθμος Huffman παράγει βέλτιστο κώδικα και άρα βάσει του θεωρήματος ισχύει ότι ΗΧ) LC,X) < HX)+ Άρα κατά μέσο όρο και ανά σύμβολο έχουμε πλεονάζοντα bits μεταξύ και. Αν η εντροπία ΗΧ) της πηγής είναι μεγάλη τότε το πλεονάζον αυτό bit, LC,X)-HX), θα ήταν αμελητέο στην παραγωγή μηνυμάτων. Αν όμως η εντροπία είναι μικρότερη από bit τότε το πλεονάζον bit θα ήταν καθοριστικό στην παραγωγή μηνυμάτων. Χρειάζεται να ξέρουμε τις πιθανότητες εμφάνισης εκ των προτέρων. Αν όχι τότε θα πρέπει να συλλέξουμε πρώτα τα στατιστικά μιας πηγής και μετά να εφαρμόσουμε τον αλγόριθμο Έτσι λοιπόν παρόλο που οι κώδικες Huffman θεωρούνται βέλτιστοι αυτό αφορά στην παραγωγή συμβόλων και όχι στην παραγωγή μηνυμάτων που είναι και αυτό που χρειαζόμαστε στην πράξη.

Κωδικοποίηση HUFFMAN 8) Παράδειγμα Έστω μία πηγή με αλφάβητο Α={α,α 2,α 3 } και P={.8,.2,.8}. ΗΑ)=,86 bits/smbol Εφαρμόζοντας τον αλγόριθμο του Huffman παίρνουμε τις εξής κωδικές λέξεις και μήκη Παρατηρούμε ότι το μέσο μήκος κωδικής λέξης είναι.2 bits/smbol το οποίο απέχει κατά 47% από την εντροπία δηλαδή υπάρχει πλεονασμός κατά.384 bits/smbol. Σε επίπεδο μηνυμάτων ακολουθίες συμβόλων) αυτός ο πλεονασμός παίζει καθοριστικό ρόλο Π.χ. Για ακολουθίες μηνυμάτων που αποτελούνται από Ν= σύμβολα τότε σύμφωνα με την κωδικοποίηση κατά Huffman θα παράγαμε κατά μέσο όρο 384 bits περισσότερα από τα 86 που είναι τα αναγκαία Τι πρέπει να γίνει; α i i H l i Cα i ) α α 2 α 3.8. 2.322 5.644 2.8 2.474 2,86,2 HΑ) LC,Α) ΠΛΗ22 : Βασικά Ζητήματα Δικτύων Η/Υ 46

Κωδικοποίηση HUFFMAN 9) Παράδειγμα συνέχεια) Να εφαρμόσουμε τον αλγόριθμο όχι σε επίπεδο συμβόλων αλλά σε επίπεδο μηνυμάτων. Έτσι για μηνύματα δύο συμβόλων έχουμε Το μέσο μήκος κάθε κωδικής λέξης που αντιστοιχεί σε μήνυμα 2 συμβόλων είναι.7228 bits και άρα κάθε σύμβολο το μέσο μήκος κωδικής λέξης ανά σύμβολο είναι.7228/2=.864 bits το οποίο συγκρινόμενο με την εντροπία ΗΑ)=.86 είναι μόλις κατά 5.5% προσαυξημένο Το πρόβλημα που παρουσιάζει αυτή η μέθοδος στην πράξη είναι ότι χρειάζεται να υπολογίσουμε όλες τις πιθανότητες των πιθανών μηνυμάτων. Για ένα αλφάβητο με n σύμβολα και μηνύματα μήκους m τότε το σύνολο όλων των μηνυμάτων είναι m n, δηλαδή για ένα αλφάβητο 5 συμβόλων και μηνύματα μήκους θα χρειαστεί να υπολογίσουμε περίπου εκ. πιθανότητες πρώτα!! α i i H l i Cα i ) α α α α 2 α α 3 α 2 α α 2 α 2 α 2 α 3 α 3 α.64. 6.44.6. 4.36. 44.644 5.966 2.796 5.966.288 8.8 2.796,632 HΑ 2 ) 5 2 6 8 7,7228 LC,Α 2 ) α 3 α 2.36 8.8 8 α 3 α 3.324 4.948 4 3 2*HΑ) LC,Α 2 )/2=,86