Συμπίεση Δεδομένων

Transcript

1 Συμπίεση Δεδομένων

2 Μοναδικά Αποκωδικοποιήσιμοι Κώδικες Δρ. Ν. Π. Σγούρος

3 Έλεγος μοναδικής Αποκωδικοποίησης Γενικοί ορισμοί Έστω δύο κωδικές λέξεις α,β με μήκη,m και <m Έστω ότι τα πρώτα στοιεία της λέξης β είναι η λέξη α τότε : η λέξη α καλείται πρόθεμα της β τα υπολειπόμενα m- στοιεία της λέξης β καλούνται κατάληξη της β Δρ. Ν. Π. Σγούρος 3

4 Έλεγος μοναδικής Αποκωδικοποίησης Έλεγος Sardias-Patterso Κατασκευή λίστας όλων των κωδικών λέξεων Εξέταση όλης της λίστας για την εύρεση ζευγαριών όπου μια κωδική λέξη να είναι πρόθεμα μιας άλλης. Για κάθε ένα από τα παραπάνω ζευγάρια αποθήκευση της κατάληξης στη λίστα κωδικών λέξεων Επανάληψη της παραπάνω διαδικασίας με τη νέα λίστα μέρι να συμβεί μία από τις παρακάτω συνθήκες τερματισμού: Προκύπτει κατάληξη η οποία είναι κωδική λέξη ( Ο κώδικας όι μοναδικά αποκωδικοποιήσιμος) Δεν προκύπτουν νέες καταλήξεις για καταώρηση στη λίστα (Ο κώδικας μοναδικά αποκωδικοποιήσιμος Δρ. Ν. Π. Σγούρος 4

5 Παράδειγμα (κώδικες άσκησης.) Ποιοι από τους παρακάτω κώδικες είναι μοναδικά αποκωδικοποιήσιμοι S i p i Κώδικας Α Κώδικας Β Κώδικας Γ Κώδικας Δ Κώδικας Ε Κώδικας ΣΤ S1 0, S 0, S3 0, S4 0, l(bits/symbol) 1,5 1,75 1,75,15 1,75 Δρ. Ν. Π. Σγούρος 5

6 Προθεματικοί Κώδικες Υποκατηγορία των μοναδικά αποκωδικοποιήσιμων κωδίκων (Ονομάζονται και άμεσα αποκωδικοποιήσιμοι) Καμία κωδική λέξη δεν είναι πρόθεμα άλλης κωδικής λέξης Έλεγος αν ένας κώδικας είναι προθεματικός: Σεδιασμός δυαδικού δέντρου που αναπαριστά όλες τις κωδικές λέξεις (με την ίδια σύμβαση διακλάδωσης [π.. αριστερά 1, δεξιά 0]) Εξέταση κόμβων του δέντρου: Ύπαρξη εσωτερικών κόμβων του δέντρου που είναι κωδικές λέξεις (Ο κώδικας δεν είναι προθεματικός) Δρ. Ν. Π. Σγούρος 6

7 Παράδειγμα Να εξετάσετε ποιοι από τους κώδικες Δ,Ε,ΣΤ είναι προθεματικοί Δ={0,01,011,111} Ε={00,01,10,110} Δρ. Ν. Π. Σγούρος 7

8 Ανισότητα Kraft-McMilla Έστω ένας κώδικας ο οποίος αποτελείται από Ν κωδικές λέξεις με μήκη l 1,l, l N. Αν ο κώδικας είναι μοναδικά αποκωδικοποιήσιμος τότε θα ισύει ότι : Ν ι=1 l i 1 Αν υπάρουν ακέραιοι l 1,l, l N για τους οποίους να ισύει η συνθήκη Ν ι=1 l i 1 τότε μπορεί να βρεθεί προθεματικός κώδικας με μήκη κωδικών λέξεων l 1,l, l N Για κάθε μοναδικά αποκωδικοποιήσιμο κώδικα μπορεί να βρεθεί ένας προθεματικός κώδικας με το ίδιο μήκος κωδικών λέξεων Δρ. Ν. Π. Σγούρος 8

9 Απωλεστική κωδικοποίηση Δρ. Ν. Π. Σγούρος 9

10 Κωδικοποίηση Πηγής Πηγή Πληροφορίας u Κωδικοποιητής Κανάλι û Χωρίς θόρυβο Αποκωδικοποιητής Κωδικοποίηση Μη απωλεστική Απωλεστική û û Δρ. u u Ν. Π. Σγούρος 10

11 Μετασηματισμοί (Γενικά) Τα αρικά δεδομένα μετασηματίζονται σε ένα νέο ώρο και οι συντελεστές παράγονται με βάση αυτή τη διαδικασία κβαντίζονται εισάγοντας παραμόρφωση Είναι αναγκαίος ο σεδιασμός βέλτιστων κβαντιστών και σημάτων κωδικοποίησης ώστε τα διαθέσιμα bits να διανέμονται με το βέλτιστο τρόπο ανάμεσα στους συντελεστές (bit allocatio) Δρ. Ν. Π. Σγούρος 11

12 Μέτρα παραμόρφωσης Παραμόρφωση Hammig 1, d( u, uˆ ) 0, u uˆ ώ Παραμόρφωση Μέσου Τετραγωνικού Σφάλματος d( u, uˆ) u u ˆ N 1 d( u, uˆ) u u N i 1 ˆ i i Δρ. Ν. Π. Σγούρος 1

13 Κωδικοποίηση Πηγής Μη απωλεστικές μέθοδοι Αλγόριθμοι: Huffma, Lempel-Ziv, RLE, Αριθμητική κωδικοποίηση Το ανακτώμενο σήμα είναι ίδιο με το αρικό Περιορισμένοι βαθμοί συμπίεσης Απώλειες μόνο λόγω Αναλογικής-Ψηφιακής μετατροπή Δρ. Ν. Π. Σγούρος 13

14 Κωδικοποίηση Πηγής Απωλεστικές μέθοδοι Αν γνωρίζουμε την παραμόρφωση (D) ενός σήματος, τότε η συνάρτηση ρυθμού παραμόρφωσης R(D) δίνει το κάτω φράγμα για το ρυθμό (R) [Shao] Πρακτικές τενικές: Χρήση μετασηματισμών και κβάντιση Το ανακτώμενο σήμα δεν είναι ίδιο με το αρικό Μεγάλοι βαθμοί συμπίεσης Πώς προσδιορίζουμε την R(D); Δρ. Ν. Π. Σγούρος 14

15 Καμπύλη Ρυθμού-Παραμόρφωσης D D R(0)H R R Ποιά είναι η ελάιστη παραμόρφωση (D) για δεδομένο ρυθμό (R); Ποιός είναι ο μικρότερος ρυθμός (R) για συγκεκριμένη παραμόρφωσή (D); Δρ. Ν. Π. Σγούρος 15

16 Κατανομή των bits Έστω R tot ο επιθυμητός συνολικός ρυθμός για κάθε διάνυσμα u u1, u,..., u Τότε αν R ο ρυθμός για κάθε συνιστώσα προκύπτει ότι 1 R R tot T Πώς επιλέγουμε τα R 1,R, R ώστε να ελαιστοποιήσουμε τη συνολική παραμόρφωση D tot Δρ. Ν. Π. Σγούρος 16

17 Κατανομή των bits Αναζητούμε το ελάιστο της ποσότητας D ( R ) D ( R )... D ( R ) 1 1 με εξαντλητικές δοκιμές! Μήπως μπορεί να επιτευθεί ο προσδιορισμός με καλύτερο τρόπο; Ναι, αν είναι γνωστή η κατανομή που ακολουθούν οι συνιστώσες του διανύσματος u Δρ. Ν. Π. Σγούρος 17

18 Συνάρτηση R(D) Αποδεικνύεται ότι για Gaussia πηγή ωρίς μνήμη, της οποίας κάθε δείγμα έει μέση τιμή μηδέν και διασπορά σ, ισύει ότι : Και ισοδύναμα DR ( ) R 1 log 0 D RD ( ) D 0 ώ Δρ. Ν. Π. Σγούρος 18

19 Κατανομή των bits Είναι προφανές ότι με βάση τον προηγούμενο περιορισμό θα ισύει ότι D R R ( ) Διακρίνουμε περιπτώσεις σ 1 = σ 1 =... =σ = σ 1 σ 1... σ σ όπου 1 1 Δρ. Ν. Π. Σγούρος 19

20 Ίσες Διασπορές Έουμε δει ότι R Rtot και θα ισύει R R 1... R Rc 1 οπότε Επίσης R c R tot D mea = 1 =1 D (R ) D mea = σ R c D mea = 1 σ R =1 D mea = σ R tot Δρ. Ν. Π. Σγούρος 0

21 Ανισες Διασπορές Έστω σ 1 σ 1... σ. Τότε πρέπει να ελαιστοποιήσουμε την παράσταση: R 1 R 1 R... με βάση τον περιορισμό: 1 R R tot Ποιοτικά η βέλτιστη επιλογή θα πρέπει να ικανοποιεί την : R 1 R R Δρ. Ν. Π. Σγούρος 1

22 Ανισες Διασπορές D 1 (R 1 ) D (R ) D (R ) 1 R 1 R R R R R Ποσοτικά, η εκλογή των ρυθμών R 1,R, R γίνεται με βάση τον ισυρισμό ότι η συνολική παραμόρφωση ελαιστοποιείται όταν dd1 ( R1 ) dd ( R ) dd( R)... dr dr dr 1 Δρ. Ν. Π. Σγούρος

23 Άνισες διασπορές Για τον τυαίο όρο D (R ) θα ισύει ότι: Άρα D R ( R ) dd dr ( R ) D mea = 1 =1 R l D( R) cost. l D (R ) D mea = 1 λ l =1 D mea = λ l = D Δρ. Ν. Π. Σγούρος 3

24 Άνισες Διασπορές Ποιά σέση μας δίνει τους ρυθμούς R ; Με βάση τους προηγούμενους υπολογισμούς έουμε: 1 l R l R log R 1 D log Δρ. Ν. Π. Σγούρος 4

25 Άνισες Διασπορές Ο συνολικός ρυθμός γίνεται: R 1 D 1 tot R log log 1 1 D 1 Ενώ η μια πιο γενική έκφραση για τη συνολική μέση παραμόρφωση D mea μπορεί να γραφεί ως: D = R tot σ D mea=d κ Dmea = R tot σ κ =1 =1 Δρ. Ν. Π. Σγούρος 5

26 Άνισες Διασπορές Αντίστοια με βάση το τελευταίο αποτέλεσμα προκύπτει ότι: R Συμπεράσματα R tot 1 i1 log Όσο μεγαλύτερη η διασπορά τόσο μεγαλύτερος ο ρυθμός που απαιτείται για κάποιο R ώστε να ελαιστοποιηθεί η παραμόρφωση Όσο αυξάνεται η ανισοκατανομή στα τόσο μειώνεται η D mea άρα και η D tot για σταθερό ρυθμό R tot i Δρ. Ν. Π. Σγούρος 6

27 Οριακές καμπύλες διαφόρων σ.π.π. για μετρική MSE (Όριο Shao) Gaussia σ.π.π. D s R = σ R Laplacia σ.π.π. D s R = e π σ R Ομοιόμορφη σ.π.π. D s R = 6 π e σ R Δρ. Ν. Π. Σγούρος 7

28 Άσκηση 3.1 Έστω μία δυαδική πηγή ωρίς μνήμη με ισοπίθανα σύμβολα. Αν θεωρήσουμε ότι κατά την εκπομπή Ν συμβόλων η πηγή εκπέμπει μόνο τα Ν-1 ενώ το άλλο αποκωδικοποιείται τυαία στο δέκτη και ότι για την εκτίμηση της παραμόρφωσης της πηγής ρησιμοποιείται η μετρική Hammig, να υπολογίσετε το ρυθμό εκπομπής Να βρείτε μία σέση που συνδέει το ρυθμό με την παραμόρφωση της πηγής. Δρ. Ν. Π. Σγούρος 8

29 Άσκηση 3.(Proais 6.4) Αν μία συνάρτηση ρυθμού παραμόρφωσης για μία Laplacia σ.π.π. f X x = 1 x λ e λ και παραμόρφωση d x, x = x x δίνεται από τη σέση R D = log λ D 0 D λ 0 D > λ Να υπολογίσετε πόσα bits/δείγμα απαιτούνται για την επίτευξη παραμόρφωσης που δεν υπερβαίνει την τιμή λ Πώς επιδρά η τιμή του λ στην γραφική παράσταση της καμπύλης R(D) Δρ. Ν. Π. Σγούρος 9

30 Άσκηση 3.3 Να υπολογίσετε την οριακή καμπύλη ρυθμού παραμόρφωσης, θεωρώντας μετρική μέσου τετραγωνικού σφάλματος για τις ακόλουθες σ.π.π. f X x = λ e λx, x > 0 (ισύει D s R = e π σ R ) f X x = λ e λ x (ισύει D s R = e π σ R ) Για την ίδια παραμόρφωση και για την ίδια τιμή του λ ποια πηγή από τις δύο απαιτεί μικρότερο ρυθμό; Δρ. Ν. Π. Σγούρος 30