Συμπίεση Δεδομένων

Transcript

1 Συμπίεση Δεδομένων

2 Κβάντιση Δρ. Ν. Π. Σγούρος 2

3 Άσκηση 5.1 Για ένα σήμα που έχει τη σ.π.π. του σχήματος να υπολογίσετε: μήκος του δυαδικού κώδικα για Ν επίπεδα κβάντισης για σταθερό μήκος λέξης; το εύρος του διαστήματος κβάντισης την παραμόρφωση λόγω της κβάντισης το SQNR Μία έκφραση για την καμπύλη ρυθμού παραμόρφωσης Δρ. Ν. Π. Σγούρος 3

4 Μη ομοιόμορφοι βαθμωτοί κβαντιστές Τα διαστήματα κβάντισης δεν έχουν σταθερό εύρος Πηγή: Sayood Δρ. Ν. Π. Σγούρος 4

5 Μη ομοιόμορφοι βαθμωτοί κβαντιστές Πρόβλημα προσδιορισμού Ν σταθμών κβάντισης και Ν-1 διαστημάτων κβάντισης, δηλαδή 2Ν-1 παραμέτρων D = = x x 2 f X x dx a 1 x x1 2 f X x dx + N 2 i=1 a i a i+1 x xi+1 2 f X x dx + α Ν 1 x x Ν 2 f X x dx Δρ. Ν. Π. Σγούρος 5

6 Βέλτιστος μη ομοιόμορφος βαθμωτός κβαντιστής Διαφόριση της παραμόρφωσης ως προς α i και ως προς x i. Ελαχιστοποίηση της παραμόρφωσης ( θd θa i = 0, θd θ x i = 0) Δρ. Ν. Π. Σγούρος 6

7 Βέλτιστος μη ομοιόμορφος βαθμωτός κβαντιστής θd θa i = 0 a i = 1 2 ( x i + x i+1 ) θd θx i = 0 a i x i = a i 1 a i a i 1 xf X x dx f X x dx Δρ. Ν. Π. Σγούρος 7

8 Βέλτιστος μη ομοιόμορφος βαθμωτός κβαντιστής Κριτήρια για βέλτιστο βαθμωτό κβαντιστή (Lloyd-Max) Τα άκρα των περιοχών κβάντισης δίνονται από τον αριθμητικό μέσο των γειτονικών τιμών κβάντισης Οι τιμές κβάντισης είναι τα κέντρα μάζας των περιοχών κβάντισης Δεν δίνονται αναλυτικές λύσεις για το βέλτιστο κβαντιστή αλλά είναι δυνατός ο υπολογισμός μέσω επαναληπτικής μεθόδου Δρ. Ν. Π. Σγούρος 8

9 Σχεδιασμός βέλτιστου μη ομοιόμορφου κβαντιστή 1. Θέσε j=1 και όρισε μια μονότονα αύξουσα ακολουθία από N στάθμες κβάντισης: x j1, x j2,, x jn 2. Όρισε τα Ν-1σημεία διαχωρισμού των διαστημάτων κβάντισης a ji ώστε: a ji = 1 2 x ji + x ji+1 3. Θέσε j=j+1 και όρισε τις Ν νέες τιμές των σταθμών κβάντισης ως: a j 1,i xfx x ji = a x dx j 1,i 1 aj 1, i fx x dx a j 1,i 1 4. Επανάλαβε από το βήμα 2 μέχρι η μετακίνηση των σημείων κβάντισης να γίνει μικρότερη από ένα ορισμένο κατώφλι. Δρ. Ν. Π. Σγούρος 9

10 Σύγκριση ομοιόμορφου μη ομοιόμορφου κβαντιστή Για βέλτιστους ομοιόμορφους (Optimal Uniform Quatnizer-OUQ) και μη ομοιόμορφους (Optimal Non-Uniform Quantizer ONUQ) κβαντιστές με ίδιο πλήθος σταθμών προκύπτει ότι: Η ποσότητα SQNR είναι μεγαλύτερη για τους ONUQ σε σχέση με τους OUQ και η διαφορά μεγαλώνει με αύξηση του πλήθους των σταθμών (1.5dB,N=28) Η ποσότητα SQNR δεν διαφέρει μεταξύ των ONUQ και των OUQ αν χρησιμοποιηθούν κωδικοποιητές εντροπίας Δρ. Ν. Π. Σγούρος 10

11 Σύγκριση ομοιόμορφου μη ομοιόμορφου κβαντιστή Optimum Uniform Quantizer Optimum Non-Uniform Quantizer Optimum Uniform Quantizer Optimum Non-Uniform Quantizer 2 /D db /D db Number of Quantisation Levels coding bits per sample Δρ. Ν. Π. Σγούρος 11

12 Σύγκριση ομοιόμορφου μη ομοιόμορφου κβαντιστή Συμπεράσματα Αν χρησιμοποιήσουμε κώδικα εντροπίας για την κωδικοποίηση του κβαντισμένου σήματος/πηγής μπορεί να χρησιμοποιηθεί ο OUQ Αν χρησιμοποιηθεί κώδικας σταθερού μήκους η απόδοση είναι μεγαλύτερη αν χρησιμοποιηθεί ο ONUQ Δρ. Ν. Π. Σγούρος 12

13 Παλμοκωδική διαμόρφωση Θεωρείστε ότι το σήμα x(t) έχει PDF f X (x) συμμετρικό ως προς το μηδέν και ότι ισχύει f X (x)=0 εκτός του πεπερασμένου διαστήματος [ x max, x max ]. Δρ. Ν. Π. Σγούρος 13

14 Παλμοκωδική διαμόρφωση Θεωρείστε ότι το σήμα x(t) έχει σ.π.π f X (x) συμμετρικό ως προς το μηδέν και ότι ισχύει f X (x)=0 εκτός του πεπερασμένου διαστήματος [ x max, x max ]. Ορίζουμε έναν ομοιόμορφο κβαντιστή με Ν διαστήματα κβάντισης ίσου μήκους Δ και ορίζουμε το μέσον κάθε διαστήματος ως στάθμη κβάντισης. Δρ. Ν. Π. Σγούρος 14

15 Παράδειγμα 5.1 Ποιο το εύρος του διαστήματος κβάντισης στην παλμοκωδική διαμόρφωση; Ποιο το εύρος του διαστήματος κβάντισης για δυαδικό κώδικα σταθερού μήκους; Δρ. Ν. Π. Σγούρος 15

16 Παράδειγμα 5.1 Ποιο το εύρος του διαστήματος κβάντισης στην παλμοκωδική διαμόρφωση; 2x max N Ποιο το εύρος του διαστήματος κβάντισης για δυαδικό κώδικα σταθερού μήκους; 2x max N x max 1 2 v Δρ. Ν. Π. Σγούρος 16

17 Παράδειγμα 5.1 Ποια η διακύμανση του σφάλματος; Ποιο το SQNR του κβαντισμένου σήματος; Δρ. Ν. Π. Σγούρος 17

18 Παράδειγμα 5.1 Ορίζοντας την ισχύ της κανονικοποιημένης μορφής του σήματος ως P mn X x 2 2 max Η έκφραση για το SQNR θα παίρνει τη μορφή SQNR 34 v Pmn Δρ. Ν. Π. Σγούρος 18

19 Παράδειγμα 5.1 Η μετατροπή του SQNR σε μονάδες db παίρνει τη μορφή SQNR 6v 4.8 P db mn db Παρατηρήσεις αύξηση της τιμής του ρυθμού κωδικοποίησης ν κατά μία μονάδα, αυξάνει την ποιότητα του σήματος κατά 6 db Η τιμή του όρου P mndb εξαρτάται αποκλειστικά από τη σ.π.π. f X (x) του σήματος που διαβιβάζεται μέσω του PCM. Για ομοιόμορφη σ.π.π. του σήματος x(t) P mn =1/3 και P mndb =-4.8 db οπότε επαληθεύονται τα αποτελέσματα της ασκησης 5.1. Δρ. Ν. Π. Σγούρος 19

20 Μη ομοιόμορφη παλμοκωδική διαμόρφωση Συμπιεστής Αποσυμπιεστής Δρ. Ν. Π. Σγούρος 20

21 Μη ομοιόμορφη παλμοκωδική διαμόρφωση Συμπιεστής τύπου μ (ΗΠΑ) g x log 1 xx log 1 max sgn x Δρ. Ν. Π. Σγούρος 21

22 Μη ομοιόμορφη παλμοκωδική διαμόρφωση Συμπιεστής τύπου Α (Καναδάς-Ευρώπη) g x A x xmax sgn x, 0 x xmax 1 A 1 log A 1 log A x xmax sgn x, 1 A x xmax 1 1 log A Δρ. Ν. Π. Σγούρος 22

23 Συμπιεστές - Αποσυμπιεστές Συμπιεστής Ομοιόμορφος Αποσυμπιεστής Μη Ομοιόμορφος Δρ. Ν. Π. Σγούρος 23

24 Διανυσματική Κβάντιση Διανυσματική κβάντιση Ρυθμός κώδικα Κ=16 Κ=37 R = logk n bits Εξοδο πηγης Δρ. Ν. Π. Σγούρος 24

25 Παράδειγμα 5.2 Έστω πηγή η οποία παράγει ζευγάρια αριθμών (π.χ. ύψος, βάρος): Υ [160,200] και Β [60,130] οι οποίοι ακολουθούν ομοιόμορφη κατανομή. Για την κωδικοποίηση χρησιμοποιούνται 4 bit ανά ζευγάρι. Πόσα επίπεδα θα μπορούσαν να οριστούν για κάθε μία μεταβλητή του ζευγαριού; Αναθέτωντας 2 bit ανα μεταβλητή το διάστημα στο οποίο ανήκει μπορεί να χωριστεί σε 4 επίπεδα Ποια η μορφή ενός ομοιόμορφου διανυσματικού κβαντιστή για το παραπάνω σύνολο δεδομένων; Υ Β Δρ. Ν. Π. Σγούρος 25

26 Παράδειγμα 5.2 Επειδή τα ύψη και τα βάρη είναι συσχετισμένα μεγέθη κάποια ζευγάρια δεν θα παρατηρούνται, ή θα παρατηρούνται εξαιρετικά σπάνια π.χ. Υ=210 cm και Β=60 kg Η τελική μορφή του κβαντιστή θα μπορούσε να είναι: Υ Β Δρ. Ν. Π. Σγούρος 26

27 Διανυσματική Κβάντιση Πηγή Ομαδοποίηση δειγμάτων πηγής (π.χ. n=2) Εύρεση κοντινότερου κωδικού διανύσματος Αντιστοίχιση διανύσματος από πίνακα κωδικών λέξεων Ανακατασκευή δειγμάτων Κωδικά διανύσματα Κωδική λέξη Κωδική λέξη Κωδικά διανύσματα Δρ. Ν. Π. Σγούρος 27

28 Βέλτιστοι διανυσματικοί κβαντιστές Ο βέλτιστος διανυσματικός κβαντιστής εξαρτάται από την επιλογή διάστασης n και πλήθους περιοχών Κ Μία περιοχή είναι το σύνολο των σημείων στο n-διάστατο χώρο που βρίσκονται πιο κοντά στη στάθμη κβάντισης x j για κάθε j i Μία στάθμη κβάντισης είναι το κέντρο μάζας της περιοχής Δρ. Ν. Π. Σγούρος 28

29 Βέλτιστοι διανυσματικοί κβαντιστές Κανονική κατανομή με n=2, Κ=64, R=3bit/έξοδο πηγής Δρ. Ν. Π. Σγούρος 29

30 Βέλτιστοι διανυσματικοί κβαντιστές Λαμβάνεται υπόψη ο ν-διάστατος συσχετισμός των δεδομένων Δρ. Ν. Π. Σγούρος 30

31 Αλγόριθμος Linde-Buzo-Gray (LBG) Αποτελεί γενίκευση του Αλγορίθμου Lloyd για τους βέλτιστους βαθμωτούς κβαντιστές Εϊναι μία μέθοδος εύρεσης ενός κωδικού βιβλίου και μίας διαμέρισης του χωρου στον οποίο ορίζονται τα διανύσματα μιας πηγής η οποία εξασφαλίζει την ελάχιστη μέση παραμόρφωση. Δρ. Ν. Π. Σγούρος 31

32 Αλγόριθμος Linde-Buzo-Gray (LBG) Αρχικό κωδικό βιβλίο Για τα υπόλοιπα διανύσματα εκπαίδευσης βρες το διάνυσμα κβάντισης με την μικρότερη παραμόρφωση και τοποθέτησε το στο ίδιο κελί Διανύσματα εκπαίδευσης Αντιπροσωπευτικό Διάνυσμα Ενδιάμεσο κωδικό βιβλίο Ενημερωμένο (Ενδιάμεσο) κωδικό βιβλίο Βρές νέο αντιπροσωπευτικό Διάνυσμα σε κάθε κελί ώστε να ελαχιστοποιηθεί το σφάλμα Υπολόγισε μέση Παραμόρφωση Κατώφλί: Τέλος, το σύνολο των : Αποτελεί το κωδικό βιβλίο Δρ. Ν. Π. Σγούρος 32

33 Αλγόριθμος Linde-Buzo-Gray (LBG) Ορισμοί Έστω ένα σύνολο από Μ διανύσματα εκπαίδευσης k-διαστάσεων μιας πηγής που ορίζουν το σύνολο Τ = {x 1, x 2,, x M }. Έστω Ν<<M επιθυμητά επίπεδα (διανύσματα) κβάντισης ή κωδικές λέξεις c i στον k- διαστάσεων χώρο τα οποία θα δίνονται από την c i = x m S i x m x m S i 1 και ορίζουν το σύνολο C = {c 1, c 2,, c N }. Δρ. Ν. Π. Σγούρος 33

34 Αλγόριθμος Linde-Buzo-Gray (LBG) Ορισμοί Έστω μία περιοχή S i = {x: x c 2 i x c i 2, i = 1,2,, N} γύρω από τo διανύσμα κβάντισης c i ώστε τα διανύσματα της πηγής x που ανήκουν σε αυτή την περιοχή κωδικοποιούνται στο διάνυσμα κβάντισης c i. Ορίζεται το σύνολο των περιοχών ως P = {S 1, S 2,, S N }. Το μέσο τετραγωνικό σφάλμα του κβαντιστή θα είναι D = 1 M Mk m=1 x m Q x m 2, Q x m = c i x m S i Έστω ε>0 αυθαίρετα μικρό Δρ. Ν. Π. Σγούρος 34

35 Αλγόριθμος Linde-Buzo-Gray (LBG) Για τον ορισμό των αρχικών διανυσμάτων κβάντισης μπορεί να χρησιμοποιηθεί πληθώρα μεθόδων. Τυχαία επιλογή από τα διανύσματα του δείγματος εκπαίδευσης Μέθοδος διαίρεσης με διαταραχή των διανυσμάτων κβάντισης Εκπαίδευση με διαφορετικά υποσύνολα εκπαίδευσης Κ-NN Δρ. Ν. Π. Σγούρος 35

36 Αλγόριθμος Linde-Buzo-Gray (LBG) Υπολογισμός αρχικών διανυσμάτων με τη μέθοδο διαίρεσης 1. Για Ν=1 M c 1 = 1 M m=1 x m οπότε D = 1 M Mk m=1 x m Q x m 2 2. Για i=1,2, N 3. N = 2 N c i (0) = (1 + ε) ci (0) c N+i = (1 ε) ci Δρ. Ν. Π. Σγούρος 36

37 Αλγόριθμος Linde-Buzo-Gray (LBG) 4. i=0, D (0) = D ι. Για m=1,2, M λ=min m x m c n (i) 2 για κάθε n=1,2, N ιι. έστω ότι ο δείκτης n αντιστοιχεί στο λ. Τότε Q x m (i) = c n ιιι. Για n=1,2,,n, ενημέρωσε τις στάθμες κβάντισης c n (i+1) = Q x m =c n (i) x m Q x m =c n (i) 1 i=i+1 Δρ. Ν. Π. Σγούρος 37

38 Αλγόριθμος Linde-Buzo-Gray (LBG) Υπολόγισε την παραμόρφωση D (ι) = 1 M Mk m=1 x m Q x m 2 Όσο D(i 1) D i D (i 1) > ε επέστρεψε στο βήμα 4i Θέσε D = D (0) Για n=1,2,,n θέσε c n =c n (i) Επέστρεψε στο βήμα 3 έως ότου επιτευχθεί ο απαιτούμενος αριθμός διανυσμάτων κβάντισης Δρ. Ν. Π. Σγούρος 38