ΣΤOIΧΕΙΑ ΑΠΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και PCM

ΣΤOIΧΕΙΑ ΑΠΟ ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και PCM ΠΗΓΗ ΜΕ ΔΙΑΚΡΙΤΑ ΣΥΜΒΟΛΑ Τα στοιχεία της ακολουθίας των συμβόλων Διακριτή Πηγή Χωρίς Μνήμη-DMS Σύμβολα μεταξύ τους στατιστικά ανεξάρτητα: (X i =α k & X j =α l )= (X i =α k ) (Χ j =α l ) για κάθε i,k,j,l sagri@di.uoa.gr

Ορισμός: Πληροφορία Ι(α i ) της μεταβλητής α i καλείται η ποσότητα Ι(α i ) =-log ( i ). Ορισμός: Εντροπία Η(Χ), ή μέσο Πληροφοριακό Περιεχόμενο μιας πηγής DMS Παράδειγμα: Να υπολογίσετε την εντροπία Η b () μιας πηγής με δύο διαφορετικά σύμβολα που εμφανίζονται με πιθανότητες και -. Σχεδιάστε την παράσταση Η b () συναρτήσει του. Λύση: Η b ()=-log ()-(-)log (-) H b (): γνωστή και ως συνάρτηση δυαδικής Εντροπίας sagri@di.uoa.gr

Αποδεικνύεται: Για πηγή με Ν σύμβολα ισχύει Η(Χ) log (N) με το = να ισχύει μόνο όταν = =... = N =(/N). Απόδειξη: N N H( X) log( N) = i log i log( N) = i= i i= ( ) log( ) log ( )( ) ( ) log ( N) 0 N N = i log = i log ( e) ln i= Ni i= Ni N N H( X) log( N) = log ( e) i ln log( e) i i= Ni i= Ni N N H( X) log( N) log ( e) i i i= N i i= H X N e H X Ισχύει lnx x- για κάθε x>0 Eντροπία ή Πληροφορία της DMS Παραδείγματα sagri@di.uoa.gr 3

Αποδεικνύεται: Για την L επέκταση μιας πηγής ισχύει Η L =LH. ΚΩΔΙΚΟΠΟΙΗΤΕΣ ΠΗΓΗΣ Έστω πηγή DMS με αλφάβητο συμβόλων: Με πιθανότητες εμφάνισης :,,, N Έστω ότι κάθε σύμβολο α, α,,α Ν κωδικοποιείται με την κωδική λέξη: c,c,, c N Αντίστοιχα, με μήκος λέξης n,n,..., n N sagri@di.uoa.gr 4

R: Μέσος Αριθμός bits του κώδικα ανά σύμβολο της πηγής R = N i= i n i Προφανώς επιθυμούμε η τιμή του μικρότερη. R να είναι όσο γίνεται Θεώρημα: Έστω μια πηγή DMS με Εντροπία Η. Μπορεί να βρεθεί αλγόριθμος κωδικοποίησης με μέσο ρυθμό R = H ο οποίος κωδικοποιεί όλα τα σύμβολά της πηγής αφήνοντας στο ενδεχόμενο του λάθους πιθανότητα όσο μικρή επιθυμούμε. Θεώρημα Κωδικοποίησης Πηγής Έστω μια πηγή DMS με Εντροπία Η(Χ). Μπορεί να βρεθεί αλγόριθμος κωδικοποίησης με μέσο ρυθμό R = H ο οποίος κωδικοποιεί όλα τα σύμβολά της πηγής αφήνοντας στο ενδεχόμενο του λάθους πιθανότητα όσο μικρή επιθυμούμε.οποιοσδήποτε όμως κώδικας πηγής με R < H κωδικοποιεί τα σύμβολα της πηγής με σφάλμα που δεν μπορεί να μικρύνει κάτω από μια πεπερασμένη τιμή. sagri@di.uoa.gr 5

ΚΩΔΙΚΕΣ ΕΝΤΡΟΠΙΑΣ. Κώδικες Μεταβλητού μήκους Επιχειρούμε να κωδικοποιήσουμε στο δυαδικό τα σύμβολα της πηγής ώστε να γίνει δυνατή η ψηφιακή αποθήκευσή τους σε ψηφιακή μνήμη ή η διαβίβασή τους μέσα από ψηφιακό κανάλι. Μέσο μήκος του κώδικα Για κάθε σύμβολο α i N με πιθανότητα εμφάνισης i αντιστοιχείται μια κωδική λέξη c R= i με μήκος l i i l i bits i= με i=.,,n Συνθήκη Προθέματος: Έστω c i η κωδική λέξη του α i με μήκος λ bits τα δυαδικά ψηφία: b,b, b λ. Τότε κάθε άλλη κωδική λέξη με μήκος l l λ bits πρέπει να διαφέρει σε ένα τουλάχιστον bit από τα l πρώτα bits της c i ΣΥΝΘΗΚΗ ΠΡΟΘΕΜΑΤΟΣ N n ===> i = i ΑΝΙΣΟΤΗΤΑ KRAFT sagri@di.uoa.gr 6

Επιπλέον αποδεικνύεται ότι μπορούν να κατασκευαστούν κώδικές πηγής μεταβλητού μήκους με μέσο ρυθμό: H( X) R < H( X) + π.χ Huffman ΑΛΓΟΡΙΘΜΟΣ ΚΩΔΙΚΟΠΟΙΗΣΗΣ ΠΗΓΗΣ ΜΕΤΑΒΛΗΤΟΥ ΜΗΚΟΥΣ sagri@di.uoa.gr 7

/ 0 0 /4 /8 /6 /6 0 0 0 0 0 /8 0 / /4 5 H (X) = R= 8 ΠΑΡΑΔΕΙΓΜΑ ΜΕ ΙΣΟΠΙΘΑΝΑ ΣΥΜΒΟΛΑ H(X)=log 3=.585 R=. 667 sagri@di.uoa.gr 8

H(X)=log 3=.585 Μέτρο παραμόρφωσης για τα συνεχή σύμβολα x μιας διακριτής στο χρόνο πηγής. Έστω η ακολουθία δειγμάτων x, x,, x v, ενός αναλογικού σήματος x(t). Οι τιμές των δειγμάτων της ακολουθίας είναι πραγματικοί αριθμοί που ανήκουν σε ένα διάστημα δ. Η διαβίβαση, ή η αποθήκευση των στοιχείων αυτών είναι αδύνατη! Αντικαθιστώντας τα δείγματα της ακολουθίας με τα στοιχεία ενός πεπερασμένου αλφαβήτου, Α, προκύπτει η ακολουθία: xˆ, xˆ,, xˆ v, ΠΑΡΑΜΟΦΩΣΗ ΤΕΤΡΑΓΩΝΙΚΟΥ ΣΦΑΛΜΑΤΟΣ sagri@di.uoa.gr 9

Θεώρημα Shannon Κωδικοποίησης Gaussian Πηγής Χωρίς Μνήμη Με ρυθμό R=0, έχουμε πεπερασμένη παραμόρφωση, D=σ!!! ΠΑΡΑΔΕΙΓΜΑ sagri@di.uoa.gr 0

Μια τεχνική ορισμού του αλφαβήτου { X ˆ, X ˆ ˆ,, X N} και αντικατάσταση της {x i } από την { xˆi } είναι η βαθμωτή κβάντιση (scalar quantization) { } x i { xˆ i }. Στο πιο κάτω σχήμα το πεδίο τιμών της ακολουθία δειγμάτων {x n } είναι ολόκληρος ο άξονας των πραγματικών αριθμών.. Διαχωρίζεται το πεδίο τιμών της {x n } στα Ν διαδοχικά διαστήματα s, s,, s N και σε κάθε διάστημα s n ορίζεται μία στάθμη κβάντισης X. ˆ n 3. Για κάθε x i της ακολουθίας {x n } προσδιορίζεται το διάστημα s λ στο οποίο ανήκει το x i και τίθεται x = ˆ. ˆi X λ sagri@di.uoa.gr

ΜΕΣΗ ΠΑΡΑΜΟΡΦΩΣΗ ΤΗΣ ΚΒΑΝΤΙΖΟΜΕΝΗΣ ΑΚΟΛΟΥΘΙΑΣ Με τον κβαντιστή που παρουσιάσαμε στην προηγούμενη διαφάνεια η αρχική ακολουθία δειγμάτων: {x n }=x, x,, x i, Αντικαταστάθηκε από την ακολουθία των κβαντισμένων δειγμάτων { xˆ } = xˆ, xˆ,, xˆ, n i Κάθε στοιχείο x i της {x n } αλλάξει κατά την ποσότητα xɶ ˆ. i = xi xi Η ακολουθία { xɶ n } αποτελεί τον θόρυβο κβάντισης και η μέση τιμή του τετραγώνου της, D είναι γνωστή ως Παραμόρφωση (Distortion). D= E ( x ˆ ) i X i Αν ορίσουμε με Q(x) τη συνάρτηση που από το κάθε δείγμα x προκύπτει η αντίστοιχη στάθμη κβάντισης Xˆ i ( ) ( ) ( ˆ ) ( ) D= E xi xi = x Q x f x x dx Με βάση τον ορισμό της παραμόρφωσης μπορούμε να υπολογίσουμε την παραμόρφωση του κβαντιστή της βαθμωτής κβάντισης ως: a N a + ( ˆ ) ( ) ( ˆ X i+ ) X ( ) D x X f x dx x X f x dx ai = + + i= a N ( ˆ N) X ( ) + x X f x dx sagri@di.uoa.gr

Σε μια βαθμίδα κβάντισης η παραμόρφωση D μιας κβαντισμένης ακολουθίας είναι ανάλογη της διακύμανσης σ της ακολουθίας και επιπλέον εξαρτάται:. Από τον αριθμό Ν των σταθμών κβάντισης.. Από τον τρόπο επιλογής της ακολουθίας των διαστημάτων και των αντίστοιχων σταθμών κβάντισης σε συνδυασμό με το PDF f X (x) της ακολουθίας δειγμάτων. 3. Από την τάξη του κβαντιστή. a N a + ( ˆ ) ( ) ( ˆ X i+ ) X ( ) D x X f x dx x X f x dx ai = + + i= a N ( ˆ N) X ( ) + x X f x dx Διάταξη κβαντιστή με 8 στάθμες κβάντισης sagri@di.uoa.gr 3

ΠΑΡΑΔΕΙΓΜΑ Υπολογισμός ισχύος του σήματος και διακύμανσης της κατανομής Ρυθμός διαβίβασης R Η Συνάρτηση Πυκνότητας Πιθανότητας f x (x) = e π400 x 800 Υπολογισμός Παραμόρφωσης a 6 ai+ ( ˆ ) ( ) ( ˆ ) ( ) ( ˆ X i+ X 8) X ( ) D = x X f x dx+ x X f x dx+ x X f x dx i= ai a7 D=33.4 sagri@di.uoa.gr 4

Σχόλια και διερεύνηση Αν R=0 D=σ =400 Ο βέλτιστος κβαντιστής,, προβλέπει για R=3 bits/δείγμα D=6.5. Που οφείλεται η διαφορά;. Η κβάντιση έγινε χωριστά για κάθε δείγμα.. Δεν επιλέγησαν σωστά τα α i και οι τιμές κβάντισης. 3. Τα σύμβολα που προκύπτουν κωδικοποιήθηκαν ως ισοπίθανα πράγμα που δεν ισχύει (0.004, 0.04, 0.359, 0.344)! Λόγος Σήματος προς Θόρυβο Κβάντισης Ισχύς του Θορύβου Κβάντισης Ισχύς του Σήματος sagri@di.uoa.gr 5

ΟΜΟΙΟΜΟΡΦΗ ΚΒΑΝΤΙΣΗ Δ=(α Ν- -α )/(Ν-)=Βαθμίδα Κβάντισης Ομοιόμορφος Κβαντιστής με 7 Στάθμες Υπολογισμός Παραμόρφωσης στην Ομοιόμορφη Κβάντιση a ( ) N a i ˆ ( ) ( ˆ ) X i X ( ) D = x X f x d x + x X f x d x a N ( ˆ N ) X ( ) + x X f x d x ΒΕΛΤΙΣΤΟΣ ΟΜΟΙΟΜΟΡΦΟΣ ΚΒΑΝΤΙΣΤΗΣ Στη Γενική Περίπτωση Για δεδομένο PDF, f X (x) της ακολουθίας δεδομένων, και για δεδομένο πλήθος Ν των διαστημάτων κβάντισης να προσδιοριστεί η τιμή της βαθμίδας κβάντισης, Δ και η ακολουθία των σταθμών κβάντισης: Xˆ ˆ ˆ, X,, X N i= a i ώστε η παραμόρφωση, D, του κβαντιστή που θα προκύψει να είναι ελάχιστη. sagri@di.uoa.gr 6

ΒΕΛΤΙΣΤΟΣ ΟΜΟΙΟΜΟΡΦΟΣ ΚΒΑΝΤΙΣΤΗΣ Σε Περίπτωση με PDF Συμμετρικό ως προς το Μηδέν. Ένας απλούστερος τύπος oμοιόμορφου κβαντιστή είναι αυτός για τον οποίο οι στάθμες κβάντισης τοποθετούνται στο μέσον των ίσων διαστημάτων κβάντισης. Στον τύπο αυτό για δεδομένο αριθμό Ν τα όρια των διαστημάτων κβάντισης α i, i=,,,n- και οι στάθμες κβάντισης i=,,,n δίνονται από τους πιο κάτω τύπους N ai = i i=,,, N ˆ N+ X i = i i=,,, N Η τιμή του εύρους βαθμίδας Δ προκύπτει από την ελαχιστοποίηση ως προς Δ της πιο κάτω παράστασης. ΜΗ ΟΜΟΙΟΜΟΡΦΗ ΚΒΑΝΤΙΣΗ N a + ( ˆ ) ( ) ( ˆ X i+ ) X ( ) a D = x X f x dx + x X f x dx + i= ai Για δεδομένο PDF, f X (x) της ακολουθίας δεδομένων, και για δεδομένο πλήθος Ν των διαστημάτων κβάντισης να προσδιοριστεί η ακολουθία τών σταθμών κβάντισης: Xˆ, Xˆ,, Xˆ N Καθώς και τα άκρα των περιοχών κβάντισης: α,, α,,α Ν-. a N ( ˆ N ) X ( ) + x X f x dx ώστε η παραμόρφωση D, του κβαντιστή που θα προκύψει να είναι ελάχιστη. sagri@di.uoa.gr 7

O Βέλτιστος μη Ομοιόμορφος Κβαντιστής Σχεδιάζεται με βάση τις Συνθήκες Lloyd-Max ΠΑΡΑΔΕΙΓΜΑ ΠΡΟΣΔΙΟΡΙΣΜΟΣ ΠΑΡΑΜΕΤΡΩΝ Για σ=0 οι πιο πάνω τιμές πολλαπλασιάζονται Χ 0 Παραμόρφωση D=0.03454X400=3.8 και R=.85 Από τη συνάρτηση Ρυθμός-Παραμόρφωση προκύπτουν: Για R=.85 πρέπει D=7.96 ή για D=3.8 R=.43 Η διαφορά αυτή θα μικρύνει ακόμη περισσότερο αν ακολουθηθεί διανυσματική κβάντιση. sagri@di.uoa.gr 8

ΒΑΘΜΩΤΗ ΚΒΑΝΤΙΣΗ ΔΙΑΝΥΣΜΑΤΙΚΗ ΚΒΑΝΤΙΣΗ ΔΙΑΝΥΣΜΑΤΙΚΗ ΚΒΑΝΤΙΣΗ ΔΙΑΝΥΣΜΑΤΙΚΗ ΚΒΑΝΤΙΣΗ ΣΧΕΔΙΑΣΗ ΒΕΛΤΙΣΤΟΥ ΔΙΑΝΥΣΜΑΤΙΚΟΥ ΚΒΑΝΤΙΣΤΗ Κατανομή Gaussian δυο διαστάσεων 64 περιοχές (6 bits/δείγμα) sagri@di.uoa.gr 9

Ιστόγραμμα για ixel δύο διαστάσεων για μία εικόνα. Είναι φανερη η ύπαρξη έντονης συσχέτισης μεταξύ των δύο συνιστωσών Ορισμός 64 περιοχών κβάντισης και τα αντίστοιχα αντιπροσωπευτικά σημεία (διανύσματα κβάντισης). ΣΧΕΔΙΑΣΗ ΒΕΛΤΙΣΤΟΥ ΔΙΑΝΥΣΜΑΤΙΚΟΥ ΚΒΑΝΤΙΣΤΗ sagri@di.uoa.gr 0

Το PCM της Σταθερής Τηλεφωνίας. Η απλούστερη μορφή PCM είναι αυτή της σταθερής τηλεφωνίας. Το PCM αυτό θεωρεί το σήμα x(t) ότι έχει ένα συμμετρικό PDF γύρω από το μηδέν του οποίου οι μη μηδενικές τιμές εκτείνονται στο πεπερασμένο διάστημα [ x max, x max ]. Στο PCM αυτό χρησιμοποιούμε έναν ομοιόμορφο κβαντιστή με Ν στάθμες κβάντισης όπου Ν είναι δύναμη του με φυσικό αριθμό για εκθέτη: Ν= ν Για κωδικοποιητή πηγής χρησιμοποιείται συνήθως η απλή δυαδική αρίθμηση. Θεωρείστε ότι το σήμα x(t) έχει PDF f X (x) συμμετρικό ως προς το μηδέν και ότι ισχύει f X (x)=0 εκτός του πεπερασμένου διαστήματος [ x max, x max ]. Ορίζουμε έναν ομοιόμορφο κβαντιστή με Ν διαστήματα κβάντισης ίσου μήκους Δ και ορίζουμε το μέσον κάθε διαστήματος ως στάθμη κβάντισης. Προφανώς ισχύει: x max =N Δ sagri@di.uoa.gr

Το σταθερό μήκος των διαστημάτων καβάντισης καλείται Βήμα Κβάντισης (Quantisation Ste) Επιπλέον ο κβαντιστής στην εφαρμογή αυτή της σταθερής τηλεφωνίας κατασκευάζεται με:. Ν πολύ μεγάλο, Ν>=8.. Ν ισούται με ακέραια δύναμη του (Ν= ν, ν θετικός ακέραιος.) Ο ειδικός αυτός τρόπος υλοποίησης του κβαντιστή έχει ως αποτέλεσμα να απλοποιηθεί η διαδικασία του υπολογισμού της παραμόρφωσης ή του μέσου τετραγωνικού σφάλματος κβάντισης D. Πράγματι το σταθερό μήκος δυο Δ και η επιλογή τυ μέσου ως της στάθμης κβάντισης οδηγεί στο ότι για το σφάλμα κβάντισης: xɶ = x xˆ i i i σε οποιοδήποτε διάστημα κβάντισης s j και αν ανήκει το x i, ισχύει: xɶ < Επιπλέον ο μεγάλος αριθμός Ν των διαστημάτων στα οποία διαχωρίζεται το διάστημα τιμών της {x n } έχει ως αποτέλεσμα να ισχύει με καλή προσέγγιση ότι το σε κάθε διάστημα s i το x έχει ομοιόμορφη κατανομή μεταξύ των δύο άκρων του διαστήματος. -xmax Επειδή ισχύει ˆ s xɶ = x X = x i istart + s Xf (x) xmax=nδ iend το σφάλμα κβάντισης έχει σχεδόν ομοιόμορφο κατανομή στο διάστημα τιμών του, [-Δ/,Δ/] xmax sagri@di.uoa.gr

Δηλαδή ανεξάρτητα από σε ποιο διάστημα βρισκόμαστε και ανεξάρτητα από το PDF του σήματος, f X (x), ισχύει: /Δ f ( x) Xɶ ɶ -Δ/ Δ/ Στο PCM η κωδικοποίηση γίνεται με κώδικα σταθερού μήκους. Για το λόγο αυτό επιλέγουμε το πλήθος των διαστημάτων κβάντισης Ν ίσο με δύναμη του ( ν ) και επομένως οι δυαδικές κωδικές λέξεις θα έχουν μήκος v. Συνήθως χρησιμοποιείται η απλή δυαδική αρίθμηση. Για παράδειγμα, αν στον κβαντιστή της προηγούμενης διαφάνειας χρησιμοποιήσουμε 56 στάθμες κβάντισης, αυτές θα είναι: ˆ ˆ X 0 = x ˆ max +, X = xmax + +, X = Και γενικά ισχύει: ˆ X, 0,,, 55 i = xmax + + i i= sagri@di.uoa.gr 3

Στη συνέχεια οι Ν στάθμες κβάντισης κωδικοποιούνται με λέξεις των ν bits, συνήθως τον ισοδύναμο δυαδικό αριθμό του δείκτη της στάθμης κβάντισης: Xˆ : 00000000, Xˆ : 0000000, Xˆ : 0000000,... 0..., Xˆ = 0000000,..., Xˆ = 64 55 Το μέσο πλήθος Bits να δείγμα που χρησιμοποιούμε για την κωδικοποίηση καλούμε Μέσο Ρυθμό Κωδικοποίησης R. Επειδή στο PCM που περιγράφουμε χρησιμοποιούμε κωδικές λέξεις σταθερού μήκους με v bits v=log (N), ισχύει: Ρυθμός Κωδικοποίησης: ν=log (N) Και επομένως x x max max = = N v Έχοντας το PDF του σφάλματος κβάντισης μπορούμε να υπολογίσουμε τη διακύμανση του σφάλματος αυτού. Και επομένως το πηλίκο σήμα προς θόρυβο, SQNR, του κβαντισμένου σήματος γίνεται: Στον τελευταίο τύπο διακρίνουμε τον παράγοντα X x max sagri@di.uoa.gr 4

Το πηλίκο αυτό εξαρτάται από τη στατιστική του σήματος x(t) και μπορούμε να διακρίνουμε ότι είναι η διακύμανση του σήματος x(t)/x max. Δηλαδή το πηλίκο αυτό ισούται με την ισχύ της κανονικοποιημένης μορφής του σήματος x(t). Θα συμβολίζουμε λοιπόν το πηλίκο αυτό με P mn P mn X = x max Οπότε: SQNR= 3 4 v Pmn και αν υπολογίσουμε την ποιότητα σε decibels SQNR = 6v+ 4.8+ P db mn db Ο τελευταίος τύπος μας δείχνει ότι κάθε αύξηση της τιμής του ρυθμού κωδικοποίησης ν κατά μία μονάδα, αυξάνει την ποιότητα του σήματος κατά 6 db. Στον ίδιο τύπο διακρίνουμε τον προσθετέο P mndb της οποίας η τιμή εξαρτάται αποκλειστικά από το PDF f X (x) του σήματος που διαβιβάζεται μέσω του PCM. Για ένα σήμα x(t) με ομοιόμορφο PDF η P mn Για παράδειγμα όταν το σήμα x(t) παρουσιάζει ομοιόμορφο PDF η P mn =/3 και P mndb =-4.8 db. sagri@di.uoa.gr 5

/(x max ) f X ( x) -x max x max Πράγματι, αν το PDF του διαβιβαζόμενου σήματος είναι όπως στο σχήμα, θα ισχύει: E[ x ] = 0 και σ xmax xmax x = E X = x f X ( x) dx= x dx x = max 3 0 άρα P mn =/3 και P mndb =-4.8 db Οπότε για σήμα x(t) με ομοιόμορφο PDF οι αντίστοιχοι τύποι της ποιότητας απλοποιούνται σε v SQNR= 4 = v SQNRdB = 6v sagri@di.uoa.gr 6

Απαιτήσεις ενός συστήματος PCM σε Εύρος Ζώνης B C και Ισχύ Λήψης P R Ρυθμός Δημιουργίας Δυαδικών Δεδομένων, R b Αν f S είναι η συχνότητα δειγματοληψίας του αναλογικού σήματος και ν bits/samle ο ρυθμός κωδικοποίησης του PCM, τότε ο Ρυθμός Δημιουργίας Δυαδικών Δεδομένων R b ισούται με: R b =f S v Ποιότητα Σήματος στον Προορισμό, (S/N) d - Πιθανότητα Κατωφλίου P th. Όταν τα δυαδικά δεδομένα που δημιουργήθηκαν από το PCM διαβιβαστούν μέσα από ένα δυαδικό κανάλι με πιθανότητα σφάλματος P b, τα ανακατασκευασμένα δείγματα στον δέκτη θα έχουν υποστεί μια επιπλέον παραμόρφωση που οφείλεται στα σφάλματα του καναλιού. Αποδεικνύεται ότι η παραμόρφωση αυτή (θόρυβος) έχει ως αποτέλεσμα η ποιότητα του σήματος στον προορισμό να γίνει τελικά (S/N) d. ( S N) ( S N) max / = d + 4P 4 v όπου (S/N) max είναι η ποιότητα της ακολουθίας των κβαντισμένων δειγμάτων αμέσως μετά την κβάντιση και v είναι ο ρυθμός κωδικοποίησης των δειγμάτων. b (S/N) ddb 55 50 45 40 35 30 5 0-8 0-7 0-6 0-5 0-4 0-3 P b 9-bit-PCM 8-bit-PCM 7-bit-PCM Στο παραπλεύρως διάγραμμα έχει χαραχθεί η σχέση του (S/N) d-db συναρτήσει της P b για ένα σήμα με ομοιόμορφο PDF και για ρυθμούς κωδικοποίησης v=7,8 και 9 bits/samle. Από το διάγραμμα αυτό μπορείτε να διαπιστώσετε ότι για μικρές τιμές της πιθανότητας σφάλματος, P b του δυαδικού καναλιού, η ποιότητα (S/N) d-db =6v, δηλαδή είναι ίδια με την ποιότητα στην έξοδο του κβαντιστή. sagri@di.uoa.gr 7

Αντίθετα για μεγάλες πιθανότητες σφάλματος η τιμή της ποιότητας καταρρέει. Στην πράξη ορίζεται η τιμή P th ως η τιμή της P b που εξασφαλίζει ποιότητα ίση με db μικρότερη από τη μέγιστη τιμή. Εφαρμόζοντας τον ορισμό αυτό προκύπτει ότι η P th δίνεται από τη σχέση: P th = ( ) 4 v + Αν εξασφαλιστεί να ισχύει P b <P th, τότε η ποιότητα του σήματος στον προορισμό είναι περίπου ίση με αυτήν της εξόδου στον κβαντιστή. Σημειώστε ότι τιμή της P b πολύ μικρότερη της P th δεν προσφέρει καμία αύξηση στην ποιότητα αλλά απλώς αυξάνει την απαίτηση της ισχύος λήψης στο δέκτη. Στο διάγραμμα διακρίνονται οι τιμές της P th για τις αντίστοιχες τιμές του v. Παράδειγμα Ένα σήμα ομιλίας με ομοιόμορφο PDF και με εύρος ζώνης W=5 KHz διαβιβάζετε με σύστημα PCM. Για το σκοπό αυτό το σήμα δειγματοληπτείται με ρυθμό f S = KHz και τα δυαδικά δεδομένα διαβιβάζονται χρησιμοποιώντας ένα AWGN κανάλι με φασματική πυκνότητα Ν 0 /=0 - Watt/Hz. Για τα ακόλουθα συστήματα PCM: 7 bits/b-pam 7 bits/q-psk 7 bits/8-pam 7 bits/8-psk 8 bits/b-pam 8 bits/q-psk 8 bits/8-pam 8 bits/8-psk 0 bits/b-pam 0 bits/q-psk 0 bits/8-pam 0 bits/8-psk Να προσδιορίσετε: α) την ποιότητα στον προορισμό (S/N) d,db, τον απαιτούμενο ρυθμό διαβίβασης δυαδικών δεδομένων R b, και τον αντίστοιχο ρυθμό διαβίβασης συμβόλων, R. β) Την τιμή της πιθανότητας κατωφλίου P th την αντίστοιχη τιμή της πιθανότητας σφάλματος ανά σύμβολο, P e και την ισχύ λήψης, P R. sagri@di.uoa.gr 8

Λύση Με δεδομένο ότι θα έχει επιλεγεί P b <P th, η ποιότητα στον προορισμό θα είναι ίση με την ποιότητα στην έξοδο του κβαντιστή, ίση με 6ν db. Επομένως ανεξάρτητα από το ψηφιακό σύστημα διαβίβασης της δυαδικής ακολουθίας θα ισχύει: ( S N) / = 6v Παρόμοια ανεξάρτητα από το σύστημα διαβίβασης θα ισχύει: Rb = f Sv ( ) και P 4 v + th = Οπότε: ( S / N) d d 7 bits-pcm 4 db 84 Kbit/sec 4Χ0-6 8 bits -PCM 48 db 96 Kbit/sec 0-6 0 bits -PCM 60 db 0 Kbit/sec 6.4Χ0-8 R b P th Ο ρυθμός διαβίβασης συμβόλων R δίνεται από τη σχέση. R = R log M = f v log M b ( ) ( ) s Οπότε: 7 bits/b-pam R=84 Ksymbols/sec 8 bits/b-pam R=96 Ksymbols/sec 0 bits/b-pam R=0 Ksymbols/sec 7 bits/q-psk R=4 Ksymbols/sec 8 bits/q-psk R=48 Ksymbols/sec 0 bits/q-psk R=60 Ksymbols/sec 7 bits/8-pam & 7 bits/8-psk R=8 Ksymbols/sec 8 bits/8-pam & 8 bits/8-psk R=3 Ksymbols/sec 0 bits/8-pam & 0 bits/8-psk R=40 Ksymbols/sec Για τον προσδιορισμό της ισχύος λήψης πρέπει να γίνει χωριστός υπολογισμός για κάθε σύστημα ψηφιακής διαβίβασης. Έτσι για B- PAM : P R ( ) N0 Pb = Q < Pth PR > Q P th Rb Rb N 0 Όπου Q - η αντίστροφη συνάρτηση της Q(k). sagri@di.uoa.gr 9

Και αντικαθιστώντας P th και R b για 7,8 &0 bits PCM υπολογίζουμε την απαιτούμενη ισχύ.βλέπε επόμενο πίνακα. Για QPSK P = Q P, P = P = Q P < P R R e b e th Rb N0 Rb N 0 ( ) P > Q P R N 0 R th b Ομοίως αντικαθιστώντας P th και R b για 7,8 &0 bits PCM υπολογίζουμε την απαιτούμενη ισχύ. Βλέπε επόμενο πίνακα. Για 8-PAM M 6log ( M) P 7 6 3P P Q P P Q P ( M ) R R e = b = 8 3= < th M R 3 8 63R bn 0 bn0 Οπότε: 4Pth N0 PR 7 Q Rb > 4 Και για P th και R b για 7,8 &0 bits PCM υπολογίζουμε την απαιτούμενη ισχύ. Βλέπε επόμενο πίνακα. ( ) Για 8-PSK P Q log M P π P P 3P Q π P R 8 R e = sin b = = sin < th Rb N0 Μ 3 3 Rb N0 8 Οπότε: 3Pth N0 PR Q R b > 3sin ( π 8 ) Και για P th και R b για 7,8 &0 bits PCM υπολογίζουμε την απαιτούμενη ισχύ. Βλέπε επόμενο πίνακα. sagri@di.uoa.gr 30

ΑΠΑΝΤΗΣΕΙΣ α) (S/N) d db, R b, R 7 bits/b-pam 4 db, 84 Kbits/sec, 84 Ksym/sec 7 bits/q-psk 4 db, 84 Kbits/sec, 4 Ksym/sec 7 bits/8-pam 4 db, 84 Kbits/sec, 8 Ksym/sec 7 bits/8-psk 4 db, 84 Kbits/sec, 8 Ksym/sec 8 bits/b-pam 48 db, 96 Kbits/sec, 96 Ksym/sec 8 bits/q-psk 48 db, 96 Kbits/sec, 48 Ksym/sec 8 bits/8-pam 48 db, 96 Kbits/sec, 3 Ksym/sec 8 bits/8-psk 48 db, 96 Kbits/sec, 3 Ksym/sec 0 bits/b-pam 60 db, 0 Kbits/sec, 0 Ksym/sec 0 bits/q-psk 60 db, 0 Kbits/sec, 60 Ksym/sec 0 bits/8-pam 60 db, 0 Kbits/sec, 40 Ksym/sec 0 bits/8-psk 60 db, 0 Kbits/sec, 40 Ksym/sec β) P th,p e,p R 7 bits/b-pam 4X0-6 4X0-6.7 μwatt 7 bits/q-psk 4X0-6 8X0-6.7 μwatt 7 bits/8-pam 4X0-6.X0-5 μwatt 7 bits/8-psk 4X0-6.X0-5 3.7 μwatt 8 bits/b-pam 0-6 0-6. μwatt 8 bits/q-psk 0-6 X0-6. μwatt 8 bits/8-pam 0-6 3X0-6 5 μwatt 8 bits/8-psk 0-6 3X0-6 4.8 μwatt 0 bits/b-pam 6.4X0-8 6.4X0-8 3.4 μwatt 0 bits/q-psk 6.4X0-8.3X0-7 3.4 μwatt 0 bits/8-pam 6.4X0-8.9X0-7 3 μwatt 0 bits/8-psk 6.4X0-8.9X0-7 7.4 μwatt MH ΟΜΟΙΟΜΟΡΦΟ PCM (Λογαριθμικό PCM) Η Τεχνική Comanding (comressing-exanding) exanding) Συμπιεστής Αποσυμπιεστής sagri@di.uoa.gr 3

ΤΥΠΟΙ ΣΥΜΠΙΕΣΤΩΝ Για ένα σήμα x(t) με συμμετρικό PDF και μέγιστη τιμή x max. Συμπιεστής τύπου μ (ΗΠΑ) ( ) g x = log ( + µ x xmax ) log ( + µ ) ( ) sgn x ( ) g x Συμπιεστής τύπου Α (Καναδάς-Ευρώπη) A x xmax sgn ( x), 0 x xmax A + log A = + log( A x xmax ) sgn ( x), A x xmax + log A sagri@di.uoa.gr 3

Στόχος του Βέλτιστου Συμπιεστή είναι για το δοσμένο PDF να απεικονίσει τα άνισα διαστήματα D, D,,D N της βέλτιστης διαμέρισης σε διαστήματα σταθερού μήκους Δ. Χαρακτηριστική Βέλτιστου Συμπιεστή για δεδομένο PDF f X (x) Η ΠΑΡΑΜΟΡΦΩΣΗ ΠΟΥ ΑΝΤΙΣΤΟΙΧΕΙ ΣΤΟΝ ΒΕΛΤΙΣΤΟ ΣΥΜΠΙΕΣΤΗ Απαιτήσεις ενός συστήματος PCM σε Εύρος Ζώνης BW και Ισχύ P r (β=b C /Wκαι α=p r /(N 0 W)) Προφανώς το PCM παράγει δυαδικά δεδομένα με ρυθμό R b =νf S =vw. To εύρος ζώνης BW που απαιτείται για τη διαβίβαση του ρυθμού R b εξαρτάται από το Σύστημα Ψηφιακών Δεδομένων που θα επιλεγεί για τη διαβίβαση. Για παράδειγμα αν χρησιμοποιηθεί διπλοδυαδικό PAM θα ισχύει B C =vw και στην περίπτωση αυτή β=ν. Απαιτήσεις ενός συστήματος PCM σε Ισχύ P r (α=p r /(N 0 W)) v 3 4 X SNR= + 4P 4 b v P th, P b : -db Αποδεικνύεται P th =4 -(v+) sagri@di.uoa.gr 33

Παράδειγμα sagri@di.uoa.gr 34

Στοιχεία από Επεξεργασία Σήματος Θεωρείστε την εργοδική ακολουθία τυχαίων αριθμών {x(n)} n=,,... με μέση τιμή μηδέν και διακύμανση σ x = Ε{x (n)}. Ορίζουμε ως Ακολουθία Aυτοσυσχέτισης, R x (k), k=0,±, ±,... R x (k)=e{x(n)x(n-k)} Ισχύει: R x (0)=σ x και R x (k)=r x (-k) sagri@di.uoa.gr 35

Στοιχεία από Επεξεργασία Σήματος (Συνέχεια) Επειδή η {x(n)} είναι εργοδική οι αναμενόμενες τιμές υπολογίζονται επίσης από τα αθροίσματα: N / Rx( k) = lim x( n) x( n k), k = 0, ±,... N N n= N Μερικές φορές χρησιμοποιούμε το Συντελεστή Αυτοσυσχέτισης, ρ x (k)=r x (k)/σ x Στοιχεία από Επεξεργασία Σήματος (Συνέχεια-) Σε ένα σήμα ομιλίας, τα δείγματα ενός τμήματος μικρής διάρκειας, μπορεί να προσεγγιστούν από ένα σήμα που περιγράφεται από: ( ) ( ) x n = a x n i + Ge( n). i= i όπου a,a,...,a σταθεροί συντελεστές για κάθε τμήμα μικρής διάρκειας, e(n) τυχαία ακολουθία με κατανομή Gauss, R e (m)=0 όταν m διάφορο το μηδενός και R e (0)=σ e =, και R e (k)=0 k μη μηδέν. Τέλος G σταθερά. sagri@di.uoa.gr 36

Στοιχεία από Επεξεργασία Σήματος (Συνέχεια-3) ( ) ( ) x n = a x n i + Ge( n). i= i Ένα μοντέλο σαν και αυτό που περιγράφει ο πιο πάνω τύπος καλείται: Autoregressive Moving Average-ARMA {e(n)} G + An All Pole Filter {x(n)} ˆx ( n) i= a x n i ( i) ( ) = ( ) xˆ n a x n i i= i Ισοδύναμα: sagri@di.uoa.gr 37

X n Y n Yˆn - Q X ɶ n ΠΡΟΓΝΩΣΗ X ˆ n + y = x xɶ n n n xˆ = yˆ + xɶ n n n Ισχύει y yˆ = x xˆ n n n n Παρατήρηση :Ισχύς {y n } μικρότερη από ισχύ {x n }. Παρατήρηση : Αφού xˆ ˆ n = yn+ɶ xnη αποθήκευση/διαβίβαση του του x n γίνεται μέσω του y και η ανακατασκευή του θα γίνει ˆn από το y και την πρόγνωση που στηρίζεται σε προηγούμενες ˆn κβαντισμένες τιμές του x n Στο Δέκτη yˆn + xˆ = yˆ +ɶ x n n n xɶ n Προγνώστης ˆ : x n Ανακατασκευασμένο δείγμα της ακολουθίας {x n } ˆ :Διαβιβασμένο δείγμα της ακολουθίας {y n } y n xɶ n : Πρόγνωση της {x n } βασισμένη σε προηγούμενα κβαντισμένα δείγματα, xˆ, xˆ,... n n sagri@di.uoa.gr 38

Παράδειγμα: Για Πρόγνωση Χρησιμοποιείται το Προηγούμενο Κβαντισμένο Δείγμα X n Y n Yˆn - Q Xɶ n = ˆ X n ΠΡΟΓΝΩΣΗ Xˆ n + Για Πρόγνωση Χρησιμοποιείται Γραμμικός Συνδυασμός Προηγούμενων Κβαντισμένων Δειγμάτων X n Y n Yˆn - Q ˆ n = ai X n i i= Xɶ ΠΡΟΓΝΩΣΗ Xˆ n + sagri@di.uoa.gr 39

Παράδειγμα Η ακολουθία δειγμάτων {x n } ενός πραγματικού σήματος παρουσιάζει μέση τιμή μηδέν, διακύμανση σ x, και ο συντελεστής αυτοσυσχέτισης ρ =E{x i x i+ }/σ x =0,95. Αν ως πρόγνωση του x(n) οριστεί η xɶ n = ˆ xn και αντί να κβαντίσουμε απευθείας την {x n } κβαντιστεί η {y n } y ˆ n = xn xɶ n = xn xn Να υπολογίσετε τη βελτίωση που θα έχετε στο SQNR αν χρησιμοποιήσετε τον ίδιο αριθμό Ν σταθμών κβάντισης. Να δεχθείτε ότι ισχύει: x n xˆ n Παράδειγμα Λύση Αν κβαντίσουμε απευθείας την {x n }με Ν στάθμες: (SQNR) PCM =σ x /σ q =σ x /(σ x /f(n))=f(n) Αν η κβάντιση της x n γίνει έμμεσα μέσω της y n : ˆ ˆ n = n n = n n σ q = σ y / ( ) q x x y y f N (SQNR) DPCM =σ x /σ q =σ x /(σ y /f(n))=(σ x /σ y )f(n) ( ˆ ) ( ) σ y = E[ yn ] = E xn x n E xn x n = ( ) ( ) [ ] = E x + x x x = σ E x x n n n n x n n = σ ρ = σ 0.95 = 0.σ x x x (SQNR) DPCM /(SQNR) PCM =0 sagri@di.uoa.gr 40

Παράδειγμα Η ακολουθία δειγμάτων {x n } ενός πραγματικού σήματος παρουσιάζει μέση τιμή μηδέν, και διακύμανση σ x. Αν ως πρόγνωση του x(n) οριστεί: xɶ = a xˆ + a xˆ n n n Να υπολογίσετε τα α και α ώστε να προκύψει μέγιστη τιμή του πηλίκου (SQNR) DPCM /(SQNR) PCM, και να υπολογίσετε την τιμή αυτή του μεγίστου. Δεχθείτε ρ =0.6 και ρ =0.6. Επίσης δεχθείτε ότι ισχύει x x ˆn n Λύση Λύση Από το προηγούμενο παράδειγμα προκύπτει ότι η μέγιστη τιμή του λόγου (SQNR) DPCM /(SQNR) PCM συμβαίνει όταν η σ y γίνει ελάχιστη. ( ) yn = xn a xn a xn E y n E xn a xn a x = n = ( ) ( ) ( ) σ + a σ + a σ a R a R + a a R = x x x σ x + a + a aρ aρ + aaρ Παραγωγίζοντας ως προς α και α και θέτοντας μηδέν τις παραγώγους προκύπτει: α+ αρ = ρ α ρα + α = ρ ρ, α 0 σ = ρ σ = 0.64σ = = ( ) y x x Οπότε (SQNR) DPCM /(SQNR) PCM =.56 sagri@di.uoa.gr 4

Κωδικοποίητής Γραμμικής Πρόγνωσης Linear Predictive Coding -LPC w n : Καινοτόμος Διαδικασία {α i }: Συντελεστές Φίλτρου : Αριθμός συντελεστών {α i }: Συντελεστές Φίλτρου παραμένουν σταθεροί για 0-30 msec {e(n)} G + An All Pole Filter {x(n)} ˆx ( n) i= a x n i ( i) sagri@di.uoa.gr 4

Από Ομιλία 0 msec, Ν=60 δείγματα (f S =8KHz), προσδιορίζονται οι παράμετροι {α i, i=,,,}, G, f 0, και τύπος διέγερσης σήματος: Οι συντελεστές προσδιορίζονται έτσι ώστε: Ge = x xˆ = x a x n n n n k n k k= Ε = = G E e n E xn ak xn k k= Να υπολογιστούν τα a k k=,,, ώστε E ελάχιστο. Ε = E x a x n k n k k= Να προσδιοριστούν τα α k, k=,,..., έτσι ώστε σφάλμα E να γίνει ελάχιστο. Ε = + E xn akamxn k xn m ak xnxn k k= m= k= Ε = R 0 + a a R m k a R k ( ) ( ) ( ) x k m x k x k= m= k= E a i = 0, i=,,.., sagri@di.uoa.gr 43

E a i k= E a i = 0, i=,,.., = a R i k R i = 0, i=,,.., k= ( ) ( ) k x x ( ) ( ) a R i k = R i = 0, i=,,.., k x x Θέτοντας για συντομία R x (i)=r i R0 R R a R R R0 R a R = R R R0 a R Rˆ 0 Rˆ Rˆ ˆ a R ˆ ˆ ˆ a ˆ N R R0 R R ˆ =, Ri = xnxn i, i = 0,,..., N i n= i+ Rˆ Rˆ Rˆ a Rˆ 0 Πίνακας Toelitz ΕξισώσειςYule-Walker Επίλυση με Αλγόριθμο Levinson-Durbin με πολυπλοκότητα Ο( ) k= ( ) ( ) a R i k = R i = 0, i=,,.., k x x Αντικαθιστώντας τις σχέσεις: προκύπτει η ελάχιστη τιμή του σφάλματος: sagri@di.uoa.gr 44

Ε = = = G E e n G E xn ak xn k k= = E x + a a x x a x x n i j n i n j k n n k i= j= k= G = R0 + aia jr ak Rk = R i j 0+ ai a jr a i j k R k i= j= k= i= j= k= Όμως οι συντελεστές έχουν επιλεγεί ως: k= ( ) ( ) a R i k = R i = 0, i=,,.., k x x Οπότε G = R0 + airi ak Rk = R0 airi i= k= i= G R0 airi i= = = 0 G R a R i= i i sagri@di.uoa.gr 45

G R0 airi i= = = 0 G R a R i= i i Προσδιορισμός f 0 και τύπου διέγερσης, κβάντιση συντελεστών, δημιουργία record record των 0 msec H/A ( bit), f 0 (6 bits), G(5 bits) 8-0 bits/coef Εως 4800 bits/sec για διανυσματική κβάντιση sagri@di.uoa.gr 46