ιαφορική εντροπία Σεραφείµ Καραµπογιάς Για πηγές διακριτού χρόνου µε συνεχές αλφάβητο, των οποίων οι έξοδοι είναι πραγµατικοί αριθµοί, ορίζεται µια άλλη ποσότητα που µοιάζει µε την εντροπία και καλείται διαφορική εντροπία. h( ) f ( ) log [ f ( ) ]d Η διαφορική εντροπία δεν έχει το διαισθητικό νόηµα της εντροπίας. Για να ανακτήσουµε αξιόπιστα την έξοδο µίας συνεχούς πηγής, για κάθε έξοδο πηγής είναι απαραίτητος ένας άπειρος αριθµός bits. Για δύο τυχαίες µεταβλητές ορίζεται η από κοινού διαφορική εντροπία h(, Y ) f, Y (, y) log f, Y (, y) d dy και η υπό συνθήκη διαφορική εντροπία h( Y ) h(, Y ) h( Y ) Η αµοιβαία πληροφορία ανάµεσα σε δύο συνεχείς τυχαίες µεταβλητές και Y ορίζεται ως I ( ; Y ) h( Y ) h( Y ) h( ) h( Y ) Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-
Κωδικοποίηση µε απώλειες - Προβλήµατα Σεραφείµ Καραµπογιάς Αν η έξοδος µιας συνεχούς πηγής αναπαρασταθεί µε πεπερασµένο αριθµό bits/σύµβολο τότε πόσο κοντά µπορεί να είναι η συµπιεσµένη έκδοση µε την αρχική; Αν ο αριθµός των διαθέσιµων bits/έξοδο είναι µικρότερος από H( ), δεν είναι δυνατή η ανάκτηση της πηγής χωρίς σφάλµατα και µερικά σφάλµατα θα είναι αναπόφευκτα. Για δεδοµένο αριθµό bits/σύµβολο, ποιος είναι ο ελάχιστος ρυθµός σφαλµάτων που µπορεί να επιτευχθεί; Ποιος είναι ο ελάχιστος αριθµών bits/έξοδο που απαιτείται για να αναπαραγάγουµε την πηγή µε καθορισµένο επίπεδο παραµόρφωσης. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-
Παραµόρφωση Hammig Γενικά, ένα µέτρο παραµόρφωσης είναι η απόσταση µεταξύ του και της αναπαραγωγής του. ˆ d H (, ), 0, αλλιώς Σεραφείµ Καραµπογιάς Ένα καλό µέτρο παραµόρφωσης, δηλαδή, ένα µέτρο της πιστότητας ή εγγύτητας της αναπαραγόµενης προς την αρχική έξοδο της πηγής, πρέπει να ικανοποιεί τις ιδιότητες Πρέπει να είναι µια καλή προσέγγιση της διαδικασίας αντίληψης. Πρέπει να είναι απλό, ώστε να είναι µαθηµατικά εύχρηστο. Στη διακριτή περίπτωση ένα µέτρο παραµόρφωσης, είναι η παραµόρφωση Hammig, µεταξύ του και της αναπαραγωγής του, ˆ που ορίζεται από την Στη συνεχή περίπτωση χρησιµοποιείται η παραµόρφωση του τετραγωνικού σφάλµατος. d H (, ) ( ) Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-3
Μέτρο παραµόρφωσης ανά γράµµα µιας ακολουθίας συµβόλων είναι Ορίζουµε ως παραµόρφωση για την πηγή την αναµενόµενη τιµή της τυχαίας αυτής µεταβλητής, δηλαδή ( ) [ ] ( ) [ ] ( ) [ ] d E d E d E D i i i,,, στο τελευταίο βήµα χρησιµοποιήθηκε η παραδοχή της στατικότητας της πηγής Συνάρτηση Ρυθµού-Παραµόρφωσης Σεραφείµ Καραµπογιάς Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-4 Αφούηέξοδοςµιαςπηγήςείναιµίατυχαίαδιαδικασία, τοµέτροπαραµόρφωσηςανάγράµµα,. είναι µία τυχαία µεταβλητή. d ˆ, d ˆ, ( ) i i i d d, ˆ,
Η αρχική µας ερώτηση µπορεί να επαναδιατυπωθεί ως εξής: Σεραφείµ Καραµπογιάς Για µια δεδοµένη πηγή πληροφορίας χωρίς µνήµη µε αλφάβητο και κατανοµή πιθανότητας p(), ένα αλφάβητο ανακατασκευής και ένα µέτρο παραµόρφωσης d(, ) που ορίζεται για όλατα και, ποιος είναι ο ελάχιστος αριθµός των bits/έξοδο, R, της πηγής που απαιτείται για να εξασφαλίζει ότι η µέση παραµόρφωση µεταξύ της ακολουθίας εξόδου της πηγής και της αντίστοιχης ανακτηθείσας εξόδου της πηγής δεν υπερβαίνει κάποια συγκεκριµένη D. O R είναι µία φθίνουσα συνάρτηση της D. Ο ελάχιστος αριθµός bits/έξοδο πηγής που απαιτείται για να αναπαραχθεί µια πηγή χωρίς µνήµη µε παραµόρφωση µικρότερη ή ίση του D ονοµάζεται συνάρτηση ρυθµού-παραµόρφωσης, εκφράζεται µε R(D) και δίνεται από την R D p ˆ mi : E d, ˆ D I ; ˆ Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-5
Σεραφείµ Καραµπογιάς R R R R R R 3 4 R i R i R bits 00 0 Κωδικοποιητής Αποκωδικοποιητής i i Ο χώρος των ακολουθιών µήκους. Ο χώρος των ακολουθιών εξόδου µήκους, δηλαδή ο R χωρίζεται σε περιοχές Ανηέξοδος τηςπηγήςανήκειστηνπεριοχή i, ηδυαδικήαναπαράστασητου iδιαβιβάζεται στον αποκωδικοποιητή. Επειδή i R, ηδυαδικήαναπαράστασηείναιµήκους R, εποµένωςηκωδικοποίηση γίνεται σ ένα ρυθµό R bits/έξοδο πηγής. Ο αποκωδικοποιητής, αφού λάβει τη δυαδική αναπαράσταση του i, παράγει µια προκαθορισµένη ακολουθία τέτοια ώστε η µέση απόσταση (παραµόρφωση) από τις ακολουθίες στην περιοχή i να είναι ελάχιστη. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-6
Σεραφείµ Καραµπογιάς Αν για µια πηγή δίνεται η συνάρτηση ρυθµού-παραµόρφωσης R(D) και ένα µέτρο παραµόρφωσης D, τότε γνωρίζουµε τον ελάχιστο αριθµό bits/σύµβολο πηγής που απαιτείται γιαναανακατασκευάσουµετηνπηγήµεοποιοδήποτεµέτροπαραµόρφωσης. Αντίστροφα για κάθε ρυθµό, R, µπορούµε να προσδιορίσουµε την ελάχιστη επιτεύξιµη παραµόρφωση D αν χρησιµοποιηθεί ένας κώδικας µε το ρυθµό αυτό. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-7
Σεραφείµ Καραµπογιάς Γιαµιαδυαδικήπηγήχωρίςµνήµηµε P( i ) - P( i 0) p, καιµεπαραµόρφωση Hammig, µπορεί να αποδειχθεί ότι η συνάρτηση ρυθµού-παραµόρφωσης δίνεται από την R(D) R( D) H b ( p) H 0, b ( D), 0 D mi{ p, αλλιώς p} H b ( p ) p 0,3 p 0, 5 H b (D) 0,5 p 0,3 0 0 0, 5 mi( p, p) p 0,3 D Η συνάρτηση ρυθµού-παραµόρφωσης για δυαδική πηγήµεπαραµόρφωση Hammig. Σηµειώστε ότι για µηδενική παραµόρφωση (µηδενική πιθανότητα σφάλµατος), έχουµε R(D) H b (p), τοοποίοείναισύµφωνοµετοθεώρηµακωδικοποίησηςπηγής. Ανδεχθούµε ότι p < 0,5, για D pέχουµε R(D) 0, δηλαδήµπορούµενααναπαράγουµετην πηγή µε παραµόρφωση p χωρίς καµία διαβίβαση, ορίζοντας το διάνυσµα αναπαραγωγής να έχει όλες του τις συνιστώσες µηδενικές. Αυτό σηµαίνει ότι D Pe P[ ˆ ] P[ 0] P[ ] p Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-8
Σεραφείµ Καραµπογιάς Μπορείεπίσηςναδειχθείότιγιαµια Gaussiaπηγήµεµηδενικήµέσητιµή, µεδιακύµανσησ και ως µέτρο παραµόρφωσης το τετραγωνικό σφάλµα, η συνάρτηση ρυθµού-παραµόρφωσης δίνεται από τη σχέση logσ, 0 D R(D) D σ 0, αλλιώς R(D) 5 4 3 0 0, 0, 4 0, 6 0, 8, D σ Η συνάρτηση ρυθµού-παραµόρφωσης για Gaussia πηγήµεµέτροπαραµόρφωσηςτοτετραγωνικόσφάλµα. Παράδειγµα Στην αναπαράσταση µιας Gaussia πηγής µε µέση τιµή µηδέν και µοναδιαία διακύµανση, ποια είναιηελάχιστηδυνατήπαραµόρφωσηανχρησιµοποιούνται 8 bits/έξοδοπηγής; Με ποιο συντελεστή µειώνεται η παραµόρφωση αν χρησιµοποιήσουµε 6 bits/έξοδο πηγής; Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-9
Σεραφείµ Καραµπογιάς Κβάντιση Κατά τη µελέτη αναλογικών πηγών, µια ακριβής περιγραφή της πηγής απαιτεί έναν άπειρο αριθµό bits/έξοδοπηγής, πράγµαπουδενείναιπραγµατοποιήσιµο. Εποµένως, κατά τη µετάδοση της εξόδου αναλογικών πηγών, εµφανίζεται πάντα κάποια παραµόρφωση, οπότεστόχοςµαςείναιηµείωσήτης. Η συνάρτηση ρυθµού-παραµόρφωσης, η οποία δίνει ένα θεµελιώδες όριο στην ανταλλαγή µεταξύρυθµούκωδικοποίησης καιπαραµόρφωσης. θα αναζητήσουµε πρακτικά σχήµατα για να αναπαραστήσουµε µε χαµηλούς ρυθµούς την έξοδο µιας αναλογικής πηγής, αποφεύγοντας όµως να εισάγουµε υπερβολική παραµόρφωση. Ο κωδικοποιητής λαµβάνει µπλοκ εξόδων πηγής µήκους, є, και τα απεικονίζει σε ακολουθίες αντιπροσώπευσης µήκους, є.οαριθµός τωντελευταίωναυτώνείναι R καιεποµένως, απαιτούνται R bits/έξοδοπηγής γιατηδιαβίβασήτους. Όσο µεγαλύτερη είναι η τιµή του, τόσο πιο κοντά στο όριο της συνάρτησης ρυθµούπαραµόρφωσηςλειτουργείτοσύστηµα. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-0
Σεραφείµ Καραµπογιάς Οι κβαντιστές που κβαντίζουν τις εξόδους κατά µπλοκ ονοµάζονται διανυσµατικοί κβαντιστέςσεαντίθεσηµετουςβαθµωτούςκβαντιστές, πουκβαντίζουνκάθεέξοδοχωριστά. Οι κβαντιστές (και γενικά, οι κωδικοποιητές πηγής) µπορούν να ταξινοµηθούν µε βάση τη µέθοδο συµπίεσης δεδοµένων που χρησιµοποιούν, είτε ως κωδικοποιητές κυµατοµορφής, ή ως κωδικοποιητέςανάλυσης-σύνθεσης. Στην κωδικοποίηση κυµατοµορφής για τη συµπίεση δεδοµένων, η έξοδος της πηγής, που είναι κυµατοµορφή, συµπιέζεταιχρησιµοποιώνταςκάποιοαπόταδιάφορασχήµατασυµπίεσης. Στους κωδικοποιητές ανάλυσης-σύνθεσης, η κυµατοµορφή δεν συµπιέζεται ούτε µεταδίδεται άµεσα. Αντίθετα, υιοθετείται ένα µοντέλο για τον τρόπο δηµιουργίας της κυµατοµορφής, και οικύριεςπαράµετροιτουµοντέλουαυτούσυµπιέζονταικαιδιαβιβάζονται. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-
Σεραφείµ Καραµπογιάς Βαθµωτή Kβάντιση ˆ ˆ 8 ˆ 7 Q( ) ˆ γιαόλατα Ri i ˆ 6 a a a3 ˆ 5 ˆ 4 a5 a6 a7 ˆ 3 ˆ ˆ Παράδειγµα ενός σχήµατος κβάντισης µε 8 στάθµες. Η συνάρτηση κβάντισης είναι µια µη γραµµική και µη αντιστρέψιµη συνάρτηση. Το τελευταίο συµβαίνειεπειδήόλατασηµείατου R i απεικονίζονται σ' ένακαιµοναδικόσηµείο i. Επειδή η συνάρτηση κβάντισης είναι µη αντιστρέψιµη, κατά τη διαδικασία κβάντισης κάποιο ποσό πληροφορίας χάνεται και δεν είναι πλέον δυνατή η ανάκτησή του. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-
Αν χρησιµοποιούµε το τετραγωνικό σφάλµα ως µέτρο παραµόρφωσης, τότε όπου ( Q( ) ) ~ d (, ˆ) ~ ˆ Q( ) Καθώςηείναιµιατυχαίαµεταβλητή, τοίδιοθαείναικαιοι και. Εποµένως D E ( Q( )) d(, ˆ ) E Σεραφείµ Καραµπογιάς Έστω ότι η (t) είναι µια αυστηρά στατική τυχαία διαδικασία. Αποδεικνύεται ότι για κάθε συνάρτηση Q, η Q((t)) είναι επίσης αυστηρά στατική. Η τυχαία διαδικασία (t) (t) Q((t)) είναι επίσης αυστηρά στατική και, εποµένως, σε οποιοδήποτε κβαντιστή ισχύει ( Q( )) ~ (0) D E d(, ˆ ) E P ~ R δηλαδή η µέση χρονική παραµόρφωση είναι ίση µε την ισχύ της τυχαίας διαδικασίας (t). ( Q( ) ) f ( d D ) όπου f ()είναιησυνάρτησηπυκνότηταςπιθανότητας (PDF)τηςτυχαίαςµεταβλητής. Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-3
Παράδειγµα 60 40 0 ˆ 70 50 30 0 0 30 50 70 0 40 60 Σεραφείµ Καραµπογιάς Η πηγή (t) είναι στατική Gaussia µε µέση τιµή µηδέν και φασµατική πυκνότητα ισχύος S ( f ), f < 00Hz 0, αλλιώς Ο ρυθµός που απαιτείται είναι R k fs 3 bits 300Hz 600 Ο παραµόρφωση που επιτυγχάνεται είναι 8 D ( Q( ) ) f ( ) d i 00 R i S ( f ) 00 f bits sec 33,38 Πηγές Πληροφορίας και Κωδικοποίηση Πηγής 6.4-4