Ψηφιακή Αναπαράσταση Πληροφορίας

Transcript

1 Ψηφιακή Αναπαράσταση Πληροφορίας ρ. Μαγκλογιάννης Ηλίας Πανεπιστήµιο Αιγαίου Τµήµα Πληροφοριακών και Επικοινωνιακών Συστηµάτων

2 Η πληροφορία ως σήµα ειγµατοληψία Κβαντοποίηση Κωδικοποίηση Πλεονεκτήµατα Εισαγωγή Επεξεργασία Αποθήκευση και γρήγορη Αναζήτηση Αντιγραφή και χρησιµοποίηση σε πολλές εφαρµογές Μειονεκτήµατα Παραµόρφωση, η οποία εξαρτάται από τη συχνότητα δειγµατοληψίας και το επίπεδο κβαντισµού Πολυπλοκότητα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 2

3 Τεχνικές Ψηφιοποίησης Παλµοκωδική διαµόρφωση (PCM) Πλεονεκτήµατα της χρήσης της ψηφιακής αναπαράστασης των αναλογικών σηµάτων : Αντοχή (ruggedness) στο θόρυβο µετάδοσης και στην παρεµβολή, Αποτελεσµατική αναγέννηση (regenaration) του κωδικοποιηµένου σήµατος Κόστος Αύξηση της απαίτησης σε εύρος ζώνης µετάδοσης (αποθήκευση) και Αύξηση της πολυπλοκότητας του συστήµατος Οι λειτουργίες του ποµπού ενός συστήµατος PCM είναι η δειγµατοληψία (sampling), η κβαντοποίηση (quantizing), και η κωδικοποίηση (encoding) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 3

4 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 4

5 Παλµοκωδική διαµόρφωση (PCM) Ηδειγµατοληψία βασίζεται στο θεώρηµα για σήµατα περιορισµένου εύρους ζώνης : Έστω το σήµα m(t), περιορισµένου εύρους ζώνης το οποίο δειγµατοληπτείται κάθε Τ sec όπου Τ=1/2f m και f m η µέγιστη συχνότητά του. Το σήµα m(t) είναι δυνατόν να ανακτηθεί από τις τιµές των δειγµάτων του m(nt s ), όπου n=ακέραιος και Τ s o ρυθµός δειγµατοληψίας, χωρίς παραµόρφωση αρκεί ο χρόνος δειγµατοληψίας T s να είναι αρκετά γρήγορος ώστε τουλάχιστον δύο δείγµατα να λαµβάνονται στην περίοδο που αντιστοιχεί στη µέγιστη συχνότητα του σήµατος Παράδειγµα : Ήχος ποιότητας τηλεφωνικής γραµµής µε f m = 4ΚΗZ. Σύµφωνα µε το θεώρηµα δειγµατοληψίας θα έχουµε όλη την πληροφορία αν µεταδώσουµε από το φάσµα αυτό τουλάχιστο 8000 δείγµατα ανά sec, η αλλιώς η συχνότητα δειγµατοληψίας θα πρέπει να είναι ίση µε 8KHz. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 5

6 Παράδειγµα Αναδίπλωσης x(t)= sin[2π(1/8)t] y(t)= sin[2π(-7/8)t] Fs=1Hz 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 6

7 Κβαντοποίηση Η µετατροπή ενός αναλογικού (συνεχούς) δείγµατος του σήµατος σε µια ψηφιακή (διακριτή) µορφή καλείται διαδικασία κβαντοποίησης (quantizing) Η διαφορά µεταξύ των δύο γειτονικών διακριτών τιµών ονοµάζεται κβάντο (quantum) ή µέγεθος βήµατος (step - size) Σφάλµα κβαντισµού (quantizing error) ή θόρυβος κβάντισης Μέγιστη στιγµιαία τιµή αυτού του σφάλµατος είναι το µισό ενός κβάντου και το συνολικό εύρος της µεταβολής είναι από -µισό έως +µισό βήµα µέση τιµή του σφάλµατος κβάντισης δίνεται από τη σχέση : <q e2 > = δ 2 /12 όπου δ είναι το µέγεθος του κβάντου 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 7

8 Κβαντιστής 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 8

9 Κωδικοποίηση Μετάδοση από ψηφιακό τηλεπικοινωνιακό µέσο Κάθε σχέδιο για την αναπαράσταση καθενός από αυτά τα διακριτά σύνολα τιµών σαν µια ιδιαίτερη διάταξη διακριτών γεγονότων ονοµάζεται κώδικας (code) Ένα από τα διακριτά γεγονότα σε ένα κώδικα ονοµάζεται στοιχείο του κώδικα (code element) ή σύµβολο (symbol) Μια ιδιαίτερη διάταξη συµβόλων, που χρησιµοποιείται σε ένα κώδικα, για την παράσταση µίας µόνο τιµής του διακριτού συνόλου ονοµάζεται κωδική λέξη (codeword) ή χαρακτήρας (character) Σε ένα δυαδικό κώδικα (binary code) κάθε σύµβολο µπορεί να πάρει µια από δύο διακριτές τιµές ή είδη, όπως η παρουσία ή η απουσία ενός παλµού 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 9

10 Κωδικοποίηση 1. On Off 2. Πολική Σηµατοδότηση 3. Επιστροφή στο µηδέν 4. ιπολική Σηµατοδότηση 5. Χωρισµού Φάσης / Manchester 6. ιαφορική Κωδικοποίηση 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 10

11 Αναγέννηση Επιτυγχάνεται µε την ανακατασκευή της κυµατοµορφής PCM µέσω µιας αλυσίδας αναγεννητικών επαναληπτών Ο αναγεννητικός επαναλήπτης εκτελεί τρεις λειτουργίες: Την ισοστάθµιση (equalization) Ο ισοσταθµιστής µορφοποιεί τους λαµβανόµενους παλµούς έτσι ώστε να αντισταθµίζει τις επιδράσεις παραµόρφωσης πλάτους και φάσης που παράγονται από τη χαρακτηριστική µετάδοσης του διαύλου Tον χρονισµό (timing) Το κύκλωµα χρονισµού περιέχει µια περιοδική ακολουθία παλµών, που παράγεται από τους λαµβανόµενους παλµούς, για τη δειγµατοληψία των ισοσταθµισµένων παλµών σε χρονικές στιγµές όπου ο λόγος σήµατος προς θόρυβο είναι µέγιστος Tη λήψη απόφασης (decision making) Η διάταξη απόφασης ενεργοποιείται όταν στο χρόνο δειγµατοληψίας που καθορίζεται από το κύκλωµα χρονισµού, το πλάτος του ισοσταθµισµένου παλµού µε το θόρυβο ξεπερνά µια προκαθορισµένη στάθµη τάσης 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 11

12 Αποκωδικοποίηση Ηδιαδικασία αποκωδικοποίησης (decoding) περιλαµβάνει τη δηµιουργία ενός παλµού, το πλάτος του οποίου είναι το γραµµικό άθροισµα όλων των παλµών στη κωδική λέξη, µε τον κάθε παλµό να έχει βάρος την τιµή της θέσης του (2 0, 2 1, 2 2, 2 3,...) στον κώδικα Άσκηση (Ήχος Ποιότητας CD) : Το εύρος των συχνοτήτων των ήχων που µπορεί να ακούσει ο άνθρωπος είναι περίπου 22kHz. Οι λέξεις που χρησιµοποιούνται για να παραστήσουν το πλάτος του σήµατος στο CD-DA έχουν µήκος 16bit. Εάν το CD-DA υποστηρίζει στερεοφωνία ποιό είναι το απαιτούµενο bit-rate ; 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 12

13 Επίλυση Το εύρος των συχνοτήτων των ήχων που µπορεί να ακούσει ο άνθρωπος είναι περίπου 22kHz. Άρα, σύµφωνα µε τη θεωρία του Nyquist, απαιτείται συχνότητα δειγµατοληψίας τουλάχιστον 44kHz. Στην πράξη, χρησιµοποιείται η συχνότητα των 44,1 khz. Κατά συνέπεια, απαιτείται η λήψη ενός δείγµατος κάθε 23µs. Το bit rate που προκύπτει από αυτά τα δεδοµένα πρέπει να πολλαπλασιαστεί µε 2, γιατί το CD-DA υποστηρίζει στερεοφωνία. Τελικά προκύπτει ότι το bit rate για το CD-DA είναι: 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 13

14 Χαρακτηριστικά Ήχου Μονοδιάστατο ακουστικό κύµα πίεσης Περιοχή συχνοτήτων ανθρώπινου αυτιού Hz DB = 20 log (A/B) A: Πλάτος του ακουστικού κύµατος Β: Κατώτατο όριο ακουστότητας (πίεση 0,0003 dyn/cm 2 ) για ηµιτονικό σήµα 1 KHz Ψηφιοποίηση Ήχου PCM για τηλεφωνία CD δείγµατα /secτων 8 bit => f max = 4 KHz δείγµατα /secτων 16 bit => f max = 22 KHz Πρότυπο MIDI 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 14

15 Μέγεθος Αρχείων Μέγεθος (bytes) =[ Κανάλια(1 ή 2) x Ρυθµός ειγµατοληψίας (Hz) x Έυρος είγµατος (bits) x Χρονική ιάρκεια (sec)] / 8 Παράδειγµα => 3 min ψηφιακού ήχου µε δειγµατοληψία 44.1 ΚHz και δείγµα 16 bit απαιτεί (2 x x 16 x 180) / 8 = Bytes = 31 MB Συµπιεσµένο Αρχείο Κωδικοποίηση υποζώνης (sub-band coding) MPEG layer 3 Real Audio 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 15

16 Η ψηφιοποίηση των εικόνων Φως, Χρώµα και Ανθρώπινη Όραση Το φως είναι ηλεκτροµαγνητική ακτινοβολία, η οποία προκαλεί την οπτική αντίδραση του ανθρώπου. Μήκος κύµατος λ µεταξύ 250nm και 780nm. Η ενέργεια που έχει αυτή µια φωτεινή πηγή ονοµάζεται ένταση (intensity) και συµβολίζεται C. Φασµατική κατανοµή (spectral distribution) C(λ), που περιγράφει την ένταση όλων των µηκών κύµατος που αποτελούν την πηγή. Ψηφιακή Αναπαράσταση ιδιάστατη συνάρτηση f(x,y), όπου τα x και y αντιπροσωπεύουν χωρικές συντεταγµένες και η τιµήτηςf σε κάθε σηµείο (x,y) είναι ανάλογη της φωτεινότητας (brightness) της εικόνας στο συγκεκριµένο σηµείο Επίπεδο του γκρι (gray level), o οποίος συναντάται αρκετά συχνά στην βιβλιογραφία. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 16

17 Ψηφιακή Αναπαράσταση Εικόνας Μια ψηφιακή εικόνα είναι µια εικόνα f(x,y), η οποία έχει διακριτοποιηθεί τόσο στις χωρικές συντεταγµένες όσο και στη φωτεινότητα. Πίνακας, οι γραµµές και στήλες του οποίου δηλώνουν τις χωρικές συντεταγµένες x και y, ενώ οι αντίστοιχες τιµές αντιπρoσωπεύουν την φωτεινότητα f. Τα στοιχεία του παραπάνω πίνακα ονοµάζονται στοιχεία εικόνας (picture elements) ή πιο σύντοµα pixels. Στην περίπτωση έγχρωµων εικόνων η συνάρτηση f µπορεί να θεωρηθεί διάνυσµα µε τρείςσυνιστώσεςrgb (Red Green Blue), CMY (Cyan Magenta Yellow) κ.ο.κ. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 17

18 Ψηφιακή Εικόνα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 18

19 Φωτεινότητα - Χρωµατικότητα (Ι) Μετασχηµατισµός του RGB σήµατος σε σήµατα φωτεινότητας και chrominance Η ανθρώπινη όραση είναι γενικά πολύ πιο ευαίσθητη στη φωτεινότητα της εικόνας παρά στα χρώµατα. Μετασχηµατίζοντας το RGB σήµα σε ένα σήµα φωτεινότητας και δύο άλλα που µεταφέρουν τη χρωµατική πληροφορία. Τα δύο χρωµατικά σήµατα µπορούν να παρασταθούν και µεταδοθούν µε µικρότερη ακρίβεια από ότι το σήµα φωτεινότητας, κάνοντας έτσι οικονοµία του διαθέσιµου bandwidth. ιατήρηση της συµβατότητας µε τα παλαιότερα συστήµατα τηλεόρασης. Μια ασπρόµαυρη τηλεόραση θα αγνοήσει τα χρωµατικά σήµατα και θα απεικονίσει µόνο τη φωτεινότητα. Η φωτεινότητα συµβολίζεται συνήθως µε Υ. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 19

20 Φωτεινότητα - Χρωµατικότητα (ΙΙ) Στο NTSC πρότυπο τα χρωµατικά σήµατα συµβολίζονται ως I και Q και υπολογίζονται ως εξής: Y = 0,30R + O,59G + 0,14B I = 0,74(R-Y) - 0,27(B-Y) = 0,60R + 0,28G + 0,32B Q = 0,48(R-Y) + 0,41(B-Y) = 0,21R + 0,52G + 0,31B Στο PAL πρότυπο τα χρωµατικά σήµατα συµβολίζονται ως U και V και υπολογίζονται ως εξής: Y = 0,30R + O,59G + 0,11B U = 0,493(B-Y) = -0,15R - 0,29G + 0,44B V = 0,877(R-Y) = 0,62R - 0,52G - 0,10B 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 20

21 οµή των Συστηµάτων Ψηφιακής Εικόνας Λήψη Εικόνας (Image Acquisition) Κάµερα CCD : Eυαίσθητη στην ορατή περιοχή του ηλεκτροµαγνητικού φάσµατος, η οποία παράγει ένα ηλεκτρικό σήµα ανάλογο της ενέργειας της ακτινοβολίας που δέχεται (Charged Coupled Device) Mετατροπέαςαναλογικούσεψηφιακόσήµα (A/D Converter), o οποίος αναλαµβάνει την µετατροπή του σήµατος σε ψηφιακή µορφή Αποθήκευση (Storing) Mια µονόχρωµη ψηφιακήεικόναµε 256 διαφορετικά επίπεδα φωτεινότητας χρειάζεται 8 δυαδικά ψηφία (bits) για την αναπαράσταση κάθε pixel. Αν οι διαστάσεις της εικόνας είναι 1024x1024, τότε απαιτούνται 1 Μbyte δεδοµένων Επεξεργασία (Processing) Μετάδοση (Communication) - Επίδειξη (Display) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 21

22 Χαρτογραφικές ιανυσµατικές Εικόνες Χαρτογραφικές εικόνες => ιδιάστατος Πίνακας Εικονοστοιχείων Ανάλυση Εικόνας ( ιαστάσεις πίνακα ή αριθµός pixels) Χρωµατικό Βάθος (Μήκος δείγµατος ή bits/pixel) Προβολή στην Οθόνη (Αντιστοίχηση σε τιµές dpi) BMP, GIF, JPEG, TIFF ιανυσµατικές εικόνες => Σύνολο αντικειµένων µε καθορισµένες παραµέτρους (Θέση, ιαστάσεις, Σχήµα, Χρώµα κοκ) Ανεξάρτητες ανάλυσης DXF (AutoCAD), AI (Adobe Illustrator), CDR (CorelDraw) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 22

23 Χωρική Ανάλυση 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 23

24 Ανάλυση Ψηφιακών Εικόνων Φαινόµενο Moire. Κατά την αύξηση του µεγέθους της εικόνας παρεµβάλλονται αυθαίρετα εικονοστοιχεία που το χρώµα τους προκυπτει από τη µέση τιµή των γειτονικών τους. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 24

25 ιορθώσεις - Βαθµονόµηση της Λήψης σε µαύρο και άσπρο Πραγµατοποιείται συνεπώς µε τη σύγκριση της απόκρισης της κάµερας µε τις γνωστές χρωµατικές τιµές του άσπρου και µαύρου. Ένα µειονέκτηµα αυτής της µεθόδου είναι ότι το επίπεδο της προσπίπτουσας ακτινοβολίας στο φωτοανιχνευτή δεν είναι ελέγξιµο και ως εκ τούτου δεν εξασφαλίζονται µετρήσεις που να εµπίπτουν εντός του δυναµικού του εύρους. Ρύθµιση σε πραγµατικό χρόνο τις τιµές της φωτεινότητας και των τριών χρωµατικών καναλιών στην συλλεγόµενη εικόνα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 25

26 ιόρθωση σκίασης Στα άκρα της εικόνας υπεισέρχονται σφάλµατα που οφείλονται σε µείωση της φωτεινότητας, λόγω της αυξανόµενης απόστασης και του ανοµοιόµορφου φωτισµού που προκαλούν σκιάσεις στην εικόνα. Για τη διόρθωση χρησιµοποιείται ένας πίνακας που προέρχεται από διαίρεση µιας εικόνας, της οποίας όλα τα pixels έχουν τιµές R=G=B=255 µε την εικόνα του τέλειου ανακλαστή η οποία αποκτάται µόλις ολοκληρωθεί η βαθµονόµηση στο άσπρο. Ο πίνακας που προκύπτει έχει τιµές κοντά στη µονάδα στο κέντρο του και µικρότερες τιµές καθώς αποµακρυνόµαστε προς τα άκρα. Τα στοιχεία του παραπάνω πίνακα πολλαπλασιαζόµενα στη συνέχεια µε τα αντίστοιχα pixels της συλλεγόµενης, αποζηµιώνουν για κάθε ανοµοιοµορφία της έντασης και διορθώνουν τις σκιάσεις. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 26

27 ιακριτική Ικανότητα Συστήµατα Αναγνώρισης Χαρακτήρων και Υπογραφών γραµµές ανά cm Αναγνώριση ακτυλικών Αποτυπωµάτων 80 γραµµές/cm Μετεωρολογικοί Χάρτες 40 γραµµές/cm Χαρακτήρες 32 x 32 pixels/χαρακτήρα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 27

28 Καταστολή Θορύβου Συχνά η εικόνα περιέχει ένα µέσο ή ακόµη και υψηλό επίπεδο θορύβου που προκαλείται κυρίως από τον περιβάλλοντα χώρο. Ηλεκτρονικός Θερµικός Θόρυβος. Averaging Median Filtering (Μη γραµµικά φίλτρα) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 28

29 Αρχική Βελτίωση Εικόνων -Εξίσωση Ιστογράµµατος Το ιστόγραµµα µίας εικόνας στην οποία τα pixels µπορούν να λάβουν Ν πιθανές τιµές (από 0 ως Ν-1) ορίζεται ως ο µονοδιάστατος πίνακας h(n), n = 0,, N-1 όπου h(k) είναι ο αριθµός των pixels της εικόνας που έχει τη τιµή k. Η ισοστάθµιση αποσκοπεί στη µετατροπή του τρέχοντος ιστογράµµατος h µίας εικόνας σε ένα καινούργιο ιστόγραµµα h στο οποίο όλες οι δυνατές τιµές για µία ψηφίδα έχουν την ίδια πιθανότητα εµφάνισης. Μία συνάρτηση που είναι ικανή να µετασχηµατίσει το τρέχουν ιστόγραµµα µε τον τρόπο που αναφέραµε περιγράφεται από τον τύπο: k 1 όπου k = 0,, Ν-1. h'[k] = n= 0 h[[ n] 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 29

30 Παράδειγµα Εξίσωσης Ιστογράµµατος 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 30

31 Γιατί συµπίεση; Οι πόροι για µετάδοση και αρχειοθέτηση πληροφορίας είναι περιορισµένοι ύο ώρες ασυµπίεστου video απαιτούν ώρες για µετάδοση από το τηλέφωνο απαιτούν 150 CD-ROM για αποθήκευση ισοδυναµούν µε µετάδοση σελίδων fax Προτυποποίηση 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 31

32 Βασικά βήµατα Στόχος: ελαχιστοποίηση των πόρων που απαιτούνται για τη µετάδοση του σήµατος από την πηγή στο δέκτη Πρώτη φάση µετατροπή του σήµατος σε µια σειρά από κατάλληλα σύµβολα εύτερη φάση κωδικοποίηση της εντροπίας των συµβόλων 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 32

33 Βασική ιδέα Εκµετάλλευση της επανάληψης στη µορφή των δειγµάτων αποτελεσµατικότερη αναπαράσταση των δεδοµένων Κλασικά σχήµατα κωδικοποίησης Περιορισµός των επαναλαµβανόµενων ακολουθιών (Suppression of repetitive sequences) Παράδειγµα AAAAAAAAAAAABBFFFMMMMMCGHM Στατιστική Κωδικοποίηση (Statistical encoding) Αντικατάσταση Προτύπων (Μόνο κείµενο) Κωδικοποίηση Huffman Run Length Coding ηµιουργία Λεξικού Συµβόλων 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 33

34 Σχήµατα 2 ης γενιάς Βασική ιδέα JPEG2000, ROI (region of interest) προσαρµογή του σχήµατος κωδικοποίησηςστιςδιάφορεςπεριοχές βελτιστοποίηση στις οµοιογενείς περιοχές Κωδικοποίηση µε µοντέλα Η συµπίεση προέρχεται από την απόρριψη πληροφορίας που δε γίνεται αισθητή (MP3) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 34

35 Τύποι συµπίεσης Χωρίς απώλειες lossless Η αρχική πληροφορία µπορεί να ανακτηθεί χωρίς αλλαγές από τα συµπιεσµένα δεδοµένα Μικρή συµπίεση (<3 για πραγµατικές εικόνες) Με απώλειες lossy Απώλεια πληροφορίας που δε µπορεί να ανακτηθεί κατά την αποκωδικοποίηση Μεγάλη συµπίεση αισθητή πτώση ποιότητας 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 35

36 Πληροφορία p: πιθανότητα του συµβόλου s Η πληροφορία σε bits για το σύµβολο είναι ίση µε το µικρότερο µήκος κώδικα ο βέλτιστος κώδικας για το σύµβολο Βασικές έννοιες 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 36

37 Εντροπία Αναπαριστά τη µέση ποσότητα πληροφορίας ανά σύµβολο µέσο µήκος κώδικα ανά σύµβολο Χαµηλότερο όριο κωδικοποίησης για δεδοµένο σύνολο συµβόλων Βασικές έννοιες 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 37

38 Πηγές διακριτής έντασης Μοντελοποίηση ενός σήµατος Χ ακολουθίες πηγές {x k } από σύµβολα διακριτός χρόνος στατιστικά ανεξάρτητα δείγµατα πηγή χωρίς µνήµη (memoryless) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 38

39 Πηγές διακριτής έντασης Τυχαίο γεγονός µε εκ των προτέρων πιθανότητα p περιέχει πληροφορία ίση µε I=-log 2 p (bits) p=1 I=0 ένα βέβαιο γεγονός δεν περιέχει πληροφορία µικρότερο p µεγαλύτερο Ι όσο λιγότερο πιθανό είναι ένα γεγονός, τόσο περισσότερη είναι η πληροφορία που περιέχει όταν συµβαίνει 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 39

40 Πηγές διακριτής έντασης Εντροπία µέση ποσότητα πληροφορίας στην πηγή H(X): η µέση πληροφορία για την υπόθεση για την τιµή τηςµεταβλητής Χ Εναλλακτικά, η αβεβαιότητα για την έξοδο της πηγής πριν πάρουµε τοσήµα της 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 40

41 Κωδικοποίηση εντροπίας Έστω µια τυχαία πηγή Χ, µε τιµές σε ένα πεπερασµένο σύνολο συµβόλων πλήθους Κ Στόχος: ελαχιστοποίηση των απαραίτητων bits για την αναπαράσταση των τιµών της Χ Ο κάθε κώδικας απεικονίζει ένα σύµβολο x k σε µια δυαδική «λέξη» w k, µήκους l k 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 41

42 Κωδικοποίηση εντροπίας Κώδικες σταθερού µήκους Fixed length codes: αν η ποσότητα log 2 k είναι ακέραια, τότε όλα τα σύµβολα µπορούν να κωδικοποιηθούν µε λέξεις ίσου µήκους l k = log 2 K bits Κώδικες µεταβλητού µήκους Variable length codes: το µέσο µήκος λέξης µπορεί να µειωθεί χρησιµοποιώντας λέξεις µικρότερου µήκους για σύµβολα που απαντώνται πιο συχνά 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 42

43 Κωδικοποίηση εντροπίας bit rate: ο µέσος ρυθµός που απαιτείται για την κωδικοποίηση κάθε συµβόλου της πηγής είναι Στόχος: βελτιστοποίηση των λέξεων για να µειωθεί το R x 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 43

44 Πηγές διακριτής έντασης Όλες οι πηγές µε Κ πεπερασµένες τιµές έντασης έχουν πεπερασµένη εντροπία πληροφορίας που δεν είναι µεγαλύτερη από log 2 K ανά σύµβολο Ίση µε log 2 K αν και µόνο αν όλες οι πιθανότητες είναι ίσες (απρόβλεπτη πηγή) Η κωδικοποίηση εντροπίας εκµεταλλεύεται την ανισότητα στις πιθανότητες και τη µνήµη της πηγής Επανάληψη (redundancy) R(X) = log 2 K H(X) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 44

45 Κωδικοποίηση εντροπίας H(X): αντιστοιχεί στο ελάχιστο µέσο bit rate για το σύστηµα κωδικοποίησης, έτσι ώστε όλα τα σύµβολα της πηγής να µεταδοθούν χωρίς παραµόρφωση min{r} = H(X) Στρατηγικές και αλγόριθµοι Prefix codes (κωδικοποίηση µεταβλ.µήκους) Huffman Arithmetic 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 45

46 Prefix codes Για να µπορεί κάθε ακολουθία από λέξεις να αποκωδικοποιηθεί µε µοναδικό τρόπο, πρέπει να είµαστε σίγουροι ότι καµιά λέξη δε µπορεί να είναι η αρχή (prefix) κάποιας άλλης Π.χ.{w 1 =0, w 2 =10, w 3 =110, w 4 =101} η ακολουθία 1010 µπορεί να εκφραστεί σαν w 2 w 2, αλλά και σαν w 4 w 1 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 46

47 Κωδικοποίηση Huffman Έκφραση κωδίκων µε τη µορφή δυαδικών δέντρων υπάρχει βέλτιστο δέντρο ελάχιστο bit rate Κάθε σύµβολο αναπαριστάται µε λέξεις µεγαλύτερους µήκους, όσο η πιθανότητα µικραίνει 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 47

48 Κανόνας δυναµικού προγραµµατισµού Κωδικοποίηση Huffman Κατασκευή νέου δέντρου µε διαδικασία bottom-up και συνένωση συµβόλων µε µικρή πιθανότητα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 48

49 Έστω Κ σύµβολα, ταξινοµηµένα µε αύξουσα πιθανότητα Κωδικοποίηση Huffman Ενώνουµε τα σύµβολα x 1 και x 2 Υπολογίζουµε το βέλτιστο δέντρο για τα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 49

50 Κωδικοποίηση Huffman Έστω 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 50

51 Συστήµατα κωδικοποίησης 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 51

52 Κωδικοποίηση µε πρόβλεψη Οι τιµές των δειγµάτων εκτιµώνται µε βάση ένα σταθερό κανόνα Οι διαφορές από τις πραγµατικές δίνουν την εικόνα σφάλµατος (error image) Κβαντισµός και κωδικοποίηση εντροπίας στο σφάλµα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 52

53 Κωδικοποίηση µε πρόβλεψη Ακίνητες εικόνες JPEG Ακολουθίες εικόνων MPEG 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 53

54 Κωδικοποίηση µε µετασχηµατισµό Ηχρήση µετασχηµατισµών µπορεί να βελτιώσει την απόδοση της συµπίεσης DCT (discrete cosine transform): JPEG DWT (discrete wavelet transform): JPEG2000 Μετασχηµατισµένοι συντελεστές Κβαντισµός Απεικόνιση σε πεπερασµένοσύνολοσυµβόλων Χρήση περαιτέρω απεικονίσεων για βελτίωση 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 54

55 Κωδικοποίηση µε µετασχηµατισµό Κωδικοποιητής Αποκωδικοποιητής 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 55

56 Κωδικοποίηση Μετασχηµατισµού 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 56

57 Παραδείγµατα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 57