Ψηφιακή Αναπαράσταση Πληροφορίας ρ. Μαγκλογιάννης Ηλίας Πανεπιστήµιο Αιγαίου Τµήµα Πληροφοριακών και Επικοινωνιακών Συστηµάτων
Η πληροφορία ως σήµα ειγµατοληψία Κβαντοποίηση Κωδικοποίηση Πλεονεκτήµατα Εισαγωγή Επεξεργασία Αποθήκευση και γρήγορη Αναζήτηση Αντιγραφή και χρησιµοποίηση σε πολλές εφαρµογές Μειονεκτήµατα Παραµόρφωση, η οποία εξαρτάται από τη συχνότητα δειγµατοληψίας και το επίπεδο κβαντισµού Πολυπλοκότητα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 2
Τεχνικές Ψηφιοποίησης Παλµοκωδική διαµόρφωση (PCM) Πλεονεκτήµατα της χρήσης της ψηφιακής αναπαράστασης των αναλογικών σηµάτων : Αντοχή (ruggedness) στο θόρυβο µετάδοσης και στην παρεµβολή, Αποτελεσµατική αναγέννηση (regenaration) του κωδικοποιηµένου σήµατος Κόστος Αύξηση της απαίτησης σε εύρος ζώνης µετάδοσης (αποθήκευση) και Αύξηση της πολυπλοκότητας του συστήµατος Οι λειτουργίες του ποµπού ενός συστήµατος PCM είναι η δειγµατοληψία (sampling), η κβαντοποίηση (quantizing), και η κωδικοποίηση (encoding) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 3
22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 4
Παλµοκωδική διαµόρφωση (PCM) Ηδειγµατοληψία βασίζεται στο θεώρηµα για σήµατα περιορισµένου εύρους ζώνης : Έστω το σήµα m(t), περιορισµένου εύρους ζώνης το οποίο δειγµατοληπτείται κάθε Τ sec όπου Τ=1/2f m και f m η µέγιστη συχνότητά του. Το σήµα m(t) είναι δυνατόν να ανακτηθεί από τις τιµές των δειγµάτων του m(nt s ), όπου n=ακέραιος και Τ s o ρυθµός δειγµατοληψίας, χωρίς παραµόρφωση αρκεί ο χρόνος δειγµατοληψίας T s να είναι αρκετά γρήγορος ώστε τουλάχιστον δύο δείγµατα να λαµβάνονται στην περίοδο που αντιστοιχεί στη µέγιστη συχνότητα του σήµατος Παράδειγµα : Ήχος ποιότητας τηλεφωνικής γραµµής µε f m = 4ΚΗZ. Σύµφωνα µε το θεώρηµα δειγµατοληψίας θα έχουµε όλη την πληροφορία αν µεταδώσουµε από το φάσµα αυτό τουλάχιστο 8000 δείγµατα ανά sec, η αλλιώς η συχνότητα δειγµατοληψίας θα πρέπει να είναι ίση µε 8KHz. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 5
Παράδειγµα Αναδίπλωσης x(t)= sin[2π(1/8)t] y(t)= sin[2π(-7/8)t] Fs=1Hz 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 6
Κβαντοποίηση Η µετατροπή ενός αναλογικού (συνεχούς) δείγµατος του σήµατος σε µια ψηφιακή (διακριτή) µορφή καλείται διαδικασία κβαντοποίησης (quantizing) Η διαφορά µεταξύ των δύο γειτονικών διακριτών τιµών ονοµάζεται κβάντο (quantum) ή µέγεθος βήµατος (step - size) Σφάλµα κβαντισµού (quantizing error) ή θόρυβος κβάντισης Μέγιστη στιγµιαία τιµή αυτού του σφάλµατος είναι το µισό ενός κβάντου και το συνολικό εύρος της µεταβολής είναι από -µισό έως +µισό βήµα µέση τιµή του σφάλµατος κβάντισης δίνεται από τη σχέση : <q e2 > = δ 2 /12 όπου δ είναι το µέγεθος του κβάντου 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 7
Κβαντιστής 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 8
Κωδικοποίηση Μετάδοση από ψηφιακό τηλεπικοινωνιακό µέσο Κάθε σχέδιο για την αναπαράσταση καθενός από αυτά τα διακριτά σύνολα τιµών σαν µια ιδιαίτερη διάταξη διακριτών γεγονότων ονοµάζεται κώδικας (code) Ένα από τα διακριτά γεγονότα σε ένα κώδικα ονοµάζεται στοιχείο του κώδικα (code element) ή σύµβολο (symbol) Μια ιδιαίτερη διάταξη συµβόλων, που χρησιµοποιείται σε ένα κώδικα, για την παράσταση µίας µόνο τιµής του διακριτού συνόλου ονοµάζεται κωδική λέξη (codeword) ή χαρακτήρας (character) Σε ένα δυαδικό κώδικα (binary code) κάθε σύµβολο µπορεί να πάρει µια από δύο διακριτές τιµές ή είδη, όπως η παρουσία ή η απουσία ενός παλµού 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 9
Κωδικοποίηση 1. On Off 2. Πολική Σηµατοδότηση 3. Επιστροφή στο µηδέν 4. ιπολική Σηµατοδότηση 5. Χωρισµού Φάσης / Manchester 6. ιαφορική Κωδικοποίηση 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 10
Αναγέννηση Επιτυγχάνεται µε την ανακατασκευή της κυµατοµορφής PCM µέσω µιας αλυσίδας αναγεννητικών επαναληπτών Ο αναγεννητικός επαναλήπτης εκτελεί τρεις λειτουργίες: Την ισοστάθµιση (equalization) Ο ισοσταθµιστής µορφοποιεί τους λαµβανόµενους παλµούς έτσι ώστε να αντισταθµίζει τις επιδράσεις παραµόρφωσης πλάτους και φάσης που παράγονται από τη χαρακτηριστική µετάδοσης του διαύλου Tον χρονισµό (timing) Το κύκλωµα χρονισµού περιέχει µια περιοδική ακολουθία παλµών, που παράγεται από τους λαµβανόµενους παλµούς, για τη δειγµατοληψία των ισοσταθµισµένων παλµών σε χρονικές στιγµές όπου ο λόγος σήµατος προς θόρυβο είναι µέγιστος Tη λήψη απόφασης (decision making) Η διάταξη απόφασης ενεργοποιείται όταν στο χρόνο δειγµατοληψίας που καθορίζεται από το κύκλωµα χρονισµού, το πλάτος του ισοσταθµισµένου παλµού µε το θόρυβο ξεπερνά µια προκαθορισµένη στάθµη τάσης 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 11
Αποκωδικοποίηση Ηδιαδικασία αποκωδικοποίησης (decoding) περιλαµβάνει τη δηµιουργία ενός παλµού, το πλάτος του οποίου είναι το γραµµικό άθροισµα όλων των παλµών στη κωδική λέξη, µε τον κάθε παλµό να έχει βάρος την τιµή της θέσης του (2 0, 2 1, 2 2, 2 3,...) στον κώδικα Άσκηση (Ήχος Ποιότητας CD) : Το εύρος των συχνοτήτων των ήχων που µπορεί να ακούσει ο άνθρωπος είναι περίπου 22kHz. Οι λέξεις που χρησιµοποιούνται για να παραστήσουν το πλάτος του σήµατος στο CD-DA έχουν µήκος 16bit. Εάν το CD-DA υποστηρίζει στερεοφωνία ποιό είναι το απαιτούµενο bit-rate ; 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 12
Επίλυση Το εύρος των συχνοτήτων των ήχων που µπορεί να ακούσει ο άνθρωπος είναι περίπου 22kHz. Άρα, σύµφωνα µε τη θεωρία του Nyquist, απαιτείται συχνότητα δειγµατοληψίας τουλάχιστον 44kHz. Στην πράξη, χρησιµοποιείται η συχνότητα των 44,1 khz. Κατά συνέπεια, απαιτείται η λήψη ενός δείγµατος κάθε 23µs. Το bit rate που προκύπτει από αυτά τα δεδοµένα πρέπει να πολλαπλασιαστεί µε 2, γιατί το CD-DA υποστηρίζει στερεοφωνία. Τελικά προκύπτει ότι το bit rate για το CD-DA είναι: 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 13
Χαρακτηριστικά Ήχου Μονοδιάστατο ακουστικό κύµα πίεσης Περιοχή συχνοτήτων ανθρώπινου αυτιού 20 20000 Hz DB = 20 log (A/B) A: Πλάτος του ακουστικού κύµατος Β: Κατώτατο όριο ακουστότητας (πίεση 0,0003 dyn/cm 2 ) για ηµιτονικό σήµα 1 KHz Ψηφιοποίηση Ήχου PCM για τηλεφωνία CD 8.000 δείγµατα /secτων 8 bit => f max = 4 KHz 44.000 δείγµατα /secτων 16 bit => f max = 22 KHz Πρότυπο MIDI 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 14
Μέγεθος Αρχείων Μέγεθος (bytes) =[ Κανάλια(1 ή 2) x Ρυθµός ειγµατοληψίας (Hz) x Έυρος είγµατος (bits) x Χρονική ιάρκεια (sec)] / 8 Παράδειγµα => 3 min ψηφιακού ήχου µε δειγµατοληψία 44.1 ΚHz και δείγµα 16 bit απαιτεί (2 x 44100 x 16 x 180) / 8 = 31752000 Bytes = 31 MB Συµπιεσµένο Αρχείο Κωδικοποίηση υποζώνης (sub-band coding) MPEG layer 3 Real Audio 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 15
Η ψηφιοποίηση των εικόνων Φως, Χρώµα και Ανθρώπινη Όραση Το φως είναι ηλεκτροµαγνητική ακτινοβολία, η οποία προκαλεί την οπτική αντίδραση του ανθρώπου. Μήκος κύµατος λ µεταξύ 250nm και 780nm. Η ενέργεια που έχει αυτή µια φωτεινή πηγή ονοµάζεται ένταση (intensity) και συµβολίζεται C. Φασµατική κατανοµή (spectral distribution) C(λ), που περιγράφει την ένταση όλων των µηκών κύµατος που αποτελούν την πηγή. Ψηφιακή Αναπαράσταση ιδιάστατη συνάρτηση f(x,y), όπου τα x και y αντιπροσωπεύουν χωρικές συντεταγµένες και η τιµήτηςf σε κάθε σηµείο (x,y) είναι ανάλογη της φωτεινότητας (brightness) της εικόνας στο συγκεκριµένο σηµείο Επίπεδο του γκρι (gray level), o οποίος συναντάται αρκετά συχνά στην βιβλιογραφία. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 16
Ψηφιακή Αναπαράσταση Εικόνας Μια ψηφιακή εικόνα είναι µια εικόνα f(x,y), η οποία έχει διακριτοποιηθεί τόσο στις χωρικές συντεταγµένες όσο και στη φωτεινότητα. Πίνακας, οι γραµµές και στήλες του οποίου δηλώνουν τις χωρικές συντεταγµένες x και y, ενώ οι αντίστοιχες τιµές αντιπρoσωπεύουν την φωτεινότητα f. Τα στοιχεία του παραπάνω πίνακα ονοµάζονται στοιχεία εικόνας (picture elements) ή πιο σύντοµα pixels. Στην περίπτωση έγχρωµων εικόνων η συνάρτηση f µπορεί να θεωρηθεί διάνυσµα µε τρείςσυνιστώσεςrgb (Red Green Blue), CMY (Cyan Magenta Yellow) κ.ο.κ. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 17
Ψηφιακή Εικόνα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 18
Φωτεινότητα - Χρωµατικότητα (Ι) Μετασχηµατισµός του RGB σήµατος σε σήµατα φωτεινότητας και chrominance Η ανθρώπινη όραση είναι γενικά πολύ πιο ευαίσθητη στη φωτεινότητα της εικόνας παρά στα χρώµατα. Μετασχηµατίζοντας το RGB σήµα σε ένα σήµα φωτεινότητας και δύο άλλα που µεταφέρουν τη χρωµατική πληροφορία. Τα δύο χρωµατικά σήµατα µπορούν να παρασταθούν και µεταδοθούν µε µικρότερη ακρίβεια από ότι το σήµα φωτεινότητας, κάνοντας έτσι οικονοµία του διαθέσιµου bandwidth. ιατήρηση της συµβατότητας µε τα παλαιότερα συστήµατα τηλεόρασης. Μια ασπρόµαυρη τηλεόραση θα αγνοήσει τα χρωµατικά σήµατα και θα απεικονίσει µόνο τη φωτεινότητα. Η φωτεινότητα συµβολίζεται συνήθως µε Υ. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 19
Φωτεινότητα - Χρωµατικότητα (ΙΙ) Στο NTSC πρότυπο τα χρωµατικά σήµατα συµβολίζονται ως I και Q και υπολογίζονται ως εξής: Y = 0,30R + O,59G + 0,14B I = 0,74(R-Y) - 0,27(B-Y) = 0,60R + 0,28G + 0,32B Q = 0,48(R-Y) + 0,41(B-Y) = 0,21R + 0,52G + 0,31B Στο PAL πρότυπο τα χρωµατικά σήµατα συµβολίζονται ως U και V και υπολογίζονται ως εξής: Y = 0,30R + O,59G + 0,11B U = 0,493(B-Y) = -0,15R - 0,29G + 0,44B V = 0,877(R-Y) = 0,62R - 0,52G - 0,10B 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 20
οµή των Συστηµάτων Ψηφιακής Εικόνας Λήψη Εικόνας (Image Acquisition) Κάµερα CCD : Eυαίσθητη στην ορατή περιοχή του ηλεκτροµαγνητικού φάσµατος, η οποία παράγει ένα ηλεκτρικό σήµα ανάλογο της ενέργειας της ακτινοβολίας που δέχεται (Charged Coupled Device) Mετατροπέαςαναλογικούσεψηφιακόσήµα (A/D Converter), o οποίος αναλαµβάνει την µετατροπή του σήµατος σε ψηφιακή µορφή Αποθήκευση (Storing) Mια µονόχρωµη ψηφιακήεικόναµε 256 διαφορετικά επίπεδα φωτεινότητας χρειάζεται 8 δυαδικά ψηφία (bits) για την αναπαράσταση κάθε pixel. Αν οι διαστάσεις της εικόνας είναι 1024x1024, τότε απαιτούνται 1 Μbyte δεδοµένων Επεξεργασία (Processing) Μετάδοση (Communication) - Επίδειξη (Display) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 21
Χαρτογραφικές ιανυσµατικές Εικόνες Χαρτογραφικές εικόνες => ιδιάστατος Πίνακας Εικονοστοιχείων Ανάλυση Εικόνας ( ιαστάσεις πίνακα ή αριθµός pixels) Χρωµατικό Βάθος (Μήκος δείγµατος ή bits/pixel) Προβολή στην Οθόνη (Αντιστοίχηση σε τιµές dpi) BMP, GIF, JPEG, TIFF ιανυσµατικές εικόνες => Σύνολο αντικειµένων µε καθορισµένες παραµέτρους (Θέση, ιαστάσεις, Σχήµα, Χρώµα κοκ) Ανεξάρτητες ανάλυσης DXF (AutoCAD), AI (Adobe Illustrator), CDR (CorelDraw) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 22
Χωρική Ανάλυση 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 23
Ανάλυση Ψηφιακών Εικόνων Φαινόµενο Moire. Κατά την αύξηση του µεγέθους της εικόνας παρεµβάλλονται αυθαίρετα εικονοστοιχεία που το χρώµα τους προκυπτει από τη µέση τιµή των γειτονικών τους. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 24
ιορθώσεις - Βαθµονόµηση της Λήψης σε µαύρο και άσπρο Πραγµατοποιείται συνεπώς µε τη σύγκριση της απόκρισης της κάµερας µε τις γνωστές χρωµατικές τιµές του άσπρου και µαύρου. Ένα µειονέκτηµα αυτής της µεθόδου είναι ότι το επίπεδο της προσπίπτουσας ακτινοβολίας στο φωτοανιχνευτή δεν είναι ελέγξιµο και ως εκ τούτου δεν εξασφαλίζονται µετρήσεις που να εµπίπτουν εντός του δυναµικού του εύρους. Ρύθµιση σε πραγµατικό χρόνο τις τιµές της φωτεινότητας και των τριών χρωµατικών καναλιών στην συλλεγόµενη εικόνα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 25
ιόρθωση σκίασης Στα άκρα της εικόνας υπεισέρχονται σφάλµατα που οφείλονται σε µείωση της φωτεινότητας, λόγω της αυξανόµενης απόστασης και του ανοµοιόµορφου φωτισµού που προκαλούν σκιάσεις στην εικόνα. Για τη διόρθωση χρησιµοποιείται ένας πίνακας που προέρχεται από διαίρεση µιας εικόνας, της οποίας όλα τα pixels έχουν τιµές R=G=B=255 µε την εικόνα του τέλειου ανακλαστή η οποία αποκτάται µόλις ολοκληρωθεί η βαθµονόµηση στο άσπρο. Ο πίνακας που προκύπτει έχει τιµές κοντά στη µονάδα στο κέντρο του και µικρότερες τιµές καθώς αποµακρυνόµαστε προς τα άκρα. Τα στοιχεία του παραπάνω πίνακα πολλαπλασιαζόµενα στη συνέχεια µε τα αντίστοιχα pixels της συλλεγόµενης, αποζηµιώνουν για κάθε ανοµοιοµορφία της έντασης και διορθώνουν τις σκιάσεις. 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 26
ιακριτική Ικανότητα Συστήµατα Αναγνώρισης Χαρακτήρων και Υπογραφών 32 40 γραµµές ανά cm Αναγνώριση ακτυλικών Αποτυπωµάτων 80 γραµµές/cm Μετεωρολογικοί Χάρτες 40 γραµµές/cm Χαρακτήρες 32 x 32 pixels/χαρακτήρα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 27
Καταστολή Θορύβου Συχνά η εικόνα περιέχει ένα µέσο ή ακόµη και υψηλό επίπεδο θορύβου που προκαλείται κυρίως από τον περιβάλλοντα χώρο. Ηλεκτρονικός Θερµικός Θόρυβος. Averaging Median Filtering (Μη γραµµικά φίλτρα) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 28
Αρχική Βελτίωση Εικόνων -Εξίσωση Ιστογράµµατος Το ιστόγραµµα µίας εικόνας στην οποία τα pixels µπορούν να λάβουν Ν πιθανές τιµές (από 0 ως Ν-1) ορίζεται ως ο µονοδιάστατος πίνακας h(n), n = 0,, N-1 όπου h(k) είναι ο αριθµός των pixels της εικόνας που έχει τη τιµή k. Η ισοστάθµιση αποσκοπεί στη µετατροπή του τρέχοντος ιστογράµµατος h µίας εικόνας σε ένα καινούργιο ιστόγραµµα h στο οποίο όλες οι δυνατές τιµές για µία ψηφίδα έχουν την ίδια πιθανότητα εµφάνισης. Μία συνάρτηση που είναι ικανή να µετασχηµατίσει το τρέχουν ιστόγραµµα µε τον τρόπο που αναφέραµε περιγράφεται από τον τύπο: k 1 όπου k = 0,, Ν-1. h'[k] = n= 0 h[[ n] 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 29
Παράδειγµα Εξίσωσης Ιστογράµµατος 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 30
Γιατί συµπίεση; Οι πόροι για µετάδοση και αρχειοθέτηση πληροφορίας είναι περιορισµένοι ύο ώρες ασυµπίεστου video απαιτούν 8.000 ώρες για µετάδοση από το τηλέφωνο απαιτούν 150 CD-ROM για αποθήκευση ισοδυναµούν µε µετάδοση 250.000 σελίδων fax Προτυποποίηση 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 31
Βασικά βήµατα Στόχος: ελαχιστοποίηση των πόρων που απαιτούνται για τη µετάδοση του σήµατος από την πηγή στο δέκτη Πρώτη φάση µετατροπή του σήµατος σε µια σειρά από κατάλληλα σύµβολα εύτερη φάση κωδικοποίηση της εντροπίας των συµβόλων 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 32
Βασική ιδέα Εκµετάλλευση της επανάληψης στη µορφή των δειγµάτων αποτελεσµατικότερη αναπαράσταση των δεδοµένων Κλασικά σχήµατα κωδικοποίησης Περιορισµός των επαναλαµβανόµενων ακολουθιών (Suppression of repetitive sequences) Παράδειγµα AAAAAAAAAAAABBFFFMMMMMCGHM Στατιστική Κωδικοποίηση (Statistical encoding) Αντικατάσταση Προτύπων (Μόνο κείµενο) Κωδικοποίηση Huffman Run Length Coding ηµιουργία Λεξικού Συµβόλων 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 33
Σχήµατα 2 ης γενιάς Βασική ιδέα JPEG2000, ROI (region of interest) προσαρµογή του σχήµατος κωδικοποίησηςστιςδιάφορεςπεριοχές βελτιστοποίηση στις οµοιογενείς περιοχές Κωδικοποίηση µε µοντέλα Η συµπίεση προέρχεται από την απόρριψη πληροφορίας που δε γίνεται αισθητή (MP3) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 34
Τύποι συµπίεσης Χωρίς απώλειες lossless Η αρχική πληροφορία µπορεί να ανακτηθεί χωρίς αλλαγές από τα συµπιεσµένα δεδοµένα Μικρή συµπίεση (<3 για πραγµατικές εικόνες) Με απώλειες lossy Απώλεια πληροφορίας που δε µπορεί να ανακτηθεί κατά την αποκωδικοποίηση Μεγάλη συµπίεση αισθητή πτώση ποιότητας 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 35
Πληροφορία p: πιθανότητα του συµβόλου s Η πληροφορία σε bits για το σύµβολο είναι ίση µε το µικρότερο µήκος κώδικα ο βέλτιστος κώδικας για το σύµβολο Βασικές έννοιες 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 36
Εντροπία Αναπαριστά τη µέση ποσότητα πληροφορίας ανά σύµβολο µέσο µήκος κώδικα ανά σύµβολο Χαµηλότερο όριο κωδικοποίησης για δεδοµένο σύνολο συµβόλων Βασικές έννοιες 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 37
Πηγές διακριτής έντασης Μοντελοποίηση ενός σήµατος Χ ακολουθίες πηγές {x k } από σύµβολα διακριτός χρόνος στατιστικά ανεξάρτητα δείγµατα πηγή χωρίς µνήµη (memoryless) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 38
Πηγές διακριτής έντασης Τυχαίο γεγονός µε εκ των προτέρων πιθανότητα p περιέχει πληροφορία ίση µε I=-log 2 p (bits) p=1 I=0 ένα βέβαιο γεγονός δεν περιέχει πληροφορία µικρότερο p µεγαλύτερο Ι όσο λιγότερο πιθανό είναι ένα γεγονός, τόσο περισσότερη είναι η πληροφορία που περιέχει όταν συµβαίνει 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 39
Πηγές διακριτής έντασης Εντροπία µέση ποσότητα πληροφορίας στην πηγή H(X): η µέση πληροφορία για την υπόθεση για την τιµή τηςµεταβλητής Χ Εναλλακτικά, η αβεβαιότητα για την έξοδο της πηγής πριν πάρουµε τοσήµα της 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 40
Κωδικοποίηση εντροπίας Έστω µια τυχαία πηγή Χ, µε τιµές σε ένα πεπερασµένο σύνολο συµβόλων πλήθους Κ Στόχος: ελαχιστοποίηση των απαραίτητων bits για την αναπαράσταση των τιµών της Χ Ο κάθε κώδικας απεικονίζει ένα σύµβολο x k σε µια δυαδική «λέξη» w k, µήκους l k 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 41
Κωδικοποίηση εντροπίας Κώδικες σταθερού µήκους Fixed length codes: αν η ποσότητα log 2 k είναι ακέραια, τότε όλα τα σύµβολα µπορούν να κωδικοποιηθούν µε λέξεις ίσου µήκους l k = log 2 K bits Κώδικες µεταβλητού µήκους Variable length codes: το µέσο µήκος λέξης µπορεί να µειωθεί χρησιµοποιώντας λέξεις µικρότερου µήκους για σύµβολα που απαντώνται πιο συχνά 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 42
Κωδικοποίηση εντροπίας bit rate: ο µέσος ρυθµός που απαιτείται για την κωδικοποίηση κάθε συµβόλου της πηγής είναι Στόχος: βελτιστοποίηση των λέξεων για να µειωθεί το R x 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 43
Πηγές διακριτής έντασης Όλες οι πηγές µε Κ πεπερασµένες τιµές έντασης έχουν πεπερασµένη εντροπία πληροφορίας που δεν είναι µεγαλύτερη από log 2 K ανά σύµβολο Ίση µε log 2 K αν και µόνο αν όλες οι πιθανότητες είναι ίσες (απρόβλεπτη πηγή) Η κωδικοποίηση εντροπίας εκµεταλλεύεται την ανισότητα στις πιθανότητες και τη µνήµη της πηγής Επανάληψη (redundancy) R(X) = log 2 K H(X) 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 44
Κωδικοποίηση εντροπίας H(X): αντιστοιχεί στο ελάχιστο µέσο bit rate για το σύστηµα κωδικοποίησης, έτσι ώστε όλα τα σύµβολα της πηγής να µεταδοθούν χωρίς παραµόρφωση min{r} = H(X) Στρατηγικές και αλγόριθµοι Prefix codes (κωδικοποίηση µεταβλ.µήκους) Huffman Arithmetic 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 45
Prefix codes Για να µπορεί κάθε ακολουθία από λέξεις να αποκωδικοποιηθεί µε µοναδικό τρόπο, πρέπει να είµαστε σίγουροι ότι καµιά λέξη δε µπορεί να είναι η αρχή (prefix) κάποιας άλλης Π.χ.{w 1 =0, w 2 =10, w 3 =110, w 4 =101} η ακολουθία 1010 µπορεί να εκφραστεί σαν w 2 w 2, αλλά και σαν w 4 w 1 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 46
Κωδικοποίηση Huffman Έκφραση κωδίκων µε τη µορφή δυαδικών δέντρων υπάρχει βέλτιστο δέντρο ελάχιστο bit rate Κάθε σύµβολο αναπαριστάται µε λέξεις µεγαλύτερους µήκους, όσο η πιθανότητα µικραίνει 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 47
Κανόνας δυναµικού προγραµµατισµού Κωδικοποίηση Huffman Κατασκευή νέου δέντρου µε διαδικασία bottom-up και συνένωση συµβόλων µε µικρή πιθανότητα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 48
Έστω Κ σύµβολα, ταξινοµηµένα µε αύξουσα πιθανότητα Κωδικοποίηση Huffman Ενώνουµε τα σύµβολα x 1 και x 2 Υπολογίζουµε το βέλτιστο δέντρο για τα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 49
Κωδικοποίηση Huffman Έστω 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 50
Συστήµατα κωδικοποίησης 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 51
Κωδικοποίηση µε πρόβλεψη Οι τιµές των δειγµάτων εκτιµώνται µε βάση ένα σταθερό κανόνα Οι διαφορές από τις πραγµατικές δίνουν την εικόνα σφάλµατος (error image) Κβαντισµός και κωδικοποίηση εντροπίας στο σφάλµα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 52
Κωδικοποίηση µε πρόβλεψη Ακίνητες εικόνες JPEG Ακολουθίες εικόνων MPEG 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 53
Κωδικοποίηση µε µετασχηµατισµό Ηχρήση µετασχηµατισµών µπορεί να βελτιώσει την απόδοση της συµπίεσης DCT (discrete cosine transform): JPEG DWT (discrete wavelet transform): JPEG2000 Μετασχηµατισµένοι συντελεστές Κβαντισµός Απεικόνιση σε πεπερασµένοσύνολοσυµβόλων Χρήση περαιτέρω απεικονίσεων για βελτίωση 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 54
Κωδικοποίηση µε µετασχηµατισµό Κωδικοποιητής Αποκωδικοποιητής 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 55
Κωδικοποίηση Μετασχηµατισµού 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 56
Παραδείγµατα 22/11/2005 Ψηφιακή Αναπαράσταση Πληροφορίας 57