Θέμα: «ΣΥΜΠΙΕΣΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΠΟΛΥΜΕΣΑ» Εισηγητής: Παναγιώτης Γιώτης 20 Μαϊου 2007 Αθήνα

Transcript

1 Θέμα: «ΣΥΜΠΙΕΣΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΠΟΛΥΜΕΣΑ» Εισηγητής: Παναγιώτης Γιώτης 20 Μαϊου 2007 Αθήνα

2 Βασικοί άξονες της παρουσίασης ΜΕΡΟΣ Ι: Τι είναι η συμπίεση και γιατί είναι απαραίτητη ΜΕΡΟΣ ΙΙ: Τεχνικές Συμπίεσης - κατηγορίες κωδικοποίησης ΜΕΡΟΣ ΙΙΙ: Συμπίεση αρχείων κειμένου, ήχου, εικόνας, βίντεο. Συμπεράσματα

3 ΜΕΡΟΣ : Ι Τι είναι η συμπίεση δεδομένων; Γιατί επιβάλλεται;

4 ΟΡΙΣΜΟΣ: (1) συμπίεση (compression) μιας ακολουθίας δεδομένων, ονομάζουμε την ελάττωση του μεγέθους της ακολουθίας, ώστε να χρειάζεται λιγότερος χώρος για την αποθήκευση ή τη μετάδοσή της. Ο περιορισμός του μεγέθους που καταλαμβάνει ένα ποσό πληροφορίας εις βάρος της διαθεσιμότητάς του, της υπολογιστικής ισχύος και σε ορισμένες περιπτώσεις της ακρίβειας του περιεχομένου. Λόγος συμπίεσης = αρχικό μέγεθος δεδομένων / μέγεθος συμπιεσμένων αρχείων π.χ. 3 προς 1 (3:1) Λόγοι που επιβάλουν συμπίεση: 1. Υψηλές απαιτήσεις σε χώρο αποθήκευσης 2. Αργές συσκευές αποθήκευσης 3. Το εύρος φάσματος για τη μεταφορά δεδομένων σε πραγματικό χρόνο

5 Δομικά στοιχεία των πολυμέσων: Απαιτήσεις σε αποθηκευτικό χώρο διαφόρων τύπων δεδομένων Είδος δεδομένων κείμενο Εικόνα Ήχος βίντεο Απαιτούμενος αποθηκευτικός χώρος εύρος φάσματος 2ΚΒ/σελίδα (εικόνα 2000Χ2000 σημείων) >10ΜΒ 176 ΚΒ/sec για ποιότητα CD (30fps, 24bit χρώμα, 640χ480pixel/frame)27,7 MB/sec ένα frame (έγχρωμο βίντεο) μεγέθους 640Χ480 pixel και 24bit βάθους χρώματος καταλαμβάνει περίπου 0,9ΜΒ. Ρυθμός 30frames/sec απαιτεί 27,7ΜΒ για ένα μόνο δευτερόλεπτο, για 1 λεπτό (27,7Χ60)=1662ΜΒ ή 1,62 GB

6 Παράδειγμα: Μια τυπική εφαρμογή πολυμέσων περιλαμβάνει: 30 Λεπτά βίντεο 50 GB 2000 εικόνες 15 GB 40 λεπτά στερεοφωνικού ήχου 0.4 GB Σύνολο 65,4 GB

7 ΜΕΡΟΣ : ΙΙ Τεχνικές Συμπίεσης Κατηγορίες κωδικοποίησης

8 2. Με απώλειες lossy Αλγόριθμοι συμπίεσης ηδιαδικασίασυμπίεσης αλλοιώνει την πληροφορία. Δηλαδή, μετά την αποσυμπίεση, η πληροφορία δεν επανέρχεται στην μορφή που είχε πριν. 1. Χωρίς απώλειες lossless ηδιαδικασίασυμπίεσηςδεν αλλοιώνει καθόλου την πληροφορία. Δηλαδή, μετά την αποσυμπίεση, η πληροφορία επανέρχεται ακριβώς στην μορφή που είχε πριν

9 Ταξινόμηση των τεχνικών συμπίεσης κωδικοποίηση 1. εντροπίας 2. πηγής Περιορισμός Διαφορική ή Επαναλαμβανόμενων Προβλεπτική ακολουθιών Στη φύση, τα περισσότερα σχήματα προκύπτουν από την επανάληψη σε κωδικοποίηση Συνδυασμός τεχνικών εντροπίας και πηγής διαφορετικές κλίμακες και γωνίες του ιδίου βασικού σχήματος. Αυτοί οι Στατιστική γεωμετρικοί σχηματισμοί Διανυσματική ονομάζονται fractals. κωδικοποίηση Οι μορφές που μπορεί κωδικοποίηση να πάρει ένα fractal περιγράφονται με μαθηματικούς τύπους τους Η διαφορά αυτής της τεχνικής μετασχηματισμούς Αναφέρεται είναι ότισε οιτεχνικές fractal οι οποίες δε μετασχηματισμοί Κωδικοποίηση τους Κωδικοποίηση Κωδικοποίηση οποίους λαμβάνουν υφίστανται υπόψη το είδος της πληροφορίας αρχικό Huffman σήμα εξαρτώνται προτύπων άμεσα που από πρόκειται τον τύπο μετασχηματισμού να συμπιεστεί. τουοι τεχνικές αντιμετωπίζουν την πληροφορία ως μια απλή ακολουθία bits 3.Υβριδικές τεχνικές 4.Συμπίεση με fractals

10 Κατηγόρία: Κωδικοποίηση εντροπίας Τεχνική: Περιορισμός επαναλαμβανόμενων ακολουθιών αλγόριθμος RLE (Run Length Encoding) - Αποτελεί μία από τις απλούστερες τεχνικές συμπίεσης Βασική αρχή: - εντοπίζονται οι διαδοχικές επαναλήψεις του ιδίου χαρακτήρα. -αντικαθίστανται οι συνεχόμενες επαναλήψεις από το πλήθος τους, ακολουθούμενο από τον χαρακτήρα. Μια ακολουθία εικόνας byte (3,1) (6,0) (1,1)(1,0) (4,1) (2,0) (4,1) (8,0) 16 byte Μια ακολουθία κειμένου: C C C B A A A A A A D B A C E E E E E E E E E E E 25 byte 3 C 1 B 6 A 1 D 1 B 1 A 1 C 11 E 16 byte

11 Κατηγόρία: Κωδικοποίηση εντροπίας Τεχνική: Στατιστική κωδικοποίηση 1η μέθοδος: αντικατάσταση προτύπων αλγόριθμος LZW (Lempel Ziv Welch) Βασική αρχή: -Αναζήτηση και μέτρηση του πλήθους όλων των ακολουθιών (χαρακτήρων, χρωμάτων κλπ) και αντιστοίχηση ενός μοναδικού κωδικού αριθμού - αντικατάστασή των ακολουθιών τους από κωδικούς (ειδικά bytes, ένα byte για κάθε τέτοιο ζευγάρι χαρακτήρων) Παράδειγμα: σε ένα κείμενο ηλέξη«το» συναντάται 50 φορές, ηλέξη«εαπ» συναντάται 37 φορες, ηλέξη«εκπαίδεύση» 23 φορες κ.ο.κ. Λεξικό Λεξη: το ΕΑΠ εκπαίδευση κωδικός Κατά τη συμπίεση αντικαθίσταται η κάθε λέξη με τον κωδικό της. Κατά την αποσυμπίεση είναι απαραίτητη η ύπαρξη του λεξικού.

12 Κατηγόρία: Κωδικοποίηση εντροπίας Τεχνική: Στατιστική κωδικοποίηση 2η μέθοδος: κωδικοποίηση Huffman Βασική αρχή: στηρίζεται στη στατιστική ανάλυση της ακολουθίας των δεδομένων Παράδειγμα: Έστω ότι θέλουμε να κωδικοποιήσουμε τη λέξη «ΠΟΛΛΑΠΛΑ» = 8 byte=64bit Λεξικό 0 1 χαρακτήρας επανάληψη συχνότητα κωδικός Λ 3 0,38 11 Π 2 0,25 10 Α 2 0,25 01 Ο 0 1 Α 0 1 Π Λ Ο 1 0,13 00 Τελική κωδικοποίηση: Π Ο Λ Λ Α Π Λ Α =16 bit + το λεξικό

13 Κατηγόρία: Κωδικοποίηση Πηγής Τεχνική: Διανυσματική κβαντοποίηση Αποτελεί μια ειδική περίπτωση της μεθόδου αντικατάστασης προτύπων. Τα βασικά χαρακτηριστικά λειτουργίας της είναι τα ακόλουθα: Τα δεδομένα χωρίζονται σε τμήματα που ονομάζονται διανύσματα. Για παράδειγμα, αν τα δεδομένα μας αποτελούν μια εικόνα, κάθε διάνυσμα μπορεί να είναι ένα τετράγωνο ή παραλληλόγραμμο τμήμα της εικόνας. Υπάρχει ένας πίνακας που περιέχει ένα σύνολο από πρότυπα διανύσματα. Αυτός ο πίνακας αποτελεί το λεξικό της μεθόδου καιπρέπειναείναιδιαθέσιμο τόσο κατά την συμπίεση, όσο και την αποσυμπίεση των δεδομένων. Το λεξικό μπορεί να είναι προκαθορισμένο, δηλαδή το ίδιο σε όλες τις διαδικασίες συμπίεσης ήδυναμικό. Στην τελευταία περίπτωση, κάθε φορά που ξεκινά η συμπίεση των δεδομένων, ένα νέο λεξικό δημιουργείται. Η συμπίεση γίνεται με αντικατάσταση κάθε διανύσματος της αρχικής πληροφορίας με το πιο ταιριαστό από τα πρότυπα του λεξικού. Κάνοντας χρήση του λεξικού, αντί για ολόκληρα τα πρότυπα, αποθηκεύεται μόνο η ετικέτα τους ή ο αύξων αριθμός τους στο λεξικό.

14 Κατηγόρία: Κωδικοποίηση Πηγής Τεχνική: Διανυσματική κβαντοποίηση Δεδομένα: Λεξικό: ετικέτες: Διάνυσμα 0 Πρότυπο α b Διάνυσμα 1 Διάνυσμα 2 Διάνυσμα Ν Πρότυπο b Πρότυπο k Πρότυπο m k a m

15 Κατηγόρία: Υβριδικές Τεχνικές δεδομένα προετοιμασία Κωδικοποίηση πηγής Κωδικοποίηση εντροπίας Συμπιεσμένα δεδομένα

16 ΜΕΡΟΣ : ΙΙΙ ΠΡΟΤΥΠΑ ΣΥΜΠΙΕΣΗΣ Κειμένου Εικόνας Ήχου Βίντεο Animation

17 ΣΥΜΠΙΕΣΗ ΚΕΙΜΕΝΟΥ Η συμπίεση κειμένων δεν είναι τόσο μεγάλης σημασίας σε σχέση με την περίπτωση της εικόνας, του ήχου και του βίντεο. Όπου γίνεται αναγκαία η συμπίεση, εφαρμόζονται οι τεχνικές στατιστικής κωδικοποίησης αντικατάστασης προτύπων (LZW) και η κωδικοποίηση Huffman.

18 Συνήθως: συνδυασμός τεχνικών εντροπίας και πηγής Σε γραμμικά σχέδια: διανυσματοποίηση Συνήθεις τεχνικές: ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΑΣ Επικρατέστερα πρότυπα εικόνας: JPEG, GIF, TIFF, BMP Μείωσητουχρωματικούβάθους καταστρέφει κατά πολύ την ποιότητα της εικόνας Τεχνική περιορισμού επαναλαμβανόμενων ακολουθιών Run-length encoding (RLE) (Adobe Photoshop και διάφορα format των Windows) Αντικατάστασης προτύπων - LZW (TIFF, PDF, GIF,EPS) Αποτελεσματική για εικόνες με μεγάλες περιοχές ιδίου χρώματος. Τα πλέον επιτυχημένα πρότυπα: JPEG και JPEG 2000

19 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΑΣ

20 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΑΣ JPEG Πρότυπο ISO, συνεργασία Joint Photographic Expert Group και ITU-TS Αλγόριθμος συμπίεσης με απώλειες και λόγο συμπίεσης Από 10:1 έως 100:1 Χωρίς απώλειες μικρή συμπίεση (2:1) Βασική αρχή: στηρίζεται σε ιδιότητες της όρασης μικρές αλλαγές χρώματος δε γίνονται Αντιληπτές όταν η φωτεινότητα διατηρείται η ίδια. Λειτουργεί καλύτερα σε φωτογραφίες και σε «φυσικές Εικόνες» όπου η μεταβολή χρώματος είναι ομαλή

21 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΑΣ JPEG GIF TIFF Πλεονεκτήματα: Υψηλοί λόγοι συμπίεσης Υψηλή ποιότητα εικόνας Δυνατότητα προσδιορισμού ποιότητας κατά την συμπίεση Μειονεκτήματα: δε δίνει καλά αποτελέσματα σε απλά ή γραμμικά σχέδια. Είναι κατάλληλο για απλά γραμμικά σχέδια. Χρησιμοποιεί τον αλγόριθμο LZW Πλεονεκτήματα: χρησιμοποιείται κυρίως για την ανταλλαγή εικόνων. Δεν περιλαμβάνει αλγορίθμους συμπίεσης «δανείζεται» διάφορους αλγορίθμους

22 ΣΥΜΠΙΕΣΗ HXOY Εξαρτάται από το είδος του ήχου. (ομιλία, μουσική κλπ) Έχουν αναπτυχθεί διαφορετικοί αλγόριθμοι για ομιλία και μουσική Τηλεφωνία: Το μικρό εύρος των τηλεφωνικών γραμμών οδήγησε στη δημιουργία τεχνικών συμπίεσης Πρότυπα MPEG (Μoving Picture Experts Group (MPEG) του ISO/IEC αναπτύσσει πρότυπα ήχου και βίντεο από το 1988) Ξεκίνησαν σαν πρότυπα για την συμπίεση κινούμενης εικόνας Επειδή το video συμπεριλαμβάνει και ήχο συμπεριλαμβάνουν και τεχνικές για συμπίεση ήχου. MPEG 1, mp3 MPEG II dvd hdtv, MPEG IV, m4a,m4p πολυκάναλος ήχος, VRML Οι πιο διαδεδομένοι τρόποι κωδικοποίησης και συμπίεσης ηχητικών σημάτων στο δίκτυο χωρίς να είναι οι μοναδικοί- είναι σήμερα οι εξής : MPEG-2 Audio layer 3 Dolby s AC-3

23 ΣΥΜΠΙΕΣΗ HXOY MP3 MPEG layer I, MPEG layer II, MPEG layer III Αναπτύχθηκε από το γερμανικό Τνστιτούτο Fraunhofer-IIS το γερμανικό Πανεπιστήμιο Erlangen και εταιρίες όπως οι Thomson Multimedia, CNET και AT&T Στηρίζεται στο ψυχοακουστικό μοντέλο της συμπεριφοράς του ανθρώπινου αυτιού Εκμεταλλεύεται την ιδιαιτερότητα της ανθρώπινης ακοής που ονομάζεται ακουστική σκίαση. Επιτυγχάνει υψηλούς λόγους συμπίεσης (1:10, 1:2,5, 1:14) Πολυφωνικό mp3, 5.1, mp3pro

24 ΣΥΜΠΙΕΣΗ HXOY Προϋποθέτει αρχιτεκτονική client-server Διαδικασία Streaming Τα δεδομένα φορτώνονται πριν χρειαστούν (playback) Τα δεδομένα αυτά φορτώνονται σε προσωρινή μνήμη(buffer) O server τροφοδοτεί το buffer H εφαρμογή στον client διαβάζει από το buffer Χρειάζεται αξιόπιστη και σχετικά γρήγορη σύνδεση Χρησιμοποιεί κυρίως συμπιεσμένα format ήχου (π.χ. RealAudio, Quicktime) Χρειάζεται ειδικό λογισμικό στον client για αποκωδικοποίηση (π.χ. RealPlayer, QuickTime player)

25 Ψηφιακό βίντεο: ένα σύνολο εικόνων που εναλλάσσονται γρήγορα πολλές φορές το δευτερόλεπτο. Χρωματική ανάλυση: πλήθος διαφορετικών χρωμάτων (βάθος χρώματος) Χωρική ανάλυση: μέγεθος εικόνας (π.χ. 640Χ480) Καρε ανά δευτερόλεπτο (frames per second),p.x. 24fps ΣΥΜΠΙΕΣΗ BINTEO Πρότυπα συμπίεσης (ISO, ITU) MPEG 1: το σύνολο των διαδοχικών εικόνων μιας ακολουθίας video θα διαφέρει λίγο με αποτέλεσμα να έχουμε αρκετή πλεονάζουσα πληροφορία VCD, CD MPEG 2: απευθύνεται σε εφαρμογές με μεγάλες απαιτήσεις στην ποιότητα του video MPEG 4: χρησιμοποιείται για εφαρμογές με πολύ μικρό διαθέσιμο bandwidth. (δικ. Πολ.) H.261, H.263, H263, H.264 Χρησιμοποιούνται από τα περισσότερα συστήματα τηλεδιάσκεψης MJPEG (Motion JPEG): συμπιέζονται ξεχωριστά οι εικόνες που το αποτελούν DV: ψηφιακές κάμερες, υψηλή ποιότητα., Divx, xdiv ταινίες σε CD

26 Βήματα συμπίεσης βίντεο: (με αλγόριθμο εκτίμησης κίνησης) απομάκρυνση της πλεονάζουσας πληροφορίας που επαναλαμβάνεται σε διαδοχικά πλαίσια. ΣΥΜΠΙΕΣΗ BINTEO διαφορά Συγκρίνονται τα διαδοχικά πλαίσια και εντοπίζονται οι μεταξύ τους διαφορές Στη συνέχεια κωδικοποιούνται μόνο οι διαφορές και το τρέχον πλαίσιο ανακατασκευάζεται από το προηγούμενο, τα διανύσματα των συντεταγμένων και τις διαφορές του μ αυτό.

27 Συμπεράσματα ματιές στο μέλλον Μειονεκτήματα Συμπίεσης Μείωση της διαθεσιμότητας πληροφορίας (απαιτείται αποσυμπίεση) Αυξημένες απαιτήσεις σε υπολογιστική ισχύ ανάλογα με την πολυπλοκότητα των διαδικασιών συμπίεσης- αποσυμπίεσης απώλειες πληροφορίας ο βαθμός συμπίεσης εξαρτάται από το είδος της εφαρμογής η εξέλιξη του υλικού και των δικτύων αλλάζουν τα δεδομένα, μεγαλύτερο εύρος ζώνης, μεγαλύτερες ταχύτητες, περισσότερες δικτυακές εφαρμογές, μεγαλύτερη ανάγκη για αποτελεσματική αναζήτηση δεδομένων με περισσότερα κριτήρια MPEG-21 MPEG 7: διευκόλυνση ανάκτησης, φιλτραρίσματος, πλοήγησης και αναζήτησης σε μεγάλες πολύμεσικές συλλογές Π.χ Να ζωγραφίσεις ένα σκίτσο στην οθόνη και να βρεις εικόνες που περιέχουν παραπλήσια σχήματα MPEG 21: Ορισμός της απαραίτητης τεχνολογίας για την υποστήριξη ανταλλαγής, πρόσβασης, κατανάλωσης, και γενικότερα διαχείρισης Ψηφιακών Στοιχείων