Εισαγωγή στους Αλγόριθμους

Transcript

1 Εισαγωγή στους Αλγόριθμους Εύη Παπαϊωάννου Σχολή Οργάνωσης και Διοίκησης Επιχειρήσεων Τμήμα Διαχείρισης Πολιτισμικού Περιβάλλοντος και Νέων Τεχνολογιών

2 Σκοποί ενότητας Παρουσίαση και μελέτη αλγορίθμων συμπίεσης δεδομένων Τίτλος Ενότητας 2

3 Περιεχόμενα ενότητας Αλγόριθμοι συμπίεσης δεδομένων Τίτλος Ενότητας 3

4 Εισαγωγή στους Αλγόριθμους Συμπίεση δεδομένων

5 Συμπίεση Δεδομένων (Data Compression) 5

6 Περί τίνος πρόκειται; Η διαδικασία συμπίεσης φυσικών αντικειμένων μάς είναι οικεία: όταν προσπαθούμε να χωρέσουμε ρούχα σε μια μικρή βαλίτσα, πατάμε τα ρούχα ώστε να γίνουν αρκετά μικρά και να χωρέσουν ακόμα κι αν υπό φυσιολογικές συνθήκες θα ξεπερνούσαν το διαθέσιμο χώρο... Αργότερα, αποσυμπιέζουμε τα ρούχα, τα βγάζουμε από τη βαλίτσα και μπορούμε να τα ξαναφορέσουμε στο αρχικό τους μέγεθος και σχήμα Μπορούμε να κάνουμε το ίδιο ακριβώς με την πληροφορία: αρχεία υπολογιστών και άλλες μορφές δεδομένων μπορούν να συμπιεστούν για να έχουν μικρότερο μέγεθος ώστε να μπορούν ευκολότερα να αποθηκευθούν ήναμεταφερθούν. Όταν αποσυμπιεστούν χρησιμοποιούνται στην αρχική τους μορφή 6

7 Περί τίνος πρόκειται; Γενικά έχουμε πλέον άφθονο αποθηκευτικό χώρο στους υπολογιστές μας και δεν χρειάζεται πάντα να συμπιέζουμε τα δικά μας αρχεία για να τα αποθηκεύσουμε Όμως, οι υπολογιστές, παρασκηνιακά χρησιμοποιούν συνέχεια συμπίεση Πολλάαπόταμηνύματαπουαποστέλλονται μέσω internet συμπιέζονται χωρίς καν ο χρήστης να το γνωρίζει και επίσης όλα τα πακέτα λογισμικού που κατεβάζουμε από το internet είναι συμπιεσμένα ώστε οι μεταφορές αρχείων να είναι πολύ συντομότερες από ό,τι θα ήταν χωρίς συμπίεση Ακόμα και η φωνή μας συμπιέζεται όταν μιλάμε στο τηλέφωνο: οι τηλεφωνικές εταιρείες μπορούν να χρησιμοποιήσουν πολύ αποδοτικότερα τους πόρους τους αν συμπιέζουν τα φωνητικά δεδομένα πριν τα μεταδώσουν Η συμπίεση χρησιμοποιείται με ακόμα πιο προφανείς τρόπους: τα δημοφιλή ZIP αρχεία υλοποιούν έναν πολύ έξυπνο αλγόριθμο συμπίεσης που θα μελετήσουμε στη συνέχεια Και σίγουρα θα έχετε εμπειρία από τη συμπίεση π.χ., ψηφιακών video: ένα video υψηλής ποιότητας αντιστοιχεί σε αρχείουπολύμεγαλύτερουμεγέθουςαπόμία έκδοση χαμηλότερης ποιότητας του ίδιου video 7

8 Είδη συμπίεσης Οι υπολογιστές πραγματοποιούν δύο είδη συμπίεσης: χωρίς απώλειες (lossless) και με απώλειες (lossy) Ένας αλγόριθμος που πραγματοποιεί συμπίεση χωρίς απώλειες λαμβάνει ένα αρχείο με δεδομένα, τοσυμπιέζεισεένακλάσματουαρχικούτουμεγέθους και στη συνέχεια το αποσυμπιέζει ακριβώς στην αρχική του μορφή Π.χ., φανταστείτε ότι το αρχικό αρχείο περιέχει το κείμενο ενός βιβλίου η έκδοση του αρχείου που λαμβάνουμε μετά από συμπίεση αποσυμπίεση περιέχει ακριβώς το ίδιο κείμενο χωρίς να λείπει ή να έχει τροποποιηθεί ούτε μία λέξη, ούτε ένα κενό ούτε ένα σημείο στίξης Φυσικά, γενικά, αλγόριθμοι συμπίεσης χωρίς απώλειες δεν παράγουν σημαντική μείωση στα μεγέθη των αρχείων αλλά η μείωση είναι ουσιώδης για συγκεκριμένους, εξαιρετικά δημοφιλείς τύπους αρχείων Αντίθετα, ένας αλγόριθμος που πραγματοποιεί συμπίεση με απώλειες προκαλεί ανεπαίσθητες αλλαγές στοαρχικόαρχείομετάτηναποσυμπίεση 8

9 Είδη συμπίεσης Οι υπολογιστές πραγματοποιούν δύο είδη συμπίεσης: χωρίς απώλειες (lossless) και με απώλειες (lossy) Ένας αλγόριθμος που πραγματοποιεί συμπίεση χωρίς απώλειες λαμβάνει ένα αρχείο με δεδομένα, τοσυμπιέζεισεένακλάσματουαρχικούτουμεγέθους και στη συνέχεια το αποσυμπιέζει ακριβώς στην αρχική του μορφή Αντίθετα, ένας αλγόριθμος που πραγματοποιεί συμπίεση με απώλειες προκαλεί ανεπαίσθητες αλλαγές στο αρχικό αρχείο μετά την αποσυμπίεση 9

10 Συμπίεση χωρίς απώλειες (Lossless compression) Πώς μπορούμε να κάνουμε ένα τμήμα δεδομένων/πληροφορίας μικρότερο από το πραγματικό του μέγεθος χωρίς να το καταστρέψουμε ώστε να μπορεί να ανακατασκευαστεί πλήρως αργότερα; Ως άνθρωποι, αυτό το κάνουμε συνέχεια χωρίς καν να το σκεφτούμε Παράδειγμα: εβδομαδιαίο ημερολόγιο Υποθέτουμε ότι δουλεύουμε 8 ώρες τη μέρα, 5 μέρες την εβδομάδα και χωρίζουμε το ημερολόγιό μας σε γραμμές διάρκειας ώρας κάθε μία από τις 5 μέρες έχει 8 διαθέσιμες θέσεις συνολικά υπάρχουν 40 διαθέσιμες θέσεις στο ημερολόγιο Για να μεταφέρουμε σε κάποιον φίλο αυτό το εβδομαδιαίο ημερολόγιο, πρέπει να πούμετιπεριέχεικάθεμίααπότις40 θέσεις Στ αλήθεια, αυτό κάνουμε; ΌΧΙ Λέμε κάτι σαν: «Δευτέρα Τρίτη έχω δουλειά και επίσης έχω δουλειά 3 Πέμπτη Παρασκευή, τις υπόλοιπες μέρες είμαι διαθέσιμος» Αυτό είναι ένα παράδειγμα συμπίεσης χωρίς απώλειες Ο φίλος μας μπορεί να ανακατασκευάσει με ακρίβεια τη διαθεσιμότητά μας στις 40 ώρες της εβδομάδας, ενώ εμείς δεν του δώσαμε ρητά όλες τις λεπτομέρειες 0

11 Παράδειγμα συμπίεσης χωρίς απώλειες: εβδομαδιαίο ημερολόγιο Μέρα/Ώρα Δευτέρα Τρίτη Τετάρτη Πέμπτη Παρασκευή 9 0 Χ Χ 0 Χ Χ 2 Χ Χ 2 Χ Χ 2 Χ Χ Χ Χ 2 3 Χ Χ Χ Χ 3 4 Χ Χ 4 5 Χ Χ

12 Συμπίεση χωρίς απώλειες (Lossless compression): Run length encoding Μήπως αυτού του είδους η συμπίεση είναι κοροϊδία κατά μία έννοια αφού εξαρτάται από το ότι μεγάλα τμήματα του προγράμματός μας ήταν τα ίδια; όλη η Δευτέρα και η Τρίτη ήταν κλεισμένες, οπότε μπορούσαμε να τις περιγράψουμε πολύ γρήγορα και το υπόλοιπο της εβδομάδας ήταν διαθέσιμο εκτός από δύο τμήματα, το οποίο ήταν επίσης εύκολο να περιγραφεί Έτσι δουλεύει και η συμπίεση στους υπολογιστές με βάση την εξής ιδέα: Βρες ίδια τμήματα δεδομένων και χρησιμοποίησε ένα έξυπνο κόλπο για να περιγράψεις τα τμήματα αυτά πιο αποδοτικά Αυτό είναι πιο εύκολο όταν τα δεδομένα περιέχουν επαναλήψεις: AAAAAAAAAAAAAAAAAAAAABCBCBCBCBCBCBCBCBCBCAAAAAADEFDEFDEF Πώς θα μπορούσαμε να μεταφέρουμε την ακολουθία αυτή σε κάποιον στο τηλέφωνο; Αντί να πούμε τους χαρακτήρες έναν έναν, θα λέγαμε για πιο γρήγορα κάτι σαν: 2 A, μετά 0 BC, μετά άλλα 6 A, μετά 3 DEF Πώς θα σημειώναμε σύντομα την παραπάνω ακολουθία σε χαρτί; Θα γράφαμε κάτι σαν 2A,0BC,6A,3DEF Έχουμε επομένως ΣΥΜΠΙΕΣΕΙ τα δεδομένα που περιείχαν 56 χαρακτήρες αρχικά σε μια ακολουθία με μόνο 6 χαρακτήρες, δηλ., σε λιγότερο από /3 του αρχικού Ηιδέααυτήκαλείταικωδικοποίηση ακολουθίας με το μήκος της (run length encoding) γιατί κωδικοποιεί μια ακολουθία ( run ) επαναλήψεων με το μήκος ( length ) αυτής της ακολουθίας 2

13 Συμπίεση χωρίς απώλειες (Lossless compression): Run length encoding Η κωδικοποίηση ακολουθίας με το μήκος της (run length encoding) είναι χρήσιμη μόνο για συμπίεση πολύ συγκεκριμένων τύπων δεδομένων Χρησιμοποιείται στην πράξη αλλά συνήθως μόνο σε συνδυασμό με άλλους αλγόριθμους συμπίεσης Παράδειγμα: τα μηχανήματα FAX χρησιμοποιούν κωδικοποίηση run length σε συνδυασμό με μια άλλη τεχνική που καλείται κωδικοποίηση Huffman Το βασικό πρόβλημα με την τεχνική αυτή είναι το ότι οι επαναλήψεις στα δεδομένα πρέπει να είναι γειτονικές δηλ., δεν πρέπει να παρεμβάλλονται άλλα δεδομένα μεταξύ των επαναλαμβανόμενων τμημάτων Εύκολα κωδικοποιούμε τη λέξη ABABAB με χρήση κωδικοποίησης run length (3AB), αλλά είναι αδύνατο να κωδικοποιήσουμε με την τεχνική αυτή τη λέξη ABXABYAB Είναι προφανές γιατί τα FAX εκμεταλλεύονται την κωδικοποίηση run length Τα fax είναι εξ ορισμού ασπρόμαυρα έγγραφα που μετατρέπονται σε μεγάλο πλήθος τελειών με κάθε τελεία να είναι είτε άσπρη είτε μαύρη Όταν διαβάζουμε τις τελείες ακολουθιακά (από αριστερά προς τα δεξιά κι από πάνω προς τα κάτω), συναντάμε μεγάλες ακολουθίες από άσπρες τελείες (το φόντο) και μικρές ακολουθίες από μαύρες τελείες (το κείμενο) Έτσι μπορεί να γίνει συμπίεση μέσω κωδικοποίησης run length 3

14 Συμπίεση χωρίς απώλειες (Lossless compression): βελτιωμένες τεχνικές Επινοήθηκαν πιο έξυπνες ιδέες που βασίζονται στην ιδέα που ήδη περιγράψαμε (βρες επαναλήψεις και περίγραψέ τες αποδοτικά) αλλά δουλεύουν καλά ακόμα κι όταν τα επαναλαμβανόμενα τμήματα δεν είναι γειτονικά Θα παρουσιάσουμε 2 τέτοιες βελτιωμένες ιδέες: την ιδέα «ίδιο με πριν»(same as earlier) και την ιδέα του «συντομότερου συμβόλου» (shorter symbol) Αυτές οι 2 ιδέες είναι η ουσία για την παραγωγή αρχείων ZIP που είναι ο πιο δημοφιλής τύπος αρχείων συμπίεσης οπότε κατανοώντας τες ουσιαστικά έχουμε κατανοήσει πώς ο υπολογιστής μας χρησιμοποιεί συμπίεση 4

15 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα same as earlier Φανταστείτε ότι μάς ζητάνε να υπαγορεύσουμε στο τηλέφωνο την εξής λέξη: VJGDNQMYLH KW VJGDNQMYLH ADXSGFOVJGDNQMYLH ADXSGF VJGDNQMYLH EWADXSGF Ηλέξηέχει63 χαρακτήρες που πρέπει να υπαγορευθούν (για ευκολία αγνοούμε τις παύλες) Μπορούμε να κάνουμε κάτι καλύτερο από το να πούμε έναν έναν τους 63 χαρακτήρες στο τηλέφωνο; Παρατήρηση: υπάρχουν πολλές επαναλήψεις στη λέξη τα περισσότερα από τα τμήματα που χωρίζονται με παύλες επαναλαμβάνονται τουλάχιστον μία φορά Οπότε, καθώς μεταδίδουμε αυτή τη λέξη μπορούμε για να γλυτώσουμε κόπο να πούμε κάτι σαν αυτό το τμήμα είναι ίδιο με κάτι που είπα πριν Για την ακρίβεια, πρέπει να πούμε πόσο πριν και πόσους χαρακτήρες περιέχει το επαναλαμβανόμενο τμήμα δηλ., πρέπει να πούμε κάτι σαν πήγαινε πίσω 27 χαρακτήρεςκαιξεκινώνταςαπόαυτότοσημείοαντίγραψε8 χαρακτήρες 5

16 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα same as earlier Πώς δουλεύει η ιδέα στην πράξη; Στους 2 πρώτους χαρακτήρες δεν υπάρχει επανάληψη οπότε αναγκαστικά πρέπει να υπαγορεύσουμε έναν έναν τους χαρακτήρες V, J, G, D, N, Q M, Y, L, H, K, W Οι επόμενοι 0 χαρακτήρες είναι ίδιοι με κάποιους προηγούμενους, οπότε μπορούμε να πούμε: πήγαινε πίσω 2, αντίγραψε 0 Οι επόμενοι 7 χαρακτήρες είναι νέοι και πρέπει να τους υπαγορεύσουμε έναν έναν A, D, X, S, G, F, O Οι 6 επόμενοι χαρακτήρες είναι μία μεγάλη επανάληψη, οπότε μπορούμε να πούμε πήγαινε πίσω 7, αντίγραψε 6 Οι επόμενοι 0 χαρακτήρες έχουν επαναληφθεί νωρίτερα, οπότε λέμε πήγαινε πίσω 6, αντίγραψε 0 Μετά, υπάρχουν 2 χαρακτήρες που δεν έχουν επαναληφθεί, οπότε τους υπαγορεύουμε: E, W Τέλος, οι τελευταίοι 6 χαρακτήρες έχουν επαναληφθεί νωρίτερα, οπότε λέμε: πήγαινε πίσω 8, αντίγραψε 6 VJGDNQMYLH KW VJGDNQMYLH ADXSGFOVJGDNQMYLH ADXSGF VJGDNQMYLH EWADXSGF 6

17 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα same as earlier Ο αλγόριθμος συνοπτικά, συμβολίζοντας το «πήγαινε πίσω» με b από το back και το «αντίγραψε» με c από το copy (π.χ., πήγαινε πίσω 8, αντίγραψε 6 γίνεται σύντομα b8c6), εκτελείται για την προηγούμενη λέξη ως εξής: VJGDNQMYLH KW b2c0 ADXSGF Ob7c6 b6c0 EW b8c6 Η λέξη αποτελείται μόνο από 44 χαρακτήρες, ενώ η αρχική είχε 63: γλυτώσαμε 9 χαρακτήρες ή σχεδόν /3 του μεγέθους του αρχικού μηνύματος Πώς θα χρησιμοποιούσαμε την ίδια ιδέα για να συμπιέσουμε το μήνυμα FG FG FG FG FG FG FGFG (αγνοώντας τις παύλες); Υπάρχουν 8 επαναλήψεις του τμήματος FG στο μήνυμα, οπότε θα υπαγορεύαμε τους 4 πρώτους χαρακτήρες και μετά θα χρησιμοποιούσαμε μια εντολή «πήγαινε πίσωαντίγραψε» ως εξής: FG FG FG FG b8c8 Έτσι γλυτώνουμε κάποιους χαρακτήρες αλλά μπορούμε να κάνουμε ακόμα καλύτερα μέσω της εντολής πήγαινε πίσω 2, αντίγραψε 4, ή b2c4 για πιο σύντομα Το συμπιεσμένο μήνυμα είναι τότε FG b2c4 7

18 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα same as earlier Πώς γίνεται να αντιγράψουμε 4 χαρακτήρες όταν μόνο 2 είναι διαθέσιμοι για αντιγραφή; Αυτό γίνεται αφού αντιγράφουμε από το μήνυμα καθώς παράγεται κι όχι απότοσυμπιεσμένομήνυμα Πώς; Υπαγορεύουμε τους 2 πρώτους χαρακτήρες κι έχουμε FG Η εντολή b2c4 λέει να πάμε πίσω 2 χαρακτήρες και να ξεκινήσουμε να αντιγράφουμε: υπάρχουν μόνο 2 χαρακτήρες προς αντιγραφή (FG) οπότε τους αντιγράφουμε και τους προσθέτουμε σε ό,τι είχαμε ήδη λαμβάνοντας FG FG Τώρα υπάρχουν 2 ακόμα διαθέσιμοι χαρακτήρες οπότε τους αντιγράφουμε και αυτούς και τους προσθέτουμε σε ό,τι έχουμε λαμβάνοντας FG FG FG Όμοια, τώρα υπάρχουν 2 ακόμα διαθέσιμοι χαρακτήρες οπότε τους αντιγράφουμε και αυτούς και τους προσθέτουμε σε ό,τι έχουμε και συνεχίζουμε ομοιοτρόπως μέχρι να φτάσουμε το απαιτούμενο πλήθος χαρακτήρων (που είναι 4 στο παράδειγμα) Ποιο μήνυμα αντιστοιχεί στο συμπιεσμένο μήνυμα Abc250; Λύση: το γράμμα A όταν επαναληφθεί 25 φορές 8

19 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol Για να κατανοήσουμε την ιδέα του συντομότερου συμβόλου ( shorter symbol ) ας δούμε πώς αποθηκεύονται μηνύματα σε υπολογιστές Οι υπολογιστές δεν αποθηκεύουν στα αλήθεια γράμματα όπως a, b και c: τα πάντα αποθηκεύονται σαν αριθμοί με βάση κάποιον προκαθορισμένο πίνακα Π.χ., το γράμμα a αναπαρίσταται από τον αριθμό 27, το b από τον 28 και το c από τον 29, οπότε η λέξη abc θα αποθηκευθεί στον υπολογιστή σαν και μπορεί εύκολα να ανακατασκευαστεί σε abc πριν παρουσιαστεί σε μια οθόνη ή πριν τυπωθεί σε χαρτί 9

20 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol Στην επόμενη διαφάνεια, δείτε έναν πίνακα που δίνει μια λίστα με 00 σύμβολα που μπορούν να αποθηκευθούν σε έναν υπολογιστή μαζί με το 2 ψήφιο κώδικα για καθένα από αυτά Αυτοί οι 2 ψήφιοι κώδικες δεν χρησιμοποιούνται από πραγματικό υπολογιστή: η φιλοσοφία είναι η ίδια αλλά τους χρησιμοποιούμε για χάρη του παραδείγματος Οι πραγματικοί υπολογιστές δεν χρησιμοποιούν 20 δεκαδικό σύστημα αρίθμησης (όπως συνήθως

21 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol Αριθμητικοί κώδικες που θα μπορούσε να χρησιμοποιεί ένας υπολογιστής για να αποθηκεύει σύμβολα 2

22 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol Πώς θα μπορούσαμε να αποθηκεύσουμε σε έναν υπολογιστή χρησιμοποιώντας αυτόν τον πίνακα τη φράση: Meet your fiancé there ; Θα μεταφράζαμε κάθε χαρακτήρα στον αντίστοιχο αριθμητικό του κώδικα και θα επιστρέφαμε τη συνολική ακολουθία που θα προέκυπτε: M e e t y o u r f i a n c ét h e r e Στον υπολογιστή τα ζεύγη ψηφίων δεν χωρίζονται, οπότε το μήνυμα αποθηκεύεται σαν ακολουθία 46 ψηφίων: Αν και εμείς μπορεί να αργούσαμε λίγο να αποκωδικοποιήσουμε την ακολουθία, ένας υπολογιστής θα το έκανε ταχύτατα κυρίως γιατί δεν υπάρχει αμφιλογία για το πώς να διαχωριστούν οι αριθμητικοί κώδικες αφού κάθε κώδικας είναι 2 ψήφιος Για αυτό το A αναπαρίσταται σαν 0 κι όχι σαν, το B σαν 02 κι όχι σαν 2, κτλ Αν χρησιμοποιούσαμε την αναπαράσταση A = B = 2 κτλ δεν θα γινόταν να αποκωδικοποιήσουμε με έναν τρόπο το μήνυμα Π.χ., το μήνυμα 23 θα μπορούσε να τεμαχιστεί σαν 23 (που μεταφράζεται σαν AAW) ή σαν 2 3 (KBC) ή σαν 2 3 (AABC) ΣΗΜΑΝΤΙΚΟ: η μετάφραση μεταξύ αριθμητικών κωδικών και χαρακτήρων πρέπει να γίνεται χωρίς αμφιλογία (δηλ., με έναν τρόπο, μονοσήμαντα) ακόμα κι όταν οι κώδικες αποθηκεύονται ακολουθιακά χωρίς διαχωρισμό : 46 22

23 M e e t y o u r f i a n c é t h e r e

24 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol Ως άνθρωποι χρησιμοποιούμε την ιδέα του συντομότερου συμβόλου συνέχεια χωρίς καν να το σκεφτόμαστε «Αν χρησιμοποιούμε κάτι αρκετά συχνά, φτιάχνουμε μια συντόμευση για αυτό» Ηλέξη USA είναι συντομογραφία για τη φράση United States of America οπότε αντί να λέμε μια ολόκληρη φράση με 24 γράμματα λέμε μόνο 3 χαρακτήρες Γνωρίζετε καμία συντόμευση για τη φράση Οι θάλασσες έχουν μπλε χρώμα που επίσης έχει 24 γράμματα; ΌΧΙ ΓΙΑΤΙ; Γιατί σα φράση δεν χρησιμοποιείται τόσο συχνά όσο η προηγούμενη οπότε δεν υπάρχει ουσιώδης λόγος να καταβάλλουμε προσπάθεια να τη συντμήσουμε 24

25 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol Ας εφαρμόσουμε την ιδέα «Αν χρησιμοποιούμε κάτι αρκετά συχνά, φτιάχνουμε μια συντόμευση για αυτό» στη φράση Meet your fiancé there Τα γράμματα e και t είναι αυτά που εμφανίζονται πιο συχνά στα αγγλικά οπότε ας χρησιμοποιήσουμε κάποιον συντομότερο κώδικα για αυτά: Οι κώδικές είναι για το e ο 3 και για το t ο 46: 2 ψήφιοι και οι δύο Ας τους κάνουμε μονοψήφιους αντιστοιχίζοντας το e στο 8 και το t στο 9. Πριν η φράση Meet your fiancé there κωδικοποιήθηκε με 46 ψηφία ενώ τώρα μπορούμε να την κωδικοποιήσουμε μόνο με 40 ψηφία: : : 40 25

26 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol ΠΡΟΒΛΗΜΑ: Οι υπολογιστές δεν αποθηκεύουν κενά μεταξύ ξεχωριστών γραμμάτων οπότε ηκωδικοποιημένηλέξημαςδενμοιάζειμε αλλά με Δείτε τα 5 πρώτα ψηφία της κωδικοποιημένης λέξης: 3889 Το 3 αναπαριστά το M, το 8 αναπαριστά το e και το 9 αναπαριστά το t οπότε ένας τρόπος να μεταφράσουμε τη λέξη είναι να τη χωρίσουμε σαν λαμβάνοντας τη λέξη Meet Αλλά το 88 αναπαριστά το τονισμένο σύμβολο ú οπότε τα ψηφία 3889 θα μπορούσαν να διαχωριστούν και σαν δίνοντας τη λέξη Mút Επίσης, το 89 αναπαριστά ένα άλλο τονισμένο σύμβολο το ù οπότε μια άλλη πιθανή διάσπαση θα ήταν η και θα αναπαριστούσε τη λέξη Meù Δεν υπάρχει τρόπος να αποφασίσουμε ποια από τις 3 μεταφράσεις είναι η σωστή : όταν συναντάμε το ψηφίο 8 ή το 9, δεν υπάρχει τρόπος να πούμε αν είναι τμήμα ενός μονοψήφιου κώδικα (για το e ήτο t ) ή ένα ψηφίο από τους 2 ψήφιους κώδικες που ξεκινούν με 8 ή 9 (για τα διάφορα τονισμένα σύμβολα μεταξύ των á και è ) ΔΙΟΡΘΩΣΗ: κάποιοι από τους κώδικες θα γίνουν μεγαλύτεροι Οι αμφίλογοι 2 ψήφιοι κώδικες που ξεκινούν με 8 ή 9 θα γίνουν 3 ψήφιοι κώδικες που δεν ξεκινούν με 8 ή 9: ο πίνακας στην επόμενη διαφάνεια δείχνει έναν τρόπο να γίνει αυτή η κωδικοποίηση Τελικά, οτιδήποτε ξεκινάει με 7 είναι ένας 3 ψήφιος κώδικας, οτιδήποτε ξεκινάει με 8 ή 9 είναι ένας μονοψήφιος κώδικας ενώ οτιδήποτε ξεκινάει με 0,, 2, 3, 4, 5 ή 6 είναι ο ίδιος 2 ψήφιος κώδικας με πριν 3889??? 3_8_8_9 = Meet 3_88_9 = Mút 3_8_89 = Meù 26

27 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol 27

28 Συμπίεση χωρίς απώλειες (Lossless compression): ιδέα shorter symbol Πλέον, υπάρχει μόνον ένας τρόπος να διαχωρίσουμε τα ψηφία 3889 ( , αναπαριστώντας τη λέξη Meet ) και αυτό ισχύει για κάθε σωστά κωδικοποιημένη ακολουθία ψηφίων Έχει απομακρυνθεί η αμφιλογία και το αρχικό μήνυμα M e e t y o u r f i a n c éth e r e μπορεί να κωδικοποιηθεί με μοναδικό τρόπο σαν Η αρχική κωδικοποίηση είχε 46 ψηφία ενώ η παρούσα κωδικοποίηση χρησιμοποιεί μόνον 4 ψηφία Αν και στο συγκεκριμένο μήνυμα γλυτώνουμε μόνον 5 ψηφία σε μεγαλύτερα μηνύματα το κέρδος είναι πολύ μεγαλύτερο: π.χ., το κείμενο ενός βιβλίου απαιτεί περίπου 500 kilobytes αποθηκευτικού χώρου δηλ., μισό εκατομμύριο χαρακτήρες ενώ συμπιεσμένο με τις δύο τεχνικές που περιγράψαμε απαιτούνται μόνο 60 kilobytes, δηλ., λιγότερο από /3 του αρχικού κειμένου 28

29 Πώς γίνεται στην πράξη συμπίεση χωρίς απώλειες; Γνωρίζουμε πλέον όλες τις σημαντικές ιδέες πίσω από τη δημιουργία συνηθισμένων ZIP αρχείων σε έναν υπολογιστή η οποία πραγματοποιείται ως εξής: Βήμα : Το αρχικό μη συμπιεσμένο αρχείο μετατρέπεται με την ιδέα «ίδιο με πριν»(same as earlier) ώστε το μεγαλύτερο μέρος των δεδομένων που επαναλαμβάνονται να αντικατασταθεί από μικρότερες εντολές «πήγαινε πίσωαντίγραψε» από κάπου αλλού Βήμα 2: Το τροποποιημένο αρχείο εξετάζεται για σύμβολα που εμφανίζονται συχνά, π.χ., αν το αρχικό αρχείο ήταν γραμμένο στα αγγλικά θα ανακαλυφθεί ότι τα γράμματα e και t είναιταπιοσυχνάεμφανιζόμενασύμβολαοπότεο υπολογιστής θα κατασκευάσει έναν πίνακα όπου συχνά εμφανιζόμενα σύμβολα λαμβάνουν συντομότερους αριθμητικούς κώδικες ενώ σύμβολα που εμφανίζονται σπάνια λαμβάνουν μεγαλύτερους αριθμητικούς κώδικες (shortersymbol) Βήμα 3: Το αρχείο αποκωδικοποιείται μεταφράζοντας κατευθείαν τους αριθμητικούς κώδικες σε γράμματα με βάση τον πίνακα του Βήματος 2 29

30 Πώς γίνεται στην πράξη συμπίεση Ο πίνακας με τους αριθμητικούς κώδικες αποθηκεύετε επίσης στο ZIP αρχείο αλλιώς δεν θα ήταν δυνατή η αποκωδικοποίηση (και κατά συνέπεια η αποσυμπίεση) του ZIP αρχείου αργότερα Διαφορετικά μη συμπιεσμένα αρχεία δίνουν διαφορετικούς πίνακες με αριθμητικούς κώδικες Στην πράξη, σε πραγματικά ZIP αρχεία, το αρχικό αρχείο χωρίζεται σε τμήματα και κάθε τμήμα έχει διαφορετικό πίνακα αριθμητικών κωδικών χωρίς απώλειες; Οι κώδικες για δύο συχνά εμφανιζόμενα γράμματα έχουν μικρύνει ενώ κατά συνέπεια έχουν μεγαλώσει οι κώδικες για μεγάλο αριθμό σπάνια χρησιμοποιούμενων συμβόλων με αποτέλεσμα μικρότερου συνολικού μήκος μηνύματα (στις περισσότερες περιπτώσεις) 30

31 Συμπίεση με απώλειες (Lossy compression) Συμπίεση χωρίς απώλειες: μπορούμε να αναδομήσουμε από ένα συμπιεσμένο αρχείο ακριβώς το ίδιο αρχείο που είχαμε αρχικά χωρίς να έχει αλλαχτεί ούτε ένας χαρακτήρας ούτε καν ένα σημείο στίξης Συμπίεση με απώλειες: κατά περιπτώσεις είναι προτιμότερο να χρησιμοποιήσουμε μέθοδο συμπίεσης που να επιτρέπει από ένα συμπιεσμένο αρχείο να παράγουμε ένα αρχείο που να μοιάζει πολύ με το αρχικό αλλά να μην είναι απαραίτητα το ίδιο Συμπίεση με απώλειες χρησιμοποιείται συχνά σε αρχεία που περιέχουν εικόνες ή ήχο: εφόσον η εικόνα μοιάζει ίδια στο ανθρώπινο μάτι, δεν πειράζει το αρχείο που περιέχει την εικόνα και είναι αποθηκευμένο στον υπολογιστή να μην είναι ακριβώς ίδιο με το αρχείο που είναι αποθηκευμένο στην camera Το ίδιο ισχύει και για ηχητικά δεδομένα: εφόσον ένα τραγούδι ακούγεται ίδιο στο ανθρώπινο αυτί, δεν πειράζει αν το αρχείο που περιέχει αυτό το τραγούδι στο ψηφιακό music player δεν είναι ακριβώς το ίδιο με το αρχείο που περιέχει το τραγούδι σε ένα CD 3

32 Συμπίεση με απώλειες (Lossy compression) Έχουμε δει χαμηλής ποιότητας video και εικόνες στο internet όπου οι εικόνες είναι θολές και η ποιότητα του ήχου κακή Αυτό είναι συνέπεια έντονης χρήσης συμπίεσης με απώλειες προκειμένου να μειωθεί σημαντικά το μέγεθος του video ήτηςεικόνας Ηιδέαδενείναιτοvideo να μοιάζει ίδιο με τα αρχικό στο ανθρώπινο μάτι αλλά να είναι τουλάχιστον αναγνωρίσιμο Ρυθμίζοντας το πόσες απώλειες επιτρέπει η συμπίεση, χειριστές websites μπορούν να ρυθμίσουν την ισορροπία (trade off) ανάμεσα σε μεγάλα, υψηλής ποιότητας αρχεία που μοιάζουν και ακούγονται σχεδόν τέλεια και χαμηλής ποιότητας αρχεία με προφανή μειονεκτήματα που όμως απαιτούν πολύ λιγότερο εύρος ζώνης για να μεταδοθούν Μπορεί να έχουμε κάνει κι εμείς το ίδιο με μια camera, όπου συνήθως μπορούμε να επιλέξουμε διαφορετικές ρυθμίσεις για την ποιότητα των εικόνων ή των videos Επιλέγοντας ρύθμιση υψηλής ποιότητας, μικρότερος αριθμός εικόνων ή video μπορεί να αποθηκευθεί στην camera από ό,τι αν επιλέξουμε ρύθμιση χαμηλότερης ποιότητας: υψηλής ποιότητας τέτοια αρχεία απαιτούν περισσότερο αποθηκευτικό χώρο από ό,τι αντίστοιχα χαμηλής ποιότητας 32

33 Συμπίεση με απώλειες (Lossy compression): ιδέα leave it out Μια απλή και χρήσιμη ιδέα για συμπίεση με απώλειες είναι να παραλείψουμε (leave out) κάποια δεδομένα Πώς δουλεύει η ιδέα της παράλειψης ( leave itout ) στην περίπτωση ασπρόμαυρων εικόνων; Πώς αποθηκεύονται ασπρόμαυρες εικόνες στον υπολογιστή; Κάθε εικόνα αποτελείται από μεγάλο αριθμό μικρών τελειών που λέγονται pixels Κάθε pixel έχει ένα χρώμα που μπορεί να είναι άσπρο ή μαύρο ή κάποια απόχρωση του γκρι Γενικά, δεν καταλαβαίνουμε τα pixels γιατί είναι πολύ μικρά αλλά μπορούμε να τα δούμε αν κοιτάξουμε πολύ κοντά στην οθόνη ή την τηλεόραση 33

34 Συμπίεση με απώλειες (Lossy compression): ιδέα leave it out Όταν μία ασπρόμαυρη εικόνα αποθηκεύεται στον υπολογιστή κάθε πιθανό χρώμα pixel αναπαρίσταται από έναν αριθμό Υποθέτουμε ότι μεγάλοι αριθμοί αναπαριστούν χρώματα κοντά στο άσπρο με το 00 να είναι ο μεγαλύτερος δυνατός αριθμός Το 00 αναπαριστά το άσπρο, το 0 αναπαριστά το μαύρο ενώ το 50 αναπαριστά μεσαία απόχρωση του γκρι, το 90 αναπαριστά ανοιχτό γκρι, κτλ Τα pixels τοποθετούνται σε έναν τετραγωνικό πίνακα με γραμμές και στήλες και κάθε pixel δείχνει το χρώμα σε κάποια πολύ μικρή περιοχή της εικόνας Ο συνολικός αριθμός των γραμμών και στηλών δίνει την ανάλυση ( resolution ) της εικόνας Π.χ., πολλές τηλεοράσεις υψηλής ευκρίνειας υποστηρίζουν ανάλυση 920x080, δηλ., υπάρχουν 920 στήλες από pixels και 080 γραμμές από pixels Άρα, συνολικά, υπάρχουν 920x080 pixels δηλ., πάνω από 2 εκατομμύρια pixels Οι ψηφιακές φωτογραφικές μηχανές χρησιμοποιούν την ίδια ορολογία: ένα megapixel είναι εκατομμύριο pixels Μία 5 megapixel camera έχει αρκετές γραμμές και στήλες ώστε πολλαπλασιάζοντας τον αριθμό των γραμμών με τον αριθμό των στηλών να δίνει πάνω από 5 εκατομμύρια Όταν μια εικόνα αποθηκεύεται σε υπολογιστή, είναι απλά μία λίστα από αριθμούς ένας για κάθε pixel 34

35 Συμπίεση με απώλειες (Lossy compression): ιδέα leave it out Δείτε στην επόμενη διαφάνεια την εικόνα ενός σπιτιού με έναν πυργίσκο με ανάλυση 320x240 δηλ., χαμηλότερη από αυτή μίας τηλεόρασης υψηλής ευκρίνειας οαριθμόςτων pixels παραμένει μεγάλος ( = ) και το αρχείο που αποθηκεύει αυτή την εικόνα ασυμπίεστο χρησιμοποιεί πάνω από 230 kilobytes kilobyte είναι ισοδύναμο με περίπου 000 χαρακτήρες κειμένου χοντρικά το μέγεθος ενός μιας παραγράφου κατά προσέγγιση, η εικόνα πάνω αριστερά όταν αποθηκεύεται σαν αρχείο απαιτεί μέγεθος αποθηκευτικού χώρου στην υπολογιστή όσο περίπου 200 σύντομα s Συμπιέζουμε το αρχείο με την εξής απλή τεχνική: αγνόησε ή παράλειψε ( leave out ) κάθε δεύτερηγραμμήκαικάθεδεύτερηστήληαπόpixels εικόνα με μικρότερη ανάλυση 60x20 (η εικόνα κάτω από την αρχική) Το μέγεθος της συμπιεσμένης εικόνας είναι μόνο ¼ του μεγέθους της αρχικής, περίπου 57 kilobytes: υπάρχουν μόνο ¼ από τα pixels της αρχικής εικόνας αφού μειώθηκε στο μισό το πλάτος και το ύψος της αρχικής εικόνας Τομέγεθοςτηςεικόναςμειώθηκεδύοφορέςκατά50%: μίαφοράοριζόντιακαιμίακάθετα δίνοντας μέγεθος που είναι μόνο 25% από το μέγεθος της αρχικής εικόνας Μπορούμε να ξαναεφαρμόσουμε την ίδια ιδέα: από τη νέα 60x20 εικόνα παραλείπουμε κάθε δεύτερη γραμμή και κάθε δεύτερη στήλη λαμβάνοντας μια άλλη εικόνα διαστάσεων 80x60 (κάτω αριστερά στην επόμενη διαφάνεια) Το μέγεθος της εικόνας έχει μειωθεί κατά 75% δίνοντας εικόνα με τελικό μέγεθος μόνο 4 kilobytes που είναι περίπου 6% του μεγέθους της αρχικής εικόνας!!! 35

36 36

37 37

38 38

39 39

40 40

41 Όσο αυξάνεται η συμπίεση, μειώνεται το μέγεθος της εικόνας χαμηλώνει η ανάλυσή της και χειροτερεύει η ποιότητά της 4

42 Συμπίεση με απώλειες (Lossy compression): ιδέα leave it out Τι συμβαίνει όταν αποσυμπιέσουμε ένα συμπιεσμένο αρχείο; Κάποιες από τις γραμμές και στήλες pixels διαγράφθηκαν οπότε ο υπολογιστής πρέπει να μαντέψει ποια ήταν τα αρχικά χρώματα των pixels που λείπουν Ο πιο απλός τρόπος να μαντέψει είναι να δώσει σε κάθε pixel που λείπει το χρώμα ενός από τα γειτονικά του (στο παράδειγμα γειτονικά θεωρούνται τα pixels πάνω και αριστερά από αυτό που λείπει, αλλά οποιαδήποτε άλλη επιλογή θα ήταν εξίσου αποδεκτή) Δείτε το αποτέλεσμα της αποσυμπίεσης στη δεξιά πλευρά της εικόνας Έχουν διατηρηθεί τα περισσότερα οπτικά χαρακτηριστικά αλλά υπάρχουν απώλειες στην ποιότητα και τη λεπτομέρεια ειδικά σε πολύπλοκες περιοχές όπως στο δένδρο, τη στέγη του πυργίσκου και τη διακόσμηση στο αέτωμα του σπιτιού Στην εικόνα που λάβαμε από την αποσυμπίεση της εικόνας διαστάσεων 80x60 φαίνονται αιχμηρές ακμές π.χ., στις διαγώνιες γραμμές της στέγης του σπιτιού που καλούνται απάτες λόγω συμπίεσης ( compression artifacts ): δεν είναι μόνο απώλειες σε λεπτομέρειες αλλά εμφανή νέα χαρακτηριστικά που εισάγονται από λόγω αποσυμπίεσης μετά από συμπίεση με απώλειες 42

43 Συμπίεση με απώλειες (Lossy compression): ιδέα leave it out Η ιδέα της παράλειψης (leave it out) σπάνια χρησιμοποιείται στην απλή μορφή που περιγράψαμε Οι υπολογιστές παραλείπουν πληροφορία για να πετύχουν συμπίεση με απώλειες αλλά επιλέγεται πολύ προσεκτικά η πληροφορία που παραλείπεται Σχετικό παράδειγμα: JPEG συμπίεση για εικόνες που επιτυγχάνει πολύ καλύτερη απόδοση από την παράλειψη κάθε δεύτερης γραμμής και στήλης από pixels Στο πάνω μέρος της εικόνας, δείτε μια JPEG εικόνα με μέγεθος 35 kilobytes που δεν μπορούμε να την ξεχωρίσουμε από την αρχική εικόνα Παραλείποντας παραπάνω πληροφορία και χρησιμοποιώντας πάλι JPEG συμπίεση μπορούμε να λάβουμε την εικόνα στο κέντρο με μέγεθος 9 kilobytes που επίσης έχει άριστη ποιότητα παρά το ότι υπάρχει θόλωμα και απώλεια λεπτομέρειας στη διακόσμηση του σπιτιού Και η JPEG συμπίεση εμφανίζει «απάτες» αν η συμπίεση είναι πολύ μεγάλη: στο κάτω μέρος δείτε μια JPEG εικόνα συμπιεσμένη στα 2 kilobytes όπου εμφανίζονται τετραγωνάκια και κηλίδες στον ουρανό δίπλα στη διαγώνια γραμμή του σπιτιού 43

44 Συμπίεση με απώλειες (Lossy compression): ιδέα leave it out Οι λεπτομέρειες της στρατηγικής παράλειψης JPEG είναι πολύ τεχνικές, αλλά η βασική ιδέα της τεχνικής είναι απλή: Αρχικά η εικόνα χωρίζεται σε μικρά τετράγωνα 8 pixels επί 8 pixels καθένα από τα οποία συμπιέζεται ξεχωριστά χωρίς συμπίεση κάθε τετράγωνο θα αναπαρίστατο από 8 8 = 64 αριθμούς (υποθέτοντας ότι η εικόνα είναι ασπρόμαυρη, αν είναι έγχρωμη υπάρχουν 3 διαφορετικά χρώματα και επομένως τριπλάσιοι αριθμοί) Αν το τετράγωνο είναι μονόχρωμο, μπορεί ολόκληρο να αναπαρασταθεί από έναν αριθμό και ο υπολογιστής μπορεί να παραλείψει 63 αριθμούς Αν το τετράγωνο είναι στο μεγαλύτερο μέρος του μονόχρωμο, με μικρές πολύ ελαφρές διαφοροποιήσεις (π.χ., περιοχή στον ουρανό που έχει όλη την ίδια απόχρωση του γκρι), ο υπολογιστής μπορεί να αποφασίσει να αναπαραστήσει το τετράγωνο από έναν αριθμό δίνοντας καλή συμπίεση για το τετράγωνο και μικρό ποσοστό λάθους κατά την αποσυμπίεση Στο κάτω μέρος της εικόνας δείτε μερικά από τα 8x8 blocks στον ουρανό που έχουν συμπιεστεί με αυτόν τον τρόπο και δίνουν σε μικρά τετράγωνα blocks ομοιόμορφου χρώματος An to 8 8 τετράγωνο διαφοροποιείται ελαφρά από το ένα χρώμα στο άλλο (π.χ., σκούρο γκρι στα αριστερά με ανοιχτό γκρι στα δεξιά), τότε οι 64 αριθμοί μπορούν να συμπιεστούν σε 2: μία τιμή για το σκούρο γκρι και μία τιμή για το ανοιχτό γκρι ΟαλγόριθμοςJPEG δεν δουλεύει ακριβώς έτσι αλλά χρησιμοποιεί ίδιες ιδέες: αν ένα τετράγωνο 8 8μοιάζει πολύ με κάποιον συνδυασμό γνωστών σχεδίων όπως ένα σταθερό χρώμα ή ένα χρώμα που μεταβάλλεται ομαλά, τότετομεγαλύτερομέροςτηςπληροφορίας μπορεί να παραληφθεί και αποθηκεύεται μόνο το επίπεδο/ποσό του κάθε σχήματος 44

45 45

46 46

47

48 Συμπίεση με απώλειες (Lossy compression): ιδέα leave it out JPEG: δημοφιλής μέθοδος συμπίεσης με απώλειες για ψηφιακές φωτογραφίες. Ο βαθμός συμπίεσης μπορεί να προσαρμοστεί, επιτυγχάνοντας επιλέξιμο λόγο αποθηκευτικού μεγέθους - ποιότητας εικόνας. Η κωδικοποίηση JPEG συνήθως πετυχαίνει λόγο συμπίεσης 0: με μικρή απώλεια που γίνεται αντιληπτή στην ποιότητα της εικόνας. Υποστηρίζει μέγιστο μέγεθος εικόνας Ο όρος"jpeg" είναι ακρωνύμιο για το Joint Photographic Experts Group που δημιούργησε το πρότυπο. 48

49 Με τεχνικές συμπίεσης με απώλειες, μεγαλύτερη συμπίεση δίνει χειρότερη ποιότητα. Ηίδιαεικόναφαίνεταισυμπιεσμένησε3 διαφορετικά ως προς την ποιότητα επίπεδα JPEG. Στην κορυφή είναι η εικόνα καλύτερης ποιότητας, που απαιτεί και μεγαλύτερο αποθηκευτικό χώρο. Στο κάτω μέρος φαίνεται η εικόνα με τη χειρότερη ποιότητα που απαιτεί το μισό αποθηκευτικό χώρο αλλά πλέον φαίνονται οι συνέπειες της συμπίεσης ειδικά στον ουρανό και στο περίγραμμα της στέγης 49

50 Συμπίεση με απώλειες (Lossy compression): ιδέα leave it out ΗσυμπίεσηJPEG δουλεύει καλά για εικόνες αλλά τι γίνεται με αρχείου ήχου ή μουσικής; Κι αυτά συμπιέζονται με χρήση συμπίεσης με απώλειες και χρησιμοποιείται η ίδια φιλοσοφία: παραλείπουμε πληροφορία που έχει μικρή επίδραση στο τελικό προϊόν Δημοφιλείς τύποι συμπίεσης, όπως MP3 και AAC, χρησιμοποιούν σε γενικές γραμμές την ίδια προσέγγιση με τη συμπίεση JPEG Τα ηχητικά αρχεία χωρίζονται σε τμήματα και κάθε τμήμα συμπιέζεται ξεχωριστά Όπως και με τη συμπίεση JPEG, τμήματα που αλλάζουν με προβλέψιμο τρόπο μπορούν να περιγραφούν μόνο με μερικούς αριθμούς Τύποι συμπίεσης ηχητικών αρχείων εκμεταλλεύονται επίσης γνωστά χαρακτηριστικά του ανθρώπινου αυτιού Συγκεκριμένοι τύποι ήχων επιδρούν λίγο ή καθόλου σε ανθρώπους και μπορούν να παραλειφθούν από τον αλγόριθμο συμπίεσης χωρίς μείωση της ποιότητας του αποτελέσματος 50

51 Ρίζες των αλγορίθμων συμπίεσης Ηιδέα«ίδιο με πριν»(same as earlier) είναι μία από τις βασικές μεθόδους συμπίεσης που χρησιμοποιούνται στα ZIP αρχεία και είναι γνωστή στην επιστήμη των υπολογιστών ως ο αλγόριθμος LZ77 Επινοήθηκε από δύο Ισραηλινούς επιστήμονες, τον Abraham Lempel και τον Jacob Ziv και δημοσιεύθηκε το 977 Πηγή: 5

52 Πηγή: Ρίζες των αλγορίθμων συμπίεσης Τα ίχνη των αλγορίθμων συμπίεσης ξεκινούν 3 δεκαετίες πριν το 977 Ο Claude Shannon ήταν ο ερευνητής των εργαστηρίων της εταιρείας Bell που με τη φημισμένη πλέον εργασία του το 948 ίδρυσε το πεδίο της Θεωρίας της Πληροφορία, συνεισέφερε σημαντικά στους κώδικες διόρθωσης σφαλμάτων και επιπλέον συνεισέφερε σημαντικά στην ανάδειξη των αλγορίθμων συμπίεσης 52

53 Ρίζες των αλγορίθμων συμπίεσης Οι κώδικες διόρθωσης σφαλμάτων και οι αλγόριθμοι συμπίεσης είναι ουσιαστικά οι δύο όψεις του ίδιου νομίσματος: και στα δύο προβλήματα κεντρική είναι η έννοια της περίσσειας πληροφορίας (redundancy) Αν ένα αρχείο έχει περίσσεια, είναι μεγαλύτερο από ό,τι πρέπει Το αρχείο μπορεί να χρησιμοποιεί τη λέξη five αντί για το ψηφίο 5 έτσι ώστε ένα λάθος όπως fivq να μπορεί εύκολα να αναγνωριστεί και να διορθωθεί Οι κώδικες διόρθωσης σφαλμάτων είναι μία μέθοδος για να εισάγουμε περίσσεια σε ένα μήνυμα ή ένα αρχείο Οι αλγόριθμοι συμπίεσης κάνουν το αντίθετο: απομακρύνουν περίσσεια πληροφορίας από έναμήνυμαήένααρχείο Φανταστείτε έναν αλγόριθμο συμπίεσης που αντιλαμβάνεται τη συχνή εμφάνισης της λέξης five σε ένα αρχείο και την αντικαθιστά με ένα συντομότερο σύμβολο (που μπορεί να είναι το ψηφίο 5 ) αντιστρέφοντας τη διαδικασία διόρθωσης σφαλμάτων Στην πράξη, η συμπίεση και η διόρθωση σφαλμάτων δεν αναιρούν η μια την άλλη Καλοί αλγόριθμοι συμπίεσης απομακρύνουν μη αποδοτικούς τύπους περίσσειας, ενώ η κωδικοποίηση για διόρθωση σφαλμάτων προσθέτει διαφορετικούς, αποδοτικότερους τύπους περίσσειας Γι αυτό είναι και πολύ κοινότυπο πρώτα να συμπιέζουμε ένα μήνυμα και μετά να ενσωματώνουμε σε αυτό διόρθωση σφαλμάτων διόρθωση σφαλμάτων συμπίεση δεδομένων 53

54 Ρίζες των αλγορίθμων συμπίεσης: Shannon Fano Το 948, οshannon στη φημισμένη του εργασία περιέγραψε μεταξύ άλλων μια από τις πρώτες τεχνικές συμπίεσης Ο Robert Fano, καθηγητής στο MIT, είχε επίσης ανακαλύψει την τεχνική αυτή σχεδόν ταυτόχρονα και η τεχνική έγινε γνωστή με την ονομασία «κωδικοποίηση Shannon Fano» Η κωδικοποίηση Shannon Fano είναι ένας τρόπος υλοποίησης της ιδέας του συντομότερου συμβόλου (shorter symbol) Αν και υπερκαλύφθηκε σύντομα από άλλον καλύτερο αλγόριθμο, η κωδικοποίηση Shannon Fano είναιεξαιρετικάαποδοτικήκαιυπάρχειακόμασανμίααπότιςμεθόδουςσυμπίεσης που μπορεί να επιλεχθεί στη μορφή αρχείου ZIP Οι Shannon και Fano γνώριζαν ότι η πρακτική και αποδοτική προσέγγισή τους δεν ήταν η καλύτερη δυνατή: ο Shannon είχε αποδείξει μαθηματικά ότι υπήρχαν ακόμα καλύτερες τεχνικές συμπίεσης που δεν είχαν ανακαλυφθεί Εν τω μεταξύ, ο Fano δίδασκε ένα μεταπτυχιακό μάθημα σχετικό με Θεωρία της Πληροφορίας στο MIT και έδωσε στους φοιτητές του σαν εργασία εξαμήνου το πρόβλημα του να κατασκευάσουν αλγόριθμο για βέλτιστη συμπίεση 54

55 Ρίζες των αλγορίθμων συμπίεσης: Fano Huffman Ένας από τους φοιτητές του Fano έλυσε το πρόβλημα παρουσιάζοντας μια μέθοδο που δίνει τη βέλτιστη δυνατή συμπίεση για κάθε σύμβολο Ο φοιτητής αυτός ήταν ο David Huffman και η τεχνική του γνωστή πλέον σαν κώδικας Huffman ένα ακόμα παράδειγμα της ιδέας του συντομότερου συμβόλου Ο κώδικας Huffman παραμένει θεμελιώδης αλγόριθμος συμπίεσης και χρησιμοποιείται ευρέως σε επικοινωνιακά συστήματα και συστήματα αποθήκευσης πληροφορίας 55

56 Κωδικοποίηση Shannon Fano (Ι) Διατάσσουμε τα σύμβολα του αλφαβήτου σε φθίνουσα σειρά με βάση τη συχνότητα εμφάνισής τους Χωρίζουμε (αναδρομικά) την ακολουθία σε δύο μισά έτσι ώστε η διαφορά των αθροισμάτων των μετρήσεων στα δύο μισά να γίνεται ελάχιστη Σε κάθε επανάληψη, στα αριστερά μέλη κάθε ομάδας δίνουμε κώδικα που ξεκινάει από 0 ενώ στα δεξιά δίνουμε κώδικα που ξεκινάει από 0 56

57 57 Κωδικοποίηση Shannon Fano (ΙΙ) Α Β C D E Α Β C D E Α Β C D E Α Β C D E Α Β C D E αρχικά () (2) (3) (4)

58 58 Κωδικοποίηση Shannon Fano (ΙΙI) Α Β C D E Α Β C D E Α Β C D E Α Β C D E Α Β C D E αρχικά () (2) (3) (4)

59 Κωδικοποίηση Shannon Fano (ΙV) ΑΒ CDE A B C DE 5 4 D E 35 0 Α Β C D E 4 59

60 Κωδικοποίηση Huffman (Ι) 0 Διατάσσουμε τα σύμβολα του αλφαβήτου σε φθίνουσα σειρά με βάση τη συχνότητα εμφάνισής τους Επιλέγουμε (αναδρομικά) τις 2 ομάδες συμβόλων με τις λιγότερες εμφανίσεις και τα κάνουμε ομάδα σε φθίνουσα σειρά δίνοντάς τους τιμές 0, αντίστοιχα Κάνει το ίδιο με την τεχνική Shannon-Fano αλλά επιτυγχάνει το μικρότερο δυνατό μέσο μήκος κωδικής λέξης

61 Κωδικοποίηση Huffman (ΙI) () (4) (2) (5) (3) 6

62 Κωδικοποίηση Huffman (ΙΙI) ΣΥΜΒΟΛΟ A B C D E ΚΩΔΙΚΗ ΛΕΞΗ

63 Σύνοψη Συμπίεση: τροποποίηση δεδομένων ώστε να μειωθεί ο χώρος που καταλαμβάνουν όταν αποθηκεύονται ή μεταδίδονται Υπάρχουν αλγόριθμοι συμπίεση χωρίς απώλειες και με απώλειες Δενυπάρχουναπώλειεςκατάτησυμπίεσηότανοαλγόριθμοςσυμπιέζει παρατηρώντας τα «σχήματα» εμφάνισης των δεδομένων χωρίς να αλλάζει το αρχικό σύνολο δεδομένων Εντοπίζονται επαναλαμβανόμενα τμήματα στα δεδομένα τα οποία κωδικοποιούνται με κώδικες μικρότερου μήκους (συχνότερη εμφάνιση μικρότερο μήκος κώδικα) Τα επαναλαμβανόμενα τμήματα δεδομένων εμφανίζονται ακολουθιακά; ΝΑΙ: Κωδικοποίηση ακολουθίας με το μήκος της (run length encoding) Π.χ., FAX ΌΧΙ: Τεχνικές «ίδιο με πριν»(same as earlier) και «συντομότερο σύμβολο» (shortersymbol) Π.χ., αρχεία ZIP Υπάρχουν απώλειες κατά τη συμπίεση όταν ο αλγόριθμος συμπιέζει παραλείποντας τμήματα του αρχικού συνόλου δεδομένων που δεν επηρεάζουν σημαντικά το τελικό σύνολο (μετά την αποσυμπίεση) Τεχνική παράλειψης (leave it out) Π.χ., JPEG, MP3, AAC 63

64 Σύνοψη Υπάρχει στενή σχέση ανάμεσα στους κώδικες διόρθωσης σφαλμάτων (που εισάγουν συμπληρωματική πληροφορία ώστε να εντοπίζονται και να διορθώνονται σφάλματα κατά την αποθήκευση ή μετάδοση δεδομένων) και στους αλγόριθμους συμπίεσης (που απομακρύνουν περιττή πληροφορία από δεδομένα προκειμένου να μπορούν να αποθηκευθούν ή να μεταδοθούν με τους λιγότερους δυνατούς πόρους) Συνεισφορές σταθμοί στην ιστορία των αλγορίθμων συμπίεσης είναι: 949: κωδικοποίηση Shannon Fano είναιέναςτρόποςυλοποίησηςτηςιδέας του συντομότερου συμβόλου (shorter symbol) 952: κώδικας Huffman βασισμένος στην ιδέα του συντομότερου συμβόλου (shorter symbol) 977: αλγόριθμος συμπίεσης LZ77 (Abraham LEMPEL και τον Jacob ZIV, 977) βασισμένος στην ιδέα «ίδιο με πριν»(same as earlier) βασική μέθοδος συμπίεσης που χρησιμοποιείται στα ZIP αρχεία 64

65 Τέλος Ενότητας

66 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Αθηνών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. Τίτλος Ενότητας 66

67 Σημειώματα

68 Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση.00. Έχουν προηγηθεί οι κάτωθι εκδόσεις: Τίτλος Ενότητας 68

69 Σημείωμα Αναφοράς Copyright Πανεπιτήμιο Πατρών, Εύη Παπαϊωάννου. «Εισαγωγή στους Αλγόριθμους. Συμπίεση δεδομένων.». Έκδοση:.0. Πάτρα 205. Διαθέσιμο από τη δικτυακή διεύθυνση: Τίτλος Ενότητας 69

70 Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [] nc sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος(π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. Τίτλος Ενότητας 70

71 Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. Τίτλος Ενότητας 7

72 Σημείωμα Χρήσης Έργων Τρίτων Το Έργο αυτό κάνει χρήση των ακόλουθων έργων: Εικόνες/Σχήματα/Διαγράμματα/Φωτογραφίες 9 Αλγόριθμοι που άλλαξαν το μέλλον. John MacCormick. Επιστημονική επιμέλεια Ελληνικής έκδοσης: Εύη Παπαϊωάννου. Πανεπιστημιακές Εκδόσεις Κρήτης, 205 (υπό έκδοση). ISBN Κωδικός Βιβλίου στον Εύδοξο: Τίτλος Ενότητας 72