ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ, ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΛ 422: ΣΥΣΤΗΜΑΤΑ ΠΟΛΥΜΕΣΩΝ Ακαδηµαϊκό Έτος , Χειµερινό Εξάµηνο Φροντιστηριακή Άσκηση 3: Εντροπία, κωδικοποίηση Quadtree 1. Εντροπία 22 Σεπτεµβρίου 2004 Ας υποθέσουµε ότι ένα αρχείο κειµένου περιέχει µόνο τους χαρακτήρες «a» και «b». Η συχνότητα που εµφανίζεται ο χαρακτήρας «a» στο κείµενο αναπαριστάνεται µε το P(a). Όµοια έχουµε το P(b) για τον χαρακτήρα «b». Συνήθως αναπαριστάνουµε τα P(a) και P(b) σαν πιθανότητες, έτσι έχουµε P(a) + P(b) = 1. Η εντροπία (ή η περιεχόµενη πληροφορία) του αρχείου κειµένου αυτού, µπορεί να υπολογιστεί όπως φαίνεται πιο κάτω: Η = - (P(a) log 2P(a) + P(b) log 2P(b)) Γενικά, αν έχουµε ένα σύνολο από n χαρακτήρες s 1, s 2, s n, που ο κάθε ένας συµβαίνει µε πιθανότητα P(s i), τότε: n H = P( Si )log2 P( s i ) i= 1 (1) Υπολογίστε το H για P(a) = 0.2, και P(b) = 0.8. (2) Αν χρησιµοποιηθεί η κωδικοποίηση Huffman για την αποθήκευση του κειµένου, πόσα bits χρειαζόµαστε µέσο όρο (συνήθως ονοµάζεται µέσο µήκος κωδικοποιηµένης λέξης (codeword)); (3) Εναλλακτικά µπορούµε να κωδικοποιήσουµε το ίδιο αρχείο κειµένου χρησιµοποιώντας ζεύγη χαρακτήρων, δηλαδή, (a, a), (a, b), (b, a), (b, b). Εάν υποθέσουµε ότι οι εµφανίσεις των «a» και «b» είναι ανεξάρτητες, υπολογίστε τα P(a, a), P(a, b), P(b, a), και P(b, b). Ποια είναι η αντίστοιχη τιµή της εντροπίας; (4) Βασισµένοι στο (3), ποια θα ήταν η κωδικοποίηση Huffman για κάθε ζεύγος χαρακτήρων; Ποιο είναι το αντίστοιχο µέσο µήκος κωδικοποιηµένης λέξης για αυτό το σχήµα κωδικοποίησης; (5) Τι παρατηρήσεις µπορείτε να κάνετε, µε βάση τις απαντήσεις σας στις πιο πάνω τέσσερις ερωτήσεις; (6) Τι συµβαίνει αν χρησιµοποιήσουµε τριάδες, δηλαδή, (a, a, a), (a, a, b) (b, b, b) κ.τ.λ. για την κωδικοποίηση του κειµένου; Ποιο θα είναι το µέσο µήκος κωδικοποιηµένης λέξης;

2 2. Κωδικοποίηση Quadtree (1) Κατασκευάστε ένα quadtree για την αναπαράσταση της πιο κάτω εικόνας αποχρώσεων γκρίζου 8bit/pixel και διαστάσεων 16x16. (2) Για quadtree αναπαράσταση µιας εικόνας αποχρώσεων γκρίζου, χρειάζεται µια οµοιογενής µετρική που καθορίζει αν η υποδιαίρεση είναι απαραίτητη. Ποιο κριτήριο θα χρησιµοποιούσατε για την µετρική αυτή; (3) Αποθηκεύοντας τη δοµή quadtree και την µέση χρωµατική ένταση κάθε κόµβου, έχουµε µια τεχνική για συµπίεση εικόνων αποχρώσεων γκρίζου (η οποία ονοµάζεται block encoding). Σχεδιάστε µια δοµή δεδοµένων για αυτή την τεχνική συµπίεσης. Ποιος είναι ο λόγος/ αναλογία συµπίεσης για την πιο κάτω αποχρώσεων γκρίζου εικόνα;

3 Απαντήσεις 1.1 Υπολογίστε το H για P(a) = 0.2, και P(b) = 0.8.

4 1.2 Αν χρησιµοποιηθεί η κωδικοποίηση Huffman για την αποθήκευση του κειµένου, πόσα bits χρειαζόµαστε µέσο όρο (συνήθως ονοµάζεται µέσο µήκος κωδικοποιηµένης λέξης (code word));

5 1.3 Εναλλακτικά µπορούµε να κωδικοποιήσουµε το ίδιο αρχείο κειµένου χρησιµοποιώντας ζεύγη χαρακτήρων, δηλαδή, (a, a), (a, b), (b, a), (b, b). Εάν υποθέσουµε ότι οι εµφανίσεις των «a» και «b» είναι ανεξάρτητες, υπολογίστε τα P(a, a), P(a, b), P(b, a), και P(b, b). Ποια είναι η αντίστοιχη τιµή της εντροπίας;

6 1.4 Βασισµένοι στο (3), ποια θα ήταν η κωδικοποίηση Huffman για κάθε ζεύγος χαρακτήρων; Ποιο είναι το αντίστοιχο µέσο µήκος κωδικοποιηµένης λέξης για αυτό το σχήµα κωδικοποίησης;

7 1.5 Τι παρατηρήσεις µπορείτε να κάνετε, µε βάση τις απαντήσεις σας στις πιο πάνω τέσσερις ερωτήσεις;

8 1.6 Τι συµβαίνει αν χρησιµοποιήσουµε τριάδες, δηλαδή, (a, a, a), (a, a, b) (b, b, b) κ.τ.λ. για την κωδικοποίηση του κειµένου; Ποιο θα είναι το µέσο µήκος κωδικοποιηµένης λέξης;

9 2.1 Κατασκευάστε ένα quadtree για την αναπαράσταση της πιο κάτω εικόνας αποχρώσεων γκρίζου 8bit/pixel και διαστάσεων 16x16.

10 2.2 Για quadtree αναπαράσταση µιας εικόνας αποχρώσεων γκρίζου, χρειάζεται µια οµοιογενής µετρική που καθορίζει αν η υποδιαίρεση είναι απαραίτητη. Ποιο κριτήριο θα χρησιµοποιούσατε για την µετρική αυτή;

11 2.3 Αποθηκεύοντας τη δοµή quadtree και την µέση ένταση κάθε κόµβου, έχουµε µια τεχνική για συµπίεση εικόνων αποχρώσεων γκρίζου (η οποία ονοµάζεται block encoding). Σχεδιάστε µια δοµή δεδοµένων για αυτή την τεχνική συµπίεσης. Ποιος είναι ο λόγος/ αναλογία συµπίεσης για την πιο κάτω αποχρώσεων γκρίζου εικόνα;