ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ - ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ : Σ & Α Ε Δ Ε

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ - ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ : Σ & Α Ε Δ Ε του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Ι Κ : Θέμα ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ Επιβλέπων Καθηγητής Αθανάσιος Σκόδρας Αριθμός Διπλωματικής Εργασίας: Πάτρα, Δεκέμβριος 2016

2

3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η διπλωματική εργασία με θέμα ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ Του φοιτητή του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Ιωάννη Κριλή του Νικολάου Αριθμός Μητρώου: Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις 09/12/2016 Ο Επιβλέπων Ο Διευθυντής του Τομέα Καθηγητής κ. Αθανάσιος Σκόδρας Καθηγητής κ. Νικόλαος Κούσουλας

4 2 A/D CMY CR CRT DCT HDR HSI HVS ITMF JPEG LDR MD MSE LCD PSNR RI ΤΜΟ ΑΚΡΩΝΥΜΙΑ Analogue to Digital Cyan Magenta Yellow Compression Ratio Cathode Ray Tube Discrete Cosine Transform High Dynamic Range Hue Saturation Intensity Human Vision System Inverse Tone Mapping Function Joint Photographic Experts Group Low Dynamic Range Mean Distance Mean Square Error Liquid-Crystal Display Peak signal to Noise Ratio Ratio Image Tone Map Operators ΑΠΟΔOΣΗ ΑΓΓΛΙΚΩΝ ΟΡΩΝ ΣΤΗΝ ΕΛΛΗΝΙΚΗ Bilinear Interpolation Διγραμμική Παρεμβολή Compression Ratio Ποσοστό Συμπίεσης Cones Κωνία Hue Απόχρωση Intensity Ένταση Metadata Μεταδεδoμένα Output-referred Συσχετισμένος με την συσκευή Pixel Εικονοστοιχείο Postcorrection Μετα-διόρθωση Precorrection Προ-διόρθωση Rods Ραβδία Saturation Χρωματική καθαρότητα Scene-referred Συσχετισμένος με την σκηνή Subband Κανάλι Tone Mapping Χρωματική απεικόνιση Tone Mapping Operators Συνάρτηση χρωματικής απεικόνισης

5 ΠΕΡΙΕΧΟΜΕΝΑ 1 ΕΙΣΑΓΩΓΗ 7 2 ΑΝΘΡΩΠΙΝΟ ΣΥΣΤΗΜΑ ΟΡΑΣΗΣ & ΧΡΩΜΑΤΙΚΟΙ ΧΩΡΟΙ Το Ανθρώπινο Σύστημα Όρασης Χρωματικοί Χώροι Ο χρωματικός Χώρος XYZ Ο χρωματικός χώρος RGB Ο χρωματικός χώρος YCbCr Ο χρωματικός χώρος CIE L*a*b* ΠΡΟΤΥΠΟ ΣΥΜΠΙΕΣΗΣ JPEG Κωδικοποίηση Αποκωδικοποίηση ΕΙΚΟΝΕΣ HDR RGBE κωδικοποιήση Παράδειγμα χρήσης RGBE κωδικοποίησης LogLuv κωδικοποίηση Παράδειγμα χρήσης LogLuv 32bpp κωδικοποίησης OpenEXR κωδικοποίηση ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ ΣΥΜΠΙΕΣΗ JPEG-HDR Μέθοδος H Ratio Image Συμπίεση και δειγματοληψία της Ratio Image Διγραμμική Παρεμβολή

6 Precorrection της βασικής εικόνας Postcorrection της βασικής εικόνας Αποκορεσμός και κορεσμός βασικής εικόνας Αλγόριθμος κωδικοποίησης δύο επιπέδων HDR εικόνων Γενικό σχήμα αλγορίθμου Υπολογισμός Αντίστροφης Συνάρτησης Αύξησης Δυναμικής Περιοχής (ITMF) Υπολογισμός υπολειπόμενης πληροφορίας Συντήρηση Χρώματος ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ 65 7 ΣΥΜΠΕΡΑΣΜΑΤΑ Συμπίεση με JPEG-HDR Συμπίεση με την μέθοδο Okuda ΠΑΡΑΡΤΗΜΑΤΑ 83 Αʹ DATABASE 85 Βʹ Matlab Code 91 Βιβλιογραφία 111

7 5 ΠΕΡΙΛΗΨΗ H ανάγκη σήμερα για δημιουργία εικόνων που να αναπαριστούν όλο το δυναμικό εύρος μιας φυσικής σκηνής οδήγησε στην ανάπτυξη τεχνικών και επεξεργασίας των εικόνων υψηλής δυναμικής περιοχής (High Dynamic Range - HDR). Οι εικόνες αυτές είναι ικανές να αιχμαλωτίσουν όλο το δυναμικό εύρος μιας σκηνής σε αντίθεση με τις συμβατικές εικόνες. Αυτό συνήθως το επιτυγχάνουν συνδυάζοντας πολλαπλές λήψεις της ίδιας σκηνής που έχουν όμως ληφθεί με διαφορετική ταχύτητα κλείστρου καθορίζοντας με αυτόν τον τρόπο την φωτεινότητα της κάθε λήψης. Για για να αποθηκευτεί όλη αυτή η πληροφορία των HDR εικόνων, χρησιμοποιούνται περισσότερα από 24 bpp που χρειάζονται οι συμβατικές φωτογραφίες χαμηλής δυναμικής περιοχής (Low Dynamic Range - LDR). Oι HDR εικόνες απαιτουν συνήθως για κάθε εικονοστοιχείο 32 bits για κάθε χρωματικό κανάλι. Το γεγονός αυτό δημιουργεί την ανάγκη για αποτελεσματική συμπίεση των εικόνων αυτών, καθώς το μέγεθος τους είναι υπερβολικά μεγάλο. Η συμπίεση αυτών των εικόνων θα θέλαμε να γίνει με τέτοιο τρόπο ώστε να διατηρήσουμε όσο το δυνατόν περισσότερη πληροφορία. Επίσης, θα θέλαμε να μπορεί να υλοποιηθεί χρησιμοποιώντας τις συμβατικές μεθόδους συμπίεσης. Το γεγονός αυτό αποτελεί πρόκληση για τους ερευνητές που έχουν προτείνει διάφορες μεθόδους προσπαθώντας να ικανοποιήσουν τις παραπάνω προδιαγραφές. Επιλέξαμε να υλοποιήσουμε δύο αλγορίθμους συμπίεσης που και οι δύο χρησιμοποιούν ως βάση το πρότυπο συμπίεσης JPEG. Σε γενικές γραμμές, στις μεθόδους αυτές παράγουμε από την αρχική εικόνα HDR δύο συμβατικές εικόνες, οι οποίες συμπίεζονται με το πρότυπο JPEG και συνδυάζοντας αυτές κατάλληλα μπορούμε να ανακτήσουμε την αρχική εικόνα HDR με ένα ανεκτό σφάλμα. Η μία από τις δύο εικόνες αποτελεί την αναπαράσταση της εικόνας HDR αφού της μειώσουμε τη δυναμική περιοχή κατάλληλα, ενώ η δεύτερη εικόνα ουσιαστικά περιέχει τις επιπλέον πληροφορίες που χρειάζονται για την ανακατασκευή της αρχικής εικόνας. Οι κύριες διαφορές αυτών των μεθόδων έγκεινται στον υπολογισμό της εικόνας που περιέχει την επιπλέον πληροφορία καθώς και στον τρόπο ανακατασκευής της τελικής εικόνας HDR.

8 6

9 ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ Οι σύγχρονες ψηφιακές φωτογραφικές μηχανές δεν έχουν την δυνατότητα να καταγράψουν όλο το εύρος του φωτός σε πολλές φυσικές σκηνές. Η δυναμική περιοχή που αιχμαλωτίζουν είναι συνήθως στην κλίμακα 1:4000. Επίσης, το εύρος της δυναμικής περιοχής μειώνεται ακόμα περισσότερο από έναν 8 bit A/D μετατροπέα, γεγονός το οποίο για τις φυσικές σκηνές, σπάνια είναι αρκετό. Αυτό το πρόβλημα μπορούμε να το λύσουμε με την διαδικασία απεικόνισης υψηλής δυναμικής περιοχής (High Dynamic Range Imaging) της φυσικής σκηνής, δηλαδή την δημιουργία μίας εικόνας που αναφερόμενη ως προς τη σκηνή (scene-referred) και όχι ως προς την συσκευή στην οποία θα προβληθεί (output-referred). Με αυτή τη διαδικασία μπορεί να αποκτηθεί, να αποθηκευτεί και να παρουσιαστεί η πληροφορία για το πραγματικό εύρος της φωτεινότητας μιας σκηνής. Συνήθως, αυτό επιτυγχάνεται συνδυάζοντας πολλαπλές φωτογραφίες της ίδιας σκηνής με διαφορετική φωτεινότητα. Αυτό έχει ως αποτέλεσμα μία φωτογραφία υψηλής δυναμικής περιοχής (HDR), που περιέχει όλη την απαραίτητη πληροφορία για την αναπαράσταση όλου του δυναμικού εύρους της σκηνής. Η εικόνα υψηλής δυναμικής περιοχής, που προκύπτει μετά από την παραπάνω σύνθεση, είναι μία εικόνα η οποία αναπαρίσταται από αριθμούς κινητής υποδιαστολής και συνήθως για μια φυσική σκηνή κυμαίνονται στην περιοχή μεταξύ 10 4 έως Για αυτό το λόγο οι συγκεκριμένες εικόνες δεν μπορούν να συμπιεστούν και να αποθηκευτούν με τις συμβατικές μεθόδους συμπίεσης που είναι σχεδιασμένες για εικόνες με 24 bpp, που καλύπτουν δυναμικό εύρος έως 2 τάξεις μεγέθους. Συνεπώς, είναι απαραίτητο να αναπτυχθούν νέοι αλγόριθμοι συμπίεσης για αυτές τις 7

10 8 ΕΙΣΑΓΩΓΗ εικόνες. Σε οποιαδήποτε εφαρμογή που μπορεί να χρησιμοποιηθεί μία συμβατική εικόνα LDR, μπορεί να χρησιμοποιηθεί και μία HDR εικόνα, αφού πρώτα μειώσουμε την δυναμική της περιοχή. Η μείωση αυτή πραγματοποιείται με μία τεχνική που ονομάζεται tone mapping και υλοποιείται από ειδικές συναρτήσεις που ονομάζονται Tone Mapping Operators (TMO). Με χρήση αυτών των συναρτήσεων καταφέρνουμε την μετατροπή των HDR εικόνων σε LDR, οι οποίες μπορούν να απεικονιστούν σε συμβατικές οθόνες (CRT, LCD). Υπάρχει μια ποικιλία από TMOs που βασίζονται σε διάφορες συναρτήσεις μείωσης της δυναμικής περιοχής. Οι κύριες κατηγορίες ταξινομούνται ως: Global operators. Η τιμή κάθε εικονοστοιχείου της εικόνας καθορίζεται από την ίδια συνάρτηση. Local operators. Η τιμή κάθε εικονοστοιχείου εξαρτάται από τα γειτονικά εικονοστοιχεία. Οι HDR εικόνες περιέχουν πληροφορίες που δεν περιέχονται στις συμβατικές εικόνες καθώς καλύπτουν πολύ μεγαλύτερη δυναμική περιοχή. Αυτή η επιπλέον πληροφορία ανοίγει το δρόμο σε νέες εφαρμογές, που δεν είναι δυνατόν να υλοποιηθούν με τις συμβατικές εικόνες, όπως: Εφαρμογές επαυξημένης πραγματικότητας (π.χ. ειδικά εφέ για ταινίες και διαφημίσεις). Προσομοίωση ανθρώπινης όρασης. Ψηφιακή σύνθεση φιλμ. Ψηφιακός κινηματογράφος. Ο κατάλογος αυτός περιέχει μόνο κάποιες από τις εφαρμογές που μπορούν να χρησιμοποιηθούν οι HDR εικόνες και στο μέλλον είναι πιθανό ότι θα χρησιμοποιούνται αποκλειστικά οι HDR εικόνες για εφαρμογές που σήμερα χρησιμοποιούνται οι συμβατικές.

11 ΚΕΦΑΛΑΙΟ 2 ΑΝΘΡΩΠΙΝΟ ΣΥΣΤΗΜΑ ΟΡΑΣΗΣ & ΧΡΩΜΑΤΙΚΟΙ ΧΩΡΟΙ Για να μπορούμε εύκολα να καταλάβουμε τα επόμενα κεφάλαια, που αφορούν στην αποθήκευση και στη συμπίεση των HDR εικόνων, θα περιγράψουμε πρώτα στο ανθρώπινο σύστημα όρασης και τους χρωματικούς χώρους. Η γνώση αυτών είναι σημαντική για την κατανόηση των παρακάτω κεφαλαίων. Οι έννοιες που θα παρουσιαστούν σε αυτό το κεφάλαιο είναι βασικές και χρησιμοποιούνται κατά κόρον στη συμπίεση εικόνων και στην ψηφιακή επεξεργασία εικόνας. 2.1 Το Ανθρώπινο Σύστημα Όρασης Όπως αναφέρεται και στο βιβλίο [2], ο οφθαλμός είναι ένα όργανο το οποίο συγκεντρώνει το φως στους φωτοϋποδοχείς, οι οποίοι το μετατρέπουν σε σήματα (βλέπε Σχ. 2.1). Αυτά τα σήματα μεταδίδονται μέσω του οπτικού νεύρου στον οπτικό φλοιό, μια περιοχή του εγκεφάλου που επεξεργάζεται τα παραγόμενα σήματα από την αντιληπτή εικόνα. Το σύστημα αυτό είναι υπεύθυνο για την ανθρώπινη όραση και ονομάζεται ανθρώπινο σύστημα όρασης (Human Vision System - HVS).Το φως που εισέρχεται στο μάτι διέρχεται μέσα από τον κερατοειδή χιτώνα, μια διαφανή μεμβράνη. Έπειτα, εισέρχεται στην κόρη, μία οπή της οποίας η επιφάνεια μεταβάλλεται από ένα μυώδης διάφραγμα. Συνεπώς, το φως διαθλάται 9

12 10 ΑΝΘΡΩΠΙΝΟ ΣΥΣΤΗΜΑ ΟΡΑΣΗΣ & ΧΡΩΜΑΤΙΚΟΙ ΧΩΡΟΙ από τους φακούς και χτυπά τους φωτοϋποδοχείς που βρίσκονται στον αμφιβληστροειδή χιτώνα. Σχήμα 2.1: Απόκριση ένος κωνίου και ενός ραβδίου. Υπάρχουν δύο τύποι φωτοϋποδοχέων: τα κωνία (cones) και τα ραβδία (rods). Τα κωνία, τα οποία είναι περίπου 6 εκατομμύρια, βρίσκονται κυρίως στο βοθρίο της ωχράς κηλίδας. Αυτά, είναι ευαίσθητα σε επίπεδα φωτεινότητας μεταξύ 10 2 cd/m 2 και 10 8 cd/m 2 (φωτοπική όραση ή ημερήσια όραση), και είναι υπεύθυνα για την αντίληψη των υψηλών μεταβολών της συχνότητας, την αντίληψη της γρήγορης κίνησης και των χρωμάτων. Συγκεκριμένα, η αντίληψη των χρωμάτων πραγματοποιείται από τους τρείς τύπους κωνίων: μικρού μήκους κύματος, μεσαίου μήκους κύματος, μεγάλου μήκους κύματος (ευαίσθητα σε μήκη κύματος κοντά στα 435nm, 530nm και 580 nm αντίστοιχα). Τα ραβδία είναι αρκετά περισσότερα, περίπου 90 εκατομμύρια, και είναι ευαίσθητα σε επίπεδα φωτεινότητας που κυμαίνονται μεταξύ 10 6 cd/m 2 και 10 cd/m 2 (σκοτοπική όραση ή νυχτερινή όραση). Επίπροσθέτως, τα ραβδία είναι περισσότερο ευαίσθητα από τα κωνία, αλλά δεν μπορούν να εντοπίσουν τα χρώματα. Αυτός είναι και ο λόγος για τον οποίο δεν μπορούμε να διακρίνουμε χρώματα σε συνθήκες όπου τα επίπεδα φωτεινότητας είναι χαμηλά, καθώς η περιοχή ευαισθησίας των κωνίων είναι πάνω από αυτά τα επίπεδα. Επίσης, με τα ραβδία δεν μπορούμε να διακρίνουμε πρότυπα υψηλών συχνοτήτων σε χαμηλά επίπεδα φωτεινότητας, συνεπώς δεν μπορούμε να αντιληφθούμε τις λεπτομέρειες μιας σκηνής όταν δεν υπάρχει αρκετό φως. Τέλος, τα ραβδία, σε αντίθεση με τα κωνία, είναι ευαίσθητα στα ίδια επίπεδα φωτεινότητας και κατανέμονται στον αμφιβληστροειδή χιτώνα, εκτός από την περιοχή που κατανέμονται τα κωνία. Η μεσοπική όραση, στην οποία και τα ραβδία και τα κωνία είναι ενεργά, είναι στην περιοχή 10 2 cd/m 2 και 10 cd/m 2. Τα ραβδία και τα κωνία συμπιέζουν το αρχικό σήμα, μειώνοντας την δυναμική περιοχή (Σχ. 2.2). Αυτή η συμπίεση της δυναμικής περιοχής μπορεί να περιγραφεί από

13 Χρωματικοί Χώροι 11 την εξίσωση: R Rmax = I n I n + σ n (2.1) όπου R είναι η απόκριση του φωτοϋποδοχέα, Rmax είναι η μέγιστη τιμή της απόκρισης του φωτοϋποδοχέα και I είναι η ένταση του φωτός. Η μεταβλητή σ είναι o ημικορεσμός και η n μία παράμετρος ελέγχου ευαισθησίας η οποία γενικά παίρνει τιμές μεταξύ 0.7 και 1.0. Η Εξ. 2.1, γνωστή ως Michaelis Menten εξίσωση (ή Naka Rushton εξίσωση) μοντελοποιεί μία σιγμοειδή συνάρτηση (σε λογαριθμική-γραμμική απεικόνιση). Ο ρόλος του σ στην Εξ. 2.1 είναι να ελέγχει την θέση της καμπύλης απόκρισης στον (οριζόντιο) άξονα της έντασης. Στο Σχ. 2.2 απεικονίζεται η απόκριση των κωνίων και των ραβδίων. Η μοντελοποίηση της απόκρισης των κωνίων ή των ραβδίων επιτυγχάνεται απλά με μεταβολή της παραμέτρου σ, θέτοντας την αντίστοιχη τιμή (κωνίων ή ραβδίων) στην Εξ Η συγκεκριμένη εξίσωση είναι πολύ σημαντική και όπως θα δούμε και στο Κεφάλαιο 5 θα την χρησιμοποιήσουμε για την ελάττωση της δυναμικής περιοχής των HDR εικόνων, καθώς και την αντίστροφη αυτής για την εκτίμηση των HDR εικόνων από τις αντίστοιχες LDR. Σχήμα 2.2: Απόκριση ένος κωνίου και ενός ραβδίου. 2.2 Χρωματικοί Χώροι Ένας χρωματικός χώρος είναι μία μαθηματική περιγραφή που αντιπροσωπεύει τα χρώματα. Συνήθως αντιπροσωπεύεται από τρία στοιχεία που ονομάζονται πρωταρχικά (primaries). Με άλλα λόγια, ο χρωματικός χώρος ορίζει τον τρόπο µε τον οποίο αναπαρίσταται η χρωματική πληροφορία. Στην [1] περιγράφονται οι πιο σημαντικοί χρωματικοί χώροι. Σε αυτήν την παράγραφο θα αναφέρουμε μόνο αυτούς που χρησιμοποιήθηκαν για την υλοποιήση των αλγορίθμων συμπίεσης και των μέτρων αξιολόγησης ποιότητας αυτών. Υπάρχουν δύο τύποι χρωματικών χώρων, εκείνοι

14 12 ΑΝΘΡΩΠΙΝΟ ΣΥΣΤΗΜΑ ΟΡΑΣΗΣ & ΧΡΩΜΑΤΙΚΟΙ ΧΩΡΟΙ που είναι προσαρμοσμένοι στις συσκευές των υπολογιστικών συστημάτων (hardware π.χ. οθόνες, εκτυπωτές, κτλ.) και εκείνοι που προορίζονται για εφαρμογές όπου είναι επιθυμητή η διαχείριση των χρωμάτων (π.χ. graphic animation). Στην πρώτη κατηγορία ανήκουν το μοντέλο RGB (red, green, blue) για έγχρωμες οθόνες και κάμερες, καθώς και το μοντέλο CMY (cyan, magenta, yellow) για έγχρωμους εκτυπωτές. Στην δεύτερη κατηγορία τυπικοί χρωματικοί χώροι είναι ο CIE 1931 XYZ και ο HSI (Hue, Saturation, Intensity). Στη συνέχεια παρουσιάζονται οι χρωματικοι χώροι οι οποίοι είναι ευρύτερα γνωστοί στην ψηφιακή επεξεργασία εικόνας και ειδικότερα στην συμπίεση Ο χρωματικός Χώρος XYZ Ο χρωματικός χώρος XYZ προτάθηκε από το CIE το 1931 και ο σκοπός ήταν να μπορεί να καλύψει όλο το εύρος των ορατών χρώματων. Ο συγκεκριμένος χρωματικός χώρος μπορεί να προσδιοριστεί από τρείς συναρτήσεις χρώματος (color matching functions) x(λ), y(λ), z(λ). Οι συναρτήσεις αυτές μπορούν να θεωρηθούν ως φασματικές καμπύλες ευαισθησίας τριών γραμμικών ανιχνευτών φωτός. Στο Σχ. 2.3 δίνεται η μορφή των συναρτήσεων αυτών συναρτήσει του μήκους κύματος. Σχήμα 2.3: Συναρτήσεις Χρώματος (color matching functions). Σύμφωνα με την CIE, οι τριχρωματικές τιμές Χ, Υ, Ζ για ένα δεδομένο φάσμα μπορούν να υπολογιστούν μαθηματικά. Συγκεκριμένα, με τη χρήση των συναρτήσεων χρώματος μπορoύμε να υπολογίσουμε τις τριχρωματικές τιμές ενός χρώματος που έχει κατανομή φασματικής ισχύος I(λ) από τις σχέσεις:

15 Χρωματικοί Χώροι 13 X = Y = Z = Ο χρωματικός χώρος RGB 0 I(λ)x(λ)dλ I(λ)y(λ)dλ I(λ)z(λ)dλ O RGB είναι ένας αθροιστικός χώρος στον οποίο κάθε χρώμα προκύπτει από τον συνδυασμό τριών πρότυπων χρωμάτων: κόκκινο (Red), πράσινο (Green), μπλε (Blue). Η ένταση του φωτός καθορίζει την αντίληψη των χρωμάτων. Χωρίς ένταση, κάθε ένα από τα τρία χρώματα γίνεται αντιληπτό ως μαύρο, ενώ η πλήρης ένταση οδηγεί σε μία αντίληψη των χρωμάτων για το λευκό (βλέπε Σχ.2.4(α )). Το μοντέλο αυτό αναπαρίσταται στο χώρο από έναν καρτεσιανό κύβο, όπως φαίνεται στο Σχ. 2.4(β ), και στις 3 κορυφές του κύβου που είναι πάνω στους άξονες βρίσκονται τα τρία κύρια χρώματα. Το κυανό, το φούξια και το κίτρινο βρίσκονται στις άλλες τρεις κορυφές, ενώ το μαύρο βρίσκεται στην αρχή των αξόνων και το άσπρο στην κορυφή που βρίσκεται αντιδιαμετρικά με το μαύρο. Τα επίπεδα του γκρι είναι οι τιμές που εκφράζει το ευθύγραμμο τμήμα που ενώνει την μαύρη και την άσπρη κορυφή. Ένα οποιοδήποτε άλλο σημείο στον κύβο εκφράζει κάποιο άλλο χρώμα. Στο Σχ. 2.4(β ) φαίνεται η κατανομή των χρωμάτων στον κύβο RGB. (αʹ) (βʹ) Σχήμα 2.4: Το χρωματικό μοντέλο RGB. Ο χρωματικός χώρος RGB αντιστοιχεί σε ένα τρίγωνο όπως αυτό που φαίνεται στο διάγραμμα του Σχ Το τρίγωνο αυτό αντιστοιχεί στον RGB χρωματικό χώρο που καθόρισε το CIE το Όλα τα RGB χρώματα σχηματίζονται με την κατάλληλη ανάμειξη των πρότυπων χρωμάτων που αντιστοιχούν στις κορυφές του τριγώνου. Συνεπώς, όλα τα RGB χρώματα απεικονίζονται στο εσωτερικό του τριγώνου αυτού.

16 14 ΑΝΘΡΩΠΙΝΟ ΣΥΣΤΗΜΑ ΟΡΑΣΗΣ & ΧΡΩΜΑΤΙΚΟΙ ΧΩΡΟΙ Μπορούμε να παρατηρήσουμε ότι ο χρωματικός χώρος RGB δεν καλύπτει όλα τα χρώματα του οπτικού φάσματος εάν χρησιμοποιήσουμε αυστηρά θετικές τιμές για τα πρότυπα χρώματα, οπότε για να αναπαραστήσουμε μία τιμή έξω από το τρίγωνο αυτό θα πρέπει κάποια από τα πρότυπα χρώματα να λάβουν αρνητικές τιμές. Για την αποφύγη των αρνητικών τιμών πολλές φορές χρησιμοποιήται ο χρωματικός χώρος XYZ που καλύπτει όλο το φάσμα χρωμάτων. Λόγω αυτού είναι απαραίτητη η μετατροπή από RGB σε XYZ. Σχήμα 2.5: Το τρίγωνο του χώρου RGB. Οι τριχρωματικές τιμές ΧΥΖ συνδέονται με τις κατά CIE RGB τριχρωματικές τιμές μέσω της σχέσης: X R Y = G Z B Στο Σχ. 2.6 δίνονται οι τρείς συνιστώσες της έγχρωμης εικόνας peppers στο χρωματικό χώρο RGB Ο χρωματικός χώρος YCbCr Ο χρωματικός χώρος YCbCr δημιουργήθηκε για να καλύψει τις ανάγκες της ψηφιακής επεξεργασίας video κυρίως, αλλά είναι πολύ χρήσιμος και σε εφαρμογές συμπίεσης. Χαρακτηριστικό του χώρου είναι ότι δεν απεικονίζει τα χρώματα σύμφωνα με τον τρόπο που τα αντιλαμβάνονται οι άνθρωποι. Η συνιστώσα Υ περιγράφει τη φωτεινότητα (Luminance) και οι Cb, Cr συνιστώσες τις πληροφορίες χρώματος (Chrominance). Συγκεκριμένα, το Cb εκφράζει τη χρωματική διαφορά ως προς το μπλε και το Cr τη χρωματική διαφορά ως προς το κόκκινο. Ένας από τους λόγους που

17 Χρωματικοί Χώροι 15 (αʹ) R (βʹ) G (γʹ) B Σχήμα 2.6: Οι χρωματικές συνιστώσες του χρωματικού χώρου RGB για την εικόνα peppers. χρησιμοποιούμε τον συγκεκριμένο μετασχηματισμό αφορά την ανθρώπινη όραση, το γεγονός δηλαδή ότι η ανθρώπινη όραση είναι πολύ πιο ευαίσθητη στη φωτεινότητά της εικόνας παρά τα χρώματα. Μετασχηματίζοντας το RGB σήμα σε ένα σήμα φωτεινότητας και δύο άλλα σήματα που μεταφέρουν την χρωματική πληροφορία μπορούμε να επεξεργαστούμε χωριστά αυτά τα σήματα. Τα δύο χρωματικά σήματα μπορούν να παρασταθούν με μικρότερη ακρίβεια από ότι το σήμα φωτεινότητας, επιτυγχάνοντας έτσι οικονομία χώρου, καθώς το ανθρώπινο μάτι δεν αντιλαμβάνεται τόσο τις μεταβολές στο χρώμα όσο στην φωτεινότητα. Όπως θα δούμε και αργότερα στο πρότυπο συμπίεσης JPEG γίνεται υποδειγματοληψία των χρωματικών συνιστωσών καθώς μικρές μεταβολές χρώματος δεν γίνονται αντιληπτές από το μάτι, ωστόσο η ανάλυση της φωτεινότητας παραμένει ίδια, διότι η ευαισθησία του ματιού στις μεταβολές των αποχρώσεων του γκρι είναι υψηλή. Η μετατροπή του RGB χρωματικού χώρου στον YCbCr γίνεται μέσω της σχέσης: Y R Cb = G Cr B Στην παραπάνω σχέση οι RGB τιμές θεωρούνται ότι βρίσκονται στο διάστημα [0, 1]. Κατά συνέπεια η μεταβλητή Υ κυμαίνεται στο διάστημα [16, 235] και η Cb, Cr στο διάστημα [16, 240]. Ο αντίστροφος μετασχηματισμός, δεδομένου ότι R, G, B [0, 1], προκύπτει από τη σχέση: R Y 16 G = Cb 128 B Cr 128 Στο Σχ. 2.7 δίνονται οι τρείς συνιστώσες μίας έγχρωμης εικόνας

18 16 ΑΝΘΡΩΠΙΝΟ ΣΥΣΤΗΜΑ ΟΡΑΣΗΣ & ΧΡΩΜΑΤΙΚΟΙ ΧΩΡΟΙ στο χρωματικό χώρο YCbCr. (αʹ) Y (βʹ) Cb (γʹ) Cr Σχήμα 2.7: Οι χρωματικές συνιστώσες του χρωματικού χώρου YCbCr για την εικόνα peppers Ο χρωματικός χώρος CIE L*a*b* Ένα από τα πολύ επιθυμητά χαρακτηριστικά ενός χρωματικού συστήματος είναι η οπτική ευαισθησία για μικρές χρωματικές μεταβολές. Δηλαδή, μια μικρή χρωματική αλλαγή πρέπει να είναι άμεσα αντιληπτή. Οι χρωματικοί χωροι που ικανοποιούν αυτή την ιδιότητα καλούνται αντιληπτά ομοιόμορφοι χρωματικοί χώροι. Χρωματικοί χώροι όπως RGB και CIE-ΧΥΖ απέχουν πολύ από το να ικανοποιούν την ιδιότητα αυτή. Το 1976 η CIE καθιέρωσε ως ομοιόμορφους τους χρωματικούς χώρους CIELUV (L* u* v*) και CIELAB (L* a* b*). Τα δύο χρωματικά συστήματα έχουν μικρή διαφορά μεταξύ τους, παρουσιάζουν εξίσου καλή χρωματική ομοιομορφία και παρέχουν πολύ καλή δυνατότητα για τη μέτρηση της χρωματικής διαφοράς μεταξύ δύο σημείων. Για αυτό το λόγο ένα από τα μέτρα σύγκρισης, που χρησιμοποιήθηκε στο Κεφάλαιο 6 για την αξιολόγηση του αποτελέσματος των αλγορίθμων, ήταν η μέση απόσταση των εικονοστοιχείων των δύο εικόνων, δηλαδή της αρχικής εικόνας και της ανακατασκευασμένης που προέκυψε από την αποσυμπίεση. Και τα δύο χρωματικά συστήματα βασίζονται στην αντιληπτή φωτεινότητα L* καθώς και σε δύο άλλες συνιστώσες χρώματος που καθορίζουν την ανάμειξη κόκκινου-πράσινου και κίτρινου-μπλε, αντίστοιχα. Σύμφωνα με την CIE η φωτεινότητα L* κυμαίνεται μεταξύ 0 και 100 και καθορίζεται ως L = 116 f( Y Y n ) 16 (2.2) όπου f(r) = { r 1 3 r > r + 16/116 r

19 Χρωματικοί Χώροι 17 και Y n η φωτεινότητα του καθαρού άσπρου στο διάγραμμα CIE. Οι συνιστώσες του καθαρού άσπρου στο διάγραμμα CIE μπορούν να προσδιοριστούν από το μετασχηματισμό του καθαρού άσπρου του χώρου RGB που είναι ίσο με [1, 1, 1] στο χώρο ΧΥΖ: X n Y n = Z n Η επίλυση του παραπάνω συστήματος δίνει X n = 0.95, Y n = 1 και Z n = Οι χρωματικές συνιστώσες u και v προσδιορίζονται από τις σχέσεις: ( ) u = 13L 4X X + 15Y + 3Z 4X n X n + 15Y n + 3Z n ( ) v = 13L 9Y X + 15Y + 3Z 9Y n X n + 15Y n + 3Z n Αντίστοιχα για το L* a* b* σύστημα που είναι περισσότερο καθιερωμένο σε σχέση με το L* u* v*, έχουμε: ( ( ) ( )) X Y a = 500 f f X n Y n ( ( ) ( )) Y Z b = 500 f f Y n Z n Στο Σχ. 2.8 παρουσιάζεται η μορφή του χρωματικού χώρου L* a* b*. (αʹ) (βʹ) Σχήμα 2.8: Ο χρωματικός χώρος L*a*b*. Εάν θέλουμε να μετασχηματίσουμε μία εικόνα από το χρωματικό χώρο RGB στο CIELAB, τότε πρέπει να εφαρμόσουμε δύο στάδια. Αρχικά,

20 18 ΑΝΘΡΩΠΙΝΟ ΣΥΣΤΗΜΑ ΟΡΑΣΗΣ & ΧΡΩΜΑΤΙΚΟΙ ΧΩΡΟΙ εφαρμόζουμε ένα γραμμικό μετασχηματισμό από το RGB στο CIEXYZ, και στη συνέχεια εφαρμόζουμε ένα μη γραμμικό μετασχηματισμό από το CIEXYZ στο CIELAB. Στο Σχ. 2.9 δίνονται οι τρείς συνιστώσες μίας έγχρωμης εικόνας στο χρωματικό χώρο L*a*b*. (αʹ) L* (βʹ) a* (γʹ) b* Σχήμα 2.9: Οι χρωματικές συνιστώσες του χρωματικού χώρου L*a*b* για την εικόνα peppers.

21 ΚΕΦΑΛΑΙΟ 3 ΠΡΟΤΥΠΟ ΣΥΜΠΙΕΣΗΣ JPEG Ο αλγόριθμος συμπίεσης JPEG ανήκει στην κατηγορία των τεχνικών συμπίεσης με απώλειες και βασίζεται στη χρήση του 2D DCT (Discrete Cosine Transform). Ο όρος JPEG προέρχεται από τα αρχικά της ομάδας εργασίας Joint Photographic Experts Group που ανέπτυξε και καθιέρωσε το πρότυπο αυτό διεθνώς το Έκτοτε, οι περισσότερες ψηφιακές εικόνες αποθηκεύονται και αποστέλλονται ως αρχεία jpg. Τα αρχεία JPEG είναι κατάλληλα για φωτογραφίες και γενικά για εικόνες συνεχούς τόνου που μπορούν να περιέχουν πολλά χρώματα. Ο αλγόριθμος συμπίεσης που χρησιμοποιείται μπορεί να πετύχει μεγάλη συμπίεση του αρχείου ενώ παράλληλα καταφέρνει να διατηρεί την ποιότητα της εικόνας σε υψηλά επίπεδα. Η συμπίεση στα JPEG αρχεία είναι πολύ αποτελεσματική όπως αναφέρεται στο [1], διότι βασίζεται στο γεγονός ότι στις φωτογραφίες υπάρχει μεγάλη περίσσεια πληροφορίας που οφείλεται στους παρακάτω λόγους. Οι φωτεινότητες των εικόνων συνήθως δεν μεταβάλλονται ευρέως σε μία μικρή περιοχή της εικόνας. Δηλαδή, αν διασπάσουμε την εικόνα σε ένα άθροισμα μικρών ορθογώνιων περιοχών 8 x 8, τότε περιμένουμε ότι στις περισσότερες από αυτές τις περιοχές θα έχουμε μικρή μεταβλητότητα στις φωτεινότητες και συνεπώς περίσσεια πληροφορίας. Ψυχοσωματικά πειράματα δείχνουν ότι οι άνθρωποι είναι πολύ λιγότερο πιθανό να αντιληφθούν την απώλεια πληροφορίας στις υψηλές συχνότητες παρά στις χαμηλές. Συνεπώς, η χωρική περίσσεια πληροφορίας μπορεί να μειωθεί σημαντικά με την κατάλληλη μείωση του περιεχομένου της εικόνας που περιέχει υψηλές συχνότητες. 19

22 20 ΠΡΟΤΥΠΟ ΣΥΜΠΙΕΣΗΣ JPEG Η οπτική οξύτητα είναι πολύ μεγαλύτερη σε γκρι αποχρώσεις από ότι στις έγχρωμες. Για αυτό το λόγο, οι χρωματικές συνιστώσες μπορούν να υποστούν άμεση υποδειγματοληψία πριν την κωδικοποίηση και τη συμπίεση τους. 3.1 Κωδικοποίηση Στο Σχ. 3.2 παρουσιάζονται τα κύρια στάδια κωδικοποίησης που ακολουθεί ο αλγόριθμος JPEG, για πιο εκτενή ανάλυση μπορεί κανείς να ανατρέξει στο [3]. Τα στάδια αυτά αναλυτικά έχουν ως εξής: Στάδιο 1 o : Διάσπαση της εικόνας Σε αυτό το στάδιο, και εφόσον η εικόνα είναι έγχρωμη, διασπάται σύμφωνα με το χρωματικό μοντέλο YCbCr, σε μία εικόνα φωτεινότητας Υ καθώς και στις δύο πρόσθετες χρωματικές συνιστώσες Cb και Cr. Μια τέτοια διάσπαση είναι επιθυμητή, επειδή η πληροφορία που περιέχεται στη γκρι εικόνα συμβάλλει περισσότερο στην αντιληπτή ποιότητα της εικόνας από ότι οι πληροφορίες χρώματος. Αυτό οφείλεται στο γεγονός ότι το ανθρώπινο μάτι χρησιμοποιεί κυρίως πληροφορίες από την κλίμακα του γκρι για τον εντοπισμό των ορίων. Έτσι, από οπτική άποψη, είναι αποδεκτό να απορρίψουμε περισσότερες πληροφορίες χρώματος απ ότι πληροφορίες που αφορούν αποχρώσεις του γκρι. Σύμφωνα με τα παραπάνω, οι δύο χρωματικές συνιστώσες υπόκεινται σε υποδειγματοληψία τύπου 4:2:2 (Σχ. 3.1) σύμφωνα με τη διαδικασία που φαίνεται στο Σχ Σχήμα 3.1: Δειγατοληψία 4:2:2 των συνιστωσών YCbCr κατά τη συμπίεση JPEG. Στάδιο 2 o : Εφαρμογή 2D DCT Στο δεύτερο στάδιο, η εικόνα Υ, καθώς και οι δύο εικόνες που περιέχουν τις χρωματικές πληροφορίες, μετασχηματίζονται στο πεδίο των συχνοτήτων. Αυτή η διαδικασία σε κάθε μια από τις τρείς εικόνες αποτελείται από τη διαίρεση των εικόνων σε τετράγωνα (συνήθως 8 x 8) blocks

23 Κωδικοποίηση 21 Σχήμα 3.2: Το γενικό σχήμα για τη συμπίεση κατά JPEG. και την εφαρμογή στη συνέχεια, σε κάθε ένα από αυτά, του 2D DCT. Πριν τον μετασχηματισμό, για λόγους καλύτερης κβαντοποίησης και συμπίεσης, αφαιρείται από κάθε εικόνα η συνεχής συνιστώσα 2 n 1 = 128 (n αριθμός των bits που είναι συνήθως ίσος με το 8). Έστω λοιπόν F k (u, v), (u, v) = 0, 1,..., 63 οι συντελεστές του 2D DCT που προκύπτουν για το block k. Ο 2D DCT μας δίνει μια αποτελεσματική εκπροσώπηση στο χώρο των συχνοτήτων που ταιριάζει καλύτερα για τη συμπίεση. Συγκεκριμένα, με την εφαρμογή του 2D DCT παράγονται συντελεστές που το πλάτος τους είναι μεγαλύτερο στις χαμηλές συχνότητες και για το λόγο αυτό οι συντελεστές στις συχνότητες αυτές είναι πλέον σημαντικοί. Αντίθετα, οι συντελεστές στις υψηλές συχνότητες έχουν συνήθως χαμηλό πλάτος και δεν είναι τόσο σημαντικοί. Στάδιο 3 o : Κβαντοποίηση Στο τρίτο στάδιο, το κάθε τετραγωνίδιο των 2D DCT συντελεστών υποβάλλεται σε μια διαδικασία κβαντοποιήσης, η οποία έχει ως αποτέλεσμα την απώλεια πληροφορίας. Αυτό φυσικά αφορά τόσο τις γκρι αποχρώσεις όσο και τις πληροφορίες χρώματος. Η κβαντοποίηση γίνεται συνήθως με προκαθορισμένους πίνακες κβαντισμού Q διαστάσεων 8 x 8 ενώ οι τιμές που προκύπτουν ονομάζονται συντελεστές κβαντισμού. Συγκεκριμένα, κάθε συντελεστής του 2D DCT διαιρείται με τον αντίστοιχο συντελεστή του πίνακα κβαντισμού (ή κβάντισης) και το αποτέλεσμα στρογγυλοποιείται. Η διαδικασία περιγράφεται από τη σχέση: ˆF k (u, v) = [ ] Fk (u, v), (u, v) [0, 7] (3.1) Q(u, v)

24 22 ΠΡΟΤΥΠΟ ΣΥΜΠΙΕΣΗΣ JPEG όπου οι ˆF k (u, v) οι νέοι συντελεστές του 2D DCT. Αρχικά, οι πίνακες κβαντισμού έχουν καθοριστεί από το πρότυπο JPEG τόσο για την αγχρωματική όσο και για τις χρωματικές συνιστώσες και έχουν υπολογιστεί σύμφωνα με το μοντέλο της ανθρώπινης αντίληψης. Διαφορετικά επίπεδα συμπίεσης και ποιότητας της εικόνας μπορούν να επιτευχθούν με την κατάλληλη επιλογή των πινάκων κβάντησης. Αυτό επιτρέπει στο χρήστη να αποφασίσει για τα επίπεδα ποιότητας της τελικής συμπιεσμένης εικόνας που κυμαίνονται από 1 έως 100, όπου 1 αντιστοιχεί στην χαμηλότερη ποιότητα και την υψηλότερη συμπίεση, ενώ το 100 δίνει την καλύτερη ποιότητα και το χαμηλότερο λόγο συμπίεσης. Ως αποτέλεσμα, μπορούμε να καθορίσουμε την ποιότητα και το βαθμό συμπίεσης ανάλογα με τις ανάγκες. Τυπικοί πίνακες κβαντισμού για την Υ συνιστώσα για ποιότητα 50% και 90%: Q 50 = Q 90 = και για τις Cb, Cr συνιστώσες για ποιότητα 50%: Q 50 = Όπως μπορούμε να παρατηρήσουμε από τους παραπάνω πίνακες οι μεγάλες τιμές κβάντησης για τους συντελεστές των υψηλών συχνοτήτων προκαλούν μηδενισμό των αντίστοιχων συντελεστών του 2D DCT. Αυτό έχει ως αποτέλεσμα την εξάλειψη της επιρροής των λιγότερο σημαντικών πληροφοριών της εικόνας. Όμως ο μηδενισμός, των συντελεστών έχει ως

25 Κωδικοποίηση 23 αποτέλεσμα ο 8 x 8 πίνακας των συντελεστών του 2D DCT να περιέχει πολλά μηδενικά, γεγονός που εξασφαλίζει σημαντική συμπίεση των δεδομένων. Στάδιο 4 o : Zig-zag δειγματοληψία Στο τέταρτο στάδιο, εφαρμόζεται μια διαδικασία δειγματοληψίας των συντελεστών του 2D DCT τύπου zig-zag και κωδικοποίηση μήκους διαδρομής (Run Length Encoding) σε κάθε block των κβαντισμένων συντελεστών του 2D DCT. Για το σκοπό αυτό χρησιμοποιείται μια διαδρομή zigzag (βλέπε Σχ. 3.3), η οποία καθορίζει τη σειρά των συντελεστών που θα κωδικοποιηθούν και με την οποία γίνεται εκμετάλλευση του πλήθους των διαδοχικών μηδενικών που εμφανίζονται σε κάθε block. Η διαδρομή zigzag προχωρεί από χαμηλής συχνότητας συντελεστές και συνεπώς λόγω της κβαντοποιήσης και της ύπαρξης συντελεστών υψηλής συχνότητας η διαδρομή κάθε κωδικοποιημένου μπλοκ θα περιέχει συνήθως τουλάχιστον ένα μεγάλο αριθμό από συνεχόμενα μηδενικά στο τέλος. Έτσι, το μέγεθος του χώρου που απαιτείται για την αντιπροσώπευση κάθε μπλοκ μπορεί να μειωθεί ουσιαστικά με την αντικατάσταση των συνεχόμενων μηδενικών με τον συμβολισμό (0, n), όπου n το πλήθος των μηδενικών. Σχήμα 3.3: Διαδρομή zig-zag. Στάδιο 5 o : Κωδικοποιήση και συμπίεση Στο πέμπτο και τελευταίο στάδιο, τα δεδομένα που προκύπτουν μπορεί να συμπιεστούν περαιτέρω με μια χωρίς απώλειες κωδικοποίηση

26 24 ΠΡΟΤΥΠΟ ΣΥΜΠΙΕΣΗΣ JPEG όπως είναι η Huffman ή η αριθμητική κωδικοποίηση. Σημειώνεται ότι οι DC συντελεστές (0,0) μπορούν να συμπιεστούν με τη βοήθεια DPCM ως η διαφορά των DC τιμών δύο διαδοχικών blocks. Τα συμπιεσμένα δεδομένα που προκύπτουν μπορούν στη συνέχεια να αποθηκευτούν σε ένα μέσο αποθήκευσης και να αναπαραχθούν με μια αντίστροφη διαδικασία αποκωδικοποίησης. 3.2 Αποκωδικοποίηση Κατά την διαδικασία αποκωδικοποιήσης όλα τα παραπάνω στάδια εκτελούνται αντίστροφα. Η όλη διαδικασία αντιστροφής φαίνεται διαγραμματικά στο σχήμα 3.4. Συγκεκριμένα έχουμε τα ακόλουθα στάδια: Σχήμα 3.4: Διαδικασιά JPEG αποκωδικοποίησης. Στάδιο 1 o : Απoκωδικοποιήση Αρχικά, για κάθε επιμέρους 8 x 8 block, γίνεται αποκωδικοποίηση των συντελεστών και λαμβάνοντας υπόψη ότι χρησιμοποιήθηκε διαδρομή zig-zag, ανακτώνται οι συντελεστές ˆF k (u, v) του 2D DCT. Στάδιο 2 o : Αποκβαντοποίηση Τους συντελεστές ˆF k (u, v) τους πολλαπλαζιάζουμε με τους πίνακες κβαντισμού και έτσι ανακτούμε τους συντελεστές του 2D DCT. Δηλαδή, F k (u, v) = ˆF k (u, v) Q(u, v) (3.2)

27 Αποκωδικοποίηση 25 Στάδιο 3 o : Εφαρμογή 2D IDCT 3.3. Σε κάθε επιμέρους τετραγωνίδιο εφαρμόζουμε τον 2D ΙDCT Εξ. ˆf k (m, n) = 2D IDCT [F k (u, v)], (m, n) [0, 7] (3.3) Στη συνέχεια στις τιμες ˆf k (m, n) προστίθεται η μετατόπιση 2 n 1 = 128 οπότε, f k (m, n) = ˆf k (m, n) + 128, (m, n) [0, 7] (3.4) Στάδιο 4 o : Υπερδειγματοληψία στις χρωματικές συνιστώσες Προκειμένου οι χρωματικές συνιστώσες Cb και Cr να αποκτήσουν τις αρχικές τους διαστάσεις πρέπει να κάνουμε υπερδειγματοληψία στους αντίστοιχους πίνακες f(m,n). Η υπερδειγματοληψία μπορεί να γίνει με διάφορους τρόπους με απλούστερο αυτόν της παρεμβολής. Στάδιο 5 o : Συνένωση των επιμέρους blocks και ανακατασκευή της αρχικής εικόνας Στο τελικό στάδιο γίνεται αρχικά κατάλληλη συνένωση των επιμέρους τετραγωνιδίων και σχηματίζονται οι εικόνες Y, Cb και Cr και στη συνέχεια η τελική έγχρωμη εικόνα. Πρέπει να σημειώσουμε ότι η συμπίεση με JPEG εκτός του ότι είναι μια συμπίεση με απώλειες, προξενεί και παραμορφώσεις στην εικόνα. Για παράδειγμα, ο κατακερματισμός της εικόνας σε επιμέρους blocks δημιουργεί κατά την ανασύνθεση προβλήματα στα όρια μεταξύ των blocks. Παράδειγμα Σε αυτό το παράδειγμα παρουσιάζουμε μία εικόνα (Σχ. 3.5) που έχει συμπιεστεί με το πρότυπο JPEG με διαφορετικούς πίνακες κβάντισης. Όπως παρατηρούμε στο Σχ. 3.6, η ποιότητα της εικόνας αλλάζει για διαφορετικούς πίνακες κβάντισης. Επίσης, παρατηρούμε ότι στην εικόνα με χαμηλή ποιότητα (10%) εμφανίζεται blocking effect.

28 26 ΠΡΟΤΥΠΟ ΣΥΜΠΙΕΣΗΣ JPEG Σχήμα 3.5: Αρχική εικόνα (Lena).

29 Αποκωδικοποίηση 27 (αʹ) Ποιότητα 90% (βʹ) Ποιότητα 50% (γʹ) Ποιότητα 20% (δʹ) Ποιότητα 10% Σχήμα 3.6: Συμπίεση εικόνας με διαφορετικούς πίνακες κβάντισης. Επιπλέον, πέρα από το οπτικό αποτέλεσμα, για να ποσοτικοποιήσουμε την ποιότητα της συμπιεσμένης εικόνας αριθμητικά, στο Σχήμα 3.7 απεικονίζουμε το PSNR (Peak Signal to Noise Ratio), το οποίο μας δίνει σε decibels, το λόγο του μέγιστου σήματος προς θόρυβο μεταξύ δύο εικόνων. Γενικότερα όσο μεγαλύτερο το PSNR τόσο λιγότερο θόρυβο έχουμε στην εικόνα.

30 28 ΠΡΟΤΥΠΟ ΣΥΜΠΙΕΣΗΣ JPEG Σχήμα 3.7: PSNR της εικόνας Lena.

31 ΚΕΦΑΛΑΙΟ 4 ΕΙΚΟΝΕΣ HDR Μία HDR εικόνα από τη στιγμή που θα δημιουργηθεί, υπάρχει ανάγκη να αποθηκευτεί, ώστε έπειτα να είναι δυνατή η επεξεργασία ή η μετάδοσή της. Το κάθε εικονοστοιχείο μιας ασυμπίεστης HDR εικόνας αναπαρίσταται από τρεις πραγματικούς αριθμούς των 32 bits, εάν υποθέσουμε ότι πρόκειται για μία έγχρωμη εικόνα RGB. Αυτό σημαίνει ότι χρειαζόμαστε 12 bytes μνήμης για κάθε εικονοστοιχείο, και για μία εικόνα υψηλής ανάλυσης (HD) με διαστάσεις 1920 x 1080 χρειάζεται σχεδόν 24 MB. Το μέγεθος της μνήμης που χρειάζεται η HDR είναι πολύ μεγαλύτερο από το μέγεθος της ισοδύναμης LDR εικόνας χωρίς συμπίεση, η οποία χρειάζεται περίπου 6 MB για να αποθηκευτεί χωρίς συμπίεση. Λόγω των παραπάνω, χρειάζεται να αναπτυχθούν τεχνικές που να μειώνουν το μέγεθος της μνήμης που καταλαμβάνουν οι HDR εικόνες. Αρχικά, αναπτύχθηκαν τεχνικές αποθήκευσης που αφορούσαν την συμπαγή αναπαράσταση των αριθμών κινητής υποδιαστολής. Στη συνέχεια, αναπτύχθηκαν και μέθοδοι συμπίεσης, οι οποίες καταφέρνουν ακόμα μεγαλύτερη μείωση της καταλαμβανόμενης μνήμης, και κάποιες από τις οποίες θα μελετήσουμε στο επόμενο κεφάλαιο. Τα εικονοστοιχεία των HDR εικόνων συνήθως αποθηκεύονται χρησιμοποιώντας αριθμούς κινητής υποδιαστολής. Οι ακέραιοι αριθμοί δεν ενδείκνυνται για την αποθήκευση των συγκεκριμένων εικόνων. Για παράδειγμα, ένας 32-bit ακέραιος αριθμός μπορεί να αναπαραστήσει τιμές στο διάστημα [0, ], το οποίο φαίνεται να είναι αρκετό για την αναπαράσταση του περιεχόμενου μίας HDR εικόνας. Ωστόσο, δεν είναι αρκετό για καλύψει ολόκληρο το εύρος το οποίο βλέπει το ανθρώπινο μάτι. Επίσης, δεν είναι κατάλληλο για την απλή επεξεργασία της εικόνας, καθώς με απλές 29

32 30 ΕΙΚΟΝΕΣ HDR πράξεις πρόσθεσης ή πολλαπλασιασμού, η ακρίβεια μπορεί να μειωθεί και επιπλέον μπορεί να συμβεί υπερχείλιση. Στο βιβλίο του E. Reinhard [4] και στην αναφορά του G. Ward [5] βρίσκουμε τις πιο διαδεδομένες μορφές αποθήκευσης των HDR εικόνων. Στη συνέχεια θα περιγράψουμε κάποιες από αυτές. 4.1 RGBE κωδικοποιήση Χρησιμοποιώντας αριθμούς κινητής υποδιαστολής απλής ακρίβειας, μια εικόνα χρειάζεται 96 bpp. Ο Ward πρότεινε την πρώτη λύση σε αυτό το πρόβλημα [6], την RGBE κωδικοποίηση. Αυτή η μέθοδος χρησιμοποιεί από ένα byte για το κόκκινο, πράσινο και μπλέ κανάλι και ένα επιπλέον byte για ένα κοινό εκθετικό. Η συγκεκριμένη μέθοδος θεωρεί ότι τα εκθετικά των τριών χρωμάτων, δεν διαφέρουν πάρα πολύ και για αυτό το λόγο αποθηκεύεται μόνο ένα εκθετικό και για τα τρία χρώματα. Η κωδικοποίηση της συγκεκριμένης μεθόδου ορίζεται ως εξής: R m = E = Log 2 (max(r, G, B)) (4.1) 256Rm 2 E 128, G m = 256Gm 2 E 128, B m = 256Bm 2 E 128 (4.2) (4.3) Υπάρχει και μία επιπλέον ειδική περίπτωση, όταν το max(r, G, B) είναι μικρότερο από 10 38, το οποίο γράφεται ως (0,0,0,0) και αποκωδικοποιείται ως (0,0,0). Για την κανονική αποκωδικοποιήση έχουμε: R w = R m E 128, G w = G m E 128, B w = B m E (4.4) Οι αριθμοί του δεκαδικού μέρους (mantissa) του κόκκινου R m, πράσινου G m και μπλε B m καναλιού καθώς και το εκθετικό Ε αποθηκεύονται ως ακέραιοι αριθμοί χωρίς πρόσημο (8-bit), επιτυγχάνοντας την τελική μορφή των 32 bpp. Στο Σχ. 4.1 φαίνεται γραφικά η κατανομή των bits. Επιπλέον, η αναπαράσταση των αριθμών κινητής υποδιαστολής σε μορφή RGBE έχει απόλυτη ακρίβεια 1% και καλύπτει 76 τάξεις μεγέθους. Σχήμα 4.1: Κατανομή bits στην κωδικοποίηση RGBE. Παρόλο που ο RGBE χρωματικός χώρος είναι αρκετά βελτιωμένος σε σχέση με άλλους, και σε ακρίβεια και σε κάλυψη δυναμικής περιοχής, έχει κάποια σημαντικά μειονεκτήματα. Πρώτον, η δυναμική περιοχή

33 RGBE κωδικοποιήση 31 που καλύπτει είναι πολύ μεγαλύτερη από ότι μπορεί κάποιος να χρησιμοποιήσει για την χρωματική αναπαράσταση μίας εικόνας. Ο ήλιος έχει περίπου φωτεινότητα 10 8 cd/m 2 και η κάτω πλευρά μιας πέτρας σε νύχτα δίχως φεγγάρι είναι περίπου 10 6 cd/m 2. Αυτό έχει ως αποτέλεσμα οι 62 τάξης μεγέθους που παρέχονται από την RGBE μορφή να μην χρησιμοποιούνται. Οπότε, θα ήταν καλύτερα να είχαμε μία μορφοποίηση, η οποία καλύπτει μικρότερη δυναμική περιοχή, αλλά να έχει μεγαλύτερη ακρίβεια χρησιμοποιώντας τον ίδιο αριθμό bits. Δεύτερον, το πρόβλημα σε κάθε RGB αναπαράσταση, όπως και στην RGBE, είναι ότι χρησιμοποιεί αυστηρά μόνο θετικούς αριθμούς, με αποτέλεσμα να μην μπορεί να καλύψει όλη την ορατή γκάμα χρωμάτων, χρησιμοποιώντας οποιαδήποτε συνδυασμό πραγματικών βασικών χρωμάτων. Αυτό μπορεί να λυθεί εάν γίνει μετατροπή της εικόνας στον χρωματικό χώρο XYZ πριν την κωδικοποίηση. Σε αυτή την περίπτωση η κωδικοποίηση ονομάζεται XYZE. Τέλος, η κατανομή του σφάλματος δεν είναι αντιληπτά ομοιόμορφη σε αυτήν την κωδικοποίηση. Πιο συγκεκριμένα, το βήμα μπορεί να γίνει αντιληπτό σε περιοχές κορεσμένου μπλε και γαλάζιου όπου το πράσινο δεκαδικό μέρος έχει τιμή κάτω από 20 περίπου Παράδειγμα χρήσης RGBE κωδικοποίησης Για να είμαστε αντικειμενικοί με την αξιολόγηση της RGBE κωδικοποίησης θα χρησιμοποιήσουμε το αριθμητικό κριτήριο CIE ΔΕ*, το οποίο είναι μία γνωστή μετρική για την ποσοτικοποίηση της χρωματικής διαφοράς και χρησιμοποιεί τον χρωματικό χώρο L*a*b*. Στο συγκεκριμένο παράδειγμα χρησιμοποιήσαμε την εικόνα Memorial Church Σχ. 4.2α η οποία χρησιμοποιείται ευρέως από πολλούς ερευνητές που ασχολούνται με θέματα αποθήκευσης και συμπίεσης των HDR εικόνων. Το σφάλμα απεικονίζεται στο Σχ. 4.2β, στο οποίο βλέπουμε μία εικόνα η οποία έχει χρωματιστεί ανάλογα με το σφάλμα ΔΕ*. Συγκεκριμένα, για τιμή ΔΕ* ίση με 1 αντιστοιχεί στο όριο το οποίο το ανθρώπινο μάτι μπορεί να αντιληφθεί τη διαφορά. Όπως όμως παρατηρούμε στο σχήμα το σφάλμα δεν υπερβαίνει αυτήν την τιμή, άρα η RGBE κωδικοποιήσης είναι κατάλληλη για αποθήκευση των HDR εικόνων, καθώς το ανθρώπινο μάτι δεν μπορεί να αντιληφθεί τη διαφορά μεταξύ της αρχικής εικόνας και της κωδικοποιημένης. Η εξίσωση που δίνει το ΔΕ* είναι: E = (L1 L2) 2 + (a1 a2) 2 + (b1 b2) 2 (4.5)

34 32 ΕΙΚΟΝΕΣ HDR (αʹ) (βʹ) Σχήμα 4.2: Χρωματική απεικόνιση σφάλματος για την κωδικοποιήση RGBE.

35 LogLuv κωδικοποίηση LogLuv κωδικοποίηση Μία άλλη μορφή αποθήκευσης για τις HDR εικόνες, που προτάθηκε επίσης από τον Ward [7], είναι η LogLuv η οποία χρησιμοποιεί 24 ή 32 bits. Σε αυτήν τη μορφή αποθήκευσης χρησιμοποιούνται περισσότερα bits για την αποθήκευση της φωτεινότητας, που εκφράζεται σε λογαριθμική κλίμακα, και λιγότερα bits για τα χρωματικά κανάλια, που εκφράζονται σε γραμμική κλίμακα. Αφού μετατρέψουμε αρχικά την εικόνα στον χρωματικό χώρο Luv, η μορφή αποθήκευσης LogLuv που χρησιμοποιεί 32 bpp, 1 bit για το πρόσημο της φωτεινότητας, 15 bits για την αποθήκευση της φωτεινότητας και 16 bit για την αποθήκευση της χρωματικής πληροφορίας (βλέπε Σχήμα 4.3), ορίζεται ως εξής: L15 = 256(log 2 Y w + 64), u 8 = 410u, v 8 = 410v (4.6) και η αποκωδικοποίηση ως Y = 2 Le+0.5/256 64, u u =, v v = (4.7) όπου u και v είναι η χρωματικές συνιστώσες και Y w η φωτεινότητα της HDR εικόνας. Σχήμα 4.3: Κατανομή των bits για την LogLuv-32bpp κωδικοποίηση. Αντίστοιχα, η μορφή αποθήκευσης LogLuv που χρησιμοποιεί 24 bits εκφράζεται από τη σχέση 4.6, αλλάζοντας μόνο της σταθερές σύμφωνα με την κατανομή των bits της συγκεκριμένης μορφής. Πιο συγκεκριμένα 10 bits χρησιμοποιούνται για την αποθήκευση της φωτεινότητας και 14 bits για την αποθήκευση της χρωματικής πληροφορίας. Η κωδικοποίηση της φωτεινότητας ορίζεται ως εξής: και η αποκωδικοποίηση ως L10 = 64(log 2 Y w + 12) (4.8) Y = 2 Le+0.5/64 12 (4.9) Τα 14 bit που αναπαριστούν την χρωματική πληροφορία, βασίζονται σε ένα διάγραμμα τιμών του CIE(u, v) όπως φαίνεται στο κάτω μέρος στο Σχήμα 4.4.

36 34 ΕΙΚΟΝΕΣ HDR Σχήμα 4.4: Κατανομή των bits για την LogLuv-24bpp κωδικοποίηση και περιοχή χρωματικής πληροφορίας στο CIE(u,v). Η παραπάνω μορφή αποθήκευσης των HDR εικόνων καλύπτει διαφορετική δυναμική περιοχή ανάλογα με τον αριθμό των εικονοστοιχείων που χρησιμοποιήθηκαν. Πιο συγκεκριμένα, ενώ η μέθοδος που χρησιμοποιεί 32 bpp καλύπτει 38 τάξεις μεγέθους, η αντίστοιχη μέθοδο των 24 bpp καλύπτει μόνο 4.8 τάξης μεγέθους. Συνήθως η HDR εικόνες έχουν δυναμική περιοχή που ξεπερνά τις 4.8 τάξεις μεγέθους οπότε η LogLuv των 24 bpp πιθανότατα δεν θα μπορεί να καλύψει ολόκληρο το εύρος της εικόνας. Το πλεονέκτημα αυτής της μεθόδου σε σχέση με την RGBE είναι ότι υπάρχει η δυνατότητα να γίνει επεξεργασία της φωτεινότητας και της χρωματικής πληροφορίας ξεχωριστά που είναι χρήσιμο για διάφορες εφαρμογές όπως η διαδικασία tone mapping, επεξεργασία χρώματος κ.τ.λ Παράδειγμα χρήσης LogLuv 32bpp κωδικοποίησης Όπως και στην παράγραφο 4.1.1, ομοίως και εδώ θα εξετάσουμε την ποιότητα της LogLuv 32bpp κωδικοποίησης. Όπως βλέπουμε στο Σχ.?? παρατηρούμε το σφάλμα παραμένει επίσης σε χαμηλά επίπεδα, ενώ τις μεγάλυτερες τιμές τις παρουσιάζει σε εικονοστοιχεία όπου η φωτεινότητα είναι μεγάλη.χρησιμοποιήθηκε η Memorial Church και σε αυτό το παράδειγμα. Στη συγκεκριμένη εικόνα παρατηρούμε ότι το σφάλμα ξεπερνά το 1 σε κάποια εικονοστοιχεία στο αριστερό παράθυρο όπου έχουμε και τις υψιλότερες τιμές στην φωτεινότητα. Όπως βλεπουμε στο ίδιο σχήμα το σφάλμα είναι χαμηλό οπότε δεν γίνεται αντιληπτό από το ανθρώπινο μάτι, καθιστόντας αυτήν την κωδικοποιήση κατάλληλη για την αποθήκευση των HDR εικόνων.

37 LogLuv κωδικοποίηση 35 (αʹ) (βʹ) Σχήμα 4.5: Χρωματική απεικόνιση σφάλματος για την κωδικοποιήση LogLuv 32 bpp.

38 36 ΕΙΚΟΝΕΣ HDR 4.3 OpenEXR κωδικοποίηση To 2002, η εταιρία Industrial Light and Magic (ILM) δημοσιοποίησε πηγαίο κώδικα σε C++ για να διαβάζει και να αποθηκεύει σε μορφή OpenEXR, ο οποίος χρησιμοποιούνταν από την εταιρία για την απεικόνιση και σύνθεση ειδικών εφέ. Αυτή η μορφή αποθήκευσης χρησιμοποιεί για την κωδικοποίηση κάθε χρώματος έναν αριθμό κινητής υποδιαστολής μισής ακρίβειας, το οποίο είναι η εφαρμογή του προτύπου IEEE 754 για την αναπαράσταση των αριθμών κινητής υποδιαστολής και το οποίο ορίζεται ως εξής: 0 if(m = 0 E = 0) ( 1) S 2 E 15 + M 1024 if(e = 0) H = ( 1) S 2 E 15 ( 1 + M ) 1024 if(1 E 30) if(e = 31 M = 0) NaN if(e = 31 M > 0) Όπου S είναι το πρόσημο που χρειάζεται 1 bit, Μ είναι το mantissa, που χριάζεται 10 bits και Ε είναι το εκθετικό που καταλαμβάνει 5 bits, η κατανομή των bits φαίνεται και στο Σχήμα 4.6. Επειδή η παραπάνω κωδικοποίηση αφορά κάθε χρωματικό κανάλι και για τα τρία χρωματικά κανάλια χρειάζονται 48 bpp. Επίσης, επειδή μπορεί να αναπαρασταθούν τόσο αρνητικοί όσο και θετικοί αριθμοί, η συκγεκριμένη μορφοποίηση καλύπτει όλο το ορατό φάσμα και μπορεί να καλύψει 10.7 τάξεις μεγέθους με σχετική ακρίβεια 0.1%. Εφόσον οι άνθρωποι δεν μπορούν να δουν ταυτόχρονα πάνω από 4 τάξης μεγέθους, η OpenEXR αποτελεί καλή υποψήφια μορφή για την αποθήκευση των HDR εικόνων. Το κύριο πλεονέκτημα αυτής της μορφής αποθήκευσης των HDR εικόνων είναι ότι έχει υλοποιηθεί σε hardware γραφικών και επιτρέπει σε εφαρμογές πραγματικού χρόνου να χρησιμοποιούν τις HDR εικόνες. Επίσης, η συγκεκριμένη μορφή θεωρείται de facto πρότυπο για την κινηματογραφική βιομηχανία. Σχήμα 4.6: Kατανομή των bits για την OpenEXR κωδικοποίηση.

39 ΚΕΦΑΛΑΙΟ 5 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ Η επιπλέον πληροφορία που εμπεριέχεται στις εικόνες HDR προκαλεί τη δημιουργία μεγάλων αρχείων. Η αναπαράσταση αυτών των αρχείων κινητής υποδιαστολής, μπορεί να πετύχει μείωση από 96 bpp σε 32/24 bpp (π.χ. RGBE, LogLuv, etc.). Παρ όλα αυτά, η συγκεκριμένη μείωση μνήμης δεν είναι αρκετή και πρακτική για να διανέμεται εύκολα HDR υλικό ή για αποθήκευση μεγάλων βάσεων δεδομένων από εικόνες ή video. Για παράδειγμα, για ένα λεπτό υψηλής ανάλυσης video ( ) με 24 fps κωδικοποιημένο σε μορφή 24 bpp LogLuv χρειάζονται περίπου 11 GB μνήμης, δηλαδή απαιτείται τεράστιος χώρος μνήμης μόνο για ένα λεπτό video. Για αυτό το λόγο είναι σημαντικό να βρεθούν αποτελεσματικοί αλγόριθμοι συμπίεσης που θα κάνουν την αποθήκευση του HDR υλικού πιο πρακτική. Η κύρια στρατηγική είναι να τροποποιήσουμε ή/και να προσαρμόσουμε τους σύγχρονους τρόπους συμπίεσης, όπως το JPEG, ώστε να συμπιέσουμε τις εικόνες HDR. Αρχικά, η κύρια μέθοδος για την συμπίεση HDR εικόνων αποσκοπεί στη μείωση της δυναμικής περιοχής τους χρησιμοποιώντας Tone Mapping τεχνικές και στην συνέχεια στην κωδικοποίηση αυτών με τις κλασσικές μεθόδους κωδικοποίησης (π.χ. JPEG), όπως φαίνεται και στο Σχήμα 5.1. Συνεπώς και κλασσικοί τρόποι αποκρυπτογράφησης χρησιμοποιούνται για την ανάκτηση των εικόνων. Η επιπλέον πληροφορία αποθηκεύεται για να δώσει την δυνατότητα ανάκτησης των tone mapped εικόνων καθώς 37

40 38 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ και για την βελτίωση της ποιότητας. Αυτή η επιπλέον πληροφορία μπορεί να περιέχει: Tone mapping παραμέτρους: Αυτές είναι οι παράμετροι της συνάρτησης μείωσης της δυναμικής περιοχής (που έχει μία αναλυτική αντίστροφη συνάρτηση) και χρειάζονται για να ανακτηθεί το σήμα. Spatial inverse function: Αυτές είναι οι αντίστροφες tone mapping συναρτήσεις που αποθηκεύονται σε κάθε pixel. Αυτές οι συναρτήσεις μπορούν να ληφθούν διαιρώντας την φωτεινότητα της HDR εικόνας με την φωτεινότητα της Τone Μapped εικόνας. Residuals: Αυτές συνήθως είναι οι διαφορές μεταξύ των αρχικών HDR τιμών και των τιμών που λαμβάνουμε κατά την ανακατασκευή των κωδικοποιημένων εικόνων μετά την κβάντιση. Αυτές οι διαφορές αυξάνουν κατά πολύ την ποιότητα της τελικής εικόνας επειδή η κβάντιση επιφέρει τα ομώνυμα σφάλματα. Αυτά τα σφάλματα μπορούν να έχουν τη μορφή θορύβου ενίσχυση blocking και ringing, banding artifacts, κ.τ.λ. Η βασική διαφορά μεταξύ των διαφόρων μεθόδων συμπίεσης έγκειται στην επιλογή του κωδικοποιητή των LDR εικόνων, τον τρόπο με τον οποίο η συνάρτηση μείωσης τις δυναμικής περιοχής, καθώς και το είδος των δεδομένων που θα αποθηκευτούν για την πλήρη ανάκτηση της HDR εικόνας. Σχήμα 5.1: Το γενικό σχήμα για τη συμπίεση των HDR εικόνων. 5.1 ΣΥΜΠΙΕΣΗ JPEG-HDR Η JPEG-HDR συμπίεση είναι μία επέκταση της μεθόδου συμπίεσης JPEG στις HDR εικόνες από τους Ward & Simmons [8] [9].Το γενικό σχήμα της μεθόδου αυτής είναι σχετικά απλό. Αρχικά μία tone mapped εικόνα παράγεται από την αρχική HDR εικόνα, η οποία συνοδεύεται από κάποιες επιπλέον πληροφορίες και παραμέτρους που συμβάλουν στην ανάκτηση της αρχικής εικόνας και οι οποίες αποθηκεύεται ως ένα κανάλι (subband) μιας κλασσικής output-referred εικόνας. Αυτό το κανάλι περιέχει μια συμπιεσμένη Ratio Image (RI) και μία χωρική συνάρτηση η οποία όταν πολλα-

41 ΣΥΜΠΙΕΣΗ JPEG-HDR 39 πλασιαστεί με την Τone Mapped εικόνα έχουμε ως αποτέλεσμα την αρχική εικόνα. Επίσης, η Τone Mapped εικόνα συμπιέζεται και στη συνέχεια τα δύο αρχεία ενώνονται σε ένα αρχείο JPEG. Σε εφαρμογές οι οποίες δεν έχουν γνώση ότι στο αρχείο JPEG υπάρχουν δύο εικόνες, θα αναγνωρίζουν μόνο την tone mapped εικόνα και θα αγνοούν την RI. Αλλά σε εφαρμογές που έχουν HDR-enable λογισμικό η HDR εικόνα θα είναι διαθέσιμη χρησιμοποιώντας την επιπλέον πληροφορία που είναι στο subband. Δηλαδή σε αδρές γραμμές, η βασική ιδέα είναι η δημιουργία μιας tone mapped εικόνας από την αντίστοιχη HDR εικόνα και στην συνέχεια η κωδικοποίηση της με την μέθοδο JPEG. Στη συνέχεια πραγματοποιείται η κωδικοποιήση της επιπλέον πληροφορίας (Ratio Image) με την ίδια μέθοδο. Κατά την αποκωδικοποιήση, αποσυμπιέζονται η βασική εικόνα και η RI και με κατάλληλο συνδυασμό αυτών επιτυγχάνεται η ανάκτηση της αρχικής εικόνας υψηλής δυναμικής περιοχής με κάποιο μικρό σφάλμα που συνήθως δεν είναι παρατηρήσιμο από το ανθρώπινο μάτι Μέθοδος Στο Σχήμα 5.2 φαίνεται η γενική εικόνα του αλγορίθμου κωδικοποιήσης. Υπάρχουν δύο εκδοχές της εικόνας: μία scene-referred HDR εικόνα και μία output-referred εικόνα, δηλαδή η Tone Mapped εικόνα. Το στάδιο κωδικοποιήσης παίρνει αυτές τις εικόνες και παράγει μία σύνθετη η οποία αποτελείται από μία εν δυνάμει τροποποιημένη (ή μη) εκδοχή της tone-mapped εικόνας και μία εικόνα, που ονομάζεται Ratio Image, η οποία περιέχει αρκετή πληροφορία για να αναπαραχθεί μία σχεδόν πανομοιότυπη με την αρχική HDR εικόνα. Στο επόμενο στάδιο, πραγματοποιείται συμπίεση αυτής της πληροφορίας και ως αποτέλεσμα έχουμε μία Tone Mapped εικόνα ως τη βασική JPEG εικόνα και ένα subband που αποθηκεύεται σαν metadata στους Application Markers του προτύπου JPEG. Ουσιαστικά, αυτό που θέλουμε να πετύχουμε είναι η μέγιστη δυνατή συμπίεση. Για αυτό το σκοπό αξιοποιούμε τους Applications Markers που παρέχει το πρότυπο JPEG για κάθε εικόνα. Οι Applications Markers είναι ένας επιπλέον αποθηκευτικός χώρος στον οποίο μπορούν να αποθηκευτούν πληροφορίες για την συμπιεσμένη εικόνα, όπως για παράδειγμα παράμετροι της ψηφιακής φωτογραφικής μηχανής με την οποία τραβήχτηκε, τοποθεσία κτλ. Ωστόσο στη συγκεκριμένη εφαρμογή αυτός ο χώρος θα χρησιμοποιηθεί για την αποθήκευση των επιπλέον πληροφορίων, δηλαδή την RI και τις απαραίτητες παραμέτρους, ώστε να μην χρειαστεί να σπαταλήσουμε επιπλέον μνήμη για την αποθήκευση τους.

42 40 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ Σχήμα 5.2: Αλγόριθμος κωδικοποίησης HDR εικόνας με τη μέθοδο JPEG- HDR. Στο Σχήμα 5.3 φαίνονται οι δύο πιθανοί τρόποι αποκωδικοποίησης. Ο ένας τρόπος είναι να αποσυμπιεστούν η Τone Μapped εικόνα και η RI που βρίσκεται στο subband και στη συνέχεια αφού αποκωδικοποιηθούν να ανακτηθεί η HDR εικόνα. Ενώ στον άλλο τρόπο, εφαρμογές που δεν έχουν το κατάλληλο λογισμικό θα αγνοούν τις πληροφορίες του subband, παράγοντας έτσι μόνο την βασική tone mapped εικόνα. Σχήμα 5.3: Αλγόριθμος αποκωδικοποίησης HDR εικόνας με τη μέθοδο JPEG-HDR.

43 ΣΥΜΠΙΕΣΗ JPEG-HDR H Ratio Image Η πιο απλή υλοποιήση αυτής της μεθόδου περιλαμβάνει την δημιουργία της RI στον κωδικοποιητή διαιρώντας την φωτεινότητα της αρχικής HDR εικόνας με τη φωτεινότητα της παραγόμενης Τone Μapped εικόνας. Το αποτέλεσμα είναι μία 8-bit, ασπρόμαυρη εικόνα. Η συγκεκριμένη εικόνα αφού λογαριθμιστεί και συμπιεστεί περνά στον αποκωδικοποιητή σαν metadata της βασικής εικόνας. Κατά την αποκωδικοποίηση, ακολουθείται η αντίστροφη διαδικασία και με κατάλληλο συνδυασμό με την βασική εικόνα επιτυγχάνεται η ανάκτηση της αρχικής HDR εικόνας. Η παραγωγή της RI παίζει πολύ σημαντικό ρόλο στο αποτέλεσμα του αλγορίθμου και είναι σημαντική η ανάλυση του κάθε βήματος παραγωγή της. Όπως, αναφέρθηκε και προηγούμενως, το πρότυπο συμπίεσης JPEG/ JFIF προσφέρει ένα περιορισμένο κανάλι (subband), που ονομάζεται Application Marker και μπορούμε εκεί να αποθηκεύουμε επιπλέον πληροφορίες. Βέβαια, ο όγκος πληροφοριών που μπορούμε να αποθηκεύσουμε είναι περιορισμένος. Συγκεκριμένα σε έναν Application Marker μπορεί κανείς να αποθηκεύσει δεδομένα που να μην υπερβαίνουν τα 64 KB, ανεξάρτητα από το μέγεθος της εικόνας. Η πληροφορία που θα αποθηκευτεί στο subband είναι απαραίτητη για την ανάκτηση της αρχικής HDR εικόνας και ο υπολογισμός της βασίζεται στις ιδιότητες που έχουν οι TMOs. Υποθέτουμε ότι οι TMO έχουν τις παρακάτω ιδιότητες: A. H αρχική εικόνα HDR έχει μετατραπεί σε μία 24-bit εικόνα με ομαλή μείωση της δυναμικής της περιοχής. B. H απόχρωση συντηρείται σε κάθε pixel και οι ήπιες αλλαγές μπορούν να περιγραφούν από μία αντίστροφη χωρική συνάρτηση. Οι περισσότεροι ΤΜΟs για τις HDR εικόνες έχουν την πρώτη ιδιότητα σαν στόχο, οπότε αυτό δεν αποτελεί πρόβλημα. Εάν ωστόσο αποτελεί πρόβλημα μπορούμε να παρακάμψουμε τον TMO αντικαθιστώντας τοπικά την τιμή κάθε εικονοστοιχείου με μία άλλη τιμή που να είναι στο επιθυμητό εύρος. Ομοίως, μπορούμε να πετύχουμε και την δεύτερη ιδιότητα υλοποιώντας μία μέθοδο αποκορεσμού, την οποία θα αναφέρουμε στη συνέχεια εκτενέστερα, χρησιμοποιώντας τον TMOs σαν οδηγό μόνο για τις μεταβολές στην φωτεινότητα. Δεδομένων των παραπάνω, η ratio image μπορεί να υπολογιστεί διαιρώντας την φωτεινότητα της αρχικής HDR εικόνας με την φωτεινότητα της tone mapped εικόνας: RI(x, y) = L(HDR(x, y)) L(T M(x, y)) (5.1) Η RI κωδικοποιείται λογαριθμικά, συμπιέζεται κατά JPEG ως μία ασπρόμαυρη εικόνα των 8-bit και στέλνεται μαζί με τις παραμέτρους της μεθόδου αποκορεσμού που θα χρειαστούν για την ανάκτηση της χρωματικής πληροφορίας της αρχικής εικόνας. Η Τone Μapped εικόνα τότε κωδικοποιείται ως η βασική εικόνα και τροποποιείται όπως είναι απαραίτητο

44 42 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ ώστε να αποφευχθεί η ύπαρξη τιμών εκτός της επιτρεπτής περιοχής. Στα παρακάτω σχήματα Σχ.5.4 και στο Σχ. 5.5 φαίνονται οι παραγόμενες RI. (αʹ) (βʹ) Σχήμα 5.4: Η εικόνα Memorial Church tone mapped με του Reinhard s ΤΜΟ (αριστερά) και η αντίστοιχη RI εικόνα (δεξιά). (αʹ) (βʹ) Σχήμα 5.5: Η εικόνα Dyrham Church tone mapped με τον Reinhard s ΤΜΟ (αριστερά) και η αντίστοιχη RI εικόνα (δεξιά).

45 ΣΥΜΠΙΕΣΗ JPEG-HDR Συμπίεση και δειγματοληψία της Ratio Image Είναι προφανές ότι δεν μπορούμε να φτάσουμε το στόχο των 64 KB των metadata χωρίς να συμπιέσουμε την RI. Συνεπώς, για να πετύχουμε το στόχο μας όπως προαναφέραμε θα συμπιέσουμε και την εικόνα RI με το πρότυπο JPEG. Ωστόσο, η συμπίεση της δεν εξασφαλίζει ότι το συμπιεσμένο αρχείο θα είναι κάτω από το όριο. Συνεπώς για να καταφέρουμε η συμπιεσμένη RI να είναι κάτω από το όριο μνήμης των 64 KB, εφαρμόζουμε υποδειγματοληψία της εικόνας και μειώνουμε έτσι την μνήμη που απαιτείται, όμως ταυτόχρονα μειώνεται και η ανάλυση της εικόνας. Η ανάλυση της εικόνας μειώνεται τόσο ώστε η εικόνα RI να είναι κάτω από το όριο των 64 KB. Για την υποδειγματοληψία της RI χρησιμοποιήθηκαν δύο τρόποι: οι Gaussian πυραμίδες (Gaussian Pyramids) και η διγραμμική παρεμβολή (Βilinear Ιnterpolation). Oι Gaussian πυραμίδες χρησιμοποιήθηκαν, καθώς η άμεση υποδειγματοληψία μιας εικόνας μπορεί να δημιουργήσει φαινόμενο aliasing, αφού αρκετές φορές εμφανίζονται υψηλές συχνότητες στην εικόνα και αλλοιώνουν το συχνοτικό περιεχόμενο της. Συνεπώς με την χρήση των πυραμίδων αποτρέπουμε αυτό το φαινόμενο, διότι πριν πραγματοποιηθεί υποδειγματοληψία της εικόνας φιλτράρεται με ένα πρώτης τάξης Gaussian κατωδιαβατό φίλτρο, με αποτέλεσμα την απομάκρυνση των υψηλών συχνότητων. Βέβαια, το μειονέκτημα αυτής της μεθόδου είναι ότι καθώς φιλτράρουμε με το κατωδιαβατό φίλτρο η εικόνα θολώνει (Gaussian Blur) και χάνουμε ένα μέρος της πληροφορίας που βρίσκεται στις υψηλές συχνότητες. Στο Σχ. 5.6 βλέπουμε πως μεταβαίνουμε από την εικόνα υψηλής ανάλυσης σε εικόνες χαμηλότερης ανάλυσης. Σε κάθε βήμα της διαδικασίας αυτής η ανάλυση της εικόνας μειώνεται στο μισό. Σχήμα 5.6: Gaussian πυραμίδα.

46 44 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ Κατά την αποκωδικοποίηση η RI πριν πολλαπλασιαστεί με τη βασική εικόνα πρέπει να υπερδειγματοληφθεί, ώστε να αποκτήσει το αρχικό της μέγεθος. Βέβαια, η εικόνα που θα προκύψει θα είναι θολή σε σχέση με την αρχική, όπως επεξηγήθηκε προηγουμένως (βλέπε Σχ. 5.7). Για αυτό το λόγο, χρειάζεται να επεξεργαστούμε την εικόνα κατάλληλα, ώστε να ανακτήσουμε τις υψηλές συχνότητες που χάσαμε κατά τη διαδικασία. Στα επόμενα τμήματα θα αναφέρουμε δύο μεθόδους ανάκτησης των υψηλών συχνοτήτων. Η πρώτη αφορά τη διόρθωση της βασική εικόνας στον αποκωδικοποιητή (precorrection), ενώ η δεύτερη αφορά την διόρθωση της RI κατά την αποκωδικοποίηση (postcorrection). Με τη μέθοδο διόρθωσης αυξάνεται αφενός η πολυπλοκότητα του αλγορίθμου, αφετέρου όμως μειώνεται σημαντικά το σφάλμα της κωδικοποιήσης. (αʹ) (βʹ) Σχήμα 5.7: Οι Ratio Images της εικόνας Memorial Church πριν πριν την δειγματοληψία με Gaussian πυραμίδες (αριστερά) και μετά την υπερδειγματοληψία (δεξιά) Διγραμμική Παρεμβολή Στην προηγούμενη παράγραφο αναφέραμε τον τρόπο δειγματοληψίας της εικόνας με την μέθοδο των Gaussian πυραμιδών. Στη συγκεκριμένη μέθοδο αρκετές φορές η δειγματοληψία ήταν πολύ μεγαλύτερη από ότι χρειαζόταν με αποτέλεσμα το αρχείο μετά τη συμπίεση να είναι

47 ΣΥΜΠΙΕΣΗ JPEG-HDR 45 πολύ μικρότερο από το όριο των 64 KB. Οπότε, εάν εφαρμόζαμε μικρότερη δειγματοληψία θα επιτυγχάναμε μεγαλύτερη ανάλυση εικόνας ενώ ταυτόχρονα το αρχείο θα ήταν και πάλι μικρότερο από το επιθυμητό όριο. Συνεπώς, θα εξασφαλίζαμε περισσότερη πληροφορία και καλύτερα αποτελέσματα κατά την ανάκτηση της αρχικής εικόνας HDR. Για να λύσουμε αυτό το πρόβλημα χρησιμοποιήσαμε αντί για τις Gaussian πυραμίδες την διγραμμική παρεμβολή. Η διγραμμική παρεμβολή (Bilinear Ιnterpolation) είναι μία επέκταση της γραμμικής παρεμβολής για την παρεμβολή συναρτήσεων με δύο μεταβλητές (π.χ. x και y), σε ένα ορθοκανονικό σύστημα δύο διαστάσεων, όπως οι εικόνες. Το κλειδί της ιδέας αυτής είναι να εφαρμόσουμε μία γραμμική παρεμβολή ως προς την μία κατέυθυνση και στη συνέχεια ως προς την άλλη. Παρ όλο που κάθε βήμα αποτελείται από μία γραμμική πράξη, η όλη διαδικασία δεν είναι γραμμική. Υποθέτουμε ότι θέλουμε να βρούμε την άγνωστη τιμή της εικόνας στο σημείο (x, y). Εφόσον έχουμε την αρχική εικόνα γνωρίζουμε τις τιμές τις στα 4 εικονοστοιχεία ανάμεσα στα οποία εμπεριέχεται χωρικά το σημείο (x, y) που θέλουμε να βρούμε (Σχ. 5.8). Έστω τα γνωστά αυτά εικονοστοιχεία είναι τα Q11 = (x 1, y 1 ), Q12 = (x 1, y 2 ), Q21 = (x 2, y 1 ) και Q22 = (x 2, y 2 ). Αρχικά πραγματοποιούμε γραμμική παρεμβολή κατά την διεύθυνση του άξονα των x και στη συνέχεια κατά τον άξονα των y. To αποτέλεσμα αυτών των δύο γραμμικών παρεμβολών μας δίνει την εκτίμηση της τιμής του εικονοστοιχείου που βρίσκεται στην θέση (x, y). Σχήμα 5.8: Διγραμμική Παρεμβολή. Για να πραγματοποιήσουμε την διγραμμική παρεμβολή πρώτα κάνουμε γραμμική παρεμβολή στον ένα άξονα, έστω στον x: f(x, y1) = x2 x x2 x1 f(q 11) + x x1 x2 x1 f(q 21) (5.2) f(x, y1) = x2 x x2 x1 f(q 12) + x x1 x2 x1 f(q 22) (5.3) Στη συνέχεια συνεχίζουμε εφαρμόζοντας γραμμική παρεμβολή στον άξονα y: f(x, y) = y2 y y2 y1 f(q 11) + y y1 y2 y1 f(q 21) (5.4)

48 46 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ (αʹ) (βʹ) Σχήμα 5.9: Οι Ratio Images της εικόνας Memorial Church πριν την δειγματοληψία με διγραμμική παρεμβολή (αριστερά) και μετά την υπερδειγματοληψία (δεξιά). Όπως παρατηρούμε στο Σχ. 5.9 το αποτέλεσμα της διγραμμικής παρεμβολής είναι ικανοποιητικό και υπάρχουν μόνο μικρές διαφορές ανάμεσα στην αρχική και τελική εικόνα. Στο συγκεκριμένο παράδειγμα, για να είναι η συμπιεσμένη εικόνα κάτω από το όριο μνήμης, χρειάστηκε να μειώθούν οι διαστάσεις της κατα 16.5%. Παρατηρούμε δηλαδή ότι δεν είναι απαραίτητο να μειωθεί το μέγεθος στο μισό όπως με τις Gaussian πυραμίδες, γεγονός που μας επιτρέπει να μην χάνουμε πολλή πληροφορία, παρά μόνο όση ακριβώς απαιτείται. Στο Σχ φαίνονται για σύγκριση οι δύο εικόνες με τις διαστάσεις που επιλέχθηκαν για την κάθε μέθοδο.

49 ΣΥΜΠΙΕΣΗ JPEG-HDR 47 (αʹ) (βʹ) (γʹ) Σχήμα 5.10: Η αρχικη Ratio Image με κανονικές διαστάσεις (αριστερά) και οι δειγματοληπτημένες Ratio Images με διγραμμική παρεμβολή (μέση) και με Gaussian πυραμίδες (δεξιά) Precorrection της βασικής εικόνας Ένας τρόπος για να διατηρηθεί η πληροφορία των υψηλών συχνοτήτων είναι να διορθώσουμε την βασική εικόνα κατά την κωδικοποίηση (precorrection) χρησιμοποιώντας την πληροφορία της συμπιεσμένης RI. Πιο συγκεκριμένα, αποσυμπιέζουμε την συμπιεσμένη εικόνα κατα JPEG RI, και εφόσον κάνουμε υπερδειγματοληψία (εάν χρειάζεται) ανακτούμε την RI d. Ακολούθως διαιρούμε εκ νέου την HDR εικόνα με την RI d και λαμβάνουμε την μορφοποιημένη βασική εικόνα που θα στείλουμε στον αποκωδικοποιητή: T M = HDR RI d (5.5) Αντικαθιστώντας αυτήν την μορφοποιημένη εικόνα ως βασικη, διορθώνει τα λάθη που προκύπτουν, από την συμπίεση και την υποδειγματοληψία της RI. Ουσιαστικά, με αυτόν τον τρόπο προβλέπουμε τι θα δει ο αποκωδικκοποιητής, ο οποίος έχει στη διάθεση του μόνο τα συμπιεσμένα αρχεία. Για να αντιληφθούμε τη διαφορά της κωδικοποίησης με διόρθωση και χωρίς βλέπουμε στο Σχ δύο Tone Mapped εικόνες με τοv Reinhard s ΤΜΟ της εικόνας Dryham Church, οι οποίες κωδικοποιήθηκαν χωρίς και με μέθοδο διόρθωσης στη βασική εικόνα. Εκ κατασκευής το αποτέλεσμα με διόρθωση προσφέρει καλύτερα αποτελέσματα, καθώς βλέπουμε ότι έχει διατηρήσει τις υψηλές συχνότητες της εικόνας, εν αντιθέσει με την εικόνα όπου δεν έχει πραγματοποιηθεί διόρθωση παρατηρούμε ότι οι ακμές δεν είναι τόσο ευδιάκριτες όσο στην αρχική και έχουμε μεγάλο σφάλμα σε περιοχές της εικόνας όπου οι μεταβολές της φωτεινότητας είναι μεγάλες. Οι συγκεκριμένες μεταβολές παρατηρούνται κυρίως στα παράθυρα της εικόνας και όπως είναι εμφανές με την μέθοδο διόρθωσης επιτυγχάνεται η διατήρηση της πληροφορίας.

50 48 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ (αʹ) (βʹ) Σχήμα 5.11: Η εικόνα Dyrham Church tone mapped με τον Reinhard s ΤΜΟ με χωρίς διόρθωση (αριστερά) και με μέθοδο precorrection (δεξιά) Postcorrection της βασικής εικόνας Όπως είδαμε στην προηγούμενη παράγραφο η μέθοδος precorrection παρείχε μία όξυνση στην εικόνα, με αποτέλεσμα να έχουμε καλύτερα αποτελέσματα κατά την ανακατασκευή. Παρ όλα αυτά, η βασική εικόνα που έχει προκύψει από την Εξ. 5.5 μπορεί να έχει ορισμένα ανεπιθύμητα χαρακτηριστικά τα οποία προκύπτουν από την όξυνση αυτή. Για μια εικόνα υψηλής ανάλυσης, ο υπολογισμός της TM μπορεί να δημιουργήσει ορατή άλως, όπως φαίνεται και στο Σχ Για αυτό το λόγο, όταν έχουμε παράγει ήδη μία Tone Mapped εικόνα με έναν εκλεπτυσμένο TMO τότε πιθανώς να μην επιθυμούμε να την αλλοιώσουμε τροποποιώντας την με την προηγούμενη μέθοδο. Για να αποτρέψουμε τις αρνητικές επιδράσεις στην τροποποιημένη βασική εικόνα, θα μπορούσαμε να εφαρμόσουμε μία άλλη μέθοδο διόρθωσης, η οποία πραγματοποιείται κατά την αποκωδικοποίηση (postcorrection).

51 ΣΥΜΠΙΕΣΗ JPEG-HDR 49 Σχήμα 5.12: Δημιουργία άλω κατά την μορφοποίηση εικονας υψηλής ανάλυσης ( ). Ιδανικά, θα θέλαμε να διατηρήσουμε την Tone Mapped εικόνα χωρίς να υστερεί σε ανάλυση η ανακατασκευασμένη HDR εικόνα. Ένας τρόπος ώστε να επιτευχθεί αυτό χωρίς να υπερβούμε το όριο των 64 ΚΒ είναι να ανασυνθέσουμε τις χαμένες υψηλές συχνότητες της RI, αφού αυτή υπερδειγματοληφθεί. Εφόσον έχουμε την βασική εικόνα που έχει πλήρη ανάλυση, μπορούμε να την χρησιμοποιήσουμε σαν οδηγό για να προσδιορίσουμε τις ακμές στην RI. Εάν το φασματικό περιεχόμενο της βασικής εικόνας και της RI πριν από την δειγματοληψία ήταν το ίδιο, θα μπορούσαμε να ανακτήσουμε το φάσμα υψηλών συχνοτήτων στην υπερδειγματοληπτημένη Ratio Image από την ακόλουθη απλή σχέση: [ ] L(T M) RI synth = RI d L(T M r ) (5.6) Σε αυτή την εξίσωση, L(T M r ) είναι η φωτεινότητα της toned mapped βασικής εικόνας, στην οποία πραγματοποιήθηκε υπέρ και υπό δειγματοληψία με τον ίδιο τρόπο που πραγματοποιήθηκε στην RI. Φυσικά, δεν υπάρχει κάποια εγγύηση ότι το φασματικό περιεχόμενο της βασικής εικόνας και της ratio είναι το ίδιο, ειδικά εάν χρησιμοποιηθεί για παράδειγμα ο Durand s ΤΜΟ ο οποίος προσπαθεί να διατηρήσει τις τοπικές πληροφορίες. Για το λόγο αυτό, μία καλύτερη προσέγγιση θα λάμβανε λιγότερο υπόψιν το λόγο μεταξύ RI d και T M r με βάση την τοπική διασπορά τους. Εάν η RI d έχει μικρή η καθόλου διασπορά μετά την υπερδειγματο-

52 50 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ ληψία, τότε πιθανόν δεν είχε από πριν στο φάσμα υψηλές συχνότητες σε εκείνη την περιοχή. Ωστόσο, εάν σε εκείνη την περιοχή η T M r έχει μεγάλη διασπορά ενώ η RI d έχει μικρή διασπορά, τότε πιθανότατα σημαίνει ότι από το φάσμα της τελευταίας λείπει κάποια πληροφορία υψηλών συχνοτήτων, οπότε πρέπει ο λόγος αυτός να ληφθεί περισσότερο υπόψιν. Αυτή η βελτιωμένη μέθοδος σύνθεσης του φάσματος της RI δίνεται από την σχέση: [ ] L(T M) σ RI synth = RI d (5.7) L(T M r ) where : σ = var(ri d) var(l(t M r )) (5.8) Η σχετική διασπορά σ υπολογίζεται σε μια μικρή γειτονία που είναι ίση με την ακτίνα δειγματοληψίας, η οποία στην προκειμένη περίπτωση είναι μια γειτονιά τεσσάρων εικονοστοιχείων και την θέτουμε 0 εάν είναι μικρότερη από το σφάλμα που προκύπτει από την συμπίεση της εικόνας. Στην πράξη, δεν επιτρέπουμε η τιμή της σ να ξεπεράσει την τιμή 1, καθώς αυτό μπορεί να προκαλέσει υπέρβαση της εξόδου. Αυτή η μέθοδος αποτελεί μια απλή τεχνική ενίσχυσης της ανάλυσης της εικόνας μέσω παραδείγματος. Στο Σχ βλέπουμε τα αποτελέσματα της μεθόδου διόρθωσης στην εικόνα Dryham Church. H εικόνα έχει υποστεί μείωση της δυναμικής περιοχής με τον TMO του Reinhard. Όπως μπορούμε να δούμε, η προσέγγιση στην Εξ. 5.7 είναι αρκετά αποτελεσματική και αποκαθιστά το φασματικό περιεχόμενο των υψηλών συχνοτήτων που είχε χαθεί κατά τη δειγματοληψία, χωρίς να εισάγει σφάλματα ή άλλες επιδράσεις στην εικόνα. Πάρα ταύτα, το σφάλμα που εισάγεται στην ανακατασκευασμένη εικόνα από τον αποκωδικοποιητή είναι μεγαλύτερο από εκείνο της Εξ Επομένως ανάλογα με την εφαρμογή που θέλουμε μπορούμε να χρησιμοποιήσουμε μία από τις δύο μεθόδους διόρθωσης λαμβάνοντας υπόψιν τα πλεονεκτήματα και τα μειονεκτήματα της εκάστοτε μεθόδου.

53 ΣΥΜΠΙΕΣΗ JPEG-HDR 51 (αʹ) (βʹ) Σχήμα 5.13: Η εικόνα Dyrham Church tone mapped με τον Reinhard s ΤΜΟ με χωρίς διόρθωση (πάνω) και με μέθοδο μεταδιόρθωσης (κάτω).

54 52 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ Αποκορεσμός και κορεσμός βασικής εικόνας Για τη διατήρηση της χρωματικής πληροφορίας προτείνεται πριν την κωδικοποιήση η εφαρμογή μίας μεθόδου αποκορεσμού της εικόνας και στη συνέχεια, κατά την αποκωδικοποίση μία μέθοδος ανάκτησης των χρωμάτων της αρχικής εικόνας. Η διαχείριση του χρώματος σε αυτή τη μέθοδο είναι απλή. Οποιοδήποτε χρώμα βρίσκεται έξω από την δυναμική περιοχή του πρότυπου JPEG, κανονικοποιείται έτσι ώστε να ανήκει στο επιτρεπτό εύρος. Αυτό ισχύει όμως μόνο για θετικές τιμές των χρωμάτων. Σε κάποιες μορφές αποθήκευσης οι HDR εικόνες μπορεί να έχουν χρώματα με αρνητικές τιμές, που πράγματι είναι απαραίτητες για να αναπαραστήσουν χρώματα τα οποία βρίσκονται εκτός του εύρους του τριγώνου RGB, όπως είδαμε στο Κεφάλαιο 2. Για να μπορέσουμε να διατηρήσουμε τις αρνητικές τιμές των χρωμάτων, εφαρμόζουμε μία μέθοδο αποκορεσμού μετατοπίζοντας όλα τα χρώματα προς το γκρι, κατά μία ποσότητα που μας εγγυάται ότι θα καλύπτεται όλο το ορατό φάσμα στο επιτρεπτό εύρος περιοχής του προτύπου συμπίεσης JPEG. Στην πραγματικότητα αυτό μπορεί να είναι και προσοδοφόρο για την εμφάνιση της βασικής εικόνας, καθώς η συμπίεση δυναμικής περιοχής τείνει να προκαλεί αποκορεσμό των χρωμάτων. Εφόσον πραγματοποιούμε αποκορεσμό της βασικής εικόνας στον κωδικοποιητή, κατά την αποκωδικοποίηση πρέπει να επαναφέρουμε τον κορεσμό της εικόνας. Έτσι λοιπόν χρησιμοποιούμε τον εξής ορισμό για τον χρωματικό κορεσμό: S 1 min(r, G, B)/Y (5.9) Η μεταβλητή Y στην παραπάνω σχέση είναι η φωτεινότητα που προκύπτει από τα τρία χρώματα. Αναμένουμε ο κορεσμός να είναι μεγαλύτερος του 1 για αρνητικές τιμές των χρωμάτων. Μηδενικό κορεσμό θα έχουμε για ουδέτερες τιμές, δηλαδή τιμές που δεν θα μετατραπούν κατά τη διαδικασία αποκορεσμού. Στις μη ουδέτερες τιμές εφαρμόζουμε την κατωτέρο σχέση που οδηγεί στον αποκορεσμό τους: S = α S β (5.10) η παράμετρος α ελέγχει τo ποσοστό του κορεσμού της εικόνας που επιθυμούμε να κρατήσουμε και γενικά είναι 1. Η παράμετρος β ελέγχει την αντίθεση των χρωμάτων και είναι συνήθως 1. Αυτή η τροποποιημένη μέθοδος υπολογισμού του κορεσμού S χρησιμοποιείται σε συνδυασμό με τον κορεσμό S, που δίνεται από την Εξ. 5.9 για να καθορίσουμε τις νέες κωδικοποιημένες τιμές των αποκορεσμένων χρωμάτων. Για το κόκκινο κανάλι η σχέση υπολογισμού της αποκορεσμένης εκδοχής του είναι η εξής: R = ( 1 S ) Y + S S S R (5.11)

55 ΣΥΜΠΙΕΣΗ JPEG-HDR 53 Ομοίως υπολογίζουμε και για τα άλλα κανάλια. Σημειώνουμε ότι μετά την εφαρμογή της μεθόδου η μικρότερη τιμή ενός χρώματος για ένα εικονοστοιχείο παραμένει η μικρότερη. Επίσης η φωτεινότητα Y δεν αλλάζει κατά την εφαρμογή της μεθόδου αυτής. Για να επαναφέρουμε τον κορεσμό των κωδικοποιημένων χρωμάτων αντιστρέφουμε τις παραπάνω εξισώσεις. Εάν η μικρότερη τιμή ενός εικονοστοιχείου ήταν αυτή του καναλιού μπλε, τότε ο αντίστροφος μετασχηματισμός αυτού δίνεται από τη σχέση: ( Y B B = Y Y αy ) 1 β (5.12) Το κόκκινο και το πράσινο χρωματικό κανάλι στη συνέχεια υπολογίζονται ως εξής: R = Y (Y ( R ) 1 B ) 1 β (5.13) α Y G = Y (Y G ) α ( 1 B Y ) 1 β (5.14) Εάν το πράσινο ή το κόκκινο κανάλι έχουν την ελάχιστη τιμή στο συγκεκριμένο εικονοστοιχείο τότε οι παραπάνω εξισώσεις αλλάζουν κυκλικώς αντίστοιχα. Στο Σχ βλέπουμε το αποτέλεσμα αποχρωματισμού της HDR εικόνας Doll η οποία απεικονίζεται με τη χρήση του Reinhard s TMO. Αριστερά τοποθετείται η αρχική εικόνα, στην μέση βρίσκεται η εικόνα στην οποία εφαρμόσαμε τον αποκορεσμό και δεξιά είναι h επανακορεσμένη εικόνα. Όπως παρατηρούμε, τα χρώματα τις μεσαίας εικόνας έχουν μετατοπιστεί προς το γκρι. (αʹ) (βʹ) (γʹ) Σχήμα 5.14: Αρχική εικόνα Doll (αριστερά), αποκορεσμένη εικόνα (μέση), επανακορεσμένη εικόνα (δεξία)

56 54 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ 5.2 Αλγόριθμος κωδικοποίησης δύο επιπέδων HDR εικόνων Σε αυτή την παράγραφο, αναλύουμε έναν επιπλέον αλγόριθμο συμπίεσης HDR εικόνων που βασίζεται στον αλγόριθμο που αναπτύχθηκε από τούς Okuda & Adami [10]. Ο αλγόριθμος αυτός, όπως και ο προηγούμενος, επιτρέπει την ανάκτηση της αρχικής εικόνας HDR και σε γενικές γραμμές ακολουθεί την ίδια λογική. Δηλαδή, τη χρήση των συμβατικών μεθόδων συμπίεσης για την κωδικοποίηση δύο εικόνων, που αν συνδυαστούν κατάλληλα να είναι εφικτή η ανάκτηση της αρχικής εικόνας HDR με ένα μικρό σφάλμα. Ο συγκεκριμένος αλγόριθμος έχει δύο επίπεδα κωδικοποίησης. Αρχικά, στο πρώτο επίπεδο γίνεται η κωδικοποίηση μίας εικόνας χαμηλής δυναμικής περιοχής που έχει προέλθει μέσω της διαδικασίας tone mapping από την αντίστοιχη εικόνα υψηλής δυναμικής περιοχής. Στη παρούσα υλοποίηση η κωδικοποίηση της εικόνας αυτής γίνεται με το πρότυπο συμπίεσης JPEG. Έπειτα, στο δεύτερο επίπεδο υπολογίζεται η υπολειπόμενη πληροφορία που αναπαριστά την διαφορά μεταξύ της αρχικής και της κωδικοποιημένης εικόνας του πρώτου επιπέδου. Το ιδιαίτερο χαρακτηριστικό που διακρίνει αυτή τη μέθοδο από την προηγούμενη είναι ότι χρησιμοποιεί μία προσέγγιση της αντίστροφης συνάρτησης μείωσης δυναμικής περιοχής που ονομάζεται Inversed Tone Mapping Function και θα αναφερόμαστε σε αυτή με την σύντμηση ITMF Γενικό σχήμα αλγορίθμου Ο αλγόριθμος ακολουθεί τη δομή του Σχ Κατ αρχήν, ξεκινάμε με την HDR εικόνα και παράγουμε την αντίστοιχη LDR εικόνα με έναν TMO της επιλογής μας. Στην συγκεκριμένη υλοποίηση ο TMO που χρησιμοποιήθηκε ήταν ο TMO του Reinhard. Ακολούθως, κωδικοποιούμε την LDR εικόνα χρησιμοποιώντας συμπίεση JPEG. Επιπροσθέτως, για να είμαστε σε θέση να ανακατασκευάσουμε την αρχική εικόνα HDR πρέπει να αποθηκεύσουμε επιπλέον πληροφορίες, οι οποίες σε συνδυασμό με την κωδικοποιημένη εικόνα LDR να χρησιμοποιθούν για την παραγωγη της αρχικής HDR εικόνας. Η πιο σημαντική διαφορά με τις συμβατικές μεθόδους συμπίεσης είναι η χρήση ITMF για τον υπολογισμό των επιπλέον πληροφοριών κατά την κωδικοποίηση. Αφού υπολογιστούν και οι επιπλέον πληροφορίες συμπιέζονται ομοίως σε μορφή JPEG και στέλνονται στον αποκωδικοποιητή μαζί με την συμπιεσμένη LDR εικόνα και τις παραμέτρους της ITMF. Κατά την αποκωδικοποίηση λαμβάνουμε τα παραπάνω και αρχίζουμε την διαδικασία ανασύνθεσης της εικόνας HDR. Αρχικά, αποσυμπιέζουμε την εικόνα LDR και εκτιμούμε μέσω της ITMF την φωτεινότητα της HDR εικόνας. Στην συνέχεια αποσυμπιέζουμε και τις επιπλέον πληροφο-

57 Αλγόριθμος κωδικοποίησης δύο επιπέδων HDR εικόνων 55 ρίες και ανακατασκευάζουμε την HDR εικόνα. (αʹ) (βʹ) Σχήμα 5.15: Σχήμα αλγοριθμού Υπολογισμός Αντίστροφης Συνάρτησης Αύξησης Δυναμικής Περιοχής (ITMF) Σε αυτήν την παράγραφο θα αναλύσουμε την διαδικασία εύρεσης της ITMF, δηλαδή την συνάρτηση που μετατρέπει μία εικόνα LDR σε HDR. Ουσιαστικά, αυτό που θα προσπαθήσουμε να υλοποιήσουμε είναι να βρούμε μία προσέγγιση της συνάρτησης ITMF, η οποία είναι αντίστροφη στη συνάρτηση που χρησιμοποιήθηκε για τον υπολογισμό της tone mapped LDR εικόνας. Οι συναρτήσεις που μειώνουν την δυναμική περιοχή των HDR εικόνων και τις μετατρέπουν σε LDR εικόνες ονομάζονται TMO, και είτε εφαρμόζονται σε όλη την εικόνα, είτε τοπικά στην γειτονιά κάθε εικονοστοιχείου. Παρόλο που μία συνάρτηση TMO η οποία εφαρμόζεται τοπικά, δεν μπορεί να οριστεί από μία μόνο συνάρτηση θα θεωρήσουμε ότι μπορεί να προσεγγιστεί με μία σιγμοειδή καμπύλη. Σε αυτή τη μέθοδο θα προσεγγίζουμε όλες τις εικόνες LDR που έχουν προκύψει από ελλάτωση της δυναμικής περιοχής των αντίστοιχων HDR εικόνων, μόνο με μία συνάρτηση, ανεξαρτήτως του TMO που χρησιμοποιήθηκε για την δημιουργία της LDR εικόνας. Όπως έχει ήδη αναφερθεί στο Κεφάλαιο 2 ο τρόπος με τον οποίο το ανθρώπινο σύστημα όρασης αντιλαμβάνεται την φωτεινότητα δεν είναι

58 56 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ γραμμικός, αλλά ακολουθεί μία σιγμοειδή καμπύλη. Για αυτόν το λόγο θα χρησιμοποιήσουμε μία σιγμοειδή καμπύλη για την μείωση της δυναμικής περιοχής της εικόνας HDR. Η σιγμοειδής καμπύλη που χρησιμοποιήθηκε είναι αυτή που προκύπτει από τη συνάρτηση Hill, η οποία φάνηκε να είναι αρκετά αποτελεσματική. Η σχέση που δίνει αυτή την συνάρτηση είναι: y = f(x) = xn x n + k n (5.15) Η συνάρτηση είναι κανονικοποιημένη ως προς τη μονάδα. Η συγκεκριμένη συνάρτηση είναι επίσης γνωστή ως Naka-Rushton εξίσωση ή Michaelis- Menten εξίσωση (Κεφάλαιο 2). Η συγκεκριμένη συνάρτηση έχει αρκετές επιθυμητές ιδιότητες: Χρησιμοποιώντας την μπορούμε εύκολα να εκφράσουμε σιγμοειδείς καμπύλες με μεγάλες περιοχές κορεσμού. Για x > 0 και k > 0, η συνάρτηση είναι αύξουσα ως προς την μονοτονία. Εάν ξαναγράψουμε την Εξ. H παράγωγος της f είναι: df(x) dx = 1 y = f(x) = 1 + ( ) k n (5.16) x ( 1 + ( ) k n ) 2 k n x (n+1) (5.17) x Άρα, όταν k > 0 και x > 0, τότε df(x) dx > 0 άρα η συνάρτηση είναι αύξουσα. Η απόκριση της συνάρτησης ελέγχεται μόνο από δύο παραμέτρους. Σε λογαριθμική κλίμακα, η αντίστροφη συνάρτηση της f είναι γραμμική ως προς τις δύο παραμέτρους log(k) και 1/n. Όπως αναφέραμε πριν θα χρησιμοποιήσουμε την συνάρτησησ Hill για να μετατρέψουμε μία εικόνα HDR σε LDR καθώς προσομοιάζει με τον τρόπο της ανθρώπινης αντίληψης. Επομένως, εάν θέλουμε να μετατρέψουμε την εικόνα LDR σε HDR χρειάζεται να υπολογίσουμε την αντίστροφη συνάρτηση της συνάρτησης Hill, η οποία να είναι βέλτιστη υπό την έννοια ελαχίστων τετραγώνων. Η αντίστροφη συνάρτηση g = f 1 δίνεται από την σχέση: ( ) 1 y n x = g(y) = k 1 y (5.18) Οπότε η μετατροπή της εικόνας από LDR σε HDR με χρήση της ITMF δίνεται από τη σχέση: ( ) 1 Ly (i, j) n H y (i, j) = g(l y (i, j)) = k 1 L y (i, j) (5.19)

59 Αλγόριθμος κωδικοποίησης δύο επιπέδων HDR εικόνων 57 Όπου H y (i, j) και L y (i, j) η φωτεινότητα της ανακατασκευασμένης HDR εικόνας και η φωτεινότητα της LDR εικόνας, αντίστοιχα. Στην συνέχεια ορίζουμε το σφάλμα μεταξύ των εικόνων H y(i, j) και της αρχικής εικόνας HDR που τη συμβολίζουμε ως H y (i, j): e(i, j) = log(h y (i, j)) log(h y(i, j)) (5.20) Ο υπολογισμός του σφάλματος σε λογαριθμική κλίμακα θέτει μεγαλύτερη βαρύτητα στις χαμηλές τιμές φωτεινότητας. Αυτό το μέτρο ταιριάζει περισσότερο με την ανθρώπινη αντίληψη και μειώνει το βάρος που δίνουμε στις υψηλές τιμές φωτεινότητας. Επιπλέον, ανάγει σε γραμμική μορφή την αντίστροφη συνάρτηση της Εξ ως προς τις παραμέτρους log(k) και 1/n: Log(H y(i, j)) = log(k) + 1 ( ) n log Ly (i, j) (5.21) 1 L y (i, j) Οπότε, για να σχεδιάσουμε την ITMF ανάλογα με την εικόνα εισόδου πρέπει να υπολογίσουμε τις δύο παραμέτρους log(k) και 1/n. Οι συγκεκριμένες παράμετροι μπορούν να βρεθούν εάν λύσουμε το πρόβλημα ελαχιστοποίησης του μέσου τετραγωνικού σφάλματος: E = 1 M = 1 M e(i, j) 2 { log H y(i, j) log k 1 ( )} n log Ly (i, j) 2 (5.22) 1 L y (i, j) όπου Μ είναι το πλήθος των εικονοστοιχείων. Η 5.22 είναι σε τετραγωνική μορφή ως προς log(k) και 1 n, επομένως η βέλτιστη εκτίμηση, ορίζεται μοναδικά. Λύνοντας τις παρακάτω δύο εξισώσεις: de d(log(k)) = 0 (5.23) de d(1/n) = 0 (5.24) Οπότε καταλήγουμε στον υπολογισμό τον τιμών k και n από τις σχέσεις: { Y 2 X Y } XY k = exp M Y 2 ( Y ) 2 (5.25) όπου n = M Y 2 ( Y ) 2 M XY Y X X = log H y, Y = log (5.26) L y 1 L y (5.27) Στην διαδικασία tone mapping, όταν μειώνεται η δυναμική περιοχή μίας HDR εικόνας πρέπει να δοθεί ειδική προσοχή στις πολύ φωτεινές περιοχές, όπου η ανθρώπινη οπτική ευαισθησία κορέννυται. Η απλή μέθοδος θα ήταν

60 58 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ να επαναφέρουμε όσες τιμές υπερβαίνουνν ένα όριο στο επιθυμητό εύρος. Ωστόσο, για να έχουμε καλύτερα αποτελέσματα συνήθως χρησιμοποιούνται πιο εκλεπτυσμένοι τρόποι, στους οποίους οι TMO καθορίζουν την τιμή ενός εικονοστοιχείου με βάση την γειτονιά του. Λόγω αυτού, η προσέγγιση που περιγράφηκε προηγουμένως συχνά αποτυγχάνει σε περιοχές με υψηλά επίπεδα φωτεινότητας, ειδικά στην περίπτωση που η εικόνα έχει απότομα κβαντιστεί από τη συμπίεση με JPEG. Στο Σχ βλέπουμε την αντιστοιχία τιμών μεταξύ μίας LDR και της αντίστοιχης HDR εικόνας. Μπορούμε εύκολα να διακρίνουμε ότι η διασπορά των τιμών των εικονοστοιχείων της HDR εικόνας αυξάνεται όταν οι τιμές της φωτεινότητας είναι υψηλές. Για αυτό το λόγο η προσέγγιση των φωτεινών περιοχών υπό την έννοια των ελαχίστων τετραγώνων δεν επιφέρει το βέλτιστο αποτέλεσμα κατά τη συμπίεση. Επομένως προσεγγίζουμε αυτές τις περιοχές με ένα πολυώνυμο πρώτου βαθμού. Στο Σχ μπορούμε να δούμε την τελική ITMF. Σχήμα 5.16: LDR-HDR αντιστοιχία εικονοστοιχείων. Για να υπολογίσουμε την ITMF όπως φαίνεται και στο Σχήμα 5.17, πρέπει να βρούμε το όριο α, το οποίο ορίζει ποιες τιμές θα υπολογιστούν από την αντίστροφη συνάρτηση Hill και ποιες από το πολυώνυμο πρώτου βαθμού. Συγκεκριμένα, τα εικονοστοιχεία L y (i, j) [0, α] προσεγγίζονται από την αντίστροφη συνάρτηση Hill και τα εικονοστοιχεία L y (i, j) (α, 1] προσεγγίζονται από το πολυώνυμο πρώτου βαθμού (θεωρούμε ότι η εικόνα είναι κανονικοποιημένη στο διάστημα [0,1]). Ο υπολογισμός του πολυωνύμου πρώτου βαθμού γίνεται χρησιμοποιώντας δύο σημεία, εφόσον πρόκειται για ένα ευθύγραμμο τμήμα με αρχή το σημείο (α, y) και τέλος το σημείο (1, 1). Η τιμή y υπολογίζεται από την αντίστροφη συνάρτηση Hill Εξ για τετμημένη α.

61 Αλγόριθμος κωδικοποίησης δύο επιπέδων HDR εικόνων 59 Για να βρούμε το όριο α ακολουθούμε τα εξής βήματα. Αρχικά, χωρίζουμε τις τιμές φωτεινότητας της LDR εικόνας σε Q επίπεδα. Για κάθε επίπεδο υπολογίζουμε την διασπορά των τιμών των αντίστοιχων εικονοστοιχείων της HDR εικόνας, σ 2 q = var(h q ), q = 1, 2,, Q, όπου H q = { H y (i, j) i, j, (q 1) Q L y(i, j) q Q } (5.28) Στη συνέχεια βρίσκουμε τη μικρότερη τιμή q* που ικανοποιεί την σχέση: Τέλος υπολογίζουμε το όριο: σ 2 q > c σ 2 hdr (5.29) α = (q 1)/Q (5.30) Όπου σhdr 2 είναι η διασπορά της HDR εικόνας και c είναι μία σταθερά, η οποία για την τιμή c = 0.01 είναι αρκετά αποτελεσματική. Σχήμα 5.17: ITMF.

62 60 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ Υπολογισμός υπολειπόμενης πληροφορίας Η υπολειπόμενη πληροφορία που απαιτείται για να κατασκευαστεί η αρχική εικόνα HDR είναι μία χωρική συνάρτηση η οποία υπολογίζεται από τη σχέση: R(i, j) = ( ) Hy (i, j) γ (5.31) H y (i, j) + ϵ Όπου H y (i, j) η φωτεινότητα της HDR εικόνας, H y (i, j) η υπολογισμένη φωτεινότητα από την ITMF, γ μία σταθερά μικρότερη του 1 και ϵ μία πολύ μικρή σταθερά για να εξασφαλίσουμε ότι ο παρονομαστής δεν θα πάρει τιμή 0. Όταν οι δύο εικόνες, H y (i, j) και H y (i, j), έχουν πολύ μικρές τιμές τότε μια μικρή διαφορά μεταξύ τους θα υπερεκτιμηθεί από την Εξ σε σχέση με το εάν είχαν μεγάλες τιμές. Επομένως, με την χρήση του εκθετικού γ ισοσταθμίζουμε κατά κάποιο τρόπο τις τιμές τις R ώστε για ίδιες διαφορές μεταξύ των εικονοστοιχείων να έχει ίδιες τιμές. Στον αποκωδικοποιητή η εικόνα ανακατασκευάζεται από τη σχέση: H y (i, j) = R(i, j) 1 γ (H y(i, j) + ϵ) (5.32) όπου H y είναι η ανακατασκευασμένη φωτεινότητα της HDR εικόνας, και η H y είναι η εικόνα φωτεινότητας που προκύπτει από την ITMF. Στο Σχ βλέπουμε την εικόνα που υπολογίσαμε από την Εξ.5.31

63 Αλγόριθμος κωδικοποίησης δύο επιπέδων HDR εικόνων 61 Σχήμα 5.18: Εικόνα υπολειπόμενης πληροφορίας (Resiual Image) Συντήρηση Χρώματος Για την συντήρηση χρώματος μπορούμε να εφαρμόσουμε δύο τεχνικές. Η πρώτη τεχνική αφορά την χρήση της μεθόδου κορεσμού της LDR εικόνας, όπως αναφέρθηκε στην παράγραφο Ενώ η δεύτερη τεχνική ακολουθεί διαφορετική προσέγγιση και βασίζεται στην υπόθεση ότι οι τιμές φωτεινότητας των εικονοστοιχείων της LDR και της HDR εικόνας συνδέονται με ένα πολυώνυμο n βαθμού. Στις επόμενες παραγράφους αναλύουμε την διαδικασία των δύο τεχνικων. Η πρώτη μέθοδος αφορά την τεχνική που προτείνεται στο [8]. Όπως αναφέραμε και στην παράγραφο 5.32 για να διατηρήσουμε το χρώμα εφαρμόζουμε την μέθοδο κορεσμού στην LDR εικόνα κατά την κωδικοποίηση και στην αποκωδικοποίηση ανακτούμε την αρχική εικόνα με την χρήση δύο παραμέτρων. Επίσης, υπολογίζουμε την ανακατασκευασμένη φωτει-

64 62 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ νότητα της HDR εικόνας H y (από την Εξ. 5.32) και την φωτεινότητα της LDR L y. Υπολογίζουμε στη συνέχεια την χωρική συνάρτηση: RI(x, y) = H y (i, j) L y (5.33) Τέλος, για να ανακατασκευάσουμε την εικόνα HDR πολλαπλασιάζουμε κάθε εικονοστοιχείο της LDR εικόνας με την παραπάνω συνάρτηση RI: HDR RGB = RI LDR RGB (5.34) Η δεύτερη μέθοδος προτείνεται από τους Okuda & Adami στο [10]. Σε αυτή την μέθοδο υποθέτουμε ότι η σχέση που συνδέει τις τιμές των εικονοστοιχείων της HDR και LDR εικόνας μπορεί να προσεγγιστεί από ένα πολυώνυμο: N y = p(x) = c n x n (5.35) Οπότε, εφαρμόζουμε την παραπάνω σχέση στην LDR εικόνα και έχουμε: n=0 L c r(i, j) = p(l r (i, j)), for channel R (5.36) Η συνάρτηση p μπορεί να οριστεί από την μέθοδο ελαχίστων τετραγώνων που ελαχιστοποιεί την ακόλουθη συνάρτηση κόστους, η οποία είναι το ολικό άθροισμα των σταθμισμένων τετραγωνικών σφαλμάτων για τα τρία χρωματικά κανάλια κόκκινο, πράσινο και μπλε: E p = {w(i, j)(h x (i, j) L x (i, j))} 2 (5.37) x {r,g,b} i,j Από την (5.37) κάνοντας αντικατάσταση της (5.36) έχουμε: E p = c T n LT Lc n 2c T n LT H + H T H (5.38) Οι πίνακες της παραπάνω εξίσωσης ορίζονται ως εξής: c = [ c 0 c 1... c N ] T L 0 r L 1 r... L N r L = L 0 g L 1 g... L N g L 0 b L 1 b... L N b H = [ H T r H T g H T r όπου L r, L g, L b,h r, H g και H b είναι: ] T L n r,g,b = [ w(i, j)l n r,g,b (0, 0) w(i, j)ln r,g,b (0, 1) w(i, j)ln r,g,b (0, 2)...] T

65 Αλγόριθμος κωδικοποίησης δύο επιπέδων HDR εικόνων 63 H r,g,b = [ w(i, j)h r,g,b (0, 0) w(i, jh n r,g,b (0, 1) w(i, j)hn r,g,b (0, 2)...] T Τελικά οι συντελεστές c n υπολογίζονται λύνοντας την γραμμική εξίσωση: (L T L)c n = L T H (5.39) Τα βάρη w υπολογίστηκαν με βάση την συνάρτηση Gauss, έτσι ώστε οι μικρές τιμές των εικονοστοιχείων να έχουν μεγαλύτερο βάρος από τις οι μεγάλες τιμές. Επίσης οι συντελεστές αυτοί υπολογίζονται στον κωδικοποιητή οπότε πρέπει να στείλουμε και αυτές τις τιμές στον αποκωδικοποιητή. Στον αποκωδικοποιητή με χρήση των συντελεστών και της Εξ υπολογίζουμε τα καινούρια χρώματα της LDR εικόνας και στην συνέχεια βρίσκουμε την υψηλή δυναμική περιοχή από τη σχέση: H H r(i, j) = L c y(i, j) r(i, j) L c, for channel R (5.40) y(i, j) Στο Σχ.?? βλέπουμε τις Tone Mapped εικόνες των ανακατασκευασμένων εικόνων με τις παραπάνω μεθόδους. Οι Tone Mapped εικόνες δεν παρουσιάζουν κάποια ευκόλως αντιληπτή διαφορά. Για το λόγο αυτό δεν μπορούμε να κρίνουμε την ποιότητα της ανακατασκευασμένης εικόνας μόνο από τις tone mapped εικόνες, αλλά πρέπει να χρησιμοποιήσουμε και άλλα κριτήρια τα οποία θα καθορίσουν την ποιότητα της ανακατασκευής της HDR εικόνας. Τα μέτρα αυτά θα εξεταστούν στο επόμενο κεφάλαιο, στο οποίο θα παρατηρήσουμε την αποτελεσματικότητα των μεθόδων ως προς την συμπίεση και την ποιότητα.

66 64 ΣΥΜΠΙΕΣΗ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΔΥΝΑΜΙΚΗΣ ΠΕΡΙΟΧΗΣ (αʹ) (βʹ) Σχήμα 5.19: Η ανακατασκευασμένη εικόνα Memorial Church χτησιμοποιώντας την μέθοδο συντήρησης χρώματος του Ward (αριστερά) και του Okuda (δεξιά). Οι εικόνες είναι γάμμα διορθωμένες.

67 ΚΕΦΑΛΑΙΟ 6 ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ Για την αξιολόγηση των μεθόδων συμπίεσης που αναλύσαμε στο Κεφάλαιο 5 χρησιμοποιήσαμε 10 εικόνες [11]. Οι εικόνες αυτές έχουν διαφορετικές διαστάσεις και η φωτεινότητα τους κυμαίνεται σε διαφορετικές τάξεις μεγέθους, συνεπώς τα εξαγόμενα αποτελέσματα αφορούν μία ευρεία γκάμα εικόνων, παρέχοντας μεγαλύτερη αξιοπιστία. Στον παρακάτω πίνακα φαίνονται τα ονόματα των εικόνων, οι διαστάσεις και το εύρος της δυναμικής περιοχής τους. Image Size Dynamic Range Apartment Atrium Night Dani Belgium Desk Display Memorial Mountain Rend Rend Tree Στο Σχ. 6.1 παρουσιάζονται όλες οι Tone Mapped εικόνες των αντίστοιχων HDR που χρησιμοποιήθηκαν. Επειδή οι HDR εικόνες έχουν πολλές φορές περιοχές που είναι πολύ φωτεινές ή πολύ σκοτεινές τα συμβατικά μέτρα σφάλματος δεν είναι πολύ αξιόπιστα [10]. Για αυτό το λόγο 65

68 66 ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ Σχήμα 6.1: Εικόνες που αξιολογήθηκαν. τα αριθμητικά μέτρα που θα χρησιμοποιήσουμε είναι το μέσο τετραγωνικό σφάλμα των δύο εικόνων, η μέση απόσταση των δύο εικόνων στο χρωματικό χώρο L*a*b* και το μέσο τετραγωνικό σφάλμα με την μη γραμμική σχέση του Daly στον ίδιο χρωματικό χώρο. Τα αποτελέσματα θα αφορούν ξεχωριστά κάθε μέθοδο με τις διάφορες εκδοχές της. Για την πρώτη μέθοδο συμπίεσης του Ward, θα εξετάσουμε τις δύο εκδοχές με του δύο διαφορετικόυς τρόπους διόρθωσης. Και για τη δεύτερη του Okuda, θα εξετάσουμε με τους δύο τρόπους ανακατασκευής της HDR εικόνας. Μέσο τετραγωνικό σφάλμα Το μέσο τετραγωνικό σφάλμα των δύο εικόνων στο χώρο RGB, αποτελεί ένα κλασσικό μέτρο σύγκρισης και δίνεται από τη σχέση: MSE RGB = 1 K,N m=1,n=1 (R1 R 2 ) 2 + (G 1 G 2 ) 2 + (B 1 B 2 ) 2 (6.1) όπου το Κ είναι ο αριθμός των εικονοστοιχείων της εικόνας και M, N οι διαστάσεις της. Μέση απόσταση στον χρωματικό χώρο L*a*b Το μέσο τετραγωνικό σφάλμα στον χρωματικό χώρο L*a*b είναι ένα από τα πιο αξιόπιστα κριτήρια για τις έγχρωμες εικόνες. Αξιολογούμε την χρωματική διαφορά των δύο εικόνων από την απόσταση που έχουν σε αυτόν τον χώρο. Η σχέση που δίνει το σφάλμα αυτό είναι: MSE Lab = 1 K M,N m=1,n=1 (L1 L 2 ) 2 + (a 1 a 2 ) 2 + (b 1 b 2 ) 2 (6.2)

69 67 όπου το Κ είναι ο αριθμός των εικονοστοιχείων της εικόνας και M, N οι διαστάσεις της. Μέσο τετραγωνικό σφάλμα φωτεινότητας με την μη γραμμικότητα του Daly Για να αξιολογήσουμε μόνο την φωτεινότητα μεταξύ των δύο εικόνων θα χρησιμοποιήσουμε την τροποποιημένη ένταση που προκύπτει από τη μη γραμμική σχέση του Daly [12]: DN(x) = x x x 0.63 (6.3) Και στη συνέχεια θα υπολογίσουμε την μέση τετραγωνική απόσταση: MSE DN = 1 M,N (DN(Y 1 ) DN(Y 2 )) K 2 (6.4) m=1,n=1 όπου το Κ είναι ο αριθμός των εικονοστοιχείων της εικόνας και M, N οι διαστάσεις της.

70 68 ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ ΑΠΟΤΕΛΕΣΜΑΤΑ TΗΣ ΜΕΘΟΔΟΥ ΤΟΥ WARD Σχήμα 6.2: Apartment. Σχήμα 6.3: Atrium Night.

71 69 Σχήμα 6.4: Dani Belgium. Σχήμα 6.5: Desk.

72 70 ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ Σχήμα 6.6: Display Σχήμα 6.7: Memorial Church.

73 71 Σχήμα 6.8: Mountain. Σχήμα 6.9: Rend 07.

74 72 ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ Σχήμα 6.10: Rend 10. Σχήμα 6.11: Tree.

75 73 ΑΠΟΤΕΛΕΣΜΑΤΑ TΗΣ ΜΕΘΟΔΟΥ ΤΟΥ OKUDA Σχήμα 6.12: Apartment. Σχήμα 6.13: Atrium Night.

76 74 ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ Σχήμα 6.14: Dani Belgium. Σχήμα 6.15: Desk.

77 75 Σχήμα 6.16: Display Σχήμα 6.17: Memorial Church.

78 76 ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ Σχήμα 6.18: Mountain. Σχήμα 6.19: Rend 07.

79 77 Σχήμα 6.20: Rend 10. Σχήμα 6.21: Tree.

80 78 ΜΕΤΡΑ ΑΞΙΟΛΟΓΗΣΗΣ - ΑΠΟΤΕΛΕΣΜΑΤΑ

81 ΚΕΦΑΛΑΙΟ 7 ΣΥΜΠΕΡΑΣΜΑΤΑ Στο προηγούμενο κεφάλαιο παρουσιάστηκαν διαγραμματικά τα αποτελέσματα των δύο μεθόδων με τις διαφορετικές εκδοχές τους στις 10 φωτογραφίες της επιλογής μας. Όπως, είναι λογικό και οι δύο μέθοδοι παρουσίαζαν καλύτερα αποτελέσματα όταν η ποιότητα συμπίεσης των εικόνων ήταν υψηλή. Επομένως, ενδείκνυται για την συμπίεση των HDR εικόνων με τις συγκεκριμένες μεθόδους να χρησιμοποιούνται υψηλή ποιότητα συμπίεσης JPEG, πάνω από 90%. Με το συγκεκριμένο όριο πετυχαίνουμε ικανοποιητική συμπίεση και μικρό σφάλμα συμπίεσης. Για συμπίεση με μικρότερη ποιότητα στις περισσότερες εικόνες το σφάλμα είναι αρκετά υψηλό με αποτέλεσμα να αποκλείνουμε από το στόχο διατήρησης της μέγιστης πληροφορίας. Σε αυτό το κεφάλαιο θα επικεντρωθούμε κυρίως στα αποτελέσματα που προκύπτουν έπειτα από συμπίεση με υψηλής ποιότητα καθώς και με τις βέλτιστες εκδοχές των μεθόδων που υλοποιήσαμε (βλέπε Πίνακες 7.1 και 7.2). 7.1 Συμπίεση με JPEG-HDR Στον πρώτο πίνακα παρουσιάζονται τα αποτελέσματα της συμπίεσης JPEG-HDR με ποιότητα συμπίεσης 90% και 100%. Πρέπει να σημειωθεί ότι η ποιότητα συμπίεσης χρησιμοποιήθηκε τόσο για τη συμπίεση της βασική Tone Mapped εικόνας αλλά και για τη συμπίεση της Ratio Image. Τα αποτελέσματα που παρουσιάζονται στον συγκεκριμένο πίνακα αφορούν την εκδοχή του αλγορίθμού στην οποία η μείωση της ανάλυσης της RI γίνεται με διγραμμική παρεμβολή. Η συγκεκριμένη εκδοχή παρουσίασε τα καλύτερα αποτελέσματα σε σχέση με τις άλλες. 79

82 80 ΣΥΜΠΕΡΑΣΜΑΤΑ Image Qual. CR MSE MD L*a*b DN MSE Appartment Atriu Night Dani Belgium Desk Dispaly Memorial Mountain Rend Rend Tree Πίνακας 7.1: Αποτελέσματα της μεθόδου του Ward et al.

83 Συμπίεση με την μέθοδο Okuda 81 Όπως φαίνεται στον πίνακα υπάρχει μεγάλη διαφορά στο ποσοστό συμπίεσης (Compression Ratio - CR) ανάμεσα στις εικόνες που συμπιέστηκαν με ποιότητα 90% και 100%. Στις περισσότερες εικόνες για συμπίεση με ποιότητα JPEG 90% το CR είναι διπλάσιο και ορισμένες φορές τριπλάσιο από ότι με ποιότητα 100%, χωρίς σχετικά μεγάλη μεταβολή των σφαλμάτων. Επομένως θα μπορούσε κανείς ανάλογα με την εφαρμογή και τις προδιαγραφές να επιλέξει εάν θέλει μεγαλύτερη ή μικρότερη συμπίεση και την ανάλογη ποιότητα. Επίσης παρατηρούμε ότι στις εικόνες υψηλής ανάλυσης, όπως η Display 1000 και η Apartment, οι οποίες έχουν ανάλυση το σφάλμα είναι μεγαλύτερο σε σχέση με άλλες εικόνες χαμηλότερης ανάλυσης. Αυτό οφείλεται στο γεγονός ότι δεν έχει αποθηκευθεί η απαραίτητη πληροφορία για την σωστή ανακατασκευή της αρχικής εικόνας. Δηλαδή η υποδειγματοληπτημένη RI δεν περιέχει όλη την πληροφορία εκείνη που χρειάζεται για την σωστή ανακατασκευή της εικόνας. Για να βελτιώθει το αποτέλεσμα ένας τρόπος θα ήταν να διαιρεθεί η εικόνα σε δύο μέρη μικρότερων διαστάσεων και στην συνέχεια να εφαρμόστει ο αλγόριθμος συμπίεσης στο καθέ μέρος ξεχωριστά. 7.2 Συμπίεση με την μέθοδο Okuda Στο δεύτερο πίνακα παρουσιάζονται τα αποτελέσματα με ποιότητα συμπίεσης 90% και 100% για την δεύτερη μέθοδο που υλοποιήσαμε. Πρέπει να σημειωθεί ότι η ποιότητα συμπίεσης χρησιμοποιήθηκε τόσο για τη συμπίεση της βασική Tone Mapped εικόνας αλλά και για τη συμπίεση της Residual Image. Τα αποτελέσματα που παρουσιάζονται στον συγκεκριμένο πίνακα αφορούν την εκδοχή του αλγορίθμού στην οποία η συντήρηση χρώματος της εικόνας έγινε με την μέθοδο του Okuda. Όπως φαίνεται στον πίνακα και σε αυτή τη μέθοδο υπάρχει μεγάλη διαφορά στο ποσοστό συμπίεσης (Compression Ratio - CR) ανάμεσα στις εικόνες που συμπιέστηκαν με ποιότητα 90% και 100%. Στις περισσότερες εικόνες για συμπίεση με ποιότητα JPEG 90% το CR είναι διπλάσιο από ότι με ποιότητα 100%. Εδώ όμως σε αρκετές εικόνες παρουσιάζεται μεγάλη μεταβολή του σφάλματος σε σχέση με την προηγούμενη μέθοδο. Οπότε, συμπαιρένουμε ότι η συγκεκριμένη μέθοδος επιφέρει σημαντικά καλύτερα αποτελέσματα για υψηλή ποιότητα συμπίεσης. Στη συγκεκρεμένη μέθοδο, οι εικόνες υψηλής ανάλυσης δεν παρουσιάζουν μεγαλύτερα σφάλματα από τις άλλες χαμηλότερης ανάλυσης. Αυτό συμβαίνει διότι στο συγκεκριμένο αλγόριθμο δεν εφαρμόστηκε υποδειγματοληψία της Residual Image σε αντίθεση με την προηγούμενη μέθοδο. Τέλος τα ποσοστά συμπίεσης είναι αρκετά μικρότερα από ότι στην προηγούμενη μέθοδος. Αυτό οφείλεται στο ότι δεν εφαρμόζεται υποδειγ-

84 82 ΣΥΜΠΕΡΑΣΜΑΤΑ Image Qual. CR MSE MD L*a*b DN MSE Appartment Atriu Night Dani Belgium Desk Dispaly Memorial Mountain Rend Rend Tree Πίνακας 7.2: Αποτελέσματα της μεθόδου του Okuda et al.

85 Συμπίεση με την μέθοδο Okuda 83 ματοληψία της Residual Image για να μειωθεί το μέγεθος της. Για περεταίρω συμπίεση θα μπορούσε κανείς να υποδειγαμτοληπτήσει την Residual Image ώστε να μειώσει το μέγεθος της και στην συνέχεια να εφάρμοσει καποια από τις τεχνικές διόρθωσης που αναφέρθηκαν στο Κεφάλαιο 5.

86 84 ΣΥΜΠΕΡΑΣΜΑΤΑ

87 ΠΑΡΑΡΤΗΜΑ Αʹ DATABASE Στο παράρτημα αυτό παρουσιάζονται οι φωτογραφίες που συμπιέστηκαν και για τις οποίες παρουσιάστηκαν τα διαγράμματα στο Κεφάλαιο 7. Σχήμα Αʹ.1: Apartment. 85

88 86 DATABASE Σχήμα Αʹ.2: AtriumNight. Σχήμα Αʹ.3: Dani belgium.

89 87 Σχήμα Αʹ.4: Desk. Σχήμα Αʹ.5: Display1000.

90 88 DATABASE Σχήμα Αʹ.6: Memorial. Σχήμα Αʹ.7: MtTamWest.

91 89 Σχήμα Αʹ.8: Rend07. Σχήμα Αʹ.9: Rend10.

92 90 DATABASE Σχήμα Αʹ.10: Tree.