Διπλωματική Εργασία της φοιτήτριας του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: Συστημάτων και Αυτομάτου Ελέγχου ΕΡΓΑΣΤΗΡΙΟ: Ψηφιακής Επεξεργασίας Σημάτων και Εικόνας Διπλωματική Εργασία της φοιτήτριας του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Παναγοπούλου Δάφνης-Ελένης του Ξενοφώντος Αριθμός Μητρώου: Θέμα Απεικόνιση Εικόνων Υψηλής Δυναμικής Περιοχής Επιβλέπων Σκόδρας Αθανάσιος Αριθμός Διπλωματικής Εργασίας: /2017 Πάτρα, Μάρτιος 2017

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα Απεικόνιση Εικόνων Υψηλής Δυναμικής Περιοχής Της φοιτήτριας του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Παναγοπούλου Δάφνης-Ελένης του Ξενοφώντος Αριθμός Μητρώου: Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Καθηγητής Σκόδρας Αθανάσιος Ο Διευθυντής του Τομέα Καθηγητής Κούσουλας Νικόλαος

3 Αριθμός Διπλωματικής Εργασίας: /2017 Θέμα: Απεικόνιση Εικόνων Υψηλής Δυναμικής Περιοχής Φοιτήτρια: Παναγοπούλου Δάφνη-Ελένη Επιβλέπων: Σκόδρας Αθανάσιος

4 Ευχαριστίες Θα ήθελα να ευχαριστήσω την οικογένεια μου, που πάντα με στηρίζει, με βοηθά και με καθοδηγεί, τον επιβλέποντα καθηγητή της διπλωματικής μου εργασίας κ. Σκόδρα, για την ιδιαίτερα συμβουλευτική και ωφέλιμη καθοδήγηση καθ όλη τη διάρκεια της εποικοδομητικής μας συνεργασίας και τους φίλους μου, από τους οποίους ο καθένας με στηρίζει με το δικό του τρόπο.

5 Περίληψη Οι εικόνες υψηλής δυναμικής περιοχής (HDR), που έχουν κάνει την εμφάνισή τους τα τελευταία χρόνια, έχουν κεντρίσει το ενδιαφέρον τόσο για ερευνητικούς όσο και για εμπορικούς σκοπούς. Πρόκειται για μια τεχνική δημιουργίας ψηφιακής εικόνας, ικανής να αποτυπώσει τη φωτεινότητα της σκηνής που υπάρχει στην πραγματικότητα, δηλαδή όπως την αντιλαμβάνεται ο άνθρωπος, προσδίδοντάς στην εικόνα μια ρεαλιστική αίσθηση. Λόγω της διαφορετικής κωδικοποίησης των εικόνων HDR, δε μπορούμε να τις απεικονίσουμε στις συμβατικές συσκευές που χρησιμοποιούμε σήμερα αλλά για την απεικόνισή τους απαιτούνται οθόνες ικανές να αναπαράγουν το μεγάλο αυτό δυναμικό εύρος που όμως έχουν και υψηλό κόστος. Προς το παρόν, η χρυσή τομή που έχει βρεθεί για να γεφυρώσει το χάσμα μεταξύ της προχωρημένης τεχνολογίας δημιουργίας ψηφιακής εικόνας και του υπάρχοντος υλικού για την απεικόνισή της ονομάζεται χρωματική αντιστοίχιση ή χρωματική απεικόνιση (tone mapping). Κατά τη διαδικασία αυτή, το μεγάλο εύρος φωτεινότητας μιας HDR εικόνας συμπιέζεται σε ένα αρκετά μικρότερο ικανό να μπορεί να αναπαραχθεί από τις συμβατικές οθόνες που χρησιμοποιούμε. Η χρωματική απεικόνιση δεν είναι μοναδική αλλά υπάρχουν πολλοί αλγόριθμοι που έχουν δημιουργηθεί, ο καθένας με τα πλεονεκτήματα και τα μειονεκτήματά του, για να επιτελέσουν αυτή τη διαδικασία. Οι αλγόριθμοι αυτοί ονομάζονται τελεστές χρωματικής αντιστοίχισης, Tone Mapping Operators (TMOs). Στην παρούσα διπλωματική θα ασχοληθούμε με τη μελέτη κάποιων τελεστών καθώς και με τη δημιουργία δύο νέων τελεστών. Στη συνέχεια θα προχωρήσουμε στην εφαρμογή τους και θα ακολουθήσει αντικειμενική και υποκειμενική αξιολόγηση των αποτελεσμάτων, δηλαδή των tone mapped εικόνων, για να συμπεράνουμε πώς κάθε τελεστής επηρεάζει την ποιότητα της τελικής εικόνας.

6 Abstract The field of high dynamic range imaging (HDRI) has experienced significant growth in recent years due to increases in both academic and commercial interest. The primary reason is that, HDR content is visually more appealing and realistic as it can represent faithfully the dynamic range of the real world. Although, the HDRI gives extremely good results, by rendering the real dynamic range of the scene, the HDR images can not be displayed on standard dynamic range (SDR) devices that we use nowadays, because of their limited dynamic range. Only special HDR displays are able to reproduce HDR images, but they are too expensive at the moment. During the last decade, many image reproduction algorithms and devices have been developed to reproduce the high dynamic range real-world scenes onto various output technologies with limited luminance dynamic range capabilities. The technique that is used to transform HDR images to the limited range of most existing devices is called tone mapping and the correlated developed algorithms are the Tone Mapping Operators (TMOs). The aim of that diploma thesis is to use some TMOs, study their performance, implement two new TMOs and apply them to HDR image sets. Then, make a subjective assessment and an objective assessment about the quality of the final tone mapped images. After the assessment results, we will be able to conclude if a correlation exists between TMOs and the final quality of the image and how each TMO is affecting the perceived quality of an image.

7 ΠΕΡΙΕΧΟΜΕΝΑ Κεφάλαιο 1 Εισαγωγή στην Ψηφιακή Εικόνα Ψηφιακή Εικόνα Βασικά στοιχεία χρώματος Χρωματικά Μοντέλα RGB Χρωματικό Μοντέλο CMY Χρωματικό Μοντέλο YIQ Χρωματικό Μοντέλο HSI Χρωματικό Μοντέλο HSV Χρωματικό Μοντέλο HSL Χρωματικό Μοντέλο CIELAB Χρωματικός Χώρος YCbCr Χρωματικό Μοντέλο Κεφάλαιο 2 HDR imaging Εικόνες Υψηλής Δυναμικής Περιοχής Διαδικασία του HDR imaging Περιγραφή Διπλωματικής Εργασίας Κεφάλαιο 3 Χρωματική Απεικόνιση Εισαγωγή στην έννοια της Χρωματικής Απεικόνισης Τελεστές Χρωματικής Απεικόνισης Καθολικοί Τελεστές Εκθετικός Τελεστής Χρωματικής Απεικόνισης Λογαριθμικός Τελεστής Χρωματικής Απεικόνισης Λογαριθμικά Προσαρμοζόμενη Χρωματική Απεικόνιση Τοπικοί Τελεστής Χρωματικής Απεικόνισης Αναπαραγωγή Φωτογραφικού Τόνου Αλγόριθμος Χρωματικής Απεικόνισης για Εικόνες Υψηλής Αντίθεσης Τελεστές Κατάτμησης Κατάτμηση και Προσαρμοζόμενη Αφομοίωση για Διατήρηση Λεπτομερειών Τελεστές Χρωματικής Απεικόνισης Βασισμένοι στη Συχνότητα... 27

8 3.6.1 Τελεστής Διμερούς Φίλτρου Συμπίεση Διαβάθμισης Τελεστής Προσαρμοζόμενος στην Οθόνη Κεφάλαιο 4 Δημιουργία νέων τελεστών Εύρεση κατάλληλης συνάρτησης Δομή νέου Τελεστή Τελεστής tan(x) Τελεστής sinh 1 x Κεφάλαιο 5 Κριτήρια αξιολόγησης ποιότητας εικόνων Υποκειμενικά κριτήρια αξιολόγησης ποιότητας εικόνων Εκτίμηση μοναδικού ερεθίσματος Εκτίμηση διπλού ερεθίσματος Εκτίμηση ανά ζεύγη με εξαναγκασμένη επιλογή Αντικειμενικά κριτήρια αξιολόγησης ποιότητας εικόνων Μέσο Τετραγωνικό Σφάλμα Λόγος Μέγιστου Σήματος προς Θόρυβο Δείκτης Δομικής Ομοιότητας Αντικειμενικά κριτήρια αξιολόγησης εικόνων για HDR εικόνες Δείκτης ποιότητας για tone mapped εικόνες Πρόβλεψη οπτικής διαφοράς Κεφάλαιο 6 Διεξαγωγή αξιολογήσεων Επιλογή και επεξεργασία εικόνων προς αξιολόγηση Αξιολόγηση Εικόνων Υποκειμενική Αξιολόγηση Ποιότητας Εικόνων στο Εργαστήριο Διαδικτυακή Υποκειμενική Αξιολόγηση Ποιότητας Εικόνων Αντικειμενική Αξιολόγηση Ποιότητας Εικόνων Κεφάλαιο 7 Αποτελέσματα-Συμπεράσματα Αποτελέσματα Υποκειμενικής Αξιολόγησης στο Εργαστήριο Αποτελέσματα Διαδικτυακής Υποκειμενικής Αξιολόγησης Αποτελέσματα Αντικειμενικής Αξιολόγησης Αποτελέσματα του δείκτη TMQI... 51

9 7.3.2 Αποτελέσματα του HDR-VDP Σχολιασμός Συμπεράσματα Βιβλιογραφία Παράρτημα Α Κώδικες Α. Κώδικες που αναπτύχθηκαν στα πλαίσια της διπλωματικής εργασίας Α.1 Myhist function Α.2 Lumfilter function Α.3 AsinhTMO Α.4 TanTMO Παράρτημα Β Tone mapped εικόνες Β. Tone mapped εικόνες B.1 AsinhTMO B.2 DragoTMO B.3 DurandTMO Β.4 ExpTMO Β.5 MantiukTMO B.6 ReinhardTMO Β.7 TanTMO... 79

10 ΑΠΟΔΟΣΗ ΑΓΓΛΙΚΩΝ ΟΡΩΝ ΣΤΗΝ ΕΛΗΝΙΚΗ Bilateral filter Διμερές φίλτρο Bit depth Βάθος μπιτ Brightness Λαμπρότητα Burning and dodge Κάψιμο και φώτισμα Cathode Ray Tube Οθόνη Καθοδικού Σωλήνα Color Depth Βάθος χρώματος Compact disc Ψηφιακός δίσκος Cones Κωνία Contrast ratio Λόγος αντίθεσης Device dependent Εξαρτώμενο από τη συσκευή Double stimulus Διπλού ερεθίσματος Exposure Έκθεση Frequency/gradient operator Τελεστής συχνότητας/διαβάθμισης Full-reference Πλήρους αναφοράς Gamma correction Διόρθωση Γάμμα Global operator Καθολικός τελεστής Gray-scale image Ασπρόμαυρη εικόνα High Dynamic Range Υψηλής Δυναμικής Περιοχής Hue Απόχρωση Human Visual System Ανθρώπινο Σύστημα Όρασης Image Quality Assessment Αξιολόγηση Ποιότητας Εικόνας Intensity Ένταση Liquid Crystal Display Οθόνη Υγρών Κρυστάλλων Local operator Τοπικός τελεστής Low dynamic Range Χαμηλής Δυναμικής Περιοχής Luminance Φωτεινότητα Mean Opinion Score Μέση Υποκειμενική Εκτίμηση Mean squared error Μέσω τετραγωνικό σφάλμα No-reference Χωρίς αναφορά Output/display referred Αναφερόμενος στην έξοδο/οθόνη Peak Signal to Noise Ratio Λόγος Μέγιστου Σήματος προς Θόρυβο Pixel Εικονοστοιχείο Pooling Ομαδοποίηση Primary Colors Πρωτεύοντα χρώματα Radiance Ακτινοβολία Reduced-reference Μειωμένης αναφοράς Rods Ραβδία Saturation Κορεσμός Scene referred Αναφερόμενος στη σκηνή Secondary colors Δευτερεύοντα χρώματα Segmentation operator Τελεστής κατάτμησης Spatial frequency band Ζώνη χωρικής συχνότητας Structural Similarity Index Δείκτης Δομικής Ομοιότητας Test image Εικόνα προς εκτίμηση Threshold vs intensities function Συνάρτηση κατωφλίου-έντασης Tone Mapped images Quality Index Δείκτης Ποιότητας για Tone Mapped εικόνες Tone mapping Χρωματική απεικόνιση/αντιστοίχιση Tone Mapping Operator Τελεστής Χρωματικής Αντιστοίχισης Visual contrast Οπτική αντίθεση Visual Difference Prediction Πρόβλεψη Οπτικής Διαφοράς

11 ΑΚΡΩΝΥΜΙΑ CMY HDR HDRI HDR-VDP HSI HSV IQA ITU LDS MOS MSE PSNR QFHD RGB SDR SSIM TMO TMQI Cyan, Magenta, Yellow High Dynamic Range High Dynamic Range Imaging High Dynamic Range-Visual Difference Prediction Hue, Saturation, Intensity Hue, Saturation, Value Image Quality Assessment International Telecommunication Union Low Dynamic Range Mean Opinion Score Mean Squared Error Peak Signal to Noise Ratio Quad Full High Definition Red, Green, Blue Standard Dynamic Range Structural Similarity Index Tone Mapping Operator Tone Mapped images Quality Index

12 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα Κεφάλαιο 1 Εισαγωγή στην Ψηφιακή Εικόνα 1.1 Ψηφιακή Εικόνα Τα τελευταία χρόνια γινόμαστε μάρτυρες μιας μοναδικής ανάπτυξης και εξάπλωσης των ψηφιακών μέσων σε όλους τους τομείς της ζωής μας. Μετά την επικράτηση του ψηφιακού ήχου με τη χρήση των CDs, φαίνεται πως οδεύουμε προς την επικράτηση της ψηφιακής εικόνας αφού ήδη βρίσκεται παντού γύρω μας: από τα κινητά τηλέφωνα και τις εφαρμογές πολυμέσων μέχρι εφαρμογές ιατρικής κι επιστημονικής απεικόνισης. Οι βασικές έννοιες και περιγραφές που ακολουθούν, στόχο έχουν την κατανόηση της ψηφιακής εικόνας και τους τρόπους αναπαράστασής της και είναι βασισμένες στο βιβλίο «Ψηφιακή Επεξεργασία & Ανάλυση Εικόνας» [1]. Μια ψηφιακή εικόνα i[m, n] αναπτύσσεται σε ένα διακριτό χώρο δύο διαστάσεων και παράγεται από την ψηφιοποίηση µιας αναλογικής εικόνας i[x,y] που αναπτύσσεται σε ένα συνεχή χώρο µε διαστάσεις x και y [2]. Πιο απλά, θέλουμε να πούμε ότι μια πραγματική εικόνα μεταφέρεται στον ψηφιακό κόσμο με τη μορφή διακριτού σήματος που έχει τη μορφή ψηφιακών πινάκων. Τα εικονοστοιχεία (pixels) είναι εκείνα τα τετραγωνάκια που συνθέτουν την ψηφιακή εικόνα και κάθε ένα από αυτά αντιπροσωπεύει το χρώμα της εικόνας στο σημείο αυτό. Η πιο απλή μορφή ψηφιακής εικόνας είναι η δυαδική μορφή, στην οποία κάθε εικονοστοιχείο μπορεί να πάρει την τιμή 1 ή την τιμή 0, δηλαδή άσπρο ή μαύρο χρώμα. Μεγαλύτερη λεπτομέρεια δίνουν οι ασπρόμαυρες (grayscale) εικόνες που αποτελούνται από εικονοστοιχεία με τιμές που αντιστοιχούν σε αποχρώσεις του γκρι. Το ανθρώπινο μάτι μπορεί να αντιληφθεί πάνω από 200 διαφορετικές αποχρώσεις του γκρι και γι αυτό το λόγο οι τιμές των εικονοστοιχείων σε μια ασπρόμαυρη εικόνα λαμβάνουν τιμές από 0 μέχρι 255. Για την απεικόνιση του πραγματικού κόσμου χρησιμοποιούμε τις έγχρωμες ψηφιακές εικόνες. Όπως θα δούμε και στη συνέχεια, μια έγχρωμη ψηφιακή εικόνα μπορεί να θεωρηθεί ότι συντίθεται από τρεις επιμέρους εικόνες, κάθε μία από τις οποίες αντιστοιχεί σε μια χρωματική συνιστώσα. Στην Εικόνα 1.1 βλέπουμε την ίδια εικόνα στις τρεις ψηφιακές μορφές. 1

13 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα (α) (β) (γ) Εικόνα 1.1 Μορφές ψηφιακής εικόνας: (α) δυαδική μορφή, (β) μονοχρωματική μορφή αποχρώσεων του γκρι, (γ) έγχρωμη μορφή Μια εικόνα διαστάσεων N M και πλήθους αποχρώσεων G = 2 m απαιτεί b = N M m bits για να αποθηκευτεί. Το m ονομάζεται βάθος bit (bit depth) ή βάθος χρώματος (color depth) και εκφράζει το ποσό της χρωματικής πληροφορίας για εμφάνιση ή εκτύπωση της εικόνας. Μεγαλύτερο βάθος bit σημαίνει περισσότερες διαθέσιμες αποχρώσεις και αποχρώσεις που αποδίδονται με μεγαλύτερη ακρίβεια στις ψηφιακές εικόνες. Μια έγχρωμη εικόνα, αφού συντίθεται από 3 μονοχρωματικές εικόνες, προφανώς απαιτεί τριπλάσιο αριθμό bits από μια ασπρόμαυρη. Ένα ακόμα χαρακτηριστικό της ψηφιακής εικόνας είναι η ανάλυσή της (resolution). Η ευκρίνεια μιας εικόνας ορίζεται από την πυκνότητα των εικονοστοιχείων της, δηλαδή καθορίζει το πόσο καλά μπορούμε να βλέπουμε τις λεπτομέρειες στην εικόνα αυτή. Ισούται με το πλήθος των εικονοστοιχείων ανά μονάδα μήκους και συνήθως μετράται σε εικονοστοιχεία/in ή διαφορετικά σε dpi (dots per inch). Για παράδειγμα, σε μια ψηφιακή εικόνα 300dpi περιέχονται = εικονοστοιχεία ανά in 2. Η ευκρίνεια εξαρτάται από τις διαστάσεις της εικόνας γι αυτό και αν κρατήσουμε σταθερό το μέγεθος της εικόνας αλλά μειώσουμε την ευκρίνειά της, το μέγεθος των εικονοστοιχείων μεγαλώνει κι οι λεπτομέρειες χάνονται. Αυτό φαίνεται και στην Εικόνα

14 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα Εικόνα 1.2 Μεταβολή της ευκρίνειας διατηρώντας σταθερό το μέγεθος της εικόνας. (α) Αρχική εικόνα, (β) Μείωση της ευκρίνειας στο μισό, (γ) Μείωση της ευκρίνειας στο ένα τέταρτο, (δ) Μείωση της ευκρίνειας στο ένα όγδοο της αρχικής. Καθώς η ευκρίνεια μειώνεται, το κάθε εικονοστοιχείο διακρίνεται με το μάτι και οι λεπτομέρειες της εικόνας χάνονται. Το σύστημα συντεταγμένων που χρησιμοποιείται για να γνωρίζουμε τη θέση του κάθε εικονοστοιχείου στην επεξεργασία εικόνας ορίζει το σημείο (0,0) στην πάνω αριστερή γωνία με θετικό τον άξονα X προς τα δεξιά και θετικό τον άξονα Y προς τα κάτω, όπως φαίνεται και στην Εικόνα 1.3. Εικόνα 1.3 Το συνηθισμένο σύστημα συντεταγμένων στις εικόνες. 3

15 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα 1.2 Βασικά στοιχεία χρώματος Το χρώμα έτσι όπως το αντιλαμβάνεται το ανθρώπινο μάτι προέρχεται από την επίδραση της ακτινοβολίας φωτεινών πηγών και της ανάκλασης των επιφανειών των αντικειμένων. Το φως παράγεται κι αντανακλάται σε διαφορετικά μήκη κύματος με αποτέλεσμα κάθε αντικείμενο να αποκτά το φυσικό του χρώμα. Η ανάλυση μιας δέσμης λευκού φωτός από ένα πρίσμα, Εικόνα 1.4, μας δίνει τα χρώματα του ορατού φάσματος και στον Πίνακα 1.1 φαίνονται τα αντίστοιχα μήκη κύματός τους. Εικόνα 1.4 Ανάλυση χρωμάτων μέσω του πρίσματος. Πίνακας 1.1 Μήκη κύματος ορατού φάσματος. 4

16 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα Παρατηρώντας τα χρώματα που δίνει η ανάλυση του φωτός από το πρίσμα ή τα χρώματα σε ένα ουράνιο τόξο, βλέπουμε ότι λείπουν πολλά χρώματα από αυτά που γνωρίζουμε, όπως για παράδειγμα το καφέ. Αν λάβουμε υπόψη τη φυσιολογία του ανθρώπινου ματιού που δημιουργεί την αίσθηση των χρωμάτων θα καταλάβουμε γιατί αντιλαμβανόμαστε χρώματα που δεν υπάρχουν στο ορατό φάσμα. Στον αμφιβληστροειδή χιτώνα του ανθρώπινου ματιού συναντούμε τα κύτταρα-φωτοϋποδοχείς που χωρίζονται σε δύο κατηγορίες: τα κωνία και τα ραβδία. Τα ραβδία είναι υπεύθυνα για την όραση υπό αμυδρό φως ενώ τα κωνία για την αντίληψη των χρωμάτων. Υπάρχουν τρία είδη κωνικών κυττάρων που διαφοροποιούνται από τη δυνατότητά τους να μετατρέπουν διαφορετικά μήκη κύματος ηλεκτρομαγνητικής ακτινοβολίας σε πληροφορία για τον εγκέφαλο. Οι τρεις τύποι κωνίων είναι [3]: S-κωνία: είναι ευαίσθητα σε φωτόνια μικρού μήκους κύματος και παρουσιάζουν μέγιστη ευαισθησία σε μήκος κύματος περίπου 420 nm. Είναι ευαίσθητα στο μπλε φως. Μ-κωνία: είναι ευαίσθητα σε φωτόνια μεσαίου μήκους κύματος και παρουσιάζουν μέγιστη ευαισθησία σε μήκος κύματος περίπου 530 nm. Είναι ευαίσθητα στο πράσινο φως. L-κωνία: είναι ευαίσθητα σε φωτόνια μεγάλου μήκους κύματος και παρουσιάζουν μέγιστη ευαισθησία σε μήκος κύματος περίπου 560 nm. Είναι ευαίσθητα στο κόκκινο φως. Το φως, καθώς προσπίπτει στα κωνικά κύτταρα, τα διεγείρει ανάλογα με τα μήκη κύματος που περιλαμβάνει. Τα κωνικά κύτταρα στέλνουν σήματα που φιλτράρονται μέσα από το οπτικό νεύρο και οδηγούνται στον εγκέφαλο. Η όλη διαδικασία δημιουργεί την τελική αντίληψη των χρωμάτων από τον άνθρωπο. Κάθε χρώμα που αντιλαμβανόμαστε οφείλεται στους συνδυασμούς των σημάτων που δίνει το μάτι [3]. Εικόνα 1.5 Απόκριση των S, M, L και μήκος κύματος. Εξαιτίας της δομής του ανθρώπινου ματιού, όλα τα χρώματα θεωρούνται συνδυασμοί τριών βασικών χρωμάτων (primary colors): του κόκκινου (R), του πράσινου (G) και του μπλε (B). Σύμφωνα με την τριχρωματική θεωρία κάθε απόχρωση μπορεί να επιτευχθεί με την προσθετική ανάμειξη των τριών βασικών χρωμάτων. Τα χρώματα που προκύπτουν από την ανάμειξη δύο εκ των τριών βασικών χρωμάτων, λέγονται δευτερεύοντα (secondary) χρώματα και είναι το κίτρινο, το κυανό και το ιώδες. Η ανάμειξη ίσων ποσοτήτων των τριών βασικών χρωμάτων μας δίνει λευκό 5

17 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα χρώμα ενώ η ανάμειξη ίσων ποσοτήτων των τριών δευτερευόντων χρωμάτων μας δίνει το μαύρο χρώμα, Εικόνα 1.6. Για να κατανοήσουμε καλύτερα πώς προκύπτουν τα χρώματα από την ανάμειξη των τριών βασικών χρωμάτων ας δούμε το χρωματικό διάγραμμα, Εικόνα 1.7(α). Στις 3 γωνίες του διαγράμματος έχουμε τα βασικά χρώματα και στο κέντρο, όπου έχουν αναμειχθεί σε ίσες ποσότητες συναντούμε το λευκό. Ενώνοντας με τρεις ευθείες τρία σημεία του διαγράμματος δημιουργούμε ένα τρίγωνο που περικλείει κάθε πιθανό συνδυασμό χρώματος που μπορεί να προκύψει από την ανάμειξη αυτών των χρωμάτων, Εικόνα 1.7(β). (α) (β) Εικόνα 1.6 (α) Βασικά χρώματα, (β)δευτερεύοντα χρώματα και οι αναμείξεις τους. (α) (β) Εικόνα 1.7 (α) Χρωματικό διάγραμμα, (β) χρωματικό διάγραμμα με επιλογή 3 σημείων και τους πιθανούς συνδυασμούς χρωμάτων που προκύπτουν. Οι βασικές ποσότητες που περιγράφουν ένα χρώμα είναι η ακτινοβολία (radiance), η φωτεινότητα (luminance), η λαμπρότητα (brightness), η απόχρωση (hue) και ο κορεσμός (saturation). Η ακτινοβολία είναι το ποσό ενέργειας που εκπέμπεται από την πηγή φωτός και μετράται σε Watt. Η φωτεινότητα δίνει μια μέτρηση του ποσού της ενέργειας που λαμβάνει ο παρατηρητής και μετράται σε lumens. Η λαμπρότητα είναι ένα υποκειμενικό μέγεθος που δε μπορεί να υπολογιστεί. Συνδυάζει την αχρωματική έννοια της έντασης του φωτός (intensity) και είναι ένα από τα βασικά χαρακτηριστικά στην περιγραφή της αίσθησης του χρώματος. Τα επίπεδα του γκρι είναι η κλίμακα μέτρησης της έντασης. Η απόχρωση ή αλλιώς χροιά αντιπροσωπεύει το επικρατέστερο χρώμα όπως το αντιλαμβάνεται ο παρατηρητής. Τέλος, ο κορεσμός αναφέρεται στην 6

18 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα καθαρότητα του χρώματος, σε σχέση με την ποσότητα του λευκού φωτός με το οποίο αναμειγνύεται (τα καθαρά χρώματα είναι πλήρως κορεσμένα). 1.3 Χρωματικά Μοντέλα Ο χρωματικός χώρος ή αλλιώς το χρωματικό μοντέλο είναι ένα μαθηματικό σύστημα αναπαράστασης χρωμάτων. Ουσιαστικά, πρόκειται για έναν χώρο στον οποίο κάθε χρώμα αναπαρίσταται από ένα σημείο. Αφού, όπως προαναφέραμε, ο ορισμός ενός χρώματος απαιτεί τουλάχιστον τρία μεγέθη, τα συνηθέστερα χρωματικά μοντέλα είναι τρισδιάστατα. Τα περισσότερα μοντέλα είναι προσαρμοσμένα στα φυσικά εξαρτήματα υπολογιστικών συστημάτων (πχ οθόνες και εκτυπωτές) όπως είναι τα RGB, CMY και YIQ μοντέλα ή σε εφαρμογές όπου είναι επιθυμητή η διαχείριση των χρωμάτων (πχ graphic animation) όπως είναι τα HSI και HSV μοντέλα [1] RGB Χρωματικό Μοντέλο Το RGB, εμπνευσμένο από τον τρόπο που το ανθρώπινο μάτι αντιλαμβάνεται τα χρώματα, είναι ένας χρωματικός χώρος στον οποίο κάθε χρώμα προκύπτει από το συνδυασμό του κόκκινου (R), του πράσινου (G) και του μπλε (B). Σε αυτό το σημείο εισέρχεται κι ο παράγοντας της έντασης: αν τα τρία χρώματα δεν έχουν ένταση τότε αντιλαμβανόμαστε το μαύρο χρώμα, ενώ αν η έντασή τους είναι πλήρης, αντιλαμβανόμαστε το λευκό χρώμα. Επομένως, η ένταση του φωτός είναι ο παράγοντας που καθορίζει την αντίληψη των χρωμάτων και διαφορετικές εντάσεις παράγουν την απόχρωση του κάθε χρώματος ενώ η διαφορά στην ένταση ενός χρώματος καθορίζει την καθαρότητά του. Το RGB μοντέλο αναπαρίσταται με έναν κύβο, Εικόνα 1.8, σε κάθε γωνία του οποίου βρίσκονται τα βασικά, τα δευτερεύοντα χρώματα, το μαύρο και το άσπρο. Όλες οι αποχρώσεις του γκρι βρίσκονται στη διαγώνιο που ενώνει τη μαύρη με την άσπρη γωνία. Εικόνα 1.8 Κύβος αναπαράστασης RGB χρωματικού μοντέλου. Οι εικόνες που βασίζονται στο RGB μοντέλο αποτελούνται από τρία ανεξάρτητα επίπεδα, ένα για κάθε βασικό χρώμα. Έτσι κάθε έγχρωμη RGB εικόνα μπορεί να αναλυθεί σε επιμέρους μονοχρωματικές εικόνες που αντιστοιχούν στο κόκκινο, το πράσινο και το μπλε επίπεδο και όταν συνδυαστούν στην φωσφορίζουσα επιφάνεια παράγουν την έγχρωμη αρχική εικόνα. Αυτό φαίνεται στην Εικόνα

19 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα (α) (β) (γ) (δ) Εικόνα 1.9 Η έγχρωμη ψηφιακή εικόνα σε RGB μοντέλο και η ανάλυσή της στην (β) κόκκινη, (γ) πράσινη και (δ) μπλε συνιστώσα. Το RGB μοντέλο είναι εξαρτώμενο από τη συσκευή στην οποία εφαρμόζεται (device-dependent), δηλαδή εξαρτάται από τις δυνατότητες της χρησιμοποιούμενης συσκευής με αποτέλεσμα η ίδια εικόνα σε RGB μοντέλο να μην απεικονίζεται ομοιόμορφα σε διαφορετικές συσκευές. Με στόχο την ανάπτυξη ενός απλού χρωματικού χώρου που θα παρέχει τα ίδια χρώματα ανεξάρτητα από τις συσκευές που εφαρμόζεται έχει προταθεί το srgb μοντέλο. Χρησιμοποιώντας το srgb μοντέλο μπορεί να επιτευχθεί ομοιόμορφη απεικόνιση και μετάδοση των εικόνων από τις διαφορετικές συσκευές και εφαρμογές λογισμικού, δηλαδή μπορούμε να παίρνουμε στον εκτυπωτή αυτό που βλέπουμε στην οθόνη CMY Χρωματικό Μοντέλο Ενώ το RGB μοντέλο δημιουργήθηκε για την εξυπηρέτηση της αναπαραγωγής των εικόνων στις οθόνες των υπολογιστών, το CMY χρωματικό μοντέλο επινοήθηκε για την εξυπηρέτηση των αναγκών των εκτυπωτών. Λαμβάνοντας υπόψη ότι το RGB μοντέλο βασίζεται στην απεικόνιση χρωμάτων σε μαύρο φόντο κι έτσι έχει αρχικοποιήσει το μαύρο στο (0,0,0) και το λευκό στο (1,1,1), στο CMY μοντέλο τα πράγματα αντιστρέφονται: το φόντο είναι άσπρο (εκτύπωση σε λευκό χαρτί) και οι τιμές του μαύρου και του λευκού γίνονται (1,1,1) και (0,0,0) αντίστοιχα. Όπως είναι αναμενόμενο, αντιστρέφεται όλος ο χρωματικός κύβος με αποτέλεσμα οι κύριοι άξονες να αντιστοιχούν στα δευτερεύοντα και όχι στα βασικά χρώματα. Ο χρωματικός κύβος του CMY βρίσκεται στην Εικόνα 1.10 μαζί με τον κύβο του RGB για να διευκολυνθεί η σύγκριση. 8

20 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα (α) (β) Εικόνα 1.10 (α) Ο χρωματικός κύβος στο CMY μοντέλο αντεστραμμένος σε σχέση με τον (β) χρωματικό κύβο του RGB μοντέλου. Αφού τα RGB και CMY μοντέλα είναι συμπληρωματικά μεταξύ τους συνδέονται με την ακόλουθη σχέση, για κανονικοποιημένα μεγέθη: C 1 R [ M] = [ 1] [ G] (1.1) Y 1 B Στην εκτύπωση, τα τρία χρώματα που χρησιμοποιούνται ως βασικά (γαλάζιο, μωβ, κίτρινο) δεν υπάρχουν ως αμιγή χρώματα, βρίσκονται πάντα με μια συγκεκριμένη αναλογία χρώματος από τα άλλα βασικά χρώματα, με αποτέλεσμα να μην είναι καθαρά. Εξαιτίας αυτού δεν είναι δυνατό να τυπωθεί καθαρό μαύρο. Για την αντιμετώπιση αυτού του προβλήματος, το CMY μοντέλο έχει επεκταθεί κι έχει σχηματίσει το CMYK, που προσθέτει στο CMY το μαύρο σαν ανεξάρτητο χρώμα YIQ Χρωματικό Μοντέλο Το YIQ μοντέλο είναι μία επανακωδικοποίηση του RGB μοντέλου που σκοπό έχει τη βελτιστοποίηση της μετάδοσης και τη συμβατότητα με την ασπρόμαυρη τηλεόραση. Η ασπρόμαυρη τηλεόραση αντιλαμβάνεται μόνο την Y συνιστώσα που είναι η φωτεινότητα και όχι τις άλλες δύο, I και Q που καλούνται χρωμικότητα (chrominance). Το ανθρώπινο μάτι είναι πιο ευαίσθητο στις μεταβολές της φωτεινότητας παρά στις μεταβολές στην απόχρωση και τη χρωματική καθαρότητα γι αυτό και στο μετασχηματισμό από RGB σε YIQ, σημαντικότερο ρόλο παίζει το Y: Y R [ I ]=[ ] [ G] (1.2) Q B 9

21 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα (α) (β) (γ) Εικόνα 1.11 Ανάλυση μια εικόνας στα συστατικά της κατά το μοντέλο YIQ: (α) Y συνιστώσα, (β) I συνιστώσα, (γ) Q συνιστώσα HSI Χρωματικό Μοντέλο Στο HSI μοντέλο οι εικονιζόμενες σκηνές περιγράφονται από την απόχρωση (hue), την καθαρότητα (saturation) και την ένταση (intensity). Το H (απόχρωση) είναι το χρώμα που γίνεται αντιληπτό λόγω του μήκους κύματος. Το S (καθαρότητα) αφορά το βαθμό καθαρότητας του χρώματος, δηλαδή κατά πόσο το χρώμα έχει αναμειχθεί με το λευκό και το I (ένταση) είναι η φωτεινότητα ή το επίπεδο ενέργειας του φωτός και είναι ανεξάρτητο από κάθε χαρακτηριστικό χρώματος. Οι παράμετροι του χρωματικού αυτού μοντέλου ορίζονται στο χώρο στην επιφάνεια ενός τριγώνου: (α) (β) Εικόνα 1.12 (α) Η συνολική δομή του μοντέλου. (β) Το τρίγωνο για τα χρώματα στο σύστημα HSI. Παρατηρώντας την Εικόνα 1.12 (α) βλέπουμε ότι η απόχρωση ενός χρώματος είναι η γωνία που σχηματίζεται μεταξύ του άξονα του κόκκινου, με το ευθύγραμμο τμήμα που ενώνει την αρχή (άσπρο) 10

22 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα με το σημείο του χρώματος. Για το κόκκινο χρώμα η απόχρωση είναι 0 ο. Η καθαρότητα του χρώματος είναι η απόσταση της ευθείας που ενώνει την αρχή με το σημείο του χρώματος. Όσο μεγαλύτερη είναι η απόσταση τόσο μεγαλύτερη είναι η καθαρότητα του χρώματος. Τέλος, για την ένταση συμβουλευόμαστε την Εικόνα 1.12 (β) και την ορίζουμε σε σχέση με τη θέση την οποία κατέχει πάνω στη γραμμή που ενώνει το άσπρο με το μαύρο. (α) (β) (γ) Εικόνα 1.13 Ανάλυση της εικόνας στα χαρακτηριστικά του HSI μοντέλου: (α) H, (β) S, (γ) I HSV Χρωματικό Μοντέλο Σε αυτό το χρωματικό μοντέλο, τα χρώματα χαρακτηρίζονται από την απόχρωση (Hue), τη χρωματική καθαρότητα (Saturation) όπως προηγουμένως και την τιμή (Value) που αναφέρεται στο βαθμό μείξης ενός καθαρού χρώματος με το μαύρο. Το HSV μοντέλο βασίζεται σε ένα εξαγωνικό σχήμα που καταλήγει σε μία κορυφή και φαίνεται στην Εικόνα Καθώς κατεβαίνουμε προς τα κάτω, όσο δηλαδή η τιμή V μειώνεται κατευθυνόμαστε προς το μαύρο χρώμα. Εικόνα 1.14 Αναλυτική χρωματική άποψη του εξαγώνου HSV. Η τιμή του H κυμαίνεται από 0 ο έως 360 ο ενώ οι τιμές των S και V από 0 έως 1. Για S=0 βρισκόμαστε στην κλίμακα του γκρι (στη διαγώνιο του RGB κύβου). Ένα καθαρό χρώμα έχει τιμή S=V=1. Προσθέτοντας μαύρο μειώνουμε το V και προσθέτοντας άσπρο μειώνουμε το S. 11

23 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα (α) (β) (γ) Εικόνα 1.15 Ανάλυση της εικόνας στα συστατικά της μέρη σύμφωνα με το HSV μοντέλο: (α) H, (β) S, (γ) V HSL Χρωματικό Μοντέλο Το παρόν χρωματικό μοντέλο έχει τρεις παραμέτρους, δύο εκ των οποίων συναντήσαμε και στα προηγούμενα μοντέλα: την απόχρωση (Hue), τη λαμπρότητα χρώματος (brightness) και την καθαρότητα χρώματος (Saturation). Το σχήμα του μοιάζει με εκείνο του HSV με τη διαφορά ότι αποτελείται από δύο, θα λέγαμε, ενωμένα σχήματα του HSV, όπως διακρίνεται στην Εικόνα 1.16: Εικόνα 1.16 Ο χρωματικός χώρος HSL. Σε αντίθεση με το HSV μοντέλο, εδώ κάθε κορυφή αντιστοιχεί στο μαύρο και στο άσπρο ενώ τα πιο καθαρά χρώματα βρίσκονται στη μέση του χρώματος CIELAB Χρωματικός Χώρος Ένα από τα επιθυμητά χαρακτηριστικά που θέλουμε να μας προσφέρει ένα χρωματικό μοντέλο είναι η αντίληψη μιας μικρής χρωματικής αλλαγής. Οι χώροι που ικανοποιούν αυτήν την ιδιότητα ονομάζονται αντιληπτά ομοιόμορφοι χρωματικοί χώροι. Το Lab χρωματικό μοντέλο αποτελείται από τη φωτεινότητα L (0 για το σκοτεινότερο μαύρο και 100 για το φωτεινότερο λευκό) και δύο συνιστώσες που καθορίζουν την ανάμειξη κόκκινου-πράσινου και κίτρινου-μπλε, a και b αντίστοιχα. Το χρωματικό αυτό μοντέλο περιγράφεται από μια σφαίρα με κεντρικό κάθετο άξονα την φωτεινότητα L πάνω στον οποίο βρίσκονται οι γκρίζες αποχρώσεις και οι δύο κάθετοι σε αυτόν άξονες στο κέντρο της σφαίρας αντιπροσωπεύουν τα a και b: 12

24 Κεφάλαιο 1. Εισαγωγή στην Ψηφιακή Εικόνα (α) (β) Εικόνα 1.17 (a) Η σφαίρα του χώρου CIELAB και (β) οι άξονες L, a, b YCbCr Χρωματικό Μοντέλο Ο χρωματικός χώρος YCbCr δημιουργήθηκε για να καλύψει τις ανάγκες της ψηφιακής επεξεργασίας video. Η χρήση αυτού του χώρου ουσιαστικά συνέβαλε στην προσθήκη της πληροφορίας του χρώματος στο ήδη υπάρχον ασπρόμαυρο τηλεοπτικό σήμα. Αποτελείται από τρεις συνιστώσες: τη φωτεινότητα Y και τις Cb, Cr που εκφράζουν τη χρωματική διαφορά ως προς το μπλε και το κόκκινο αντίστοιχα. Θεωρώντας κανονικοποιημένες τις τιμές της εικόνας, ο μετασχηματισμός από RGB σε YCbCr πραγματοποιείται σύμφωνα με τους παρακάτω τύπους: Y R [ Cb] = [ 128] + [ ] [ G] (1.3) Cr B (α) (β) (γ) Εικόνα 1.18 Η αποσύνθεση της εικόνας στις τρεις παραμέτρους του YCbCr μοντέλου: (α) Y, (β)cb, (γ) Cr. 13

25 Κεφάλαιο 2. HDR imaging Κεφάλαιο 2 HDR imaging 2.1 Εικόνες Υψηλής Δυναμικής Περιοχής (HDR images) Στη σημερινή εποχή, που χαρακτηρίζεται από ταχύτατους ρυθμούς, ραγδαίες εξελίξεις και αναρίθμητα τεχνολογικά επιτεύγματα, οι απαιτήσεις του σύγχρονου ανθρώπου ολοένα και πληθαίνουν, οδηγώντας διαρκώς σε νέες προκλήσεις. Η ανάγκη να «αιχμαλωτιστεί η στιγμή» αποζητώντας την αποτύπωσή της σε όσο το δυνατόν πιο ρεαλιστική εικόνα, αποτελεί τη βάση της ανάπτυξης και εφαρμογής των εικόνων Υψηλής Δυναμικής Περιοχής (HDR, High Dynamic Range). Μέχρι σήμερα, οι συμβατικές εικόνες τις οποίες χρησιμοποιούμε και γνωρίζουμε ανήκουν στην κατηγορία των output/display referred images δηλαδή αποτυπώνονται προσαρμοσμένες στις δυνατότητες (χρώματα, φωτεινότητα κτλ) της συσκευής με αποτέλεσμα να μην αντικατοπτρίζουν τη σκηνή όπως είναι στην πραγματικότητα, εξαιτίας των περιορισμών της οθόνης. Οι εικόνες HDR, με τις οποίες θα ασχοληθούμε, ανήκουν στην κατηγορία των scene referred images, που προσεγγίζουν την απεικόνιση της σκηνής με βάση την πραγματικότητα και όχι σύμφωνα με τις δυνατότητες της συσκευής. Εφαρμογές που σχετίζονται με γραφικά, ιδιαίτερα όταν έχουν να κάνουν με τον τομέα του στρατού ή τη βιομηχανία του κινηματογράφου, των ηλεκτρονικών παιχνιδιών, της εικονικής πραγματικότητας και της προσομοίωσης, απαιτούν μια όλο και πιο ρεαλιστική αναπαράσταση των εικόνων στον υπολογιστή, δηλαδή μια ακριβή απόδοση της σκηνής που θέλουν να απεικονίσουν. Αυτό το γεγονός αποτελεί μεγάλη πρόκληση αν συλλογιστούμε ότι στην πραγματικότητα το οπτικό μας σύστημα αντιλαμβάνεται τον φυσικό κόσμο με ένα ιδιαιτέρως μεγάλο εύρος φωτεινοτήτων και χρωμάτων. Αναλυτικότερα, ο ανθρώπινος οφθαλμός μπορεί να προσαρμοστεί ώστε να διακρίνει λεπτομέρειες στον έναστρο νυχτερινό ουρανό που έχει φωτεινότητα από 10 6 cd/m 2 έως 10 cd/m 2 και τη μέρα σε φωτεινότητα από 0.01 cd/m 2 έως 10 8 cd/m 2 [4]. Οι κοινές οθόνες που 14

26 Κεφάλαιο 2. HDR imaging χρησιμοποιούμε διαθέτουν ένα πολύ περιορισμένο εύρος φωτεινότητας σε σχέση με αυτό που αντιλαμβανόμαστε εμείς. Ενδεικτικά, οι οθόνες καθοδικού σωλήνα (CRT) έχουν μέγιστη δυνατή φωτεινότητα 100 cd/m 2 ενώ η μέγιστη φωτεινότητα των οθονών υγρών κρυστάλλων (LCD) κυμαίνεται στα cd/m 2, δηλαδή δεν πλησιάζουν ούτε στο ελάχιστο τα μεγέθη της φωτεινότητας που βλέπει το μάτι μας [5]. Όσα ίσχυαν μέχρι τώρα στο χώρο της εικόνας και συγκεκριμένα στην αναπαράσταση των φυσικών σκηνών αλλάζουν προς το καλύτερο με τις εικόνες Υψηλής Δυναμικής Περιοχής στις οποίες θα αναφερόμαστε ως HDR εικόνες, για λόγους συντομίας. Οι HDR εικόνες, όπως φανερώνει και η ονομασία τους, έχουν δυναμική περιοχή, ή αλλιώς εύρος φωτεινότητας, μεγαλύτερη από τις μέχρι τώρα χρησιμοποιούμενες εικόνες χαμηλής δυναμικής περιοχής (Low Dynamic Range, LDR ή Standard Dynamic Range, SDR) και βρίσκονται πιο κοντά στη ρεαλιστική αναπαράσταση της σκηνής. Με τον όρο δυναμικό εύρος (dynamic range) εννοούμε το εύρος της φωτεινότητας μιας αποτυπωμένης σκηνής και είναι ο λόγος της μέγιστης (πιο φωτεινής) προς την ελάχιστη (πιο σκοτεινή) τιμή της φωτεινότητας που αναπαρίσταται σε αυτή τη σκηνή και μετρείται σε f-stops. Λαμβάνοντας υπόψη τις τιμές που αναφέρθηκαν πιο πάνω αντιλαμβανόμαστε ότι στις φωτογραφίες χάνεται μεγάλο μέρος πληροφορίας σε σύγκριση με την πραγματική σκηνή που βλέπει το μάτι. Αυτό γίνεται πιο κατανοητό παρατηρώντας την Εικόνα 2.1. Εικόνα 2.1 Απεικόνιση δυναμικής περιοχής ανθρώπινου οπτικού συστήματος (HVS), οθόνης LDR και οθόνης HDR. 2.2 Διαδικασία του HDR imaging (HDR pipeline) Στόχος των HDR εικόνων είναι η αποτύπωση μιας σκηνής σε εικόνα όπως την αντιλαμβάνεται στην πραγματικότητα το ανθρώπινο μάτι, δηλαδή η προσέγγιση της πραγματικής φωτεινότητας και ζωντάνιας των χρωμάτων μιας σκηνής μέσα από μια εικόνα. Η διαδικασία του HDR imaging χωρίζεται σε 3 μέρη: τη δημιουργία της HDR εικόνας, την αποθήκευσή της και την απεικόνισή της. Για το πρώτο στάδιο που αφορά την αποτύπωση της υψηλής δυναμικής περιοχής, δηλαδή τη λήψη της HDR εικόνας, ακολουθείται μια διαφορετική διαδικασία σε σχέση με την κλασική λήψη φωτογραφίας για μια LDR εικόνα. Πρόκειται για μια τεχνική λήψης φωτογραφίας που δίνει τη δυνατότητα μέσα από πολλαπλές λήψεις να λάβουμε το μεγάλο δυναμικό εύρος που αντιλαμβανόμαστε και με το μάτι. Η δημιουργία μιας HDR εικόνας αποτελείται από τη σύνθεση 3 ή παραπάνω λήψεων της ίδιας σκηνής υπό διαφορετική έκθεση (exposure), δηλαδή υπό διαφορετική φωτεινότητα που εξαρτάται από το πόσο φως θα επιτρέψει η μηχανή να περάσει στον αισθητήρα και επιτυγχάνεται είτε με τη ρύθμιση της ταχύτητας του κλείστρου είτε με τη ρύθμιση της οπής του 15

27 Κεφάλαιο 2. HDR imaging διαφράγματος. Πιο αναλυτικά, απαιτείται τουλάχιστον μια υποφωτισμένη (αρνητικό Exposure Value), μια υπερφωτισμένη (θετικό Exposure Value) λήψη και μία λήψη κανονικής φωτεινότητας (0 Exposure Value) του ίδιου ακίνητου θέματος, ώστε κατά την επεξεργασία να επιλεχθούν κατάλληλα τα πιο φωτισμένα και τα πιο σκοτεινά σημεία του από τις αντίστοιχες λήψεις και να συντεθεί η τελική εικόνα HDR. Με τη χρήση κατάλληλου λογισμικού πραγματοποιείται η σύνθεση των πολλαπλών λήψεων σε μία εικόνα, στην οποία συναντούμε με εξαιρετική λεπτομέρεια και ζωντάνια τις πιο σκοτεινές και τις πιο λαμπερές περιοχές της σκηνής. Στην εικόνα 2.2 φαίνεται η προετοιμασία και το αποτέλεσμα της HDR imaging διαδικασίας, δηλαδή οι 3 λήψεις της ίδιας σκηνής με διαφορετική έκθεση και η εικόνα που λαμβάνουμε μετά την εφαρμογή της επεξεργασίας στην οποία διακρίνουμε ξεκάθαρα σημαντικές πληροφορίες που απουσιάζουν από τις προηγούμενες λήψεις. Οι πληροφορίες αυτές αφορούν τα ζωντανά χρώματα του ηλιοβασιλέματος στο βάθος της εικόνας, τις λεπτομέρειες στο κοστούμι, στα φώτα που βρίσκονται στην πλατεία και στο κτίριο και γενικότερα το ρεαλισμό που προσδίδεται στο σύνολο της σκηνής, σαν να τη βλέπουμε όπως είναι στην πραγματικότητα και όχι μέσα από φωτογραφία. Εικόνα 2.2 Venice Carnival 2007: Τρεις λήψεις της ίδιας σκηνής με διαφορετική έκθεση και η εικόνα που προκύπτει από την HDR imaging διαδικασία. Το επόμενο μέρος της HDR imaging διαδικασίας αφορά την αποθήκευση του HDR περιεχομένου. Εξαιτίας του μεγάλου εύρους φωτεινότητας που μπορούν να καλύψουν οι εικόνες HDR απαιτούν και μεγάλο όγκο δεδομένων για την περιγραφή και αποθήκευσή τους σε σχέση με τις εικόνες LDR. Πιο συγκεκριμένα, η αναπαράσταση μιας εικόνας LDR στο RGB σύστημα γίνεται χρησιμοποιώντας ακέραιους αριθμούς με 8 bits για κάθε κανάλι (R, G and B) δηλαδή 24 bpp. Αντίθετα, η αναπαράσταση των εικόνων HDR γίνεται με τη χρήση πραγματικών αριθμών και απαιτεί 32 bits για κάθε κανάλι, δηλαδή 96 bpp. Ο μεγάλος όγκος δεδομένων που απαιτούν οι HDR εικόνες επιφέρει δυσκολίες στην αποθήκευση, τη μεταφορά, την επεξεργασία και την απεικόνισή τους και έχει οδηγήσει στη δημιουργία ή προσαρμογή αλγορίθμων συμπίεσης ειδικά για HDR εικόνες. 16

28 Κεφάλαιο 2. HDR imaging Περνώντας στο τρίτο μέρος της HDR imaging διαδικασίας, αξίζει να σημειώσουμε πως η διαφορά στον τρόπο αναπαράστασης των HDR και LDR εικόνων αποτελεί και το λόγο για τον οποίο οι εικόνες HDR δε μπορούν να απεικονιστούν σε συμβατικές συσκευές αλλά χρειάζονται ειδικές HDR οθόνες υψηλού κόστους, ικανές να αναπαράγουν το μεγάλο εύρος χρωμάτων και φωτεινότητας. Η αδυναμία απεικόνισης των εικόνων HDR σε συμβατικές οθόνες μαζί με το μεγάλο όγκο δεδομένων που απαιτούνται για την αποθήκευσή τους και την επεξεργασία τους είναι οι βασικές αιτίες για τις οποίες η HDR τεχνική δεν είναι ακόμα ευρέως διαδεδομένη και χρησιμοποιούμενη. Για την αντιμετώπιση του προβλήματος αναπαράστασης των εικόνων HDR σε συμβατικές οθόνες αναπτύχθηκε η διαδικασία της χρωματικής απεικόνισης\αντιστοίχισης. Πρόκειται για μια διαδικασία κατά την οποία οι τιμές των εικονοστοιχείων της HDR εικόνας αντιστοιχίζονται σε ένα μικρότερο δυναμικό εύρος που μπορεί να αναπαράγει μια συμβατική οθόνη. Γίνεται, δηλαδή, μια συμπίεση της φωτεινότητας ώστε η χρωματική αντιστοίχιση να μας δώσει μια εικόνα LDR, σαφώς καλύτερη από εκείνη που θα παίρναμε με μια λήψη της φωτογραφικής μηχανής αλλά όχι τόσο καλή όσο αν απεικονιζόταν σε μια HDR οθόνη. Στην εικόνα 2.3 (α) φαίνεται σχηματικά ολόκληρη η διαδικασία που αφορά τη δημιουργία μιας εικόνας HDR και η χρωματική αντιστοίχιση δίνοντας έμφαση στο δυναμικό εύρος και περιλαμβάνει: τρεις λήψεις διαφορετικής έκθεσης που συνολικά καλύπτουν το δυναμικό εύρος που αντιλαμβάνεται το ανθρώπινο μάτι, τη σύνθεσή τους σε μια HDR εικόνα που επίσης αποτυπώνει τη ρεαλιστική σκηνή και την tone mapped τελική εικόνα με μειωμένο δυναμικό εύρος, προσαρμοσμένο στις δυνατότητες της οθόνης. Στην εικόνα 2.3 (β) φαίνεται σε σχεδιάγραμμα η διαδικασία του HDR imaging. Η διαδικασία της χρωματικής απεικόνισης δεν είναι μονοσήμαντα ορισμένη με την έννοια ότι δεν υπάρχει μοναδικός τρόπος με τον οποίο πραγματοποιείται. Έχουν αναπτυχθεί ποικίλοι αλγόριθμοι ή αλλιώς τελεστές, διαφορετικοί μεταξύ τους, από πολύ απλούς έως αρκετά περίπλοκους, που επιτελούν τη μετατροπή των εικόνων HDR σε εικόνες LDR, βασιζόμενοι σε μαθηματικές συναρτήσεις και ονομάζονται Tone Mapping Operators (TMOs). Εικόνα 2.3 (α) Από τις πολλαπλές λήψεις στην tone mapped εικόνα. 17

29 Κεφάλαιο 2. HDR imaging Εικόνα 2.3 (β) HDR imaging: Δημιουργία HDR εικόνας, αποθήκευση και απεικόνιση σε HDR ή SDR οθόνη. 2.3 Περιγραφή Διπλωματικής Εργασίας Ο κλάδος των εικόνων HDR προσφέρει μια ποικιλία θεμάτων με τα οποία μπορούμε να ασχοληθούμε όπως είναι η επεξεργασία, η αποθήκευση και η απεικόνισή τους. Η παρούσα διπλωματική εργασία εστιάζει στην αξιολόγηση της ποιότητας των εικόνων που λαμβάνουμε μετά τη διαδικασία της χρωματικής απεικόνισης, με αντικειμενικό και με υποκειμενικό τρόπο εξετάζοντας τη συσχέτιση των TMOs με την ποιότητα των τελικών εικόνων. Πιο συγκεκριμένα, αξιολογούμε με υποκειμενικό και με αντικειμενικό τρόπο κάποιες tone mapped φωτογραφίες που έχουν προκύψει από την εφαρμογή διαφορετικών τελεστών στις HDR εικόνες και παρατηρούμε κατά πόσο αυτοί οι τελεστές επηρεάζουν την ποιότητα της τελικής εικόνας. Ακόμα, στα πλαίσια της μελέτης των TMOs πραγματοποιείται και η δημιουργία δύο νέων τελεστών, οι οποίοι εφαρμόζονται στις εικόνες και συγκρίνονται με τους ήδη υπάρχοντες. Η δομή της διπλωματικής εργασίας χωρίζεται σε τρία μέρη που θα παρουσιαστούν στις επόμενες γραμμές. Στο πρώτο μέρος βρίσκεται η περιγραφή των TMOs σε γενικά πλαίσια και καθώς προχωράμε, εμβαθύνουμε σε εκείνους τους τελεστές που χρησιμοποιήσαμε αλλά και στην ανάλυση των νέων τελεστών που δημιουργήσαμε. Σε αυτό το μέρος συμπεριλαμβάνεται και η εφαρμογή των τελεστών στις εικόνες HDR. Στη συνέχεια, ακολουθεί η αξιολόγηση των tone mapped εικόνων. Η υποκειμενική αξιολόγηση πραγματοποιείται από άτομα που καλούνται να βαθμολογήσουν, σε μια κλίμακα από 1 έως 5, τις tone mapped εικόνες που βλέπουν ως προς την ποιότητά τους. Η εκτίμηση αυτή σχετίζεται με το πόσο καλή φαίνεται στο μάτι του παρατηρητή η φωτογραφία κι ακριβώς επειδή έχει να κάνει με τις προσωπικές προτιμήσεις του κάθε ατόμου (για παράδειγμα κάποιος τελεστής μπορεί να επηρεάζει το ανάγλυφο της εικόνας ή να προσδίδει ιδιαίτερη λάμψη, χαρακτηριστικά που δεν αρέσουν το ίδιο σε όλους) δε μπορούμε να αρκεστούμε στην υποκειμενική αξιολόγηση. Για την ολοκλήρωση της αξιολόγησης, χρησιμοποιούμε και αντικειμενικά κριτήρια, μαθηματικής φύσεως. Τα αντικειμενικά κριτήρια μας δίνουν δείκτες μέτρησης της ποιότητας των tone mapped εικόνων σε σχέση με την αρχική εικόνα HDR. Οι δύο αξιολογήσεις δεν είναι απαραίτητο να καταλήξουν στα ίδια αποτελέσματα καθώς σφάλματα που μπορεί να ληφθούν υπόψιν στην αντικειμενική αξιολόγηση, μπορεί να μη γίνουν αντιληπτά από τον παρατηρητή. Το τρίτο και τελευταίο μέρος της εργασίας σχετίζεται με τα συμπεράσματα. Σε αυτό, παρουσιάζονται τα αποτελέσματα των αξιολογήσεων και πραγματοποιείται ο σχολιασμός τους. 18

30 Κεφάλαιο 3. Χρωματική Απεικόνιση Κεφάλαιο 3 Χρωματική Απεικόνιση 3.1 Εισαγωγή στην έννοια της Χρωματικής Απεικόνισης (Tone Mapping) Όπως έχουμε ήδη αναφέρει, οι σύγχρονες συσκευές απεικόνισης, εξαιτίας των περιορισμένων δυνατοτήτων τους, δε μπορούν να αναπαράγουν περιεχόμενο υψηλής δυναμικής περιοχής. Ενδεικτικά, ο λόγος αντίθεσης ή αλλιώς contrast ratio, που είναι ο λόγος της φωτεινότητας του άσπρου προς το μαύρο χρώμα που μπορεί να αναπαράγει μια συσκευή, είναι χαμηλός και κυμαίνεται στο 200:1 για τις κοινές συσκευές απεικόνισης που χρησιμοποιούμε σήμερα. Αν και οι οθόνες υγρών κρυστάλλων (LCD) έχουν πετύχει ένα λόγο αντίθεσης αρκετά πιο μεγάλο, 10000:1 περίπου, επειδή η αναπαράσταση κάθε χρώματος χρησιμοποιεί 8 bits, το πλήθος των αποχρώσεων κάθε χρώματος περιορίζεται στις 255, που προφανώς δεν είναι HDR [5]. Η αδυναμία αναπαραγωγής περιεχομένου υψηλής δυναμικής περιοχής σε συσκευές περιορισμένου δυναμικού εύρους, αποτελεί ένα πρόβλημα που έχει απασχολήσει ιδιαίτερα τα τελευταία χρόνια όσους ασχολούνται με την HDR εικόνα. Για την αντιμετώπισή του, δημιουργήθηκε η διαδικασία της χρωματικής απεικόνισης, κατά την οποία το υψηλό δυναμικό εύρος προσαρμόζεται στο δυναμικό εύρος που μπορεί να αναπαράγει η συσκευή απεικόνισης. Πιο απλά, πρόκειται για μια μείωση του δυναμικού εύρους που όμως στοχεύει στη διατήρηση κάποιων στοιχείων της αρχικής HDR εικόνας όπως είναι λεπτομέρειες ή οι σφαιρικές και τοπικές αντιθέσεις που αφορούν την καθολική αντίθεση φωτεινότητας της εικόνας, δηλαδή συνολικά και αντίστοιχα την τοπική αντίθεση φωτεινότητας, δηλαδή του κάθε εικονοστοιχείου σε σχέση με τα γειτονικά του. Ακόμη, η χρωματική αντιστοίχιση είναι μια διαδικασία που εφαρμόζεται στην HDR εικόνα έτσι ώστε να την μετατρέψει σε LDR χωρίς όμως να αλλάξει τον τρόπο με τον οποίο αντιλαμβάνεται την εικόνα ο παρατηρητής. Δηλαδή, η tone mapped εικόνα πρέπει να αντιστοιχεί στην πραγματική σκηνή. 19

31 Κεφάλαιο 3. Χρωματική Απεικόνιση Εικόνα 3.1 Ο παρατηρητής 1 βλέπει την tone mapped εικόνα, δηλαδή βλέπει τη σκηνή μέσα από εικόνα που αρχικά ήταν HDR, αποθηκεύτηκε κι εφαρμόστηκε σε αυτήν κάποιο TMO. Ο παρατηρητής 2 βλέπει την εικόνα ζωντανά. Οι δύο παρατηρητές, αν και βλέπουν την ίδια σκηνή από διαφορετικό μέσο, πρέπει να τελικά να την αντιλαμβάνονται ίδια. Η διαδικασία της χρωματικής απεικόνισης πραγματοποιείται με τη χρήση ενός τελεστή f στον οποίο αναφερόμαστε ως TMO που ορίζεται ως: f(i): R i w h c D o w h c, (3.1) όπου I είναι η εικόνα, w και h το ύψος και το πλάτος της εικόνας, c το πλήθος των καναλιών που χρησιμοποιούνται για την αναπαράστασή των χρωμάτων (c=3 για RGB χρωματικό μοντέλο) και R i R, D o R i. D o = [0, 255]. Επιπλέον, η εφαρμογή ενός TMO συμπιέζει/αλλάζει άμεσα μόνο τη φωτεινότητα της εικόνας και όχι τα χρώματα. Για να το δούμε αυτό καλύτερα, μπορούμε να απλοποιήσουμε την εξίσωση (3.1) στην (3.2): L d = f L (L w ): R w h i [0, 255], f(i) = { R d [ G d ] = L d ( 1 B d s R w [ G L w ]) w Bw όπου s (0, 1] και είναι συντελεστής κορεσμού για τη μείωση του κορεσμού χρωμάτων και αυξάνεται κατά τη διαδικασία της χρωματικής απεικόνισης. Συνήθως, μετά την εφαρμογή του τελεστή f ακολουθεί η εφαρμογή της διόρθωσης Γάμμα (gamma correction) ώστε κάθε τιμή καναλιού να αντιστοιχισθεί στο διάστημα [0, 255]. Η διόρθωση Γάμμα είναι μια διόρθωση που εφαρμόζεται σε μια ψηφιακή εικόνα και ορίζει τη σχέση μεταξύ της τιμής του κάθε εικονοστοιχείου και της πραγματικής φωτεινότητας. Η ανάγκη για τη χρήση αυτής της διόρθωσης οφείλεται στον τρόπο που αντιλαμβάνεται το μάτι μας το φως, ο οποίος διαφέρει από τον τρόπο που το αντιλαμβάνεται η κάμερα. Το ανθρώπινο σύστημα όρασης αντιλαμβάνεται το φως με μη γραμμικό τρόπο ενώ μια συσκευή αναπαράγει το φως με γραμμικό τρόπο. Για να γίνει η αναπαραγωγή της εικόνας πλησιάζοντας τον τρόπο που αντιλαμβάνεται το μάτι το φως, χρειάζεται να πραγματοποιηθεί η ακόλουθη εξίσωση, δηλαδή το η διόρθωση Γάμμα [6]: V out = V in γ, (3.3) όπου V in είναι η πραγματική τιμή της φωτεινότητας που υψώνεται στη δύναμη γ, για να μας δώσει μία καμπύλη V out, που προσεγγίζει τους τόνους των χρωμάτων στον τρόπο που τους αντιλαμβάνεται ο άνθρωπος., (3.2) 20

32 Κεφάλαιο 3. Χρωματική Απεικόνιση Αξίζει να τονισθεί ότι η διαδικασία της χρωματικής απεικόνισης παρόλο που δεν εφαρμόζεται στα χρώματα, επηρεάζει σε μεγάλο βαθμό το αρχικό φάσμα των χρωμάτων γι αυτό και στην tone mapped εικόνα σημειώνονται σημαντικές διαφορές στα χρώματα σε σύγκριση με την αρχική HDR εικόνα. 3.2 Τελεστές Χρωματικής Απεικόνισης (Tone Mapping Operators) Οι TMOs χωρίζονται σε διαφορετικές κατηγορίες που βασίζονται στον διαφορετικό τρόπο με τον οποίο επεξεργάζονται την εικόνα. Οι 4 αυτές κατηγορίες των τελεστών είναι: Global operators: Οι καθολικοί τελεστές επεξεργάζονται όλα τα εικονοστοιχεία της εικόνας με τον ίδιο τρόπο, σαν να είναι ένα αντικείμενο. Είναι ανεξάρτητοι του χώρου και η εφαρμογή τους είναι σχετικά απλή και γρήγορη όμως αδυνατούν να διατηρήσουν την τοπική φωτεινότητα σε κάποιες περιοχές καθώς και κάποιες λεπτομέρειες. Local operators: Οι τοπικοί τελεστές επεξεργάζονται κάθε εικονοστοιχείο ξεχωριστά λαμβάνοντας υπόψιν τα χαρακτηριστικά της γειτονικής τους περιοχής. Η εφαρμογή τους είναι πιο χρονοβόρα και πολύπλοκη αλλά διατηρεί καλύτερα τις λεπτομέρειες και την τοπική φωτεινότητα της εικόνας. Segmentation operators: Οι τελεστές κατάτμησης τεμαχίζουν την εικόνα σε περιοχές και εφαρμόζουν διαφορετικό tone mapping σε κάθε περιοχή. Frequency/Gradient operators: Οι τελεστές συχνότητας ή διαβάθμισης διαχωρίζουν τις υψηλές από τις χαμηλές συχνότητες της εικόνας. Στις χαμηλές συχνότητες εφαρμόζεται η διαδικασία της χρωματικής απεικόνισης ενώ οι υψηλές συχνότητες δεν αλλάζουν καθώς σε εκείνες βρίσκονται οι λεπτομέρειες της εικόνας. Η διαδικασία της χρωματικής απεικόνισης, ανεξαρτήτως του χρησιμοποιούμενου τελεστή, αποτελείται από κάποια γενικά βήματα που είναι κοινά στην πλειοψηφία των TMOs. Το πρώτο βασικό βήμα αφορά την εξαγωγή της πληροφορίας της φωτεινότητας της εικόνας. Η φωτεινότητα της εικόνας, για μια RGB εικόνα μεγέθους m n 3 σύμφωνα με τη συνάρτηση της Matlab, υπολογίζεται από την εξίσωση: Luminance = R G B, (3.4) όπου R, G, B η τιμή του καθενός από τα τρία αντίστοιχα κανάλια. Η φωτεινότητα Luminance είναι μεγέθους m n και είναι ουσιαστικά η ασπρόμαυρη έκδοση της αρχικής εικόνας. Παίρνουμε πρώτα τη φωτεινότητα γιατί όπως αναφέρθηκε και προηγουμένως, οι TMOs στοχεύουν στην συμπίεση της φωτεινότητας και όχι των χρωμάτων, οπότε δεν εφαρμόζονται στα χρώματα. Ακολουθεί η αλλαγή/συμπίεση του εύρους φωτεινότητας της εικόνας με τον τρόπο που ορίζει κάθε τελεστής κι ύστερα η εφαρμογή της νέας φωτεινότητας στην εικόνα. Η μετατροπή της HDR σε tone mapped εικόνα, σε ένα γενικό πλαίσιο, περιγράφεται απλά και συνοπτικά από το επόμενο κομμάτι κώδικα σε Matlab: L=lum(HDRimg); newl=tmo_function(l); for i=1:3 imgout(:,:,i)=(newl./l)*hdrimg(:,:,i); (3.5) end 21

33 Κεφάλαιο 3. Χρωματική Απεικόνιση όπου διαβάζεται η φωτεινότητα της HDR εικόνας, εφαρμόζεται σε αυτήν η συνάρτηση ενός τελεστή και τέλος δημιουργείται η νέα tone mapped εικόνα imgout από την τιμή κάθε εικονοστοιχείου της HDR εικόνας, διαιρώντας με την παλιά φωτεινότητα (για να την απαλείψουμε) και πολλαπλασιάζοντας με τη νέα φωτεινότητα κάθε κανάλι χρώματος για να του προσδώσουμε τις νέες τιμές φωτεινότητας. Στη συνέχεια, στην πλειοψηφία των TMOs εφαρμόζεται και η συνάρτηση της διόρθωσης Γάμμα στην εικόνα για την καλύτερη απεικόνισή της. 3.3 Καθολικοί Τελεστές (Global Operators) Οι global τελεστές εφαρμόζουν τον ίδιο τελεστή f σε όλα τα εικονοστοιχεία της εικόνας, διατηρώντας την ολική αντίθεση της εικόνας ενώ αδυνατούν να διατηρήσουν την τοπική αντίθεση φωτεινότητας άρα και λεπτομέρειες της αρχικής HDR εικόνας. Συνήθως, χρησιμοποιούνται κάποια στατιστικά στοιχεία όπως είναι η μέγιστη κι η ελάχιστη τιμή της φωτεινότητας και η λογαριθμική ή αριθμητική μέση τιμή των εικονοστοιχείων για να λάβουμε καλύτερα αποτελέσματα. Οι δύο απλούστεροι καθολικοί τελεστές είναι ο εκθετικός και ο λογαριθμικός ενώ στα πειράματά μας συμπεριλάβαμε τον εκθετικό και τον τελεστή Adaptive Logarithmic Εκθετικός Τελεστής Χρωματικής Απεικόνισης (Exponential TMO) Το συγκεκριμένο TMO, όπως προδίδει και η ονομασία του, βασίζεται σε μια εκθετική συνάρτηση για τη συμπίεση της φωτεινότητας της HDR εικόνας. Πιο συγκεκριμένα, ο τελεστής που εφαρμόζεται στη φωτεινότητα είναι: Lw(x) ( q ) k L L d (x) = 1 e w,h, (3.6) όπου L d η νέα συμπιεσμένη φωτεινότητα, L w η αρχική φωτεινότητα (world luminance) της HDR εικόνας, L w,η η λογαριθμική μέση τιμή της φωτεινότητας της αρχικής εικόνας, k και q παράμετροι της συνάρτησης με τιμή στο διάστημα [0,1] ενώ σε περίπτωση που δεν οριστούν από το χρήστη, λαμβάνουν αυτόματα την τιμή Λογαριθμικός Τελεστής Χρωματικής Απεικόνισης (Logarithmic TMO) Η απλή μέθοδος του Logarithmic TMO χρησιμοποιεί τη λογαριθμική συνάρτηση και πιο συγκεκριμένα, ο τελεστής που εφαρμόζεται στη φωτεινότητα είναι: L d = log 10(1+q L w (x)) log 10 (1+k L w,max ), (3.7) όπου L d η νέα φωτεινότητα που θα δώσει στην tone mapped εικόνα, L w η φωτεινότητα της HDR εικόνας, L w,max η μέγιστη τιμή της φωτεινότητας της HDR εικόνας, q και k παράμετροι της συνάρτησης που ανήκουν στο διάστημα [0,1] και αν δεν οριστούν από το χρήστη παίρνουν τιμή 1. 22

34 Κεφάλαιο 3. Χρωματική Απεικόνιση Λογαριθμικά Προσαρμοζόμενη Χρωματική Απεικόνιση (Adaptive Logarithmic Mapping, Drago TMO) Ένας ακόμα global τελεστής βασισμένος στο λογαριθμικό mapping είναι ο Drago TMO. Αυτός ο τελεστής προέκυψε καθώς παρατηρήθηκε πως εφαρμόζοντας τη χρωματική αντιστοίχιση χρησιμοποιώντας διαφορετικές τιμές στα βάση του λογάριθμου, οδηγούμαστε σε διαφορετικά αποτελέσματα. Με μικρή βάση έχουμε καλή διατήρηση της αντίθεσης στην εικόνα σε σκοτεινές περιοχές και περιοχές μέτριας φωτεινότητας, ενώ με μεγαλύτερη βάση πετυχαίνουμε μέγιστη συμπίεση των υψηλών τιμών φωτεινότητας. Βασιζόμενοι σε αυτές τις παρατηρήσεις οι Drago et al. [7], πρότειναν ένα TMO που συνδυάζει τα αποτελέσματα των δύο εικόνων με διαφορετική βάση λογαρίθμου μέσω μιας προσαρμογής της βάσης του λογαρίθμου που εξαρτάται από την τιμή της φωτεινότητας των εικονοστοιχείων. Για να επιτευχθεί αυτό, να επιλεγεί δηλαδή αυθαίρετα η βάση του λογαρίθμου, εκμεταλλευόμαστε την ιδιότητα (3.8) και την παρεμβολή μεταξύ βάσεων λογαρίθμων Perlin and Hoffer bias power function (3.9) : log base (x) = log d(x) log d(base) (3.8) bias b (x) = t log (b) log (0.5) (3.9) Η μη γραμμική λογαριθμική συνάρτηση που χρησιμοποιείται στο Drago TMO βασίζεται στις δύο παραπάνω εξισώσεις και είναι: L d (x) = L d,max log (1+L w (x)), 100log 10 (1+L w,max ) log ( 2+8( L w(x) Lw,max )α ) α = log (b) log (0.5), (3.10) όπου L d,max είναι η μέγιστη δυνατή τιμή φωτεινότητας που μπορεί να αναπαράγει η συσκευή απεικόνισης και τίθεται στα 100cd/m 2 για τις CRT οθόνες, L w,max η μέγιστη φωτεινότητας της HDR εικόνας, L w (x) η τιμή της φωτεινότητας του κάθε εικονοστοιχείου και b η παράμετρος bias που είναι απαραίτητη για τη συμπίεση των μεγάλων τιμών και τη διατήρηση των λεπτομερειών στις σκοτεινές περιοχές της εικόνας και η default τιμή της είναι Ο χρήστης ορίζει τις παραμέτρους L d,max και b. Όπως παρατηρούμε και στην Εικόνα 3.2 διαφορετικές τιμές του b δίνουν διαφορετικές φωτεινότητες στην σκηνή. Η εφαρμογή αυτού του τελεστή είναι υπολογιστικά γρήγορη και διατηρεί τη γενική όψη της αρχικής εικόνας, όμως σε σύγκριση με άλλους αλγορίθμους οι λεπτομέρειες της εικόνας θα είναι λιγότερο εμφανείς. 23

35 Κεφάλαιο 3. Χρωματική Απεικόνιση (α) (β) Εικόνα 3.2. Oxford Church. Μικρές τιμές της παραμέτρου b δίνουν πιο φωτεινές σκηνές ενώ μεγαλύτερες τιμές δίνουν πιο σκοτεινές σκηνές. (α) b=0.5, (β) b= Τοπικοί Τελεστές Χρωματικής Απεικόνισης (Local Operators) Οι τοπικοί τελεστές βελτιώνουν την ποιότητα της tone mapped εικόνας σε σχέση με τους καθολικούς τελεστές καθώς αναπαράγουν την ολική και την τοπική φωτεινότητα της εικόνας. Αυτό το επιτυγχάνουν εφαρμόζοντας έναν τελεστή f που λαμβάνει υπόψιν του όχι μόνο την τιμή του κάθε εικονοστοιχείου αλλά και τις τιμές των γειτονικών του εικονοστοιχείων. Βέβαια, το γεγονός αυτό, ότι δηλαδή στους υπολογισμούς συμπεριλαμβάνονται και οι γειτονικές τιμές μπορεί να προκαλέσει το φαινόμενο του φωτοστέφανου (halo effect) και τα αποτελέσματα να είναι ανεπιθύμητα Αναπαραγωγή Φωτογραφικού Τόνου (Photographic Tone Reproduction, Reinhard TMO) Βασισμένος στις αρχές της φωτογραφίας, ο τελεστής των Reinhard et al. [8] προσομοιώνει τη διαδικασία κάψιμου και φωτίσματος (burning and dodge) που χρησιμοποιούσαν οι φωτογράφοι για πάνω από έναν αιώνα. Η συνάρτηση που εφαρμόζεται στη φωτεινότητα είναι: L d (x) = L m(x) 1+L m (x), (3.11) όπου L m είναι ο λόγος της αρχικής φωτεινότητας προς al w,h 1 με το a να αντιπροσωπεύει την τιμή έκθεσης που χρησιμοποιείται για την εμφάνιση του φιλμ, L w,h είναι η λογαριθμική μέση τιμή που προσεγγίζει την τιμή scene key value. Το scene key value υποδεικνύει αν η σκηνή είναι φωτεινή, φυσιολογικής φωτεινότητας ή σκοτεινή. Επειδή η συνάρτηση (3.11) δεν επιτρέπει στα φωτεινά 24

36 Κεφάλαιο 3. Χρωματική Απεικόνιση σημεία να καούν (burnt out) όπως θα μπορούσε να κάνει ένα φωτογράφος κατά τη διαδικασία εμφάνισης του φιλμ για να ενισχύσει την αντίθεση, τροποποιείται στην (3.12): L d (x) = L 2 m(x)(1+l white 1+L m (x) L m (x)), (3.12) όπου L white η μικρότερη τιμή φωτεινότητας που θα αντιστοιχισθεί στο λευκό και ισούται με L m,max. Για τη δημιουργία του local τελεστή από τις παραπάνω εξισώσεις, απαιτείται η εύρεση της μεγαλύτερης τοπικής περιοχής της εικόνας χωρίς αιχμηρές ακμές, για την αποφυγή του φαινομένου του φωτοστέφανου. Αυτή η περιοχή ευρίσκεται περνώντας από διαφορετικού μεγέθους Γκαουσιανού φίλτρου [9] την εικόνα και συγκρίνοντάς τες. Αν η διαφορά μεταξύ των εικόνων είναι πολύ μικρή ή μηδενική τότε δεν υπάρχει ακμή. Η σύγκριση ορίζεται ως: L σ (x) L σ+1(x), (3.13) 2 Φ aσ 2 +L σ (x) όπου L σ (x) = (L m G σ )(x) είναι μία εικόνα περασμένη από Γκαουσιανό φίλτρο κλίμακας σ και μια μικρή τιμή μεγαλύτερη του 0 και Φ η παράμετρος ευκρίνειας (sharpening parameter). Όταν βρεθεί το μέγιστο σ για το οποίο ικανοποιείται η (3.13), τότε ο καθολικός τελεστής γίνεται τοπικός οι εξισώσεις (3.11) και (3.12) παίρνουν τις ακόλουθες μορφές: L d (x) = L m(x) 1+L σ max (x), (3.14) L d (x) = L 2 m(x)(1+l white 1+L σ max (x) L m (x)), (3.15) όπου L σ max (x) είναι η μέση φωτεινότητα που υπολογίσθηκε στη μεγαλύτερη περιοχή σ max. Ο τελεστής Photographic Tone Reproduction ανήκει στην κατηγορία των τοπικών τελεστών και συμπιέζει τη φωτεινότητα της HDR εικόνας διατηρώντας τις ακμές και αποφεύγοντας το φαινόμενο του φωτοστέφανου Αλγόριθμος Χρωματικής Απεικόνισης για Εικόνες Υψηλής Αντίθεσης (Tone Mapping Algorithm for High Contrast Images) Ο παρόν τελεστής θυμίζει τον Photographic Tone Reproduction, που μόλις είδαμε, καθώς κι οι δύο διατηρούν τις ακμές της εικόνας και αποφεύγουν το φαινόμενο του φωτοστέφανου. Ο αλγόριθμος Ashikhmin [10] προτείνει δύο συναρτήσεις συμπίεσης του δυναμικού εύρους που εξαρτώνται από το είδος της αντίθεσης που θέλουμε να διατηρήσουμε: τοπική αντίθεση φωτεινότητας ή οπτική αντίθεση (visual contrast), δηλαδή τις διαφορές μεταξύ ενός αντικειμένου και του φόντου του. Στην περίπτωση της διατήρησης της τοπικής αντίθεσης χρησιμοποιείται η εξίσωση (3.16): L d (x) = L w (x)f(l w,a (x)), (3.16) L w,a (x) όπου f είναι η συνάρτηση μετασχηματισμού, L w,a (x) είναι η προσαρμογή της τοπικής φωτεινότητας και L w (x) είναι η φωτεινότητα του κάθε εικονοστοιχείου. Στην δεύτερη περίπτωση, που θέλουμε να διατηρήσουμε την οπτική αντίθεση χρησιμοποιείται η εξίσωση (3.17): 25

37 Κεφάλαιο 3. Χρωματική Απεικόνιση L d (x) = f (L w,a (x)) + TVI(f(L w,a (x))) (L w (x) L w,a (x)), (3.17) TVI(L w,a (x)) όπου TVI είναι η threshold versus intensities (κατωφλίου-έντασης) συνάρτηση (3.18): C(x) = { x if x x log if x x x if 1 x log if x 1, (3.18) όπου x η τιμή της φωτεινότητας σε cd/m 2. Επομένως, η φωτεινότητα της HDR εικόνας αντιστοιχίζεται στη φωτεινότητα της οθόνης σύμφωνα με τη σχετική της θέση στην αντιστοιχία της κλιμάκωσης της (3.18) : L d (x) = f(l w (x)) = L d,max C(L w (x)) C(L w,min ) C(L w,max ) C(L w,min ), (3.19) όπου L d,max η μέγιστη τιμή της φωτεινότητας της οθόνης (συνήθως 100 cd/m 2 ). Η εκτίμηση της προσαρμογής της τοπικής φωτεινότητας L w,a (x) βασίζεται στην εξισορρόπηση μεταξύ δύο απαιτήσεων: διατήρηση του σήματος τοπικής φωτεινότητας μέσα σε κάποιο όριο και διατήρησης αρκετών πληροφοριών που αφορούν τις λεπτομέρειες της εικόνας. Για την επίτευξη του κατάλληλου συνδυασμού των δύο παραπάνω, λαμβάνεται ο μέσος όρος της φωτεινότητας της μεγαλύτερης περιοχής που δεν έχει υπερβολικές αντιθέσεις. 3.5 Τελεστές Κατάτμησης (Segmentation Operators) Μια νέα προσέγγιση της διαδικασίας της χρωματικής απεικόνισης βασίζεται στην κατάτμηση της εικόνας σε ομοιόμορφα τμήματα. Ακμές και μεγάλο μέρος της τοπικής φωτεινότητας βρίσκονται στα όρια μεταξύ ομοιόμορφων περιοχών σε μια εικόνα. Οι τελεστές αυτοί, χωρίζουν την εικόνα στις κατάλληλες περιοχές, εφαρμόζουν σε κάθε μία ένα καθολικό τελεστή και τέλος συνθέτουν την tone mapped εικόνα Κατάτμηση και Προσαρμοζόμενη Αφομοίωση για Διατήρηση Λεπτομερειών (Segmentation and Adaptive Assimilation for Detail-Preserving) Ο πρώτος τελεστής κατάτμησης παρουσιάστηκε από τους Yee και Pattanaik και χωρίζει την εικόνα σε περιοχές που ονομάζονται κατηγορίες, με βάση το ιστόγραμμα. Για κάθε κατηγορία υπολογίζει μια προσαρμογή της φωτεινότητας που μπορεί να χρησιμοποιηθεί ως είσοδος σε κάποιο καθολικό τελεστή. Παραπλήσια εικονοστοιχεία της ίδιας κατηγορίας ομαδοποιούνται χρησιμοποιώντας flood-fill αλγόριθμο και τελικά οι μικρές ομάδες ενσωματώνονται σε μεγαλύτερες δημιουργώντας ένα επίπεδο. Οι μικρές περιοχές και οι μεγάλες χωρίζονται με βάση 2 τιμές κατωφλίου. Με αυτόν τον τρόπο δημιουργούνται όλα τα επίπεδα n max και τότε η συνάρτηση που εφαρμόζεται είναι: 26

38 Κεφάλαιο 3. Χρωματική Απεικόνιση L a (x) = exp ( 1 n max n max i=1 C i (x)), (3.20) όπου C i (x) η μέση λογαριθμική τιμή της φωτεινότητας της περιοχής στην οποία ανήκει το εικονοστοιχείο x. 3.6 Τελεστές Χρωματικής Απεικόνισης Βασισμένοι στη Συχνότητα (Frequency-Based Operators) Σκοπός των τελεστών που βασίζονται στο πεδίο της συχνότητας (frequency-based) όπως και των τοπικών τελεστών είναι η διατήρηση των ακμών και της τοπικής φωτεινότητας με τη διαφορά πως οι πρώτοι πραγματοποιούν την επεξεργασία τους στο χώρο της συχνότητας Τελεστής Διμερούς Φίλτρου (Fast Bilateral Filtering Operator, Durand) Ο τελεστής Durand βασίζεται στο διαχωρισμό της εικόνας σε δύο επιμέρους εικόνες: μια εικόνα που συγκεντρώνει τις υψηλές συχνότητες, δηλαδή τις λεπτομέρειες και ονομάζεται επίπεδο λεπτομερειών (detail layer) και μια άλλη που περιλαμβάνει τις χαμηλές συχνότητες, δηλαδή τις ακμές και ονομάζεται επίπεδο βάσης (base layer). Το διαχωρισμό της εικόνας στις δύο επιμέρους πραγματοποιεί ένα φίλτρο, το διμερές φίλτρο (bilateral filter). Η διαδικασία του fast bilateral filtering τελεστή φαίνεται και στην Εικόνα3.3 και περιλαμβάνει αρχικά την αποσύνθεση της εικόνας σε φωτεινότητα και χρωματικότητα. Η φωτεινότητα περνά από το bilateral filter και το detail layer υπολογίζεται διαιρώντας τη φωτεινότητα με την φιλτραρισμένη. Σε αυτό το σημείο, η φωτεινότητα που έχει περάσει από το φίλτρο γίνεται tone mapped με ένα καθολικό τελεστή, στη συγκεκριμένη περίπτωση με το Tumblin and Rushmeier TMO. Τέλος, τα base layer, detail layer και η χρωματικότητα συντίθενται στην τελική tone mapped εικόνα. Εικόνα 3.3. Διάγραμμα περιγραφής της διαδικασίας fast bilateral filtering. 27

39 Κεφάλαιο 3. Χρωματική Απεικόνιση Συμπίεση Διαβάθμισης (Gradient Domain Compression) Μια διαφορετική προσέγγιση προτάθηκε από τους Fattal et al. [11] που βασίζεται στις διαφορές μεταξύ των γειτονικών εικονοστοιχείων και όχι άμεσα σε κάθε εικονοστοιχείο. Χωρίς να εισχωρήσουμε σε πολύπλοκα μαθηματικά, η κύρια ιδέα του gradient domain compression, στηρίζεται στο γεγονός πως μεγάλες αλλαγές στη φωτεινότητα της HDR εικόνας οφείλονται στο μεγάλο gradient κι αντίστοιχα μικρές λεπτομέρειες, σε μικρά gradients. Έτσι, το δυναμικό εύρος μπορεί να συμπιεστεί μειώνοντας τις τιμές των μεγάλων gradients και διατηρώντας τις τιμές των μικρών σταθερές. Η εφαρμογή αυτού του τελεστή, χρησιμοποιεί διαφορική ανάλυση και δίνει ένα αποτέλεσμα με λεπτομέρειες, χωρίς την παρουσία του φαινομένου του φωτοστέφανου. 3.7 Τελεστής Προσαρμοζόμενος στην Οθόνη (Display Adaptive Tone Mapping) Μέχρι στιγμής ασχοληθήκαμε με TMOs για την αναπαραγωγή HDR εικόνων σε LDR οθόνες. Έχει όμως παραληφθεί μια σημαντική λεπτομέρεια: ότι τα χαρακτηριστικά των LDR οθονών διαφέρουν από συσκευή σε συσκευή, αφού δε διαθέτουν όλες το ίδιο δυναμικό εύρος ή την ίδια ποικιλία χρωμάτων. Η προσαρμογή της εικόνας στην κάθε οθόνη χρειάζεται να γίνει χειρωνακτικά έτσι ώστε να επιτευχθεί το καλύτερο αποτέλεσμα που μπορεί να δώσει η συσκευή απεικόνισης. Για την επίλυση αυτού του προβλήματος οι Mantiuk et al. [12], προτείνουν έναν τελεστή που μπορεί και προσαρμόζει τις απαιτούμενες ρυθμίσεις σε κάθε οθόνη, λαμβάνοντας τα χαρακτηριστικά της οθόνης στην είσοδο. Σύμφωνα με τους Μantiuk et al. είναι αδύνατο να ταυτίζονται η HDR εικόνα με την εικόνα που θα αναπαραχθεί από μια LDR συσκευή, αφού λόγω κατασκευής η τελευταία αδυνατεί να αναπαράγει την HDR αυτή καθ αυτή. Παρ όλα αυτά όμως, μπορεί να πετύχει μια πολύ καλή αναπαράσταση της HDR εικόνας. Ο τελεστής που προσαρμόζεται στη συσκευή απεικόνισης, δημιουργεί μια εικόνα που είναι η καλύτερη δυνατή προσέγγιση της HDR εικόνας που είναι ικανή να πραγματοποιήσει η συσκευή απεικόνισης. Αυτό επιτυγχάνεται συγκρίνοντας την απόκριση του ανθρώπινου συστήματος όρασης (Human Visual System, HVS) για μια σκηνή εικονιζόμενη σε οθόνη R disp με την απόκριση για την αρχική HDR σκηνή R ori. Για τον υπολογισμό της κάθε απόκρισης χρησιμοποιείται και κατάλληλο μοντέλο. Οι παράμετροι του συγκεκριμένου τελεστή υπολογίζονται από την ελαχιστοποίηση της διαφοράς μεταξύ των R disp και R ori. Η παρούσα μέθοδος χρωματικής αντιστοίχισης στοχεύει στην αναπαραγωγή μιας εικόνας χωρίς αλλοιώσεις που γίνονται αντιληπτές από το ανθρώπινο σύστημα όρασης και την καλύτερη προσαρμογή της εικόνας για την υπάρχουσα συσκευή απεικόνισης. 28

40 Κεφάλαιο 4. Δημιουργία νέων τελεστών Κεφάλαιο 4 Δημιουργία νέων τελεστών Όπως περιγράψαμε στην αρχή του προηγούμενου κεφαλαίου, η διαδικασία που ακολουθούν τα TMOs μπορεί να χωριστεί σε 4 γενικά βήματα: Εξαγωγή της φωτεινότητας της HDR εικόνας, εφαρμογή της συνάρτησης συμπίεσης και δημιουργία νέας φωτεινότητας, σύνθεση της LDR εικόνας συνδυάζοντας τα χρώματα με τη νέα φωτεινότητα, εφαρμογή διόρθωσης Γάμμα ή κάποιας άλλης διόρθωσης για καλύτερο αποτέλεσμα. Βασιζόμενοι σε αυτά τα απλά βήματα που ακολουθεί ένας τελεστής, προσπαθήσαμε να δημιουργήσουμε έναν δικό μας τελεστή που να δίνει το ίδιο καλά ή αν είναι δυνατόν, και καλύτερα αποτελέσματα με τους ήδη υπάρχοντες τελεστές. 4.1 Εύρεση κατάλληλης συνάρτησης Σκοπός της χρωματικής απεικόνισης είναι η συμπίεση του δυναμικού εύρους μιας εικόνας HDR. Για να πραγματοποιηθεί η συμπίεση, χρειάζεται να χρησιμοποιηθεί η κατάλληλη μαθηματική συνάρτηση. Όπως είδαμε, οι πιο απλές συναρτήσεις όπως η λογαριθμική και η εκθετική έχουν ήδη χρησιμοποιηθεί, επομένως πρέπει να βρούμε κάποια άλλη συνάρτηση πάνω στην οποία θα χτίσουμε τον τελεστή. Θα τολμούσαμε να πούμε πως αυτό το σημείο, δηλαδή η εύρεση της κατάλληλης μαθηματικής συνάρτησης αποτέλεσε και τη μεγαλύτερη πρόκληση στη δημιουργία του νέου τελεστή. Τα χαρακτηριστικά που ζητήσαμε, αρχικά, να έχει η συνάρτηση, έστω f(x), είναι: 29

41 Κεφάλαιο 4. Δημιουργία νέων τελεστών να είναι γνησίως αύξουσα f(a) > f(b) a > b, να έχει ένα ευρύ πεδίο ορισμού και ένα μικρότερο σύνολο τιμών, το πεδίο ορισμού A και το σύνολο τιμών B να είναι μη αρνητικοί αριθμοί, δηλαδή A, BєR 0 +. Με βάση τα παραπάνω δοκιμάσαμε συναρτήσεις όπως η tan(x) (χρησιμοποιώντας μόνο το διάστημα [0, π 2 ) ), tan 1 (x), sinh (x), sinh 1 (x), tanh 1 (x), χρησιμοποιώντας μόνο τα θετικά μέρη πεδίων ορισμού και συνόλων τιμών των συναρτήσεων. Μετά από δοκιμές, καταλήξαμε σε δύο από τις παραπάνω συναρτήσεις, την εφαπτομένη (tan(x)) και το αντίστροφο υπερβολικό ημίτονο (sinh 1 (x)). 4.2 Δομή νέου Τελεστή Όπως έχουμε ήδη αναφέρει, κατά τη διαδικασία εφαρμογής ενός τελεστή, πρώτα εξάγεται η φωτεινότητα της HDR εικόνας. Με αυτόν τον τρόπο λοιπόν, ξεκινά και η διαδικασία του νέου μας τελεστή. Μετά την εξαγωγή της φωτεινότητας της εικόνας, σειρά έχει ο σχεδιασμός του ιστογράμματός της. Στόχος του ιστογράμματος είναι η εύρεση των πολύ υψηλών τιμών της φωτεινότητας αλλά και των πολύ χαμηλών που παρουσιάζουν ιδιαίτερα χαμηλή συχνότητα εμφάνισης. Η εύρεση του ιστογράμματος πραγματοποιείται με τη συνάρτηση myhist που εμφανίζεται στην Εικόνα 4.1. Εικόνα 4.1 Συνάρτηση myhist σε matlab που βρίσκει κι απεικονίζει το ιστόγραμμα της φωτεινότητας μιας εικόνας. 30

42 Κεφάλαιο 4. Δημιουργία νέων τελεστών Τα ορίσματα που δέχεται η συνάρτηση myhist είναι η φωτεινότητα της εικόνας καθώς και το όνομά της, που χρησιμοποιείται μόνο για την αποθήκευση του διαγράμματος του ιστογράμματος ως όνομα_hist. Ακολουθεί η στρογγυλοποίηση των τιμών της φωτεινότητας στον κοντινότερο ακέραιο αριθμό, αφού η φωτεινότητα των HDR εικόνων παίρνει τιμές πραγματικών αριθμών. Έπειτα, δημιουργείται το ιστόγραμμα καταμετρώντας πόσες φορές εμφανίζεται η κάθε τιμή. Το ιστόγραμμα σχεδιάζεται, απεικονίζεται και αποθηκεύεται. Η συνάρτηση myhist επιστρέφει το διάνυσμα lumin, που είναι τιμές από την στρογγυλεμένη ελάχιστη φωτεινότητα μέχρι τη μέγιστη, αυξάνοντας κατά 1 και το διάνυσμα A των συχνοτήτων που αντιστοιχούν σε κάθε φωτεινότητα του lumin. Στην Εικόνα4.2 βλέπουμε μια tone mapped εικόνα, το ιστόγραμμά της καθώς και το ιστόγραμμα της αντίστοιχης HDR εικόνας που υπολογίστηκε με τη συνάρτησή μας. Το ιστόγραμμα το χρησιμοποιούμε για να βρούμε τη συχνότητα εμφάνισης κάθε τιμής φωτεινότητας της HDR εικόνας. Στη συνέχεια, με τη βοήθεια του ιστογράμματος περνάμε τη φωτεινότητα από ένα φίλτρο αποκοπής των ιδιαίτερα υψηλών και χαμηλών τιμών φωτεινότητας με μικρή συχνότητα εμφάνισης. Πιο συγκεκριμένα, παρατηρήσαμε πως μια συχνότητα εμφάνισης μικρότερη της μέγιστης διαιρεμένης με τη σταθερά c=40, δηλώνει μικρή συχνότητα. Επομένως, φτιάξαμε τη συνάρτηση lumfilter, στην οποία καλείται η myhist, σημειώνουμε ποιες τιμές έχουν μικρή συχνότητα (βάζουμε τη συχνότητά τους ίση με -1) και βρίσκουμε τη μέγιστη και την ελάχιστη τιμή φωτεινότητας με αποδεκτή συχνότητα εμφάνισης ( max (f lum) ). Η συνάρτηση lumfilter δέχεται ως ορίσματα τη 40 φωτεινότητα της HDR εικόνας και το όνομά της (για λόγους εξυπηρέτησης της αποθήκευσης του ιστογράμματος). Με τη βοήθεια του ιστογράμματος υπολογίζει τη μέγιστη κι ελάχιστη τιμή φωτεινότητας που εμφανίζονται αρκετές φορές στην εικόνα. Τέλος, στην έξοδό της δίνει τη νέα μέγιστη κι ελάχιστη τιμή της φωτεινότητας. Η συνάρτηση lumfilter σε matlab δίνεται στην Εικόνα 4.3. (α) 31

43 Κεφάλαιο 4. Δημιουργία νέων τελεστών (β) (γ) Εικόνα 4.2. (α) Η tone mapped εικόνα (β) το ιστόγραμμα της tone mapped εικόνας, (γ) το ιστόγραμμα της αντίστοιχης HDR εικόνας. Κοιτάζοντας τα ιστογράμματα για την HDR και την LDR εικόνα, παρατηρούμε την αναμενόμενη διαφορά στο εύρος της φωτεινότητας. Για την LDR tone mapped εικόνα, το εύρος τιμών της φωτεινότητας είναι [0,255] ενώ για την αρχική HDR οι τιμές φωτεινότητας κυμαίνονται στο εύρος [0,1212]. Το διάστημα των τιμών που μπορεί να λάβει η φωτεινότητα στην HDR εικόνα είναι 5 φορές μεγαλύτερο σε σχέση με την tone mapped εικόνα. 32

44 Κεφάλαιο 4. Δημιουργία νέων τελεστών Εικόνα 4.3 Η συνάρτηση lumfilter σε matlab που χρησιμοποιώντας το ιστόγραμμα καθορίζει τις νέες ακραίες τιμές της φωτεινότητας. Ο υπολογισμός του ιστογράμματος και η εύρεση των αποδεκτών, συχνά εμφανιζόμενων τιμών φωτεινότητας δεν έγιναν τυχαία, αλλά για να μας βοηθήσουν στη διαδικασία της χρωματικής απεικόνισης. Πιο συγκεκριμένα, παρατηρήσαμε πως κάποιες ακραίες τιμές φωτεινότητας μιας HDR εικόνας, εμφανίζονταν ελάχιστα αλλά κατά την εφαρμογή του τελεστή ήταν αρκετές για να οδηγήσουν στον κορεσμό τιμές φωτεινότητας της LDR εικόνας. Το αποτέλεσμα ήταν στην τελική LDR εικόνα να συγκεντρώνονται πολλές τιμές στη μέγιστη φωτεινότητα, δηλαδή να οδηγούμαστε σε κορεσμό, γεγονός που δεν είναι ευχάριστο στο μάτι. Γι αυτό το λόγο, σκεφτήκαμε τις πολύ υψηλές ή πολύ χαμηλές τιμές με μικρή συχνότητα εμφάνισης να τις περιορίσουμε στα κοντινότερά τους όρια με αποδεκτή συχνότητα. Αυτή η διαδικασία περιλαμβάνεται στον κώδικα του TMO. Οι δύο τελεστές που υλοποιήσαμε, βασιζόμενοι στις συναρτήσεις tan(x) και sinh 1 (x) κατατάσσονται στην κατηγορία των καθολικών τελεστών καθώς εφαρμόζονται ομοιόμορφα σε όλη την εικόνα, δηλαδή εφαρμόζεται η ίδια μετατροπή σε κάθε εικονοστοιχείο χωρίς να λαμβάνουν υπόψη τους τις γειτονικές περιοχές. Οι κώδικες φαίνονται και παρακάτω αλλά δίνονται και στο Παράρτημα Α. 4.3 Τελεστής tan(x) Η συνάρτηση της εφαπτομένης έχει τη μορφή που φαίνεται στην Εικόνα 4.4. Για ακέραιες τιμές του κ, η τιμή της εισόδου κ π rad, όπως είναι γνωστό, δεν ορίζεται. 2 33

45 Κεφάλαιο 4. Δημιουργία νέων τελεστών Εικόνα 4.4. Η γραφική παράσταση της tan(x) στο διάστημα [0, 2π]. Στον τελεστή που δημιουργήσαμε χρησιμοποιώντας τη συνάρτηση της εφαπτομένης ακολουθείται η εξής διαδικασία: Με τη βοήθεια της συνάρτησης lumfilter, που είδαμε προηγουμένως, υπολογίζονται οι τιμές φωτεινότητας για τα νέα άκρα (γρ. 17). Τίθεται ως μέγιστη τιμή της γωνίας τις 30 ο που η εφαπτομένη τους ισούται με 0.57 (γρ. 16). Αναθέτονται οι ακραίες τιμές που έχουν υπολογιστεί στη lumfilter, στα νέα άκρα (γρ ). Με απλή μέθοδο των τριών υπολογίζεται η νέα τιμή της φωτεινότητας, λαμβάνοντας υπόψη τα νέα άκρα που ορίσαμε (γρ. 26). Μετατροπή της φωτεινότητας σε ακτίνια (rad) και υπολογισμός της τιμή της εφαπτομένης τους (γρ ). Σχεδιασμός της γραφικής παράστασης της φωτεινότητας εξόδου (LDR εικόνας) συναρτήσει της φωτεινότητας εισόδου (HDR εικόνας) (γρ ). Αφαίρεση από την HDR εικόνα της φωτεινότητάς της για τη δημιουργία της LDR εικόνας, προσδίδοντας τη νέα φωτεινότητα (γρ. 39). Κανονικοποίηση ως προς 0.57, επειδή το μέχρι τώρα αποτέλεσμα θα αποθηκευτεί θεωρώντας πως έχει μέγιστη τιμή το 1 παρόλο που έχει οριστεί το 0.57, (γρ. 41). Αφαίρεση στοιχείων που δεν αντιστοιχούν σε αριθμούς και μπορεί να προέκυψαν, με τη συνάρτηση RemoveSpecials (γρ. 42). Ο χρήστης στη συνέχεια θα ορίσει αν θα εφαρμόσει διόρθωση Γάμμα ή όχι. Ο κώδικας του τελεστή tantmo φαίνεται στην Εικόνα

46 Κεφάλαιο 4. Δημιουργία νέων τελεστών Εικόνα 4.5. Ο κώδικας της συνάρτησης tantmo. 4.4 Τελεστής sinh 1 (x) Η συνάρτηση του υπερβολικού ημιτόνου ορίζεται ως: sinh x = ex e x 2 = e2x 1 2e x = 1 e 2x 2e x (4.1) με γραφική παράσταση που φαίνεται στην Εικόνα 4.6. Η συνάρτηση του αντίστροφου υπερβολικού ημιτόνου δίνεται από την εξίσωση: sinh 1 x = ln (x + x 2 + 1) (4.2) και η γραφική της παράσταση ακολουθεί στην Εικόνα

47 Κεφάλαιο 4. Δημιουργία νέων τελεστών Εικόνα 4.6. Η γραφική παράσταση του υπερβολικού ημιτόνου στο διάστημα [-5,5]. Εικόνα 4.7. Η γραφική παράσταση του αντίστροφου υπερβολικού ημιτόνου στο διάστημα [-5,5]. Το σκεπτικό που ακολουθούμε και σε αυτόν το τελεστή είναι ίδιο με αυτό για τον τελεστή της εφαπτομένης. Πιο αναλυτικά, τα μέρη που αποτελούν το τελεστή είναι: Η χρήση του φίλτρου lumfilter στην HDR εικόνα, ώστε να καθοριστούν τα νέα όρια της φωτεινότητας με τη βοήθεια του ιστογράμματος (γρ. 11). Η εφαρμογή των νέων ορίων φωτεινότητας (γρ ). Διαίρεση με μια σταθερά ίση με 60, που υπολογίστηκε πειραματικά, της φωτεινότητας (γρ.22). Υπολογισμός της νέας φωτεινότητας που αντιστοιχεί στη LDR εικόνα με τη χρήση της συνάρτησης αντιστρόφου υπερβολικού ημιτόνου (γρ. 23). Κανονικοποίηση ως προς 2.5 φορές τη μέγιστη τιμή που βρήκαμε (για να μην υπάρχει κορεσμός στην εικόνα), (γρ ). Γραφική παράσταση της φωτεινότητας εξόδου (φωτεινότητα της LDR εικόνας) συναρτήσει της φωτεινότητας εισόδου (φωτεινότητα HDR εικόνας), (γρ. 32). Αφαίρεση της παλιάς φωτεινότητας και προσθήκη της νέας (γρ ). 36

48 Κεφάλαιο 4. Δημιουργία νέων τελεστών Αφαίρεση στοιχείων που μπορεί να προέκυψαν και να μην αντιστοιχούν σε αριθμό (γρ. 42). Αφήνεται σαν επιλογή στο χρήστη αν μετά θα εφαρμόσει διόρθωση Γάμμα. Ο κώδικας που υλοποιεί τον τελεστή αντιστρόφου υπερβολικού ημιτόνου φαίνεται στην Εικόνα4.8. Εικόνα 4.8. Ο συνάρτηση του τελεστή sinh 1 (x). 37

49 Κεφάλαιο 5. Κριτήρια αξιολόγησης ποιότητας εικόνων Κεφάλαιο 5 Κριτήρια αξιολόγησης ποιότητας εικόνων (Image quality metrics) Οι ψηφιακές εικόνες πριν καταλήξουν στην τελική τους μορφή και στον τελικό τους παρατηρητή/χρήστη, συνήθως περνούν από διάφορα στάδια επεξεργασίας. Κάθε στάδιο επεξεργασίας εισάγει διαφορετική αλλοίωση στην εικόνα, που επηρεάζει αρνητικά την ποιότητά της. Για να διατηρήσουμε, να ελέγξουμε ή να ενισχύσουμε την ποιότητα μιας εικόνας, χρειάζεται να μπορούμε να τη μετρήσουμε μετά από κάθε στάδιο επεξεργασίας στο οποίο έχει υποβληθεί. Η διαδικασία μέτρησης της ποιότητας μιας ψηφιακής εικόνας, ονομάζεται Αξιολόγηση Ποιότητας Εικόνας (IQA, Image Quality Assessment) και οι μέθοδοί της χωρίζονται σε δύο κατηγορίες σύμφωνα με τα κριτήρια που χρησιμοποιούν: τις υποκειμενικές και τις αντικειμενικές μεθόδους αξιολόγησης. Αυτές οι δύο κατηγορίες θα περιγραφούν στη συνέχεια, σύμφωνα με τους Mohammadi et al. [13], αφού πρόκειται να τις χρησιμοποιήσουμε στα πειράματά μας. 5.1 Υποκειμενικά κριτήρια αξιολόγησης ποιότητας εικόνων Μιας και ο τελικός παρατηρητής των εικόνων είναι τις περισσότερες φορές ο άνθρωπος, η πιο ακριβής και αξιόπιστη μέθοδος αξιολόγησης της ποιότητας μιας εικόνας είναι να την αξιολογήσει ο ίδιος ο άνθρωπος. Δηλαδή, ζητείται από ανθρώπους να παρατηρήσουν και να βαθμολογήσουν τις εικόνες και γι αυτό το λόγο, η μέθοδος αυτή ονομάζεται υποκειμενική, επειδή βασίζεται σε υποκειμενικά κριτήρια και είναι γνωστή ως MOS (Mean Opinion Score). Η χρήση υποκειμενικών κριτηρίων για την αξιολόγηση μιας εικόνας, ενώ δίνει τα πιο ακριβή αποτελέσματα, αποτελεί μια δαπανηρή, χρονοβόρα και πολύπλοκη διαδικασία, καθώς εξαρτάται από ποικίλους παράγοντες. Πιο συγκεκριμένα ο χρόνος που κάθε υποκείμενο παρατηρεί την εικόνα, η διάθεσή του, η όρασή του, η 38

50 Κεφάλαιο 5. Κριτήρια αξιολόγησης ποιότητας εικόνων απόστασή του από την οθόνη, η οθόνη, ο φωτισμός του χώρου είναι παράγοντες που αλλάζουν πολύ εύκολα και επηρεάζουν το αποτέλεσμα της αξιολόγησης. Στην υποκειμενική αξιολόγηση ποιότητας εικόνων ο παρατηρητής καλείται να βαθμολογήσει την εικόνα σε μια κλίμακα από 1 έως 5. Η κλίμακα αυτή αντιπροσωπεύει, ξεκινώντας από το 1: κακή, φτωχή, μέτρια, καλή και εξαιρετική ποιότητα (bad, poor, fair, good, excellent). Στη συνέχεια, θα αναφέρουμε και θα περιγράψουμε εν συντομία τρεις κατηγορίες υποκειμενικής αξιολόγησης Εκτίμηση μοναδικού ερεθίσματος (Single stimulus categorical rating) Σε αυτή τη μέθοδο, κάθε εικόνα εμφανίζεται στην οθόνη για συγκεκριμένη ώρα κι αφού πάψει να εμφανίζεται τότε ο παρατηρητής καλείται να βαθμολογήσει την ποιότητά της σε μια κλίμακα από 1 έως 5. Οι εικόνες εμφανίζονται με τυχαία σειρά Εκτίμηση διπλού ερεθίσματος (Double stimulus categorical rating) Αυτή η μέθοδος μοιάζει με την προηγούμενη. Διαφέρουν στο γεγονός ότι εδώ εμφανίζονται οι εικόνες ανά ζεύγη: εικόνα αναφοράς-επεξεργασμένη εικόνα προς εκτίμηση (test image). Η εικόνα αναφοράς θεωρούμε πως είναι το μέτρο σύγκρισης, δηλαδή μια εικόνα χωρίς αλλοίωση. Κάθε ζεύγος εικόνων εμφανίζεται για συγκεκριμένο χρονικό διάστημα κι έπειτα ο παρατηρητής καλείται να βαθμολογήσει την ποιότητα της εικόνας προς εκτίμηση στην ίδια κλίμακα που περιγράψαμε παραπάνω Εκτίμηση ανά ζεύγη με εξαναγκασμένη επιλογή (Ordering by force-choice pair-wise comparison) Η παρούσα μέθοδος μοιάζει με την προαναφερθείσα αλλά κάθε ζεύγος εικόνων δεν αποτελείται από την εικόνα αναφοράς και την εικόνα προς εκτίμηση. Κάθε ζεύγος αποτελείται από δύο εικόνες της ίδιας σκηνής και ο παρατηρητής ζητείται να επιλέξει ποια εκ των δύο έχει καλύτερη ποιότητα, ακόμα κι αν έχουν την ίδια ακριβώς ποιότητα. Σε αυτόν τον τρόπο αξιολόγησης δεν υπάρχει συγκεκριμένο χρονικό περιθώριο. 5.2 Αντικειμενικά κριτήρια αξιολόγησης ποιότητας εικόνων Η απουσία ανεξαρτησίας σε συνδυασμό με το χρηματικό και το χρονικό κόστος που χαρακτηρίζουν την υποκειμενική μέθοδο αξιολόγησης εικόνων, οδήγησε στη δημιουργία ενός άλλου τρόπου αξιολόγησης εικόνων, βασισμένου σε μαθηματικά μοντέλα, που όμως καταλήγει σε παρόμοια αποτελέσματα με την αξιολόγηση που μόλις είδαμε. Ο τρόπος αυτός σχετίζεται με αντικειμενικά κριτήρια οπότε και η μέθοδος ονομάζεται αντικειμενική μέθοδος αξιολόγησης εικόνων. 39

51 Κεφάλαιο 5. Κριτήρια αξιολόγησης ποιότητας εικόνων Στόχος των αντικειμενικών μεθόδων αξιολόγησης εικόνων είναι ο σχεδιασμός μαθηματικών μοντέλων ικανών να υπολογίζουν αυτόματα και με ακρίβεια την ποιότητα μιας εικόνας. Ένα ιδανικό αντικειμενικό κριτήριο αξιολόγησης θα δώσει αποτελέσματα ίδια με την υποκειμενική αξιολόγηση. Οι αντικειμενικοί τρόποι αξιολόγησης εικόνων μπορούν να χωριστούν σε τρεις κατηγορίες, ανάλογα με τη διαθεσιμότητα της εικόνας αναφοράς. Η πρώτη κατηγορία, πλήρους αναφοράς (fullreference image quality assessment), διαθέτει την εικόνα αναφοράς, μια εικόνα εξαιρετικής ποιότητας που θεωρούμε ως αναφορά και δεν έχει δεχθεί αλλοιώσεις. Η δεύτερη κατηγορία ονομάζεται αξιολόγηση μειωμένης αναφοράς εικόνας (reduced-reference image quality assessment) επειδή δε διατίθεται ολόκληρη η εικόνα αναφοράς. Αντί για την εικόνα αναφοράς, έχουμε στη διάθεσή μας κάποια χαρακτηριστικά της τα οποία χρησιμοποιούμε ως επιμέρους πληροφορίες για την αξιολόγηση της εικόνας. Η τελευταία κατηγορία είναι η αξιολόγηση χωρίς εικόνα αναφοράς (noreference image quality assessment) στην οποία όπως είναι προφανές δε διαθέτουμε την εικόνα αναφοράς. Τα μαθηματικά μοντέλα που θα αναφέρουμε, ανήκουν στην πρώτη κατηγορία αντικειμενικών κριτηρίων όπου διαθέτουμε και συγκρίνουμε με την εικόνα αναφοράς Μέσο Τετραγωνικό Σφάλμα (Mean Squared Error, MSE) Η μέθοδος του μέσω τετραγωνικού σφάλματος, γνωστή ως MSE, όπως και θα αναφερόμαστε στο εξής χάριν συντομίας, υπολογίζει το μέσο τετραγωνικό σφάλμα μεταξύ της εικόνας αναφοράς και της εικόνας προς εκτίμηση, δηλαδή τη μέση τετραγωνική τιμή της αλλοίωσης της εικόνας. Για μια μονοχρωματική εικόνα διαστάσεων m n, το MSE υπολογίζεται από την εξίσωση: MSE = 1 m (I mn j=1 n i=1 ref(i, j) I test (i, j)) 2, (5.1) όπου I ref η εικόνα αναφοράς και I test η εικόνα προς εκτίμηση. Για έγχρωμες εικόνες η εξίσωση διαμορφώνεται αναλόγως. Στην περίπτωση απουσίας θορύβου από την προς εκτίμηση εικόνα, η τιμή του MSE μηδενίζεται Λόγος Μέγιστου Σήματος προς Θόρυβο (Peak Signal to Noise Ratio, PSNR) Στην ψηφιακή επεξεργασία εικόνας, αντί της μεθόδου MSE, για αξιολόγηση εικόνας συχνότερα χρησιμοποιείται ο υπολογισμός του PSNR που βασίζεται στο MSE. Το PSNR ορίζει το λόγο της μέγιστης τιμής του σήματος προς το θόρυβο, δηλαδή της εικόνας προς το θόρυβο που έχει δεχθεί και υπολογίζεται σε λογαριθμική κλίμακα: PSNR = 10log 10 ( max2 (I ref ) ) = 20log MSE 10 max(i ref ) 10log 10 (MSE), (5.2) Όσο πιο πολύ μοιάζουν οι δύο εικόνες μεταξύ τους (εικόνα αναφοράς και προς εκτίμηση), δηλαδή όσο λιγότερος είναι ο θόρυβος που έχει δεχθεί η προς εκτίμηση εικόνα, τόσο η τιμή του PSNR μεγαλώνει. Παρότι οι δύο μέθοδοι MSE και PSNR είναι εύκολοι και γρήγοροι στους υπολογισμούς τους, παρουσιάζουν κακή απόδοση όταν συγκρίνονται με την υποκειμενική αξιολόγηση. Αυτό συμβαίνει 40

52 Κεφάλαιο 5. Κριτήρια αξιολόγησης ποιότητας εικόνων γιατί δε λαμβάνουν υπόψη τους χαρακτηριστικά που λαμβάνει υπόψη του το ανθρώπινο οπτικό σύστημα Δείκτης Δομικής Ομοιότητας (Structural Similarity Index, SSIM) Ο SSIM αλγόριθμος βασίζεται στο γεγονός πως το ανθρώπινο σύστημα όρασης έχει τη δυνατότητα να προσαρμόζεται, ώστε να εξάγει από κάθε σκηνή πληροφορίες που αφορούν τη δομή της. Σε επίπεδο εικονοστοιχείων αυτό σημαίνει ότι τα εικονοστοιχεία μιας σκηνής παρουσιάζουν ισχυρές εξαρτήσεις μεταξύ τους που περιλαμβάνουν σημαντικές πληροφορίες για την δομή της εικόνας. Ο SSIM αλγόριθμος αντιλαμβάνεται την αλλαγή στην ποιότητα μιας εικόνας ως αλλαγή στη δομή της. Θεωρεί πως η δομή των αντικειμένων σε μια σκηνή είναι ανεξάρτητη της τοπικής φωτεινότητας και αντίθεσης και γι αυτό χρειάζεται να ξεχωρίσει τη φωτεινότητα από την εικόνα για να πάρει τις απαιτούμενες δομικές πληροφορίες. Οι μετρήσεις που πραγματοποιεί ο αλγόριθμος χωρίζονται σε τρία μέρη: σύγκριση φωτεινότητας, σύγκριση αντίθεσης και δομική σύγκριση. Μέτρηση φωτεινότητας: μ = 1 mn m n j=1 i=1 I(i, j), (5.3) Όπου μ είναι η υπολογιζόμενη φωτεινότητα μιας m n εικόνας. Υπολογίζεται για την εικόνα αναφοράς και για την εικόνα προς εκτίμηση. Η σύγκριση των φωτεινοτήτων δίνεται από τη σχέση: l(i ref, I test ) = 2μ refμ test +T 1 2, (5.4) +T 1 μ2 ref +μ test Για τον υπολογισμό της αντίθεσης υπολογίζεται για κάθε εικόνα η παρακάτω εξίσωση απόκλισης: σ = 1 m n (I(i, j) μ) 2 mn 1 j=1 i=1, (5.5) και η σύγκριση των αντιθέσεων δίνεται από την παρακάτω σχέση: c(i ref, I test ) = 2σ refσ test +T 2 2, (5.6) +T 2 σ 2 ref +σ test Για το τρίτο μέρος, η δομική σύγκριση s(i ref, I test ) υπολογίζεται ως: s(i ref, I test ) = σ ref,test+t 3 σ ref σ test ++T 3, (5.7) όπου T i σταθερές που αποτρέπουν τον παρονομαστή να λάβει πολύ μικρές τιμές. Οι τρεις συναρτήσεις-συγκρίσεις που έχουν υπολογισθεί μέχρι στιγμής, συνδυάζονται ώστε να υπολογίσουν την τελική τιμή του SSIM: SSIM(I ref, I test ) = [l(i ref, I test )] α [c(i ref, I test )] β [s(i ref, I test )] γ, (5.8) Όπου α, β, γ σταθερές που δηλώνουν τη σχετική σημαντικότητα της κάθε σύγκρισης. 41

53 Κεφάλαιο 5. Κριτήρια αξιολόγησης ποιότητας εικόνων Μικρές τιμές του SSIM σημαίνουν χαμηλότερη ποιότητα και μάλιστα για εικόνες με εμφανή αλλοίωση που δίνουν ίδιο MSE, το SSIM καταφέρνει να ακολουθήσει την εκτίμηση που θα έκανε ένας άνθρωπος. Αυτό φαίνεται στην Εικόνα 5.1, [14]. Εικόνα 5.1. Η ίδια εικόνα με προσθήκη διαφορετικού θορύβου σε κάθε περίπτωση. Το MSE δεν αντιλαμβάνεται τη διαφορά καθώς μένει σταθερό ενώ ο δείκτης SSIM αλλάζει τιμή. 5.3 Αντικειμενικά κριτήρια αξιολόγησης εικόνων για HDR εικόνες Η πλειονότητα των αντικειμενικών μεθόδων αξιολόγησης ψηφιακών εικόνων που χρησιμοποιούνταν μέχρι πρόσφατα όπως το MSE, PSNR, SSIM και άλλα που παραλείψαμε να αναφέρουμε, αφορούν τη σύγκριση μεταξύ δύο LDR εικόνων. Αν προσπαθήσουμε να εφαρμόσουμε αυτές τις μεθόδους για να διεξάγουμε κάποιο συμπέρασμα που να αφορά είτε δύο HDR είτε μία HDR και την αντίστοιχη tone mapped της εικόνα, τότε το αποτέλεσμα που θα μας δώσει οποιαδήποτε από τις παραπάνω μεθόδους θα είναι λανθασμένο. Ας πάρουμε το πιο απλό παράδειγμα εφαρμόζοντας MSE μεταξύ μιας HDR και της tone mapped της εικόνας. Αφού οι τιμές που λαμβάνει μια HDR εικόνα είναι πραγματικές και καλύπτουν ένα πολύ μεγαλύτερο εύρος από εκείνο των LDR, η διαφορά μεταξύ των εικονοστοιχείων θα βγει πολύ μεγάλη οπότε και το αποτέλεσμα του MSE είναι μεγάλο, γεγονός που σημαίνει πως έχει μπει θόρυβος. Δηλαδή, η διαφορά στο εύρος των τιμών γίνεται αντιληπτή ως θόρυβος, από αυτές τις μεθόδους αξιολόγησης. Για να μπορέσουμε να αποφανθούμε για την ποιότητα μιας HDR εικόνας χρειαζόμαστε μεθόδους κατάλληλες για HDR και LDR. Θα ασχοληθούμε με δύο τέτοιες μεθόδους, το TMQI και το HDR- VDP. 42

54 Κεφάλαιο 5. Κριτήρια αξιολόγησης ποιότητας εικόνων Δείκτης ποιότητας για tone mapped εικόνες (Tone Mapped images Quality Index, TMQI) Αυτός ο δείκτης αποτελεί ένα συνδυασμό της δομικής ποιότητας και της στατιστικής φυσικότητας. Η διαδικασία του tone mapping συμπιέζει το δυναμικό εύρος της εικόνας που σημαίνει ότι έχουμε απώλεια πληροφορίας. Αυτή η απώλεια πληροφορίας μπορεί να μην είναι ορατή στο ανθρώπινο μάτι, δεν παύει όμως να είναι απώλεια. Η δομική πιστότητα μεταξύ δύο εικόνων x και y, που χρησιμοποιεί το TMQI δίνεται από τον τύπο: S local (x, y) = 2σ x σ y +Τ 8 σ x 2 +σ y 2 +Τ 8 σ x,y +T 9 σ x σ y +T 9, (5.9) όπου σ x, σ y και σ x σ y είναι οι τοπικές αποκλίσεις των x, y και η ετεροσυσχέτισή τους, ενώ Τ 8 και T 9 είναι θετικές σταθερές που αποτρέπουν τον παρονομαστή να λάβει πολύ μικρές τιμές. Ο αλγόριθμος TMQI λαμβάνει υπόψη του την εξίσωση (5.5) σε συνδυασμό με την ψυχομετρική καμπύλη Galton, τις συναρτήσεις πυκνότητας πιθανότητας Gauss και Beta και τη στατιστική φυσικότητα, συναρτήσεις που αποφεύγουμε να αναλύσουμε σε αυτό το σημείο λόγω πολυπλοκότητας και καταλήγει στον υπολογισμό της ποιότητας της tone mapped εικόνας: Q = γs α + (1 γ)ν β, (5.10) όπου α, β, γ σταθερές και Ν η υπολογισμένη στατιστική φυσικότητα. Η ποιότητα Q κυμαίνεται στο διάστημα [0,1]. Οι παράμετροι που παίρνει ο αλγόριθμος TMQI είναι η HDR εικόνα, η LDR εικόνα και το μέγεθος του παραθύρου που θα χρησιμοποιήσει για τον υπολογισμό της δομικής πιστότητας. Στην έξοδό του λαμβάνουμε το χάρτη πιστότητας (s_map) στον οποίο περιγράφεται η πιθανότητα ανίχνευσης διαφοράς (για γκρι χρώμα η πιθανότητα είναι μικρότερη από 25%, για πράσινο μικρότερη από 50%, για κίτρινο μικρότερη από 62.5%, για κόκκινο 75%-95% και για μωβ 100%), το μέσο όρο του s_map για κάθε κλίμακα (s_local), τη δομική πιστότητα (S), τη στατιστική φυσικότητα (Ν) και τέλος την ποιότητα της εικόνας προς εκτίμηση (Q) Πρόβλεψη οπτικής διαφοράς (Visual Difference Prediction, VDP) Ο αλγόριθμος πρόβλεψης οπτικής διαφοράς HDR-VDP2 βασίζεται στο ανθρώπινο οπτικό σύστημα και είναι ικανό να συγκρίνει δύο εικόνες διαφορετικού δυναμικού εύρους. Η μέθοδος HDR- VDP2 υπολογίζει δύο παράγοντες: την ορατότητα (visibility) και την ποιότητα (quality) της εικόνας προς εκτίμηση. Ο πρώτος όρος δηλώνει την πιθανότητα οι διαφορές μεταξύ των δύο εικόνων να γίνονται αντιληπτές από το μέσο παρατηρητή. Ο δεύτερος όρος είναι η αλλοίωση της ποιότητας της εικόνας με βάση την εικόνα αναφοράς, εκφρασμένη ως μέση υποκειμενική εκτίμηση (MOS). Ο HDR-VDP2 αλγόριθμος υπολογίζει ένα χάρτη πιθανοτήτων στον οποίο απεικονίζεται για κάθε εικονοστοιχείο η πιθανότητα ανίχνευσης διαφοράς μεταξύ των δύο εικόνων, από τον παρατηρητή. Μεγαλύτερη πιθανότητα σημαίνει μεγαλύτερη αλλοίωση στην εικόνα που προφανώς μπορεί να γίνει πιο εύκολα αντιληπτή από τον άνθρωπο. Για να υπολογίσει όμως ο αλγόριθμος ένα συνολικό αποτέλεσμα που να αφορά την ποιότητα και να εκφράζει ολόκληρη την εικόνα, χρησιμοποιεί μεθόδους ομαδοποίησης (pooling). Οι εμπνευστές του HDR-VDP2 κατέληξαν στον υπολογισμό της ποιότητας της εικόνας με τον ακόλουθο τρόπο: Q = 1 F O w FO flog ( 1 I f=1 o=1 I i=1 D2 [f, o](i) + ε), (5.11) 43

55 Κεφάλαιο 5. Κριτήρια αξιολόγησης ποιότητας εικόνων όπου i είναι ο δείκτης των εικονοστοιχείων, ε = 10 5, D η διαφορά σήματος-κανονικοποιημένου θορύβου, f,o είναι αντίστοιχα οι δείκτες ζώνης χωρικής συχνότητας (spatial frequency band) και προσανατολισμού για την πυραμίδα που χρησιμοποιείται για την αποσύνθεση της εικόνας κατά τη διάρκεια του αλγορίθμου, I είναι το συνολικό πλήθος των εικονοστοιχείων και το βάρος w f βρέθηκε πειραματικά μεγιστοποιώντας τη σχετικότητά του με την ποιότητα μιας βάσης δεδομένων LDR εικόνων. Για πιο αναλυτικές πληροφορίες που αφορούν τη σχέση (5.11) και τη μέθοδο HDR-VDP2, ο αναγνώστης μπορεί να ανατρέξει στην αντίστοιχη βιβλιογραφία [15], [16], καθώς περαιτέρω ανάλυση μας απομακρύνει από το στόχο της εργασίας. Η συνάρτηση σε matlab που πραγματοποιεί τη μέθοδο HDR-VDP2 λαμβάνει ως παραμέτρους τις δύο εικόνες, αναφοράς και προς εκτίμηση, τη χρωματική τους κωδικοποίηση, την ανάλυσή τους σε pixels-per-degree (ppd) και άλλες προαιρετικές παραμέτρους. Στην έξοδό της δίνει έναν πίνακα με την πιθανότητα ανίχνευσης αντιληπτής διαφοράς ανά εικονοστοιχείο σε κλίμακα [0,1] (P_map), τη συνολική πιθανότητα ανίχνευσης αντιληπτής διαφοράς μεταξύ των δύο εικόνων (P_det) σε κλίμακα [0,1] επίσης, το χάρτη κατωφλίου κανονικοποιημένης αντίθεσης P_map έτσι ώστε η τιμή C_max να αντιστοιχεί σε πιθανότητα ανίχνευσης P_det=0.5, το μέγιστο κατώφλι κανονικοποιημένης αντίθεσης ώστε C_max να αντιστοιχεί σε πιθανότητα ανίχνευσης P_det=0.5 και την ποιότητα της προς εκτίμηση εικόνας με μέγιστο το 100, που δηλώνει και την καλύτερη ποιότητα. 44

56 Κεφάλαιο 6. Διεξαγωγή αξιολογήσεων Κεφάλαιο 6 Διεξαγωγή αξιολογήσεων 6.1 Επιλογή και επεξεργασία εικόνων προς αξιολόγηση Για την υλοποίηση της εργασίας το πρώτο απαραίτητο βήμα που χρειάζεται αφορά την επιλογή των εικόνων. Οι εικόνες που διαλέξαμε προέρχονται από την EMPA HDR βάση δεδομένων του Ελβετικού Ομοσπονδιακού Ιδρύματος Τεχνολογίας (Swiss Federal Institute of Technology) [17]. Επιλέξαμε ένα σύνολο από 6 εικόνες, που θεωρήσαμε χαρακτηριστικές HDR καθώς περιλαμβάνουν μεγάλες διαφορές φωτεινότητας και εικονίζουν σκηνές σε εξωτερικούς και σε εσωτερικούς χώρους. Για λόγους που θα αναλύσουμε αργότερα, στην υποκειμενική αξιολόγηση, δε χρησιμοποιήσαμε ολόκληρες τις εικόνες αλλά τις κόψαμε όλες σε συγκεκριμένες διαστάσεις, 1920 pixels 1080 pixels. Στην Εικόνα6.1 βλέπουμε τις επιλεγμένες και κομμένες εικόνες στην έκθεση που αντιστοιχεί σε 0 exposure. (α) Crete (β) Fire extinguisher 45

57 Κεφάλαιο 6. Διεξαγωγή αξιολογήσεων (γ) Knossos1 (δ) Knossos4 (ε) Museum (στ) Zurich Εικόνα 6.1. Οι επιλεγμένες προς επεξεργασία εικόνες, που αντιστοιχούν σε μιδενική τιμή έκθεσης. Οι κανονικές τους διαστάσεις είναι 1920 pixels 1080 pixels και συνοδεύονται από την ονομασία τους. Μετά την επιλογή των εικόνων που χρησιμοποιήσαμε και την περικοπή τους στις επιθυμητές διαστάσεις, ακολούθησε η σύνθεση τους σε HDR εικόνες. Όπως θα έχει γίνει κατανοητό μέχρι τώρα, η εμφάνιση των HDR εικόνων δεν είναι εφικτή στις συμβατικές οθόνες και γι αυτό σειρά έχει η διαδικασία της χρωματικής αντιστοίχησης. Για τη χρωματική απεικόνιση των εικόνων χρησιμοποιήσαμε 7 τελεστές από όσους αναφέρθηκαν προηγουμένως: AsinhTMO, DragoTMO, DurandTMO, ExponentialTMO, MantiukTMO, ReinhardTMO και ΤanTMO. Κατά την εφαρμογή του κάθε τελεστή, στη διαδικασία της χρωματικής αντιστοίχησης, κρίθηκε δίκαιο να αφήσουμε για κάθε τελεστή τις ρυθμίσεις/επιλογές παραμέτρων που ήταν προκαθορισμένες (default). Αυτό το κάναμε διότι για κάθε τελεστή για να έχουμε το καλύτερο αποτέλεσμα πρέπει να προσαρμόζουμε τις παραμέτρους στην κάθε εικόνα και μετά από πολλές δοκιμές να καταλήγουμε στο καλύτερο αποτέλεσμα. Αυτό δεν το κάναμε για δύο λόγους. Πρώτον, γιατί θα ήταν μια ιδιαίτερα χρονοβόρα διαδικασία και δεύτερον το καλύτερο αποτέλεσμα για κάθε εικόνα στο οποίο θα καταλήγαμε θα βασιζόταν στα δικά μας υποκειμενικά κριτήρια. Έτσι, αποφασίσαμε πως η καλύτερη, δηλαδή πιο ουδέτερη λύση είναι για κάθε τελεστή να αφήσουμε τις προκαθορισμένες παραμέτρους. Ακόμη, μετά την εφαρμογή των τελεστών χρωματικής απεικόνισης ακολούθησε η εφαρμογή της διόρθωσης Γάμμα, για όλες τις εικόνες με τιμή γ=2.2. Μιας και το στοιχείο που επηρεάζεται στη χρωματική αντιστοίχηση είναι κυρίως η φωτεινότητα, σκεφτήκαμε πως καλό θα ήταν να δείξουμε τη συμπίεσή της. Γι αυτό το λόγο σχεδιάσαμε τη γραφική παράσταση της φωτεινότητας της εξόδου, δηλαδή της tone mapped εικόνας συναρτήσει της φωτεινότητας εισόδου, δηλαδή της HDR εικόνας. Οι tone mapped εικόνες και οι αντίστοχες γραφικές παραστάσεις της φωτεινόττηας βρίσκονται στο Παράρτημα Β, ομαδοποιημένες σύμφωνα με το χρησιμοποιημένο τελεστή. 46

58 Κεφάλαιο 6. Διεξαγωγή αξιολογήσεων 6.2 Αξιολόγηση Εικόνων Η αξιολόγηση των εικόνων που μετατρέψαμε από HDR σε LDR, ώστε να είναι εμφανίσιμες στις κοινές οθόνες, πραγματοποιήθηκε και με τους δύο τρόπους που αναφέραμε: υποκειμενικά και αντικειμενικά. Με τα υποκειμενικά κριτήρια θα αποφανθούμε για το κατά πόσο κάθε τελεστής επηρεάζει την εικόνα σε βαθμό που να γίνεται αντιληπτό από τον παρατηρητή ενώ με τα αντικειμενικά, στο MOS που υπολογίζουν λαμβάνουν υπόψη τους και πληροφορίες που μπορεί να έχουν χαθεί και να μη γίνονται αντιληπτές από το ανθρώπινο σύστημα όρασης. Στις αξιολογήσεις χρησιμοποιήθηκαν 48 εικόνες που προέκυψαν ως εξής: 6 διαφορετικές σκηνές επεξεργασμένες με 7 διαφορετικούς τρόπους, συν κάποιες εικόνες που συμπεριλήφθηκαν στην αξιολόγηση πάνω από μια φορά για διασταύρωση των αποτελεσμάτων. Καθοριστικός παράγοντας στον τρόπο διεξαγωγής της υποκειμενικής αξιολόγησης ήταν η απουσία οθόνης HDR. Καθώς δεν είχαμε τη δυνατότητα να υλοποιήσουμε αξιολόγηση με πλήρη αναφορά, αφού η απεικόνιση της HDR εικόνας δεν ήταν διαθέσιμη, η αξιολόγηση έγινε χωρίς εικόνα αναφοράς, δηλαδή με τον τρόπο μοναδικού ερεθίσματος. Η υποκειμενική αξιολόγηση που πραγματοποιήθηκε, χωρίζεται σε δύο μέρη: μια αξιολόγηση που υλοποιήθηκε στην αίθουσα εργαστηρίου Ψηφιακής Επεξεργασίας Σημάτων και Εικόνας (ΨΕΣΕ) του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών και μια αξιολόγηση που έγινε διαδικτυακά με τη χρήση φορμών Google Υποκειμενική Αξιολόγηση Ποιότητας Εικόνων στο Εργαστήριο (Subjective Image Quality Assessment, Laboratory assessment) Για την υποκειμενική αξιολόγηση που έλαβε χώρα στο εργαστήριό μας, συμβουλευτήκαμε τις συνθήκες που προτείνει η Διεθνής Ένωση Τηλεπικοινωνιών (ITU-R) [18] και η αξιολόγηση πραγματοποιήθηκε ως εξής: σε ένα χώρο χαμηλού φωτισμού, 10 άτομα (3 γυναίκες και 7 άνδρες) ηλικίας 21 έως 24 ετών, σε απόσταση 3.4 μέτρων από μια οθόνη QFHD (Quad Full High Definition, ) 50 ιντσών, ζητήθηκαν να βαθμολογήσουν τις 48 εικόνες που θα εμφανίζονταν στην οθόνη, ως προς την ποιότητά τους, σε κλίμακα από 1 (χείριστη ποιότητα) έως 5 (εξαιρετική ποιότητα). Πριν την αξιολόγηση απαραίτητη ήταν η εκπλήρωση ενός δοκιμαστικού μέρους (training) κατά το οποίο γινόταν ξεκάθαρο τι θεωρούμε ως κακή, μέτρια και εξαιρετική ποιότητα. Να σημειωθεί πως οι εικόνες εμφανίζονταν με τυχαία σειρά και ήταν όλες ίδιου μεγέθους Νωρίτερα αναφέραμε πως περικόψαμε όλες τις εικόνες στο ίδιο μέγεθος και θα εξηγήσουμε το γιατί σε αυτό το σημείο. Οι αρχικές εικόνες είχαν μέγεθος 4896 pixels 3264 pixels. Η οθόνη που χρησιμοποιήσαμε είχε δυνατότητα εμφάνισης των εικόνων σε διαστάσεις 3840 pixels 2160 pixels όμως ο υπολογιστής στον οποίο συνδέσαμε την οθόνη μπορούσε να προβάλει μέχρι 1920 pixels 1080 pixels. Για να αποφύγουμε περιττή επεξεργασία των εικόνων κατά τη διάρκεια σμίκρυνσής τους, προτιμήσαμε να τις περικόψουμε στη μέγιστη διάσταση που μπορεί να αναπαράγει ο υπολογιστής Διαδικτυακή Υποκειμενική Αξιολόγηση Ποιότητας Εικόνων (Online Subjective Image Quality Assessment) Επειδή η αξιολόγηση στο εργαστήριο παρόλο που δίνει πιο ακριβή αποτελέσματα είναι ιδιαίτερα χρονοβόρα και το κομμάτι εύρεσης παρατηρητών δεν είναι εύκολο, σκεφτήκαμε να πραγματοποιήσουμε και μια διαδικτυακή αξιολόγηση που θα μας έδινε τη γνώμη ενός πολύ μεγαλύτερου πλήθους ατόμων. 47

59 Κεφάλαιο 6. Διεξαγωγή αξιολογήσεων Για τη διαδικτυακή υποκειμενική αξιολόγηση χρησιμοποιήσαμε φόρμες της Google στις οποίες ο κάθε επισκέπτης έδινε τα απαραίτητα στοιχεία (φύλο, ηλικία), εκπλήρωνε ένα δοκιμαστικό κομμάτι (training) στο οποίο κατανοούσε σε ποια ποιότητα εικόνας αντιστοιχούν οι βαθμολογίες 1 (χείριστη), 3 (μέτρια) και 5(εξαιρετική) και έπειτα πραγματοποιούσε την αξιολόγηση των 48 εικόνων. Στη διαδικτυακή υποκειμενική αξιολόγηση συμμετείχαν 99 άτομα εκ των οποίων 25 γυναίκες και 74 άνδρες, ηλικίας από 18 έως 38 ετών Αντικειμενική Αξιολόγηση Ποιότητας Εικόνων (Objective Image Quality Assessment) Για την αξιολόγηση των εικόνων με αντικειμενικό τρόπο, χρησιμοποιήσαμε τους δύο τρόπους που αναφέραμε στο προηγούμενο κεφάλαιο και επιτρέπουν τη σύγκριση μεταξύ εικόνων διαφορετικού δυναμικού εύρους, στην περίπτωσή μας μεταξύ μιας HDR εικόνας και της αντίστοιχης tone mapped της. Η αντικειμενική αξιολόγηση βασίστηκε στους αλγορίθμους HDR-VDP2 και TMQI. 48

60 Κεφάλαιο 7. Αποτελέσματα-Συμπεράσματα Κεφάλαιο 7 Αποτελέσματα- Συμπεράσματα 7.1 Αποτελέσματα Υποκειμενικής Αξιολόγησης στο Εργαστήριο Για την αξιολόγηση που πραγματοποιήθηκε στο εργαστήριό μας, ο μέσος όρος της εκτίμησης των συμμετεχόντων (MOS) για κάθε τελεστή που χρησιμοποιήσαμε, φαίνεται στον ακόλουθο πίνακα που συνοδεύεται από το αντίστοιχο διάγραμμα: Πίνακας 7.1 Αποτελέσματα Υποκειμενικής Αξιολόγησης Εργαστηρίου Asinh Drago Durand Exp Mantiuk Reinhard Tan

61 Κεφάλαιο 7. Αποτελέσματα-Συμπεράσματα MOS Lab Assessment Asinh Drago Durand Exp Mantiuk Reinhard Tan TMO Γράφημα 7.1 Αποτελέσματα Υποκειμενικής Αξιολόγησης Εργαστηρίου Σε αυτήν την αξιολόγηση, την πρώτη θέση κατέχει ο τελεστής εφαπτομένης (Tan) που δημιουργήσαμε κατά τη διεξαγωγή της εργασίας, με βαθμό Στη δεύτερη θέση βρίσκουμε το δεύτερο τελεστή που δημιουργήσαμε Asinh με βαθμό 3.43 και με μηδαμινή διαφορά ακολουθεί ο τελεστής Reinhard. Με ίση βαθμολογία συναντούμε τους τελεστές Durand και Mantiuk με βαθμολογία 3.08, ακολουθεί ο τελεστής Drago με βαθμό 2.47 ενώ τελευταίος στις προτιμήσεις είναι ο εκθετικός τελεστής με βαθμολογία 1.38, γεγονός που δικαιολογείται από την απλότητά του. 7.2 Αποτελέσματα Διαδικτυακής Υποκειμενικής Αξιολόγησης Τα αποτελέσματα της διαδικτυακής αξιολόγησης είναι διαφορετικά σε σχέση με του εργαστηρίου. Όπως παρατηρούμε από τον Πίνακα 7.2 και το αντίστοιχο γράφημα, οι τελεστές Drago, Durand, Exponential, Mantiuk και Reinhard, δε σημειώνουν μεγάλη διαφορά βαθμολογίας σε σχέση με την προηγούμενη αξιολόγηση αλλά οι Asinh και Tan διαφέρουν κατά 0.43 και 0.77 αντίστοιχα. Στην πρώτη θέση αυτή τη φορά βρίσκεται ο τελεστής Reinhard σημειώνοντας βαθμολογία 3.33, ακολουθεί ο τελεστής Mantiuk με 3.18, ο Durand με 3.06, ο τελεστής μας Asinh με 3. Συνεχίζοντας έχουμε τον τελεστή εφαπτομένης Tan με 2.84, τον τελεστή Drago με 2.52 και τέλος τον εκθετικό, όπως αναμέναμε με Πίνακας 7.2 Αποτελέσματα Διαδικτυακής Υποκειμενικής Αξιολόγησης Asinh Drago Durand Exp Mantiuk Reinhard Tan

62 Κεφάλαιο 7. Αποτελέσματα-Συμπεράσματα Online Assessment MOS Asinh Drago Durand Exp Mantiuk Reinhard Tan TMO Γράφημα 7.2 Αποτελέσματα Διαδικτυακής Υποκειμενικής Αξιολόγησης 7.3 Αποτελέσματα Αντικειμενικής Αξιολόγησης Αποτελέσματα του δείκτη TMQI Ο δείκτης TMQI υπολογίζει την ποιότητα της εικόνας προς εκτίμηση σε σχέση με την εικόνα αναφοράς και το αποτέλεσμα Q βρίσκεται στο διάστημα [0,1]. Σύμφωνα με τα αποτελέσματα καταλήγουμε ότι στις πρώτες θέσεις με ελάχιστη διαφορά μεταξύ τους βρίσκονται οι τελεστές Drago, Reinhard, Mantiuk και Asinh, ακολουθούν οι τελεστές Durand και μετά Tan ενώ τελευταία θέση κατέχει ο εκθετικός. Πίνακας 7.3 Αποτελέσματα ποιότητας με χρήση του TMQI Asinh Drago Durand Exp Mantiuk Reinhard Tan

63 Κεφάλαιο 7. Αποτελέσματα-Συμπεράσματα Quality Score TMQI Mean Score Asinh Drago Durand Exp Mantiuk Reinhard Tan TMO Γράφημα 7.3 Αποτελέσματα ποιότητας με χρήση του TMQI Αποτελέσματα του HDR-VDP2 Από τα αποτελέσματα του HDR-VDP2 παρατηρούμε ότι η ποιότητα είναι ιδιαίτερα χαμηλή για όλους τους τελεστές ανεξαιρέτως, αν σκεφτούμε ότι το Q ανήκει στο διάστημα [0,100]. Καλύτερη ποιότητα μεταξύ των τελεστών που χρησιμοποιήσαμε δείχνει να αποδίδει το τελεστής εφαπτομένης Tan και ο τελεστής Mantiuk. Ακολουθούν οι τελεστές Reinhard, Asinh, Drago, Durand και Exp. Πίνακας 7.4 Αποτελέσματα του αλγορίθμου HDR-VDP2 Asinh Drago Durand Exp Mantiuk Reinhard Tan 21,41 20,91 17,05 16,58 24,08 22,40 24, VDP Mean Score Quality Score Asinh Drago Durand Exp Mantiuk Reinhard Tan TMO Γράφημα 7.4 Αποτελέσματα του αλγορίθμου HDR-VDP2 52

64 Κεφάλαιο 7. Αποτελέσματα-Συμπεράσματα 7.4 Σχολιασμός Συμπεράσματα Οι δύο υποκειμενικές αξιολογήσεις απέδωσαν περίπου τα ίδια αποτελέσματα (μεγαλύτερη διαφορά σημειώθηκε στον τελεστή εφαπτομένης, ίση με 0.77) θεωρώντας από κοινού, ως αποδεκτούς τελεστές (δηλαδή με MOS μεγαλύτερο ή ίσο του 3) τους Asinh, Durand, Mantiuk και Reinhard ενώ εξαιτίας της διαφοράς που σημειώνεται στον τελεστή Tan, δε μπορούμε να τον κατατάξουμε σε αυτήν την κατηγορία. Δε θεωρούμε βάσιμο να δώσουμε μεγαλύτερη βαρύτητα σε μια από τις δύο υποκειμενικές αξιολογήσεις που πραγματοποιήθηκαν καθώς σε εκείνη του εργαστηρίου πληρούνταν οι απαιτήσεις για μια αξιολόγηση εικόνων αλλά το δείγμα των παρατηρητών δεν ήταν αρκετά μεγάλο και στη διαδικτυακή, παρά το μεγάλο πλήθος ατόμων που συμμετείχαν, υπήρχαν διαφορετικές συνθήκες κατά τη διάρκεια της αξιολόγησης. Με τον όρο διαφορετικές συνθήκες εννοούμε πως κάθε άτομο θα βρισκόταν σε διαφορετικά φωτισμένο χώρο, σε διαφορετική απόσταση από την οθόνη, σε διαφορετικό μέγεθος οθόνης και γενικά σε οθόνη και χώρο με διαφορετικά χαρακτηριστικά από εκείνα που διαμορφώσαμε στο εργαστήριο. Όσον αφορά την αντικειμενική αξιολόγηση συμπεραίνουμε πως οι δύο αλγόριθμοι που χρησιμοποιήσαμε δεν έχουν κοινά αποτελέσματα. Ο δείκτης TMQI υπολογίζει μια αρκετά καλή απόδοση, πάνω από 7 σε μια κλίμακα μέχρι το 10, με καλύτερη απόδοση να έχουν οι Asinh, Drago, Mantiuk και Reinhard. Η αξιολόγηση του HDR-VDP2 δίνει για όλους τους τελεστές χαμηλές τιμές ποιότητας με καλύτερες τιμές για τους τελεστές Mantiuk και Tan. Παρατηρούμε ότι τα αποτελέσματα του TMQI είναι σύμφωνα με τη γνώμη των παρατηρητών (MOS). Οι μεγάλες αποκλίσεις μεταξύ των αξιολογήσεων σίγουρα επηρεάστηκαν από το γεγονός ότι κατά τη διάρκεια της χρωματικής απεικόνισης οι παράμετροι δεν άλλαξαν, εφαρμόστηκαν οι τελεστές σε όλες τις εικόνες με τις ίδιες, προκαθορισμένες παραμέτρους. Αυτό, έχει ως αποτέλεσμα να υπάρχουν περιθώρια για αύξηση της ποιότητας των tone mapped εικόνων με την εύρεση των κατάλληλων παραμέτρων για κάθε τελεστή και για κάθε εικόνα, γεγονός που θα γίνεται αντιληπτό και από τον παρατηρητή αλλά και από τους αλγορίθμους, οπότε και οι αξιολογήσεις θα βελτιώσουν την υπολογισμένη απόδοση. 53

65 Βιβλιογραφία Βιβλιογραφία [1] Ν. Παπαμάρκος, "Ψηφιακή Επεξεργασία & Ανάλυση Εικόνας", ΑΥΤΟΕΚΔΟΣΗ, Έκδοση 3, [2] Τ. Θρασύβουλος, "Συστήματα Πολυμέσων, Ενότητα 5: Χαρακτηριστικά Ψηφιακής Εικόνας, Ανοιχτά Ακαδημαϊκά Μαθήματα" [Online]. Available: E%BF%CF%85%CF%83%CE%B9%CE%AC%CF%83%CE%B5%CE%B9%CF%82%20%CE%9C %CE%B1%CE%B8%CE%AE%CE%BC%CE%B1%CF%84%CE%BF%CF%82/05_Eikona_Xarakt iristika-f.pdf. [Accessed 27 Δεκεμβρίου 2016]. [3] Wikipedia, "Βασικά χρώματα" 07/12/2016. [4] E. Reinhard, T. Kunkel, "A Reassessment of the Simultaneous Dynamic Range" in Proceeding, APGV '10 Proceedings of the 7th Symposium on Applied Perception in Graphics and Visualization, Los Angeles, California, July 23-24, [5] F. Banterle, A. Artusi, K. Debattista, A. Chalmers, "Advanced High Dynamic Range Imaging", Taylor & Francis Group, LLC, [6] "Gamma Correction" 12/2016. [7] K. Myszkowski, T. Annen, N. Chiba, "Adaptive Logarithmic Mapping For Displaying High Contrast Scenes" vol. 22 (2003), issue 3 (2003). [8] E. Reinhard, M. Stark, P. Shirley, J. Ferwerda, "Photographic Tone Reproduction for Digital Images" ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2002, vol. 21, issue 3, pp , July [9] "Wikipedia, Gaussian filter," [Online]. Available: [10] M. Ashikhmin, "A Tone Mapping Algorithm for High Contrast Images" in Proceeding, EGRW '02 Proceedings of the 13th Eurographics workshop on Rendering, Pisa, Italy, June [11] R. Fattal, D. Lischinski, M. Werman, "Gradient Domain High Dynamic Range Compression" ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2002, vol. 21 issue 3, pp , July [12] R. Mantiuk, S. Daly, L. Kerofsky, "Display Adaptive Tone Mapping" ACM Transactions on Graphics (TOG) - Proceedings of ACM, vol. 27, issue 3, article No. 68, August [13] P. Mohammadi, A. Ebrahimi-Moghadam, S. Shirani, "Subjective and Objective Quality Assessment of Image: A Survey" 2014, pp

66 Βιβλιογραφία [14] Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli, "Image Quality Assessment: From Error Visibility to Structural Similarity" IEEE Transactions on Image Processing, vol. 13, issue 4, pp , Apr [15] M. Narwaria, M. Perreira Da Silva, P. Le Callet, R. Pepion, "On Improving the Pooling in HDR-VDP2 towards better HDR Perceptual Quality Assessment" in SPIE 9014, Human Vision and Electronic Imaging XIX, Feb [16] R. Mantiuk, K. Joong Kim, A. G. Rempel, W. Heidrich, "HDR-VDP-2: A calibrated visual metric for visibility and quality predictions" ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2011, vol. 30, issue 4, Article No. 40, July [17] I. Sprow, D. Kuepper, Z. Baranczuk, P. Zolliker,"EMPA Media Technology" [Online]. Available: [18] International Telecommunication Union, "General viewing conditions for subjective assessment of quality of SDTV and HDTV television pictures on flat panel displays" Electronic Publication, Geneva,

67 Παράρτημα Α. Κώδικες Παράρτημα Α Κώδικες Α. Κώδικες που αναπτύχθηκαν στα πλαίσια της διπλωματικής εργασίας Όπως έχουμε ήδη αναφέρει, κατά την εκπόνηση της εργασίας αναπτύξαμε δύο νέους τελεστές και η υλοποίησή τους απαίτησε τη δημιουργία δύο επιπλέον συναρτήσεων. Οι κώδικες αναπτύχθηκαν σε Matlab με τη χρήση του Matlab_HDR_Toolbox και φαίνονται παρακάτω. Α.1 Myhist function Η συνάρτηση myhist πραγματοποιεί τον υπολογισμό του ιστογράμματος μιας οποιασδήποτε εικόνας (HDR ή LDR). function [lumin, A ] = myhist( imgl,imgname) imgl=round(imgl); %luminance is float, round is used to approximate the %values lmin=min(min(imgl)); lmax=max(max(imgl)); lumin=lmin:lmax; A=zeros(length(lumin),1); z=1; for k=lumin(1):lumin(end) 56

68 Παράρτημα Α. Κώδικες end for i=1:size(imgl,1) for j=1:size(imgl,2) if (imgl(i,j)==k) A(z)=A(z)+1; %count how many times that value appears end end end z=z+1; figure(1) for i=1:length(a) %plot histogram x=[lumin(i),lumin(i)]; y=[0,a(i)]; plot(x,y) hold on end saveas(figure(1),strcat(imgname,'_hist.png')) saveas(figure(1),strcat(imgname,'_hist.fig')) end Α.2 Lumfilter function Συνάρτηση lumfilter είναι συμπληρωματική του ιστογράμματος και βρίσκει ποιες ιδιαίτερα χαμηλές ή υψηλές τιμές φωτεινότητας παρουσιάζουν μικρή συχνότητα εμφάνισης. Με σκοπό να κόψει αυτές τις τιμές, υπολογίζει νέα όρια (μεγίστου και ελαχίστου) για τη φωτεινότητα. % CHANGELOG % % find the luminance values with low frequency and computes the max and min luminance for the image. % 09/11 % cutoff <maxval/40 function [Newmin, Newmax ] = lumfilter( L,imgname) [luma, val]= myhist(l,imgname); [maxval,mav]= max(val); for i=1:length(val) if (val(i)<(maxval/40)) val(i)=-1; end end minl=10000; maxl=0; %checking for low frequency and very high or very low lum value, if true %then set the value to the appropriate min or max for i=1:length(luma) if (luma(i)<minl && val(i)~= -1) minl=luma(i); elseif (luma(i)>maxl && val(i)~= -1) maxl=luma(i); 57

69 Παράρτημα Α. Κώδικες end end Newmin=minl; Newmax=maxl; end Α.3 AsinhTMO Ο τελεστής που χρησιμοποιεί το αντίστροφο υπερβολικό ημίτονο θέτει νέα όρια στη φωτεινότητα, με τη βοήθεια των δύο συναρτήσεων που ήδη δημιουργήσαμε και υπολογίζει για κάθε τιμή της φωτεινότητας της HDR εικόνας το αντίστροφο υπερβολικό ημίτονο. function [ imgout ] = asinhtmo( img, imgname) check3color(img); L=lum(img); [LumMin,LumMax]= lumfilter(l,imgname) Ld=zeros(size(L,1),size(L,2)); for i=1:size((l),1) for j=1:size((l),2) % for values below min or over max set new values %at the limits if (L(i,j)>LumMax) L(i,j)=LumMax; elseif (L(i,j)<LumMin) L(i,j)=LumMin; end Ld(i,j)=L(i,j)./60; Lnew(i,j)= asinh(ld(i,j)); %new luminance computation using asinh end end Maxima=max(max(Lnew)); Lnew=Lnew./(2.5*Maxima); % avoid saturation figure(2) plot(l,lnew,'*b') saveas(figure(2),strcat(imgname,'_lum.png')) saveas(figure(2),strcat(imgname,'_lum.fig')) imgout1=zeros(size(img)); for i=1:3 % build new image imgout1(:,:,i)=img(:,:,i).*lnew./l; end imgout=removespecials(imgout1); end 58

70 Παράρτημα Α. Κώδικες Α.4 TanTMO Ο δεύτερος τελεστής που υλοποιήσαμε χρησιμοποιεί την εφαπτομένη για να συμπιέσει το δυναμικό εύρος μιας HDR εικόνας. Όπως και πριν, με τη βοήθεια των myhist και lumfilter θέτει νέα όρια στη φωτεινότητα χωρίς να λαμβάνει υπόψη του πολύ υψηλές ή χαμηλές τιμές με μικρή συχνότητα εμφάνισης. % CHANGELOG % % based on the new min and max luminance tantmo creates a correspondence between min and max luminance and 0 to 25 degrees. % then, computes the new luminance using tangent. %imgname is needed for the name of the plots. % maxtan: 30 deg ===> 0.57 function [ imgout ] = tantmo( img, imgname) check3color(img); L=lum(img); [LumMin,LumMax]= lumfilter(l,imgname) Minima= 0; Maxima= 30; Ld=zeros(size(L,1),size(L,2)); for i=1:size((l),1) for j=1:size((l),2) if (L(i,j)>LumMax) L(i,j)=LumMax; elseif (L(i,j)<LumMin) L(i,j)=LumMin; end Ld(i,j)=L(i,j)*Maxima/LumMax; Ld(i,j)=degtorad(Ld(i,j)); Lnew(i,j)= tan(ld(i,j)); end end figure(2) plot(l,lnew,'*b') saveas(figure(2),strcat(imgname,'_lum.png')) imgout=zeros(size(img)); for i=1:3 imgout(:,:,i)=img(:,:,i).*lnew./l; end imgout=imgout*0.57; imgout=removespecials(imgout); end 59

71 Παράρτημα Β. Tone mapped εικόνες Παράρτημα Β Tone mapped εικόνες Β. Tone mapped εικόνες Για τις αξιολογήσεις μας χρησιμοποιήσαμε τις 6 σκηνές και τις επεξεργαστήκαμε με 7 διαφορετικούς τελεστές: Asinh, Drago, Durand, Exp, Mantiuk, Reinhard και Tan. Οι tone mapped εικόνες φαίνονται παρακάτω, με κάθε μία να συνοδεύεται από το αντίστοιχο διάγραμμα φωτεινότητας εξόδου (SDR) συναρτήσει της εισόδου (HDR). 60

72 Παράρτημα Β. Tone mapped εικόνες B.1 AsinhTMO (α) Crete (α) Fire extinguisher (β) Crete, lum Εικόνα Β1.1 Crete. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 61 (β) Fire extinguisher Εικόνα Β1.2 Fire ext. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας

73 Παράρτημα Β. Tone mapped εικόνες (α) Knossos1 (α) Knossos4 (β) Knossos1, lum Εικόνα Β1.3 Knossos1. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Knossos4, lum Εικόνα Β1.4 Knossos4. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 62

74 Παράρτημα Β. Tone mapped εικόνες (α) Museum (α) Zurich (β) Museum, lum Εικόνα Β1.5 Museum. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 63 (β) Zurich, lum Εικόνα Β1.6 Zurich. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας

75 Παράρτημα Β. Tone mapped εικόνες B.2 DragoTMO (α) Crete (α) Fire extinguisher (β) Crete, lum Εικόνα Β2.1 Crete. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Fire extinguisher, lum Εικόνα Β2.2 Fire ext. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 64

76 Παράρτημα Β. Tone mapped εικόνες (α) Knossos1 (α) Knossos4 (β) Knossos1, lum Εικόνα Β2.3 Knossos1. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β)knossos4, lum Εικόνα Β2.4 Knossos4. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 65

77 Παράρτημα Β. Tone mapped εικόνες (α) Museum (α) Zurich (β) Museum, lum Εικόνα Β2.5 Museum. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 66 (β) Zurich, lum Εικόνα Β2.6 Zurich. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας

78 Παράρτημα Β. Tone mapped εικόνες B.3 DurandTMO (α) Crete (α) Fire extinguisher (β) Crete, lum Εικόνα Β3.1 Crete. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 67 (β)fire extinguisher, lum Εικόνα Β3.2 Fire ext. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας

79 Παράρτημα Β. Tone mapped εικόνες (α) Knossos1 (α) Knossos4 (β) Knossos1, lum Εικόνα Β3.3 Knossos1. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Knossos4, lum Εικόνα Β3.4 Knossos4. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 68

80 Παράρτημα Β. Tone mapped εικόνες (α) Museum (α) Zurich (β) Museum, lum Εικόνα Β3.5 Museum. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Zurich, lum Εικόνα Β3.6 Zurich. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 69

81 Παράρτημα Β. Tone mapped εικόνες Β.4 ExpTMO (α) Crete (α) Fire extinguisher (β) Crete, lum Εικόνα Β4.1 Crete. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β)fire extinguisher, lum Εικόνα Β4.2 Fire ext. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 70

82 Παράρτημα Β. Tone mapped εικόνες (α) Knossos1 (α)knossos4 (β) Knossos1, lum Εικόνα Β4.3 Knossos1. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Knossos4, lum Εικόνα Β4.4 Knossos4. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 71

83 Παράρτημα Β. Tone mapped εικόνες (α) Museum (α) Zurich (β) Museum, lum Εικόνα Β4.5 Museum. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Zurich, lum Εικόνα Β4.6 Zurich. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 72

84 Παράρτημα Β. Tone mapped εικόνες Β.5 MantiukTMO (α) Crete (α) Fire extinguisher (β) Crete, lum Εικόνα Β5.1 Crete. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Fire extinguisher, lum Εικόνα Β5.2 Fire ext. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 73

85 Παράρτημα Β. Tone mapped εικόνες (α) Knossos1 (α) Knossos4 (β) Knossos1, lum Εικόνα Β5.3 Knossos1. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Knossos4, lum Εικόνα Β5.4 Knossos4. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 74

86 Παράρτημα Β. Tone mapped εικόνες \ (α) Museum (α) Zurich \ (β) Museum, lum Εικόνα Β5.5 Museum. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Zurich, lum Εικόνα Β5.6 Zurich. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 75

87 Παράρτημα Β. Tone mapped εικόνες B.6 ReinhardTMO (α) Crete (α) Fire extinguisher (β) Crete, lum Εικόνα Β6.1 Crete. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 76 (β) Fire extinguisher, lum Εικόνα Β6.2Fire ext. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας

88 Παράρτημα Β. Tone mapped εικόνες (α) Knossos1 (α) Knossos4 (β) Knossos1, lum Εικόνα Β6.3 Knossos1. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β)knossos4, lum Εικόνα Β6.4 Knossos4. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 77

89 Παράρτημα Β. Tone mapped εικόνες (α) Museum (α) Zurich (β) Museum, lum Εικόνα Β6.5 Museum. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Zurich, lum Εικόνα Β6.6 Zurich. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 78

90 Παράρτημα Β. Tone mapped εικόνες Β.7 TanTMO (α) Crete (α) Fire extinguisher (β) Crete, lum Εικόνα Β7.1.Crete. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Fire extinguisher, lum Εικόνα Β7.2 Fire ext. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 79

91 Παράρτημα Β. Tone mapped εικόνες (α) Knossos1 (α) Knossos4 (β) Knossos1, lum Εικόνα Β7.3Knossos1. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας (β) Knossos4, lum Εικόνα B7.4 Knossos4. (α) tone mapped εικόνα, (β) το διάγραμμα φωτεινότητας 80