Διπλωματική Εργασία της φοιτήτριας του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: Συστημάτων και Αυτομάτου Ελέγχου ΕΡΓΑΣΤΗΡΙΟ: Ψηφιακής Επεξεργασίας Σημάτων και Εικόνας Διπλωματική Εργασία της φοιτήτριας του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Κουτσαυτάκη Αναστασίας του Γεωργίου Αριθμός Μητρώου: Θέμα «Ψηφιακή Επεξεργασία Εικόνων Υψηλής Δυναμικής Περιοχής HDR Image Processing» Επιβλέπων Σκόδρας Αθανάσιος Αριθμός Διπλωματικής Εργασίας: /2017 Πάτρα, Ιούλιος 2017

2

3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Ψηφιακή Επεξεργασία Εικόνων Υψηλής Δυναμικής Περιοχής HDR Image Processing» Της φοιτήτριας του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Κουτσαυτάκη Αναστασίας του Γεωργίου Αριθμός Μητρώου: Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Καθηγητής Σκόδρας Αθανάσιος Ο Διευθυντής του Τομέα Καθηγητής Κούσουλας Νικόλαος

4

5 Αριθμός Διπλωματικής Εργασίας: /2017 Θέμα: «Ψηφιακή Επεξεργασία Εικόνων Υψηλής Δυναμικής Περιοχής HDR Image Processing» Φοιτήτρια: Κουτσαυτάκη Αναστασία Επιβλέπων: Σκόδρας Αθανάσιος

6

7 Ευχαριστίες Ευχαριστώ θερµά τον καθηγητή µου και επιβλέποντα της διπλωµατικής µου εργασίας κ. Σκόδρα Αθανάσιο που µε την υποστήριξη του, τις γνώσεις του και την εµπειρία του µε βοήθησε να ολοκληρώσω την παρούσα εργασία. Θα ήθελα επίσης να ευχαριστήσω την οικογένεια µου και τους φίλους µου, οι οποίοι µε στήριξαν κατά τη διάρκεια των σπουδών µου.

8

9 Περίληψη Η ανάγκη της αποτύπωσης µιας σκηνής σε όσο το δυνατόν πιο ρεαλιστική εικόνα, µε καλύτερη ποιότητα και περισσότερες λεπτοµέρειες, οδήγησε στην ανάπτυξη των εικόνων Υψηλής δυναµικής περιοχής, γνωστές ως HDR εικόνες. Τα τελευταία χρόνια οι HDR εικόνες έχουν κεντρίσει το ενδιαφέρον τόσο για ερευνητικούς, όσο και για εµπορικούς σκοπούς. Πρόκειται για µια τεχνική δηµιουργίας ψηφιακής εικόνας, ικ ανής να αποτυπώσει τη φωτεινότητα της σκηνής όπως την αντιλαµβάνεται ο άνθρωπος, προσδίδοντάς στην εικόνα µια ρεαλιστική αίσθηση. Για την δηµιουργία των εικόνων υψηλής δυναµικής περιοχής, είναι απαραίτητη η λήψη τουλάχιστον τριών φωτογραφιών της ίδιας σκηνής υπό διαφορετική έκθεση, µια υποφωτισµένη, µια υπερφωτισµένη και µια κανονικά εκτεθειµένη. Στη συνέχεια, αυτές οι εικόνες συνδυάζονται ώστε να δηµιουργηθεί η τελική εικόνα. Ένα από τα σηµαντικότερα προβλήµατα που παρουσιάζονται στη διαδικασία της συρραφής των εικόνων, έγκειται στο γεγονός ότι οι εικόνες µπορεί να µην είναι ευθυγραµµισµένες µεταξύ τους, λόγω διάφορων παραγόντων. Στην παρούσα διπλωµατική θα ασχοληθούµε µε τη µελέτη κάποιων µεθόδων ευθυγράµµισης των εικόνων που απαιτούνται για τη δηµιουργία της τελικής εικόνας. Στη συνέχεια θα προχωρήσουµε στην εφαρµογή τους και θα ακολουθήσει αντικειµενική και υποκειµενική αξιολόγηση των αποτελεσµάτων, για να συµπεράνουµε το πόσο καλά ή όχι, κάθε µέθοδος ευθυγραµµίζει τις επιµέρους εικόνες και εποµένως πόσο επηρεάζει την ποιότητα της τελικής εικόνας.

10 Abstract The need to reproduce a scene to as much a realistic image as possible, with greater quality and more details has led to the development of images of High Dynamic Range, known as HDR images. These images have currently instigated the interest for research and commercial purposes. It is a tecnique which involves a digital image capable of reproducing brightness of a scene as perceived by a human being, thus offering to the image a more lifelike air. To achieve an image of a high dynamic range, it is necessary that at least three photographs of the same scene are taken under different exposures, a dimly lit one, a very brightly lit one and one lit naturally. Ultimately, these images are combined to create the final image. One of the greatest problems that arises during the merging process of the images, is the fact that all the images may not be aligned(or registered), due to different circumstances. In this thesis we will conduct research into registration techniques which are considered necessary for the final outcome of the picture. We will then proceed to the application of these which will be followed by an objective and subjective assessment of the results, so as to consider how effective each registration method is on images and consequently how these will influence the final image.

11 Περιεχόµενα Ακρωνύμια 6 Ορολογία 7 Κεφάλαιο 1 1 Εισαγωγή στην Ψηφιακή Εικόνα Τι είναι μια Ψηφιακή Εικόνα Πλήθος Bits μιας εικόνας Ανάλυση εικόνας Ευκρίνεια εικόνας Συμπίεση Ψηφιακής εικόνας Βασικά στοιχεία χρώματος Χρωματικά μοντέλα Το Χρωματικό μοντέλο RGB Το Δυναμικό εύρος 9 Κεφάλαιο 2 13 Δημιουργία HDR εικόνων Εικόνες Υψηλής Δυναμικής Περιοχής Διαδικασία της δημιουργίας μιας HDR εικόνας Σύνθεση της HDR εικόνας Αποθήκευση της HDR εικόνας Απεικόνιση της HDR εικόνας Εφαρμογές των HDR εικόνων 17 Κεφάλαιο 3 19 Ευθυγράμμιση Εικόνων Ορισμός της έννοιας της ευθυγράμμισης Βασικά χαρακτηριστικά της διαδικασίας ευθυγράμμισης Ο γεωμετρικός μετασχηματισμός Η συνάρτηση ομοιότητας ή κριτήριο ομοιότητας Η μέθοδος βελτιστοποίησης Επιπλέον χαρακτηριστικά της διαδικασίας ευθυγράμμισης Το είδος των δεδομένων Κριτήριο ευθυγράμμισης Περιοχή εφαρμογής του μετασχηματισμού Ο απαιτούμενος βαθμός επενέργειας του χρήστη Γεωμετρικός μετασχηματισμός Συμπαγής γεωμετρικός μετασχηματισμός Γεωμετρικός Μετασχηματισμός τύπου affine (affine transformation) Προβολικός Γεωμετρικός Μετασχηματισμός (Projective) Καμπυλόγραμμος Γεωμετρικός Μετασχηματισμός Παραδείγματα εύκαμπτων (ή ελαστικών) μετασχηματισμών 26

12 3.5 Συνάρτηση ομοιότητας Μέσο τετραγωνικό σφάλμα (Mean Squared Error, MSE) Λόγος Μέγιστου Σήματος προς Θόρυβο (Peak Signal to Noise Ratio, PSNR) Μέση απόλυτη διαφορά φωτεινότητας (Sum of Absolute Differences, SAD) Συντελεστής συσχέτισης (Correlation Coefficient) Συντελεστής αμοιβαίας πληροφορίας (Mutual Information Coefficient) Δείκτης Δομικής Ομοιότητας - (Structural Similarity Index, SSIM) Μέθοδος Βελτιστοποίησης Μαθηματικά μοντέλα Επαναληπτικοί Αλγόριθμοι Ευθυγράμμιση βασιζόμενη στης φωτεινότητα των εικονοστοιχείων Ευθυγράμμιση με τη μέθοδο Ransac (Random Sample Consensus) Εξαγωγή χαρακτηριστικών SIFT Ο αλγόριθμος Ransac Ευθυγράμμιση μέσω της μεθόδου συσχέτιση φάσης Ευθυγράμμιση μέσω αντιστοίχισης σημείων 42 Κεφάλαιο 4 43 Αξιολόγηση και Σύγκριση Μεθόδων Επιλογή των εικόνων Αντικειμενική Αξιολόγηση Ευθυγράμμισης Εικόνων Εφαρμογή του PSNR Εφαρμογή του SSIM Υποκειμενική Αξιολόγηση Ευθυγράμμισης Εικόνων Σχολιασμός-Συμπεράσματα 60 Βιβλιογραφία 61 Παράρτημα Α 63 Κώδικες 63 Α1. Μέθοδος Ransac 63 Α2. Μέθοδος βασιζόμενη στη φωτεινότητα των εικονοστοιχείων (Intensity Based Method) 64 Α3. Μέθοδος συσχέτισης φάσης (Using Phase Correlation Method) 66 Α4. Μέθοδος αντιστοίχισης σημείων (Control Point) 66 Α5. PSNR 67

13 Ακρωνύµια CC EV HDR HDRI LDR MI MSE PSNR RANSAC RGB SAD SIFT SSIM TMO Correlation Coefficient Exposure Value High Dynamic Range High Dynamic Range Images Low Dynamic Range Mutual Information Coefficient Mean Squared Error Peak Signal to Noise Ratio Random Sample Consesus Red, Green, Blue Sum of Absolute Differences Scale Invariant Feature Transform Structural Similarity Index Tone Mapping Operator

14 Ορολογία Bit depth Brightness Color Depth Cross Correlation Device dependent Exposure High Dynamic Range Hue Image Features Image Registration Intensity Gray-scale image Low dynamic Range Luminance Phase Correlation Pixel Primary Colors Registration Rotation Scaling Scene referred Secondary colors Spatial domain Threshold Tone mapping Πλήθος δυαδικών ψηφίων Λαµπρότητα Βάθος χρώµατος Διασταυρούµενη Συσχέτιση Εξαρτώµενο από τη συσκευή Έκθεση Υψηλής Δυναµικής Περιοχής Απόχρωση Χαρακτηριστικά Εικόνας Ευθυγράµµιση Εικόνων Ένταση Ασπρόµαυρη εικόνα Χαµηλής Δυναµικής Περιοχής Φωτεινότητα Συσχέτιση Φάσης Εικονοστοιχείο Πρωτεύοντα χρώµατα Ευθυγράµµιση, Αντιστοίχιση, Στοίχιση Περιστροφή Κλιµάκωση Αναφερόµενος στη σκηνή Δευτερεύοντα χρώµατα Χωρικό πεδίο Κατώφλι Χρωµατική απεικόνιση/αντιστοίχιση

15 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα Κεφάλαιο 1 Εισαγωγή στην Ψηφιακή Εικόνα Η εικόνα σήµερα αποτελεί µία από τις σηµαντικότερες πηγές πληροφορίας. Τη συναντάµε ως ακίνητη (φωτογραφία), ή κινούµενη (video), ασπρόµαυρη ή έγχρωµη. Η ψηφιακή εικόνα αποτελεί ό,τι πιο σύγχρονο, τόσο στο χώρο της ενηµέρωσης (Internet) και της εκπαίδευσης (multimedia) όσο και στο χώρο του θεάµατος της ψυχαγωγίας (ψηφιακή τηλεόραση, DVD κλπ.) αλλά και της υγείας. Οι βασικές έννοιες και περιγραφές που ακολουθούν, στόχο έχουν την κατανόηση της ψηφιακής εικόνας και τους τρόπους αναπαράστασής της και είναι βασισµένες στο βιβλίο «Ψηφιακή Επεξεργασία & Ανάλυση Εικόνας» [1]. 1.1 Τι είναι µια Ψηφιακή Εικόνα Η µετάβαση από τον αναλογικό κόσµο στον ψηφιακό συνεπάγεται τη µετατροπή αναλογικών σηµάτων σε ψηφιακά. Έτσι µια πραγµατική εικόνα µεταφέρεται στον ψηφιακό κόσµο µε την µορφή διακεκριµένου σήµατος που έχει τη µορφή ψηφιακών πινάκων. Μια ψηφιακή εικόνα µπορεί να είναι δυαδική (binary image), µονοχρωµατική αποχρώσεων του γκρι (gray level ή gray-scale image) ή έγχρωµη (color image). Μια ψηφιακή εικόνα αποχρώσεων του γκρι διαστάσεων N M παριστάνεται από έναν δισδιάστατο πίνακα ακέραιων αριθµών I(i, j), i =1,,N και j =1,,M, όπου 0 I(i, j) G-1. Το G ισούται συνήθως µε µια δύναµη του 2, δηλαδή G = 2 m µε συνηθέστερη τιµή το m=8 που 1

16 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα αντιστοιχεί σε 256 αποχρώσεις του γκρι. Η απόχρωση κάθε εικονοστοιχείου απαιτεί πληροφορία 8 bit. Σηµειώνεται ότι προς διευκόλυνση της ψηφιακής επεξεργασίας των εικόνων όχι µόνον το G αλλά και οι διαστάσεις είναι επιθυµητό να είναι δυνάµεις του δύο. H τιµή της αµαύρωσης ενός δείγµατος της εικόνας καλείται εικονοστοιχείο (picture element- pixel). Πιο συγκεκριµένα κάθε εικονοστοιχείο καταγράφει τις πληροφορίες σχετικά µε το εισερχόµενο φως, την ένταση, τον τόνο και την απόχρωση του. Η τιµή I(i, j) είναι ανάλογη της φωτεινότητας της εικόνας στο εικονοστοιχείο (i, j) και συνεπώς ο πίνακας I(i, j) είναι ουσιαστικά µια διακεκριµένη συνάρτηση που εκφράζει την ένταση της φωτεινότητας της εικόνας (light intensity function) σε κάθε εικονοστοιχείο. Η απλούστερη µορφή µιας εικόνας είναι η δυαδική µορφή. Μια δυαδική εικόνα έχει µόνον δύο στάθµες φωτεινότητας που συνήθως είναι το µαύρο και το άσπρο. Το µαύρο αντιστοιχεί στη τιµή 0 και το άσπρο στην τιµή 1. Μια δυαδική εικόνα καταλαµβάνει µικρότερη µνήµη και η επεξεργασία της απαιτεί µικρότερο υπολογιστικό κόστος. Σε δυαδική µορφή µπορούν να απεικονισθούν σηµαντικές πληροφορίες όπως είναι το εµβαδόν και η θέση αντικειµένων, η µορφή αντικειµένων κ.ά. Μεγαλύτερη λεπτοµέρεια δίνουν οι ασπρόµαυρες (gray-scale) εικόνες που αποτελούνται από εικονοστοιχεία µε τιµές που αντιστοιχούν σε αποχρώσεις του γκρι. Το ανθρώπινο µάτι µπορεί να αντιληφθεί πάνω από 200 διαφορετικές αποχρώσεις του γκρι και γι αυτό το λόγο οι τιµές των εικονοστοιχείων σε µια ασπρόµαυρη εικόνα λαµβάνουν τιµές από 0 µέχρι 255. Οι έγχρωµες ψηφιακές εικόνες αποτελούν το µέσο για την απεικόνιση του πραγµατικού κόσµου. Μια έγχρωµη ψηφιακή εικόνα αποτελείται από τρεις graylevel εικόνες. Δηλαδή, το χρώµα κάθε εικονοστοιχείου έχει τ ρεις συνιστώσες που αντιστοιχούν στις γκρι αποχρώσεις των αντίστοιχων εικονοστοιχείων των τριών γκρι εικόνων. Από µαθηµατικής άποψης µια ψηφιακή έγχρωµη εικόνα διαστάσεων N M µπορεί να συµβολιστεί ως I c (i, j), i =1,,N και j =1,,M, όπου 0 I c (i, j) G-1 για κάθε c=1, 2, 3. Έτσι, το χρώµα κάθε εικονοστοιχείου (i, j) προκύπτει από τον συνδυασµό τριών χρωµατικών συνιστωσών: Color(i, j) =[ I 1 (i, j), I 2 (i, j), I 3 (i, j) ] Για παράδειγµα, στο χρωµατικό σύστηµα RGB, το κάθε χρώµα συντίθεται από τα χρώµατα κόκκινο (Red), πράσινο (Green) και µπλε (Blue). Στην περίπτωση αυτή, έχουµε G=256 για κάθε χρωµατική συνιστώσα και αυτό σηµαίνει ότι η κάθε συνιστώσα µπορεί να αντιστοιχηθεί σε µια εικόνα γκρι 256 αποχρώσεων, δηλαδή πληροφορία 8 bit. Συνεπώς κάθε εικονοστοιχείο της έγχρωµης εικόνας απαιτεί 24 bit. Στην Εικόνα 1.1 παρουσιάζεται µια RGB εικόνα και η διάσπαση της στα τρία επιµέρους χρώµατα. 2

17 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα Εικόνα 1.1 : (α) Αρχική RGB εικόνα, (b) Red συνιστώσα, (c) Green συνιστώσα, (d) Βlue συνιστώσα 1.2 Πλήθος Bits µιας εικόνας Μια εικόνα διαστάσεων N M και πλήθους αποχρώσεων G = 2 ( απαιτεί b = N M m bits για να αποθηκευτεί. Το m ονοµάζεται βάθος bit (bit depth) ή βάθος χρώµατος (color depth) και εκφράζει το ποσό της χρωµατικής πληροφορίας για εµφάνιση ή εκτύπωση της εικόνας. Κάθε εικόνα της οποίας η φωτεινότητα των εικονοστοιχείων αποθηκεύεται σε m bits µπορεί να διασπαστεί σε m δυαδικές εικόνες που κάθε µια αντιστοιχεί σε ένα συγκεκριµένο bit. Δηλαδή µια εικόνα I διασπάται σε m επιµέρους δυαδικές εικόνες I n, n =1,,m που κάθε µια ταυτίζεται µε το περιεχόµενο του κάθε bit επιπέδου. Έτσι µια 8 bit αποχρώσεων του γκρι εικόνα µπορεί να διασπαστεί σε οχτώ επιµέρους δυαδικές εικόνες. Μεγαλύτερο βάθος bit σηµαίνει περισσότερες διαθέσιµες αποχρώσεις, και αποχρώσεις που αποδίδονται µε µεγαλύτερη ακρίβεια στις ψηφιακές εικόνες. Μια έγχρωµη εικόνα, αφού συντίθεται από 3 µονοχρωµατικές εικόνες, προφανώς απαιτεί τριπλάσιο αριθµό bits από µια ασπρόµαυρη εικόνα. Όπως έχουµε ήδη αναφέρει, σε µια RGB εικόνα µε βάθος χρώµατος 24 bit, το κάθε βασικό χρώµα περιγράφεται µε 8 bit, µπορεί να πάρει 256 διαφορετικές τιµές, έτσι έχουµε για κάθε εικονοστοιχείο 256 τιµές για το πράσινο, 256 τιµές για το κόκκινο και 256 τιµές για το µπλε. Δηλαδή µπορούν να προκύψουν διαφορετικά χρώµατα, όσα περίπου µπορεί να διακρίνει το ανθρώπινο µάτι. 1.3 Ανάλυση εικόνας Ανάλυση µιας ψηφιακής εικόνας είναι οι διαστάσεις της µε µονάδα µέτρηση το εικονοστοιχείο. Όταν π.χ µια εικόνα έχει ανάλυση pixel, σηµαίνει ότι αν µετρήσουµε τα εικονοστοιχεία στον οριζόντιο άξονα της εικόνας θα είναι 1600, ενώ στον κατακόρυφο άξονα θα είναι Το γινόµενο των δυο αυτών αριθµών είναι το εµβαδόν της εικόνας, δηλαδή ο συνολικός αριθµός εικονοστοιχείων που απαρτίζουν την εικόνα. Στην περίπτωση που η ανάλυση είναι η εικόνα αποτελείται από εικονοστοιχεία. 3

18 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα 1.4 Ευκρίνεια εικόνας Η ευκρίνεια µιας εικόνας ορίζεται από την πυκνότητα των εικονοστοιχείων της, δηλαδή καθορίζει το πόσο καλά µπορούµε να βλέπουµε τις λεπτοµέρειες στην εικόνα αυτή. Ισούται µε το πλήθος των εικονοστοιχείων ανά µονάδα και συνήθως µετράται σε εικονοστοιχεία/in 2 ή διαφορετικά σε dpi (dots per inch). Για παράδειγµα, σε µια ψηφιακή εικόνα 300dpi περιέχονται = εικονοστοιχεία ανά in 0. Η ευκρίνεια εξαρτάται τόσο από τις διαστάσεις, όσο και από το πλήθος των αποχρώσεων της κάθε εικόνας. Έτσι αν κρατήσουµε σταθερό το m και µεταβάλλουµε τις διαστάσεις µιας εικόνας τότε η εικόνα θα εµφανίσει το φαινόµενο του σκακιού όπως φαίνεται και στην Εικόνα 1.2. Εικόνα 1.2:Το µέγεθος της αρχικής (α) εικόνας µειώνεται σε (β) 80x39, (γ) 55x64 και (δ) 40x46 εικονοστοιχεία Αν αντίθετα κρατήσουµε σταθερές τις διαστάσεις και µειώσουµε το m τότε θα εµφανιστούν πάλι οπτικά οµοιόµορφες χρωµατικές περιοχές που όµως η ευκρίνεια του θα καθορίζεται από το m και τη συγγένεια τοπικά των αποχρώσεων, όπως φαίνεται στην Εικόνα 1.3. Η επίδραση της µείωσης του m στην ποιότητα µιας εικόνας µικραίνει όσο µεγαλύτερης ευκρίνειας είναι η εικόνα. 4

19 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα Εικόνα 1.3: Επίδραση της µεταβολής του m σε µια εικόνα 1.5 Συµπίεση Ψηφιακής εικόνας Η συµπίεση των δεδοµένων είναι ίσως από τα πιο σηµαντικά προβλήµατα που συναντάµε όταν συζητάµε για την αποθήκευση της πληροφορίας. Πολλές φορές οι λέξεις "πληροφορία" και "δεδοµένα" αντιλαµβάνονται σαν συνώνυµες. Δεν είναι ό µως, η πληροφορία είναι αυτό που αντιλαµβανόµαστε (π.χ. βλέπουµε, ακούµε, γενικά αισθανόµαστε, κτλ.), ενώ τα δεδοµένα είναι ο τρόπος παρουσίας της πληροφορίας για την αποθήκευση και την διαβίβασή της. Οι ψηφιακές εικόνες είναι αρχεία bitmapped, δηλαδή κάθε εικονοστοιχείο έχει χαρτογραφηθεί και περιέχει πληροφορία για την θέση και το χρώµα του. Υπάρχουν περιοχές σε κάθε εικόνα που περιέχουν την ίδια πληροφορία για το χρώµα. Τα εικονοστοιχεία αυτών των περιοχών µπορούν να οµαδοποιηθούν και αντί να περιγράφονται ένα προς ένα, περιγράφεται η οµάδα στην οποία ανήκουν. Μ αυτόν τον τρόπο επιτυγχάνεται η µείωση του µεγέθους ενός αρχείου. Αν κατά τη συµπίεση δεν υπάρχει απώλεια ποιότητας, η συµπίεση λέγεται µη απωλεστική, διαφορετικά λέγεται απωλεστική. Οι απώλειες κατά την απωλεστική συµπίεση υπεισέρχονται στις πληροφορίες που περιγράφουν το χρώµα. Η συµπίεση αυτή επιφέρει αλλοίωση στη εικόνα, έτσι όσο υψηλότερος είναι ο βαθµός συµπίεσης, τόσο µεγαλύτερη είναι η αλλοίωση. Ο βαθµός συµπίεσης µιας εικόνας είναι η παράµετρος που ορίζει πόσο θα συµπιεστεί αυτή. Όσο περισσότερο συµπιέζουµε µια εικόνα, τόσο πιο πολύ µικραίνουµε το µέγεθός της αλλά και υποβαθµίζουµε την ποιότητά της. 5

20 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα 1.6 Βασικά στοιχεία χρώµατος Η χρήση του χρώµατος στην ψηφιακή επεξεργασία εικόνας έχει προφανείς στόχους. Εκτός από την απεικόνιση της εικόνας µε τρόπο που να προσεγγίζει τη πραγµατική φυσική εικόνα, το χρώµα αποτελεί σηµαντική πληροφορία σε πολλές εφαρµογές, όπως είναι η τµηµατοποίηση εικόνων, η αναγνώριση αντικειµένων και η συµπίεση εικόνων. Το χρώµα ενός αντικειµένου που γίνεται αντιληπτό από το ανθρώπινο µάτι, καθορίζεται ουσιαστικά από τη φύση του φωτός που ανακλάται από αυτό. Το ορατό φως αντιστοιχεί σε ένα σχετικά περιορισµένο εύρος συχνοτήτων µέσα στο σύνολο του ηλεκτροµαγνητικού φάσµατος. Ένα σώµα που αντανακλά µε τον ίδιο τρόπο όλα τα µήκη κύµατος του ορατού φάσµατος εµφανίζεται ως λευκό. Ωστόσο, αν ένα σώµα ευνοεί ένα περιορισµένο εύρος από το οπτικό φάσµα, τότε αυτό εµφανίζεται να έχει κάποια συγκεκριµένη χρωµατική απόχρωση. Η ανάλυση µιας δέσµης λευκού φωτός από ένα πρίσµα, όπως φαίνεται στην Εικόνα 1.4, δίνει τα χρώµατα του ορατού φάσµατος, ενώ στον Πίνακα 1.1 φαίνονται τα αντίστοιχα µήκη κύµατός τους. Η µετάβαση από το ένα χρώµα στο άλλο δε γίνεται ακαριαία αλλά υπάρχει µια οµαλή µετάβαση. Εικόνα 1.4: Το φάσµα που προκύπτει µετά τη διοχέτευση λευκού φωτός µέσα από πρίσµα Πίνακας 1.1: Μήκη ορατού φάσµατος Οι τρεις βασικές ποσότητες που χρησιµοποιούνται για να περιγράψουν την ποιότητα της πηγής φωτός είναι η ακτινοβολία (radiance), η φωτεινότητα (luminance) και η λαµπρότητα (brightness). Η ακτινοβολία είναι το τελικό ποσό ενέργειας που εκπέµπεται από την πηγή φωτός και µετράται σε Watt. Η φωτεινότητα δίνει µια µέτρηση του ποσού της ενέργειας που λαµβάνει ο παρατηρητής και µετράται σε lumens. Για παράδειγµα, µια πηγή που εκπέµπει στην υπέρυθρη περιοχή µπορεί να έχει σηµαντικό ποσό ενέργειας (ακτινοβολία), όµως θα έχει ασήµαντο µέχρι µηδαµινό ποσό φωτεινότητας. Τέλος, η λαµπρότητα είναι ένα υποκειµενικό µέγεθος που δε µπορεί να υπολογιστεί. Ενσωµατώνει την αχρωµατική έννοια της έντασης του φωτός (intensity) και είναι ένα από τα βασικά χαρακτηριστικά 6

21 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα στην περιγραφή της αίσθησης του χρώµατος. Τα επίπεδα του γκρι είναι η κλίµακα µέτρησης της έντασης. Δύο ακόµα έννοιες που περιγράφουν το χρώµα είναι η απόχρωση (hue) και ο κορεσµός (saturation). Η απόχρωση ή αλλιώς χροιά αντιπροσωπεύει το επικρατέστερο χρώµα όπως το αντιλαµβάνεται ο παρατηρητής. Τέλος, ο κορεσµός αναφέρεται στην καθαρότητα του χρώµατος, σε σχέση µε την ποσότητα του λευκού φωτός µε το οποίο αναµειγνύεται (τα καθαρά χρώµατα είναι πλήρως κορεσµένα). Εξαιτίας της δοµής του ανθρώπινου µατιού, όλα τα χρώµατα θεωρούνται συνδυασµοί τριών βασικών χρωµάτων (primary colors): του κόκκινου (R), του πράσινου (G) και του µπλε (B). Σύµφωνα µε την τριχρωµατική θεωρία κάθε απόχρωση µπορεί να επιτευχθεί µε την προσθετική ανάµειξη των τριών αυτών βασικών χρωµάτων. Τα χρώµατα που προκύπτουν από την ανάµειξη δύο εκ των τριών βασικών χρωµάτων, λέγονται δευτερεύοντα (secondary) χρώµατα και είναι το κίτρινο, το κυανό και το ιώδες. Η ανάµειξη ίσων ποσοτήτων των τριών βασικών χρωµάτων µας δίνει λευκό χρώµα ενώ η ανάµειξη ίσων ποσοτήτων των τριών δευτερευόντων χρωµάτων µας δίνει το µαύρο χρώµα, όπως φαίνεται και στην Σχήµα 1.1. Σχήµα 1.1: Αριστερά: Βασικά χρώµατα, δεξιά: δευτερεύοντα χρώµατα και οι αναµείξεις τους Αν λ άβουµε υπόψη τη φυσιολογία του ανθρώπινου µατιού που δηµιουργεί την αίσθηση των χρωµάτων θα καταλάβουµε γιατί αντιλαµβανόµαστε χρώµατα που δεν υπάρχουν στο ορατό φάσµα, όπως για παράδειγµα το καφέ. Στον αµφιβληστροειδή χιτώνα του ανθρώπινου µατιού συναντούµε τα κύτταρα-φωτοϋποδοχείς που χωρίζονται σε δύο κατηγορίες: τα κωνία και τα ραβδία. Τα ραβδία είναι υπεύθυνα για την όραση υπό αµυδρό φως ενώ τα κωνία για την αντίληψη των χρωµάτων. Υπάρχουν τρία είδη κωνικών κυττάρων που διαφοροποιούνται από τη δυνατότητά τους να µετατρέπουν διαφορετικά µήκη κύµατος ηλεκτροµαγνητικής ακτινοβολίας σε πληροφορία για τον εγκέφαλο. Οι τρεις τύποι κωνίων είναι: S-κωνία: είναι ευαίσθητα στην ακτινοβολία µικρού µήκους κύµατος και παρουσιάζουν µέγιστη ευαισθησία σε µήκος κύµατος περίπου 445 nm. Είναι ευαίσθητα στο µπλε φως. Μ-κωνία: είναι ευαίσθητα στα µεσαία µήκη κύµατος και παρουσιάζουν µέγιστη ευαισθησία σε µήκος κύµατος περίπου 540 nm. Είναι ευαίσθητα στο πράσινο φως. L-κωνία: είναι ευαίσθητα σε µεγάλου µήκους ακτινοβολία και παρουσιάζουν µέγιστη ευαισθησία σε µήκος κύµατος περίπου 565 nm. Είναι ευαίσθητα στο κόκκινο φως. Η τυπική απόκριση ενός κωνίου ως συνάρτηση του µήκους κύµατος καλείται καµπύλη απόκρισης φάσµατος (spectral response curve) και έχει την τυπική µορφή του Σχήµατος

22 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα Σχήµα 1.2: Απόκριση των S, M, L κωνίων 1.7 Χρωµατικά µοντέλα Ο χρωµατικός χώρος ή αλλιώς το χρωµατικό µοντέλο είναι ένα µαθηµατικό σύστηµα αναπαράστασης χρωµάτων. Στην ουσία, ένα χρωµατικό µοντέλο είναι ένας τρισδιάστατος χώρος όπου κάθε χρώµα αναπαριστάται από ένα σηµείο. Σήµερα, τα περισσότερα µοντέλα είναι προσαρµοσµένα στα φυσικά εξαρτήµατα υπολογιστικών συστηµάτων (π.χ. οθόνες και εκτυπωτές) ή σε εφαρµογές όπου είναι επιθυµητή η διαχείριση των χρωµάτων (π.χ. graphic animation). Στην πρώτη κατηγορία ανήκουν το µοντέλο RGB (Red, Green, Blue) για έγχρωµες οθόνες και κάµερες, το µοντέλο CMY (Cyan, Magenta, Yellow) για έγχρωµους εκτυπωτές και το µοντέλο YIQ (luminance, Inphase, Quadrature) που είναι το πρότυπο για την τηλεοπτική µετάδοση. Στη δεύτερη κατηγορία έχουµε το HSI (Hue, Saturation, Intensity) και το HSV (Hue, Saturation, Value) µοντέλο Το Χρωµατικό µοντέλο RGB Το RGB είναι ένας χρωµατικός χώρος στον οποίο κάθε χρώµα προκύπτει από το συνδυασµό του κόκκινου (R), του πράσινου (G) και του µπλε (B). Η ένταση του φωτός είναι αυτή που καθορίζει την αντίληψη των χρωµάτων. Χωρίς ένταση, κάθε ένα από τα τρία χρώµατα γίνεται αντιληπτό ως µαύρο, ενώ η πλήρης ένταση οδηγεί σε µια αντίληψη για το λευκό χρώµα. Οι διαφορετικές εντάσεις παράγουν την απόχρωση του κάθε χρώµατος, ενώ η διαφορά στην ένταση ενός χρώµατος καθορίζει την καθαρότητά του. Το RGB µοντέλο αναπαρίσταται µε έναν κύβο, Σχήµα 1.3, όπου στις τρεις γωνίες του που είναι πάνω στους άξονες, βρίσκονται τα τρία κύρια χρώµατα. Τα δευτερεύοντα χρώµατα είναι στις άλλες τρεις κορυφές, ενώ το µαύρο είναι στην αρχή των αξόνων και το άσπρο στην απώτατη κορυφή από την αρχή. Όλες οι αποχρώσεις του γκρι βρίσκονται στη διαγώνιο που ενώνει τη µαύρη µε την άσπρη γωνία. Ένα οποιοδήποτε άλλο σηµείο, µέσα ή επάνω στον κύβο, εκφράζει κάποιο χρώµα. Οι εικόνες που βασίζονται στο RGB µοντέλο αποτελούνται από τρία ανεξάρτητα επίπεδα, ένα για κάθε βασικό χρώµα. Έτσι κάθε έγχρωµη RGB εικόνα µπορεί να αναλυθεί σε επιµέρους µονοχρωµατικές εικόνες που αντιστοιχούν στο κόκκινο, το πράσινο και το µπλε επίπεδο και όταν συνδυαστούν στην φωσφορίζουσα επιφάνεια παράγουν την έγχρωµη αρχική εικόνα. Αυτό φαίνεται στην Εικόνα 1.1 η οποία έχει παρατεθεί παραπάνω. 8

23 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα Σχήµα 1.3: Το χρωµατικό µοντέλο RGB Εκτός από το RGB µοντέλο έχουν προταθεί και άλλα RGB µοντέλα µε κυριότερο το srgb (standar RGB) για την χρησιµοποίηση του σε monitors, εκτυπωτές και το διαδίκτυο. Στόχος ήταν να αναπτυχθεί ένα απλός χρωµατικός χώρος που θα παρέχει τα ίδια χρώµατα ανεξάρτητα από τις συσκευές που εφαρµόζεται, δεδοµένου ότι το RGB µοντέλο είναι εξαρτώµενο από τη συσκευή στην οποία εφαρµόζεται (device-dependent). Ε ξαρτάται δηλαδή από τις δυνατότητες της χρησιµοποιούµενης συσκευής µε αποτέλεσµα η ίδια εικόνα σε RGB µοντέλο να µην απεικονίζεται οµοιόµορφα σε διαφορετικές συσκευές. Χρησιµοποιώντας το srgb µοντέλο µπορεί να επιτευχθεί οµοιόµορφη απεικόνιση και µετάδοση των εικόνων από τις διαφορετικές συσκευές και εφαρµογές λογισµικού, δηλαδή µπορούµε να παίρνουµε στον εκτυπωτή αυτό που βλέπουµε στην οθόνη. 1.8 Το Δυναµικό εύρος Το δυναµικό εύρος, δηλαδή το εύρος φωτεινότητας των αντικειµένων στη φύση, είναι τεράστιο. Μία ξάστερη νύχτα έχει φωτεινότητα 10-3 cd/m 2 ενώ µία τυπική ηλιόλουστη µέρα 106 cd/m 2. Στην Εικόνα 1.5 φαίνεται η φωτεινότητα διαφόρων σκηνών στη φύση. Εικόνα 1.5: Το εύρος φωτεινοτήτων στη φύση Στη φωτογραφική τεχνική το δυναµικό εύρος µετριέται συνήθως σε Τιµές Έκθεσης (Exposure Values EV). Μετριέται επίσης σε f-stops ή σε bits και ισχύει 1 EV=1 f-stop=1 bit. To ΕV είναι ένας καθαρός αριθµός και στη φωτογραφία υποδηλώνει την ποσότητα του φωτός που καταλήγει στον αισθητήρα. Πρόκειται για το αποτέλεσµα συνδυασµού ανοίγµατος διαφράγµατος και ταχύτητας κλείστρου. F- stop ονοµάζεται ο αριθµός διαφράγµατος ανοίγµατος, ο οποίος είναι επίσης αδιάστατο µέγεθος. Το άνοιγµα διαφράγµατος ορίζεται ως ο λόγος της εστιακής απόστασης του φακού προς την διάµετρο της κόρης εισόδου. Το διάφραγµα καθορίζει την ποσότητα φωτός που διέρχεται από τον φακό και µετριέται σε f-stop (f/). Μείωση κατά ένα stop του διαφράγµατος σηµαίνει κατά το µισό µείωση του 9

24 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα εµβαδού του ανοίγµατος του διαφράγµατος και αντίστοιχα µείωση κατά το µισό της ποσότητας του εισερχόµενου φωτός. Οι πιο συνηθισµένες τιµές στις οποίες µπορούν να ρυθµιστούν οι περισσότερες φωτογραφικές µηχανές είναι: f/1.2, f/1.4, f/1.8, f/2, f/2.4, f/2.8, f/4, f/5.6, f/8 κ.ο.κ. Η ταχύτητα κλείστρου (shutter speed) είναι ο χρόνος κατά τον οποίο το κλείστρο της µηχανής παραµένει ανοιχτό για να πραγµατοποιηθεί µία λήψη και µετριέται σε δευτερόλεπτα. Μεγαλύτερη ταχύτητα σηµαίνει ότι το κλείστρο παραµένει λιγότερο χρόνο ανοιχτό. Οι συνηθισµένες τιµές σε δευτερόλεπτα είναι 8, 4, 2, 1, 1/2, 1/4, 1/8, 1/15, 1/30, 1/60, 1/125, 1/250, 1/500, 1/1000, 1/2000, 1/4000, 1/8000. Ένας αριθµός EV µπορεί να προκύψει από διαφορετικούς συνδυασµούς διαφράγµατος και ταχύτητας για συγκεκριµένη κάθε φορά ευαισθησία ISO. Ενδεικτικά, ο αριθµός EV που αντιστοιχεί σε µία ξάστερη νύχτα είναι -6 EV και σε µία µέρα µε έντονη λιακάδα 16 EV. Με όρους αντίθεσης, η αντίθεση σε φυσικές σκηνές µπορεί να ξεπεράσει το 1: Το ανθρώπινο µάτι µπορεί να καταγράψει πολύ µεγάλο δυναµικό εύρος το οποίο µε την προσαρµογή της ίριδας στις συνθήκες φωτισµού φτάνει τα 24EV. Δεν συµβαίνει το ίδιο όµως µε τον αισθητήρα της ψηφιακής κάµερας. Μία ψηφιακή κάµερα µπορεί να καταγράψει εύρος 5-9 ΕV, δηλαδή αντίθεσης 32:1-512:1. Αυτό το εύρος είναι κατά πολύ µικρότερο από το εύρος που υπάρχει σε µία τυπική σκηνή στη φύση, περί τα 14ΕV, ή αντίθεσης :1. Πρακτικά, αυτό σηµαίνει ότι µία σκηνή διαβαθµίσεων φωτός µπορεί να καταγραφεί το πολύ µε 512 διαφορετικές ψηφιακές τιµές, πράγµα που σε πολλές περιπτώσεις οδηγεί σε αξιοσηµείωτο και σοβαρό χάσιµο πληροφορίας. Τα αρχεία raw που δηµιουργούνται από ορισµένες ψηφιακές µηχανές έχουν σήµερα βάθος πεδίου 12bit. Αυτό σηµαίνει 4096 τόνους ανά χρώµα και ανά pixel. Όµως, ο τρόπος µε τον οποίο αποδίδεται αυτό το εύρος, υπόκειται σε έναν κανόνα αποτέλεσµα του οποίου είναι τελικά περισσότεροι τόνοι να χρησιµοποιούνται για τις φωτεινές περιοχές και λιγότεροι για τις σκοτεινές. Πιο συγκεκριµένα, για τις πολύ φωτεινές περιοχές χρησιµοποιούνται 2048 τόνοι, για τις φωτεινές 1024 τόνοι, για τους µεσαίους τόνους 512 τόνοι κοκ. Κάτι ανάλογο συµβαίνει και για τις εικόνες τύπου JPEG. Με άλλα λόγια, η χαρτογράφηση των τόνων ανά περιοχή της εικόνας δεν γίνεται µε τρόπο που να ανταποκρίνεται στο δυναµικό εύρος της σκηνής τη στιγµή της λήψης. Παρ' όλα δεν παύουν τα αρχεία raw να έχουν αξιοσηµείωτα υψηλό δυναµικό εύρος. Εκτός από την καταγραφή του δυναµικού εύρους, σηµαντικό πρόβληµα αποτελεί και η εµφάνιση αυτού. Και αυτό διότι, ακόµα και αν υπήρχε σήµερα ο κατάλληλος αισθητήρας που να καταγράφει πολύ µεγάλο δυναµικό εύρος, δεν υπάρχουν οι συσκευές και τα µέσα για να εµφανιστεί, καθώς και εκτυπωτές για να εκτυπωθεί αυτό το εύρος. Μία τυπική οθόνη υπολογιστή έχει αντίθεση µέχρι 500:1 ενώ ένας εκτυπωτής µπορεί να εκτυπώσει εικόνες αντίθεσης έως 300:1, δηλαδή λιγότερο από τις δυνατότητες καταγραφής εύρους του αισθητήρα. Σήµερα υπάρχουν οθόνες υψηλού δυναµικού εύρους για τις οποίες υπάρχει ισχυρισµός ότι έχουν αντίθεση :1 αλλά η τιµή τους είναι απαγορευτική και προβλέπεται να περάσει πολύς χρόνος µέχρι να γίνουν προσβάσιµες στο ευρύ κοινό. Το γεγονός ότι η ποιότητα της εικόνας αυξάνεται καθώς εξελίσσεται η τεχνολογία των αισθητήρων, δεν επιτρέπει την πλήρη απόδοση των χρωµάτων αλλά και του εύρους φωτεινότητας µιας και υπεισέρχονται διάφοροι τεχνικοί περιορισµοί όπως είναι η φωτοµέτρηση και η κωδικοποίηση. Πιο συγκεκριµένα η πλειοψηφία των έγχρωµων εικόνων χρησιµοποιεί 1 byte ανά pixel για κάθε κανάλι χρώµατος. Αυτό σηµαίνει ότι 1.6 εκατοµµύρια χρώµατα µπορούν να ανατεθούν σε κάθε pixel. Παρόλα αυτά, µόνο 256 τιµές χρώµατος ανατίθενται στην πράξη σε κάθε κανάλι, µε αποτέλεσµα να µην µπορεί να αποδοθεί ορθά ένας µεγάλος αριθµός σκηνών. Επιπλέον, οι µέθοδοι φωτοµέτρησης που χρησιµοποιούµε, µας εγγυώνται σωστή αποτύπωση µόνο ορισµένων σηµείων της εικόνας, υποφωτίζοντας ή υπερφωτίζοντας σκοτεινές και φωτεινές περιοχές. 10

25 Κεφάλαιο 1: Εισαγωγή στην Ψηφιακή Εικόνα Αυτό εξηγείται από το γεγονός ότι στη φύση παρατηρείται µεγάλο εύρος φωτεινότητας. Όπως φαίνεται και από το Σχήµα 1.4, το ηλιακό φως είναι φωτεινότερο από τον εσωτερικό φωτισµό κατά 3 τάξεις µεγέθους. Αντίστοιχα, το ανθρώπινο µάτι µπορεί να προσαρµοστεί σε συνθήκες φωτισµού µεγάλου εύρους, περίπου των 10 τάξεων µεγέθους, σε αντίθεση µε τις τεχνικές λήψης και αποτύπωσης της εικόνας, οι οποίες περιορίζουν το εύρος αυτό σε µόλις 2 τάξεις µεγέθους, µε αποτέλεσµα οι εικόνες να παρουσιάζουν έλλειψη λεπτοµέρειας σε φωτεινές ή σκοτεινές περιοχές [2]. Σχήµα 1.4: Απεικόνιση δυναµικής περιοχής ανθρώπινου οπτικού συστήµατος (HVS), οθόνης LDR και οθόνης HDR Επιθυµούµε λοιπόν, να αποτυπώσουµε την εικόνα µε όσο το δυνατόν µεγαλύτερο εύρος φωτεινοτήτων, δηλαδή να αποθηκεύουµε τη µέγιστη δυνατή πληροφορία για όλα τα σηµεία της εικόνας. Ύστερα µπορούµε να αποτυπώσουµε την εικόνα αυτή στο αντίστοιχο µέσο παρουσίασης, αφού υποστεί κατάλληλη επεξεργασία, αφού το τελευταίο έχει περιορισµένο εύρος δυναµικής περιοχής. 11

26 12

27 Κεφάλαιο 2: Δηµιουργία HDR Εικόνων Κεφάλαιο 2 Δηµιουργία HDR εικόνων 2.1 Εικόνες Υψηλής Δυναµικής Περιοχής Η ανάγκη της αποτύπωσή µιας στιγµής σε όσο το δυνατόν πιο ρεαλιστική εικόνα, µε καλύτερη ποιότητα και περισσότερες λεπτοµέρειες, οδήγησε στην ανάπτυξη των εικόνων Υψηλής Δυναµικής Περιοχής (HDR, High Dynamic Range) και πολύ σύντοµα το δυναµικό εύρος µιας φωτογραφίας έγινε από τους πιο βασικούς παράγοντες που καθορίζουν την ποιότητα της εικόνας. Το δυναµικό εύρος ορίζεται ως η διαφορά φωτεινότητας ανάµεσα στα πιο φωτεινά και πιο σκοτεινά σηµεία, εκφρασµένη σε f-stop. Όταν µια εικόνα έχει υψηλό εύρος, µεσολαβούν αρκετά f-stop ανάµεσα στις πιο φωτεινές και σκιερές περιοχές, ενώ αν αυτή η κλιµάκωση είναι µικρή, λέµε ότι η εικόνα είναι χαµηλή σε δυναµικό εύρος. Αυτό µπορεί να συµβεί από µερικούς παράγοντες, για παράδειγµα λόγω αισθητήρα ή προβληµατικής εκφώτισης ή φωτιστικών συνθηκών. Εδώ πρέπει να πούµε ότι το δυναµικό εύρος είναι διαφορετικό για τους αισθητήρες των φωτογραφικών µηχανών, τα scanner, τους ψηφιακούς projector και τις τυπωµένες φωτογραφίες. Και τίποτε από όλα αυτά, µέχρι και σήµερα, δεν µπορεί να προσεγγίσει τα χαρακτηριστικά της ανθρώπινης όρασης που έχει µετρηθεί στα 24stop λογαριθµικής κλίµακας. Η ποιότητα της ψηφιακής φωτογραφίας βελτιώθηκε µε την εξέλιξη των αισθητήρων. Όσο µεγαλύτερου µεγέθους είναι ο αισθητήρας, τόσο µεγαλύτερη και καλύτερη η ανάλυση της εικόνας. Επειδή όµως οι αισθητήρες των φωτογραφικών µηχανών δεν έχουν εξελιχθεί ακόµα ώστε να έχουν παρόµοιο δυναµικό εύρος µε το ανθρώπινο µάτι, οι συµβατικές εικόνες που χρησιµοποιούµε 13

28 Κεφάλαιο 2: Δηµιουργία HDR Εικόνων αποτυπώνουν µια σκήνη προσαρµοσµένη στις δυνατότητες της συσκευής, µε αποτέλεσµα να µην αντικατοπτρίζουν την πραγµατικότητα. Αυτό συµβαίνει κυρίως σε καταστάσεις όπου τα θέµατα έχουν υψηλή αντίθεση φωτεινότητας, το οποίο ξεφεύγει από τη δυναµική περιοχή των αισθητήρων, µε αποτέλεσµα την απώλεια πληροφορίας σε φωτεινές και σκοτεινές περιοχές. Αυτό µπορεί κανείς να το διαπιστώσει, για παράδειγµα, όταν βρίσκεται σε ένα σκοτεινό δωµάτιο στο οποίο το φως έρχεται από ένα παράθυρο και µπορεί να διακρίνει λεπτοµέρειες τόσο στον εξωτερικό χώρο όσο και µέσα στο δωµάτιο. Αν κάποιος επιχειρούσε να φωτογραφήσει µία τέτοια σκηνή ακόµα και µε την καλύτερη ψηφιακή κάµερα, το αποτέλεσµα δεν θα ήταν ίδιο µε αυτό που βλέπει το ανθρώπινο µάτι. Στην περίπτωση αυτή, ο εξωτερικός χώρος θα εµφανιζόταν υπερφωτισµένος, χωρίς να διακρίνονταν οι λεπτοµέρειες, ενώ το δωµάτιο θα ήταν σκοτεινό. Η αδυναµία αυτή οφείλεται στην τεχνολογία του ψηφιακού αισθητήρα ο οποίος δύναται να καταγράψει ένα συγκεκριµένο εύρος φωτεινότητας, ενώ µεγαλύτερη καταγραφή εύρους οδηγεί σε µεγαλύτερη εισαγωγή θορύβου. Τότε η λύση δίνεται µέσω της τεχνικής HDR µε την οποία οι εικόνες προσεγγίζουν την απεικόνιση µιας σκηνής µε βάση την πραγµατικότητα και όχι σύµφωνα µε τις δυνατότητες της συσκευής. Έτσι δηµιουργούνται οι εικόνες HDR οι οποίες όπως περιγράφονται και από το όνοµα τους, απεικονίζουν µεγαλύτερο εύρος φωτεινότητας σε σχέση µε τις µέχρι τώρα εικόνες χαµηλής δυναµικής περιοχής (Low Dynamic Range - LDR). 2.2 Διαδικασία της δηµιουργίας µιας HDR εικόνας Η διαδικασία του HDR imaging, όπως λέγεται, µπορεί να χωριστεί σε τρία βασικά βήµατα: την σύνθεση της, την αποθήκευσή της και την απεικόνισή της Σύνθεση της HDR εικόνας Για τη δηµιουργία µιας HDR εικόνας είναι απαραίτητη η αποτύπωση του µεγαλύτερου δυνατού εύρους φωτεινότητας. Αυτό δεν είναι δυνατό να γίνει µε µια µοναδική λήψη και για αυτό το λόγο, ακολουθείται µία διαφορετική διαδικασία σε σχέση µε την κλασική λήψη φωτογραφίας για µια LDR εικόνα. Η διαδικασία αυτή αποτελείται από την λήψη τουλάχιστον τριών φωτογραφιών (ή περισσότερων) της ίδιας σκηνής υπό διαφορετική έκθεση, µία υποφωτισµένη, µία υπερφωτισµένη και µια κανονικά εκτεθειµένη. Αυτό επιτυγχάνεται ρυθµίζοντας κατάλληλα το άνοιγµα του διαφράγµατος ή την ταχύτητα του κλείστρου της φωτογραφικής µηχανής, ώστε να ελέγχεται το πόσο φως θα περάσει στον αισθητήρα. Ο αριθµός των λήψεων είναι µονός, διότι περιλαµβάνει την κεντρική λήψη 0 EV και ισάριθµες λήψεις µεγαλύτερης και µικρότερης έκθεσης. Όσο πιο µεγάλο είναι το εύρος, τόσο πιο πολλές πρέπει να είναι οι λήψεις. Για να εντοπιστεί το εύρος, µπορεί να γίνει φωτοµέτρηση της πιο σκοτεινής και της πιο φωτεινής περιοχής της σκηνής και ανάλογα µε τη διαφορά κάθε περιοχής να βρεθεί το εύρος. Καθώς κάθε σκηνή είναι διαφορετική, κανόνας για το πόσες λήψεις θα γίνουν και µε τι διαφορά EV, δεν υπάρχει. Συνήθως όµως 3 λήψεις µε -2EV, 0EV, 2EV έχουν καλά αποτελέσµατα. Έτσι µε τη σύνθεση αυτών των πολλαπλών λήψεων, η οποία υλοποιείται µε κατάλληλο λογισµικό, µας δίνεται η δυνατότητα να λάβουµε το µεγάλο δυναµικό εύρος που αντιλαµβανόµαστε και µε το µάτι. 14

29 Κεφάλαιο 2: Δηµιουργία HDR Εικόνων Λίγο πριν φτάσουµε όµως στη σύνθεση των εικόνων αυτών, είναι απαραίτητο να ελέγξουµε το αν αυτές είναι ευθυγραµµισµένες µεταξύ τους. Στην περίπτωση που η λήψη των εικόνων έχει γίνει είτε από διαφορετικούς αισθητήρες, είτε από διαφορετικά σηµεία, είτε ακόµα έχει γίνει µια µικρή µετακίνηση της κάµερας κατά τη λήψη, ή σύνθεση τους χωρίς καµία επιπλέον επεξεργασία θα οδηγήσει σε αντίθετο αποτέλεσµα από το επιθυµητό. Παρόλο που η τελική φωτογραφία θα έχει ζωντάνια ως προς το χρώµα θα είναι θολή, κάτι που είναι εντελώς αντίθετο µε το σκοπό µας. Το πρόβληµα αυτό, θα αναλυθεί διεξοδικά στη παρούσα διπλωµατική εργασία, της οποίας στόχος είναι η ευθυγράµµιση των επιµέρους εικόνων. Στην Εικόνα 2.1 απεικονίζονται (α) η υπερφωτισµένη λήψη, (β) η κανονικά εκτεθειµένη λήψη, (γ) η υποφωτισµένη και (δ) το αποτέλεσµα της σύνθεσης τους, δηλαδή η HDR εικόνα. Παρατηρούµε ότι σηµαντικές πληροφορίες διακρίνονται ξεκάθαρα στην HDR εικόνα, οι οποίες στις άλλες τρεις χάνονται. Εικόνα 2.1: Παράδειγµα δηµιουργίας HDR εικόνας από τρείς λήψης διαφορετικής έκθεσης Αποθήκευση της HDR εικόνας Οι πληροφορίες που αποθηκεύονται σε εικόνες υψηλής δυναµικής περιοχής συνήθως αντιστοιχούν στις φυσικές τιµές φωτεινότητας ή ακτινοβολίας, που µπορούν να παρατηρηθούν στον πραγµατικό κόσµο. Αυτό διαφέρει από τις παραδοσιακές ψηφιακές εικόνες, οι οποίες αντιπροσωπεύουν χρώµατα όπως θα έπρεπε να εµφανίζονται στην οθόνη ή στο χαρτί. Εποµένως, οι µορφές εικόνων HDR ονοµάζονται συχνά scene-referred, σε αντίθεση µε τις παραδοσιακές ψηφιακές εικόνες, οι οποίες αναφέρονται ως device-referred ή output-referred. Επιπλέον, οι παραδοσιακές εικόνες κωδικοποιούνται συνήθως για το ανθρώπινο οπτικό σύστηµα (µεγιστοποιώντας τις οπτικές πληροφορίες που είναι αποθηκευµένες στον σταθερό αριθµό δυαδικών ψηφίων), που συνήθως γίνεται µε την κωδικοποίηση γάµµα ή αλλιώς διόρθωση γάµµα. Οι τιµές που 15

30 Κεφάλαιο 2: Δηµιουργία HDR Εικόνων αποθηκεύονται για εικόνες HDR είναι συχνά συµπιεσµένες µε τη γάµµα συνάρτηση ή λογαριθµικά κωδικοποιηµένες, ή είναι τιµές δεκαδικών αριθµών, δεδοµένου ότι οι γραµµικές κωδικοποιήσεις σταθερών αριθµών είναι ολοένα και πιο ανεπαρκείς σε υψηλότερες δυναµικές κλίµακες. Γενικά, το πόση µνήµη χρησιµοποιείται από µια ασυµπίεστη εικόνα υπολογίζεται από τον αριθµό εικονοστοιχείων στην εικόνα και από το βάθος χρώµατος κάθε εικονοκύτταρου. Σε µια εικόνα 24bit, κάθε εικονοστοιχείο χρησιµοποιεί 24 bits µνήµης, έτσι το µέγεθος µνήµης που απαιτείται σε bit είναι 24 επί τον αριθµό εικονοκυττάρων. Η αναπαράσταση µιας εικόνας LDR στο RGB σύστηµα γίνεται χρησιµοποιώντας ακέραιους αριθµούς µε 8 bits για κάθε κανάλι (R, G and B) δηλαδή χρωµατικό βάθος των 24 bpp. Όµως, όπως έχουµε ήδη αναφέρει, οι εικόνες HDR καλύπτουν µεγάλο εύρος φωτεινότητας και για αυτό απαιτούν και µεγάλο όγκο δεδοµένων για την περιγραφή και αποθήκευσή τους σε σχέση µε τις εικόνες LDR. Έτσι, η αναπαράσταση µιας HDR εικόνας, γίνεται χρησιµοποιώντας πραγµατικούς αριθµούς και απαιτεί 32 bits για κάθε κανάλι, δηλαδή χρωµατικό βάθος των 96 bpp. Οι HDR εικόνες των 32-bit µπορούν να αποθηκευτούν ως αρχεία εικόνων υψηλού δυναµικού εύρους. Αν και δεν µπορεί να δει κανείς τις εικόνες αυτές µε όλη την πληροφορία που περιέχουν, ακόµα και σε εξειδικευµένα λογισµικά, τα περισσότερα αρχεία HDR περιέχουν όλη την πληροφορία εύρους και µπορούν να εισαχθούν σε HDR λογισµικά και να δεχτούν κανονική επεξεργασία. Μερικά αρχεία HDR είναι τύπου:.exr,.hdr,.pic,.pfs,.tiff κ. ά.. Σε κάθε περίπτωση, µία εικόνα τύπου HDR µπορεί να εµφανιστεί µε βάση τους περιορισµούς της οθόνης. Σε επόµενο στάδιο, αναλόγως την εφαρµογή και τις δυνατότητες των λογισµικών, η τελική εικόνα δέχεται περαιτέρω συµπίεση. Για παράδειγµα, µπορεί ένα λογισµικό να παράξει µία LDR tonemapped εικόνα 16-bit, ό µως εάν υπάρχει ανάγκη να γίνει επεξεργασία της π.χ. σε κάποιο σχεδιαστικό περιβάλλον, αναγκαστικά θα δεχθεί συµπίεση και άρα χάσιµο πληροφορίας, στα 8-bit. Τέλος, λόγω του µεγάλου όγκου δεδοµένων που απαιτούν οι HDR εικόνες έχουν δηµιουργηθεί ειδικοί αλγόριθµοι συµπίεσης ώστε να µην υπάρχουν προβλήµατα στην αποθήκευση και τη µεταφορά τους, καθώς και στην επεξεργασία και την απεικόνισή τους Απεικόνιση της HDR εικόνας Λόγω του µεγάλου όγκου δεδοµένων και κατ επέκταση της διαφοράς στον τρόπο αναπαράστασης των HDR, σε σχέση µε αυτόν τον LDR εικόνων, προκύπτει και το πρόβληµα της απεικόνισης τους σε συµβατικές συσκευές. Οι HDR εικόνες χρειάζονται για την απεικόνιση τους ειδικές HDR οθόνες υψηλού κόστους, οι οποίες είναι ικανές να αναπαράγουν µεγάλο εύρος χρωµάτων και φωτεινότητας. Αυτός είναι και ο κύριος λόγος που η τεχνική των HDR φωτογραφιών δεν είναι ακόµα ευρέως χρησιµοποιούµενη. Για την αντιµετώπιση του εν λόγω προβλήµατος, έχουν αναπτυχθεί αλγόριθµοι για τη µετατροπή των HDR εικόνων σε εικόνες LDR, βασιζόµενοι σε µαθηµατικές συναρτήσεις. Η εικόνα επιδέχεται µία επεξεργασία γνωστή ως χαρτογράφηση τόνων (tone mapping), ενώ οι αλγόριθµοι ονοµάζονται Tone Mapping Operators (TMOs). Κατά την εκτέλεση αυτών των αλγορίθµων, οι τιµές των εικονοστοιχείων της HDR εικόνας αντιστοιχίζονται σε ένα µικρότερο δυναµικό εύρος που µπορεί να αναπαράγει µια συµβατική οθόνη. Πρόκειται για απόδοση του µεγάλου δυναµικού εύρους του χάρτη ακτινοβολίας της εικόνας, σε πιο περιορισµένο εύρος ψηφιακών τιµών αφού η εικόνα HDR των 32 bit γίνεται 16 ή 8 bit. Χάρτης ακτινοβολίας της εικόνας (radiance map), ονοµάζεται το αρχικό 16

31 Κεφάλαιο 2: Δηµιουργία HDR Εικόνων παράγωγο της συγχώνευσης των διαφορετικών εκθέσεων, το οποίο περιέχει όλο το καταγεγραµµένο δυναµικό εύρος των εικόνων. Το tone mapping γίνεται µε δύο τρόπους, είτε συνολικά (global) είτε τοπικά (local). Όταν το tone mapping γίνεται συνολικά, λαµβάνονται υπόψη το σύνολο των ψηφιακών τιµών της εικόνας και τα χαρακτηριστικά της και εφαρµόζεται µε τον ίδιο τρόπο σε όλη την εικόνα. Αντίθετα, όταν γίνεται τοπικά για την τελική απόδοση ψηφιακής τιµής κάθε pixel λαµβάνεται υπόψη η περιοχή γύρω από το pixel. Οι δύο τρόποι διαφέρουν ως προς το αισθητικό τους αποτέλεσµα, καθώς ο µεν συνολικός τρόπος tone mapping έχει συνήθως πιο ρεαλιστικά αποτελέσµατα, ο δε τοπικός ενισχύει την αντίθεση και τις λεπτοµέρειες στην εικόνα δηµιουργώντας ένα πιο υπερρεαλιστικό ή ίσως και καλλιτεχνικό αποτέλεσµα. Με αυτόν τον τρόπο, προφανώς οι φωτογραφίες δεν απεικονίζονται τόσο καλά όσο αν απεικονιζόταν σε µια HDR οθόνη, αλλά το τελικό παράγωγο, είναι µία χαµηλού εύρους χαρτογραφηµένη τονικά (Low Dynamic Range tonemapped) εικόνα που όµως περιέχει µεγαλύτερο εύρος από µία κανονική λήψη ενώ φέρει πληροφορίες λεπτοµερειών και υφής σε όλες τις περιοχές της. Σχήµα 2.1: Σχετική σχέση ανάµεσα στο δυναµικό εύρος διαφόρων µέσων Στο Σχήµα 2.1 απεικονίζεται η σχετική σχέση ανάµεσα στο δυναµικό εύρος σε διάφορα µέσα. Παρατηρεί κανείς ότι ενώ οι πολλαπλές εκθέσεις και κατά συνέπεια και η αρχική εικόνα HDR περιέχουν το δυναµικό εύρος που µπορεί να καταγράψει το ανθρώπινο µάτι, η τελική tone mapped HDR εικόνα, η οποία ουσιαστικά είναι LDR, δεν περιέχει εύρος µεγαλύτερο από όσο επιτρέπουν τα διαθέσιµα σήµερα µέσα εµφάνισης και εκτύπωσης. Όµως, ποιοτικά είναι καλύτερη από µία συµβατική εικόνα LDR. 2.3 Εφαρµογές των HDR εικόνων Τα σηµαντικά πλεονεκτήµατα της τεχνολογίας εικόνων HDR, τις καθιστούν πολύτιµες και ιδανικές για πολλές εφαρµογές. Ιδιωτικότητα Πολλές φορές σε µια σκηνή απεικονίζονται πολλές παραπάνω λεπτοµέρειες από ότι εµφανίζονται τελικά. Για παράδειγµα, έστω ότι έχουµε µια φωτογραφία, υψηλής αντίθεσης, µε ανθρώπους, κάποιοι από αυτούς θα φαίνονται ξεκάθαρα, ενώ κάποιοι άλλοι πιθανότατα να µη φαίνονται καθόλου, είτε επειδή βρίσκονται σε πολύ σκοτεινή περιοχή, είτε επειδή βρίσκονται σε πολύ φωτισµένη περιοχή. Αυτό όµως δε θα συνέβαινε αν είχαµε τραβήξει διαφορετικές εικόνες, διαφορετικών exposures και τελικά δηµιουργούσαµε µια HDR εικόνα. Στην HDR εικόνα πιθανότατα θα ήταν ευδιάκριτοι όλοι 17

32 Κεφάλαιο 2: Δηµιουργία HDR Εικόνων εικονιζόµενοι. Εποµένως, µέσω της τεχνικής HDR εισαβάλλουµε, αν θα µπορούσαµε να το θέσουµε έτσι, στην ιδιωτικότητα των φωτογραφιών [3]. Η Εικόνα 2.2 απεικονίζει την LDR και την HDR εικόνα της ίδιας σκηνής. Στην (α) παρατηρούµαι ότι στον εσωτερικό χώρο, υπάρχει ένας µόνο άνθρωπος. Αντίθετα στην (β), είναι ευδιάκριτοι πλέον ακόµα δύο άνθρωποι. Βίντεο ΗDR Εικόνα 2.2: (a) LDR εικόνα (β) HDR tonemapped εικόνα Χρησιµοποιώντας την τεχνική HDR, έχουν δηµιουργηθεί σύντοµης διάρκειας βίντεο. Πρόκειται για time lapse video όπου µία σειρά εικόνων, τραβηγµένων ανά κάποιο χρονικό διάστηµα, ενώνονται δηµιουργώντας την εντύπωση κινούµενης εικόνας. Οι λήψεις αυτές µπορούν να γίνουν και µε τον τρόπο που δηµιουργούνται οι εικόνες HDR (πολλαπλές λήψεις διαφορετικών εκθέσεων). Ένας άλλος τρόπος, είναι η παράλληλη βιντεοσκόπηση από δύο κάµερες διαφορετικής έκθεσης µε τη χρήση διαχωριστή δέσµης για τη βιντεοσκόπηση ακριβώς του ίδιου αντικειµένου από τις κάµερες. Η καλλιτεχνική ψηφιακή φωτογραφία Όπως η αναλογική και η συµβατική ψηφιακή εικόνα, έτσι και η εικόνα HDR µπορεί να ξεφύγει από τις ανάγκες της απλής απεικόνισης και να περάσει στο επίπεδο της τέχνης και της καλλιτεχνικής δηµιουργίας. Πολλές εικόνες HDR είναι µικρά έργα τέχνης και ίσως να οφείλεται σε αυτές τα τελευταία χρόνια το αυξανόµενο ενδιαφέρον για την τεχνική HDR. Εικόνα 2.3: Καλλιτεχνική HDR εικόνα 18

33 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Κεφάλαιο 3 Ευθυγράµµιση Εικόνων 3.1 Ορισµός της έννοιας της ευθυγράµµισης Για τη δηµιουργία µιας HDR εικόνας είναι απαραίτητη η αποτύπωση του µεγαλύτερου δυνατού εύρους φωτεινότητας. Αυτό δεν είναι δυνατό να γίνει µε µια µοναδική λήψη. Για αυτό το λόγο, λαµβάνουµε πολλαπλές φωτογραφίες της σκηνής που µας ενδιαφέρει, ξεκινώντας από υποφωτισµένες και καταλήγοντας σε υπερφωτισµένες. Στη συνέχεια συνδυάζοντας αυτές τις λήψεις µπορούµε να δηµιουργήσουµε την HDR εικόνα. Για να γίνει όµως αυτό οι εικόνες πρέπει να είναι πλήρως ευθυγραµµισµένες µεταξύ τους, πράγµα το οποίο δε συµβαίνει πάντα. Αυτό µπορεί να οφείλεται σε διάφορους παράγοντες όπως η λήψη των εικόνων από διαφορετικά σηµεία, η λήψη αυτών από διαφορετικούς αισθητήρες ή µια µικρή µετακίνηση της κάµερας. Η διαδικασία της ευθυγράµµισης δύο ή περισσότερων εικόνων της ίδιας σκηνής ονοµάζεται ευθυγράµµιση εικόνων (Image Registration). Ευθυγράµµιση εικόνων καλείται η διαδικασία µετασχηµατισµού του συστήµατος γεωµετρικών συντεταγµένων ενός συνόλου εικόνων µε σκοπό τη σύγκριση τους. Η διαδικασία περιλαµβάνει την εύρεση κατάλληλου γεωµετρικού µετασχηµατισµού, µε την εφαρµογή του οποίου αµβλύνονται οι γεωµετρικές αποκλίσεις ανάµεσα στα δύο σύνολα δεδοµένων προς σύγκριση. Η συνάρτηση µετασχηµατισµού δέχεται ως όρισµα δύο εικόνες εκ των οποίων η µία ονοµάζεται εικόνα αναφοράς 19

34 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων και δεν µετασχηµατίζεται, ενώ η δεύτερη καλείται εικόνα προς ευθυγράµµιση και όλη η επεξεργασία γίνεται σε αυτή. Έστω I 2 r, rεd 7 R :, η εικόνα προς ευθυγράµµιση και I ; r, rεd 0 R :, η εικόνα αναφοράς, όπου Ν η διάσταση των εικόνων. Στόχος κάθε µεθόδου ευθυγράµµισης είναι ο προσδιορισµός ενός µετασχηµατισµού, T: D 7 R :, τέτοιου ώστε η µετασχηµατισµένη εικόνα, έστω ( r), και η εικόνα αναφοράς να περιέχουν την ίδια πληροφορία στη θέση rεd 0, δηλαδή : Ι C T r = I 2 (r), αν T(r)εD 0 (3.1) Από την εξίσωση 3.1 παρατηρούµε ότι µπορεί να υπάρχουν περιοχές στην εικόνα αναφοράς, rεd 0, οι οποίες να µην απεικονίζονται στην προς ευθυγράµµιση εικόνα. Οι περιοχές αυτές δεν ανήκουν στο επικαλυπτόµενο τµήµα των εικόνων και στην µετασχηµατισµένη εικόνα θεωρούνται κενές, δηλαδή r D = 0 για r D εd 0 T F7 (r D ) D 7. Η ευθυγράµµιση µιας εικόνας σε σχέση µε µία άλλη εικόνα αναφοράς είναι ουσιαστικά µια επαναληπτική διαδικασία. Σύµφωνα µε παραµέτρους, οι οποίες παράγονται από µία µέθοδο βελτιστοποίησης σε κάθε επανάληψη, µετασχηµατίζουµε την προς ευθυγράµµιση εικόνα, I 2 r, εφαρµόζοντας το γεωµετρικό µετασχηµατισµό που προκύπτει από τις παραµέτρους αυτές. Έτσι, κάθε φορά που πραγµατοποιείται µια επανάληψη, οι παράµετροι εκτιµώνται εκ νέου µετά από τον υπολογισµό ενός κριτηρίου οµοιότητας ή σφάλµατος, όπως θα δούµε στη συνέχεια, µεταξύ των δύο εικόνων. Τέλος, όταν η τιµή της συνάρτησης ο µοιότητας µεγιστοποιηθεί ή τιµή της συνάρτησης σφάλµατος ελαχιστοποιηθεί αντίστοιχα, οι τελικές παράµετροι του µετασχηµατισµού που θα εφαρµοσθούν στην εικόνα προς ευθυγράµµιση θα καθορίσουν τον τερµατισµό της διαδικασίας. 3.2 Βασικά χαρακτηριστικά της διαδικασίας ευθυγράµµισης Έχουν αναπτυχθεί πολλές µέθοδοι ευθυγράµµισης οι οποίες διακρίνονται από κάποια σηµαντικά σχεδιαστικά χαρακτηριστικά [4] Ο γεωµετρικός µετασχηµατισµός Ο καθορισµός του γεωµετρικού µετασχηµατισµού αποτελεί το βασικότερο βήµα κατά την διαδικασία της ευθυγράµµισης. Ένας γεωµετρικός µετασχηµατισµός µπορεί να εφαρµοσθεί είτε σε όλη την εικόνα και τότε καλείται ολικός, είτε σε ένα συγκεκριµένο σηµείο που µας ενδιαφέρει, όπου τότε καλείται τοπικός. Οι γεωµετρικοί µετασχηµατισµοί διακρίνονται στις κατηγορίες (α) άκαµπτοι ή συµπαγής και (γ) εύκαµπτοι ή ελαστικοί. Οι άκαµπτοι (rigid) µετασχηµατισµοί είναι καθολικοί, και δεν έχουν τη δυνατότητα να προσαρµοστούν σε τοπικές αλλαγές ανατοµικών στοιχείων. Επίσης διατηρούν τις ιδιότητες της πρόσθεσης διανυσµάτων και της κλιµάκωσης, και είναι ένας συνδυασµός µεταφοράς, περιστροφής και κλιµάκωσης. Οι εύκαµπτοι ή αλλιώς ελαστικοί µετασχηµατισµοί (non-rigid), επιτρέπουν και ελαστικές παραµορφώσεις, σε καθολικό αλλά και σε τοπικό επίπεδο. Παράλληλα, ένας γεωµετρικός µετασχηµατισµός περιγράφεται από έναν βαθµό ελαστικότητας, ο οποίο καθορίζει τον αν θα είναι συµπαγής, αφινικός ή αλλιώς τύπου affine, προβολικός ή καµπυλόγραµµος. 20

35 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Τέλος σηµαντικό στοιχείο στην κατηγοριοποίηση των γεωµετρικών µετασχηµατισµών αποτελεί η διάσταση που αυτοί εφαρµόζονται. Ένας µετασχηµατισµός µπορεί να είναι µονοδιάστατος (1D), δυσδιάστατος (2D) ή γενικότερα πολυδιάστατος σε συµφωνία µε τις διαστάσεις των δεδοµένων προς εξέταση Η συνάρτηση οµοιότητας ή κριτήριο οµοιότητας Είναι ένα ποσοτικό κριτήριο που όταν η βέλτιστη επίδοση ευθυγράµµισης επιτυγχάνεται µε την ελαχιστοποίηση της τιµής του τότε ονοµάζεται συνάρτηση σφάλµατος, ενώ όταν επιτυγχάνεται µε τη µεγιστοποίηση της τιµής του τότε έχουµε τη συνάρτηση οµ οιότητας. Παραδείγµατα τέτοιων συναρτήσεων αποτελούν ο συντελεστής συσχέτισης, η ευκλείδεια απόσταση, το στατιστικό-κάπα και η αµοιβαία πληροφορία Η µέθοδος βελτιστοποίησης Είναι µια επαναληπτική διαδικασία και στόχος της είναι να εντοπίσει τις βέλτιστες παραµέτρους του µετασχηµατισµού που οδηγούν στην καλύτερη ευθυγράµµιση των δύο εικόνων, δηλαδή στη µεγιστοποίηση του κριτηρίου ο µοιότητας ή στην ελαχιστοποίηση του σφάλµατος ανάµεσα στην εικόνα αναφοράς και την υπό ευθυγράµµιση εικόνα. Εποµένως σε κάθε βήµα της διαδικασίας, δίνονται σ υγκεκριµένες τιµές στις παραµέτρους του µετασχηµατισµού, µετασχηµατίζονται τα υπό ευθυγράµµιση δεδοµένα, και ελέγχεται η τιµή της επιλεγµένης συνάρτησης. Η διαδικασία τερµατίζει όταν επιτευχθεί το επιθυµητό αποτέλεσµα ή µετά την εκτέλεση προκαθορισµένου αριθµού επαναλήψεων. Συνήθως αναζητούν την ελάχιστη ή αντίστοιχα µέγιστη τιµή της συνάρτησης, η οποία µπορεί να οδηγήσει σε σηµείο τοπικού ή ολικού ακροτάτου. Ο προσδιορισµός του ολικού ακροτάτου παρουσιάζει όµως αυξηµένο υπολογιστικό κόστος σε αναλογία µε τον απαιτούµενο χρόνο, αφού όλες οι τιµές για κάθε παράµετρο ευθυγράµµισης θα πρέπει να εξεταστούν. Έτσι δυο είναι οι τεχνικές που εφαρµόζονται συνήθως. Στην πρώτη προσδιορίζονται πολλά τοπικά ακρότατα ξεκινώντας από τυχαία σηµεία του χώρου των ανεξάρτητων µεταβλητών και στη συνέχεια επιλέγεται το αντίστοιχο ακρότατο µε τη χαµηλότερη ή υψηλότερη τιµή ανάλογα µε τη συνάρτηση. Στη δεύτερη µετατοπίζεται η θέση ενός σηµείου που αντιστοιχεί σε τοπικό ακρότατο εκτελώντας βήµατα πεπερασµένου πλάτους γύρω από αυτό, ενώ παράλληλα ελέγχεται αν η συνάρτηση σε κάθε νέο σηµείο επιστρέφει καλύτερη τιµή ή αν υπερισχύει το αρχικό ακρότατο [5]. Οι µέθοδοι ολικής βελτιστοποίησης υστερούν στη σύγκλιση της περιοχής ολικού ακροτάτου µε σχετική ακρίβεια. Τις περισσότερες φορές, η υλοποίηση µεθόδου τοπικής βελτιστοποίησης µετά την µέθοδο ολικής βελτιστοποίησης λειτουργεί καταλυτικά στην εύρεση της βέλτιστης λύσης. Η επιλογή του κριτηρίου οµοιότητας επηρεάζει άµεσα την ποιότητα των αποτελεσµάτων. Οι µέθοδοι βελτιστοποίησης µπορούν να διαχωριστούν σε δύο γενικές κατηγορίες, βάσει των µεταβλητών που διαχειρίζονται: τις συνεχείς και τις διακριτές. Η πρώτη κατηγορία µεθόδων αφορά περιπτώσεις όπου τα δεδοµένα έχουν πραγµατικές τιµές και η συνάρτηση βελτιστοποίησης είναι διαφορίσιµη. Στη δεύτερη κατηγορία εντάσσονται οι περιπτώσεις που οι µεταβλητές µπορούν να έχουν διακριτές τιµές. 21

36 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων 3.3 Επιπλέον χαρακτηριστικά της διαδικασίας ευθυγράµµισης Το είδος των δεδοµένων Οι εικόνες µπορεί είτε να προέρχονται από δεδοµένα ίδιου τύπου, δηλαδή η λήψη τους να έχει γίνει από την ίδια πηγή και ονοµάζονται µονοτροπικές (Mono-Modal) ή να προέρχονται από δεδοµένα διαφορετικού τύπου και τότε ονοµάζονται πολυτροπικές (Multi-Modal) Κριτήριο ευθυγράµµισης Ανάλογα µε τη φύση των εικόνων, επιλέγεται και η βάση της ευθυγράµµισης. Οι µέθοδοι ευθυγράµµισης διακρίνονται σε αυτές που βασίζονται στις αλλαγές φωτεινότητας που υφίσταται το κάθε εικονοστοιχείο (pixel) και είναι γνωστές ως Intensity based methods και σε εκείνες που βασίζονται στις αλλαγές των γεωµετρικών χαρακτηριστικών της εικόνας, γνωστές ως Feature based methods. Η πρώτη κατηγορία επεξεργάζεται τις εικόνες απευθείας ως δεδοµένα ταιριάζοντας τις φωτεινότητες των εικονοστοιχείων χωρίς την εξαγωγή κάποιων χαρακτηριστικών. Κατά τη δεύτερη κατηγορία µεθόδων ευθυγράµµισης χρειάζεται να προηγηθεί µια προεπεξεργασία των εικόνων έτσι ώστε να εντοπιστούν σε αυτές τα καταλληλότερα γεωµετρικά χαρακτηριστικά (ακµές, γωνίες, επίπεδα, µέσες τιµές έντασης στις διάφορες γειτονιές των εικόνων) στα οποία θα βασιστεί η ευθυγράµµιση [6] Περιοχή εφαρµογής του µετασχηµατισµού Ο µετασχηµατισµός µπορεί να χαρακτηριστεί τοπικός ή ολικός, ανάλογα µε το τρόπο εφαρµογής του. Αν υλοποιηθεί σε ολόκληρο το εύρος της εικόνας, τότε ονοµάζεται ολικός και αντίστοιχα τοπικός αν εφαρµοστεί σε µία περιοχή της. Η επιλογή της απευθείας εφαρµογής των τοπικών µετασχηµατισµών έχει το µειονέκτηµα ότι µετά την πραγµατοποίηση του οποιουδήποτε τοπικού µετασχηµατισµού, τις περισσότερες φορές η όλη διαδικασία παύει να είναι ανατρέψιµη ως αποτέλεσµα της αδυναµίας που παρουσιάζει ο αντίστροφος µετασχηµατισµός, να επαναφέρει την αρχική εικόνα Ο απαιτούµενος βαθµός επενέργειας του χρήστη Ανάλογα µε την παρέµβαση ή όχι του χρήστη κατά τη διαδικασία της ευθυγράµµισης, οι τεχνικές διακρίνονται σε ηµιαυτόµατες τεχνικές, όταν χρειάζεται ο χρήστης να αρχικοποιήσει κάποιες παραµέτρους, να απορρίψει ή να αποδεχτεί προτεινόµενες λύσεις ή να κάνει την επιλογή των σηµείων ελέγχου, αν ο αλγόριθµος είναι βασισµένος σε σηµεία αντιστοίχισης, και σε αυτόµατες τεχνικές, όπου η επιλογή των σηµείων και των παραµέτρων του µετασχηµατισµού γίνεται αυτόµατα από τον αλγόριθµο. Τέλος, υπάρχει και η περίπτωση της χειροκίνητης ευθυγράµµισης, όπου ο χρήστης αλληλοεπιδρά πλήρως µε όλη τη διαδικασία, υποβοηθούµενος από ειδικά σχεδιασµένο λογισµικό. 22

37 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων 3.4 Γεωµετρικός µετασχηµατισµός Ας δούµε τώρα πιο αναλυτικά την επιλογή του γεωµετρικού µετασχηµατισµού η οποία έχει ιδιαίτερη σηµασία για τη διαδικασία της ευθυγράµµισης. Ο κύριος σκοπός της διαδικασίας της ευθυγράµµισης είναι ο µετασχηµατισµός του συνόλου των γεωµετρικών συντεταγµένων µιας εικόνας ώστε να ταυτιστεί όσο το δυνατόν καλύτερα µε την επιλεγµένη εικόνα αναφοράς. Ουσιαστικά είναι ένα µαθηµατικό µοντέλο του οποίου οι παράµετροι ελέγχουν τη µετατόπιση των συντεταγµένων κάθε εικονοστοιχείου των εικόνων. Στα απλούστερα είδη µετασχηµατισµών, ο αριθµός των παραµέτρων είναι ίσος µε τον αριθµό των αξόνων του συστήµατος συντεταγµένων, δηλαδή δύο για δισδιάστατες και τρεις για τρισδιάστατες εικόνες. Πιο πολύπλοκοι µετασχηµατισµοί, οι οποίοι περιέχουν περιστροφές ή ελαστικές µετατοπίσεις, µπορεί να απαιτούν δεκάδες παραµέτρους για την πλήρη περιγραφή τους, ειδικότερα σε συστήµατα συντεταγµένων πολλών διαστάσεων. Όσο αυξάνεται ο αριθµός των παραµέτρων, αυξάνεται η ικανότητα λεπτοµερούς ευθυγράµµισης. Αυτή η βελτίωση ό µως συνοδεύεται από την αύξηση της πολυπλοκότητας του αλγόριθµου και του υπολογιστικού κόστους [7]. Ένας γεωµετρικός µετασχηµατισµός, για µια 3D(δισδιάστατη) εικόνα, είναι ουσιαστικά η µετατροπή µιας εικόνας f(x, y, z) σε µια νέα εικόνα g(x, y, z ), αλλάζοντας τις συντεταγµένες των εικονοστοιχείων [8] [9] Συµπαγής γεωµετρικός µετασχηµατισµός Ένας συµπαγής γεωµετρικός µετασχηµατισµός έχει την ιδιότητα να διατηρεί αµετάβλητο το µέγεθος και το σχήµα των προς ευθυγράµµιση δεδοµένων. Εν γένει, ο συµπαγής µετασχηµατισµός αναλύεται σε δύο συνιστώσες, την περιστροφή και την µετατόπιση. Στην περίπτωση των τριών διαστάσεων, η συνιστώσα της περιστροφής, καθορίζεται από έναν 3x3 πίνακα, που αντιπροσωπεύει την περιστροφή γύρω από τους άξονες x, y και z, η οποία περιγράφεται από τις γωνίες περιστροφής φ x, φ y, φ z αντίστοιχα. R = R I R J R K (3.2) R = cos φ Q sin φ Q 0 sin φ Q cos φ Q cos φ J 0 sin φ J sin φ J 0 cos φ J cos φ K sin φ K 0 sin φ K cos φ K (3.3) Αντίστοιχα, η συνιστώσα της µετατόπισης καθορίζεται από έναν 3x1 πίνακα, ο οποίος περιγράφει την µετατόπιση d x, d y, d z στους x, y, z άξονες αντίστοιχα. d = d I d J d K (3.4) 23

38 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Έτσι όταν εφαρµόσουµε τον συµπαγή µετασχηµατισµό σε ένα σηµείο (x, y, z), το σηµείο που προκύπτει θα υπακούει στην παρακάτω εξίσωση. x y z = R x y z + d I d J d K (3.5) Δεδοµένου ότι χρειάζεται ο υπολογισµός µόνο έξι παραµέτρων, τρεις για την περιστροφή και άλλοι τρείς για την µετατόπιση, καθιστά τον συµπαγή µετασχηµατισµό πιο προσιτό και ταχύτερα υπολογίσιµο, σχετικά µε οποιονδήποτε άλλον. Επιπλέον, έχει το πλεονέκτηµα ότι µπορεί αρχικά να υπολογιστεί σε µια µικρή περιοχή της εικόνας και στη συνέχεια να χρησιµοποιηθεί για όλο το εύρος της εικόνας Γεωµετρικός Μετασχηµατισµός τύπου affine (affine transformation) Ένας από τους πιο διαδεδοµένους άκαµπτους µετασχηµατισµούς είναι ο αφινικός µετασχηµατισµός. Ο µετασχηµατισµός αυτός διατηρεί τις ευθείες γραµµές ως έχουν καθώς και την παραλληλία τους, ενώ κατά την εφαρµογή του είναι πιθανόν να προκληθούν µεταβολές στις γωνίες και στα µήκη του αντικειµένου. Είναι πολύ χρήσιµος κυρίως για εικόνες που έχουν υποστεί κάποια αλλοίωση κατά τη διάρκεια λήψης τους. (3.6) Με τη χρήση ενός γραµµικού µετασχηµατισµού και µιας µετατόπισης µπορεί να προσδιοριστεί ως εξής : x y = Α x y + d I d J z z d K όπου Α είναι ένας 3x3 πίνακας πραγµατικών τιµών: Α = α 77 α 70 α 7_ α 07 α 00 α 0_. α _7 α _0 α Προβολικός Γεωµετρικός Μετασχηµατισµός (Projective) Ένας προβολικός µετασχηµατισµός απεικονίζει οποιαδήποτε ευθεία στην πρώτη εικόνα σε ευθεία γραµµή στη δεύτερη εικόνα χωρίς όµως να διατηρεί απαραίτητα την παραλληλία τους. Μπορεί να εκφραστεί ως εξής: x` y` z = x 7 w y 7 w z 7 w ή x 7 y 7 z 7 w = a 77 a 70 a 7_ a 7c a 07 a 00 a 0_ a 0c a _7 a _0 a a _c a c7 a c0 a c_ a cc x y z 1 (3.7) όπου το w αντιστοιχεί στην επιπλέον οµογενή συντεταγµένη και το a cc τις περισσότερες φορές είναι ίσο µε τη µονάδα. 24

39 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Λόγω του µεγάλου πλήθους παραµέτρων και κατ επέκταση της αυξηµένης πολυπλοκότητας, ο προβολικός µετασχηµατισµός δε χρησιµοποιείται πολύ συχνά Καµπυλόγραµµος Γεωµετρικός Μετασχηµατισµός Οι καµπυλόγραµµοι µετασχηµατισµοί διαφέρουν πολύ από τους προαναφερθέντες, δεδοµένου ότι δε περιγράφονται από σταθερούς πίνακες αλλά προσδιορίζονται αλγεβρικά από την εξίσωση: όπου F εκφράζει τη συνάρτηση µετασχηµατισµού και: x`, y`, z` = F (x, y, x) (3.8) x` = y` = z` = k j g ehi fhi (hi k j g ehi fhi (hi k j g ehi fhi (hi a ef( x e b ef( x e c ef( x e y f z ( y f z ( y f z ( µε K, L, M κάποιες σταθερές οι οποίες δείχνουν τη τάξη του πολυωνύµου και a, b, c αντίστοιχα κάποιες παράµετροι. Αναλόγως της τάξεως των πολυωνύµων, µειώνεται ή αυξάνεται ταυτόχρονα το πλήθος των παραµέτρων που πρέπει να προσδιοριστούν, µε αντίστοιχα χειρότερη ή βελτιωµένη ακρίβεια και παράλληλα λιγότερη ή περισσότερη πολυπλοκότητα. Σχήµα 3.1: Παράδειγµα εφαρµογής δισδιάστατων ολικών και τοπικών µετασχηµατισµών 25

40 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Παραδείγµατα εύκαµπτων (ή ελαστικών) µετασχηµατισµών Αντίθετα µε τους άκαµπτους µετασχηµατισµούς, οι ελαστικοί µετασχηµατισµοί επιτρέπουν ελαστικές γεωµετρικές παραµορφώσεις τοπικά στις εικόνες υπό εξέταση. Παρόλο που έχει δοκιµαστεί ελαστική ευθυγράµµιση χωρίς τη χρήση σηµείων ελέγχου, οι περισσότερες ελαστικές µέθοδοι ευθυγράµµισης αρχικά επιλέγουν έναν αριθµό αντιστοίχων σηµείων στις εικόνες προς ευθυγράµµιση και στη συνέχεια χρησιµοποιούν την πληροφορία που παρέχουν τα συγκεκριµένα σηµεία για τον υπολογισµό της συνάρτησης µετασχηµατισµού για όλα τα σηµεία της εικόνας. Στους αντιπροσωπευτικότερους ελαστικούς µετασχηµατισµούς περιλαµβάνονται οι µεθόδοι: Thin-Plate Spline (TPS) Multiquadric Weighted Mean Piecewise Linear 3.5 Συνάρτηση οµοιότητας Κατά την εκτέλεση της καθολικής διαδικασίας ευθυγράµµισης, η συνάρτηση ο µοιότητας πραγµατοποιεί τον έλεγχο σε κάθε κύκλο του αλγόριθµου για να διαπιστωθεί αν το αποτέλεσµα της ευθυγράµµισης είναι ικανοποιητικό. Το κριτήριο οµοιότητας ποσοτικοποιεί το βαθµό σύµπτωσης ή απόκλισης µεταξύ της εικόνας αναφοράς και της εικόνας προς ευθυγράµµιση. Το κριτήριο που χρησιµοποιείται από τη συνάρτηση ο µοιότητας µπορεί να είναι γεωµετρικό, ή κριτήριο φωτεινότητας, ή κριτήριο που να συνδυάζει και τα δύο. Συνήθως η διαδικασία χωρίζεται σε δύο στάδια, µε το γεωµετρικό κριτήριο να προηγείται εκτελώντας µία πρώτη ευθυγράµµιση και στη συνέχεια εφαρµόζεται το κριτήριο φωτεινότητας για το λεπτοµερέστερο αποτέλεσµα. Τα γεωµετρικά κριτήρια αναζητούν σηµεία ή περιοχές της εικόνας που αντιστοιχούν σε συγκεκριµένα στοιχεία και υπολογίζουν τις αποστάσεις των αντιστοίχων σηµείων ή περιοχών µεταξύ των εικόνων προς ευθυγράµµιση. Ο στόχος είναι να ελαχιστοποιηθούν οι αποστάσεις αυτές, σε µέρος ή σε ολόκληρες τις ευθυγραµµισµένες περιοχές. Όµως η εύρεση των κατάλληλων σηµείων προς µέτρηση είναι ένας τοµέας υπό έρευνα και δεν έχουν ακόµα υπάρξει ικανοποιητικά αποτελέσµατα µέσω των γεωµετρικών κριτηρίων. Ένα µειονέκτηµα είναι πως δεν ελέγχονται τα σηµεία της εικόνας που είναι αποµακρυσµένα από τα σηµεία προς µέτρηση, µε αποτέλεσµα η ευθυγράµµιση να είναι επιτυχής µόνο τοπικά και όχι στο σύνολο της εικόνας. Παρ όλα αυτά, τα γεωµετρικά κριτήρια µπορούν να εφαρµοστούν µε επιτυχία σε συγκεκριµένες εφαρµογές. Ένα τυπικό παράδειγµα τέτοιου τύπου κριτηρίου είναι η µέση απόσταση ανάµεσα στις ακµές των δυο εικόνων. Αυτό βέβαια προϋποθέτει την εξαγωγή των ακµών των εικόνων πριν από τον υπολογισµό του κριτηρίου, γεγονός που µπορεί να εισάγει υπολογιστικό κόστος και σφάλµατα. Από την άλλη πλευρά, τα κριτήρια φωτεινότητας ποσοτικοποιούν το βαθµό οµοιότητας συγκρίνοντας τις τιµές της φωτεινότητας της εικόνας σε όλη την έκτασή της. Επειδή χρησιµοποιούν πληροφορία από το κάθε pixel της κάθε εικόνας, το υπολογιστικό κόστος είναι πολύ µεγαλύτερο από τις γεωµετρικές µεθόδους, όµως η ακρίβεια που παρέχεται είναι πολύ καλύτερη. Το κριτήριο οµοιότητας επιλέγεται ανάλογα µε τις υποθέσεις που γίνονται σχετικά µε τις αλλαγές της φωτεινότητας από εικόνα σε εικόνα. Παρακάτω παρουσιάζονται κάποια από τα πιο διαδεδοµένα τέτοια κριτήρια. 26

41 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Μέσο τετραγωνικό σφάλµα (Mean Squared Error, MSE) Με τη µέθοδο του µέσου τετραγωνικού σφάλµατος, γνωστή ως MSE, υπολογίζεται το µέσο τετραγωνικό σφάλµα µεταξύ της εικόνας αναφοράς και της εικόνας προς εκτίµηση. Το MSE για µία µονοχρωµατική εικόνα διαστάσεων ΜxΝ υπολογίζεται από την παρακάτω εξίσωση: MSE = 7 q r q th7 r Dh7(I ; i, j I 2 i, j ) 0 (3.9) όπου I R είναι η εικόνα αναφοράς και I F η εικόνα προς εκτίµηση [10]. Παρόλο που η παραπάνω µετρική θεωρείται ιδανική για πολλές εφαρµογές της θεωρίας σηµάτων, δεν είναι τόσο ικανοποιητική σε εφαρµογές επεξεργασίας εικόνων. Έτσι σε αυτές τι εφαρµογές χρησιµοποιείται συνήθως η επόµενη µετρική σύγκριση σφάλµατος που αναφέρεται, η οποία βασίζεται στο MSE Λόγος Μέγιστου Σήµατος προς Θόρυβο (Peak Signal to Noise Ratio, PSNR) Ο λόγος µέγιστου σήµατος προς θόρυβο, δηλαδή το PSNR όπως είναι γνωστό, ορίζει το λόγο της µέγιστης τιµής του σήµατος, συγκεκριµένα της εικόνας, προς το θόρυβο που έχει δεχτεί. Υπολογίζεται σε λογαριθµική κλίµακα ως εξής: PSNR = 10 log 7i (xi y (z { ) g } = 20 log 7i max I ; 10 log 7i MSE (3.10) Όσο υψηλότερο είναι το PSNR, τόσο λιγότερο θόρυβο έχουµε στην εικόνα προς εκτίµηση [1] Μέση απόλυτη διαφορά φωτεινότητας (Sum of Absolute Differences, SAD) Το απλούστερο κριτήριο οµοιότητας είναι ο υπολογισµός της µέσης τιµής των απόλυτων διαφορών φωτεινότητας των αντίστοιχων σηµείων. Η µαθηµατική εξίσωση που εκφράζει τη µέση απόλυτη διαφορά φωτεινότητας (Sum of Absolute Differences, SAD), αν θεωρήσουµε I R (i) και I F (i) τις φωτεινότητες N αντίστοιχων σηµείων i των εικόνων αναφοράς και υπό ευθυγράµµιση είναι η εξής: SAD = 7 : : Dhi I ; i I 2 (i) (3.11) Η µέση απόλυτη διαφορά φωτεινότητας αποτελεί κριτήριο σφάλµατος και ο στόχος είναι η ελαχιστοποίησή του για την καλύτερη δυνατή ευθυγράµµιση. Το κριτήριο αυτό δεν είναι ικανοποιητικό στις περιπτώσεις που τα δεδοµένα παρουσιάζουν τοπικές χρωµατικές µεταβολές ή προέρχονται από διαφορετικές απεικονιστικές τεχνικές, καθώς επίσης παρουσιάζει µεγάλη ευαισθησία στο θόρυβο αν αυτός δεν ακολουθεί κανονική κατανοµή. 27

42 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Συντελεστής συσχέτισης (Correlation Coefficient) Ένα άλλο γνωστό κριτήριο ο µοιότητας είναι ο συντελεστής συσχέτισης. Εξετάζει το βαθµό συσχέτισης ανάµεσα σε δυο σύνολα τιµών, δηλαδή ανάµεσα στις τιµές φωτεινότητας της εικόνας αναφοράς και της προς ευθυγράµµιση εικόνας, των οποίων η σχέση είναι γραµµική. Η µαθηµατική εξίσωση για το συντελεστή συσχέτισης είναι η εξής: CC = r : ˆ z { ƒ z (ƒ) F ˆ z { ƒ Š ˆ y { D F( y ˆ z { ƒ ) r ˆ z (ƒ) Š ˆ y D F( y ˆ z ƒ ) (3.12) O συντελεστής συσχέτισης ποσοτικοποιεί το βαθµό οµοιότητας των δυο εικόνων και έτσι στόχος είναι η µεγιστοποίηση του για τη βέλτιστη ευθυγράµµιση. Οι απόλυτες τιµές του συντελεστή ανήκουν στο διάστηµα [0, 1]. Όσο πιο κοντά είναι ο συντελεστής συσχέτισης στην µονάδα τόσο πιο πολύ συσχετίζονται οι δυο εικόνες. Στην περίπτωση της πλήρους ταύτισης είναι ίσος µε τη µονάδα. Εποµένως στόχος της ευθυγράµµισης είναι η µεγιστοποίηση του συντελεστή όσο το δυνατόν πλησιέστερα στην τιµή 1. Μια σηµαντική ιδιότητα του είναι ότι παραµένει αναλλοίωτος σε γραµµικούς µετασχηµατισµούς, συνεπώς αλλαγή στην φωτεινότητα ή στην αντίθεση των εικόνων δεν επιδρά στο αποτέλεσµα του. Ωστόσο, αποτυγχάνει στην περίπτωση που οι εικόνες προέρχονται από διαφορετικές απεικονιστικές τεχνικές Συντελεστής αµοιβαίας πληροφορίας (Mutual Information Coefficient) Ένα άλλο κριτήριο οµοιότητας είναι ο συντελεστής αµοιβαίας πληροφορίας που ποσοτικοποιεί το βαθµό συσχέτισης δύο ανεξάρτητων µεταβλητών. Για δύο εικόνες I R και I F ο συντελεστής κοινής πληροφορίας µπορεί να γραφεί ως εξής : MI Ι ;, I 2 = H Ι ; + H Ι 2 H Ι ;, I 2 (3.13) όπου H(I R ) και H(I F ) είναι οι οριακές εντροπίες των δυο εικόνων και H(I R, I F ) η κοινή τους εντροπία. Από την εξίσωση του συντελεστή κοινής πληροφορίας προκύπτει ότι προκειµένου να µεγιστοποιηθεί ο συντελεστής, χρειάζεται να ελαχιστοποιηθεί η εντροπία της τοµής του ενός συνόλου σε σχέση µε το άλλο. Βασικό πλεονέκτηµα του συντελεστή αµοιβαίας πληροφορίας είναι ότι µπορεί να εφαρµοστεί σε εικόνες από διαφορετικές απεικονιστικές τεχνικές. Επιπλέον, δεν είναι ευαίσθητος στο θόρυβο και σε αλλαγές στην φωτεινότητα ή την αντίθεση των εικόνων. Όµως λ όγω της πολυπλοκότητας του κριτηρίου και των πολλών αριθµητικών πράξεων που εµπλέκονται στον υπολογισµό του, ο συντελεστής αµοιβαίας πληροφορίας χρησιµοποιείται σε δεδοµένα περιορισµένου µεγέθους ή σε εφαρµογές όπου ο χρόνος επεξεργασίας δεν αποτελεί κρίσιµο παράγοντα [11]. 28

43 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Δείκτης Δοµικής Οµοιότητας - (Structural Similarity Index, SSIM) Ο δείκτης δοµικής οµοιότητας έχει σχεδιαστεί για να βελτιώνει τις παραδοσιακές µεθόδους όπως η µέγιστη αναλογία σήµατος προς θόρυβο (PSNR) και το µέσο τετραγωνικό σφάλµα που αναφέρθηκαν προηγουµένως (MSE), οι οποίες έχουν αποδειχτεί ασυµβίβαστες µε την ανθρώπινη οπτική αντίληψη [12], [13]. Ο SSIM αλγόριθµος βασίζεται στο γεγονός πως το ανθρώπινο σύστηµα όρασης έχει τη δυνατότητα να προσαρµόζεται, ώστε να εξάγει από κάθε σκηνή, πληροφορίες που αφορούν τη δοµή της. Σε επίπεδο εικονοστοιχείων αυτό σηµαίνει ότι τα εικονοστοιχεία µιας σκηνής παρουσιάζουν ισχυρές εξαρτήσεις µεταξύ τους που περιλαµβάνουν σηµαντικές πληροφορίες για την δοµή της εικόνας. Ο SSIM αλγόριθµος αντιλαµβάνεται την αλλαγή στην ποιότητα µιας εικόνας ως αλλαγή στη δοµή της. Θεωρεί πως η δοµή των αντικειµένων σε µια σκηνή είναι ανεξάρτητη της τοπικής φωτεινότητας και αντίθεσης και γι αυτό χρειάζεται να ξεχωρίσει τη φωτεινότητα από την εικόνα για να πάρει τις απαιτούµενες δοµικές πληροφορίες. Οι µετρήσεις που πραγµατοποιεί ο αλγόριθµος χωρίζονται σε τρία µέρη: σύγκριση φωτεινότητας (l), σύγκριση αντίθεσης (c) και δοµική σύγκριση(s). Μέτρηση φωτεινότητας: μ = 7 ( ( Dh7 th7 I(i, j), Όπου µ είναι η υπολογιζόµενη φωτεινότητα µιας m n εικόνας. Υπολογίζεται για την εικόνα αναφοράς και για την εικόνα προς εκτίµηση. Η σύγκριση των φωτεινοτήτων δίνεται από τη σχέση: l I, I = 0 š œ y y, š š œ Για τον υπολογισµό της αντίθεσης υπολογίζεται για κάθε εικόνα η παρακάτω εξίσωση απόκλισης: σ = 7 ( F7 ( th7 Dh7 (I i, j μ) 0, και η σύγκριση των αντιθέσεων δίνεται από την παρακάτω σχέση: c I, I = 0ž ž š y ž y y, šž š y Για το τρίτο µέρος, η δοµική σύγκριση υπολογίζεται ως εξής: s I, I = ž, š Ÿ ž ž šš Ÿ, όπου C D σταθερές που αποτρέπουν τον παρονοµαστή να λάβει πολύ µικρές τιµές και c _ = c 0 /2. Οι τρεις συναρτήσεις-συγκρίσεις που έχουν υπολογισθεί µέχρι στιγµής, συνδυάζονται ώστε να υπολογίσουν την τελική τιµή του SSIM: 29

44 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων SSIM I, I = l I, I c I, I s I, I = (2μ μ + C 7 )(2σ, + C 0 ) (μ 0 + μ 0 + C 7 )(σ 0 + σ 0 + C 0 ), Όπου α, β, γ σταθερές που δηλώνουν τη σχετική σηµαντικότητα της κάθε σύγκρισης. Μικρές τιµές του SSIM σηµαίνουν χαµηλότερη ποιότητα και οι τιµές κυµαίνονται µεταξύ [-1,1]. Η τιµή 1 είναι δυνατόν να επιτευχθεί µόνο οι δύο εικόνες είναι όµοιες. Για εικόνες µε εµφανή αλλοίωση που δίνουν ίδιο MSE, το SSIM καταφέρνει να ακολουθήσει την εκτίµηση που θα έκανε ένας άνθρωπος, όπως φαίνεται στην Εικόνα 3.1. Εικόνα3.1: Το MSE δεν αντιλαµβάνεται τη διαφορά καθώς µένει σχεδόν σταθερό ενώ ο δείκτης SSIM αλλάζει τιµή σύµφωνα µε την ποιότητα της εικόνας 3.6 Μέθοδος Βελτιστοποίησης Η βελτιστοποίηση είναι µια επαναληπτική διαδικασία που αποσκοπεί στην εύρεση των καταλληλότερων παραµέτρων του γεωµετρικού µετασχηµατισµού, ο οποίος θα ευθυγραµµίσει µε τον καλύτερο δυνατό τρόπο τα υπό εξέταση δεδοµένα, σύµφωνα µε το κριτήριο οµοιότητας το οποίο έχει επιλεγεί. Συνεπώς, η επιλογή της µεθόδου βελτιστοποίησης επηρεάζει σηµαντικά την ποιότητα του αποτελέσµατος της ευθυγράµµισης. Έχουν αναπτυχθεί αρκετοί αλγόριθµοι βελτιστοποίησης, που µπορούν να καταταχθούν σε δύο γενικές κατηγορίες ως εξής: Μαθηµατικά µοντέλα Επαναληπτικοί αλγόριθµοι 30

45 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Μαθηµατικά µοντέλα Τα µαθηµατικά µοντέλα περιλαµβάνουν τις ευρέως χρησιµοποιούµενες µεθόδους βελτιστοποίησης. Οι µέθοδοι βασίζονται σε µαθηµατικά µοντέλα ελαχιστοποίησης ή µεγιστοποίησης συναρτήσεων, που επιλύουν σύνθετες εξισώσεις επαναληπτικά, για ένα προκαθορισµένο από το χρήστη αριθµό επαναλήψεων ή µέχρι να επιτευχθεί κάποιο αριθµητικό κριτήριο τερµατισµού που πιθανώς έχει τεθεί. Οι επικρατέστερες µέθοδοι, οι οποίες για την επίλυση του προβλήµατος της ευθυγράµµισης βασίζονται µόνο στον υπολογισµό των τιµών της συνάρτησης, είναι οι εξής: Η µέθοδος Downhill Simplex [5] Στη µέθοδο αυτή καθορίζονται αρχικά Ν+1 προσεγγίσεις του σηµείο ελαχίστου της προς ελαχιστοποίηση συνάρτησης. Αν τα σηµεία αυτά θεωρηθούν ότι βρίσκονται σε ένα Ν-διάστατο χώρο και ότι υπάρχει µια γραµµή η οποία ενώνει κάθε ένα από αυτά µε όλα τα υπόλοιπα, τότε το γεωµετρικό σχήµα που προκύπτει ονοµάζεται simplex. Για παράδειγµα, στις δυο διαστάσεις το simplex είναι τρίγωνο, ενώ στις τρείς διαστάσεις είναι ένα τετράεδρο. Ένα από τα Ν+1 σηµεία που καθορίστηκαν αρχικά, επιλέγεται ως σηµείο εκκίνησης, ενώ τα υπόλοιπα εκφράζονται συναρτήσει αυτού και της απόστασης τους από αυτό. Στη συνέχεια, πραγµατοποιείται µια σειρά βηµάτων, κατά την οποία µετακινείται το σηµείο του simplex όπου η συνάρτηση έχει τη µεγαλύτερη τιµή σε ένα άλλο σηµείο, όπου η συνάρτηση έχει µικρότερη τιµή µε µία διαδικασία κατοπτρισµού µε τέτοιο τρόπο ώστε να διατηρείται ο όγκος του αρχικού simplex. Ταυτόχρονα µε τον κατοπτρισµό µπορεί να γίνει και επέκταση του simplex. Αν κατά την εφαρµογή των προηγούµενων βηµάτων η διαδικασία καταλήξει σε µια κοιλάδα στο γράφηµα της προς ελαχιστοποίηση συνάρτησης, τότε γίνεται σύµπτυξη του simplex. Τέλος αν κατά τη διάρκεια της διαδικασίας προσεγγισθεί αρκετά το σηµείο του ελαχίστου τότε µπορεί να γίνει µία πολλαπλή σύµπτυξη. Η µέθοδος Powell [14] Είναι ένας αλγόριθµος που βρίσκει το τοπικό ελάχιστο µιας συνάρτησης. Η συνάρτηση δεν χρειάζεται να είναι διαφορίσιµη, αφού η µέθοδος δεν χρησιµοποιεί παραγώγους. Από ένα αρχικό σηµείο που ορίζεται από το χρήστη, ξεκινά η αναζήτηση του τοπικού ελαχίστου µέσω Ν διανυσµάτων, όπου Ν είναι η διάσταση της εικόνας. Η αναζήτηση γίνεται από ένα διάνυσµα κάθε φορά, µε διαδοχική σειρά. Όταν βρεθεί το τοπικό ελάχιστο, η νέα θέση µπορεί να εκφραστεί ως γραµµικός συνδυασµός των τελευταίων διανυσµάτων αναζήτησης. Το νέο διάνυσµα µετατόπισης γίνεται το νέο διάνυσµα αναζήτησης και η διαδικασία επαναλαµβάνεται για όσες φορές έχουν ορισθεί από το χρήστη. Ο βασικός αλγόριθµος είναι απλός, όµως η πολυπλοκότητα έγκειται στις γραµµικές αναζητήσεις κατά µήκος των διανυσµάτων αναζήτησης, οι οποίες µπορούν να πραγµατοποιηθούν µέσω της µεθόδου του Brent. Η µέθοδος Brent [15] Είναι µια περίπλοκη αλλά δηµοφιλής µέθοδος εύρεσης των σηµείων µηδενισµού µιας συνάρτησης. Συνδυάζει τη µέθοδο της διχοτόµησης, τη µέθοδο της τέµνουσας και την αντίστροφη τετραγωνική παρεµβολή. Ο αλγόριθµος επιχειρεί να εφαρµόσει τις ταχύτερες µεθόδους της τέµνουσας και την αντίστροφη τετραγωνική παρεµβολή, και στις περιπτώσεις που δεν προκύπτει αποτέλεσµα χρησιµοποιεί την πιο αξιόπιστη αλλά και πιο χρονοβόρα µέθοδο της διχοτόµησης. 31

46 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Η τεχνική εύρεσης χρυσής τοµής (Golden Section Search) [16]. Είναι µία τεχνική για την εύρεση του µεγίστου ή ελαχίστου µιας συνάρτησης η οποία είναι γνωστό ότι έχει µόνο ένα σηµείο µεγίστου ή ελαχίστου αντίστοιχα. Ο αλγόριθµος περιορίζει διαδοχικά το εύρος του πεδίου µέσα στο οποίο υπάρχει το µέγιστο ή το ελάχιστο χρησιµοποιώντας τριάδες σηµείων, µέχρι να βρεθεί το ζητούµενο Επαναληπτικοί Αλγόριθµοι Η δεύτερη κατηγορία αλγορίθµων, οι επαναληπτικοί αλγόριθµοι βελτιστοποίησης συνήθως χρησιµοποιούνται για την επίλυση µη γραµµικών προβληµάτων. Όπως και πριν, οι µέθοδοι τρέχουν για προκαθορισµένο αριθµό επαναλήψεων ή µέχρι την ικανοποίηση ενός ποσοτικού κριτηρίου. Πρόκειται για αρκετά απαιτητικούς αλγόριθµους µε υψηλό υπολογιστικό κόστος. Κάποια παραδείγµατα επαναληπτικών αλγόριθµων είναι τα εξής: H µέθοδος Newton. Η µέθοδος καθόδου κλίσης (Gradient Descent). Η µέθοδος συζευγµένης κλίσης (Conjugate Gradient). Τεχνικές παρεµβολών (Interpolation Methods). Μέθοδοι εύρεσης προτύπων (Pattern Search Methods). 3.7 Ευθυγράµµιση βασιζόµενη στης φωτεινότητα των εικονοστοιχείων Η υλοποίηση των µεθόδων ευθυγράµµισης που βασίζονται στη φωτεινότητα των εικονοστοιχείων της εκάστοτε εικόνας γίνεται χωρίς την τµηµατοποίηση της εικόνας και χωρίς υπο-δειγµατοληψία της πληροφορίας. Έτσι οι αρχικές εικόνες, χωρίς να υφίστανται την οποιαδήποτε προ-επεξεργασία σε αντίθεση µε άλλες µεθόδους, παρέχουν το εκατό τοις εκατό της πληροφορίας που φέρουν. Η ευθυγράµµιση που βασίζεται στη φωτεινότητα των εικονοστοιχείων είναι µια επαναληπτική διαδικασία. Αρχικά καθορίζεται το είδος του µετασχηµατισµού που θα εφαρµοσθεί στην εικόνα προς ευθυγράµµιση, ο οποίος µπορεί να πάρει οποιονδήποτε τύπο µετασχηµατισµού από αυτούς που αναφέρθηκαν στη παράγραφο 3.6 και περιγράφεται από τον γενικό τύπο: X Y = a ii a i7 x a 7i a 77 y + b i (3.14) b 7 Στη συνέχεια, µε την µέθοδο της διγραµµικής παρεµβολής υπολογίζονται οι τιµές της µετασχηµατισµένης εικόνας από τις τιµές των εικονοστοιχείων της εικόνας εισόδου. Η διγραµµική παρεµβολή ουσιαστικά αποτελείται από δύο γραµµικές παρεµβολές, αρχικά εφαρµόζεται παρεµβολή στη µία κατεύθυνση και στη συνέχεια στην άλλη κατεύθυνση. Έστω ότι ζητείται η εύρεση της τιµής P µια συνάρτησης f(x,y) στη θέση (x,y) και ότι είναι γνωστές οι τιµές της στα σηµεία Q11= (x1, y1), Q12= (x1, y2), Q21= (x2, y1), Q22= (x2, y2). Στο Σχήµα 3.2 φαίνεται η τοπολογία αυτών των σηµείων. 32

47 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Σχήµα 3.2: Γραφική αναπαράσταση της µεθόδου γραµµικής παρεµβολής Η τιµή της εικόνας σε ένα σηµείο (x,y) υπολογίζεται από τις τιµές της εικόνας στα τέσσερα γειτονικά σηµεία του. Ο βαθµός συνεισφοράς κάθε γειτονικού σηµείου στη διαµόρφωση της τιµής της εικόνας εξαρτάται από την απόσταση του από το σηµείο (x, y). Έστω i x το ακέραιο µέρος του x και i y το ακέραιο µέρος του y, τότε υπολογίζονται οι εξής µεταβλητές: h I = x i I h J = y i J h II = 1 h I h JJ = 1 h J Η τιµής της νέα εικόνας στη θέση (x, y) υπολογίζεται από την παρακάτω σχέση: Ι x, y = I i I, i J h II h JJ + I i Iš7, i J h I h JJ + I i I, i Jš7 h II h J + I i Iš7, i Jš7 h I h J (3.15) Εποµένως µετά την εύρεση του µετασχηµατισµού που ευθυγραµµίζει τις δύο εικόνες, υπολογίζεται ο αντίστροφος µετασχηµατισµός µε βάση την ακόλουθη εξίσωση: x y = 7 a 77 a i7 x b i xˆˆ xˆœ a 7i a (3.16) ii y x œˆ x b 7 œœ Στη συνέχεια για κάθε εικονοστοιχείο (x t, y t ) της µετασχηµατισµένης εικόνας, x, y, η τιµή του επιπέδου του γκρι της µετασχηµατισµένης εικόνας υπολογίζεται από τον τύπο: (x, x J ) = I i I, i J h II h JJ + I i Iš7, i J h I h JJ + I i I, i Jš7 h II h J + I i Iš7, i Jš7 h I h J (3.17) Έπειτα, η εικόνα αναφοράς και η µετασχηµατισµένη εικόνα συγκρίνονται µέσω µιας συνάρτησης οµοιότητας. Η τιµής της συνάρτησης αυτής εκχωρείται σε µία συνθήκη βελτιστοποίησης, η οποία θα καθορίσει την επανάληψη ή µη της διαδικασίας. Στην εφαρµογή αυτής τις µεθόδου επιλέγονται αρχικά οι τιµές των παραµέτρων της βελτιστοποίησης και της συνάρτησης οµοιότητας. Όµως οι προεπιλεγµένες αυτές τιµές δεν δίνουν πάντα το κατάλληλο αποτέλεσµα και έτσι αλλάζουµε τις τιµές τους για να πετύχουµε καλύτερη ευθυγράµµιση. Οι παράµετροι που επιλέγονται για τη συνάρτηση βελτιστοποίησης είναι οι παρακάτω και παίρνουν πάντα βαθµωτές θετικές τιµές: 33

48 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων GrowthFactor: Χρησιµοποιείται για τον έλεγχο του ρυθµού κατά τον οποίο η ακτίνα αναζήτησης αναπτύσσεται στο χώρο τον παραµέτρων. Αν πάρει µια µεγάλη τιµή, η βελτιστοποίηση θα είναι γρήγορη αλλά αυτό µπορεί να οδηγήσει σε αναζήτηση µόνο των τοπικών ακροτάτων της µετρικής. Αντίθετα µε µια µικρή τιµή η βελτιστοποίηση γίνεται πιο αργά, αλλά είναι πιθανότερη η σύγκλιση σε µια καλύτερη λύση. Η προεπιλεγµένη τιµή του συνήθως είναι 1.05e. Epsilon: Χρησιµοποιείται για τον έλεγχο της ακρίβειας σύγκλισης προσαρµόζοντας το κατά δυνατόν ελάχιστο µέγεθος της ακτίνας αναζήτησης. Όπως και ο παραπάνω παράγοντας µε µικρή τιµή η βελτιστοποίηση της µετρικής είναι πιο ακριβής αλλά διαρκεί περισσότερο. Η προεπιλεγµένη τιµή του συνήθως είναι 1.5e-6. InitialRadious: Ελέγχει την αρχική ακτίνα αναζήτησης για τη διαδικασία βελτιστοποίησης. Όπως και προηγουµένως αν οριστεί µία µεγάλη τιµή ο χρόνος υπολογισµού µειώνεται όµως ταυτόχρονα µπορεί να οδηγήσει σε αποτυχία σύγκλισης. Η προεπιλεγµένη τιµή του είναι 6.25e-3. MaximumIterations: Καθορίζει τον µέγιστο αριθµό επαναλήψεων της βελτιστοποίησης και για αυτό είναι πάντα ακέραια τιµή. Όµως η ευθυγράµµιση είναι δυνατόν να επιτευχθεί πριν η βελτιστοποίηση φτάσει τον µέγιστο αριθµό των επαναλήψεων. Η προεπιλεγµένη τιµή του είναι 100. Στην εφαρµογή της µεθόδου, µειώσαµε την ακτίνα αναζήτησης στο 1/3 και αυξήσαµε τον αριθµό των επαναλήψεων στις 300. Λόγω των επαναλήψεων αυτών η συγκεκριµένη µέθοδος απαιτεί µεγάλο χρονικό διάστηµα για να συγκλίνει, δηλαδή να ευθυγραµµίσει την εικόνα προς ευθυγράµµιση µε την εικόνα αναφοράς. Στη συγκεκριµένη µέθοδο χρησιµοποιείται ως συνάρτηση ο µοιότητας ο συντελεστής αµοιβαίας πληροφορίας. Όπως αναφέραµε και στο υποκεφάλαιο ο συντελεστής αυξάνεται όταν µειώνεται η εντροπία µεταξύ των δύο εικόνων και συνεπώς η διαφορά τους. Ο αλγόριθµος αµοιβαίας πληροφορίας χρησιµοποιεί ένα ενιαίο σύνολο εικονοστοιχείων, αντί να σχεδιάζει νέο σε κάθες επανάληψη. Για να υπολογιστεί η εντροπία πρέπει να επιλεχτεί ένας αριθµός δειγµάτων και το διάστηµα (bin), στο οποίο διαιρείται το εύρος των τιµών για τη δηµιουργία του κοινού ιστογράµµατος των εικόνων. Οι παράµετροι που επιλέγονται για τη µετρική, οι οποίες επίσης παίρνουν πάντα βαθµωτές θετικές ακέραιες τιµές, είναι οι εξής : NumberOfSpatialSamples: Αριθµός των χωρικών δειγµάτων που χρησιµοποιούνται για τον υπολογισµό της µετρικής και ορίζει των αριθµό των τυχαίων εικονοστοιχείων που χρησιµοποιήσει η συνάρτηση για να υπολογίσει την µετρική. Η ευθυγράµµιση είναι πιο αποτελεσµατική καθώς αυξάνεται αυτή η τιµή. Η προεπιλεγµένη τιµή είναι 500. NumberOfHistogramBins: Ορίζει τον αριθµό των bins που χρησιµοποιεί η συνάρτηση για να υπολογίσει το κοινό ιστόγραµµα κατανοµής. Η προεπιλεγµένη τιµή του είναι 50 και η ελάχιστη τιµή που µπορεί να πάρει είναι 5. UseAllPixels: Η συγκεκριµένη είναι µια λογική µεταβλητή, δηλαδή παίρνει µονάχα τις τιµές 0 και 1. Καθορίζει τον αν η συνάρτηση θα πρέπει να χρησιµοποιήσει όλα τα εικονοστοιχεία 34

49 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων για να υπολογίσει την µετρική. Η ευθυγράµµιση θα είναι πιθανόν καλύτερη αν η µεταβλητή πάρει την τιµή 0. Τότε η πρώτη µεταβλητή που αναφέρθηκε ελέγχει τον αριθµό των τυχαίων θέσεων των εικονοστοιχείων που θα χρησιµοποιηθούν για τον υπολογισµό της µετρικής. Όµως λόγω της τυχαίας επιλογής υπάρχει περίπτωση να µην επιτευχθεί η ευθυγράµµιση για αυτό και η προεπιλεγµένη τιµή αυτής της µεταβλητής είναι Ευθυγράµµιση µε τη µέθοδο Ransac (Random Sample Consensus) Η µέθοδος αυτή βασίζεται στην προ-επεξεργασία των εικόνων, έτσι ώστε να εντοπιστούν σε αυτές τα καταλληλότερα γεωµετρικά χαρακτηριστικά (image features), στα οποία στη συνέχεια θα βασιστεί η ευθυγράµµιση. Τα χαρακτηριστικά που προκύπτουν έχουν πολλές ιδιότητες που τα κάνουν κατάλληλα για ταίριασµα διαφορετικών εικόνων µιας σκηνής. Επιπλέον, έχουν την ιδιότητα να παραµένουν ανεπηρέαστα σε κλιµάκωση ή περιστροφή εικόνας και µερικώς ανεπηρέαστα σε αλλαγές στο φωτισµό και στην οπτική γωνία. Τοποθετούνται και στα χωρικά πεδία και στη συχνότητα, µειώνοντας την πιθανότητα ανωµαλίας από θόρυβο. Μεγάλος αριθµός χαρακτηριστικών µπορεί να εξαχθεί από τυπικές εικόνες µε αποδοτικούς αλγόριθµους. Επιπρόσθετα, τα χαρακτηριστικά αυτά είναι πολύ ευδιάκριτα, το οποίο επιτρέπει ένα µόνο χαρακτηριστικό να αντιστοιχηθεί σωστά µε µεγάλη πιθανότητα απέναντι σε µια τεράστια βάση δεδοµένων χαρακτηριστικών Εξαγωγή χαρακτηριστικών SIFT Για την εξαγωγή των χαρακτηριστικών συνήθως χρησιµοποιείται ο αλγόριθµος SIFT (Scale Invariant Feature Transform), γνωστός ως Μετασχηµατισµός Χαρακτηριστικών Ανεξαρτήτου κλίµακας. Τα βασικά στάδια που χρησιµοποιεί για τον υπολογισµό και τη δηµιουργία του συνόλου των χαρακτηριστικών είναι: 1. Ανίχνευση ακροτάτων στο χώρο κλίµακας (Scale-space extrema detection): Το πρώτο βήµα υπολογισµού εξετάζει όλες τις κλίµακες και τις θέσεις των εικόνων. Εφαρµόζεται αποτελεσµατικά χρησιµοποιώντας µία διαφορά Γκαουσιανής συνάρτησης (difference-of-gaussian) για την αναγνώριση πιθανώς ενδιαφερόντων σηµείων που µένουν ανεπηρέαστα σε κλιµάκωση και περιστροφή. 2. Εντοπισµός σηµείων κλειδιών (Keypoint localization): Σε κάθε υποψήφια θέ ση, ένα λεπτοµερειακό µοντέλο εφαρµόζεται για τον καθορισµό θέσης και κλίµακας. Τα σηµεία κλειδιά επιλέγονται σύµφωνα µε τη σταθερότητά τους. 3. Ανάθεση προσανατολισµού (Orientation assignment): Ένας ή περισσότεροι προσανατολισµοί ανατίθενται σε κάθε θέση σηµείου κλειδιού βασιζόµενοι στις τοπικές κατευθύνσεις των κλίσεων της εικόνας. Όλες οι µετέπειτα λειτουργίες εκτελούνται στα δεδοµένα των εικόνων που έχουν µετασχηµατιστεί σχετικά µε τον ανατιθέµενο προσανατολισµό, την κλίµακα και την θέση για κάθε χαρακτηριστικό, παρέχοντας έτσι σταθερότητα σε αυτούς τους µετασχηµατισµούς. 35

50 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων 4. Περιγραφείς των σηµείων κλειδιών (Keypoint descriptor): Οι τοπικές κλίσεις υπολογίζονται στην επιλεγµένη κλίµακα στην περιοχή γύρω από κάθε σηµείο κλειδί. Αυτές µετασχηµατίζονται σε αναπαράσταση που επιτρέπει σηµαντικά επίπεδα τοπικής στρέβλωσης σχήµατος και αλλαγής στο φωτισµό. Οι περιγραφείς των σηµείων κλειδιών είναι πολύ ξεχωριστοί, το οποίο επιτρέπει ένα µόνο χαρακτηριστικό να βρει το σωστό του ταίριασµα µε καλή πιθανότητα σε µία τεράστια βάση χαρακτηριστικών. Η πιθανότητα ότι µερικά χαρακτηριστικά συµφωνούν µε αυτές τις παραµέτρους τυχαία είναι πολύ µικρότερη από την πιθανότητα ότι η αντιστοίχιση ενός οποιουδήποτε χαρακτηριστικού θα είναι λάθος. Έτσι τα SIFT χαρακτηριστικά αρχικά εξάγονται από ένα σύνολο εικόνων αναφοράς και τοποθετούνται σε µία βάση δεδοµένων ώστε να γίνει το ταίριασµα των εικόνων. Στη συνέχεια κάθε χαρακτηριστικό από µια νέα εικόνα συγκρίνεται ξεχωριστά µε την προηγούµενη βάση, βρίσκοντας υποψήφια χαρακτηριστικά που ταιριάζουν, χρησιµοποιώντας την απόσταση των διανυσµάτων των χαρακτηριστικών, και έτσι δηµιουργούνται σύνολα χαρακτηριστικών. Εφόσον οι αναλογίες των χαρακτηριστικών έχουν βρεθεί, πρέπει να βρούµε το σύνολο χαρακτηριστικών που θα µας εξασφαλίσει την ακριβέστερη ευθυγράµµιση. Για αυτό το σκοπό θα χρησιµοποιήσουµε τον αλγόριθµό Ransac (Random Sample Consensus) Ο αλγόριθµος Ransac Η µέθοδος Ransac είναι αντίθετη από τις συµβατικές τεχνικές εξοµάλυνσης. Αντί να χρησιµοποιεί τόσα από τα δεδοµένα όσα είναι δυνατόν για να αποκτηθεί µια αρχική λύση και µετά να προσπαθεί να περιορίσει τα ακατάλληλα σηµεία (δεδοµένα), ο Ransac χρησιµοποιεί µια τόσο µικρή αρχική ποσότητα δεδοµένων όσο είναι εφικτό και µεγαλώνει αυτό το σύνολο µε συνετά δεδοµένα όταν είναι δυνατό. Η βασική ιδέα του αλγορίθµου είναι ότι τα δεδοµένα εισόδου του αποτελούνται από «inliers», δηλαδή από δεδοµένα που η κατανοµή τους µπορεί να εξηγηθεί βάσει κάποιων παραµέτρων ενός µοντέλου και από «outliers», δηλαδή από δεδοµένα που δεν ταιριάζουν σε ένα συγκεκριµένο µοντέλο. Τα outliers µπορεί να έχουν προέλθει από υψηλές τιµές θορύβου ή από λανθασµένες µετρήσεις ή ακόµα και από λανθασµένες υποθέσεις σχετικά µε την ερµηνεία των δεδοµένων. Ο Ransac επίσης υποθέτει ότι δοσµένου ενός µικρού αριθµού inliers, υπάρχει διαδικασία υπολογισµού των παραµέτρων ενός µοντέλου στο οποίο αυτά ταιριάζουν. Δηλαδή, ακόµα και αν ο θόρυβος έχει επηρεάσει µεγάλο ποσοστό των δεδοµένων εισόδου, ο αλγόριθµος Ransac είναι ικανός να βρει λύση. Ο αλγόριθµος Ransac διατυπώνεται ως εξής [17]: Δοθέντος ενός µοντέλου που απαιτεί τουλάχιστον n σηµεία για να καθορίσει τις ελεύθερες παραµέτρους του και ένα σύνολο δεδοµένων Ρ, τέτοιο ώστε ο αριθµός των σηµείων στο Ρ να είναι µεγαλύτερος από n, τυχαία διαλέγει ένα υποσύνολο S1 των n δεδοµένων από το Ρ και καθορίζει το µοντέλο. Χρησιµοποιεί το µοντέλο Μ1 για να καθορίσει το υποσύνολο S1* των σηµείων στο Ρ που είναι µέσα στην ανεκτικότητα λάθους του Μ1. Το σύνολο S1* καλείται το σύνολο συµφωνίας του S1. Αν το πλήθος των σηµείων του S1* είναι µεγαλύτερο από κάποιο όριο t, το οποίο είναι συνάρτηση της εκτίµησης του αριθµού των χονδρικών λαθών στο Ρ, χρησιµοποιεί το S1* για να υπολογίσει ένα νέο µοντέλο M1*. 36

51 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Αν το πλήθος των σηµείων του S1* είναι µικρότερο από t, τυχαία διαλέγει ένα νέο υποσύνολο S2 και επαναλαµβάνει την παραπάνω διαδικασία. Αν µετά από κάποιο προκαθορισµένο αριθµό προσπαθειών δεν έχει βρεθεί σύµφωνο σύνολο µε t ή περισσότερα µέλη, είτε λύνουµε το µοντέλο µε το µεγαλύτερο σύµφωνο σύνολο που έχει βρεθεί ή τελειώνει µε αποτυχία. Ο Ransac περιέχει τρείς απροσδιόριστες παραµέτρους: (1) η ανοχή λάθους (error tolerance) που χρησιµοποιείται να καθορίσει αν ή όχι ένα σηµείο είναι συµβατό µε ένα µοντέλο, (2) τον αριθµό των υποσυνόλων που είναι να δοκιµάσει, δηλαδή των αριθµό των επαναλήψεων και (3) το κατώφλι t (threshold) το οποίο είναι ο αριθµός των συµβατών σηµείων που χρειάζονται για να θεωρηθεί ότι το σωστό µοντέλο έχει βρεθεί. 1. Ανοχή λάθους για τον καθορισµό των δεδοµένων Η απόκλιση ενός δεδοµένου από ένα µοντέλο είναι µια συνάρτηση λάθους που σχετίζεται µε το δεδοµένο και το λάθος σχετίζεται µε το µοντέλο. Αν το µοντέλο είναι µια απλή συνάρτηση των σηµείων δεδοµένων, ίσως είναι πρακτικό να θέσουµε όρια στην ανοχή λάθους. Ωστόσο, αυτό συνήθως δεν δουλεύει, συνήθως σε αυτές τις περιπτώσεις τα όρια για την ανοχή λάθους υπολογίζονται πειραµατικά. Οι παρεκλήσεις των δειγµάτων µπορούν να γίνουν δηµιουργώντας διαταραχές στα δεδοµένα, υπολογίζοντας το µοντέλο και µετρώντας τα σφάλµατα. Η ανοχή σφάλµατος θα µπορούσε τότε να ήταν σύνολο µιας ή δύο αποκλίσεων πέρα από το µετρηµένο µέσο όρο λάθους. Η αναµενόµενη απόκλιση ενός δεδοµένου από ένα θεωρητικό µοντέλο είναι γενικά µια συνάρτηση δεδοµένων και έτσι η ανοχή λάθους θα µπορούσε να είναι διαφορετική για κάθε δεδοµένο. Ωστόσο, η απόκλιση σε ανοχές λαθών συνήθως είναι µικρή συγκρινόµενη µε το µέγεθος ενός µεγάλου λάθους. Έτσι, µία µόνο ανοχή λάθους για όλα τα δεδοµένα είναι συχνά αποδοτική. 2. Ο µέγιστος αριθµός προσπαθειών στην εύρεση σύµφωνου συνόλου Η απόφαση να σταµατήσει η επιλογή νέων υποσυνόλων του Ρ µπορεί να βασίζεται στον αναµενόµενο αριθµό προσπαθειών k που απαιτείται για την επιλογή ενός υποσυνόλου n καλών σηµείων δεδοµένων. Έστω w ότι είναι η πιθανότητα που οποιαδήποτε επιλεγµένο σηµείο δεδοµένων είναι µέσα στην ανοχή λάθους του µοντέλου. Τότε έχουµε, E k = b b b b 0 b + + i 1 b DF7 b +, δηλαδή E k = b [1 + 2 a + 3 a 0 + i a DF7 + ] (3.18) όπου Ε(k) είναι η αναµενόµενη τιµή του k, b=w n και α=(1-β). Μια σχέση για το άθροισµα της γεωµετρικής σειράς είναι: Παραγωγίζοντας την σχέση θα έχουµε: 7F = α + α0 + α _ + + α D + (3.19) (7F ) y = α + 3 α0 + + i α DF7 + (3.20) Εποµένως Ε k = 7 = wf (3.21) 37

52 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων O Πίνακας 3.1 δείχνει µερικές τιµές του E(k) για αντίστοιχες τιµές του n και του w: W N= Πίνακας 3.1: Τιµές του E(k) για αντίστοιχες τιµές του n και του w Γενικά, θα θέλαµε πιθανόν να υπερβούµε τις E(k) προσπάθειες από µία ή δύο τυπικές αποκλίσεις πριν σταµατήσουµε. Η τυπική απόκλιση του k, SD(k) δίνεται από: SD k = sqrt[e k 0 E k 0 ] (3.22) Τότε E k 0 ² = b i 0 a DF7 ² Dhi = Dhi b i i 1 a DF7 + ² Dhi b i a DF7 (3.23) Αλλά χρησιµοποιώντας τη σχέση της γεωµετρικής σειράς και κάνοντας δύο παραγωγίσεις, έχουµε: 0x ² = [ i i 1 (7Fx) Ÿ Dhi adf7 ] (3.24) έτσι E k 0 = (2 b)/b 0 (3.25) και SD k = sqrt 1 w 1 w (3.26). Γενικά το SD(k) θα είναι κατά προσέγγιση ίσο µε το E(k). Για παράδειγµα αν w=0.5 και n=4 τότε E(k)=16 και SD(k)=15.5. Αν θέλουµε να εξασφαλίσουµε µε πιθανότητα z ότι τουλάχιστον µία από τις τυχαίες επιλογές είναι ένα σωστό σύνολο των n δεδοµένων, τότε πρέπει να κάνουµε τουλάχιστον k επιλογές, όπου (1 b) e = (1 z) και k = [log(1 z)]/ log(1 b). Για παράδειγµα, αν έχουµε όπως και πριν w=0.5 και n=4 τότε b=1/16. Για να έχουµε 90% ασφάλεια για µία επιλογή δεδοµένων χωρίς λάθος το k θα είναι k = log 0.1 / log 7 7µ = Ένα κατώτατο όριο στο µέγεθος ενός αποδεκτού σύµφωνου συνόλου Το κατώφλι t, µία µη προσδιορισµένη παράµετρος, σε µία κανονική εκδοχή του Ransac, χρησιµοποιείται σαν τη βάση για τον καθορισµό αν έχει βρεθεί ένα n υποσύνολο του Ρ. Δηλώνει ένα ικανοποιητικά µεγάλο σύµφωνο σύνολο που επιτρέπει στον αλγόριθµο να τερµατίσει. Έτσι, το t πρέπει να επιλεχθεί αρκετά µεγάλο να ικανοποιεί δύο κριτήρια: ότι το σωστό µοντέλο έχει βρεθεί για τα δεδοµένα και ότι ένα αποτελεσµατικό νούµερο αµοιβαίων σηµείων που είναι συνεπή, έχει βρεθεί να ικανοποιεί τις ανάγκες της τελικής διαδικασίας εξοµάλυνσης. Για την διασφάλιση κατά της πιθανότητας το τελικό σύµφωνο σύνολο να είναι συµβατό µε ένα λάθος µοντέλο και θεωρώντας ότι y είναι η πιθανότητα όπου κάθε δοθέν σηµείο δεδοµένων να είναι µέσα στην ανοχή λάθους ενός λάθους µοντέλου, θα θέλαµε το y F να είναι πολύ µικρό. Καθώς δεν υπάρχει γενικός τρόπος ακριβούς καθορισµού του y, θεωρούµε ότι είναι µικρότερο από w (όπου w είναι εκ 38

53 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων των προτέρων πιθανότητα ενός δοθέντος σηµείου να είναι µέσα στην ανοχή λάθους του σωστού µοντέλου). Θεωρώντας ότι y<0.5, µία τιµή του t-n που είναι ίση µε το 5 θα παρέχει καλύτερη από 95% πιθανότητα ότι συµβατότητα µε ένα λάθος µοντέλο δεν θα συµβεί. Τέλος, συνοπτικά ο αλγόριθµος Ransac περιγράφεται ως εξής από τα παρακάτω βήµατα: (1) Τυχαία επιλογή των ελάχιστων (σε πλήθος) σηµείων που απαιτούνται για τον καθορισµό του µοντέλου. (2) Επίλυση των παραµέτρων του µοντέλου. (3) Καθορισµός του πλήθους των σηµείων από το σύνολο που ανήκουν στο µοντέλο (πλήθος των inliers). (4) Αν ο λόγος του αριθµού των inliers προς τον συνολικό αριθµό των σηµείων του συνόλου, ξεπερνά ένα προκαθορισµένο όριο r, γίνεται επανεκτίµηση των παραµέτρων του µοντέλου χρησιµοποιώντας όλους τους inliers που έχουν βρεθεί και τερµατίζει. (5) Επανάληψη των παραπάνω βηµάτων (µέγιστος αριθµός επαναλήψεων Ν). Για να δούµε και να καταλάβουµε αυτή την αντιστοίχιση των σηµείων στις δύο εικόνες εφαρµόζουµε τον αλγόριθµο Ransac στο Matlab. Έστω λοιπόν οι παρακάτω δυο εικόνες, η δεξιά εικόνα είναι η εικόνα αναφοράς ενώ αριστερή είναι η ίδια τροποποιηµένη. Εικόνα 3.2: Η εικόνα αναφοράς και η τροποποιηµένη εικόνα Παρακάτω, στην Εικόνα 3.3 φαίνεται η αντιστοίχιση των χαρακτηριστικών των δύο εικόνων, περιλαµβανοµένων και των outliers σηµείων, ενώ στην Εικόνα 3.4 τα τελευταία έχουν εξαιρεθεί. Έτσι στη συνέχεια, υπολογίζεται µε τη χρήση αυτών των σηµείων ο πίνακας µετασχηµατισµού και εφαρµόζεται στην τροποποιηµένη εικόνα ώστε να επανέλθουµε στην αρχική. Εικόνα 3.3: Ταίριασµα χαρακτηριστικών δυο εικόνων, λαµβάνοντας υπόψη και τα outliers σηµεία 39

54 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Εικόνα 3.4:Ταίριασµα χαρακτηριστικών δυο εικόνων, απορρίπτοντας και τα outliers σηµεία 3.9 Ευθυγράµµιση µέσω της µεθόδου συσχέτιση φάσης Υπάρχουν µέθοδοι που χρησιµοποιούν το µετασχηµατισµό Fourier για την ανίχνευση µικρών γεωµετρικών µετατοπίσεων, δεδοµένου ότι δυο µετατοπισµένες στο χώρο εικόνες, έχουν το ίδιο πλάτος Fourier αλλά διαφορετική φάση. Οι µέθοδοι αυτές δεν είναι ευαίσθητες σε µεταβολές φωτεινότητας και µπορεί να αποδειχτούν αρκετά γρήγορες. Ωστόσο µπορεί να αποτύχουν σε εικόνες µε υψηλό θόρυβο ή µε µεγάλες µετατοπίσεις. Η συσχέτιση ορίζεται ως εκείνη η διαδικασία στην οποία µία µάσκα φίλτρου µετακινείται πάνω στην επιφάνεια µιας εικόνας και στη συνέχεια υπολογίζεται το άθροισµα των γινόµενων σε κάθε σηµείο της. Ουσιαστικά η συσχέτιση αποτελεί µία συνάρτηση µετατόπισης φίλτρου. Θα πρέπει να επισηµάνουµε ότι η συσχέτιση ενός φίλτρου w µε µία συνάρτηση f που περιέχει µόνο µηδενικές τιµές και µία µόνο τιµή διάφορη του µηδενός η οποία µάλιστα είναι ίση µε τη µονάδα, δηµιουργεί ένα αντίγραφο του φίλτρου w το οποίο έχει περιστραφεί κατά 180. Μία τέτοια συνάρτηση είναι γνωστή ως διακριτός µοναδιαίος παλµός. Εάν η συνάρτηση f περιλαµβάνει µία περιοχή που είναι ακριβώς ίδια µε το φίλτρο w, τότε η συνάρτηση της συσχέτισης, αφού πρώτα κανονικοποιηθεί, θα λάβει τη µέγιστη τιµή της όταν το φίλτρο w θα είναι κεντραρισµένο µε αυτή τη περιοχή της f. Η συσχέτιση ενός φίλτρου w(x,y) διαστάσεων mxn µε µία εικόνα f(x,y), συµβολίζεται ως w(x,y) f(x,y) και δίνεται από την παρακάτω εξίσωση: w x, y f x, y = hf hfx w s, t f(x + s, y + t) (3.27) όπου α = (m 1)/2 και β = (n 1)/2. Η εξίσωση αυτή υπολογίζεται για όλες τις τιµές των µεταβλητών µετατόπισης x και y, έτσι ώστε όλα τα στοιχεία του φίλτρου να περάσουν από κάθε εικονοστοιχείο της εικόνας. 40

55 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων Για να εφαρµόσουµε ένα φίλτρο mxn σε µια εικόνα, συµπληρώνουµε την εικόνα µε τουλάχιστον m- 1 γραµµές µηδενικών στοιχείων πριν την πρώτη γραµµή και µετά την τελευταία, καθώς και µε n-1 στήλες µηδενικών στοιχείων πριν την πρώτη στήλη και µετά από την τελευταία. Όσον αφορά τη συσχέτιση φάσεων είναι µια τεχνική εκτίµησης της µετατόπισης µιας εικόνας ως προς µία άλλη εικόνα. Βασίζεται στην αναπαράσταση των περιοχών συχνοτήτων που συνήθως υπολογίζονται από γρήγορους µετασχηµατισµούς Fourier. Η µέθοδος αυτή χρησιµοποιείται συχνά σε τεχνικές διασταυρούµενης συσχέτισης που αποµονώνουν τις πληροφορίες σχετικά µε τη φάση από την αναπαράσταση στο χώρο συχνοτήτων. Έστω δύο συναρτήσεις g(x, y) και f(x, y) που αντιπροσωπεύουν δύο εικόνες µετατοπισµένη η µία ως προς την άλλη κατά α, b στους άξονες x και y αντίστοιχα. Έτσι οι αντίστοιχοι µετασχηµατισµοί Fourier θα είναι G(u, v) και H(u, v) και θα ικανοποιούν την παρακάτω ισότητα: H u, v = G u, v e FD(x š À) (3.28) Η συσχέτιση φάσης ανάµεσα στις συναρτήσεις G και H και περιγράφεται από τον παρακάτω πίνακα: Â Ã,Ä Å Ã,Ä Q u, v = = efd(x š À) (3.29) Â Ã,Ä Å Ã,Ä Αν οι G(u, v) και H(u, v) είναι συνεχείς συναρτήσεις, τότε ο αντίστροφος µετασχηµατισµός Fourier (Inverse Fourier Transformation-IFT) της Q(u, v) είναι η συνάρτηση δέλτα. Το µέγιστο σηµείο της συνάρτησης προσδιορίζει το ακέραιο µέγεθος της µετατόπισης µεταξύ των δυο εικόνων. Για την εκτίµηση της µετατόπισης των υπο-εικονοστοιχείων που βασίζονται στην συνάρτηση δέλτα του IFT, µία προσέγγιση είναι να υποβάλλουµε τις εικόνες g(x, y) και f(x, y) σε επίπεδο υπό-εικονοστοιχείων πριν από τον µετασχηµατισµό Fourier of phase correlation operations. Αυτό όµως θα αυξήσει σε µεγάλο βαθµό το υπολογιστικό κόστος. Λόγω αυτού του µειονεκτήµατος, αναπτύχθηκε µία πιο άµεση λύση στο χώρο των συχνοτήτων. Δεδοµένου ότι το µέγεθος του Q έχει κανονικοποιηθεί στην µονάδα, η µόνη µεταβλητή είναι η διαφορά φάσης, που ορίζεται από τον όρο (au + bv). Αν µπορέσουµε να βρούµε µε ακρίβεια τις τιµές των a, b βασισµένοι στον πίνακα Q, τότε η µη ακέραια µετατόπιση σε ακρίβεια υπο-εικονοστοιχείων µπορεί να επιτευχθεί χωρίς την εφαρµογή του IFT. Αυτή η απευθείας προσέγγιση στο χ ώρο των συχνοτήτων έχει αποδειχτεί ακριβέστερη και ταχύτερη από εκείνη που βασίζεται στη συνάρτηση δέλτα. Η διαφορά φάσης (au + bv) είναι ουσιαστικά µια επίπεδη επιφάνεια στους άξονες u-v, που ορίζεται από τους συντελεστές a, b. Με τον τρόπο αυτό το περίπλοκο πρόβληµα στο χώρο της συχνότητας, µετατρέπεται σε ένα απλό πρόβληµα εύρεσης του καλύτερου ταιριάσµατος της διαφοράς φάσης του Q σε ένα επίπεδο διαφοράς φάσης σε συντεταγµένες u-v [18]. 41

56 Κεφάλαιο 3: Ευθυγράµµιση Εικόνων 3.10 Ευθυγράµµιση µέσω αντιστοίχισης σηµείων Οι περισσότερες ελαστικές µέθοδοι ευθυγράµµισης αρχικά επιλέγουν έναν αριθµό αντιστοίχων σηµείων στις εικόνες προς ευθυγράµµιση και στη συνέχεια χρησιµοποιούν την πληροφορία που παρέχουν τα συγκεκριµένα σηµεία για τον υπολογισµό της συνάρτησης µετασχηµατισµού για όλα τα σηµεία της εικόνας. Αρχικά επιλέγονται τα αντίστοιχα σηµεία ελέγχου στα δεδοµένα αναφοράς και στα δεδοµένα προς ευθυγράµµιση, µε χειροκίνητο ή αυτόµατο τρόπο. Στη συνέχεια, υπολογίζονται οι παράµετροι του γεωµετρικού µετασχηµατισµού µε βάση τα αντίστοιχα σηµεία ελέγχου που επιλέχθηκαν. Ο µετασχηµατισµός εφαρµόζεται σε όλα τα σηµεία της εικόνας και προκύπτουν τα ευθυγραµµισµένα δεδοµένα. Η επιλογή των σηµείων ελέγχου έχει µεγάλη σηµασία και έχουν δοκιµαστεί αρκετές µέθοδοι αναζήτησης. Η απόδοση ενός αλγόριθµου ελαστικής ευθυγράµµισης εξαρτάται από τ η σωστή αντιστοίχιση των σηµείων ελέγχου και την απόδοση της συνάρτησης µετασχηµατισµού. Ωστόσο, οι µέθοδοι βελτιστοποίησης είναι αρκετά πιο γρήγορες και παραγωγικές αφού συνήθως ελαχιστοποιούν απλά µεγέθη. Επιπλέον, η µέθοδος αυτή έχει το πλεονέκτηµα ότι είναι ικανή να εφαρµοσθεί σε κάθε πρόβληµα ή σε οποιαδήποτε εικόνα, ανεξάρτητα από το εικονιζόµενο αντικείµενο. Πρέπει όµως να σηµειωθεί ότι έχει κάποια σηµαντικά µειονεκτήµατα. Πρώτον εξαρτάται από τα πόσα σηµεία θα επιλεχθούν, που όπως θα δείξουµε και στη συνέχεια µέσα από τη σύγκριση των αποτελεσµάτων, όσο περισσότερα είναι τα σηµεία τόσο καλύτερη είναι η ευθυγράµµιση. Τέλος εξαρτάται από την αξιοπιστία του χρήστη, δηλαδή το πόσο καλά θα επιλέξει ο χρήστης τα αντίστοιχα σηµεία στις δύο εικόνες. Η επιλογή των σηµείων στο περιβάλλον της Matlab γίνεται µέσω του παραθύρου που φαίνεται στην Εικόνα 3.5 Εικόνα 3.5: Παράθυρο cpselect για την επιλογή των σηµείων 42

57 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Κεφάλαιο 4 Αξιολόγηση και Σύγκριση Μεθόδων Όπως έχουµε αναφέρει, για τη δηµιουργία µιας HDR εικόνας είναι απαραίτητη η λήψη πολλαπλών εικόνων, ξεκινώντας από υποφωτισµένες και καταλήγοντας σε υπερφωτισµένες. Εποµένως για τη σωστή σύνθεση της τελικής HDR εικόνας θα πρέπει όλες οι εικόνες να είναι ευθυγραµµισµένες µεταξύ τους, ορίζοντας µια από αυτές ως εικόνα αναφοράς. Έτσι, ορίζοντας την εικόνα αναφοράς, ευθυγραµµίζουµε τις υπόλοιπες ως προς αυτή. 4.1 Επιλογή των εικόνων Οι µέθοδοι που προαναφέραµε, εφαρµόσθηκαν σε πέντε διαφορετικά σύνολα εικόνων, µε σκοπό την αξιολόγηση τους. Σε όλα τα σύνολα ως εικόνα αναφοράς επιλέχτηκε εκείνη µε την µηδενική έκθεση. Το πρώτο σύνολο εικόνων που επιλέχθηκε προέρχεται από την EMPA HDR βάση δεδοµένων του Ελβετικού Οµοσπονδιακού Ιδρύµατος Τεχνολογίας (Swiss Federal Institute of Technology) και είναι οι εικόνες που φαίνονται στην Εικόνα 4.1 [19]. 43

58 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Εικόνα 4.1: : Λήψεις διαφορετικών εκθέσεων απο την EMPA βάση δεδοµένων HDR εικόνων Στην Εικόνα 4.1 εµφανίζονται µε τη σειρά: 1) Η εικόνα DSC_0092.jpg, η οποία έχει γίνει µε λήψη (-2) EV 2) Η εικόνα DSC_0093.jpg, η οποία έχει γίνει µε λήψη (-1) EV 3) Η εικόνα DSC_0094.jpg, η οποία έχει γίνει µε λήψη (0) EV 4) Η εικόνα DSC_0095.jpg, η οποία έχει γίνει µε λήψη (+1) EV 5) Η εικόνα DSC_0096.jpg, η οποία έχει γίνει µε λήψη (+2) EV Το δεύτερο σύνολο εικόνων λήφθηκε στα πλαίσια δηµιουργίας ενός paper και θα θέλαµε να ευχαριστήσουµε τον κύριο Antonio Pinheiro για την πρόσβαση µας σε αυτές [20]. Εικόνα 4.2: Λήψεις διαφορετικών εκθέσεων µε σκοπό τη δηµιουργία HDR εικόνας 44

59 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Στην Εικόνα 4.2 εµφανίζονται µε τη σειρά: 1) Η εικόνα IMG_0176.jpg, η οποία έχει γίνει µε λήψη (-1) EV 2) Η εικόνα IMG_0177.jpg, η οποία έχει γίνει µε λήψη (+1) EV 3) Η εικόνα IMG_0178.jpg, η οποία έχει γίνει µε λήψη (+2) EV 4) Η εικόνα IMG_0175.jpg, η οποία έχει γίνει µε λήψη (0) EV Το τρίτο σύνολο είναι κάποιες από τις εικόνες που λήφθηκαν στα πλαίσια του συνεδρίου Photonics Europe [3]. Τις εικόνες αυτές τις τροποποιήσαµε µε σκοπό να µελετήσουµε την ευθυγράµµιση σχετικά µε µία µετατόπιση της εικόνας, µε µία περιστροφή ή µε έναν συνδυασµό και των δύο. Εικόνα 4.3: Λήψεις για την δηµιουργία HDR εικόνας Στην Εικόνα 4.3 εµφανίζονται µε τη σειρά: 1) Η εικόνα DSC_1225.jpg, η οποία έχει γίνει µε λήψη (-2) EV, την οποία έχουµε µετατοπίσει κατά 600 pixel στον άξονα x και περιστρέψει κατά ) Η εικόνα DSC_1226.jpg, η οποία έχει γίνει µε λήψη (-1) EV, την οποία έχουµε µετατοπίσει κατά 600 pixel στον άξονα y και περιστρέψει κατά ) Η εικόνα DSC_1224.jpg, η οποία έχει γίνει µε λήψη (0) EV 45

60 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων 4) Η εικόνα DSC_1227.jpg, η οποία έχει γίνει µε λήψη (+1) EV, την οποία έχουµε µετατοπίσει κατά 600 pixel στον άξονα x, κατά 600 pixel στον άξονα y και περιστρέψει κατά ) Η εικόνα DSC_1228.jpg, η οποία έχει γίνει µε λήψη (+2) EV, την οποία αφήσαµε ως είχε Το τέταρτο σύνολο αποτελείται από ένα σύνολο εικόνων που τραβήχτηκαν για την παρούσα διπλωµατική. Είναι η πιο απλή περίπτωση που για τη σύνθεση της HDR, κατά την οποία απαιτούνται τρείς λήψεις, µια υποφωτισµένη, η κανονικά εκτεθειµένη και µία υπερφωτισµένη όπως φαίνονται στην Εικόνα 4.4. Εικόνα 4.4: Λήψεις για την δηµιουργία HDR εικόνας Στην Εικόνα 4.4 εµφανίζονται µε τη σειρά: 1) Η εικόνα IMG_ jpg, η οποία έχει γίνει µε λήψη (-2) EV 2) Η εικόνα IMG_ jpg, η οποία έχει γίνει µε λήψη (0) EV 3) Η εικόνα IMG_ jpg, η οποία έχει γίνει µε λήψη (+2) EV 4.2 Αντικειµενική Αξιολόγηση Ευθυγράµµισης Εικόνων Για να συγκρίνουµε τις µεθόδους που χρησιµοποιήσαµε, θα εφαρµόσουµε το κριτήριο του λόγου µέγιστου σήµατος προς θόρυβο (PSNR) και στη συνέχεια το δείκτη δοµικής οµοιότητας (SSIM), από τα οποία παίρνουµε τις αντίστοιχες τιµές που παρουσιάζονται παρακάτω, καθώς και τα αντίστοιχα γραφήµατα Εφαρµογή του PSNR Εφαρµόζοντας το κριτήριο του µέγιστου λόγου του σήµατος προς θόρυβο ανάµεσα στην εικόνα αναφοράς και την ευθυγραµµισµένη κάθε φορά εικόνα παίρνουµε τις παρακάτω τιµές για τα σύνολα των εικόνων. Στους παρακάτω πίνακες δε συµπεριλαµβάνεται η µέθοδος αντιστοίχισης σηµείων, γιατί όπως αναφέρθηκε, έχει σηµαντική εξάρτηση από το χρήστη και εποµένως η σύγκριση της µε τις υπόλοιπες δεν είναι αντικειµενική καθώς εξαρτάται από τον τρόπο που θα επιλέξει ο χρήστης τα σηµεία. 46

61 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων DSC_0092 DSC_0093 DSC_0095 DSC_0096 Unregistered Ransac Intensity Based Method Using Phase Correlation Πίνακας 4.1: Τιµές σύµφωνα µε το κριτήριο PSNR για το 1 ο σύνολο εικόνων µε εικόνα αναφοράς την DSC_0094 Το δεύτερο σύνολο εικόνων που χρησιµοποιήσαµε, όπως έχουµε ήδη αναφέρει, είναι τροποποιηµένο από το αρχικό ώστε να µελετήσουµε πιθανές µεγάλες µετατοπίσεις και περιστροφές. Παρατηρήθηκε όµως ότι η µέθοδος Using Phase Correlation αποτυγχάνει. Σύµφωνα µε τον πίνακα, οι τιµές για τη συγκεκριµένη µέθοδο διαφέρουν πολύ µε αυτές των άλλων µεθόδων. Το αποτέλεσµα είναι σαφώς καλύτερο της αρχικής εικόνας αλλά η ευθυγράµµιση ως προς την εικόνα αναφοράς δεν πραγµατοποιείται. DSC_1225 DSC_1226 DSC_1227 DSC_1228 Unregistered Ransac Intensity Based Method Using Phase Correlation Πίνακας 2.2: Τιµές σύµφωνα µε το κριτήριο PSNR για το 2 ο σύνολο εικόνων µε εικόνα αναφοράς την DSC_1224 IMG_0176.JPG IMG_0177.JPG IMG_0178.JPG Unregistered Ransac Intensity Based Method Using Phase Correlation Εικόνα 4.3: Τιµές σύµφωνα µε το κριτήριο PSNR για το 3 ο σύνολο εικόνων µε εικόνα αναφοράς την IMG_

62 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων IMG_ IMG_ Unregistered Ransac Intensity Based Method Using Phase Correlation Πίνακας 4.4: Τιµές σύµφωνα µε το κριτήριο PSNR για το 4 ο σύνολο εικόνων µε εικόνα αναφοράς την IMG_ Μετά την εφαρµογή του PSNR και στα δυο σύνολα των εικόνων, παρατηρούµε ότι µέθοδος ευθυγράµµισης RANSAC δίνει µεγαλύτερες τιµές σε σύγκριση µε τις άλλες, για τις εικόνες που ευθυγραµµίστηκαν ώστε να ταιριάξουν µε την εικόνα αναφοράς. Αυτό δείχνει ότι η ευθυγράµµιση µε αυτήν την µέθοδο έχει γίνει καλύτερα από τις µε τις άλλες. Βέβαια, οι διαφορές µεταξύ των τιµών είναι πολύ µικρές. Παρατηρούµε όµως, ότι ειδικά στο τέταρτο σύνολο εικόνων, η εφαρµογή του PSNR για την εικόνα IMG_ δίνει µία τιµή, η οποία είναι εκτός του αναµενόµενου διαστήµατος. Αυτό πιθανότητα συµβαίνει γιατί η συγκεκριµένη εικόνα είναι η υποφωτισµένη (+2EV) και συγκρίνεται µε την κανονικά εκτεθειµένη εικόνα, οι οποίες όπως µπορούµε να δούµε και από την Εικόνα 4.2(γ) διαφέρουν σηµαντικά ως προς την φωτεινότητα και την αντίθεση. Όµως, από τη στιγµή που οι ίδιες εικόνες, µε την ίδια διαφορά στην φωτεινότητα, συγκρίνονται σε κάθε µέθοδο, αυτό πιθανόν δεν αποτελεί λανθασµένη σύγκριση του αποτελέσµατος Εφαρµογή του SSIM Στη συνέχεια, για τη σύγκριση των αποτελεσµάτων των µεθόδων ευθυγράµµισης θα εφαρµόσουµε τον δείκτη δοµικής ο µοιότητας, SSIM, ο οποίος αντιλαµβάνεται την αλλαγή στην ποιότητα µιας εικόνας ως αλλαγή στη δοµή της και είναι ανεξάρτητη της τοπικής φωτεινότητας και αντίθεσης. Στην περίπτωση του SSIM, όπως έχουµε ήδη αναφέρει, όσο πιο κοντά στη µονάδα είναι το αποτέλεσµα, τόσο περισσότερο προσεγγίζει η ευθυγραµµισµένη εικόνα, την εικόνα αναφοράς. DSC_0092 DSC_0093 DSC_0095 DSC_0096 Unregistered Ransac Intensity Based Method Using Phase Correlation Πίνακας 4.5: Τιµές σύµφωνα µε το κριτήριο SSIM για το 1 o σύνολο εικόνων µε εικόνα αναφοράς την DSC_

63 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων DSC_1225 DSC_1226 DSC_1227 DSC_1228 Unregistered Ransac Intensity Based Method Using Phase Correlation Πίνακας 4.6: Τιµές σύµφωνα µε το κριτήριο SSIM για το 2 o σύνολο εικόνων µε εικόνα αναφοράς την DSC_1124 IMG_0176.JPG IMG_0177.JPG IMG_0178.JPG Unregistered Ransac Intensity Based Method Using Phase Correlation Πίνακας 4.7: Τιµές σύµφωνα µε το κριτήριο SSIM για το 3 o σύνολο εικόνων µε εικόνα αναφοράς την IMG_0175 IMG_ IMG_ Unregistered Ransac Intensity Based Method Using Phase Correlation Πίνακας 4.8:Τιµές σύµφωνα µε το κριτήριο SSIM για το 4 ο σύνολο εικόνων µε εικόνα αναφοράς την IMG_ Αφού εφαρµόσαµε και τον δείκτη δοµικής ο µοιότητας στις ευθυγραµµισµένες εικόνες για να αποφανθούµε για το πια δίνει τον καλύτερο αποτέλεσµα σε σχέση µε την εικόνα αναφοράς, παρατηρούµε, σύµφωνα µε τις τιµές, ότι και πάλι η µέθοδος Ransac δίνει καλύτερα αποτελέσµατα. 49

64 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Ας µελετήσουµε τώρα την περίπτωση της ευθυγράµµισης µέσω αντιστοίχισης σηµείων τόσο στην περίπτωση σύγκρισής τους µέσω του PSNR, όσο και µέσω του SSIM. DSC_0092 DSC_0093 DSC_0095 DSC_0096 Unregistered Ransac Intensity Based Method Using Phase Correlation Control Point Registration with 5 points Control Point Registration with 10 points Πίνακας 4.9:Τιµές σύµφωνα µε το κριτήριο PSNR για το 1 ο σύνολο εικόνων µε εικόνα αναφοράς την DSC_0094 συµπεριλαµβανοµένης της µεθόδου Control Point Registration DSC_0092 DSC_0093 DSC_0095 DSC_0096 Unregistered Ransac Intensity Based Method Using Phase Correlation Control Point Registration with 5 points Control Point Registration with 10 points Πίνακας 4.10:Τιµές σύµφωνα µε το κριτήριο SSIM για το 1 ο σύνολο εικόνων µε εικόνα αναφοράς την DSC_0094 συµπεριλαµβανοµένης της µεθόδου Control Point Registration Από τους πίνακες 4.9 και 4.10, παρατηρούµε ότι η συγκεκριµένη µέθοδος δε δίνει καλύτερα αποτελέσµατα από κάποια από τις άλλες µεθόδους. Παρόλα αυτά όπως θα δούµε και στη συνέχεια το οπτικό αποτέλεσµα είναι ικανοποιητικό, χωρίς να φαίνεται η διαφορά αυτή που παρατηρούµε στα νούµερα. 50

65 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Αφού εφαρµόσαµε και τα δύο κριτήρια σύγκρισης παρατηρούµε ότι σύµφωνα µε το PSNR για τις εικόνες που ευθυγραµµίσαµε, το 84,6% των εικόνων ευθυγραµµίστηκε µε περισσότερη ακρίβεια µε τη µέθοδο Ransac, ενώ το 15,4% µε τη µέθοδο Intensity Based, και σύµφωνα µε το κριτήριο SSIM το 92,3% και το 7,7% αντίστοιχα. Η διαφορά αυτή µεταξύ των κριτηρίων προκύπτει από το γεγονός ότι το PSNR βασίζεται στη φωτεινότητα των εικόνων, αντίθετα από το κριτήριο SSIM που βασίζεται στη δοµή των χαρακτηριστικών της εικόνας. 4.3 Υποκειµενική Αξιολόγηση Ευθυγράµµισης Εικόνων Έχοντας ευθυγραµµίσει, µε τις µεθόδους που έχουµε προαναφέρει, τις επιµέρους λήψεις, συνθέτουµε την HDR εικόνα. Όµως, όπως έχουµε προαναφέρει, η αδυναµία αναπαραγωγής περιεχοµένου υψηλής δυναµικής περιοχής σε συσκευές περιορισµένου δυναµικού εύρους, αποτελεί ένα πρόβληµα το οποίο αντιµετωπίζεται µε τη διαδικασία της χρωµατικής απεικόνισης, κατά την οποία το υψηλό δυναµικό εύρος προσαρµόζεται στο δυναµικό εύρος που µπορεί να αναπαράγει η συσκευή απεικόνισης. Επειδή αυτή η διαδικασία είναι αρκετά περίπλοκη και απαιτεί διαφορετικό χειρισµό αναλόγως την περίπτωση, στην παρούσα διπλωµατική, το στάδιο της χρωµατικής απεικόνισης υλοποιήθηκε αυτόµατα, µέσω του λογισµικού Photomatix Pro. Η υποκειµενική αξιολόγηση βασίζεται στο υποκειµενικό κριτήριο του εκάστοτε παρατηρητή. Έτσι, παρατηρώντας την tone-mapped HDR εικόνα, που προέκυψε από κάθε µέθοδο, και συγκρίνοντας την µε αυτήν που προκύπτει αν δεν ευθυγραµµίσουµε τις επιµέρους λήψεις, είναι δυνατόν να βγάλει κανείς ένα υποκειµενικό συµπέρασµα για την ποιότητας της κάθε µεθόδου ευθυγράµµισης. Στη συνέχεια απεικονίζονται οι tone-mapped HDR εικόνες για κάποια από τα σύνολα εικόνων (α) χωρίς ευθυγράµµιση, (β) µε ευθυγράµµιση RANSAC (γ) µε ευθυγράµµιση Intensity Based και (δ) µε ευθυγράµµιση Using Phase Correlation. Για το πρώτο σύνολο εικόνων : Εικόνα 4.5: Tone-mapped HDR εικόνα, χωρίς ευθυγράµµιση 51

66 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Εικόνα 4.6: Tone-mapped HDR εικόνα µε χρήση της µεθόδου RANSAC Εικόνα 4.7: Tone-mapped HDR εικόνα µε χρήση της µεθόδου Intenisty Based 52

67 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Εικόνα 4.8 : Tone-mapped HDR εικόνα, µε χρήση της µεθόδου Using Phase Correlation Εικόνα 4.9 : Tone-mapped HDR εικόνα, µε χρήση της µεθόδου Control Point Registration για 10 σηµεία Στην Εικόνα 4.3 απεικονίζεται η tone-mapped HDR εικόνα, οι οποία έχει δηµιουργηθεί από µη ευθυγραµµισµένες µεταξύ τους εικόνες. Το πρόβληµα που καλούµαστε να επιλύσουµε δεν είναι εύκολα αντιληπτό µε το µάτι στη συγκεκριµένη εικόνα, παρά µόνο αν κάποιος την παρατηρήσει πολύ προσεκτικά. Για παράδειγµα αν παρατηρήσει κανείς τα δέντρα που υπάρχουν στα αριστερά της εικόνας θα διακρίνει ένα µικρό θόλωµα. Επιπλέον, δεν είναι επίσης αντιληπτή και η διαφορά ανάµεσα στο αποτέλεσµα της κάθε µεθόδου, καθώς µε το µάτι οι tone-mapped HDR εικόνες που προέρχονται από ευθυγραµµισµένες πλέον επιµέρους εικόνες, µοιάζουν να είναι πανοµοιότυπες. Ακόµα και στην Εικόνα 4.7, ή οποία σύµφωνα µε τα κριτήρια αντικειµενικής σύγκρισης έδωσε τα χειρότερα αποτελέσµατα, δεν έχει εµφανή διαφορά από τις ευθυγραµµισµένες εικόνες των άλλων µεθόδων. 53

68 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Για το δεύτερο σύνολο εικόνων: Εικόνα 4.10: Tone-mapped HDR εικόνα, χωρίς ευθυγράµµιση Εικόνα 4.11: Tone-mapped HDR εικόνα µε χρήση της µεθόδου RANSAC 54

69 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Εικόνα 4.12: Tone-mapped HDR εικόνα µε χρήση της µεθόδου Intensity Based Εικόνα 4.13 : Tone-mapped HDR εικόνα, µε χρήση της µεθόδου Using Phase Correlation Στην Εικόνα 4.7, όπου απεικονίζεται η µη ευθυγραµµισµένη tone-mapped HDR εικόνα, το πρόβληµα είναι περισσότερο εµφανές σε σχέση µε την Εικόνα 4.3, καθώς πολλά σηµεία της συγκεκριµένης εικόνας δεν είναι ευθυγραµµισµένα. Όπως και πριν όµως, η διαφορά ανάµεσα στο αποτέλεσµα της κάθε µεθόδου δεν είναι αντιληπτή µε το µάτι καθώς µε το µάτι. 55

70 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Επιπλέον, αν γυρίσουµε πίσω στην Εικόνα 4.2(α), παρατηρούµε πως η κοπέλα της φωτογραφίας δε φαινόταν καθόλου. Ενώ µε την τεχνική των HDR εικόνων που εφαρµόσθηκε, η κοπέλα όχι µόνο «αποκαλύφθηκε», αλλά θα µπορούσαµε να πούµε ότι είναι ευδιάκριτα και τα χαρακτηριστικά της. Για το τέταρτο σύνολο εικόνων: Εικόνα 4.14: Tone-mapped HDR εικόνα, χωρίς ευθυγράµµιση Στην Εικόνα 4.7 είναι ακόµα περισσότερο ορατό το γεγονός ότι η φωτογραφία έχει προέλθει από µη ευθυγραµµισµένες µεταξύ τους εικόνες. Στη δική µας λήψη επιλέξαµε µια µεγαλύτερη µετατόπιση µεταξύ των εικόνων, ώστε να γίνει περισσότερο κατανοητό το πρόβληµα, σε αντίθεση µε τις εικόνες που πήραµε από την βάση δεδοµένων EMPA είναι ελάχιστα µετατοπισµένες η µια ως προς την άλλη. Εικόνα 2.15: Tone-mapped HDR εικόνα µε χρήση της µεθόδου RANSAC 56

71 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Εικόνα 4.16: Tone-mapped HDR εικόνα µε χρήση της µεθόδου Intenisty Based Εικόνα 4.17: Tone mapped HDR εικόνα, µε χρήση της µεθόδου Using Phase Correlation Παρατηρώντας τις ευθυγραµµισµένες τελικές εικόνες όλων των συνόλων καταλήγουµε στο συµπέρασµα ότι η διαφορά των µεθόδων δεν είναι ξεκάθαρα αντιληπτή µε το µάτι, όπως και στο πρώτο σύνολο των εικόνων. Παρόλα αυτά, όπως αποδείχτηκε µέσω των κριτηρίων η µέθοδος Ransac είναι η αποτεσµατικότερη. 57

72 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Όσον αφορά την υποκειµενική αξιολόγηση των µεθόδων ένας άλλος τρόπος κατά τον οποίο µπορούµε να βγάλουµε πιο εύκολα ένα συµπέρασµα, είναι η χρήση της εντολής imshowpair του Matlab χρησιµοποιώντας ως επιπλέον όρισµα την παράµετρο diff, ενώ τα βασικά ορίσµατα είναι η εικόνα αναφοράς και η εικόνα που θέλουµε να απεικονίσουµε µαζί µε σκοπό να τις συγκρίνουµε. Με την παράµετρο αυτή οι διαφορές που υπάρχουν ανάµεσα στις δύο εικόνες, απεικονίζονται µε έντονες λευκές ακµές όπως φαίνεται στην Εικόνα Χρησιµοποιήσαµε ως εικόνα αναφοράς την DSC_0094 και ως εικόνα προς ευθυγράµµιση την DSC_0093. Εικόνα 4.18: Σύγκριση των µεθόδων µέσω της εντολής imshopair(referenceimage, TestImage, diff ) 58

73 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Εικόνα 4.19: Zoom στην Εικόνα 4.11 για καλύτερη αντίληψη των διαφορών Η (α) απεικονίζει την εικόνα αναφοράς µε την µη ευθυγραµµισµένη εικόνα, για αυτό και σε αυτή οι λευκές ακµές είναι πιο έντονες. Στην (b) όπου απεικονίζεται η εικόνα αναφοράς µε την ευθυγραµµισµένη εικόνα κατά την Ransac µέθοδο, παρατηρούµε ότι οι λευκές ακµές έχουν µειωθεί σηµαντικά, είναι ελάχιστες, όπως και στην (c) όπου απεικονίζεται η εικόνα αναφοράς µε την ευθυγραµµισµένη εικόνα κατά Intensity Based µέθοδο, που είναι ελάχιστα περισσότερες. Τέλος, στην (c) είναι η εικόνα αναφοράς µαζί µε την ευθυγραµµισµένη εικόνα κατά την Using Phase Correlation µέθοδο, όπου οι ακµές είναι προφανώς περισσότερες από αυτές στις (α), (b). Τα ίδια αποτελέσµατα ως προς την αξιολόγηση των µεθόδων, για τη συγκεκριµένη εικόνα, πήραµε και από την αξιολόγηση µέσω των PSNR και SSIM, οι οποίες για να θυµίσουµε ήταν οι παρακάτω: DSC_0093 UNREGISTERED RANSAC INTENSITY BASED METHOD USING PHASE CORRELATION PSNR SSIM

74 Κεφάλαιο 4: Αξιολόγηση και Σύγκριση Μεθόδων Τέλος, σχετικά µε την ευθυγράµµιση µέσω αντιστοίχισης σηµείων, Control Point Registration, όπως έχουµε αναφέρει, είναι µια µέθοδος η οποία µπορεί να εφαρµοσθεί σε οποιαδήποτε εικόνα και η διαδικασία που απαιτεί είναι αρκετά εύκολη. Όµως για να έχουµε ένα σωστό αποτέλεσµα, πρέπει η επιλογή των σηµείων να γίνει προσεκτικά. Στην Εικόνα 4.13, στα αριστερά τα σηµεία έχουν επιλεχθεί προσεκτικά για να ευθυγραµµίσουµε τις εικόνες, ενώ στα δεξιά έχουν επιλεχθεί µε λιγότερη προσοχή, χωρίς όµως αυτό να σηµαίνει ότι επιλέχτηκαν τυχαία. Αν προσέξουµε το δεξί µισό της κάθε εικόνας και τα συγκρίνουµε, παρατηρούµε πως η αριστερή εικόνα παρουσιάζει λιγότερες ακµές και συνεπώς η ευθυγράµµιση έχει γίνει καλύτερα. Εικόνα 4.20: Ευθυγράµµιση µέσω αντιστοίχισης σηµείων 4.4 Σχολιασµός-Συµπεράσµατα Όσον αφορά την αντικειµενική αξιολόγηση, οι τιµές των κριτηρίων PSNR και SSIM έκριναν ότι η καλύτερη µέθοδος ευθυγράµµισης γίνεται µε τον αλγόριθµο Ransac. Αντίθετα, αυτή την ποσοτική µικρή διαφορά που προκύπτει, δε µπορεί να τη διακρίνει κάποιος απλά κοιτάζοντας tonemapped HDR εικόνες που προέρχονται από διαφορετικές µεθόδους ευθυγράµµισης. 60