Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΕΡΓΑΣΤΗΡΙΟ ΨΗΦΙΑΚΗΣ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ ΚΑΙ ΕΙΚΟΝΩΝ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Κωνσταντίνου Τσίγγανου του Γεωργίου Αριθμός Μητρώου: Θέμα «Ευθυγράμμιση Δορυφορικών Εικόνων» Επιβλέπων Αθανάσιος Σκόδρας Αριθμός Διπλωματικής Εργασίας: Πάτρα, Φεβρουάριος 2019

2

3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Ευθυγράμμιση Δορυφορικών Εικόνων» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Κωνσταντίνου Τσίγγανου του Γεωργίου Αριθμός Μητρώου: Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Ο Διευθυντής του Τομέα Αθανάσιος Σκόδρας Δημοσθένης Καζάκος

4

5 Αριθμός Διπλωματικής Εργασίας: Θέμα: «Ευθυγράμμιση Δορυφορικών Εικόνων» Φοιτητής: Κωνσταντίνος Τσίγγανος Επιβλέπων: Αθανάσιος Σκόδρας Περίληψη Πολλές φορές χρειάζεται να συνδυάσουμε πολλές εικόνες σε μία για να τις συγκρίνουμε μεταξύ τους ή γενικότερα για να ενσωματώσουμε περισσότερη πληροφορία σε μία εικόνα. Ωστόσο, οι εικόνες ενδέχεται να παρουσιάζουν γεωμετρικές παραμορφώσεις, δηλαδή να έχουν ληφθεί από διαφορετικό σημείο ή διαφορετική εστίαση κτλ. Η ευθυγράμμιση εικόνων αποτελεί μια διαδικασία κατά την οποία εικόνες που παρουσιάζουν μεταξύ τους γεωμετρικές αποκλίσεις αντιστοιχίζονται μεταξύ τους σε ένα κοινό σύστημα συντεταγμένων. Στην παρούσα εργασία, εξετάζεται η χρησιμότητα της ευθυγράμμισης στην δορυφορική απεικόνιση. Για τον σκοπό αυτό υλοποιήθηκε μια μέθοδος που βασίζεται στην ανίχνευση και αντιστοίχιση χαρακτηριστικών σημείων για τον υπολογισμό του γεωμετρικού μετασχηματισμού που ευθυγραμμίζει τις εικόνες. Η μέθοδος υλοποιήθηκε με τις βιβλιοθήκες OpenCV και FLANN. Συγκεκριμένα, αξιολογήθηκε η απόδοση των ανιχνευτών SIFT και SURF και των μεθόδων αντιστοίχισης brute force και αντιστοίχισης με πολλαπλά τυχαία δέντρα k-d. Τέλος, υλοποιήθηκαν δύο εφαρμογές δορυφορικής απεικόνισης στις οποίες εφαρμόζεται η ευθυγράμμιση εικόνων, της ανίχνευσης αλλαγών στην επιφάνεια της Γης και της συρραφής εικόνων για την χαρτογράφηση μιας περιοχής. i

6 ii

7 Abstract Many times we need to combine multiple images into one to compare them or more generally to incorporate more information into one image. However, the images may exhibit geometric distortions, i.e. they may have been taken from a different point or different focus, etc. Image registration is a process in which images that exhibit geometric deviations are mapped to each other in a common coordinate system. In the present work, the usefulness of the registration to satellite imaging is examined. For this purpose, a feature-based method was implemented to calculate the geometric transformation that aligns the images. The method was implemented with the OpenCV and FLANN libraries. In particular, the performance of SIFT and SURF detectors and brute-force and multiple randomized K-D trees matching methods were evaluated. Finally, two satellite imaging applications were implemented in which image registration is applied, change detection on the Earth's surface and image mosaicking for mapping a bigger area. iii

8 iv

9 Ευχαριστίες Θα ήθελα να ευχαριστήσω τον επιβλέποντα της διπλωματικής μου εργασίας Καθηγητή κ. Αθανάσιο Σκόδρα για την καθοδήγηση και υποστήριξη του καθ όλη την διάρκεια εκπόνησης αυτής. Επίσης, ευχαριστώ θερμά την οικογένεια μου που με στήριξε και με ενθάρρυνε κατά την διάρκεια των σπουδών μου. v

10 vi

11 Πίνακας περιεχομένων Ευρετήριο Εικόνων... xi Ευρετήριο Αγγλικών Όρων... xv Ακρωνύμια... xix Κεφάλαιο 1 Ευθυγράμμιση Εικόνων Εισαγωγή Γεωμετρικός Μετασχηματισμός Μετατόπιση Περιστροφή Άκαμπτος Μετασχηματισμός Κλιμάκωση Μετασχηματισμός Ομοιότητας Στρέβλωση Αφινικός Μετασχηματισμός Ομογενείς Συντεταγμένες Προβολικός Μετασχηματισμός Καμπυλόγραμμος Μετασχηματισμός Αναδειγματοληψία Εικόνας Έμπροσθεν Προσέγγιση Όπισθεν Προσέγγιση Μέθοδοι Ευθυγράμμισης Εικόνων Μέθοδος που βασίζεται σε χαρακτηριστικά σημεία Μέθοδος που βασίζεται στις φωτεινότητες των εικονοστοιχείων Μέθοδος που βασίζεται στον μετασχηματισμό Fourier Άλλες κατηγορίες μεθόδων ευθυγράμμισης Εφαρμογές Κεφάλαιο 2 Δορυφορική Απεικόνιση Εισαγωγή Λήψη Δορυφορικών Εικόνων Ηλεκτρομαγνητικό φάσμα Παθητικά και Ενεργά Συστήματα Λήψης Χαρακτηριστικά αισθητήρων Μηχανισμοί Σάρωσης Χαρακτηριστικά δορυφορικής τροχιάς Δορυφορικά Συστήματα και Προγράμματα vii

12 2.3.1 Πρόγραμμα Landsat Δορυφόρος QuickBird Πρόγραμμα SPOT Πρόγραμμα WorldView Δορυφόρος TerraSAR-X Επεξεργασία Δορυφορικών Εικόνων Διόρθωση Γεωμετρικών Σφαλμάτων Διόρθωση Ραδιομετρικών Σφαλμάτων Ανάγκη για ευθυγράμμιση δορυφορικών εικόνων Κεφάλαιο 3 Μέθοδοι Ευθυγράμμισης Εικόνων Εισαγωγή Μέθοδος Eυθυγράμμισης μέσω χαρακτηριστικών σημείων Ανίχνευση και Περιγραφή Χαρακτηριστικών Σημείων Αλγόριθμος SIFT Αλγόριθμος SURF Αντιστοίχιση Χαρακτηριστικών Σημείων Μέθοδος Brute - Force Εύρεση Κοντινότερου Γείτονα με Δέντρο k-d Εύρεση Κοντινότερου Γείτονα κατά προσέγγιση με Δέντρο k-d Κριτήριο λόγου αποστάσεων Υπολογισμός Γεωμετρικού Μετασχηματισμού Μέθοδος των Ελαχίστων Τετραγώνων Μέθοδος RANSAC Κεφάλαιο 4 Αξιολόγηση Μεθόδων Ευθυγράμμισης Εισαγωγή Μετρικές Ποιότητας Εικόνας Λόγος Μέγιστου Σήματος προς Θόρυβο (PSNR) Δείκτης Δομικής Ομοιότητας (SSIM) Μετρικές Αξιολόγησης Μεθόδων Ευθυγράμμισης βασιζόμενων σε χαρακτηριστικά σημεία Κεφάλαιο 5 Υλοποίηση και Σύγκριση Μεθόδων Ευθυγράμμισης Εισαγωγή Ανάκτηση Δορυφορικών Εικόνων Περιβάλλον Υλοποίησης Βιβλιοθήκη OpenCV Βιβλιοθήκη FLANN viii

13 5.4 Υλοποιημένη Μέθοδος Ευθυγράμμισης Σύγκριση SIFT και SURF Αξιολόγηση Ευθυγράμμισης με τις μετρικές SSIM και PSNR Εφαρμογές Ανίχνευση Αλλαγών Συρραφή Δορυφορικών Εικόνων Συμπεράσματα Βιβλιογραφία Παράρτημα Κώδικας Κώδικας για την μέθοδο ανίχνευσης αλλαγών Κώδικας για την μέθοδο συρραφής εικόνων ix

14 x

15 Ευρετήριο Εικόνων Εικόνα 1.1 Μετατόπιση... 2 Εικόνα 1.2 Περιστροφή... 3 Εικόνα 1.3 Κλιμάκωση... 4 Εικόνα 1.4 Στρέβλωση... 5 Εικόνα 1.5 Προβολικός Μετασχηματισμός... 7 Εικόνα 1.6 Αναδειγματοληψία με την μέθοδο nearest neighbor μετά από περιστροφή της εικόνας κατά Εικόνα 1.7 (a) Μέθοδος bilinear interpolation, (b) Αναδειγματοληψία με την μέθοδο bilinear Εικόνα 1.8 interpolation μετά από περιστροφή της εικόνας κατά (a) Μέθοδος cubic convolution, (b) Αναδειγματοληψία με την μέθοδο cubic convolution μετά από περιστροφή της εικόνας κατά Εικόνα 2.1 Ηλεκτρομαγνητικό Φάσμα [13] Εικόνα 2.2 Παθητική Λήψη Εικόνα 2.3 Ενεργή Λήψη Εικόνα 2.4 Whisk-broom scanning [14] Εικόνα 2.5 Push-broom scanning [14] Εικόνα 2.6 Σαν Φρανσίσκο, QuickBird, 11/11/ Εικόνα 2.7 Σαν Φρανσίσκο, TerraSAR-X, 24/10/2011, Copyright 2011 DLR Εικόνα 3.1 Εικόνα 3.2 Εικόνα 3.3 Εικόνα 3.4 Εικόνα 3.5 [23] Αριστερά: Δημιουργία των οκτάβων του χώρου κλιμάκωσης. Οι εικόνες κάθε οκτάβας δημιουργούνται με την διαδοχική εφαρμογή της συνάρτησης Gauss. Μετά από κάθε οκτάβα, η αρχική εικόνα υποδειγματοληπτείται έτσι ώστε να έχει το μισό μέγεθος της προηγούμενης και η διαδικασία επαναλαμβάνεται. Δεξιά: Υπολογισμός των DoG εικόνων από τις αντίστοιχες γειτονικές εικόνες Gauss [23] Εύρεση ακροτάτου στον χώρο κλιμάκωσης συγκρίνοντας γειτονικά εικονοστοιχεία γειτονικών DoG εικόνων [23] Δημιουργία περιγραφέα χαρακτηριστικού σημείου χρησιμοποιώντας μια περιοχή μεγέθους 8x8 εικονοστοιχείων [25] Το άθροισμα των εικονοστοιχείων της περιοχής D μπορεί να υπολογιστεί χρησιμοποιώντας τέσσερις τιμές της εικόνας ολοκλήρωμα, ως εξής [24] Από αριστερά προς τα δεξιά: μερικές δεύτερες παράγωγοι της διακριτής συνάρτησης Gauss με σ=1,2 στην y και στην xy κατεύθυνση και οι προσεγγίσεις τους με φίλτρα τύπου κουτιού Εικόνα 3.6 [26] Υπολογισμός κυρίαρχου προσανατολισμού ενός χαρακτηριστικού σημείου με την χρήση ολισθαίνοντος παραθύρου γωνίας Εικόνα 3.7 [27] Αναζήτηση Κοντινότερου γείτονα σε k-d δέντρο Εικόνα 3.8 [28] a) Αναζήτηση Κοντινότερου γείτονα σε k-d δέντρο με την μέθοδο BBF. b) Δενδρική αναπαράσταση k-d δέντρου. Σε κάθε κόμβο αποθηκεύεται η διάσταση διαχωρισμού (d1, d2) και η τιμή κατωφλίου της διάστασης αυτής [29] Παράδειγμα δύο τυχαίων k-d δέντρων. Στο πάνω δέντρο το query point (q) Εικόνα 3.9 βρίσκεται σε διαφορετική περιοχή από τον πραγματικό κοντινότερο του γείτονα, ενώ στο κάτω βρίσκονται μαζί στην ίδια περιοχή του δέντρου Εικόνα 3.10 Ζεύγη δεδομένων, όπου x είναι η ανεξάρτητη και y η εξαρτημένη μεταβλητή Η ύπαρξη ακραίων τιμών (πράσινο χρώμα) μειώνει την αποτελεσματικότητα της Εικόνα 3.11 μεθόδου ελαχίστων τετραγώνων να βρει το μοντέλο (κόκκινο χρώμα) που περιγράφει τα δεδομένα Εικόνα 4.1 [31] Διαδικασία υπολογισμού της μετρικής SSIM xi

16 Αριστερά: Δορυφορική απεικόνιση της περιοχής του Αράξου στις 15/7/2016 από Εικόνα 5.1 δορυφόρο της εταιρείας DigitalGlobe. Δεξιά: Δορυφορική απεικόνιση της περιοχής του Αράξου στις 5/9/2003 πάλι από δορυφόρο της εταιρείας DigitalGlobe Εικόνα 5.2 Αριστερά και Δεξιά: Δορυφορική απεικόνιση της τμήματος της πόλης των Εικόνα 5.2 Πατρών στις 30/7/2017 από δορυφόρο της εταιρείας DigitalGlobe Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω: Εικόνα 5.3 Ευθυγραμμισμένη Εικόνα, Πηγή: Google Earth Μετρήσεις που έγιναν κατά την ευθυγράμμιση τους ζεύγους εικόνων της Εικόνας 5.3 Εικόνα 5.4 για τιμές κατωφλίου 0,7 και 0, Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω Αριστερά: Ευθυγραμμισμένη Εικόνα με SURF + Brute-Force και κατώφλι 0,9, Κάτω Εικόνα 5.5 Δεξιά: Ευθυγραμμισμένη Εικόνα με SURF + 10 Randomized KD - Trees και κατώφλι 0,9, Πηγή Εικόνων: Google Earth Εικόνα 5.6 Τιμές SSIM και PSNR για το παράδειγμα της Εικόνας Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω Αριστερά: Ευθυγραμμισμένη Εικόνα με SIFT + Brute-Force και κατώφλι 0,8, Κάτω Εικόνα 5.7 Δεξιά: Ευθυγραμμισμένη Εικόνα με SIFT + 10 Randomized KD - Trees και κατώφλι 0,8, Πηγή Εικόνων: Google Earth Εικόνα 5.8 Τιμές SSIM και PSNR για το παράδειγμα της Εικόνας Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω Αριστερά: Ευθυγραμμισμένη Εικόνα με SIFT + Brute-Force και κατώφλι 0,6, Κάτω Εικόνα 5.9 Δεξιά: Ευθυγραμμισμένη Εικόνα με SIFT + 10 Randomized KD - Trees και κατώφλι 0, Εικόνα 5.10 Τιμές SSIM και PSNR για το παράδειγμα της Εικόνας Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω Αριστερά: Ευθυγραμμισμένη Εικόνα (SSIM = 0,610, PSNR = 21,196 db), Κάτω Δεξιά: Εικόνα 5.11 Ευθυγραμμισμένη Εικόνα για εικόνα αναφοράς την πάνω δεξιά (SSIM = 0,08, PSNR = 7,017 db), Πηγή Εικόνων: Google Earth [35] Κατανομή των διαφορών Id(x,y). Οι διαφορές στην φωτεινότητα λόγω αλλαγών στην επιφάνεια της Γης τοποθετούνται στις ουρές της κατανομής. Ο μεγαλύτερος Εικόνα 5.12 αριθμός των διαφορών κατανέμενεται γύρω από τον μέσο όρο, θεωρώντας ότι οι αλλαγές στην επιφάνεια της Γης είναι πιο σπάνιες Εικόνα 5.13 Λίμνη Mulargia, Σαρδηνία, Ιταλία Πάνω Αριστερά: Εικόνα Αναφοράς (09/08/2003), Πάνω Δεξιά: Εικόνα προς ευθυγράμμιση (11/09/2011) Κέντρο: Ευθυγραμμισμένη Εικόνα (SIFT + Brute Force + Matching Ratio = 0,8) Κάτω Αριστερά: Εικόνα 5.13 Δυαδική Εικόνα διαφορών με την μέθοδο Otsu Κάτω Δεξιά: Με κυανό χρώμα απεικονίζεται η εικόνα αναφοράς και κόκκινο η κατωφλιωμένη εικόνα διαφορών Πηγή Εικόνων: Google Earth Ντουμπάι, Ηνωμένα Αραβικά Εμιράτα Πάνω Αριστερά: Εικόνα Αναφοράς (Landsat / Copernicus, 31/12/1996) Πάνω Δεξιά: Εικόνα προς ευθυγράμμιση (Landsat / Copernicus, 31/12/2016) Κέντρο: Ευθυγραμμισμένη Εικόνα (SIFT + Brute Force + Εικόνα 5.14 Matching Ratio = 0,8) Κάτω Αριστερά: Δυαδική Εικόνα διαφορών με την μέθοδο Otsu Κάτω Δεξιά: Με κυανό χρώμα απεικονίζεται η εικόνα αναφοράς και κόκκινο η κατωφλιωμένη εικόνα διαφορών Πηγή Εικόνων: Google Earth Λιγνιτωρυχεία Πτολεμαΐδας, Ελλάδα Πάνω Αριστερά: Εικόνα Αναφοράς (NASA / European Space Imaging, 15/05/2003) Πάνω Δεξιά: Εικόνα προς ευθυγράμμιση (DigitalGlobe, 11/06/2009) Κέντρο: Ευθυγραμμισμένη Εικόνα (SIFT + Brute Force + Εικόνα 5.15 Matching Ratio = 0,8) Κάτω Αριστερά: Δυαδική Εικόνα διαφορών με την μέθοδο Otsu Κάτω Δεξιά: Με κυανό χρώμα απεικονίζεται η εικόνα αναφοράς και κόκκινο η κατωφλιωμένη εικόνα διαφορών Πηγή Εικόνων: Google Earth xii

17 Εικόνα 5.16 Εικόνα 5.17 Εικόνα 5.18 Πάτρα, 30/07/2017, 19 εικόνες, Διαστάσεις τελικής εικόνας: 6673x9226, Πηγή Εικόνων: Google Earth Ιθάκη, 28/06/2019, 14 εικόνες, Διαστάσεις τελικής εικόνας: 7548x8939, Πηγή Εικόνων: Google Earth Παλική, Κεφαλονιά, 05/07/2013, 39 εικόνες, Διαστάσεις τελικής εικόνας: 16589x17044, Πηγή Εικόνων: Google Earth xiii

18 xiv

19 Ευρετήριο Αγγλικών Όρων Across-track scanning Aliasing Along-track scanning Backward approach Between Class-Variance Bilinear Interpolation Bin Blending Brute Force Change Detection Charged Couple Device Coarse-to-fine Contrast Cubic Convolution Curved Distance Ratio Test Feature Description Feature Detection Feature Matching Feature-based method Forward approach Fourier-based method Geographic Information Systems Geostationary Geosynchronous Gradient Descent Ground Control Points High Dynamic Range Holes Hyperspectral Image Differencing Image Mosaicking Image Registration Image Resampling Inliers Instantaneous Field Of View Intensity-based method Leaf - Node Luminance Σάρωση με φορά κάθετη της τροχιάς του δορυφόρου Αναδίπλωση Σάρωση κατά μήκος της τροχιάς του δορυφόρου Όπισθεν προσέγγιση Διακύμανση μεταξύ κλάσεων Διγραμμική παρεμβολή Τμήμα, περιοχή ενός χώρου Ανάμειξη φωτεινοτήτων εικονοστοιχείων Μέθοδος της Ωμής βίας ή εξαντλητική αναζήτηση Ανίχνευση Αλλαγών Συσκευή Συζευγμένου Φορτίου Από το προσεγγιστικό στο ακριβές Αντίθεση Κυβική Συνέλιξη Καμπυλόγραμμος Κριτήριο λόγου αποστάσεων μεταξύ 1 ου και 2 ου κοντινότερου γείτονα Περιγραφή Χαρακτηριστικών Ανίχνευση Χαρακτηριστικών Αντιστοίχιση Χαρακτηριστικών Μέθοδος βασισμένη σε χαρακτηριστικά Έμπροσθεν προσέγγιση Μέθοδος που βασίζεται στον μετασχηματισμό Φουριέ Γεωγραφικά Πληροφοριακά Συστήματα Γεωστατικός Γεωσύγχρονος, που έχει την ίδια ταχύτητα περιστροφής με την Γη Μείωση της κλίσης Χαρακτηριστικά σημεία στην εικόνα Εικόνα Υψηλής Δυναμικής Περιοχής Κενές τιμές Υπερφασματικός Μέθοδος υπολογισμού διαφοράς εικόνων για ανίχνευση αλλαγών Συρραφή Εικόνων Ευθυγράμμιση Εικόνας Αναδειγματοληψία (Ανακατασκευή) Εικόνας Δεδομένα που ικανοποιούν ένα μοντέλο Στιγμιαίο πεδίο θέασης Μέθοδος βασισμένη σε πρότυπα φωτεινότητας στην εικόνα Κόμβος φύλλο, τελευταίος κόμβος σε ένα δένδρο που δεν έχει παιδιά Φωτεινότητα xv

20 Manual Mean Squared Error Monomodal image Multimodal image Multispectral Multitemporal image Mutual Information Nearest Neighbor Normalized Correlation Coefficient Outliers Overlapping Panchromatic Peak Signal-to-Noise Ratio Pixel Polar Precision Projective Push-broom scanning Query point Radiometric Recall Reference image Remote Sensing Resolution Rigid Root - Node Rotation Scaling Semi-Automatic Sensed image Shearing Similarity Transformation Spatial Spectral Splitting Dimension Striping Structural Similarity Index Measure Structure Sun-synchronous Swath width Temporal Χειροκίνητος Μέσο Τετραγωνικό Σφάλμα Εικόνα που έχει ληφθεί με τον ίδιο αισθητήρα Πολυτροπική εικόνα που έχει ληφθεί με διαφορετικό αισθητήρα Πολυφασματικός Εικόνα που έχει ληφθεί σε διαφορετική χρονική στιγμή με τον ίδιο αισθητήρα Αμοιβαία Πληροφορία Κοντινότερος Γείτονας Κανονικοποιημένος Συντελεστής Συσχέτισης Χαρακτηριστικά με ακραίες τιμές Επικάλυψη Παγχρωματικός Λόγος Μέγιστου Σήματος προς Θόρυβο Εικονοστοιχείο Πολικός Λόγος του πλήθους πραγματικά σωστών αντιστοιχίσεων προς το πλήθος των αντιστοιχίσεων που έχουν θεωρηθεί «καλές» Προβολικός Σάρωση που προσομοιάζει το σκούπισμα με σκούπα Σημείο για το οποίο αναζητείται ο κοντινότερος γείτονας Ραδιομετρικός Λόγος του πλήθους πραγματικά σωστών αντιστοιχίσεων προς το σύνολο των πραγματικών αντιστοιχίσεων Εικόνα αναφοράς Τηλεπισκόπηση, Απομακρυσμένη Ανίχνευση Ανάλυση Άκαμπτος Ρίζα του δένδρου, ο πρώτος κόμβος του Περιστροφή Κλιμάκωση Ημιαυτόματος Εικόνα προς ευθυγράμμιση Στρέβλωση Μετασχηματισμός Ομοιότητας Χωρικός Φασματικός Διάσταση διαχωρισμού Λωριδοποίηση Δείκτης Δομικής Ομοιότητας Δομή Ηλιοσύγχρονος Επιφάνεια που καταγράφει ο αισθητήρας για συγκεκριμένο υψόμετρο και γωνία θέασης του δορυφόρου Χρονικός xvi

21 Threshold Translation Vignetting Whisk-broom scanning Κατώφλι Μετατόπιση Σταδιακή μείωση της φωτεινότητας από το κέντρο προς τα άκρα της εικόνας Σάρωση που προσομοιάζει το σκούπισμα με αχυρόβουρτσα xvii

22 xviii

23 Ακρωνύμια BBF CCD DFT DoG DOS ERTS ETM+ EV FLANN GIS HDR HRV IFOV k-d LiDAR LOWTRAN MI MODTRAN MSE MSS MSSIM NASA NCC OLI OpenCV PSNR RADAR RANSAC ROC SIFT SNR SSIM SURF TIRS TM Best Bin First Charged Couple Device Discrete Fourier Transform Difference of Gaussian Dark Object Subtraction Earth Resources Technology Satellite Enhanced Thematic Mapper Plus Exposure Value Fast Library for Approximate Nearest Neighbors Geographic Information Systems High Dynamic Range High Resolution Visible Instantaneous Field Of View k-dimensional Light Detection And Ranging Low Resolution Atmospheric Transmittence Mutual Information Moderate Resolution Atmospheric Transmittence Mean Squared Error Multispectral Scanner Mean Structural Similarity Index Measure National Aeronautics and Space Administration Normalized Correlation Coefficient Operational Land Imager Open Source Computer Vision Peak Signal-to-Noise Ratio Radio Detection And Ranging Random Sample Consensus Receiver Operating Characteristic Scale-Invariant Feature Transform Signal to Noise Ratio Structural Similarity Index Measure Speeded Up Robust Features Thermal Infrared Sensor Thematic Mapper xix

24 xx

25 Κεφάλαιο 1 Ευθυγράμμιση Εικόνων 1.1 Εισαγωγή Στην σημερινή «ψηφιακή» πραγματικότητα, ένα από τα κυριότερα μέσα άντλησης πληροφορίας είναι η εικόνα. Πολλές φορές χρειάζεται να ενσωματώσουμε πληροφορία από διάφορες εικόνες σε μία είτε για να τις συγκρίνουμε είτε να δημιουργήσουμε μία καλύτερη σε ποιότητα εικόνα. Ωστόσο, οι εικόνες που λαμβάνονται από τα περισσότερα συστήματα λήψης υπόκεινται σε γεωμετρικές παραμορφώσεις που συνήθως οφείλονται σε ανωμαλίες προοπτικής, όπως η μεταβολή της θέσης της κάμερας σε σχέση με την σκηνή, η παραμόρφωση του φακού κτλ [1]. Επομένως, θεωρείται αναγκαία η επεξεργασία των εικόνων για την αφαίρεση των γεωμετρικών αυτών παραμορφώσεων, πριν την σύνθεση και απεικόνιση των εικόνων σε μία. Αυτό επιτυγχάνεται με μία μέθοδο του κλάδου Επεξεργασίας Εικόνας που ονομάζεται ευθυγράμμιση εικόνων (Image Registration). Ευθυγράμμιση εικόνων ορίζεται ως η διαδικασία κατά την οποία δύο εικόνες αντιστοιχίζονται χωρικά μεταξύ τους. Η διαδικασία αυτή στοχεύει στην εύρεση του κατάλληλου μετασχηματισμού που θα αμβλύνει την γεωμετρική απόκλιση μεταξύ των εικόνων, έτσι ώστε οι 1

26 εικόνες να απεικονιστούν σε μία ενιαία. Στην διαδικασία αυτή συμμετέχουν δύο εικόνες. Η πρώτη εικόνα που συμμετέχει στην διαδικασία αυτή ονομάζεται εικόνα αναφοράς (reference image) και η δεύτερη ονομάζεται εικόνα προς ευθυγράμμιση (sensed image). Η εικόνα αναφοράς δεν υπόκεινται σε κανέναν μετασχηματισμό, σε αντίθεση με την δεύτερη η οποία μετασχηματίζεται στο σύστημα συντεταγμένων της πρώτης. Είναι σημαντικό οι δύο εικόνες να απεικονίζουν την ίδια σκηνή ή ένα μέρος της για να μπορέσει η διαδικασία ευθυγράμμισης να καθορίσει την αντιστοιχία μεταξύ κοινών σημείων των δύο εικόνων [2]. 1.2 Γεωμετρικός Μετασχηματισμός Οι γεωμετρικοί μετασχηματισμοί χρησιμοποιούνται ευρέως στην διαδικασία ευθυγράμμισης για την αφαίρεση της γεωμετρικής απόκλισης μεταξύ των εικόνων. Επομένως, κύριος σκοπός της διαδικασίας αυτής αποτελεί η εύρεση αυτού του γεωμετρικού μετασχηματισμού ΤΤ, ο οποίος θα πρέπει να εφαρμοστεί στο σύστημα συντεταγμένων (xx, yy ) της εικόνας προς ευθυγράμμιση, έτσι ώστε να αντιστοιχισθεί με αυτό της εικόνας αναφοράς (xx, yy). (xx, yy) = ΤΤ(xx, yy ) (1.1) Ένας γεωμετρικός μετασχηματισμός ΤΤ είναι, στην γενικότερη περίπτωση, εκφράζεται με έναν πίνακα, που ονομάζεται μοντέλο του μετασχηματισμού και αποτελείται από ένα σύνολο παραμέτρων. Το πλήθος των παραμορφώσεων που μπορεί να εφαρμοστεί στην εικόνα είναι ανάλογο του πλήθους των παραμέτρων. Στην συνέχεια, παρουσιάζονται οι βασικότεροι γεωμετρικοί μετασχηματισμοί που μπορούν να εφαρμοστούν σε μία δισδιάστατη (2D) εικόνα Μετατόπιση Η μετατόπιση (translation) μιας εικόνας εκφράζεται με ένα διάνυσμα στήλη που περιέχει την μετατόπιση ως προς τον άξονα x, δx και ως προς τον άξονα y, δy ως εξής: xx yy = xx + δδxx (1.2) yy δδyy Εικόνα 1.1 Μετατόπιση Ως άξονας x θεωρείται ο άξονας κατά μήκος της διάστασης του πλάτους της εικόνας και ως άξονας y ο άξονας κατά μήκος του ύψους της. 2

27 1.2.2 Περιστροφή Η περιστροφή (rotation) εκφράζεται με τον πίνακα TT rrrrrr (1.4), όπου κάθε εικονοστοιχείο (pixel) με συντεταγμένες (xx, yy) περιστρέφεται κατά γωνία θθ και πηγαίνει στο σημείο (xx, yy ) [1]. Ως θετική φορά περιστροφής ορίζεται η αντίθετη από την φορά του ρολογιού. xx yy = ΤΤ rrrrrr xx (1.3) yy όπου, TT rrrrrr = cccccccc ssssssθθ (1.4) ssssssθθ ccccccθθ Εικόνα 1.2 Περιστροφή Άκαμπτος Μετασχηματισμός Ο συνδυασμός των δύο προηγούμενων μετασχηματισμών, δηλαδή της μετατόπισης και της περιστροφής ονομάζεται άκαμπτος (rigid) μετασχηματισμός. Ο άκαμπτος μετασχηματισμός διατηρεί τις αποστάσεις, τις ευθείες και όλες τις γωνίες μεταξύ των ευθειών που υπάρχουν σε μία εικόνα όταν εφαρμοστεί σε αυτήν [3]. Το πλήθος των παραμέτρων του είναι 3 (δx, δy και θ) και εφαρμόζεται στις συντεταγμένες κάθε εικονοστοιχείου ως εξής: xx yy = TT rrrrrr xx + δδxx (1.5) yy δδyy όπου TT rrrrrr είναι ο πίνακας περιστροφής (1.4) και [δδxx, δδyy] TT το διάνυσμα μετατόπισης. 3

28 1.2.4 Κλιμάκωση Η κλιμάκωση (scaling) μπορεί να είναι ομοιόμορφη, δηλαδή εφαρμόζοντας την ίδια κλιμάκωση ss σε κάθε άξονα ή μη ομοιόμορφη, εφαρμόζοντας διαφορετική κλιμάκωση σε κάθε άξονα, δηλαδή ss xx για τον άξονα x και ss yy για τον άξονα y. Στην γενικότερη περίπτωση, η κλιμάκωση εφαρμόζεται ως εξής: όπου, είναι ο πίνακας κλιμάκωσης. xx yy = TT ss xx (1.6) yy ΤΤ ss = ss xx 0 0 ss yy (1.7) Όταν οι παράμετροι ss xx και ss yy είναι μικρότεροι της μονάδας, τότε η εικόνα υπόκειται σε σμίκρυνση, ενώ όταν είναι μεγαλύτεροι τότε η εικόνα μεγεθύνεται. Στην περίπτωση, όπου ss xx = ss yy η κλιμάκωση είναι ομοιόμορφη [1]. Εικόνα 1.3 Κλιμάκωση Μετασχηματισμός Ομοιότητας Ο μετασχηματισμός ομοιότητας (similarity transformation) είναι ο συνδυασμός ενός άκαμπτου μετασχηματισμού και κλιμάκωσης και εκφράζεται με την σχέση: xx yy = TT sstt rrrrrr xx + δδxx (1.8) yy δδyy όπου TT ss είναι ο μετασχηματισμός κλιμάκωσης (1.7), TT rrrrrr ο μετασχηματισμός περιστροφής (1.4) και [δδxx, δδyy] TT το διάνυσμα μετατόπισης. Στην περίπτωση του μετασχηματισμού ομοιότητας, η κλιμάκωση είναι ομοιόμορφη. Ο μετασχηματισμός αυτός διατηρεί τις ευθείες και τις γωνίες μεταξύ τους, αλλά όχι αποστάσεις. 4

29 1.2.6 Στρέβλωση Η στρέβλωση (shearing) μετατοπίζει τα σημεία ενός άξονα παράλληλα προς αυτόν κατά μία απόσταση ανάλογη με την κάθετη απόσταση τους από τον άξονα. Δηλαδή, αν TT ssh είναι ο πίνακας του μετασχηματισμού αυτού που εφαρμόζεται στα σημεία (xx, yy) της εικόνας, τότε για τα νέα σημεία (xx, yy ) ισχύει: όπου xx yy = TT ssh xx (1.9) yy TT ssh = 1 cc xx (1.10) cc yy 1 Όταν cc xx = 0, cc yy 0, τότε τα σημεία του άξονα xx παραμένουν αμετάβλητα και τα σημεία του άξονα yy μετατοπίζονται κατά την ποσότητα cc yy xx. Όταν cc xx 0, cc yy = 0 ισχύει το αντίστροφο. Εικόνα 1.4 Στρέβλωση Αφινικός Μετασχηματισμός Μπορούμε να εφαρμόσουμε όλους τους προηγούμενους γεωμετρικούς μετασχηματισμούς σε μία εικόνα χρησιμοποιώντας μόνο ένα μοντέλο μετασχηματισμού. Ο μετασχηματισμός αυτός ονομάζεται αφινικός (affine) μετασχηματισμός και είναι η μια γενική μορφή μετασχηματισμού που περιλαμβάνει όλους παραπάνω μετασχηματισμούς. Το πλήθος των παραμέτρων του είναι 6 και εκφράζεται με την σχέση: xx yy = aa 11 aa 12 aa 21 aa 22 xx yy + bb 1 bb 2 (1.11) Επιλέγοντας κατάλληλα τις τιμές των παραμέτρων aa 11, aa 12, aa 21 και aa 22 μπορούμε να εφαρμόσουμε στην εικόνα οποιονδήποτε συνδυασμό περιστροφής, κλιμάκωσης και στρέβλωσης. Επιπλέον, με τις παραμέτρους bb 1 και bb 2 είναι δυνατή η μετατόπιση των σημείων της εικόνας. 5

30 Ο αφινικός μετασχηματισμός διατηρεί τις ευθείες, την παραλληλία μεταξύ αυτών και τις γωνίες. Ωστόσο, αν εφαρμοστεί στρέβλωση στην εικόνα, τότε οι γωνίες των ευθειών δεν διατηρούνται Ομογενείς Συντεταγμένες Ο αφινικός μετασχηματισμός και όλες οι ειδικές περιπτώσεις μετασχηματισμών που σχετίζονται με αυτόν μπορούν να περιγραφούν με έναν πίνακα μετασχηματισμού που χρησιμοποιεί το σύστημα των ομογενών συντεταγμένων. Το σύστημα αυτό βασίζεται στην χρήση μιας επιπλέον μεταβλητής. Έτσι, κάθε σημείο με καρτεσιανές συντεταγμένες (xx, yy) αναπαρίσταται ως (xx, yy, ww). Αν ww 0, τότε διαιρώντας κάθε συντεταγμένη με ww, το σημείο μπορεί να περιγραφεί ως (xx, yy, 1), όπου (xx, yy) είναι πλέον οι καρτεσιανές συντεταγμένες του ομογενούς σημείου. Με την χρήση του συστήματος των ομογενών συντεταγμένων, κάθε μετασχηματισμός συμπεριλαμβανομένου και της μετατόπισης (1.5) μπορεί να εκφραστεί με την χρήση ενός 3x3 πίνακα (στην περίπτωση των 2D εικόνων). Έτσι είναι πιο εύκολη η εφαρμογή των μετασχηματισμών, μειώνεται το υπολογιστικό κόστος και απλοποιείται ο συμβολισμός όλων των μετασχηματισμών με την χρήση ενός πίνακα [1],[3]. Συνεπώς, ο αφινικός μετασχηματισμός, χρησιμοποιώντας τις ομογενείς συντεταγμένες, παίρνει την εξής μορφή: xx aa 11 aa 12 δδxx xx yy = aa 21 aa 22 δδyy yy (1.12) όπου το διάνυσμα [δδδδ, δδyy] TT έχει ενσωματωθεί πλέον στον 3x3 πίνακα μετασχηματισμού. Με κατάλληλη επιλογή των παραμέτρων του πίνακα αυτού, μπορούμε να διατυπώσουμε και τις ειδικές περιπτώσεις του αφινικού μετασχηματισμού με ομογενείς συντεταγμένες ως εξής: Μετατόπιση Περιστροφή Κλιμάκωση Στρέβλωση 1 0 δδxx TT tttt = 0 1 δδyy (1.13) ccccccθθ ssssssθθ 0 TT rrrrrr = ssssssθθ ccccccθθ 0 (1.14) ss xx 0 0 TT ss = 0 ss yy 0 (1.15) cc xx 0 TT ssh = cc yy 1 0 (1.16)

31 1.2.9 Προβολικός Μετασχηματισμός Ο προβολικός (projective) μετασχηματισμός είναι μια πιο γενική κατηγορία που περιλαμβάνει τον αφινικό μετασχηματισμό. Χρησιμοποιείται κυρίως για την απεικόνιση σημείων (xx, yy, zz) μιας τρισδιάστατης (3D) σκηνής σε μία 2D εικόνα. Ο μετασχηματισμός αυτός χρησιμοποιεί τις ομογενείς συντεταγμένες και εκφράζεται ως εξής: xx aa 11 aa 12 αα 13 xx yy = aa 21 aa 22 αα 23 yy (1.17) 1 αα 31 αα Ο προβολικός μετασχηματισμός διατηρεί τις ευθείες τις 3D σκηνής στην 2D εικόνα, αλλά δεν διατηρεί απαραίτητα την παραλληλία αυτών Καμπυλόγραμμος Μετασχηματισμός Ο καμπυλόγραμμος (curved) μετασχηματισμός είναι αυτός που δεν διατηρεί τις γραμμές ευθείες, όταν εφαρμοστεί σε μία εικόνα. Σε αντίθεση με τους παραπάνω μετασχηματισμούς, αυτός δεν περιγράφεται με την μορφή ενός πίνακα, αλλά με μία πολυωνυμική μορφή που για την συντεταγμένη xx εκφράζεται ως εξής: II JJ xx = aa iiii xx ii yy jj ii jj (1.18) Εικόνα 1.5 Προβολικός Μετασχηματισμός όπου aa iiii είναι ένα διάνυσμα δύο στοιχείων που περιέχει τους συντελεστές για κάθε συντεταγμένη xx, yy και οι σταθερές II, JJ δηλώνουν την τάξη του πολυωνύμου. Το πλήθος των παραμέτρων aa iiii που χρησιμοποιούνται είναι ανάλογο της τάξης του πολυωνύμου με ανάλογη επίδραση στην πολυπλοκότητα και ακρίβεια του μετασχηματισμού. Αντίστοιχα, για την συντεταγμένη yy ισχύει: II JJ yy = bb iiii xx ii yy jj ii jj (1.19) 7

32 Σε αντίθεση με τους προηγούμενους μετασχηματισμούς που εφαρμόζονται καθολικά σε όλα τα σημεία της εικόνας, αυτή η κατηγορία μετασχηματισμών μπορεί να εφαρμοστεί και τοπικά, δηλώνοντας έτσι τοπικές παραμορφώσεις στην εικόνα. Οι μετασχηματισμοί αυτοί αναφέρονται, επίσης, ως μη άκαμπτοι (non-rigid) καθώς δεν διατηρούν το σχήμα των αντικειμένων που υπάρχουν σε μια εικόνα. 1.3 Αναδειγματοληψία Εικόνας Όπως είδαμε, ο γεωμετρικός μετασχηματισμός εφαρμόζεται στις συντεταγμένες (xx, yy) των εικονοστοιχείων της εικόνας και η εικόνα προβάλλεται σε ένα νέο σύστημα συντεταγμένων. Η διαδικασία αυτή ονομάζεται αναδειγματοληψία εικόνας (Image Resampling). Ο καθορισμός των φωτεινοτήτων στη νέα μετασχηματισμένη εικόνα μπορεί να γίνει με δύο τρόπους, με την έμπροσθεν προσέγγιση (forward approach) και την όπισθεν προσέγγιση (backward approach) Έμπροσθεν Προσέγγιση Στην έμπροσθεν προσέγγιση, σε κάθε ζεύγος συντεταγμένων (xx, yy) εφαρμόζεται ο γεωμετρικός μετασχηματισμός που ορίζεται με το μοντέλο ΤΤ και υπολογίζονται οι συντεταγμένες (xx, yy ) στη νέα εικόνα. Όμως, είναι πιθανόν οι νέες συντεταγμένες (xx, yy ) να είναι μη ακέραιοι αριθμοί, παρόλο που οι (xx, yy) είναι ακέραιοι αριθμοί, αφού προσδιορίζουν την θέση κάθε εικονοστοιχείου στο δισδιάστατο πλέγμα της εικόνας. Στην προσέγγιση αυτή, οι συντεταγμένες της μετασχηματισμένης εικόνας στρογγυλοποιούνται και μετατρέπονται σε ακεραίους αριθμούς. Το πρόβλημα της προσέγγισης αυτής είναι ότι λόγω της στρογγυλοποίησης, σε πολλά εικονοστοιχεία στη νέα εικόνα ανατίθενται περισσότερες από μία τιμές φωτεινότητας (overlapping) και σε κάποια δεν ανατίθενται καθόλου, με αποτέλεσμα να παρουσιάζονται κενά εικονοστοιχεία στην εικόνα [4]. Λόγω των προαναφερθέντων προβλημάτων, η προσέγγιση αυτή δεν χρησιμοποιείται Όπισθεν Προσέγγιση Στην όπισθεν προσέγγιση, θεωρούμε ότι η νέα εικόνα αποτελείται από ένα δισδιάστατο πλέγμα που ορίζει τις θέσεις των εικονοστοιχείων, όπως και στην αρχική εικόνα. Σε κάθε σημείο (xx, yy ) της νέας εικόνας, όπου xx, yy ακέραιοι αριθμοί, εφαρμόζεται ο αντίστροφος μετασχηματισμός TT 1 και υπολογίζεται το αντίστοιχο σημείο (xx, yy) της αρχικής εικόνας, όπου μπορεί να είναι μη ακέραιος αριθμός και να μην ανήκει στο πλέγμα της εικόνας. Ωστόσο, στην περίπτωση αυτή, γνωρίζουμε τις τιμές των εικονοστοιχείων της αρχικής εικόνας. Επομένως, χρησιμοποιώντας τις τιμές των εικονοστοιχείων αυτών που είναι γειτονικά στο (xx, yy), μπορούμε μέσω μίας μεθόδου παρεμβολής (interpolation) να υπολογίσουμε την τιμή στο σημείο (xx, yy) και, κατ επέκταση, στο σημείο (xx, yy ) του πλέγματος της μετασχηματισμένης εικόνας. Οι πιο γνωστές μέθοδοι παρεμβολής που χρησιμοποιούνται είναι η μέθοδος του κοντινότερου γείτονα (nearest neighbor), η διγραμμική παρεμβολή (bilinear interpolation) και η κυβική συνέλιξη (cubic convolution), οι οποίες παρουσιάζονται στην συνέχεια. Nearest Neighbor Η μέθοδος nearest neighbor βρίσκει το εικονοστοιχείο στο πλέγμα που είναι κοντινότερο στις μη ακέραιες συντεταγμένες (xx, yy). Αν uu είναι το ακέραιο μέρος της συντεταγμένης xx και vv το ακέραιο 8

33 μέρος της yy, τότε τα εικονοστοιχεία στην αρχική εικόνα με συντεταγμένες (uu, vv), (uu, vv + 1), (uu + 1, vv) και (uu + 1, vv + 1) περιέχουν το σημείο (xx, yy). Από αυτά τα εικονοστοιχεία το κοντινότερο στο (xx, yy) λαμβάνεται και η τιμή φωτεινότητας του ανατίθεται στο (xx, yy ) της μετασχηματισμένης εικόνας. Ουσιαστικά, πρόκειται για μια διαδικασία στρογγυλοποίησης, δηλαδή, η τιμή φωτεινότητας στο σημείο (rrccuussrr(xx), rrrrrrrrrr(yy)) ορίζεται ως η φωτεινότητα στο σημείο (xx, yy ) [2]. Η μέθοδος αυτή διατηρεί τις φωτεινότητες της αρχικής εικόνας στην μετασχηματισμένη. Επομένως, το ιστόγραμμα της εικόνας πριν και μετά τον μετασχηματισμό είναι σχεδόν όμοια. Ωστόσο, στη περίπτωση που ο μετασχηματισμός εισάγει περιστροφή στην εικόνα με γωνία που δεν είναι πολλαπλάσια των 90 ο, τότε δημιουργούνται σοβαρές αλλοιώσεις (aliasing) στην εικόνα, όπως φαίνεται στην εικόνα 1.6. Εικόνα 1.6 Αναδειγματοληψία με την μέθοδο nearest neighbor μετά από περιστροφή της εικόνας κατά 27 Bilinear Interpolation Στην μέθοδο της διγραμμικής παρεμβολής, η τιμή φωτεινότητας στην θέση (xx, yy) καθορίζεται από το σταθμισμένο άθροισμα των τεσσάρων γειτονικών του στοιχείου, που είναι τα σημεία (uu, vv), (uu, vv + 1), (uu + 1, vv) και (uu + 1, vv + 1) που αναφέραμε προηγουμένως. Σύμφωνα με τα παραπάνω, η τιμή φωτεινότητας ΙΙ στο σημείο (xx, yy) θα είναι: II(xx, yy) = ww uu,vv II(uu, vv) + ww uu,vv 1 II(uu, vv 1) + ww uu 1,vv II(uu 1, vv) (1.20) + ww uu 1,vv 1 II(uu 1, vv 1) όπου ww είναι το βάρος που δίνεται σε κάθε εικονοστοιχείο και η τιμή του είναι ανάλογη της απόστασης του εικονοστοιχείου από το σημείο (xx, yy). Δηλαδή, το κοντινότερο εικονοστοιχείο στο (xx, yy) θα έχει μεγαλύτερη συνεισφορά στον υπολογισμό της τιμής φωτεινότητας του. 9

34 (a) (b) Εικόνα 1.7 (a) Μέθοδος bilinear interpolation, (b) Αναδειγματοληψία με την μέθοδο bilinear interpolation μετά από περιστροφή της εικόνας κατά 27 Η μέθοδος αυτή δεν διατηρεί τις τιμές φωτεινοτήτων των εικονοστοιχείων στην μετασχηματισμένη εικόνα, αφού υπολογίζονται νέες τιμές για τα εικονοστοιχεία με βάση τις τιμές των γειτονικών τους. Συγκρίνοντας την εικόνα 1.7(b) με την 1.6(b), παρατηρούμε ότι το φαινόμενο aliasing έχει σχεδόν εξαφανιστεί. Ωστόσο, η μέθοδος αυτή εξομαλύνει την εικόνα για να αντιμετωπίσει αυτό το φαινόμενο, με αποτέλεσμα την απώλεια λεπτομερειών της εικόνας. Επομένως, η μέθοδος αυτή λειτουργεί ως ένα χαμηλοπερατό φίλτρο. Cubic Convolution Η μέθοδος cubic convolution υπολογίζει την τιμή φωτεινότητας του σημείου (xx, yy) ως ένα σταθμισμένο άθροισμα των φωτεινοτήτων των 16 γειτονικών του εικονοστοιχείων. Η μέθοδος αυτή εκτελείται ως μία 2D διαχωρίσιμη συνέλιξη. Πρώτα, εκτελείται μία 1D παρεμβολή κατά μήκος των γραμμών στην 4x4 γειτονιά του (xx, yy) καθορίζοντας έτσι τις τιμές φωτεινοτήτων στα σημεία (uu 2, yy), (uu 1, yy), (uu, yy) και (uu + 1, yy), όπως φαίνεται στην εικόνα 1.8(α). Μετά, άλλη μία 1D παρεμβολή εκτελείται κατά μήκος της yy για τον υπολογισμό της τιμής φωτεινότητας στο σημείο (xx, yy). Όπως και η μέθοδος bilinear interpolation, ούτε η μέθοδος cubic convolution διατηρεί τις τιμές των φωτεινοτήτων της αρχικής εικόνας στην μετασχηματισμένη. Στην εικόνα 1.8(b) φαίνεται το αποτέλεσμα της αναδειγματοληψίας εικόνας με την μέθοδο cubic convolution, ύστερα από την περιστροφή της εικόνας κατά 27. Παρατηρούμε ότι η μέθοδος αυτή καταφέρνει να μειώσει ακόμα περισσότερο το φαινόμενο aliasing στην εικόνα και θεωρείται ως η πιο ακριβής μέθοδος παρεμβολής σε σχέση με τις δύο προηγούμενες, όπου η μέθοδος nearest neighbor είναι η λιγότερο ακριβής. Ωστόσο, η μέθοδος cubic convolution, λόγω της υπολογιστικής πολυπλοκότητας είναι πιο αργή από τις προηγούμενες. Για αυτό το λόγο, η μέθοδος bilinear interpolation αποτελεί τον καλύτερο συμβιβασμό όσον αφορά την ακρίβεια και την υπολογιστική πολυπλοκότητα [2]. 10

35 (a) (b) Εικόνα 1.8 (a) Μέθοδος cubic convolution, (b) Αναδειγματοληψία με την μέθοδο cubic convolution μετά από περιστροφή της εικόνας κατά Μέθοδοι Ευθυγράμμισης Εικόνων Μια μέθοδος ευθυγράμμισης εικόνων χρησιμοποιείται για την εύρεση της γεωμετρικής παραμόρφωσης που έχει υποστεί η εικόνα προς ευθυγράμμιση με τελικό σκοπό την αντιστοίχιση της με την εικόνα αναφοράς. Για να γίνει αυτό, πρέπει πρώτα η μέθοδος να υπολογίσει τις παραμέτρους του μοντέλου του γεωμετρικού μετασχηματισμού που συνδέει την εικόνα αναφοράς με την μετασχηματισμένη εικόνα προς ευθυγράμμιση και να εφαρμόσει τον αντίστροφο μετασχηματισμό στην εικόνα προς ευθυγράμμιση για να ευθυγραμμιστεί με την εικόνα αναφοράς. Ωστόσο, είναι αρκετά δύσκολο να αναπτυχθεί μία καθολική μέθοδος που θα επιλύει όλα τα προβλήματα ευθυγράμμισης, λόγω της ποικιλομορφίας των εικόνων και των διάφορων ειδών των γεωμετρικών παραμορφώσεων [4]. Για αυτό το λόγο έχουν αναπτυχθεί πολλές μέθοδοι ευθυγράμμισης που εξαρτώνται από είδος των εικόνων, από την γεωμετρική παραμόρφωση, από το κριτήριο ευθυγράμμισης κτλ. Στην συνέχεια γίνεται μία αναφορά των μεθόδων που χρησιμοποιούνται για την επίλυση προβλημάτων ευθυγράμμισης Μέθοδος που βασίζεται σε χαρακτηριστικά σημεία Μία μέθοδος εξαγωγής χαρακτηριστικών (feature-based), για να καθορίσει την γεωμετρική απόκλιση μεταξύ των εικόνων και τελικά να τις ευθυγραμμίσει, δεν χρησιμοποιεί όλη την πληροφορία που υπάρχει στην εικόνα, αλλά βασίζεται στην ανίχνευση των σημαντικότερων χαρακτηριστικών της, όπως είναι οι ακμές, οι γωνίες, οι ευθείες κτλ. Η εύρεση του γεωμετρικού μετασχηματισμού γίνεται εφικτή με την αντιστοίχιση ή αλλιώς ταίριασμα (feature matching) των χαρακτηριστικών αυτών στις δύο εικόνες. Τα βήματα που ακολουθεί αυτή η μέθοδος παρουσιάζονται στη συνέχεια. Ανίχνευση Χαρακτηριστικών Σημείων Το πρώτο βήμα της μεθόδου στοχεύει στην ανίχνευση των σημαντικότερων χαρακτηριστικών (feature detection) κάθε εικόνας. Η ανίχνευση αυτή γίνεται με διάφορες τεχνικές και αλγορίθμους ή 11

36 μπορούν να δηλωθούν χειροκίνητα από τον χρήστη. Οι τεχνικές που χρησιμοποιούνται κυρίως είναι η μέθοδος SIFT [5], SURF [6], Harris Corner Detector [7], μετασχηματισμός Hough [8] κτλ. Πολλές φορές, πριν το βήμα ανίχνευσης των χαρακτηριστικών, είναι απαραίτητη μία προεπεξεργασία της εικόνας για την εξομάλυνση και αφαίρεση του θορύβου που θα συμβάλλει στην καλύτερη ανίχνευση αυτών των χαρακτηριστικών [6], [8]. Περιγραφή Χαρακτηριστικών Σημείων Στο δεύτερο βήμα, για κάθε σημείο που έχει ανιχνευθεί δημιουργείται ένα διάνυσμα το οποίο περιγράφει το σημείο αυτό και βασίζεται στα χαρακτηριστικά των γειτονικών του σημείων. Οι τεχνικές SIFT και SURF μπορούν να χρησιμοποιηθούν και για τον σκοπό αυτό. Η διαδικασία αυτή είναι γνωστή ως περιγραφή χαρακτηριστικών (feature description). Αντιστοίχιση Σημείων Τα διανύσματα ή περιγραφείς (descriptors) που δημιουργήθηκαν πριν, χρησιμοποιούνται για τον προσδιορισμό της αντιστοιχίας μεταξύ των χαρακτηριστικών σημείων των δύο εικόνων. Για κάθε σημείο της πρώτης εικόνας συγκρίνεται ο περιγραφέας του με κάθε περιγραφέα όλων των σημείων της δεύτερης εικόνας. Η σύγκριση γίνεται χρησιμοποιώντας την Ευκλείδεια απόσταση [6], [7]. Τα σημεία, οι περιγραφείς των οποίων απέχουν την μικρότερη απόσταση, δηλαδή είναι κοντινότεροι γείτονες, αντιστοιχούνται μεταξύ τους (feature matching). Υπολογισμός γεωμετρικού μετασχηματισμού Ο υπολογισμός των παραμέτρων του γεωμετρικού μετασχηματισμού είναι πλέον εφικτός, εφόσον οι αντιστοιχίσεις των σημείων μεταξύ των δύο εικόνων έχουν πλέον καθοριστεί. Στο σημείο αυτό αποφασίζεται το μοντέλο του γεωμετρικού μετασχηματισμού που θα χρησιμοποιηθεί για την εύρεση της γεωμετρικής απόκλισης των εικόνων. Οι παράμετροι του μοντέλου μπορούν να υπολογιστούν μέσω της μεθόδου ελαχίστων τετραγώνων χρησιμοποιώντας τον κατάλληλο αριθμό ζευγών σημείων, πχ στην περίπτωση του αφινικού μετασχηματισμού που έχει 6 παραμέτρους χρειάζεται να χρησιμοποιηθούν τουλάχιστον 3 ζεύγη σημείων. Ωστόσο, επειδή υπάρχει η πιθανότητα να υπάρχουν εσφαλμένες αντιστοιχίσεις (outliers) στο σύνολο των ζευγών σημείων, ο υπολογισμός του μοντέλου γίνεται συνήθως μέσω της επαναληπτικής μεθόδου RANSAC [6], [7], η οποία μέθοδος καταφέρνει να υπολογίζει τις παραμέτρους του μοντέλου αγνοώντας τους outliers. Εφαρμογή του γεωμετρικού μετασχηματισμού και ευθυγράμμιση των εικόνων Ο μετασχηματισμός που υπολογίστηκε στο προηγούμενο βήμα εφαρμόζεται αντίστροφα στην εικόνα προς ευθυγράμμιση και έτσι οι δύο εικόνες ευθυγραμμίζονται. Για τον σχηματισμό της μετασχηματισμένης εικόνας χρησιμοποιείται μία μέθοδος παρεμβολής Μέθοδος που βασίζεται στις φωτεινότητες των εικονοστοιχείων Σε αντίθεση με την προηγούμενη κατηγορία μεθόδων ευθυγράμμισης που βασίζεται στα σημαντικότερα χαρακτηριστικά της εικόνας, η μέθοδος intensity (area) based χρησιμοποιεί όλη την πληροφορία της εικόνας. Η μέθοδος αυτή που βασίζεται στις τιμές των φωτεινοτήτων των εικονοστοιχείων είναι μία επαναληπτική μέθοδος [9]. Τα βήματα της μεθόδου περιγράφονται παρακάτω. Αρχικά, ορίζεται το μοντέλο του γεωμετρικού μετασχηματισμού που θα χρησιμοποιηθεί και γίνεται μια αρχικοποίηση των παραμέτρων του. Το αρχικό μοντέλο μετασχηματισμού μπορεί 12

37 να οριστεί από μία άλλη μέθοδο, για παράδειγμα feature-based, του οποίου οι τιμές των παραμέτρων θα είναι πολύ κοντά στις βέλτιστες (coarse-to-fine μέθοδος) [10]. Μετά, αυτός ο αρχικός μετασχηματισμός εφαρμόζεται στην εικόνα προς ευθυγράμμιση. Στην συνέχεια, οι δύο εικόνες συγκρίνονται μεταξύ τους με μία μετρική ομοιότητας. Αν μοιάζουν τόσο ώστε το αποτέλεσμα της μετρικής είναι πάνω από ένα κατώφλι ή ισχύει μια συνθήκη τερματισμού, τότε η μέθοδος τερματίζει και το τρέχον μοντέλο του γεωμετρικού μετασχηματισμού περιέχει τις βέλτιστες παραμέτρους. Αν η μέθοδος δεν τερματίσει στο προηγούμενο βήμα, τότε μια συνάρτηση βελτιστοποίησης καθορίζει τις επόμενες τιμές των παραμέτρων του μετασχηματισμού. Ο μετασχηματισμός με τις νέες, πλέον, τιμές παραμέτρων εφαρμόζεται εκ νέου στην εικόνα και η διαδικασία συνεχίζεται μέχρι να βρεθούν εκείνες οι παράμετροι που μεγιστοποιούν την μετρική ομοιότητας. Η αποτελεσματικότητα της μεθόδου αυτής εξαρτάται προφανώς από την επιλογή της μετρικής ομοιότητας και της συνάρτησης βελτιστοποίησης. Μετρική ομοιότητας Η μετρική ομοιότητας λαμβάνει ως είσοδο τις δύο εικόνες και δηλώνει με έναν αριθμό πόσο όμοιες είναι με βάση τις τιμές των φωτεινοτήτων των εικονοστοιχείων. Επίσης, μπορεί να χρησιμοποιηθεί μετρική ανομοιότητας, για παράδειγμα η Ευκλείδια απόσταση, αντί για την μετρική ομοιότητας. Μία μετρική ομοιότητας είναι ο κανονικοποιημένος συντελεστής συσχέτισης (Normalized Correlation Coefficient, NCC) που ορίζεται ως: NNNNNN(ii, jj) = ii jj II(xx + ii, yy + jj)tt(yy + jj) ii jj II 2 (xx + ii, yy + jj) (1.21) και όσο πιο κοντά στο 1 είναι η τιμή του, τόσο πιο όμοιες θεωρούνται οι εικόνες. Επίσης, μία άλλη μετρική ομοιότητας που χρησιμοποιείται συχνά είναι ο συντελεστής Αμοιβαίας Πληροφορίας του Shannon (Shannon s Mutual Information) που για δύο εικόνες ΧΧ και ΥΥ ορίζεται ως: ΜΜΜΜ(ΧΧ, ΥΥ) = ΗΗ(ΧΧ) + ΗΗ(ΥΥ) ΗΗ(ΧΧ, ΥΥ) (1.22) όπου ΗΗ(ΧΧ), ΗΗ(ΥΥ) είναι οι εντροπίες των εικόνων ΧΧ, ΥΥ αντίστοιχα και ΗΗ(ΧΧ, ΥΥ) η από κοινού τους εντροπία. Η Αμοιβαία Πληροφορία είναι ένα μέτρο της στατιστικής εξάρτησης των δύο εικόνων και στόχος είναι η μεγιστοποίηση της μέσω της συνάρτησης βελτιστοποίησης. Συνάρτηση βελτιστοποίησης Η εύρεση του μεγίστου μία μετρικής ομοιότητας είναι πολυδιάστατο πρόβλημα βελτιστοποίησης, όπου ο αριθμός των διαστάσεων εξαρτάται από των αριθμό των παραμέτρων του γεωμετρικού μετασχηματισμού. Η εύρεση του μεγίστου, τοπικού ή ολικού καθώς και η ταχύτητα σύγκλισης στις βέλτιστες παραμέτρους εξαρτάται από την φύση της συνάρτησης βελτιστοποίησης. Στην πιο απλή περίπτωση, γίνεται μια εξαντλητική αναζήτηση στον χώρο των παραμέτρων για την εύρεση εκείνων που μεγιστοποιούν την μετρική ομοιότητας. Όμως, η μέθοδος αυτή απαιτεί μεγάλη υπολογιστική ισχύ και χρησιμοποιείται μόνο για τον υπολογισμό παραμέτρων μετατόπισης. 13

38 Άλλες πιο εξελιγμένες μέθοδοι που χρησιμοποιούνται είναι η μέθοδος Levenberg-Marquardt, Gradient Descent και η μέθοδος Newton [4] Μέθοδος που βασίζεται στον μετασχηματισμό Fourier Οι μέθοδοι αυτές χρησιμοποιούν τον μετασχηματισμό Fourier της εικόνας και εκμεταλλεύονται τις ιδιότητες του για να βρουν τις παραμέτρους του γεωμετρικού μετασχηματισμού απευθείας στον μετασχηματισμένο χώρο. Μια γνωστή μέθοδος που χρησιμοποιεί τον Δισδιάστατο Διακριτό Μετασχηματισμό Fourier (2D-DFT) είναι η μέθοδος συσχέτισης φάσης (phase correlation). Η μέθοδος αυτή βασίζεται στην ιδιότητα της χωρικής μετατόπισης του 2D-DFT. Έστω δύο εικόνες ff 1, ff 2 που διαφέρουν μεταξύ τους ως προς μία μετατόπιση ως εξής: ff 2 (xx, yy) = ff 1 (xx xx oo, yy yy oo ) (1.23) Σύμφωνα με την ιδιότητα της χωρικής μετατόπισης του 2D-DFT, οι μετασχηματισμοί Fourier των δύο εικόνων συνδέονται μεταξύ τους με την σχέση: FF 2 (ξξ, ηη) = ee jj2ππ(ξξxx oo+ηηyy oo ) FF 1 (ξξ, ηη) (1.24) Σύμφωνα με την παραπάνω σχέση (1.23), το πλάτος του 2D-DFT των δύο εικόνων είναι ίδιο, αλλά διαφέρον στην φάση. Στην συνέχεια, η μέθοδος υπολογίζει το από κοινού φάσμα ισχύος (crosspower spectrum) που ορίζεται ως: FF 1 (ξξ, ηη)ff 2 (ξξ, ηη) FF 1 (ξξ, ηη)ff 2 (ξξ, ηη) = eejj2ππ(ξξxx oo+ηηyy oo ) (1.25) όπου FF 2 είναι ο συζυγής του FF 2. Ο αντίστροφος μετασχηματισμός Fourier της ποσότητας (1.24) υπολογίζεται και το αποτέλεσμα είναι μία κρουστική συνάρτηση, η οποία είναι σχεδόν μηδέν παντού εκτός από το σημείο (xx oo, yy oo ), το οποίο ορίζει και την μετατόπιση μεταξύ των δύο εικόνων. Επομένως, βρίσκοντας το σημείο του μεγίστου του αντιστρόφου μετασχηματισμού Fourier της (1.24), μπορούμε να υπολογίσουμε τις παραμέτρους μετατόπισης. Η ύπαρξη, όμως, θορύβου και πολλών ανόμοιων χαρακτηριστικών στις εικόνες, για παράδειγμα αν η εικόνα προς ευθυγράμμιση δεν απεικονίζει ακριβώς την ίδια σκηνή ή έχει υποστεί μεγάλη γεωμετρική παραμόρφωση σε σχέση με την εικόνα αναφοράς, δυσχεραίνει τον εντοπισμό του μεγίστου σημείου. Ο υπολογισμός του 2D DFT με την χρήση του FFT, ωστόσο, κάνει την μέθοδο συσχέτισης φάσης να εκτελείται και να εντοπίζει τις παραμέτρους του μετασχηματισμού αρκετά γρήγορα, ακόμα και αν οι εικόνες προς ευθυγράμμιση έχουν μεγάλο μέγεθος. Η μέθοδος αυτή είχε προταθεί και χρησιμοποιηθεί αρχικά για την ευθυγράμμιση εικόνων που διέφεραν μόνο κατά μία μετατόπιση [4]. Όμως, στην συνέχεια υλοποιήθηκε μία νέα μέθοδος που χρησιμοποιεί την συσχέτιση φάσης για την εύρεση παραμέτρων περιστροφής, κλιμάκωσης και μετατόπισης μεταξύ δύο εικόνων που καλείται μετασχηματισμός Fourier-Mellin [11]. 14

39 1.4.4 Άλλες κατηγορίες μεθόδων ευθυγράμμισης Οι μέθοδοι ευθυγράμμισης μπορούν να ταξινομηθούν επίσης με στις παρακάτω κατηγορίες. Με βάση το είδος των εικόνων Οι εικόνες που επιθυμούμε να ευθυγραμμίσουμε μπορεί να έχουν ληφθεί από συστήματα λήψης που χρησιμοποιούν διαφορετικούς αισθητήρες. Στην περίπτωση αυτή, οι εικόνες λέμε ότι είναι πολυτροπικές (multimodal) και κατ επέκταση η διαδικασία ευθυγράμμισης ονομάζεται πολυτροπική. Ένα παράδειγμα multimodal εικόνων είναι μια αξονική τομογραφία και μια μαγνητική τομογραφία ενός ασθενούς, τις οποίες θέλουμε να ευθυγραμμίσουμε για να τις συγκρίνουμε και για την αποτελεσματικότερη παρακολούθηση της υγείας του. Στην περίπτωση που οι εικόνες έχουν ληφθεί με τον ίδιο αισθητήρα, τότε η διαδικασία ευθυγράμμισης τους ονομάζεται μονοτροπική (monomodal). Επίσης, οι εικόνες μπορεί να έχουν ληφθεί σε διαφορετικές χρονικές περιόδους (multitemporal εικόνες). Ένα παράδειγμα monomodal και multitemporal εικόνων είναι δύο δορυφορικές εικόνες που έχουν ληφθεί από τον ίδιο δορυφόρο σε διαφορετική χρονική στιγμή και η ευθυγράμμιση τους είναι σημαντική για την ανίχνευση αλλαγών στην επιφάνεια του εδάφους. Με βάση τον βαθμό αυτοματοποίησης της μεθόδου Ορισμένες μέθοδοι ευθυγράμμισης απαιτούν από τον χρήστη να αρχικοποιήσει κάποιες παραμέτρους, να επιλέξει αυτός τα χαρακτηριστικά που θα χρησιμοποιηθούν για την ευθυγράμμιση των εικόνων σε μια feature-based μέθοδο ή να καθορίσει τις παραμέτρους του αρχικού μοντέλου του γεωμετρικού μετασχηματισμού σε μία intensity-based μέθοδο. Ανάλογα με τον βαθμό αυτοματοποίησης, οι μέθοδοι ευθυγράμμισης διακρίνονται σε χειροκίνητες (manual), όπου ο χρήστης εκτελεί αυτός την ευθυγράμμιση μέσω ενός ειδικού λογισμικού, σε ημιαυτόματες (semiautomatic), όπου ο χρήστης καθορίζει αρχικές τιμές σε παραμέτρους ή επιλέγει αυτός τα χαρακτηριστικά σημεία κάθε εικόνας για την αντιστοίχιση τους και τέλος στις αυτόματες, οι οποίες δεν επιτρέπουν καμία αλληλεπίδραση με τον χρήστη. 1.5 Εφαρμογές Η ευθυγράμμιση εικόνων είναι μία τεχνική που χρησιμοποιείται ευρέως σε πολλές εφαρμογές. Η πιο γνωστή ίσως εφαρμογή της αφορά την δημιουργία πανοραμικών εικόνων, όπου η πανοραμική εικόνα δημιουργείται από μία ακολουθία διαδοχικών εικόνων που απεικονίζουν ένα μέρος της ίδιας σκηνής. Μια άλλη γνωστή εφαρμογή της ευθυγράμμισης είναι η δημιουργία εικόνων υψηλής δυναμικής περιοχής (High Dynamic Range, HDR), όπου στην περίπτωση αυτή ευθυγραμμίζονται εικόνες διαφορετικής τιμής έκθεσης (exposure value, EV) για την δημιουργία της της HDR εικόνας. Στην ιατρική απεικόνιση, η ευθυγράμμιση χρησιμοποιείται στην περίπτωση που θέλουμε να συγκρίνουμε ιατρικές εικόνες ενός ασθενούς που έχουν ληφθεί σε διαφορετικές χρονικές στιγμές για την καλύτερη παρακολούθηση της υγείας του ή την σύνθεση εικόνων από διαφορετικούς αισθητήρες, για παράδειγμα μια αξονικής και μιας μαγνητικής τομογραφίας για την εξακρίβωση της θεραπείας του. Επίσης, η ευθυγράμμιση εικόνων απαιτείται και στις δορυφορικές εικόνες για την ενσωμάτωση εικόνων σε γεωγραφικά πληροφοριακά συστήματα (Geographic Information Systems, GIS), για την πρόγνωση καιρού, για την δημιουργία δορυφορικών εικόνων μεγάλης ανάλυσης. Με την ευθυγράμμιση δορυφορικών εικόνων που έχουν ληφθεί σε διαφορετικές χρονικές στιγμές είναι 15

40 εφικτή η ανίχνευση αλλαγών και η παρακολούθηση των πόρων του εδάφους. Επιπλέον, η ευθυγράμμιση χρησιμοποιείται και στην υπολογιστική όραση για τον εντοπισμό στόχου [4]. 16

41 Κεφάλαιο 2 Δορυφορική Απεικόνιση 2.1 Εισαγωγή Η δορυφορική απεικόνιση είναι μία μορφή τηλεπισκόπησης (remote sensing) όπου η πληροφορία σχετικά με ένα γεγονός ή φαινόμενο αποκτάται από μία απομακρυσμένη τοποθεσία, με ένα όργανο καταγραφής, για παράδειγμα με ένα δορυφόρο ή αεροπλάνο, χωρίς την φυσική αλληλεπίδραση του οργάνου μέτρησης με το παρατηρούμενο αντικείμενο [12]. Οι δορυφόροι συλλέγουν εικόνες της Γης ή άλλων πλανητών και λειτουργούν υπό την εποπτεία κυβερνήσεων, οργανισμών και διαφόρων εταιρειών ανά τον κόσμο. Από την δεκαετία του 1960 μέχρι και σήμερα, η επιστήμη των τεχνητών δορυφόρων έχει σημειώσει μεγάλη ανάπτυξη και η χρήση τους έχει αυξηθεί σημαντικά. Μέχρι σήμερα έχουν τεθεί σε τροχιά γύρω από τον πλανήτη μας χιλιάδες τεχνητοί δορυφόροι. Ωστόσο, οι περισσότεροι από αυτούς είναι παλαιότερης τεχνολογίας και δεν χρησιμοποιούνται πλέον. Οι εικόνες που μπορούν να συλλέξουν οι δορυφόροι αποτελούν ένα σημαντικό εργαλείο για την καλύτερη παρακολούθηση των πόρων της Γης και την εκμετάλλευση τους από τους ανθρώπους, για την παρακολούθηση της εξέλιξης του καιρού στην μετεωρολογία και την προειδοποίηση για έντονα καιρικά φαινόμενα. Πέρα από τους επιστημονικούς σκοπούς, οι δορυφόροι συλλέγουν εικόνες και για στρατιωτικούς σκοπούς, για παράδειγμα για κατασκοπεία. Επομένως, λόγω της μεγάλης πληθώρας των εφαρμογών των 17

42 δορυφορικών εικόνων είναι αναγκαία η επεξεργασία τους και η ανάλυση τους από ειδικές εφαρμογές τηλεπισκόπησης. 2.2 Λήψη Δορυφορικών Εικόνων Ηλεκτρομαγνητικό φάσμα Η λήψη εικόνων από τους δορυφόρους γίνεται με την χρήση ειδικών αισθητήρων που βρίσκονται πάνω σε αυτούς. Οι αισθητήρες συλλέγουν μέρος της ηλεκτρομαγνητικής ακτινοβολίας που ανακλάται από την επιφάνεια της Γης. Πιο συγκεκριμένα, οι αισθητήρες είναι ευαίσθητοι σε ακτινοβολία που αντιστοιχεί σε συγκεκριμένα τμήματα του ηλεκτρομαγνητικού φάσματος. Τα τμήματα αυτά ονομάζονται φασματικές ζώνες. Εικόνα 2.1 Ηλεκτρομαγνητικό Φάσμα [13] Τα ηλεκτρομαγνητικά κύματα ορίζονται στο ηλεκτρομαγνητικό φάσμα με βάσει το μήκος κύματος τους ή την συχνότητά τους. Το ηλεκτρομαγνητικό φάσμα εκτείνεται θεωρητικά από σχεδόν μηδενικές έως άπειρες συχνότητες. Οι ζώνες στις οποίες διαχωρίζεται το ηλεκτρομαγνητικό φάσμα κατά αύξουσα συχνότητα ή φθίνων μήκος κύματος είναι: Ραδιοκύματα (0-300 MHz): Έχουν πολύ χαμηλή ενέργεια φωτονίων που φθάνει μέχρι τα 10-6 ev και χρησιμοποιούνται κατά κόρον στις τηλεπικοινωνίες. Μικροκύματα (300 MHz GHz): Η ενέργεια των φωτονίων τους κυμαίνεται από 10-6 έως 10-3 ev και αποτελούν και αυτά τμήμα των ραδιοκυμάτων. Χρησιμοποιούνται επίσης στις τηλεπικοινωνίες. Τα μικροκύματα χωρίζονται σε επιμέρους ζώνες οι οποίες σε σειρά αύξουσας συχνότητας είναι: L, S, C, X, K u, K, K a, Q, U, V, W, F και D. Υπέρυθρη ακτινοβολία (300 GHz THz): Η ενέργεια των φωτονίων της κυμαίνεται από 10-3 έως 1,6 ev. Εξαιτίας της θερμότητας, όλα τα σώματα εκπέμπουν αυτού του είδους την ακτινοβολία και αυτό κάνει την υπέρυθρη ακτινοβολία να έχει πολλές εφαρμογές στην αρχαιολογία, τη γεωργία, τη γεωλογία, την οικολογία κτλ. Η υπέρυθρη ακτινοβολία χωρίζεται σε επιμέρους ζώνες, από τις οποίες αυτές που χρησιμοποιούνται ευρέως στην τηλεπισκόπηση είναι: το εγγύς υπέρυθρο ( THz), το μικρού μήκους κύματος υπέρυθρο ( THz) και το θερμικό υπέρυθρο ( THz). Ορατό φως (400 THz THz): Είναι μια αρκετά μικρή ζώνη ακτινοβολίας στην οποία είναι ευαίσθητο το σύστημα όρασης ζωντανών οργανισμών. Επιπλέον, το ορατό φως αποτελείται από επιμέρους μικρότερες ζώνες τις οποίες μπορεί να διακρίνει το ανθρώπινο μάτι ως διαφορετικά χρώματα. Η ενέργεια των φωτονίων κυμαίνεται από 1,6 έως 3,2 ev. 18

43 Υπεριώδης ακτινοβολία (800 THz Hz): Εκπέμπεται από σώματα τα οποία είναι πολύ θερμά, όπως τα άστρα και είναι επιβλαβής για τους ζωντανούς οργανισμούς ιδιαίτερα τους καλοκαιρινούς μήνες. Η ενέργεια των φωτονίων της κυμαίνεται από 3 ev έως 2000 ev. Ακτινοβολία X ( Hz Hz): Τα φωτόνια της έχουν ενέργεια που κυμαίνεται από 1200 ev έως 2, ev. Η ακτινοβολία X είναι ιονίζουσα και είναι επικίνδυνη για τους ζωντανούς οργανισμούς. Χρησιμοποιείται στην Ιατρική για την δημιουργία της ακτινογραφίας και στην επιστήμη της Φυσικής και της Χημείας για την δημιουργία κρυσταλλογραφίας. Ακτινοβολία γ ( Hz Hz): Είναι ακτινοβολία πολύ υψηλής συχνότητας με ενέργεια φωτονίων από 10 5 ev έως 10 7 ev. Η ακτινοβολία αυτή παράγεται από ραδιενεργούς πυρήνες και από αστέρια στο διάστημα. Κοσμική Ακτινοβολία ( Hz - ): Η ακτινοβολία αυτή αποτελείται από σωματίδια με πολύ υψηλή ενέργεια και παράγεται στο διάστημα. Κύρια πηγή της είναι οι υπερκαινοφανείς αστέρες που απελευθερώνουν τεράστια ποσά ενέργειας Παθητικά και Ενεργά Συστήματα Λήψης Τα συστήματα λήψης διαχωρίζονται ανάλογα με τον τρόπο λήψης των εικόνων από τους αισθητήρες σε παθητικά και ενεργά [13]. Οι παθητικοί αισθητήρες συλλέγουν την ακτινοβολία που ανακλάται ή εκπέμπεται από ένα αντικείμενο ή τις γύρω περιοχές χρησιμοποιώντας οπτικά συστήματα, όπως φωτογράφιση με φιλμ ή μία ψηφιακή κάμερα στην απλούστερη περίπτωση. Η πιο κοινή πηγή ακτινοβολίας που συλλέγουν οι αισθητήρες αυτοί είναι το φως του Ήλιου. Οι αισθητήρες αυτοί καταγράφουν πληροφορία κυρίως από τις φασματικές ζώνες του ορατού φωτός, του εγγύς και του μικρού μήκους κύματος υπέρυθρου. Εικόνα 2.2 Παθητική Λήψη Από την άλλη μεριά, οι ενεργοί αισθητήρες εκπέμπουν τα ίδια ακτινοβολία με σκοπό να εντοπίσουν συγκεκριμένα αντικείμενα ή περιοχές. Η ακτινοβολία αυτή ανακλάται στην επιφάνεια και καταγράφεται από τους αισθητήρες. Η χρονική καθυστέρηση μεταξύ της εκπομπής της ακτινοβολίας από τον αισθητήρα και της λήψης της ανακλώμενης από το αντικείμενο στόχο ακτινοβολίας καθορίζει την τοποθεσία, την ταχύτητα και την κατεύθυνση του στόχου. Δύο συστήματα καταγραφής που χρησιμοποιούν ενεργούς αισθητήρες είναι τα RADAR (Radio Detection 19

44 And Ranging), τα οποία εκπέμπουν στην περιοχή των μικροκυμάτων και LiDAR (Light Detection And Ranging), που εκπέμπουν παλμική ακτινοβολία λέιζερ Χαρακτηριστικά αισθητήρων Κάθε αισθητήρας σχεδιάζεται με τέτοιο τρόπο ώστε να ανιχνεύει και να συλλέγει εικόνες μόνο για συγκεκριμένα χαρακτηριστικά του αντικειμένου που παρατηρεί. Τα χαρακτηριστικά εκείνα που καθορίζουν το είδος της πληροφορίας που απαιτείται οι αισθητήρες να συλλέγουν είναι η χωρική, η φασματική, η ραδιομετρική και χρονική διακριτική ικανότητα των αισθητήρων. Με τον όρο διακριτική ικανότητα (resolution) εννοείται η μικρότερη μονάδα λεπτομέρειας που μπορεί να μετρήσει ο αισθητήρας [13]. Εικόνα 2.3 Ενεργή Λήψη Χωρική (Spatial) διακριτική ικανότητα: Η χωρική διακριτική ικανότητα δηλώνει πόσα μέτρα στην επιφάνεια της Γης αντιστοιχούν σε ένα εικονοστοιχείο. Δηλαδή, τα εικονοστοιχεία αντιστοιχούν σε τετραγωνικές περιοχές στην επιφάνεια της Γης με πλευρά μήκους από 1 έως μέτρα. Για παράδειγμα, αν η χωρική διακριτική ικανότητα ενός αισθητήρα είναι 30 μέτρα ανά εικονοστοιχείο, τότε ο αισθητήρας θα μπορεί να προβάλλει ευκρινώς στην εικόνα αντικείμενα που απέχουν 30 μέτρα απόσταση το ένα από το άλλο. Φασματική (Spectral) διακριτική ικανότητα: Η φασματική διακριτική ικανότητα ορίζει το μήκος κύματος ή τις ζώνες συχνοτήτων του φάσματος της ηλεκτρομαγνητικής ακτινοβολίας που συλλέγει ο αισθητήρας. Ανάλογα με το πλήθος ζωνών συχνοτήτων που ανιχνεύει ο αισθητήρας οι εικόνες ταξινομούνται στις εξής κατηγορίες: Παγχρωματικές (panchromatic): Ο αισθητήρας χρησιμοποιεί μία ζώνη συχνοτήτων μεγάλου εύρους και συλλέγει όλες εκείνες τις περιοχές του ηλεκτρομαγνητικού φάσματος που ορίζει περιέχονται στην ζώνη αυτή. Συνήθως χρησιμοποιείται η ζώνη συχνοτήτων του ορατού φωτός. Επειδή για τον σχηματισμό της εικόνας χρησιμοποιούνται όλα τα χρώματα του ορατού φωτός, η εικόνα αυτή ονομάζεται παγχρωματική και είναι ασπρόμαυρη. Πολυφασματικές (multispectral): Το σύστημα λήψης χρησιμοποιεί από 4 έως 15 φασματικές ζώνες. Για κάθε ζώνη υπάρχει ένας αισθητήρας που είναι ευαίσθητος στην ακτινοβολία με μήκος κύματος που ορίζει η ζώνη συχνοτήτων. Η τελική πολυφασματική εικόνα αποτελείται από τόσα επίπεδα όσες είναι και οι ζώνες 20

45 συχνοτήτων. Ουσιαστικά, η εικόνα σε κάθε επίπεδο είναι μια ασπρόμαυρη εικόνα που προβάλλει την ληφθείσα από τον αισθητήρα ακτινοβολία με το αντίστοιχο μήκος κύματος που ορίζει η κάθε ζώνη. Υπερφασματικές (hyperspectral): Σε αντίθεση με τις πολυφασματικές, το ηλεκτρομαγνητικό φάσμα τεμαχίζεται σε περισσότερες στενότερες φασματικές ζώνες, με αποτέλεσμα, το σύστημα λήψης να χρησιμοποιεί εκατοντάδες ζώνες και η τελική υπερφασματική εικόνα να αποτελείται από πάρα πολλά επίπεδα. Η ενέργεια ανά εικονοστοιχείο στις παγχρωματικές εικόνες είναι μεγάλη διότι προέρχεται από μια ζώνη συχνοτήτων του ηλεκτρομαγνητικού φάσματος με μεγάλο εύρος. Επομένως, μπορούν να ανιχνεύουν διαφορές στην φωτεινότητα εύκολα και για αυτό τον λόγο έχουν λεπτή χωρική διακριτική ικανότητα, για παράδειγμα 5 μέτρα ανά εικονοστοιχείο. Αντίθετα, στις πολυφασματικές και υπερφασματικές εικόνες, αν χρησιμοποιηθεί η ίδια χωρική διακριτική ικανότητα, η ενέργεια ανά εικονοστοιχείο αναμένεται να είναι αρκετά μικρή σε κάθε επιμέρους παγχρωματική εικόνα επειδή έχει προέλθει από πολύ στενή ζώνη συχνοτήτων και δεν θα μπορεί ο αισθητήρας να ανιχνεύσει διαφορές στην φωτεινότητα. Άρα, η χωρική διακριτική ικανότητα του κάθε αισθητήρα στις πολυφασματικές εικόνες πρέπει να είναι πιο χονδροειδής, για παράδειγμα 30 μέτρα ανά εικονοστοιχείο. Έτσι, η ενέργεια ανά εικονοστοιχείο θα είναι μεγαλύτερη, αφού για τον υπολογισμό της λαμβάνεται υπόψιν μεγαλύτερη επιφάνεια της Γης για κάθε εικονοστοιχείο. Ραδιομετρική (radiometric) διακριτική ικανότητα: Η ραδιομετρική διακριτική ικανότητα καθορίζει την ικανότητα του αισθητήρα να ξεχωρίσει αλλαγές στην ακτινοβολία που συλλέγει. Όσο πιο λεπτή είναι, τόσο πιο ευαίσθητος είναι ο αισθητήρας σε μικρές μεταβολές τις λαμβανόμενης ακτινοβολίας. Η ραδιομετρική διακριτική ικανότητα ορίζεται με bits, με τιμές που κυμαίνονται από 8 έως 14 bits που αντιστοιχούν σε 256 έως επίπεδα φωτεινοτήτων σε κάθε ανιχνεύσιμη ζώνη συχνοτήτων του ηλεκτρομαγνητικού φάσματος. Χρονική (temporal) διακριτική ικανότητα: Η χρονική διακριτική ικανότητα ορίζει την συχνότητα συλλογής δεδομένων μιας συγκεκριμένης περιοχής από τον δορυφόρο. Η τιμή του χαρακτηριστικού αυτού είναι καθοριστική για την παρακολούθηση μιας αποψίλωσης δέντρων σε μια περιοχή ή όταν απαιτείται η λήψη πολλών εικόνων διαφορετικής χρονικής περιόδου για την σύνθεση μιας τελικής εικόνας. Επίσης, με την λήψη εικόνων σε διαφορετικές χρονικές στιγμές επιλύεται και το πρόβλημα της νεφοκάλυψης, δηλαδή αν τύχει την χρονική στιγμή που ο δορυφόρος συλλέγει μία εικόνα μιας περιοχής με έντονη συννεφιά, τότε αυτή η εικόνα δεν παρέχει σχεδόν καθόλου πληροφορία, παρά μόνο για μετεωρολογικούς λόγους. Έτσι, υπάρχει η πιθανότητα κάποια άλλη χρονική στιγμή να συλλεχθεί μία εικόνα με λιγότερη ή καθόλου συννεφιά. Ένα ακόμα χαρακτηριστικό των αισθητήρων είναι ο λόγος σήματος προς θόρυβο ( Signal to Noise Ratio, SNR) που ορίζει την ισχύ του σήματος πληροφορίας, που στην προκείμενη περίπτωση είναι η χρήσιμη λαμβανόμενη ακτινοβολία ως προς την ισχύ του θορύβου που λαμβάνει ο αισθητήρας. Όσο πιο μεγάλο το SNR, τόσο πιο λιγότερος είναι ο θόρυβος σε σχέση με το σήμα πληροφορίας. Αν η ισχύς του θορύβου είναι αρκετά υψηλή σε σχέση με την ισχύ του σήματος πληροφορίας, τότε το SNR έχει χαμηλή τιμή και τα δεδομένα που έχουμε συλλέξει δεν παρέχουν μία καλή αναπαράσταση των παρατηρούμενων αντικειμένων. Για ένα δεδομένο μήκος κύματος λλ, το SNR είναι μια συνάρτηση της χωρικής και της φασματικής ανάλυσης και του δείκτη ανιχνευσιμότητας του αισθητήρα. Πιο συγκεκριμένα, το SNR ορίζεται ως: SSSSSS λλ = DD λλ ββ 2 (ΗΗ VV) 1 2ΔΔ λλ LL λλ (2.1) 21

46 όπου, DD λλ είναι ο δείκτης ανιχνευσιμότητας του αισθητήρα σε μήκος κύματος λλ, ββ το πεδίο θέασης, ΗΗ, VV το υψόμετρο στο οποίο πετά ο δορυφόρος και η ταχύτητα του αντίστοιχα, ΔΔ λλ η φασματική ανάλυση του αισθητήρα και LL λλ η φασματική ακτινοβολία των χαρακτηριστικών του εδάφους Μηχανισμοί Σάρωσης Ένα χαρακτηριστικό που κάνει τα δορυφορικά συστήματα λήψης να ξεχωρίζουν μεταξύ τους είναι ο μηχανισμός σάρωσης της επιφάνειας της Γης. Οι περισσότεροι δορυφόροι που χρησιμοποιούνται για λήψη εικόνων της Γης χρησιμοποιούν δύο μηχανισμούς λήψης, την κατά πλάτος και κατά μήκος της πορείας του δορυφόρου σάρωση [13]. Κατά πλάτος σάρωση (across - track scanning) Οι αισθητήρες που χρησιμοποιούν την κατά πλάτος σάρωση, διαθέτουν περιστρεφόμενους καθρέπτες οι οποίοι σαρώνουν την επιφάνεια της Γης από την μία πλευρά της πλατφόρμας του δορυφόρου ως την άλλη, ορίζοντας έτσι γραμμές σάρωσης. Το πλάτος της επιφάνειας, και κατ επέκταση της εικόνας (swath width), που θα σαρωθεί εξαρτάται από την στιγμιαία γωνία θέασης του καθρεπτών (Instantaneous Field Of View, IFOV). Καθώς ο δορυφόρος κινείται μπροστά, διαδοχικές σαρώσεις λαμβάνονται σχηματίζοντας μια ακολουθία από συνεχόμενες στενές λωρίδες. Συνεπώς, ο σαρωτής λαμβάνει συνεχώς την ανακλώμενη από την επιφάνεια της Γης ακτινοβολία σχηματίζοντας με αυτό τον τρόπο μία δισδιάστατη εικόνα. Η ανακλώμενη ακτινοβολία κατά την λήψη της από τον καθρέπτη διαχωρίζεται σε συνιστώσες διαφορετικού μήκους κύματος, όπου με μία συστοιχία αισθητήρων, που ο καθένας είναι ευαίσθητος σε συγκεκριμένο μήκος κύματος της ηλεκτρομαγνητικής ακτινοβολίας, υπολογίζεται η εικόνα σε διαφορετικά μήκη κύματος. Ο μηχανισμός αυτός επειδή προσομοιάζει την τεχνική σκουπίσματος με αχυρόβουρτσα, έχει επικρατήσει να ονομάζεται στην αγγλική ορολογία ως whisk-broom scanning. Εικόνα 2.4 Whisk-broom scanning [14] 22

47 Κατά μήκος σάρωση (along-track scanning) Σε αντίθεση με την κατά πλάτος σάρωση, η κατά μήκος σάρωση δεν χρησιμοποιεί περιστρεφόμενους καθρέπτες, αλλά διαθέτει μία συστοιχία αισθητήρων, που είναι συσκευές συζευγμένου φορτίου (Charged Coupled Devices, CCDs), που συλλέγουν όλη την ακτινοβολία που δέχονται κατά μήκος της πορείας του δορυφόρου. Επειδή η συστοιχία των αισθητήρων ωθείται προς τα μπρος κατά την πορεία του δορυφόρου για συνεχόμενη σάρωση, ο μηχανισμός αυτός σάρωσης ονομάζεται με τον όρο push-broom scanning. Για κάθε μήκος κύματος χρησιμοποιείται διαφορετική συστοιχία αισθητήρων. Όλες οι συστοιχίες είναι τοποθετημένες έτσι ώστε κάθε στιγμή να βλέπουν την ίδια γραμμή σάρωσης. Καθώς ο δορυφόρος κινείται μπροστά, καταγράφονται διαδοχικές σαρώσεις οι οποίες δημιουργούν την τελική δισδιάστατη εικόνα. Εικόνα 2.5 Push-broom scanning [14] Χαρακτηριστικά δορυφορικής τροχιάς Η τροχιά που θα επιλεγεί να ακολουθεί ένας δορυφόρος εξαρτάται από πολλές παραμέτρους. Οι παράμετροι που θα πρέπει να ληφθούν υπόψιν είναι τα χαρακτηριστικά των αισθητήρων, η συχνότητα ανάκτησης δεδομένων από τους αισθητήρες, η απαιτούμενη χωρική ανάλυση και το είδος του φαινομένου που θα παρατηρηθεί. Οι δύο πιο γνωστές τροχιές που χρησιμοποιούνται είναι η γεωσύγχρονη (geosynchronous) τροχιά και η πολική (polar) τροχιά [13]. Στην γεωσύγχρονη τροχιά ο δορυφόρος κινείται με την ίδια γωνιακή ταχύτητα με την οποία περιστρέφεται και η Γη. Οποιαδήποτε κλίση και αν έχει η τροχιά του δορυφόρου, αυτός συγχρονίζεται με την περιστροφή της Γης, η οποία είναι με ακρίβεια δευτερολέπτων 23 ώρες, 56 λεπτά και 4,03 δευτερόλεπτα. Ένας παρατηρητής στο έδαφος θα έβλεπε έναν γεωσύγχρονο δορυφόρο σε ένα σημείο σταθερό χωρίς να κινείται. Μια ειδική κατηγορία της γεωσύγχρονης τροχιάς είναι η γεωστατική (geostationary), όπου σε αντίθεση με την γεωσύγχρονη, ο δορυφόρος κινείται πάντα πάνω από τον ισημερινό της Γης σε ύψος χιλιόμετρα [15]. Ένας δορυφόρος με πολική τροχιά ταξιδεύει πάνω από τον βόρειο προς το νότιο πόλο της Γης. Καθώς η γη περιστρέφεται και ο δορυφόρος κινείται με την πολική τροχιά, μπορεί να παρατηρήσει όλη την επιφάνεια της Γης μέσα στο χρονικό διάστημα των 24 ωρών. Θα πρέπει να σημειωθεί ότι καθώς ο άξονας περιστροφής της Γης είναι ελλειπτικός, η πολική τροχιά δεν διέρχεται 23

48 ακριβώς πάνω από τους πόλους. Όταν ένας πολικής τροχιάς δορυφόρος βρίσκεται πάνω από μία περιοχή την ίδια τοπική ώρα κάθε φορά τότε συγχρονίζεται με την κίνηση του Ήλιου και η τροχιά του ονομάζεται ηλιοσύγχρονη (sun-synchronous). Η επιλογή της τοπικής ώρας που θα πρέπει ένας δορυφόρος πολικής και ηλιοσύγχρονης τροχιάς να είναι πάνω από μία συγκεκριμένη περιοχή εξαρτάται από την λειτουργία και τα χαρακτηριστικά που πρέπει να καταγράψει το σύστημα λήψης των αισθητήρων. Για παράδειγμα, οι ερευνητές που παρακολουθούν το έδαφος της Γης για να μελετήσουν τις συνέπειες της αποψίλωσης των δασών, για την παρακολούθηση ηφαιστειακών δραστηριοτήτων κτλ, προτιμούν να συλλέγουν δεδομένα μέσω των δορυφόρων πρωινές ώρες γιατί η νεφοκάλυψη είναι μικρότερη. Σε αντίθεση, οι ερευνητές που μελετούν την ατμόσφαιρα παίρνουν παρατηρήσεις πιο αργά το πρωί που θα υπάρχουν περισσότερα σύννεφα. Αντίθετα, οι γεωστατικοί δορυφόροι επειδή βρίσκονται σε σταθερό σημείο και παρατηρούν συνεχώς την ίδια γεωγραφική περιοχή χρησιμοποιούνται κυρίως για τηλεπικοινωνιακούς και μετεωρολογικούς σκοπούς. 2.3 Δορυφορικά Συστήματα και Προγράμματα Στις επόμενες υποενότητες αναφέρονται πληροφορίες για ορισμένα από τα πιο γνωστά δορυφορικά συστήματα και προγράμματα παρατήρησης της Γης Πρόγραμμα Landsat Το πρόγραμμα Landsat είναι το πιο μακροβιότερο πρόγραμμα για την απόκτηση εικόνων της Γης από το διάστημα. Στα πλαίσια του προγράμματος έχουν εκτοξευθεί μέχρι σήμερα οκτώ δορυφόροι. Ο πρώτος εκτοξεύθηκε από την Εθνική Υπηρεσία Αεροναυπηγικής και Διαστήματος (National Aeronautics and Space Administration, NASA) το 1972 με την αρχική ονομασία ERTS-1 (Earth Resources Technology Satellite) που αργότερα μετονομάστηκε σε Landsat 1. Μάλιστα, ο πέμπτος στη σειρά δορυφόρος του προγράμματος, Landsat 5, που εκτοξεύθηκε το 1984 κατέγραφε και μετέδιδε δεδομένα υψηλής ποιότητας της επιφάνειας της Γης για 28 χρόνια και 10 μήνες, θέτοντας ένα παγκόσμιο ρεκόρ Guinness ως ο δορυφόρος με την μακροβιότερη λειτουργία για την παρατήρηση της Γης. Ο έκτος στην σειρά δορυφόρος, Landsat 6, απέτυχε να μπει σε τροχιά γύρω από την Γη το 1993, όπου και καταστράφηκε λίγο μετά την εκτόξευση του. Ο δορυφόρος που εκτοξεύθηκε πιο πρόσφατα και συγκεκριμένα το 2013 είναι ο Landsat 8, ο οποίος μαζί με τον Landsat 7 είναι οι μοναδικοί ενεργοί δορυφόροι του προγράμματος που μέχρι σήμερα καταγράφουν και μεταδίδουν δεδομένα [16]. Οι πρώτοι τρεις δορυφόροι του προγράμματος χρησιμοποιούσαν ως κύριο όργανο καταγραφής έναν πολυφασματικό σαρωτή (Multispectral Scanner, MSS) που κατέγραφε δεδομένα σε τέσσερις φασματικές ζώνες από το ορατό πράσινο έως το κοντινό υπέρυθρο μήκος κύματος με χωρική ανάλυση 79 μέτρα. Οι Landsat 4 και Landsat 5 χρησιμοποίησαν επιπλέον και έναν θεματικό χαρτογράφο (Thematic Mapper, TM) ο οποίος πρόσθεσε επιπλέον φασματικές ζώνες και βελτίωσε την χωρική ανάλυση στα 30 μέτρα στις ζώνες του ορατού, εγγύς υπέρυθρου και μικρού μήκους κύματος υπέρυθρου και 120 μέτρα στην ζώνη του θερμικού υπέρυθρου. Οι Landsat 7 και Landsat 8 είναι δορυφόροι ηλιοσύγχρονης τροχιάς που κινούνται από τον βόρειο προς το νότιο πόλο της Γης και πετούν σε ύψος 705 χιλιομέτρων από την επιφάνεια. Κάθε μία σκηνή που καταγράφουν έχει πλάτος και μήκος 185 χιλιόμετρα. Κάθε ένας από τους δύο δορυφόρους 24

49 ολοκληρώνει μια πλήρη τροχιά σε 99 λεπτά και κάθε μέρα πραγματοποιεί 14 πλήρεις τροχιές. Η χρονική διακριτική ικανότητα τους είναι 16 ημέρες. Ο Landsat 7 χρησιμοποιεί έναν βελτιωμένο θεματικό χαρτογράφο (Enhanced Thematic Mapper Plus, ETM+) με χωρική ανάλυση 30 μέτρων στο ζώνες του ορατού, εγγύς υπέρυθρου και μικρού μήκους κύματος υπέρυθρου, 60 μέτρων στο θερμικό υπέρυθρο και 15 μέτρων στην παγχρωματική ζώνη. Ο Landsat 8 μεταφέρει δύο όργανα καταγραφής, τον αισθητήρα θερμικού υπέρυθρου (Thermal Infrared Sensor, TIRS) και τον Operational Land Imager (OLI) τεχνολογίας push-broom. O TIRS διαθέτει δύο φασματικές ζώνες στο θερμικό υπέρυθρο μήκος κύματος και ο OLI συλλέγει δεδομένα με χωρική ανάλυση 30 μέτρα στο ορατό, κοντινό υπέρυθρο και μικρού μήκους κύματος υπέρυθρο και με 15 μέτρα στην παγχρωματική ζώνη. Τα δεδομένα που καταγράφουν οι δορυφόροι του προγράμματος Landsat χρησιμοποιούνται σε ένα μεγάλο εύρος εφαρμογών, όπως στην γεωργία, στην δασοκομία, στην παρακολούθηση των πόρων της Γης, σε μελέτες σχετικά με τις ακτές κτλ. Ανάλογα με την εφαρμογή και το πεδίο έρευνας χρησιμοποιούνται δεδομένα από συγκεκριμένες φασματικές ζώνες. Για παράδειγμα, για μελέτες που ασχολούνται με την βλάστηση μιας περιοχής χρησιμοποιούνται δεδομένα από τις ζώνες του ορατού φωτός και του εγγύς και μικρού μήκους κύματος υπέρυθρου και για την ανίχνευση πυρκαγιών από την ζώνη του μικρού μήκους κύματος υπέρυθρου Δορυφόρος QuickBird Ο δορυφόρος QuickBird της εταιρείας DigitalGlobe εκτοξεύθηκε το 2001 και κατέγραφε εικόνες της Γης σε υψηλή ανάλυση, οι οποίες διατίθενται εμπορικά από την εταιρεία, μέχρι και το 2015 όταν εισήλθε στην γήινη ατμόσφαιρα και καταστράφηκε [17]. Ο δορυφόρος είχε την δυνατότητα καταγραφής παγχρωματικών και πολυφασματικών εικόνων με χωρική διακριτική ικανότητα 0,61 και 2,44 μέτρα αντίστοιχα. Η τροχιά του ήταν ηλιοσύγχρονη και πετούσε αρχικά σε υψόμετρο 450 χιλιόμετρα από την επιφάνεια της Γης με ταχύτητα 7,1 χιλιόμετρα ανά ώρα. Το 2011 αυξήθηκε στα 482 χιλιόμετρα αυξάνοντας την διάρκεια ζωής του και μειώθηκε στα 300 χιλιόμετρα προς το τέλος της αποστολής του. Η χρονική διακριτική ικανότητα του ήταν 1 έως 3,5 ημέρες και πραγματοποιούσε μια πλήρη τροχιά σε 94 λεπτά περίπου. Οι φασματικές ζώνες που χρησιμοποιούσε για την δημιουργία πολυφασματικών εικόνων ήταν τέσσερις: η ζώνη που αντιστοιχεί στο μπλε, στο πράσινο και κόκκινο χρώμα του ορατού φωτός καθώς και στο εγγύς υπέρυθρο. H ραδιομετρική διακριτική ικανότητα ήταν 11 bit και σε συνδυασμό με την πολύ λεπτομερή διακριτική ικανότητα των 0,61 μέτρων, οι εικόνες του QuickBird ήταν οι πιο λεπτομερείς στην αγορά και κάλυπταν απαιτήσεις εφαρμογών που δεν μπορούσαν να ικανοποιήσουν άλλοι δορυφόροι. Εικόνα 2.6 Σαν Φρανσίσκο, QuickBird, 11/11/

50 2.3.3 Πρόγραμμα SPOT Το SPOT είναι ένα δορυφορικό πρόγραμμα παρατήρησης της Γης με εικόνες υψηλής ανάλυσης, το οποίο διαχειρίζεται η εταιρεία Spot Image με έδρα στην πόλη Τουλούζ της Γαλλίας. Το πρόγραμμα ήταν πρωτοβουλία του Εθνικού Κέντρου Χωροταξικών Ερευνών της Γαλλίας την δεκαετία του 1970 και αναπτύχθηκε σε συνεργασία με τις χώρες του Βελγίου και της Σουηδίας [18]. Το πρόγραμμα SPOT έχει εκτοξεύσει συνολικά επτά δορυφόρους μέχρι σήμερα. Από αυτούς μόνο οι δύο τελευταίοι στην σειρά, SPOT 6 και SPOT 7 συνεχίζουν να λειτουργούν και να καταγράφουν δεδομένα έως σήμερα. Ο πρώτος δορυφόρος εκτοξεύθηκε στις 22 Φεβρουαρίου Στις 22 Ιανουαρίου 1990, ο δεύτερος δορυφόρος του προγράμματος, SPOT 2, τέθηκε σε τροχιά γύρω από την Γη και ακολουθούσε την ίδια πορεία με τον SPOT 1 και στις 26 Σεπτεμβρίου 1993 μπήκε σε τροχιά και ο SPOT 3. Και οι τρεις δορυφόροι χρησιμοποιούσαν το ίδιο σύστημα καταγραφής, το οποίο αποτελούνταν από δύο πανομοιότυπους δέκτες σάρωσης υψηλής ανάλυσης (High Resolution Visible (HRV) Imaging Instruments) που μπορούσαν να καταγράψουν παγχρωματικές εικόνες με χωρική ανάλυση 10 μέτρα και πολυφασματικές με ανάλυση 20 μέτρα σε κάθε φασματική ζώνη. Οι φασματικές ζώνες που χρησιμοποιούσαν ήταν τρεις: πράσινο και κόκκινο χρώμα του ορατού φωτός και το εγγύς υπέρυθρο. Ανάλογα με το γεωγραφικό πλάτος, οι SPOT 1, SPOT 2 και SPOT 3 είχαν χρονική διακριτική ικανότητα 1 έως 4 ημέρες. Ο SPOT 4 εκτοξεύθηκε τον Μάρτιο του 1998 και σταμάτησε να λειτουργεί τον Ιούλιο του Το 2002 εκτοξεύθηκε και ο SPOT 5 ο οποίος χρησιμοποιούσε δύο όργανα καταγραφής υψηλής ανάλυσης με χωρική ανάλυση από 2,5 έως 5 μέτρα σε παγχρωματική λήψη και 10 μέτρα σε πολυφασματική λήψη. Επιπλέον, ο SPOT 5 μπορεί σε παγχρωματική λειτουργία να καταγράφει σχεδόν ταυτόχρονα στερεοσκοπικές εικόνες. Οι δύο μοναδικοί εν ενεργεία δορυφόροι του προγράμματος, οι SPOT 6 και SPOT 7 σχηματίζουν έναν αστερισμό μεταξύ τους, έχουν την ίδια τροχιά αλλά βρίσκονται 90 μοίρες μακριά ο ένας από τον άλλο. Ο SPOT 6 εκτοξεύθηκε στις 9 Σεπτεμβρίου 2012 και ο SPOT 7 στις 30 Ιουνίου Ο αστερισμός των δύο δορυφόρων πετάει σε υψόμετρο 694 χιλιομέτρων. Η χωρική διακριτική τους ικανότητα είναι πολύ βελτιωμένη σε σχέση με τους προηγούμενους δορυφόρους του προγράμματος. Για την λήψη παγχρωματικών εικόνων η τιμή της είναι 1,5 μέτρα και για την λήψη πολυφασματικών εικόνων είναι 6 μέτρα. Οι SPOT 6 και SPOT 7 μπορούν να κάνουν ταυτόχρονη λήψη παγχρωματικής και πολυφασματικής εικόνας στις φασματικές ζώνες των τριών βασικών χρωμάτων του ορατού φωτός και του εγγύς υπέρυθρου Πρόγραμμα WorldView Το πρόγραμμα με ονομασία WorldView απαρτίζεται από τέσσερις δορυφόρους παρατήρησης της Γης που είναι ιδιοκτησία της εταιρείας DigitalGlobe. Ο πρώτος δορυφόρος του προγράμματος WorldView-1 εκτοξεύθηκε στις 18 Σεπτεμβρίου 2007 και κινείται σε υψόμετρο 496 χιλιομέτρων γύρω από την Γη με ηλιοσύγχρονη τροχιά [19]. Το σύστημα λήψης εικόνων που χρησιμοποιεί, καταγράφει μόνο παγχρωματικές εικόνες με υψηλή ανάλυση αφού έχει χωρική διακριτική ικανότητα 0,5 μέτρα. Με αυτή την ανάλυση μπορεί να καταγράψει 1,3 εκατομμύρια τετραγωνικά χιλιόμετρα ανά ημέρα. Η χρονική διακριτική ικανότητα του είναι 1,7 ημέρες κατά μέσο όρο. Ο δορυφόρος είναι εξοπλισμένος με τελευταίας τεχνολογίας σύστημα εντοπισμού που το επιτρέπει την στιγμιαία εύρεση του στόχου. Επιπλέον, έχει την δυνατότητα καταγραφής στερεοσκοπικών εικόνων. 26

51 Ο δεύτερος δορυφόρος, WorldView-2, τέθηκε σε τροχιά τον Οκτώβριο του 2009 και είναι ο πρώτος εμπορικός δορυφόρος που μπόρεσε να καταγράψει πολυφασματικές εικόνες υψηλής ανάλυσης χρησιμοποιώντας 8 φασματικές ζώνες. Ο WorldView-2 αποτελεί μία βελτιωμένη εκδοχή του WorldView-1, αφού σε παγχρωματική λειτουργία η χωρική ανάλυση είναι 0,46 μέτρα και στην πολυφασματική 1,85 μέτρα. Επίσης, σε υψόμετρο 770 χιλιόμετρα έχει χρονική διακριτική ικανότητα 1,1 ημέρα κατά μέσο όρο. Ο WorldView-3 κινείται σε υψόμετρο 617 χιλιομέτρων με ηλιοσύγχρονη τροχιά και πραγματοποιεί μια πλήρη τροχιά σε 97 λεπτά. Καταγράφει εικόνες σε ακόμα πιο υψηλή ανάλυση σε σχέση με τους προηγούμενους. Στην παγχρωματική λειτουργία έχει χωρική ανάλυση 0,31 μέτρα, στην πολυφασματική 1,24 μέτρα και στο μικρού μήκους κύματος υπέρυθρο 3,7 μέτρα. Η χρονική του διακριτική ικανότητα είναι μικρότερη από μία ημέρα και μπορεί να καταγράψει μέχρι τετραγωνικά χιλιόμετρα ανά ημέρα. Ο πιο πρόσφατος δορυφόρος του προγράμματος είναι ο WorldView-4 που εκτοξεύθηκε στις 11 Νοεμβρίου Το 2007 ξεκίνησαν οι εργασίες για την κατασκευή του και η αρχική του ονομασία ήταν GeoEye-2. Ο WorldView-4 καταγράφει εικόνες με ίδια χωρική ανάλυση με τον WorldView-3, τόσο σε παγχρωματική όσο και σε πολυφασματική λειτουργία Δορυφόρος TerraSAR-X Ο δορυφόρος TerraSAR-X είναι ένας γερμανικός δορυφόρος παρατήρησης της Γης, ο οποίος εκτοξεύθηκε στις 15 Ιουνίου 2007 [20]. Σε αντίθεση με τους προαναφερθέντες χρησιμοποιεί ενεργό σύστημα λήψης. Συγκεκριμένα, διαθέτει μία συστοιχία ηλεκτρονικά ελεγχόμενων κεραιών οι οποίες μπορούν να εκπέμπουν προς διάφορες κατευθύνσεις και να ανιχνεύουν μικροκυματική ακτινοβολία στην φασματική ζώνη X των μικροκυμάτων με μήκος κύματος 31 mm. Το πλεονέκτημα του συστήματος αυτού είναι ότι η μικροκυματική ακτινοβολία που εκπέμπει και ανιχνεύει δεν εξαρτάται από το φως του Ήλιου και δεν είναι ευαίσθητη σε νεφοκάλυψη. Επομένως, κατά το πέρασμα της μέσα από την ατμόσφαιρα η εξασθένιση της είναι ελάχιστη, αν όχι μηδαμινή, και ο δορυφόρος μπορεί να συλλέγει δεδομένα ακόμα και τη νύχτα χωρίς την παρουσία του ηλιακού φωτός. Εικόνα 2.7 Σαν Φρανσίσκο, TerraSAR-X, 24/10/2011, Copyright 2011 DLR Ο TerraSAR-Χ διαθέτει διάφορους τρόπους λειτουργίας για την λήψη εικόνων. Η πιο λεπτή χωρική διακριτική ικανότητα που μπορεί να πετύχει 1 μέτρο παρέχοντας έτσι υψηλής ανάλυσης δεδομένα. Η τροχιά του είναι ηλιοσύγχρονη και κινείται στα 514 χιλιόμετρα υψόμετρο. Τα δεδομένα που συλλέγει ο TerraSAR-X χρησιμοποιούνται σε ποικίλες επιστημονικές και εμπορικές εφαρμογές, 27

52 όπως παρακολούθηση της εκμετάλλευσης των πόρων της Γης, παρακολούθηση δασών και πλημμυρών, ανίχνευση καταστροφών από έντονα καιρικά φαινόμενα κτλ. 2.4 Επεξεργασία Δορυφορικών Εικόνων Τα δορυφορικά συστήματα λήψης, αφού συλλέξουν εικόνες μιας γεωγραφικής περιοχής, τις συμπιέζουν και μέσα από ένα κανάλι επικοινωνίας εκπέμπουν τα δεδομένα σε έναν σταθμό βάσης στο έδαφος. Εκεί, οι εικόνες αποσυμπιέζονται και υπόκεινται σε επεξεργασία για την διόρθωση ποικίλων τύπων παραμορφώσεων. Ωστόσο, υπάρχει περίπτωση οι εικόνες πριν σταλούν από τον δορυφόρο να έχουν υποστεί μία πρώτη επεξεργασία. Οι παραμορφώσεις που παρατηρούνται στις δορυφορικές εικόνες οφείλονται σε γεωμετρικές και ραδιομετρικές παραμορφώσεις και ατμοσφαιρικές επιδράσεις [21] Διόρθωση Γεωμετρικών Σφαλμάτων Πηγή γεωμετρικής παραμόρφωσης είναι η καμπυλότητα και το ανάγλυφο της επιφάνειας της Γης, η οποία δυσκολεύει την προβολή της επιφάνειας σε μια εικόνα με επίπεδη γεωμετρία. Όσα αντικείμενα στην επιφάνεια της Γης βρίσκονται στο ναδίρ στο πεδίο θέασης του αισθητήρα του δορυφόρου, έχουν ορατές μόνο τις κορυφές τους, ενώ τα υπόλοιπα φαίνονται από αυτόν υπό γωνία. Όσο μεγαλύτερο είναι το υψόμετρο των αντικειμένων αυτών και μεγαλύτερη η απόσταση τους από το σημείο ναδίρ, τόσο μεγαλύτερη θα είναι και η παραμόρφωση. Η διόρθωση των γεωμετρικών παραμορφώσεων που οφείλεται στο έντονο ανάγλυφο της επιφάνειας της Γης γίνεται με μία διαδικασία που ονομάζεται ορθοαναγωγή. Η διαδικασία αυτή χρησιμοποιεί πληροφορίες σχετικά με τα χαρακτηριστικά του αισθητήρα και ένα ψηφιακό υψομετρικό μοντέλο εδάφους για τον καθορισμό του υψομέτρου. Ένα άλλο πρόβλημα είναι ότι μια δορυφορική εικόνα δεν έχει τις ιδιότητες ενός χάρτη και δεν μπορεί να εισαχθεί σε ένα Γεωγραφικό Σύστημα Πληροφοριών. Για τον λόγο αυτό, είναι απαραίτητος ο μετασχηματισμός του συστήματος συντεταγμένων της εικόνας σε ένα σύστημα χαρτογραφικής προβολής. Σφάλματα, επίσης, μπορούν να δημιουργηθούν και από απρόβλεπτες αλλαγές στο ύψος, την ταχύτητα και τον προσανατολισμό του δορυφόρου. Για την διόρθωση των σφαλμάτων αυτών χρειάζεται ο ορισμός εκ των προτέρων Επίγειων Σημείων Ελέγχου (Ground Control Points) που μπορούν να αναγνωριστούν και να εντοπιστούν εύκολα στην επιφάνεια της Γης. Τέτοια χαρακτηριστικά σημεία μπορούν να είναι μεγάλες διασταυρώσεις δρόμων, μνημεία, αεροδρόμια, λιμάνια κτλ Διόρθωση Ραδιομετρικών Σφαλμάτων Οι εικόνες που καταγράφουν οι αισθητήρες των δορυφόρων και αεροπλάνων ενδέχεται να περιέχουν σφάλματα στις τιμές των εικονοστοιχείων τους. Τα σφάλματα αυτά που ονομάζονται ραδιομετρικά οφείλονται στους αισθητήρες αλλά και στην επίδραση της ατμόσφαιρας. Τα σφάλματα αυτά διακρίνονται σε δύο κατηγορίες, σε εσωτερικά και εξωτερικά σφάλματα. Τα εσωτερικά σφάλματα αφορούν το σύστημα λήψης των αισθητήρων και οφείλονται στην απορρύθμιση αυτών. Κάποιες φορές στις εικόνες παρατηρούνται τυχαία εικονοστοιχεία με πολύ μικρότερες ή πολύ μεγαλύτερες τιμές φωτεινότητας σε σχέση με τα γειτονικά τους. Τότε, στην εικόνα έχει εισαχθεί θόρυβος που ονομάζεται «shot noise». Για την εξάλειψη αυτού του θορύβου γίνεται 28

53 αντικατάσταση της τιμής των εικονοστοιχείων αυτών με τον μέσο όρο των τιμών των γειτονικών τους. Ένα άλλο σφάλμα που συμβαίνει είναι η αδυναμία των αισθητήρων να καταγράψουν πληροφορία στην εικόνα σε μία ολόκληρη γραμμή σάρωσης, με αποτέλεσμα να ξεχωρίζουν στην εικόνα γραμμές με διαφορετική τιμή φωτεινότητας από τα γειτονικά εικονοστοιχεία. Το πρόβλημα αυτό είναι γνωστό ως λωριδοποίηση (striping). Όταν ανιχνευθεί μια τέτοια προβληματική γραμμή σε μια εικόνα, οι τιμές των εικονοστοιχείων της γραμμής αντικαθίστανται με τον μέσο όρο γειτονικών εικονοστοιχείων. Ένα ακόμα πρόβλημα που παρατηρείται ειδικά σε συστήματα λήψης που χρησιμοποιούν φακούς είναι η βαθμιαία μείωση της φωτεινότητας από το κέντρο της προς τα άκρα, γνωστό με τον όρο «vignetting». Στις δορυφορικές εικόνες παρατηρούνται τρία είδη «vignetting : α) το οπτικό, που οφείλεται στο σύστημα λήψης με φακούς, όπου τα μπροστινά στοιχεία του συστήματος σκιάζουν τα πιο πίσω, β) το φυσικό, που συμβαίνει λόγω της διάθλασης του φωτός και γ) το «pixel vignetting», το οποίο συμβαίνει στις ψηφιακού τύπου μηχανές όταν το φως που προσπίπτει κάθετα στον αισθητήρα δημιουργεί πιο υψηλές τιμές φωτεινότητας στο κέντρο της εικόνας σε σχέση με τα άκρα άπου το φως προσπίπτει υπό γωνία. Για την αντιμετώπιση του παραπάνω προβλήματος χρησιμοποιούνται τεχνικές που εξαρτώνται από το σύστημα λήψης που χρησιμοποιείται. Για παράδειγμα στην πολυφασματική σάρωση χρησιμοποιείται ο μετασχηματισμός Fourier. Τα εξωτερικά ραδιομετρικά σφάλματα οφείλονται σε εξωτερικούς παράγοντες που έχουν να κάνουν με το ανάγλυφο της επιφάνειας της Γης, όπως το υψόμετρο, την κλίση και τον προσανατολισμό του εδάφους και την επίδραση της ατμόσφαιρας. Η ατμόσφαιρα, ιδιαίτερα, έχει σημαντική επίδραση, διότι καθώς η ακτινοβολία διέρχεται μέσα από αυτήν, τα συστατικά της σκεδάζουν και απορροφούν κάποιο ποσοστό αυτής στο ορατό και στο υπέρυθρο μήκος κύματος του ηλεκτρομαγνητικού φάσματος. Αυτό, εν τέλει, έχει επίδραση στις τιμές των εικονοστοιχείων της εικόνας η οποία δεν περιέχει τις πραγματικές τιμές της ανακλώμενης ακτινοβολίας. Μια απλή μέθοδος που χρησιμοποιείται συχνά είναι η «αφαίρεση του σκοτεινού αντικειμένου» (Dark Object Subtraction, DOS). Η μέθοδος αυτή υποθέτει ότι στην εικόνα θα υπάρχει τουλάχιστον ένα σκοτεινό σημείο που ιδανικά ο αισθητήρας δεν θα μπορέσει να το ανιχνεύσει, δηλαδή θα πρέπει να έχει τιμή ανάκλασης μηδενική. Τέτοια σημεία θεωρούνται περιοχές με έντονη σκιά ή λίμνες. Στην πραγματικότητα, όμως, λόγω της ατμοσφαιρικής επίδρασης, τα εικονοστοιχεία που αντιστοιχούν στα σκοτεινά σημεία δεν θα έχουν μηδενική τιμή. Η τιμή ενός σκοτεινού σημείου δηλώνει την επίδραση της ατμόσφαιρας στις τιμές των εικονοστοιχείων. Η μέθοδος αυτή αφαιρεί την τιμή του σκοτεινού σημείου από όλα τα εικονοστοιχεία της εικόνας και με αυτό τον τρόπο εξαλείφεται η ατμοσφαιρική επίδραση. Αν υπάρχουν πολλά σκοτεινά σημεία, τότε η τιμή που αντιπροσωπεύει την ατμοσφαιρική επίδραση θεωρείται η μικρότερη, η οποία και αφαιρείται. Στην περίπτωση πολυφασματικών εικόνων, η παραπάνω διαδικασία χρησιμοποιείται σε κάθε εικόνα κάθε ζώνης συχνοτήτων ξεχωριστά. Ωστόσο, η μέθοδος αυτή πάσχει και δεν έχει καλά αποτελέσματα όταν στην εικόνα δεν υπάρχουν σκοτεινά σημεία. Άλλες τεχνικές που χρησιμοποιούνται βασίζονται σε προκαθορισμένα μοντέλα διάδοσης της ακτινοβολίας, τα οποία αν και πιο πολύπλοκα, παρέχουν μεγαλύτερη ακρίβεια στον προσδιορισμό των πραγματικών τιμών ανάκλασης. Για την κατασκευή μοντέλων που υπολογίζουν την αλληλεπίδραση της ανακλώμενης ακτινοβολίας με τα σωματίδια της ατμόσφαιρας απαιτείται η συλλογή πληροφοριών για το ατμοσφαιρικό προφίλ της παρατηρούμενης περιοχής. Σε περίπτωση που οι πληροφορίες αυτές δεν είναι διαθέσιμες για μια περιοχή, χρησιμοποιούνται τυποποιημένες τιμές με καθολική ισχύ. Παραδείγματα τέτοιων μοντέλων που χρησιμοποιούνται ευρέως είναι τα LOWTRAN (LOW resolution atmospheric TRANsmittence) και MODTRAN (MODerate resolution atmospheric TRANsmittence). 29

54 Άλλα ραδιομετρικά εξωτερικής φύσεως σφάλματα παρατηρούνται όταν εικόνες διαφορετικών ημερομηνιών της ίδιας περιοχής εξετάζονται διαχρονικά. Εξαιτίας των εποχικών αλλαγών κατά την διάρκεια του χρόνου, η γωνία του ήλιου στον ουρανό αλλάζει και οι καιρικές συνθήκες είναι διαφορετικές από εποχή σε εποχή. Συνεπώς, η ποσότητα της ανακλώμενης ακτινοβολίας που καταγράφουν οι αισθητήρες από την ίδια περιοχή της επιφάνειας της Γης δεν θα είναι σε καμία περίπτωση ίδια κάθε εποχή. Έτσι, οι ραδιομετρικές αποκρίσεις του αισθητήρα θα είναι διαφορετικές με αποτέλεσμα τις διαφορές στις τιμές των εικονοστοιχείων. Επιπλέον, με την πάροδο του χρόνου τα συστήματα λήψης μπορεί να απορρυθμιστούν και η γωνία θέασης τους να μεταβληθεί. Τα σφάλματα αυτά οδηγούν σε εσφαλμένα συμπεράσματα κατά την σύγκριση των εικόνων για ανίχνευση αλλαγών στην επιφάνεια της Γης και η διόρθωση τους αν και αρκετά πολύπλοκη είναι απαραίτητη για την βελτίωση της ποιότητας των εικόνων και την εξαγωγή ορθών συμπερασμάτων Ανάγκη για ευθυγράμμιση δορυφορικών εικόνων Οι γεωλογικές μελέτες ασχολούνται με φαινόμενα που συμβαίνουν στο έδαφος της Γης, όπως παρακολούθηση μόλυνσης, εντοπισμός καλλιεργήσιμου εδάφους και πηγών νερού, πρόληψη καταστροφών και παρακολούθηση καιρικών φαινομένων. Επίσης, οι μελέτες αυτές προσπαθούν να κατανοήσουν την επίδραση της ανθρώπινης δραστηριότητας στο οικοσύστημα της Γης. Προκειμένου αυτές οι μελέτες να μπορέσουν να διαχειριστούν αυτά τα ζητήματα, χρησιμοποιούν δεδομένα που παρέχονται από τους διάφορους δορυφόρους που κινούνται σε τροχιά γύρω από τη Γη [13]. Για την καλύτερη κατανόηση των γεωλογικών προβλημάτων και την εξαγωγή ορθών συμπερασμάτων, συνήθως είναι απαραίτητη η σύνθεση και η σύγκριση αυτών των δορυφορικών δεδομένων, δηλαδή των δορυφορικών εικόνων. Ωστόσο, τα διάφορα δορυφορικά συστήματα κάνουν λήψη εικόνων υπό διαφορετικές συνθήκες όπως διαφορετική γωνία και χωρική διακριτική ικανότητα και σε διαφορετικό υψόμετρο και χρησιμοποιώντας διαφορετικούς αισθητήρες, ενεργούς η παθητικούς. Επομένως, πριν την σύνθεση ή την σύγκριση των εικόνων πρέπει να αμβλυνθούν οι γεωμετρικές διαφορές αυτών. Για αυτό είναι απαραίτητη η διαδικασία της ευθυγράμμισης των εικόνων. Λόγω της μεγάλης πληθώρας των δορυφορικών εικόνων (παγχρωματικές, πολυφασματικές και υπερφασματικές) και των διαφορετικών συστημάτων καταγραφής, ενεργά και παθητικά, η εφαρμογή μιας καθολικής μεθόδου ευθυγράμμισης που θα ευθυγραμμίζει τις εικόνες με ακρίβεια είναι αρκετά δύσκολη και για αυτό μέχρι σήμερα έχουν αναπτυχθεί πολλές μέθοδοι ευθυγράμμισης για κάθε περίπτωση [2]. Πριν την εφαρμογή, όμως, της μεθόδου επιβάλλεται να έχουν διορθωθεί τυχόν γεωμετρικά και ραδιομετρικά σφάλματα που αναφέρθηκαν προηγουμένως. 30

55 Κεφάλαιο 3 Μέθοδοι Ευθυγράμμισης Εικόνων 3.1 Εισαγωγή Όπως αναφέρθηκε στα προηγούμενα κεφάλαια, οι μέθοδοι που έχουν υλοποιηθεί για την ευθυγράμμιση των εικόνων είναι πολλές [4] και εξαρτώνται από την εφαρμογή και το είδος των εικόνων που πρόκειται να ευθυγραμμιστούν. Οι υπάρχουσες μέθοδοι μπορούν να ταξινομηθούν σε δύο μεγάλες κατηγορίες, τις feature based και τις intensity (area) based μεθόδους. Οι intensity based μέθοδοι δεν ανιχνεύουν τα κύρια χαρακτηριστικά της εικόνας, αλλά προσπαθούν να βρουν τις βέλτιστες παραμέτρους του μετασχηματισμού με μεθόδους βελτιστοποίησης. Αντίθετα, οι feature based μέθοδοι ανιχνεύουν και αντιστοιχούν τα κύρια χαρακτηριστικά σημεία των εικόνων για την εύρεση του γεωμετρικού μετασχηματισμού. Οι μέθοδοι αυτές είναι γρήγορες και αρκετά ανθεκτικές σε περίπλοκες γεωμετρικές παραμορφώσεις και για αυτό χρησιμοποιούνται συχνά. Στο κεφάλαιο αυτό γίνεται αναφορά των μεθόδων και τεχνικών ευθυγράμμισης που χρησιμοποιήθηκαν στα πλαίσια της παρούσης εργασίας για την ευθυγράμμιση δορυφορικών εικόνων. 31

56 3.2 Μέθοδος Eυθυγράμμισης μέσω χαρακτηριστικών σημείων Εξετάζοντας την φύση και δομή των δορυφορικών εικόνων, παρατηρούμε ότι σε αυτές υπάρχουν αρκετά σημεία, όπως δρόμοι, αξιοθέατα, λιμάνια, αεροδρόμια κτλ. τα οποία είναι μοναδικά και μπορούν να εντοπιστούν εύκολα στις εικόνες κάτω υπό πολύπλοκες γεωμετρικές παραμορφώσεις. Εκμεταλλευόμενοι την ιδιότητα αυτή, χρησιμοποιήσαμε μια feature based μέθοδο για την ευθυγράμμιση των δορυφορικών εικόνων. Όπως αναφέρθηκε στο Κεφάλαιο 1, τα βήματα που ακολουθεί μια feature based μέθοδος είναι: 1. Ανίχνευση και Περιγραφή Χαρακτηριστικών Σημείων 2. Αντιστοίχιση Χαρακτηριστικών Σημείων 3. Υπολογισμός Γεωμετρικού Μετασχηματισμού 4. Εφαρμογή του Γεωμετρικού Μετασχηματισμού και Ευθυγράμμιση των Εικόνων Στην επόμενες ενότητες παρουσιάζονται αναλυτικά οι τεχνικές που χρησιμοποιήθηκαν σε κάθε ένα από τα παραπάνω βήματα της μεθόδου Ανίχνευση και Περιγραφή Χαρακτηριστικών Σημείων Στο βήμα αυτό της feature based μεθόδου χρησιμοποιήθηκαν δύο τεχνικές για την ανίχνευση και στην συνέχεια περιγραφή των χαρακτηριστικών σημείων, ο αλγόριθμος SIFT (Scale- Invariant Feature Transform) και ο αλγόριθμος SURF (Speeded Up Robust Features) Αλγόριθμος SIFT Ο αλγόριθμος εξαγωγής και περιγραφής χαρακτηριστικών σημείων SIFT υλοποιήθηκε και πατενταρίστηκε στον Καναδά από το Πανεπιστήμιο University of British Columbia και δημοσιεύτηκε αρχικά από τον David Lowe το 1999 [22]. Λεπτομερής παρουσίαση του έγινε και πάλι από τον Lowe το 2004 [23]. Ο αλγόριθμος SIFT μπορεί να ανιχνεύει χαρακτηριστικά σημεία σε μία εικόνα τα οποία παραμένουν αμετάβλητα και δεν επηρεάζονται από κλιμάκωση και περιστροφή της εικόνας, από διακυμάνσεις της έντασης της φωτεινότητας των εικονοστοιχείων και από το σημείο λήψης της εικόνας. Η δυνατότητα αυτή του αλγορίθμου τον κάνει ιδιαίτερα ανθεκτικό σε γεωμετρικές παραμορφώσεις και για αυτό μπορεί να χρησιμοποιηθεί σε ένα μεγάλο φάσμα εφαρμογών Υπολογιστικής Όρασης, όπως για ανίχνευση αντικειμένου, χαρτογράφηση και πλοήγηση ρομπότ και γενικά του κλάδου Επεξεργασίας Εικόνας, όπως για δημιουργία πανοράματος και ευθυγράμμιση εικόνων. Τα κύρια βήματα που χρησιμοποιεί ο αλγόριθμος SIFT για την ανίχνευση των χαρακτηριστικών σημείων και την περιγραφή αυτών είναι τέσσερα και παρουσιάζονται παρακάτω. 1. Ανίχνευση ακροτάτων στον χώρο της κλιμάκωσης (Scale Space Extrema Detection) Στο πρώτο βήμα, ο αλγόριθμος SIFT δημιουργεί μία πυραμιδική αναπαράσταση της εικόνας σε διάφορες κλίμακες, που αποτελεί τον χώρο κλιμάκωσης της εικόνας, για τον εντοπισμό υποψήφιων χαρακτηριστικών σημείων. Για την δημιουργία του χώρου της κλιμάκωσης χρησιμοποιείται η συνάρτηση Gauss με τυπική απόκλιση σσ: GG(xx, yy, σσ) = 1 2ππσσ 2 ee (xx2 +yy 2 )/2σσ 2 (3.1) 32

57 Ο αλγόριθμος SIFT δημιουργεί οκτάβες από εικόνες σε διαφορετικές κλίμακες σχηματίζοντας έτσι τον χώρο κλιμάκωσής της. Σε κάθε οκτάβα, οι εικόνες προκύπτουν από την διαδοχική εφαρμογή της παραπάνω συνάρτησης Gauss στην αρχική εικόνα της οκτάβας, έτσι ώστε γειτονικές εικόνες να διαφέρουν μεταξύ τους κατά ένα πολλαπλασιαστικό παράγοντα kk ως προς την τυπική απόκλιση σσ. Αν LL(xx, yy, σσ) είναι η εικόνα που προκύπτει από την εφαρμογή της συνάρτησης Gauss στην αρχική εικόνα II(xx, yy), όπου LL(xx, yy, σσ) = GG(xx, yy, σσ) ΙΙ(xx, yy) (3.2) τότε η επόμενη γειτονική της εικόνα στην οκτάβα θα είναι η LL(xx, yy, kkσσ), όπου LL(xx, yy, kkσσ) = GG(xx, yy, kkσσ) ΙΙ(xx, yy) (3.3) Σύμφωνα με τον Lowe [23], κάθε οκτάβα πρέπει να αποτελείται από ss + 3 το πλήθος εικόνες, όπου kk = 2 1 ss. Οι εικόνες μιας οκτάβας έχουν το ίδιο μέγεθος. Για την δημιουργία της επόμενης οκτάβας, η αρχική εικόνα της προηγούμενης οκτάβας υποδειγματοληπτείται έτσι ώστε να έχει το μισό μέγεθος σε σχέση με την προηγούμενη οκτάβα και η διαδικασία επαναλαμβάνεται μέχρι να δημιουργηθούν όλες οι οκτάβες που απαιτούνται. Για λόγους απόδοσης του αλγορίθμου, για την ανίχνευση των ακροτάτων δεν χρησιμοποιούνται οι εικόνες LL(xx, yy, kkσσ). Για κάθε ζεύγος γειτονικών εικόνων Gauss υπολογίζεται η διαφορά τους. Το αποτέλεσμα είναι μία εικόνα, DD(xx, yy, σσ), που ονομάζεται Difference-of-Gaussian (DoG), όπου DD(xx, yy, σσ) = LL(xx, yy, kkσσ) LL(xx, yy, σσ) (3.4) Εικόνα 3.1 [23] Αριστερά: Δημιουργία των οκτάβων του χώρου κλιμάκωσης. Οι εικόνες κάθε οκτάβας δημιουργούνται με την διαδοχική εφαρμογή της συνάρτησης Gauss. Μετά από κάθε οκτάβα, η αρχική εικόνα υποδειγματοληπτείται έτσι ώστε να έχει το μισό μέγεθος της προηγούμενης και η διαδικασία επαναλαμβάνεται. Δεξιά: Υπολογισμός των DoG εικόνων από τις αντίστοιχες γειτονικές εικόνες Gauss. 33

58 Εφόσον έχουν υπολογισθεί οι DoG εικόνες, η εύρεση των ακροτάτων στον χώρο κλιμάκωσης γίνεται ως εξής: για κάθε εικονοστοιχείο μίας DoG εικόνας, γίνεται σύγκριση του εικονοστοιχείου αυτού με τα οκτώ γειτονικά του στην ίδια DoG εικόνα και με τα αντίστοιχα δεκαοκτώ γειτονικά στις δύο γειτονικές DoG εικόνες, όπως φαίνεται στην εικόνα 3.2. Το εικονοστοιχείο θεωρείται ως ακρότατο μόνο αν έχει μεγαλύτερη ή μικρότερη τιμή από όλα τα γειτονικά εικονοστοιχεία. Εικόνα 3.2 [23] Εύρεση ακροτάτου στον χώρο κλιμάκωσης συγκρίνοντας γειτονικά εικονοστοιχεία γειτονικών DoG εικόνων 2. Εντοπισμός Χαρακτηριστικών Σημείων (Keypoint Localization) Εφόσον τα ακρότατα έχουν ανιχνευθεί στο προηγούμενο βήμα του αλγορίθμου, θα πρέπει τώρα να γίνει ο ακριβής προσδιορισμός της θέσης τους στην εικόνα, της κλίμακας και του λόγου καμπυλότητάς τους. Αυτή η πληροφορία είναι σημαντική ώστε να απορριφθούν σημεία τα οποία είναι τοποθετημένα κακώς κατά μήκος μιας ακμής ή παρουσιάζουν χαμηλή αντίθεση. Για τον ακριβή προσδιορισμό της θέσης του ακροτάτου χρησιμοποιείται το τετραγωνικό ανάπτυγμα Taylor της συνάρτησης DD(xx, yy, σσ) (3.4), μετατοπισμένη ώστε η αρχή του να βρίσκεται στο υποψήφιο χαρακτηριστικό σημείο: DD(xx) = DD + DDTT xx xxtt 2 DD xx 2 xx (3.5) όπου η συνάρτηση DD και οι παράγωγοί της υπολογίζονται στο υποψήφιο χαρακτηριστικό κλειδί και xx = (xx, yy, σσ) TT είναι το διάνυσμα μετατόπισης από αυτό το χαρακτηριστικό σημείο. Η θέση του ακροτάτου, xx υπολογίζεται παραγωγίζοντας και στην συνέχεια μηδενίζοντας την (3.5), οπότε: xx = 2 DD 1 xx 2 xx (3.6) Αν η τιμή της συνάρτησης DD στο σημείο xx είναι μικρότερη από 0,03 τότε το υποψήφιο χαρακτηριστικό σημείο απορρίπτεται. Αντίθετα, το σημείο διατηρείται με τελική θέση που δίνεται από τον τύπο: yy + xx (3.7) όπου yy η αρχική τοποθεσία του χαρακτηριστικού σημείου. 34

59 Ο εντοπισμός των σημείων που βρίσκονται πάνω σε ακμές γίνεται με την βοήθεια του Εσσιανού πίνακα (Hessian Matrix), που υπολογίζεται ως εξής: HH = DDDDDD xxxx DDDDDD xxxx (3.8) DDDDDD xxxx DDDDDD yyyy Σε σημεία που δεν βρίσκονται πάνω σε ακμές οι ιδιοτιμές του παραπάνω πίνακα αναμένεται να έχουν μεγάλες τιμές. Ωστόσο, δεν απαιτείται ο υπολογισμός των ιδιοτιμών του παραπάνω πίνακα, αλλά ευκολότερα μπορούν να υπολογιστούν μέσω του ίχνους και της ορίζουσάς του ως εξής: ttrraaccee(hh) = DDDDDD xxxx + DDDDDD yyyy = λλ 1 + λλ 2 (3.9) dddddd(hh) = DDDDDD xxxx DDDDDD yyyy DDDDDD 2 xxxx = λλ 1 λλ 2 (3.10) όπου λλ 1 και λλ 2 είναι οι ιδιοτιμές του Εσσιανού πίνακα (3.5). Θέτοντας rr = λλ 1 λλ2 και υποθέτοντας ότι λλ 1 > λλ 2, ένα σημείο θεωρείται ότι δεν βρίσκεται πάνω σε κάποια ακμή της εικόνας αν ισχύει η παρακάτω σχέση: tttttttttt(hh) 2 < det (HH) (rr + 1)2 rr (3.11) Αν δεν ισχύει, τότε το σημείο θεωρείται ότι βρίσκεται πάνω σε ακμή και απορρίπτεται. 3. Καθορισμός Προσανατολισμού (Orientation Assignment) Στο επόμενο βήμα του αλγορίθμου για κάθε χαρακτηριστικό σημείο που εντοπίστηκε προηγουμένως πρέπει τώρα να καθοριστεί ο προσανατολισμός του χρησιμοποιώντας πληροφορία από μια μικρή περιοχή γύρω από αυτό. Ο προσδιορισμός του προσανατολισμού για κάθε χαρακτηριστικό σημείο επιτρέπει την ενσωμάτωση πληροφορίας σχετικά με τον προσανατολισμό στον περιγραφέα του σημείου επιτυγχάνοντας έτσι αμεταβλητότητα ως προς περιστροφή της εικόνας. Έτσι, ο αλγόριθμος μπορεί να ανιχνεύει τα ίδια χαρακτηριστικά σημεία σε εικόνες της ίδιας σκηνής που έχουν υποστεί περιστροφή. Σε κάθε εικόνα Gauss LL(xx, yy, σσ) στην οποία έχουν ανιχνευθεί χαρακτηριστικά σημεία, για κάθε εικονοστοιχείο υπολογίζεται το πλάτος της κλίσης του, mm(xx, yy), και ο προσανατολισμός του, θθ(xx, yy), χρησιμοποιώντας τα τέσσερα γειτονικά του εικονοστοιχεία ως εξής: mm(xx, yy) = (LL(xx + 1, yy, σσ) LL(xx 1, yy, σσ)) 2 + (LL(xx, yy + 1, σσ) LL(xx, yy 1, σσ)) 2 (3.12) θθ(xx, yy) = tttttt 1 ((LL(xx, yy + 1, σσ) LL(xx, yy 1, σσ))/(ll(xx + 1, yy, σσ) LL(xx 1, yy, σσ)) (3.13) Αφού υπολογιστούν οι παραπάνω ποσότητες για κάθε εικονοστοιχείο, κατασκευάζεται ένα ιστόγραμμα προσανατολισμών για μια περιοχή γύρω από κάθε χαρακτηριστικό σημείο. Το ιστόγραμμα είναι χωρισμένο σε 36 περιοχές των 10 μοιρών και σε αυτό αποθηκεύεται το πλήθος εμφάνισης των προσανατολισμών των εικονοστοιχείων σε μια συγκεκριμένη περιοχή γύρω από το χαρακτηριστικό σημείο. Κάθε δείγμα συνεισφέρει στο ιστόγραμμα ανάλογα με την τιμή του πλάτους της κλίσης του και ενός κυκλικού παραθύρου Gauss με τυπική απόκλιση 1,5 φορές μεγαλύτερη από την κλίμακα σσ του χαρακτηριστικού σημείου. Ως προσανατολισμός του χαρακτηριστικού σημείου ανατίθεται εκείνος με την μεγαλύτερη κορυφή στο ιστόγραμμα. Επίσης, αν υπάρχουν και άλλες 35

60 κορυφές στο ιστόγραμμα που ξεπερνούν το 80% της μεγαλύτερης κορυφής, τότε δημιουργούνται επιπλέον χαρακτηριστικά σημεία με τους αντίστοιχους προσανατολισμούς. Για καλύτερη ακρίβεια στον υπολογισμό του προσανατολισμού, το ιστόγραμμα προσεγγίζεται με μία παραβολή χρησιμοποιώντας τις τρεις κοντινότερες σε κάθε μέγιστο περιοχές. 4. Περιγραφή των Χαρακτηριστικών Σημείων (Keypoint Description) Στο τελευταίο βήμα του αλγορίθμου, για κάθε χαρακτηριστικό σημείο, δημιουργείται ένα διάνυσμα το όποιο περιγράφει το χαρακτηριστικό σημείο. Το διάνυσμα που αποθηκεύει πληροφορία σχετικά με την γειτονιά του σημείου αυτού ονομάζεται περιγραφέας (descriptor) του χαρακτηριστικού σημείου. Ο περιγραφέας αυτός είναι αρκετά ευδιάκριτος και παραμένει αμετάβλητος σε πιθανές μεταβολές στην φωτεινότητα και στην γωνία λήψης της εικόνας. Για την δημιουργία του περιγραφέα χρησιμοποιείται μία περιοχή γύρω από το χαρακτηριστικό σημείο. Ο Lowe [23] χρησιμοποιεί μια περιοχή 16x16 εικονοστοιχείων στα πειράματά του που διαχωρίζεται σε 16 υποπεριοχές μεγέθους 4x4 εικονοστοιχείων. Για κάθε εικονοστοιχείο της περιοχής υπολογίζεται το πλάτος της κλίσης και ο προσανατολισμός του. Σε κάθε υποπεριοχή αντιστοιχεί ένα ιστόγραμμα προσανατολισμών στο οποίο καταμετρώνται οι προσανατολισμοί των εικονοστοιχείων της περιοχής σταθμισμένοι με το πλάτος της κλίσης τους και τις τιμές ενός κυκλικού παραθύρου Gauss. Ο τελικός περιγραφέας του χαρακτηριστικού σημείου θα είναι ένα διάνυσμα που θα περιλαμβάνει τα ιστογράμματα όλων των υποπεριοχών. Επομένως, για 16 υποπεριοχές των 4x4 εικονοστοιχείων χρειάζονται συνολικά 16 ιστογράμματα τα οποία έχουν 8 διακριτές περιοχές. Άρα, το διάνυσμα του περιγραφέα περιλαμβάνει 128 τιμές. Εικόνα 3.3 [23] Δημιουργία περιγραφέα χαρακτηριστικού σημείου χρησιμοποιώντας μια περιοχή μεγέθους 8x8 εικονοστοιχείων Αλγόριθμος SURF Ένας άλλος αλγόριθμος ανίχνευσης και περιγραφής χαρακτηριστικών σημείων σε μία εικόνα είναι ο αλγόριθμος SURF, ο οποίος παρουσιάστηκε από τον Herbert Bay το 2006 στο Ευρωπαϊκό Συνέδριο Υπολογιστικής Όρασης [24]. Όπως και ο SIFT, ο SURF χρησιμοποιεί τον Εσσιανό πίνακα των παραγώγων δεύτερης τάξης των εικόνων Gauss για την ανίχνευση των χαρακτηριστικών σημείων. Όμως, ο SURF προσεγγίζει τις δεύτερης τάξης παραγώγους Gauss με συνελικτικά φίλτρα τύπου κουτιού (box filters) τα οποία υπολογίζονται γρήγορα με εικόνες ολοκληρώματα (integral images). Σε κάθε εικονοστοιχείο της εικόνας ολοκλήρωμα, ΙΙ ΣΣ (xx, yy), η τιμή που αντιστοιχεί είναι το άθροισμα όλων των εικονοστοιχείων της εικόνας εισόδου II που βρίσκονται μέσα στην ορθογώνια περιοχή που ορίζεται από τις συντεταγμένες (0,0), (xx, 0), (xx, yy) και (0, yy), δηλαδή: 36

61 ii xx jj yy ΙΙ ΣΣ (xx, yy) = II(ii, jj) ii=0 jj=0 (3.14) Όταν υπολογιστεί ολόκληρη η εικόνα ολοκλήρωμα, τότε μπορεί να βρεθεί το άθροισμα των εντάσεων των εικονοστοιχείων σε οποιαδήποτε ορθογώνια περιοχή χρησιμοποιώντας μόνο τέσσερα εικονοστοιχεία της εικόνας ολοκλήρωμα II ΣΣ ανεξάρτητα από το μέγεθος της ορθογώνιας περιοχής. Για παράδειγμα, για να βρούμε το άθροισμα των εντάσεων των εικονοστοιχείων της περιοχής D στην εικόνα 3.4, αρκεί να κάνουμε τις παρακάτω πράξεις: II(DD) = II ΣΣ (DD) + II ΣΣ (ΑΑ) ΙΙ ΣΣ (ΒΒ) ΙΙ ΣΣ (CC) (3.15) Εικόνα 3.4 [25] Το άθροισμα των εικονοστοιχείων της περιοχής D μπορεί να υπολογιστεί χρησιμοποιώντας τέσσερις τιμές της εικόνας ολοκλήρωμα, ως εξής Ανίχνευση Χαρακτηριστικών Σημείων Ο αλγόριθμος SURF ανιχνεύει χαρακτηριστικά σημεία στον χώρο κλιμάκωσης της εικόνας. Για την δημιουργία του χώρου κλιμάκωσης, ο SURF στηρίζεται στις παραγώγους δεύτερης τάξης της συνάρτησης Gauss, όπως και ο αλγόριθμος SIFT. Η καινοτομία όμως του SURF, όπως αναφέραμε παραπάνω, είναι ότι προσεγγίζει τις παραγώγους αυτές με φίλτρα τύπου κουτιού τα οποία υπολογίζονται αρκετά γρήγορα μέσω των εικόνων ολοκλήρωμα. Η κλίμακα με την υψηλότερη ανάλυση είναι για τυπική απόκλιση σσ = 1,2 και για την προσέγγιση των παραγώγων δεύτερης τάξης σε αυτή την κλίμακα χρησιμοποιούνται φίλτρα τύπου κουτιού μεγέθους 9x9, όπως φαίνεται στην εικόνα 3.5. Εικόνα 3.5 [24] Από αριστερά προς τα δεξιά: μερικές δεύτερες παράγωγοι της διακριτής συνάρτησης Gauss με σ=1,2 στην y και στην xy κατεύθυνση και οι προσεγγίσεις τους με φίλτρα τύπου κουτιού. Με τον υπολογισμό των φίλτρων τύπου κουτιού μέσω των εικόνων ολοκλήρωμα δεν χρειάζεται η εφαρμογή των φίλτρων διαδοχικά στην εικόνα κάθε προηγούμενου επιπέδου, όπως στον αλγόριθμο SIFT. Τα φίλτρα οποιουδήποτε μεγέθους και κατ επέκταση επιπέδου μπορούν να 37

62 υπολογιστούν μια φορά και να αποθηκευτούν στην μνήμη για να χρησιμοποιηθούν σε κάθε μελλοντική χρήση. Επομένως, ο αλγόριθμος SURF αντί να μειώνει επαναληπτικά το μέγεθος της εικόνας για να δημιουργήσει τον χώρο κλιμάκωσης, αυξάνει το μέγεθος του φίλτρου. Το πρώτο επίπεδο στον χώρο κλιμάκωσης δημιουργείται με την συνέλιξη της εικόνας με το φίλτρο τύπου κουτιού μεγέθους 9x9, το οποίο αναφέρεται ως κλίμακα με τιμή σσ = 1,2. Για την δημιουργία των επόμενων επιπέδων εφαρμόζονται φίλτρα μεγαλύτερα μεγέθους, όπως 15x15, 21x21, 27x27 κοκ. Καθώς αυξάνει το μέγεθος του φίλτρου, αυξάνει και η τιμή της τυπικής απόκλισης της συνάρτησης Gauss που προσεγγίζει το αντίστοιχο φίλτρο. Δηλαδή το φίλτρο μεγέθους 27x27 αντιστοιχεί σε παράγωγο δεύτερης τάξης με σσ = 3 1,2 = 3,6. Ο εντοπισμός των χαρακτηριστικών σημείων γίνεται χρησιμοποιώντας τον Εσσιανό πίνακα των παραγώγων δεύτερης τάξης της συνάρτησης Gauss χρησιμοποιώντας, βεβαίως, τις προσεγγίσεις αυτών. Για κάθε σημείο (xx, yy) της φιλτραρισμένης εικόνας στο επίπεδο με τυπική απόκλιση σ, ο Εσσιανός πίνακας είναι: HH aaaaaaaaaaaa (xx, yy, σσ) = DD xxxx(xx, yy, σσ) DD xxxx (xx, yy, σσ) (3.16) DD xxxx (xx, yy, σσ) DD yyyy (xx, yy, σσ) όπου DD xxxx, DD yyyy και DD xxxx είναι οι προσεγγίσεις μέσω φίλτρων τύπου κουτιού των παραγώγων δεύτερης τάξης της συνάρτησης Gauss ως προς τις κατευθύνσεις x, y και xy αντίστοιχα. Στην συνέχεια στην 3x3x3 γειτονιά κάθε εικονοστοιχείου βρίσκεται το σημείο με την μέγιστη τιμή ορίζουσας του Εσσιανού πίνακα με την μέθοδο της Μη Μέγιστης Κατάπνιξης (Non-Maximum Suppression). Η ορίζουσα του Εσσιανού πίνακα στο σημείο (xx, yy) υπολογίζεται από την σχέση: det HH aaaaaaaaaaaa = DD xxxx DD yyyy (0,9DD xxxx ) 2 (3.17) όπου η σταθερά 0,9 χρησιμοποιείται για την διατήρηση της ενέργειας μεταξύ των πυρήνων των φίλτρων Gauss και των αντίστοιχων προσεγγισμένων. Όπως και στον αλγόριθμο SIFT, η ακριβής θέση και κλίμακα του ακροτάτου και κατ επέκταση του χαρακτηριστικού σημείου xx = (xx, yy, σσ) TT υπολογίζεται από την σχέση: xx = 2 HH 1 xx 2 xx (3.18) όπου ο Εσσιανός πίνακας HH στην παραπάνω σχέση έχει εκφραστεί ως ανάπτυγμα Taylor 2 ου βαθμού γύρω από το σημείο του μεγίστου. 2. Ανάθεση Προσανατολισμού Για την ανάθεση προσανατολισμού σε ένα χαρακτηριστικό σημείο, ο αλγόριθμος SURF υπολογίζει τις αποκρίσεις των κυματιδίων Haar (Haar-wavelets) στις x και y διευθύνσεις σε μια κυκλική γειτονική περιοχή του σημείου ακτίνας 6σσ, όπου σσ είναι η κλίμακα που ανιχνεύθηκε το σημείο. Σε μεγάλες κλίμακες που το μέγεθος των κυματιδίων είναι μεγάλο μπορούν να χρησιμοποιηθούν οι εικόνες ολοκλήρωμα για πιο γρήγορο φιλτράρισμα. Στην συνέχεια, οι αποκρίσεις των κυματιδίων σταθμίζονται με μία συνάρτηση Gauss με τυπική απόκλιση 2,5σσ με κέντρο το χαρακτηριστικό σημείο. Ο κυρίαρχος προσανατολισμός υπολογίζεται βρίσκοντας το άθροισμα όλων των αποκρίσεων μέσα σε ένα ολισθαίνον παράθυρο που καλύπτει μια περιοχή γωνίας 60, όπως φαίνεται στην εικόνα 3.6. Σε κάθε περιοχή που ορίζεται από το ολισθαίνον παράθυρο αθροίζονται οι αποκρίσεις στην x και y διεύθυνση ξεχωριστά και τα δύο αθροίσματα 38

63 σχηματίζουν ένα διάνυσμα. Το μακρύτερο διάνυσμα εκφράζει τον κυρίαρχο προσανατολισμό που ανατίθεται τελικά στο χαρακτηριστικό σημείο. Εικόνα 3.6 [26] Υπολογισμός κυρίαρχου προσανατολισμού ενός χαρακτηριστικού σημείου με την χρήση ολισθαίνοντος παραθύρου γωνίας Περιγραφή των Χαρακτηριστικών Σημείων Τελευταίο βήμα του αλγορίθμου είναι η δημιουργία του περιγραφέα κάθε χαρακτηριστικού σημείου. Μια τετράγωνη περιοχή μεγέθους πλευράς 20σσ, όπου σσ η κλίμακα που εντοπίστηκε το χαρακτηριστικό σημείο με κέντρο το ίδιο χαρακτηριστικό σημείο και προσανατολισμένη σύμφωνα με τον προσανατολισμό του, χωρίζεται σε μικρότερες υποπεριοχές διαστάσεων 4x4. Σε κάθε υποπεριοχή υπολογίζονται και πάλι οι αποκρίσεις rrxx και rryy των κυματιδίων Haar στην x και y διεύθυνση αντίστοιχα. Για την βελτίωση της ανθεκτικότητας από γεωμετρικές παραμορφώσεις και σφάλματα εντοπισμού, οι αποκρίσεις σταθμίζονται με μία συνάρτηση Gauss με τυπική απόκλιση ίση 3.3σσ με κέντρο το χαρακτηριστικό σημείο. Το τελικό διάνυσμα που περιγράφει κάθε υποπεριοχή περιλαμβάνει τέσσερις τιμές και είναι ίσο με: vv = ( rrxx, rryy, rrxx, rryy ) (3.19) όπου οι δύο πρώτες τιμές είναι το άθροισμα των αποκρίσεων των κυματιδίων Haar στην x και y διεύθυνση αντίστοιχα και οι δύο τελευταίες τιμές είναι το άθροισμα των απόλυτων τιμών των αποκρίσεων των κυματιδίων Haar στην x και y διεύθυνση αντίστοιχα. Επομένως, κάθε υποπεριοχή έχει έναν περιγραφέα 4 διαστάσεων. Αν ενωθούν οι περιγραφείς όλων των υποπεριοχών, το τελικό διάνυσμα που προκύπτει και περιγράφει το χαρακτηριστικό σημείο θα περιλαμβάνει 64 τιμές ή αλλιώς θα έχει μήκος Αντιστοίχιση Χαρακτηριστικών Σημείων Από το αποτέλεσμα του προηγούμενου βήματος της feature based μεθόδου, για κάθε χαρακτηριστικό σημείο που έχει ανιχνευθεί στις δύο εικόνες, που συμμετέχουν στην διαδικασία της ευθυγράμμισης, έχει δημιουργηθεί ένα διάνυσμα που το περιγράφει. Επόμενο βήμα είναι ο καθορισμός αντιστοιχίας μεταξύ των χαρακτηριστικών σημείων των δύο εικόνων. Η αντιστοίχιση των χαρακτηριστικών σημείων επιτυγχάνεται με την μέθοδο του κοντινότερου γείτονα ως εξής: για κάθε χαρακτηριστικό σημείο στην εικόνα αναφοράς βρίσκεται το χαρακτηριστικό σημείο στην εικόνα προς 39

64 ευθυγράμμιση που είναι πιο κοντά σε αυτό ή αλλιώς απέχει την μικρότερη απόσταση από αυτό. Επομένως, είναι φανερό ότι η μέθοδος του κοντινότερου γείτονα χρησιμοποιεί μία μετρική απόστασης για τον καθορισμό της αντιστοιχίας των σημείων. Οι μετρικές που χρησιμοποιούνται συνήθως είναι η Ευκλείδεια απόσταση και η απόσταση Hamming. Ευκλείδεια απόσταση Η ευκλείδεια απόσταση είναι μία συνάρτηση dd: RR nn xx RR nn RR, όπου για δύο διανύσματα ll και mm τα όποια περιέχουν nn τιμές ή διαστάσεις υπολογίζει την απόσταση των τιμών αυτών χρησιμοποιώντας το Πυθαγόρειο θεώρημα σύμφωνα με τον παρακάτω τύπο: dd(ll, mm) = (mm 1 ll 1 ) 2 + (mm 2 ll 2 ) (mm nn ll nn ) 2 = (mm ii ll ii ) 2 nn ii=1 (3.20) Η ευκλείδεια απόσταση ενδείκνυται για τον υπολογισμό της απόστασης διανυσμάτων τα οποία περιέχουν πραγματικές τιμές. Απόσταση Hamming Σε αντίθεση με την ευκλείδεια απόσταση, η απόσταση Hamming χρησιμοποιείται για τον υπολογισμό της απόστασης μεταξύ διανυσμάτων με δυαδικές τιμές. Συγκεκριμένα, η απόσταση Hamming μεταξύ δύο δυαδικών συμβολοσειρών ίσου μήκους ορίζεται ως το πλήθος των θέσεων όπου τα αντίστοιχα ψηφία των συμβολοσειρών είναι διαφορετικά μεταξύ τους. Για παράδειγμα, η απόσταση Hamming μεταξύ των δυαδικών αριθμών 0101 και 0111 είναι 1. Η απόσταση Hamming μπορεί εύκολα να υπολογισθεί με τον λογικό τελεστή XXXXXX. Ο τελεστής αυτός έχει ως αποτέλεσμα 1 (αληθής) μόνο όταν οι δύο είσοδοι του είναι διαφορετικοί μεταξύ τους. Επομένως, αν εφαρμόσουμε τον λογικό τελεστή XXXXXX σε κάθε ζεύγος αντίστοιχων ψηφίων των δυαδικών συμβολοσειρών, η απόσταση Hamming θα είναι το πλήθος των μονάδων στην έξοδο του XXXXXX. Δύο από τις πιο γνωστές μεθόδους εύρεσης του κοντινότερου γείτονα που εξετάσθηκαν στην παρούσα εργασία είναι η μέθοδος brute-force και η εύρεση με δέντρο k-d που παρουσιάζονται παρακάτω Μέθοδος Brute - Force Ο πιο απλός τρόπος εύρεσης του κοντινότερου γείτονα ενός χαρακτηριστικού σημείο μίας εικόνας είναι ο υπολογισμός όλων των αποστάσεων μεταξύ του περιγραφέα αυτού και των περιγραφέων των χαρακτηριστικών σημείων της άλλης εικόνας και η ανάθεση του σημείου με την μικρότερη απόσταση ως κοντινότερου γείτονα. Η μέθοδος αυτή που ονομάζεται μέθοδος της ωμής βίας (brute-force) βρίσκει την βέλτιστη λύση, αλλά πάσχει από αυξημένη υπολογιστική πολυπλοκότητα όταν το πλήθος των σημείων προς εξέταση αλλά και το πλήθος των τιμών των περιγραφέων αυτών είναι αρκετά μεγάλο Εύρεση Κοντινότερου Γείτονα με Δέντρο k-d Ένα δέντρο k-d (k-dimensional) είναι μία δομή δεδομένων που χρησιμοποιείται για την οργάνωση και δεικτοδότηση σημείων στον k-διάστατο χώρο των δεδομένων. Αποτελεί μία ειδική κατηγορία των δυαδικών δέντρων αναζήτησης μόνο που τα δεδομένα είναι σημεία στον χώρο με 40

65 πλήθος διαστάσεων k, εξού και η ονομασία του [27]. Τα δεδομένα αυτά χρησιμοποιούνται για την κατασκευή του δέντρου και αποτελούν το σύνολο των δεδομένων εκπαίδευσης (training set) του δέντρου. Η διαδικασία κατασκευής του δέντρου είναι μία αναδρομική διαδικασία. Κάθε κόμβος του δέντρου διαχωρίζει τον χώρο σε δύο τμήματα και αποθηκεύει πληροφορία σχετικά με την διάσταση που χρησιμοποιήθηκε για τον διαχωρισμό του χώρου (splitting dimension) και την τιμή κατωφλίου της διάστασης αυτής. Ο διαχωρισμός αυτός γίνεται με υπερεπίπεδα. Ένα υπερεπίπεδο είναι μια υποπεριοχή του χώρου με πλήθος διαστάσεων k-1. Για παράδειγμα, στην απλή περίπτωση όπου ο χώρος είναι δισδιάστατος (k=2), κάθε διαχωρισμός νοείται ως μία ευθεία γραμμή κάθετη στον άξονα της διάστασης διαχωρισμού και διέρχεται από το σημείο που έχει στην διάσταση αυτή τιμή ίση με την τιμή κατωφλίου. Η επιλογή της διάστασης και γενικά ο διαχωρισμός του χώρου γίνεται με τρόπο τέτοιο ώστε το τελικό δέντρο να είναι ισορροπημένο, δηλαδή όλοι οι κόμβοι φύλλα (leaf nodes) να έχουν το ελάχιστο δυνατό ύψος. Συνήθως, ως διάσταση διαίρεσης του χώρου επιλέγεται κάθε φορά η διάσταση που έχει την μεγαλύτερη διασπορά τιμών και ως τιμή κατωφλίου η διάμεσος τιμή της διάστασης αυτής. Η κατασκευή του δέντρου ολοκληρώνεται όταν κάθε κόμβος φύλλο περιέχει ένα σημείο ή έναν προκαθορισμένο αριθμό σημείων. Εφόσον ολοκληρωθεί η διαίρεση του χώρου σε τμήματα και συνεπώς δημιουργηθεί το τελικό k-d δέντρο, μπορεί να χρησιμοποιηθεί για την εύρεση του κοντινότερου γείτονα ενός σημείου που δεν ανήκει στο δέντρο (query point). H κλασική μέθοδος αναζήτησης του κοντινότερου γείτονα σε ένα k-d δέντρο αρχικά προσπελαύνει το δέντρο ξεκινώντας από τον κόμβο ρίζα (root node) του δέντρου για να βρει σε ποιον κόμβο τοποθετείται το σημείο του οποίου θέλουμε να βρούμε τον κοντινότερο γείτονα. Στην συνέχεια υπολογίζεται ο κοντινότερος γείτονας του σημείου που υπάρχει στον κόμβο αυτό. Η μέθοδος, όμως, δεν σταματάει εδώ. Θα πρέπει να ελεγχθεί αν υπάρχει κάποιο σημείο στην άλλη πλευρά του διαχωριστικού υπερεπιπέδου που να είναι πιο κοντά στο query point. Αυτό γίνεται ορίζοντας μία υπερσφαίρα με κέντρο το query point και ακτίνα ίση με την απόσταση του query point από τον τρέχοντα καλύτερο γείτονα. Η διαδικασία αυτή φαίνεται στην εικόνα 3.7. Εικόνα 3.7 [27] Αναζήτηση Κοντινότερου γείτονα σε k-d δέντρο. Το query point έχει συμβολιστεί με αστέρι και ο τρέχων κοντινότερος γείτονας με μαύρο χρώμα. Αν η υπερσφαίρα τέμνει κάποιο υπερεπίπεδο τότε πιθανόν να υπάρχει σημείο στην άλλη πλευρά του υπερεπιπέδου που να είναι πιο κοντά στο query point από ότι ο τρέχων κοντινότερος γείτονας. Στην περίπτωση αυτή, η μέθοδος πρέπει να διασχίσει το δέντρο και να φτάσει στον κόμβο αυτό για να εξετάσει για τυχόν κοντινότερα σημεία. Οι περιοχές του χώρου που δεν τέμνονται από την υπερσφαίρα δεν εξετάζονται και έτσι το δέντρο «κλαδεύεται». Για να διαπιστωθεί αν μία 41

66 υπερσφαίρα τέμνει κάποιο υπερεπίπεδο, συγκρίνεται η ακτίνα της υπερσφαίρας που είναι η απόσταση από τον τρέχοντα κοντινότερο γείτονα (κόκκινο χρώμα στην εικόνα 3.7) με την απόσταση του query point από το διαχωριστικό υπερεπίπεδο (πράσινο χρώμα). Αν η πρώτη είναι μεγαλύτερη της δεύτερης τότε η υπερσφαίρα τέμνει το αντίστοιχο υπερεπίπεδο. Η μέθοδος αναζήτησης τερματίζει όταν η διάσχιση του δέντρου καταλήξει στον κόμβο ρίζα. Μια άλλη εναλλακτική μέθοδος αναζήτησης του κοντινότερου γείτονα είναι η μέθοδος best bin first (BBF). Σε αντίθεση με την προηγούμενη μέθοδο που εξετάζει τις περιοχές του δένδρου με σειρά συγγένειας των κόμβων, η μέθοδος BBF εξετάζει τις περιοχές (bins) του δένδρου κατά αυξανόμενη χωρική απόσταση από το query point [28]. Η εικόνα 3.8 απεικονίζει ένα δένδρο k-d στον χώρο καθώς και σε δενδρική αναπαράσταση. Αν εφαρμοστεί η μέθοδος BBF για την εύρεση του κοντινότερου γείτονα για το σημείο που συμβολίζεται με «+», τότε θα εξετασθεί πρώτα η περιοχή D και μετά η περιοχή B που είναι η αμέσως κοντινή περιοχή χωρικά και όχι η περιοχή C που είναι η αμέσως κοντινή περιοχή στο δένδρο. Η μέθοδος αυτή χρησιμοποιείται είναι συνήθως πιο αποτελεσματική αφού προσεγγίζει πιο γρήγορα την λύση. Εικόνα 3.8 [28] a) Αναζήτηση Κοντινότερου γείτονα σε k-d δέντρο με την μέθοδο BBF. b) Δενδρική αναπαράσταση k-d δέντρου. Σε κάθε κόμβο αποθηκεύεται η διάσταση διαχωρισμού (d 1, d 2) και η τιμή κατωφλίου της διάστασης αυτής Εύρεση Κοντινότερου Γείτονα κατά προσέγγιση με Δέντρο k-d Η κλασικός μέθοδος εύρεσης του κοντινότερου γείτονα σε δέντρο k-d που περιεγράφηκε προηγουμένως είναι αποτελεσματικός σε δεδομένα με λίγες διαστάσεις σε σχέση με την μέθοδο brute force, αλλά σε μεγάλο πλήθος διαστάσεων η αποτελεσματικότητα του μειώνεται αρκετά. Προκειμένου η μέθοδος εύρεσης του κοντινότερου γείτονα να εκτελείται το ίδιο γρήγορα και σε μεγαλύτερες διαστάσεις έχει υλοποιηθεί μία μέθοδος που βρίσκει τον κοντινότερο γείτονα ενός σημείου κατά προσέγγιση [29]. Η μέθοδος αυτή χρησιμοποιεί πολλαπλά τυχαία δέντρα k-d (randomized k-d tree algorithm) τα οποία εξετάζονται παράλληλα. Στην μέθοδο αυτή ως διάσταση διαχωρισμού του χώρου επιλέγεται ως διάσταση διαχωρισμού τυχαία μία εκ των πέντε με την μεγαλύτερη διασπορά τιμών. Η αναζήτηση του κοντινότερου γείτονα γίνεται με την μέθοδο BBF 42

67 χρησιμοποιώντας μία καθολική ουρά προτεραιότητας που καθορίζει με σειρά αυξανόμενης χωρικής απόστασης τις περιοχές του k-d δέντρου που θα εξετασθούν. Αν ένα σημείο έχει εξετασθεί σε ένα από τα δέντρα, δηλαδή έχει συγκριθεί με το query point τότε σημειώνεται και δεν εξετάζεται από τα υπόλοιπα. Η μέθοδος δέχεται ως παράμετρο ένα μέγιστο πλήθος κόμβων φύλλων που πρέπει να εξετασθούν και κάθε φορά επιστρέφεται ο καλύτερος κοντινότερος γείτονας που έχει βρεθεί. Το πλήθος των κόμβων φύλλων προς εξέταση δηλώνει ένα μέτρο της προσέγγισης του κοντινότερου γείτονα. Επομένως, ο τρόπος αυτός αναζήτησης δεν επιστρέφει πάντα τον πραγματικό κοντινότερο γείτονα. Ο λόγος που εξετάζονται παράλληλα πολλά τυχαία κατασκευασμένα δέντρα k-d είναι ότι με αυτόν τον τρόπο αυξάνεται η πιθανότητα το query point να βρίσκεται στην ίδιο περιοχή με τον πραγματικό κοντινότερο του γείτονα, όπως φαίνεται στην εικόνα 3.9. Έτσι δεν χρειάζεται να γίνουν επιπλέον προσπελάσεις σε άλλες περιοχές του δέντρου. Εικόνα 3.9 [29] Παράδειγμα δύο τυχαίων k-d δέντρων. Στο πάνω δέντρο το query point (q) βρίσκεται σε διαφορετική περιοχή από τον πραγματικό κοντινότερο του γείτονα, ενώ στο κάτω βρίσκονται μαζί στην ίδια περιοχή του δέντρου Κριτήριο λόγου αποστάσεων Για την καλύτερη αντιστοίχιση των χαρακτηριστικών σημείων των εικόνων και για την ανίχνευση εσφαλμένων αντιστοιχίσεων προτάθηκε από τον Lowe [23] το εξής κριτήριο: 43

68 ααααόσσσσσσσσσσ ααααό κκκκκκκκκκκκόττττττττ γγγγίττττττττ κκκκκκώφφφφφφ (3.21) ααααόσσσσσσσσσσ ααααό δδδδύττττττοο κκκκκκκκκκκκόττττττττ γγγγίττττττττ Αν ισχύει το παραπάνω κριτήριο (d-ratio test, distance ratio test), τότε η αντιστοίχιση στον κοντινότερο γείτονα θεωρείται σωστή, αλλιώς απορρίπτεται. Επομένως, οι μέθοδοι εύρεσης του κοντινότερου γείτονα εκτελούνται έτσι ώστε να βρίσκουν τους δύο κοντινότερους γείτονες. Μία τιμή κατωφλίου μεταξύ 0,7 και 0,8 φαίνεται ότι απορρίπτει μεγάλο ποσοστό των εσφαλμένων αντιστοιχίσεων (περίπου 90% στο πρόβλημα του Lowe [23]). Όσο πιο κοντά στην μονάδα είναι η τιμή αυτή τόσο περισσότερα ζεύγη σημείων θεωρούνται ότι έχει αντιστοιχισθεί σωστά και το αντίθετο. Η εύρεση και απόρριψη ζευγών σημείων που έχουν αντιστοιχισθεί λάθος είναι σημαντικό βήμα της διαδικασίας ευθυγράμμισης, διότι λάθος αντιστοιχίσεις σημείων οδηγούν σε λάθος υπολογισμό του μοντέλου του γεωμετρικού μετασχηματισμού που συνδέει το σύστημα συντεταγμένων των δύο εικόνων προς ευθυγράμμιση Υπολογισμός Γεωμετρικού Μετασχηματισμού Επόμενο βήμα της μεθόδου ευθυγράμμισης είναι ο υπολογισμός του μοντέλου του γεωμετρικού μετασχηματισμού που ευθυγραμμίζει την sensed εικόνα στο σύστημα συντεταγμένων της εικόνας αναφοράς. Από το προηγούμενο βήμα τις μεθόδου έχουν αντιστοιχισθεί μεταξύ τους τα χαρακτηριστικά σημεία των εικόνων. Επομένως, τώρα πρέπει να βρεθεί εκείνο το μαθηματικό μοντέλο που περιγράφει αυτές τις αντιστοιχίσεις. Όπως αναφέρθηκε και στο κεφάλαιο 1 (σχέση 1.1), αν (xx, yy ) είναι ένα σημείο της sensed εικόνας που αντιστοιχίζεται με το σημείο (xx, yy) της εικόνας αναφοράς, τότε πρέπει να βρεθεί το μοντέλο TT το οποίο θα ικανοποιεί αυτή την αντιστοίχιση. Στην περίπτωση αυτή, όμως, πρέπει να υπολογιστεί ένα καθολικό μοντέλο το οποίο θα περιγράφει τις αντιστοιχίσεις μεταξύ των σημείων που βρέθηκαν στο προηγούμενο βήμα με το μικρότερο δυνατό σφάλμα. Μία αρκετά δημοφιλής μέθοδος που χρησιμοποιείται γενικά για τον υπολογισμό ενός μοντέλου το οποίο προσαρμόζεται σε παρατηρούμενα δεδομένα είναι η μέθοδος των ελαχίστων τετραγώνων (least squares) Μέθοδος των Ελαχίστων Τετραγώνων Η μέθοδος των ελαχίστων τετραγώνων προσπαθεί να προσαρμόσει τις τιμές των παραμέτρων ενός γραμμικού μοντέλου στα παρατηρούμενα δεδομένα. Στην περίπτωση της ευθυγράμμισης εικόνων, τα παρατηρούμενα δεδομένα είναι τα ζεύγη των χαρακτηριστικών σημείων (xx, xx ) όπου xx = (xx, yy) σημείο της εικόνας αναφοράς και xx = (xx, yy ) σημείο της εικόνας προς ευθυγράμμιση που έχει αντιστοιχισθεί με το προηγούμενο. Επίσης, οι γεωμετρικοί μετασχηματισμοί που αναφέρθηκαν στο κεφάλαιο 1 και εκφράζονται με έναν πίνακα είναι γραμμικοί. Επομένως, η μέθοδος αυτή μπορεί να εφαρμοστεί για τον προσδιορισμό του μοντέλου του γεωμετρικού μετασχηματισμού. Η μέθοδος αυτή καταφέρνει να βρει τις βέλτιστες τιμές παραμέτρων για τις οποίες ελαχιστοποιείται το άθροισμα των τετραγωνικών σφαλμάτων που είναι: ΕΕ LLLL = ff(xx ii ; aa) xx ii 2 ii (3.22) όπου ff(xx ii ; aa) είναι το προβλεπόμενο σημείο της εικόνας προς ευθυγράμμιση ύστερα από την εφαρμογή του προσαρμοσμένου μοντέλου του μετασχηματισμού με παραμέτρους αα στο σημείο xx ii της εικόνας αναφοράς [28]. Το μέτρο της διαφοράς, ff(xx ii ; aa) xx ii, εκφράζει το πόσο η προβλεπόμενη τιμή υπολείπεται από την πραγματικά παρατηρούμενη τιμή. Η μέθοδος αυτή είναι αποτελεσματική 44

69 ακόμα και όταν τα δεδομένα περιέχουν θόρυβο. Ωστόσο, δεν είναι ανθεκτική στην παρουσία ακραίων τιμών (outliers) στα δεδομένα. Το μειονέκτημα αυτό της μεθόδου φαίνεται στο επόμενο παράδειγμα. Έστω ότι έχουμε τα παρακάτω παρατηρούμενα δεδομένα (xx, yy) και θέλουμε να βρούμε την σχέση που συνδέει την εξαρτημένη μεταβλητή yy με την ανεξάρτητη xx. X Y Εικόνα 3.10 Ζεύγη δεδομένων, όπου x είναι η ανεξάρτητη και y η εξαρτημένη μεταβλητή. Από τις παραπάνω τιμές των μεταβλητών αναμένεται ότι το μαθηματικό μοντέλο που σχετίζει τις δύο μεταβλητές είναι η ευθεία γραμμή yy = xx. Όμως παρατηρούμε ότι υπάρχει ένα ζεύγος τιμών, το (5, 14) για το οποίο δεν ισχύει το παραπάνω μοντέλο ούτε για κάποια μικρή απόκλιση και δεν ταιριάζει με τα υπόλοιπα ζεύγη. Το ζεύγος αυτό περιέχει ακραίες τιμές και θα επηρεάσει το τελικό αποτέλεσμα της μεθόδου των ελαχίστων τετραγώνων. Εφόσον η μέθοδος δεν μπορεί να διακρίνει τυχόν ακραίες τιμές στα δεδομένα, θα χρησιμοποιήσει όλα τα δεδομένα για να υπολογίσει το μοντέλο. Πράγματι, χρησιμοποιώντας τις παραπάνω τιμές το μοντέλο που βρίσκει είναι η ευθεία yy = 1,3214xx αντί για την αναμενόμενη yy = xx y = 1,3214x Εικόνα 3.11 Η ύπαρξη ακραίων τιμών (πράσινο χρώμα) μειώνει την αποτελεσματικότητα της μεθόδου ελαχίστων τετραγώνων να βρει το μοντέλο (κόκκινο χρώμα) που περιγράφει τα δεδομένα. Στην περίπτωση που τα δεδομένα είναι πολλά και μπορεί να περιέχουν αρκετές ακραίες τιμές (outliers), όπως και στο πρόβλημα της εύρεση του γεωμετρικού μετασχηματισμού μεταξύ δύο εικόνων μέσω των αντιστοιχίσεων των χαρακτηριστικών σημείων, είναι αναγκαίο να χρησιμοποιηθούν μέθοδοι οι οποίες θα είναι ανθεκτικές σε ακραίες τιμές. Οι μέθοδοι αυτές, δηλαδή, θα πρέπει να μπορούν να υπολογίσουν με ακρίβεια το μοντέλο που περιγράφει την σχέση μεταξύ των δεδομένων χωρίς να επηρεάζονται από την ύπαρξη τυχόν ακραίων τιμών. Μια τέτοια μέθοδος που χρησιμοποιείται αρκετά στο βήμα αυτό είναι η μέθοδος RANSAC. 45

70 Μέθοδος RANSAC Η μέθοδος RANSAC (Random Sample Consensus) είναι μία επαναληπτική μέθοδος η οποία υπολογίζει τις παραμέτρους ενός μοντέλου που περιγράφει τα παρατηρούμενα δεδομένα ακόμα και όταν στα δεδομένα αυτά υπάρχουν outliers. Η μέθοδος αυτή παρουσιάστηκε για πρώτη φορά από τους Martin Fischler και Robert Bolles το 1981 [30]. Η βασική ιδέα της μεθόδου RANSAC είναι η εύρεση του κατάλληλου μοντέλου μέσα από μία διαδικασία ψηφοφορίας. Από το αρχικό σύνολο των δεδομένων επιλέγεται ένα υποσύνολο το οποίο έχει το ελάχιστο μέγεθος που χρειάζεται για να υπολογιστούν οι παράμετροι του μοντέλου. Στην περίπτωση που θέλουμε να υπολογίσουμε τον γεωμετρικό μετασχηματισμό που ευθυγραμμίζει δύο εικόνες του οποίου το μοντέλο έχει pp το πλήθος παραμέτρους, απαιτούνται τουλάχιστον pp εξισώσεις για τον υπολογισμό αυτών. Επειδή τα δεδομένα που χρησιμοποιούνται είναι ζεύγη ταιριασμένων σημείων, κάθε ζεύγος σημείων δημιουργεί δύο εξισώσεις και άρα το ελάχιστο πλήθος των δεδομένων που απαιτείται είναι pp 2 μη συνευθειακά σημεία [2]. Τα σημεία αυτά επιλέγονται τυχαία από το αρχικό σύνολο. Στην συνέχεια, χρησιμοποιώντας αυτό το υποσύνολο υπολογίζεται ένα πρώιμο μοντέλο του γεωμετρικού μετασχηματισμού, το οποίο ελέγχεται αν ικανοποιεί όλα τα υπόλοιπα δεδομένα του αρχικού συνόλου με περιθώριο σφάλματος εε. Αν (xx ii, xx ii ) είναι ένα ζεύγος ταιριασμένων σημείων και ff είναι το πρώιμο μοντέλο που έχει υπολογιστεί από το υποσύνολο των δεδομένων με μέγεθος pp 2 και εκφράζει τον μετασχηματισμό από το σημείο xx ii στο σημείο xx ii, τότε το μοντέλο αυτό ικανοποιεί το σημείο αν και μόνο αν: ff(xx ii ) xx ii εε (3.23) Όλα τα ζεύγη σημείων για τα οποία ισχύει η παραπάνω σχέση αναφέρονται στην ξένη ορολογία ως inliers του μοντέλου αυτού. Στην αντίθετη περίπτωση είναι outliers για το μοντέλο ff. Η παραπάνω διαδικασία εκτελείται επαναληπτικά. Σε κάθε επανάληψη επιλέγονται εκ νέου τυχαία δεδομένα από το αρχικό σύνολο και δημιουργείται ένα διαφορετικό μοντέλο ff και καταμετρώνται οι inliers για το μοντέλο αυτό. Κάθε φορά αποθηκεύεται το μοντέλο με το μεγαλύτερο πλήθος inliers. Αν το πλήθος των inliers για ένα συγκεκριμένο μοντέλο ff είναι μεγαλύτερο από ένα προκαθορισμένο κατώφλι, τότε θεωρείται ότι βρέθηκε το μοντέλο ff το οποίο περιγράφει όλα τα δεδομένα και η επαναληπτική διαδικασία τερματίζει. Στην συνέχεια, υπολογίζεται εκ νέου το μοντέλο ff χρησιμοποιώντας αυτή την φορά όλους τους inliers για μεγαλύτερη ακρίβεια. Αν μετά από έναν προκαθορισμένο αριθμό επαναλήψεων δεν έχει βρεθεί ένα τέτοιο μοντέλο, τότε το καλύτερο μοντέλο είναι αυτό που σημείωσε το μεγαλύτερο πλήθος inliers. Παρακάτω παρατίθεται ο αλγόριθμος της μεθόδου RANSAC σε μορφή ψευδογλώσσας [2] για το πρόβλημα της ευθυγράμμισης εικόνων. 46

71 Αλγόριθμος RANSAC Δεδομένα: Μεταβλητές: - Ζεύγη ταιριασμένων σημείων (xx ii, xx ii ) μεταξύ reference και sensed εικόνων πλήθους mm - Τύπος γεωμετρικού μετασχηματισμού με πλήθος pp παραμέτρων που πιθανόν ευθυγραμμίζει τις δύο εικόνες - Περιθώριο σφάλματος εε - Κατώφλι rr που είναι ο ελάχιστος λόγος του πλήθους των inliers tt για ένα μοντέλο ff προς το πλήθος όλων των ζευγών mm - Μέγιστος αριθμός επαναλήψεων ΝΝ - ii, μετρητής επαναλήψεων - nn cc, μεγαλύτερο πλήθος inliers που έχει υπολογιστεί Βήμα 1 ο : Έστω ii = 0 και nn cc = 0. Βήμα 2 ο : Επέλεξε τυχαία ένα υποσύνολο ζευγών μεγέθους qq = pp 2 από το αρχικό σύνολο μεγέθους mm. Βήμα 3 ο : Λύσε το σύστημα το pp εξισώσεων χρησιμοποιώντας τα qq ζεύγη και υπολόγισε ένα μοντέλο γεωμετρικού μετασχηματισμού ff. Βήμα 4 ο : Εφάρμοσε τον μετασχηματισμό f σε όλα τα υπόλοιπα ζεύγη του αρχικού συνόλου mm. Καταμέτρησε το πλήθος των ζευγών (inliers) για τα οποία ισχύει η σχέση (3.23). Έστω ότι υπάρχουν tt inliers. Αν tt > nn cc τότε nn cc = tt και αποθήκευσε το σύνολο qq bb όλων των inliers (μαζί και των τριών τυχαίων ζευγών) του μοντέλου αυτού. Αν nn cc mm rr τότε το καλύτερο μοντέλο βρέθηκε και πήγαινε στο Βήμα 6, αλλιώς πήγαινε στο Βήμα 5. Βήμα 5 ο : Αύξησε το ii κατά 1. Αν ii NN πήγαινε στο Βήμα 2. Βήμα 6 ο : Χρησιμοποίησε τα ζεύγη σημείων του συνόλου qq bb και υπολόγισε με μεγαλύτερη ακρίβεια το καλύτερο μοντέλο ff bb με την μέθοδο των ελαχίστων τετραγώνων. Είναι φανερό πως η αποτελεσματικότητα της μεθόδου RANSAC εξαρτάται από τις εξής τρεις παραμέτρους: το περιθώριο σφάλματος εε, το κατώφλι rr και τον αριθμό επαναλήψεων NN [2]. Σχετικά με το περιθώριο σφάλματος εε, όσο πιο μεγάλη είναι η τιμή του, τόσο περισσότερα ζεύγη θα χαρακτηριστούν ως inliers ενός μοντέλου. Αυτό ενέχει τον κίνδυνο ζεύγη σημείων που είναι στην πραγματικότητα outliers ενός μοντέλου να θεωρηθούν ως inliers αυτού και τελικά να μην υπολογιστεί το σωστό μοντέλο για τα δεδομένα. Αντίθετα, αν το εε έχει πολύ μικρή τιμή και τα δεδομένα μας γνωρίζουμε ότι έχουν θόρυβο, τότε πολύ λίγα ζεύγη σημείων θα χαρακτηριστούν ως inliers αυτού με αποτέλεσμα το μοντέλο που πραγματικά είναι το καλύτερο και σχετίζει τα δεδομένα να έχει λίγους inliers και έτσι να μην θεωρηθεί ως το καλύτερο. Η δεύτερη παράμετρος rr εξαρτάται από το πλήθος των inliers που υπάρχει στα δεδομένα. Έστω ότι ο αριθμός των inliers στο αρχικό σύνολο των δεδομένων μεγέθους mm είναι ii. Τότε η μέγιστη τιμή του κατωφλίου rr πρέπει να είναι ii mm. Συγκεκριμένα, αν στο αρχικό σύνολο των δεδομένων υπάρχει ο ίδιος αριθμός inliers και outliers, τότε η μέγιστη τιμή του r πρέπει να είναι 0,5. Στην ιδανική περίπτωση που δεν υπάρχουν καθόλου outliers στα δεδομένα η τιμή αυτή είναι 1. Λάθος επιλογή της τιμής της παραμέτρου οδηγεί στα ακόλουθα προβλήματα. Αν η τιμή της τεθεί αρκετά ψηλά και υπάρχουν αρκετοί outliers τότε η μέθοδος δεν θα μπορεί να βρει το καλύτερο μοντέλο πριν ολοκληρωθούν οι επαναλήψεις. Αντίθετα, αν η τιμή της τεθεί αρκετά χαμηλά τότε η μέθοδος πολύ πιθανόν να τερματίσει πρόωρα και να μην έχει βρει πραγματικά το καλύτερο μοντέλο. 47

72 Σχετικά με την τρίτη παράμετρο, NN, που είναι ο μέγιστος αριθμός επαναλήψεων της μεθόδου, είναι λογικό πως όσο μεγαλύτερη είναι η τιμή της τόσο περισσότερες επαναλήψεις μπορεί να κάνει η μέθοδος. Έτσι αυξάνεται η πιθανότητα να βρεθεί το καλύτερο μοντέλο, αφού περισσότερα μοντέλα θα εξεταστούν. Ωστόσο, αυτό έχει αρνητικό επακόλουθο την αύξηση του χρόνου εκτέλεσης της μεθόδου. Το αντίθετο ισχύει αν η τιμή της παραμέτρου NN είναι αρκετά μικρή. Όπως αναφέρθηκε προηγουμένως τα μοντέλα σε κάθε επανάληψη δημιουργούνται από τυχαία δειγματοληψία δεδομένων. Για να διαβεβαιωθούμε ότι η τυχαία αυτή δειγματοληψία θα οδηγήσει στην εύρεση του καλύτερου δυνατού μοντέλου, πρέπει να γίνει ένας επαρκής αριθμός επαναλήψεων [28]. Έστω ότι η πιθανότητα ένα ζεύγος σημείων να είναι σωστά ταιριασμένο είναι ss και η πιθανότητα τα qq τυχαία σημεία που επιλέγονται σε μία επανάληψη να είναι inliers του τελικού μοντέλου είναι ss qq. Επίσης, η πιθανότητα να βρεθεί το καλύτερο τελικό μοντέλο μετά από NN επαναλήψεις είναι SS. Άρα, η πιθανότητα μετά από NN επαναλήψεις να μην βρεθεί το σωστό μοντέλο είναι: 1 SS = (1 ss qq ) NN (3.24) και, επομένως, ο ελάχιστος αριθμός επαναλήψεων που απαιτείται είναι: NN = log (1 SS) log (1 ss qq ) (3.25) Τελικά, ο υπολογισμός των τριών παραμέτρων εε, rr και NN γίνεται μέσα από μία διαδικασία μάθησης όπου χρησιμοποιούνται αντιπροσωπευτικά σύνολα δεδομένων για τα οποία είναι γνωστό το μοντέλο που τα σχετίζει μεταξύ τους. 48

73 Κεφάλαιο 4 Αξιολόγηση Μεθόδων Ευθυγράμμισης 4.1 Εισαγωγή Εφόσον η μέθοδος ευθυγράμμισης έχει υπολογίσει και εφαρμόσει στην εικόνα προς ευθυγράμμιση τον γεωμετρικό μετασχηματισμό που υποτίθεται ότι την ευθυγραμμίζει στην εικόνα αναφοράς, χρειάζεται να αξιολογήσουμε την ποιότητα της ευθυγράμμισης. Δηλαδή, απαιτείται να ελέγξουμε κατά πόσο η εικόνα έχει ευθυγραμμιστεί στην εικόνα αναφοράς. Ένας απλός τρόπος για να αξιολογήσουμε το τελικό αποτέλεσμα της ευθυγράμμισης είναι να προβάλλουμε την ευθυγραμμισμένη εικόνα πάνω στην εικόνα αναφοράς και να την ελέγξουμε οπτικά. Επίσης, μπορούμε να εκφράσουμε ποσοτικά αν είναι καλή μια ευθυγράμμιση υπολογίζοντας την ομοιότητα της ευθυγραμμισμένης εικόνας με την εικόνα αναφοράς χρησιμοποιώντας κάποια μετρική. Έκτος από την αξιολόγηση της ευθυγραμμισμένης εικόνας, μπορούν να χρησιμοποιηθούν και άλλες μετρικές για την σύγκριση της απόδοσης μεταξύ διαφορετικών μεθόδων ευθυγράμμισης, οι οποίες παρουσιάζονται στις επόμενες ενότητες του κεφαλαίου. 49

74 4.2 Μετρικές Ποιότητας Εικόνας Οι μετρικές ποιότητας της εικόνας χρησιμοποιούνται για την σύγκριση της ποιότητας της εικόνας ή τον υπολογισμό της ομοιότητας μιας εικόνας με θόρυβο σε σχέση με μία αρχική εικόνα που θεωρείται «τέλεια» ως προς την ποιότητα της, δηλαδή δεν έχει θόρυβο. Στην περίπτωση της ευθυγράμμισης, ως «τέλεια» εικόνα θεωρείται η εικόνα αναφοράς και η εικόνα προς ευθυγράμμιση θεωρείται ότι έχει θόρυβο, ο οποίος είναι η γεωμετρική παραμόρφωση που έχει υποστεί. Δύο μετρικές που μπορούν να χρησιμοποιηθούν για τον υπολογισμό ομοιότητας μεταξύ της εικόνας αναφοράς και της ευθυγραμμισμένης εικόνας είναι ο λόγος μέγιστου σήματος προς θόρυβο και ο δείκτης δομικής ομοιότητας Λόγος Μέγιστου Σήματος προς Θόρυβο (PSNR) Ο λόγος μέγιστου σήματος προς θόρυβο (Peak Signal-to-Noise Ratio, PSNR) είναι ένας δείκτης που εκφράζει τον λόγο του μέγιστου σήματος προς θόρυβο μεταξύ δύο εικόνων σε decibels. Όσο μεγαλύτερη είναι η τιμή του PSNR, τόσο λιγότερος θόρυβος υπάρχει στην εικόνα [1], [28]. Ο PSNR ορίζεται ως εξής: DD 2 PPSSNNSS = 10 llllll 10 MMMMMM = 20 llllll DD 10 MMMMMM (4.1) Στην παραπάνω εξίσωση, χρησιμοποιούνται δύο ποσότητες: η σταθερά DD και το MSE. H σταθερά DD είναι ίση με την μέγιστη διακύμανση της αρχικής εικόνας. Αν η εικόνα απεικονίζεται με αποχρώσεις του γκρι και η τιμή κάθε εικονοστοιχείου κωδικοποιείται με kk bits, τότε το D ισούται με DD = 2 kk 1. Αν kk = 8 bits, τότε DD = = 255. To MSE εκφράζει το μέσο τετραγωνικό σφάλμα (Mean Squared Error) μεταξύ των δύο εικόνων και για δύο μονοχρωματικές εικόνες διαστάσεων MMMMMM υπολογίζεται ως εξής: MM NN MMMMMM = 1 MM NN II RR(xx, yy) II SS (xx, yy) 2 xx=1 yy=1 (4.2) όπου II RR και II SS είναι η εικόνα αναφοράς και η εικόνα προς ευθυγράμμιση αντίστοιχα. Στην περίπτωση που οι εικόνες είναι έγχρωμες, η τιμή της DD υπολογίζεται με τον ίδιο τρόπο, αλλά το MMMMMM που θα χρησιμοποιηθεί στην εξίσωση 4.1 θα πρέπει να είναι ίσο με την μέση τιμή των επιμέρους MSE στα αντίστοιχα κανάλια, δηλαδή: MMMMMM = MMMMMM(RR) + MMMMMM(GG) + MMMMMM(BB) 3 (4.3) Δείκτης Δομικής Ομοιότητας (SSIM) Ο δείκτης δομικής ομοιότητας (Structural Similarity Index Measure, SSIM), όπως δηλώνεται και με την ονομασία του, είναι μία μετρική που υπολογίζει την ομοιότητα μεταξύ δύο εικόνων [31]. 50

75 Το πεδίο τιμών της κυμαίνεται από -1 ως 1. Όταν ο δύο εικόνες προς εξέταση είναι πανομοιότυπες η μετρική θα ισούται με 1, ενώ όταν δεν υπάρχει καμία ομοιότητα η μετρική αυτή ισούται με 0. Η μετρική SSIM υλοποιήθηκε διότι οι μέχρι τότε παραδοσιακές μετρικές ομοιότητας, όπως το μέσο τετραγωνικό σφάλμα και το PSNR υπολόγιζαν απόλυτα σφάλματα που στηρίζονταν αποκλειστικά στις διαφορές των φωτεινοτήτων αντίστοιχων εικονοστοιχείων χωρίς να λαμβάνουν υπόψη πληροφορία σχετικά με την δομή των αντικειμένων των εικόνων. Αντίθετα, η μετρική SSIM βασίζεται στο μοντέλο του ανθρώπινου συστήματος όρασης να αντιλαμβάνεται διαφορές. Συγκεκριμένα, αντιλαμβάνεται τις διαφορές μεταξύ των εικόνων ως διαφορές στην δομή τους. Ως δομή μιας εικόνας είναι όλα εκείνα τα χαρακτηριστικά που αντιπροσωπεύουν την δομή των αντικειμένων που απεικονίζονται ανεξάρτητα από την τοπική φωτεινότητα και αντίθεση. Οι φωτεινότητες των εικονοστοιχείων που βρίσκονται χωρικά κοντά συνδέονται μεταξύ τους με στένες σχέσεις εξάρτησης, καθώς περιλαμβάνουν πληροφορία για την δομή του ίδιου αντικειμένου και κατ επέκταση για την δομή ολόκληρης της εικόνας. Η μετρική SSIM εκμεταλλεύεται αυτές τις εξαρτήσεις για να αντλήσει πληροφορία σχετικά με την δομή της εικόνας και τελικά να υπολογίσει με βέλτιστο τρόπο την ομοιότητα των εικόνων. Ο υπολογισμός της ομοιότητας με την μετρική SSIM εκτελείται με τρεις συγκρίσεις: σύγκριση της φωτεινότητας, σύγκριση της αντίθεσης και σύγκριση της δομής μεταξύ των εικόνων. Οι συγκρίσεις αυτές δεν εκτελούνται μεμονωμένα για κάθε εικονοστοιχείο, αλλά για ορθογώνιες περιοχές της εικόνας που ορίζονται με ένα ολισθαίνον παράθυρο μεγέθους 8x8. Έστω ότι xx και yy είναι αντίστοιχες ορθογώνιες περιοχές των εικόνων που περιέχουν πλήθος N εικονοστοιχείων. Για κάθε μία σύγκριση ορίζεται μία συνάρτηση σύγκρισης ως εξής: ll(xx, yy), η συνάρτηση για την σύγκριση της φωτεινότητας, c(xx, yy), η συνάρτηση για την σύγκριση της αντίθεσης και ss(xx, yy), η συνάρτηση για την σύγκριση της δομής. Η διαδικασία που χρησιμοποιείται για τον υπολογισμό της μετρικής SSIM παρουσιάζονται στην εικόνα 4.1. Αρχικά, συγκρίνεται η φωτεινότητα μεταξύ των ορθογώνιων περιοχών των εικόνων. Η φωτεινότητα υπολογίζεται ως η μέση τιμή των φωτεινοτήτων των εικονοστοιχείων των περιοχών αυτών, δηλαδή για την περιοχή xx είναι: NN μμ xx = 1 NN xx ii ii=1 (4.4) Επομένως, η συνάρτηση ll(xx, yy) θα είναι μία συνάρτηση των μμ xx και μμ yy. Στην συνέχεια, η μέση τιμή φωτεινότητας αφαιρείται από τις περιοχές xx και yy προκειμένου να υπολογιστεί η αντίθεση αυτών. Η αντίθεση υπολογίζεται ως η τυπική απόκλιση των τιμών των παραπάνω περιοχών. Έτσι για την περιοχή xx αυτή ισούται με: σσ xx = 1 NN 1 (xx ii μμ xx ) 2 NN ii=1 1 2 (4.5) Άρα, η συνάρτηση σύγκρισης cc(xx, yy) θα είναι μία συνάρτηση των σσ xx και σσ yy. Εφόσον έχουν υπολογιστεί οι τυπικές αποκλίσεις, αυτές χρησιμοποιούνται για την κανονικοποίηση των τιμών των αντίστοιχων περιοχών. Με αυτόν τον τρόπο, πληροφορία σχετικά με την φωτεινότητα και την 51

76 αντίθεση των περιοχών έχει αφαιρεθεί και για την σύγκριση της δομής των περιοχών χρησιμοποιούνται οι τιμές (xx μμ xx )/σσ xx και yy μμ yy /σσ yy. Εικόνα 4.1 [31] Διαδικασία υπολογισμού της μετρικής SSIM Για την σύγκριση της φωτεινότητας μεταξύ των εικόνων xx και yy ορίζεται η συνάρτηση ll(xx, yy) ως εξής: ll(xx, yy) = 2μμ xxμμ yy + CC 1 μμ xx 2 + μμ yy 2 + CC 1 (4.6) όπου CC 1 είναι μία σταθερά που χρησιμοποιείται για την αποφυγή αστάθειας στην περίπτωση που ο παρονομαστής μμ xx 2 + μμ yy 2 είναι πολύ κοντά στο μηδέν. H σταθερά αυτή ισούται με CC 1 = (KK 1 LL) 2, όπου KK 1 1, είναι μια μικρή σταθερά και LL είναι η μέγιστη διακύμανση των φωτεινοτήτων των εικονοστοιχείων, όπου για μονόχρωμες εικόνες των 8-bit ισούται με 255. Αντίστοιχα, η συνάρτηση cc(xx, yy) που χρησιμοποιείται για την σύγκριση της αντίθεσης μεταξύ των εικόνων ορίζεται ως: cc(xx, yy) = 2σσ xxσσ yy + CC 2 σσ xx 2 + σσ yy 2 + CC 2 (4.7) όπου CC 2 = (KK 2 LL) 2 με KK 2 1, είναι μία σταθερά που χρησιμοποιείται για τον ίδιο ακριβώς λόγο με την CC 1. Για την σύγκριση της δομής των εικόνων χρησιμοποιείται ο συντελεστής συσχέτισης των xx και yy και η συνάρτηση ss(xx, yy) που υλοποιεί την σύγκριση αυτή ορίζεται ως: όπου ss(xx, yy) = σσ xxxx + CC 3 σσ xx σσ yy + CC 3 (4.8) NN σσ xxxx = 1 NN 1 (xx ii μμ xx ) yy ii μμ yy ii=1 (4.9) είναι η συνδιακύμανση των xx και yy και CC 3 = CC

77 Οι τρεις συναρτήσεις σύγκρισης (4.6), (4.7) και (4.8) συνδυάζονται μεταξύ τους σε μία συνάρτηση η οποία υπολογίζει την ολική ομοιότητα των εικόνων. Ωστόσο, οι τρεις αυτές συναρτήσεις είναι ανεξάρτητες μεταξύ τους. Δηλαδή, μια αλλαγή στην φωτεινότητα ή στην αντίθεση των εικόνων δεν επηρεάζει την δομή των αντικειμένων τους. Η συνάρτηση που υπολογίζει την ολική ομοιότητα και τελικά την μετρική SSIM έχει την μορφή: SSSSSSSS(xx, yy) = [ll(xx, yy)] αα [cc(xx, yy)] ββ [ss(xx, yy)] γγ (4.10) Οι παράμετροι αα, ββ και γγ είναι θετικοί αριθμοί που χρησιμοποιούνται για να δηλώσουν την σημαντικότητα της κάθε σύγκρισης στον υπολογισμό της μετρικής SSIM. Για λόγους απλούστευσης της έκφρασης οι παράμετροι αυτές τίθενται ίσες με 1. Αυτό σημαίνει ότι κάθε επιμέρους σύγκριση φωτεινότητας, αντίθεσης και δομής συνεισφέρει εξίσου για τον υπολογισμό της ολικής ομοιότητας μεταξύ των εικόνων. Η τελική έκφραση της μετρικής SSIM που προκύπτει για αυτές τις τιμές των παραμέτρων είναι: SSSSIIMM(xx, yy) = 2μμ xxμμ yy + CC 1 2σσ xxxx + CC 2 μμ 2 xx + μμ 2 yy + CC 1 σσ 2 xx + σσ 2 yy + CC 2 (4.11) Το αποτέλεσμα της μετρικής SSIM είναι ένας δισδιάστατος πίνακας που περιέχει τις τιμές τις συνάρτησης (4.11) για κάθε περιοχή 8x8 των εικόνων. Συχνά απαιτείται μία συνολική τιμή που θα εκφράζει την ομοιότητα μεταξύ των εικόνων. Για αυτό τον λόγο υπολογίζεται η μέση τιμή (Mean SSIM, MSSIM) της (4.11) ως εξής: MM MMSSSSIIMM = 1 MM SSSSIIMM(xx jj, yy jj ) jj=1 (4.12) όπου M είναι το πλήθος των 8x8 περιοχών. 4.3 Μετρικές Αξιολόγησης Μεθόδων Ευθυγράμμισης βασιζόμενων σε χαρακτηριστικά σημεία Δύο μετρικές που χρησιμοποιούνται για την αξιολόγηση της απόδοσης μεθόδων που βασίζονται σε χαρακτηριστικά σημεία της εικόνας για την ευθυγράμμιση τους είναι οι τιμές recall και precision [32]. Η τιμή recall ορίζεται ως: rreeccaallll = # TTTTTTTT PPPPPPPPPPPPPPPP mmmmmmmmheeee # TTTTTTTTTT CCCCCCCCCCCCCCCCCCCCCCCCCCCCCC (4.13) όπου ο αριθμητής είναι το πλήθος των πραγματικών αντιστοιχίσεων που μπόρεσε η μέθοδος RANSAC να διακρίνει από τις συνολικές αντιστοιχίσεις που θεωρήθηκαν ως καλές σύμφωνα με ένα δεδομένο κατώφλι απόστασης. Ουσιαστικά, πρόκειται για το πλήθος των inliers που χρησιμοποιήθηκαν για τον υπολογισμό του πραγματικού γεωμετρικού μετασχηματισμού που ευθυγραμμίζει τις δύο εικόνες. Ο παρονομαστής αφορά τον συνολικό αριθμό αντιστοιχίσεων που υπάρχουν μεταξύ των εικόνων. Συγκεκριμένα, πρόκειται για το πλήθος των χαρακτηριστικών σημείων της εικόνας αναφοράς που είναι ορατά και στην ευθυγραμμισμένη εικόνα. 53

78 Όσον αφορά την τιμή precision, αυτή ορίζεται ως ο λόγος του πλήθους των πραγματικών αντιστοιχίσεων που βρέθηκαν, δηλαδή των inliers, προς το συνολικό πλήθος των αντιστοιχίσεων που θεωρήθηκαν ως καλές αντιστοιχίσεις για κάποιο δεδομένο κατώφλι απόστασης, δηλαδή: pprreeccssccssccss = # TTTTTTTT PPccccssttssvvee mmaattccheeee # TTTTTTTT PPccccssttssvvee mmaattccheeee + # FFaallccee PPccccssttssvvee mmaattccheeee (4.14) Η επιλογή της τιμής του κατωφλίου επηρεάζει άμεσα το πλήθος των αντιστοιχίσεων που θεωρούνται καλές και κατ επέκταση των τιμών recall και precision. Έστω ότι χρησιμοποιούμε το κριτήριο λόγου αποστάσεων (3.21) για να διακρίνουμε τις καλές αντιστοιχίσεις. Για μια μικρή τιμή κατωφλίου, για παράδειγμα 0,5, το κριτήριο θα ισχύει για μικρό αριθμό αντιστοιχίσεων, αφού περιορίζεται ο λόγος των αποστάσεων στα 0,5. Αυτό σημαίνει ότι ναι μεν θα μειωθεί ο αριθμός των αντιστοιχίσεων που θεωρούνται καλές, όμως οι περισσότερες ή σχεδόν όλες θα είναι στην πραγματικότητα καλές αντιστοιχίσεις και όχι outliers. Αν για παράδειγμα το κατώφλι ήταν 0,8, τότε περισσότερες αντιστοιχίσεις θα θεωρούνταν ως καλές, αφού το κριτήριο θα ίσχυε πάλι για όσες αντιστοιχίσεις ίσχυε το κριτήριο για τιμή κατωφλίου 0,5 συν κάποιες ακόμα. Ωστόσο, αυξάνοντας τον αριθμό των αντιστοιχίσεων που θεωρούνται καλές, αυξάνεται και η πιθανότητα να θεωρηθούν ως καλές αντιστοιχίσεις αυτές που στην πραγματικότητα είναι outliers, αλλά και μπορεί να βρεθούν περισσότερες ακόμα αντιστοιχίσεις που στην πραγματικότητα είναι καλές σε σχέση με μια μικρή τιμή κατωφλίου. Επομένως, όταν αυξάνεται το κατώφλι απόστασης, αυξάνεται το recall, ενώ το precision μειώνεται. Οι τιμές των recall και 1 - precision συχνά συνδυάζονται μεταξύ τους σε ένα γράφημα για την απεικόνιση της απόδοσης τέτοιων αλγορίθμων που ανιχνεύουν και περιγράφουν χαρακτηριστικά σημεία, όπως οι SIFT και SURF [32]. Το γράφημα αυτό ονομάζεται καμπύλη ROC (Receiver Operating Characteristic) και δημιουργείται υπολογίζοντας τις τιμές recall και 1 - precision για διαφορετικές τιμές κατωφλίου με το οποίο ο αλγόριθμος ξεχωρίζει καλές αντιστοιχίσεις. Όσο μεγαλύτερη είναι η επιφάνεια κάτω από την καμπύλη ROC ενός αλγορίθμου, τόσο καλύτερη είναι η απόδοση του. Άλλες συνήθεις μετρήσεις που χρησιμοποιούνται και εν τέλει συμβάλλουν καθοριστικά στην σύγκριση μεταξύ μεθόδων ευθυγράμμισης είναι το ποσοστό επιτυχών ευθυγραμμίσεων και ο χρόνος εκτέλεσης της μεθόδου. 54

79 Κεφάλαιο 5 Υλοποίηση και Σύγκριση Μεθόδων Ευθυγράμμισης 5.1 Εισαγωγή Στα πλαίσια της παρούσης εργασίας ασχοληθήκαμε με την υλοποίηση feature-based μεθόδων για την ευθυγράμμιση δορυφορικών εικόνων. Στην συνέχεια, οι μέθοδοι εφαρμόστηκαν σε ένα σύνολο ζευγών εικόνων προς ευθυγράμμιση έτσι ώστε να υπολογιστούν οι μετρικές όπως αυτές περιγράφονται στο κεφάλαιο 4 με σκοπό την αξιολόγηση της απόδοσης και την σύγκριση των μεθόδων. Επιπροσθέτως, εξετάσθηκε η χρησιμότητα της ευθυγράμμισης στην δορυφορική απεικόνιση με την υλοποίηση δύο εφαρμογών: την ευθυγράμμιση εικόνων για ανίχνευση αλλαγών (change detection) στην επιφάνεια της Γης κατά την πάροδο του χρόνου και της συρραφής εικόνων (image mosaicking) για την δημιουργία εικόνων μεγαλύτερων διαστάσεων που συμβάλλει στην χαρτογράφηση μιας γεωγραφικής περιοχής. 55

80 5.2 Ανάκτηση Δορυφορικών Εικόνων Οι δορυφορικές εικόνες στις οποίες εφαρμόστηκαν οι μέθοδοι ευθυγράμμισης ανακτήθηκαν από το λογισμικό Google Earth Pro. Το λογισμικό αυτό απεικονίζει γραφικά την επιφάνεια της Γης και είναι διαθέσιμο δωρεάν στο διαδίκτυο με αυτή την ονομασία από το 2004 από την Google [33]. H έκδοση Pro είναι διαθέσιμη δωρεάν από το Το λογισμικό αυτό συνθέτει δορυφορικές εικόνες και αεροφωτογραφίες από πολλές πηγές για την χαρτογράφηση όλων των περιοχών της επιφάνειας της Γης. Οι εικόνες αυτές είναι οργανωμένες και προβάλλονται σε διαφορετικά επίπεδα με σκοπό την ευκολία χρήσης του λογισμικού. Η χωρική ανάλυση των εικόνων κυμαίνεται από 15 μέτρα έως 15 εκατοστά ανάλογα με την γεωγραφική περιοχή και το δορυφορικό σύστημα που χρησιμοποιήθηκε για την καταγραφή τους. Επίσης, υπάρχει η δυνατότητα για προβολή εικόνων από το 2004 μέχρι σήμερα. Βέβαια, οι εικόνες βρίσκονται κάτω από τα πνευματικά δικαιώματα της Google και δεν επιτρέπεται η χρήση τους για εμπορική χρήση χωρίς την άδεια της. Ωστόσο, επιτρέπεται η προσωπική χρήση εφόσον αναφέρεται η πηγή προέλευσης της. Στην συνέχεια παρατίθενται κάποια παραδείγματα ζευγών εικόνων που ανακτήθηκαν από το Google Earth Pro και χρησιμοποιήθηκαν για ευθυγράμμιση. Εικόνα 5.1 Αριστερά: Δορυφορική απεικόνιση της περιοχής του Αράξου στις 15/7/2016 από δορυφόρο της εταιρείας DigitalGlobe. Δεξιά: Δορυφορική απεικόνιση της περιοχής του Αράξου στις 5/9/2003 πάλι από δορυφόρο της εταιρείας DigitalGlobe. Εικόνα 5.2 Αριστερά και Δεξιά: Δορυφορική απεικόνιση της τμήματος της πόλης των Πατρών στις 30/7/2017 από δορυφόρο της εταιρείας DigitalGlobe. Η βάση δεδομένων που δημιουργήθηκε για την δοκιμή των μεθόδων ευθυγράμμισης της παρούσης εργασίας αποτελείται από 87 ζεύγη δορυφορικών εικόνων διαστάσεων λίγο μικρότερο από 1920x1080, όπου η μία εικόνα είναι η εικόνα αναφοράς και η άλλη η εικόνα προς ευθυγράμμιση. Φροντίσαμε οι εικόνες να διαφέρουν μεταξύ τους ως προς μετατόπιση, περιστροφή, κλιμάκωση και affine μετασχηματισμό καθώς, επίσης, και να βρίσκονται υπό διαφορετικές συνθήκες φωτεινότητας, έτσι ώστε να εξετασθεί η αποτελεσματικότητα των μεθόδων σε διάφορες παραμορφώσεις των εικόνων. Επίσης, το λογότυπο του Google Earth που προστίθεται αυτόματα από το λογισμικό κατά 56

81 την αποθήκευση των εικόνων αποκόπηκε από τις εικόνες πριν αυτές χρησιμοποιηθούν ώστε να μην επηρεάσουν την λειτουργία της μεθόδου ευθυγράμμισης. 5.3 Περιβάλλον Υλοποίησης Ο κώδικας που υλοποιεί τις μεθόδους ευθυγράμμισης γράφτηκε με την γλώσσα προγραμματισμού C++ στο περιβάλλον ανάπτυξης Eclipse και σε υπολογιστική μηχανή με τα εξής χαρακτηριστικά: Λειτουργικό: Windows 10 Pro 64-bit Επεξεργαστής: Intel Core i7-4510u 2.00 GHz Μνήμη RAM: 8 GB Συγκεκριμένα, για την συγγραφή του κώδικα χρησιμοποιήθηκαν οι βιβλιοθήκες OpenCV (Open Source Computer Vision Library) και FLANN (Fast Library for Approximate Nearest Neighbors) οι οποίες υλοποιούν πλήθος αλγορίθμων που χρειάστηκαν στην παρούσα εργασία. Στο τέλος, στο παράρτημα, παρατίθενται ο κώδικας που γράφτηκε για τις ανάγκες της εργασίας Βιβλιοθήκη OpenCV Η OpenCV είναι μια βιβλιοθήκη ανοιχτού κώδικα και περιλαμβάνει κώδικα που υλοποιεί πολλούς αλγορίθμους υπολογιστικής όρασης και μηχανικής μάθησης [34]. Κάθε εταιρεία που επιθυμεί να χρησιμοποιήσει την βιβλιοθήκη αυτή στα προϊόντα της έχει ελεύθερη πρόσβαση στον κώδικα και μπορεί να τους τροποποιήσει, εκτός από ορισμένους αλγορίθμους που είναι πατενταρισμένοι. Οι αλγόριθμοι που εμπεριέχονται στην OpenCV είναι πάνω από 2500 σε αριθμό και έχουν βελτιστοποιηθεί για χρήση κυρίως σε εφαρμογές πραγματικού χρόνου. Ενδεικτικά, κάποιες από τις εφαρμογές υπολογιστικής όρασης που μπορούν να χρησιμοποιηθούν οι αλγόριθμοι αυτοί είναι: Αναγνώριση προσώπου και χειρονομιών Ανίχνευση κίνησης Επεξεργασία 2D και 3D εικόνων Ευθυγράμμιση Εικόνων Επαυξημένη πραγματικότητα Στερεοσκοπική Όραση Ρομποτική κίνηση Εντοπισμός αντικειμένου Αλληλεπίδραση ανθρώπου μηχανής Εκτός από αλγορίθμους υπολογιστικής όρασης, στην OpenCV εμπεριέχονται αλγόριθμοι μηχανικής μάθησης οι οποίοι χρησιμοποιούνται για να υποστηρίξουν τις παραπάνω εφαρμογές. Ενδεικτικά, εμπεριέχονται αλγόριθμοι που υλοποιούν τεχνητά και βαθιά νευρωνικά δίκτυα, ταξινομητές Bayes, δέντρα απόφασης, ταξινόμηση σε k κοντινότερους γείτονες κτλ. Η κύρια γλώσσα προγραμματισμού με την οποία έχει γραφεί ο κώδικας των αλγορίθμων είναι η C++. Ωστόσο, μπορεί να χρησιμοποιηθεί και με τις γλώσσες Java, Python και MATLAB. 57

82 5.3.2 Βιβλιοθήκη FLANN Η βιβλιοθήκη FLANN περιλαμβάνει αλγορίθμους οι οποίοι χρησιμοποιούνται για την εύρεση k κοντινότερων γειτόνων [29]. Επειδή στις εφαρμογές υπολογιστικής όρασης και μηχανικής μάθησης απαιτείται αρκετά μεγάλο πλήθος δεδομένων, η αναζήτηση κοντινότερου γείτονα σε ένα τέτοιο σύνολο δεδομένων με παραδοσιακές μεθόδους, όπως η εξαντλητική αναζήτηση, είναι αρκετά χρονοβόρα και μειώνει την αποτελεσματικότητα των εφαρμογών πραγματικού χρόνου. Για αυτό τον λόγο, αναπτύχθηκαν αλγόριθμοι οι οποίοι μπορούν να βρουν τον κοντινότερο γείτονα με προσεγγιστικό τρόπο μειώνοντας έτσι την υπολογιστική πολυπλοκότητα. Αυτοί οι αλγόριθμοι που εμπεριέχονται στην βιβλιοθήκη FLANN είναι: Αναζήτηση με πολλαπλά τυχαία δέντρα k-d Αναζήτηση με ιεραρχικό δέντρο που βασίζεται στον αλγόριθμο K-means Σύνθετη αναζήτηση με τους δύο προηγούμενους τρόπους Αναζήτηση με την μέθοδο Locality Sensitive Hashing (LSH) Στους παραπάνω αλγορίθμους συμπεριλαμβάνεται και η μέθοδος brute force, καθώς επίσης, παρέχεται και η δυνατότητα για αυτόματη επιλογή του αλγορίθμου και των παραμέτρων του ανάλογα με το είδος του συνόλου των δεδομένων. H βιβλιοθήκη FLANN είναι υλοποιημένη στην γλώσσα C++ και εμπεριέχεται στην βιβλιοθήκη OpenCV. Επίσης, μπορεί να χρησιμοποιηθεί με τις γλώσσες C, Python και MATLAB. 5.4 Υλοποιημένη Μέθοδος Ευθυγράμμισης Όπως αναφέρθηκε σε προηγούμενες ενότητες, για την ευθυγράμμιση των δορυφορικών εικόνων υλοποιήθηκε μία feature-based μέθοδος. Σε κάθε βήμα της μεθόδου, όπως περιγράφεται στην ενότητα χρησιμοποιήθηκαν διάφοροι αλγόριθμοι και εξετάσθηκε η αποτελεσματικότητα τους. Στην συνέχεια αναφέρονται τα βήματα της μεθόδου με τους αλγορίθμους που χρησιμοποιήθηκαν στο καθένα. 1. Ανίχνευση Χαρακτηριστικών και Περιγραφή Χαρακτηριστικών Σημείων: Στο πρώτο βήμα της ανίχνευσης και περιγραφής των χαρακτηριστικών σημείων, χρησιμοποιήθηκαν οι τεχνικές SIFT και SURF. 2. Αντιστοίχιση Χαρακτηριστικών Σημείων: Η αντιστοίχιση των χαρακτηριστικών σημείων βασίστηκε στην εύρεση του κοντινότερου γείτονα και εξετάσθηκαν η μέθοδοι brute force και η αναζήτηση με τυχαία δέντρα k-d. Για τον εντοπισμό καλών αντιστοιχίσεων εφαρμόστηκε το κριτήριο του λόγου αποστάσεων του Lowe (3.21). 3. Υπολογισμός Γεωμετρικού Μετασχηματισμού: Στο βήμα αυτό, ο αλγόριθμος RANSAC χρησιμοποιήθηκε για τον υπολογισμό του αντίστροφου γεωμετρικού μετασχηματισμού λαμβάνοντας υπόψη του μόνο το σύνολο των καλών αντιστοιχίσεων. 4. Εφαρμογή Γεωμετρικού Μετασχηματισμού: Για την εφαρμογή του αντίστροφου μετασχηματισμού, χρησιμοποιήθηκε η μέθοδος bilinear interpolation. 58

83 5.5 Σύγκριση SIFT και SURF Για την σύγκριση των αλγορίθμων SIFT και SURF, εξετάσθηκε η αποτελεσματικότητα τους για διάφορες τιμές κατωφλίου του κριτηρίου (3.21) και για τις δύο μεθόδους αντιστοίχισης, δηλαδή brute force και για τυχαία δέντρα k-d πλήθους 10. Συγκεκριμένα, υπολογίστηκαν οι τιμές των recall και precision, οι οποίες χρησιμοποιήθηκαν για την κατασκευή της καμπύλης ROC κάθε μεθόδου. Επίσης, έγινε μια υποκειμενική αξιολόγηση των ευθυγραμμίσεων έτσι ώστε να εξαχθεί το ποσοστό των επιτυχών ευθυγραμμίσεων εκ του συνόλου των 87 ευθυγραμμίσεων και, τέλος, μετρήθηκε ο χρόνος που χρειάστηκε κάθε μέθοδος για να ευθυγραμμίσει τις εικόνες. Αρχικά, θα εξετάσουμε τα αποτελέσματα των μεθόδων ευθυγράμμισης για ένα ζεύγος εικόνων προς ευθυγράμμιση (Εικόνα 5.3) για τιμές κατωφλίου 0,7 και 0,8. Οι μέθοδοι που χρησιμοποιήθηκαν είναι: a) SIFT + Brute Force + RANSAC, b) SIFT + 10 Randomized KD Trees + RANSAC, c) SURF + Brute Force + RANSAC και d) SURF + 10 Randomized KD Trees + RANSAC και τα αποτελέσματα παρατίθενται στους πίνακες που ακολουθούν. Εικόνα 5.3 Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω: Ευθυγραμμισμένη Εικόνα, Πηγή: Google Earth Matching Ratio: 0,7 # Ref. Image Features # Sensed Image Features # Total Correspondences # Good Matches # Inliers # Outliers Time (secs) SIFT (BF) ,589 SIFT (KD Tree) ,682 SURF (BF) ,485 59

84 SURF (KD Tree) ,449 Matching Ratio: 0,8 # Ref. Image Features # Sensed Image Features # Total Correspondences # Good Matches # Inliers # Outliers Time (secs) SIFT (BF) ,763 SIFT (KD Tree) ,734 SURF (BF) ,726 SURF (KD Tree) ,796 Recall (0,7) Recall (0,8) Precision (0,7) Precision (0,8) SIFT (BF) 0,272 0,295 0,993 0,962 SIFT (KD Tree) 0,255 0,281 0,941 0,922 SURF (BF) 0,071 0,106 0,949 0,795 SURF (KD Tree) 0,067 0,105 0,813 0,672 Εικόνα 5.4 Μετρήσεις που έγιναν κατά την ευθυγράμμιση τους ζεύγους εικόνων της Εικόνας 5.3 για τιμές κατωφλίου 0,7 και 0,8 Από τα αποτελέσματα των παραπάνω πινάκων είναι ξεκάθαρο ότι τουλάχιστον για το συγκεκριμένο παράδειγμα ευθυγράμμισης καθώς αυξάνεται το κατώφλι από 0,7 σε 0,8, το recall αυξάνεται και το precision μειώνεται. Αυτό συμβαίνει γιατί ναι μεν αυξάνεται το πλήθος των inliers, αλλά ταυτόχρονα αυξάνεται ο αριθμός των outliers. Κάτι άλλο που μπορούμε να παρατηρήσουμε είναι ότι η αντιστοίχιση των σημείων χρησιμοποιώντας 10 τυχαία k-d δέντρα παράγει περισσότερο αριθμό outliers οι οποίοι δεν μπορούν να απορριφθούν από το κριτήριο λόγου αποστάσεων. Επίσης, η μέθοδος SIFT ανιχνεύει περισσότερα χαρακτηριστικά σημεία σε σύγκριση με την μέθοδο SURF, αλλά είναι αρκετά πιο αργή όταν χρησιμοποιείται η μέθοδος brute-force για την αντιστοίχιση αυτών. Για να λάβουμε μια γενικότερη εικόνα για την απόδοση των μεθόδων ευθυγράμμισης στα παρακάτω διαγράμματα παρατίθενται τα συγκεντρωτικά αποτελέσματα των ευθυγραμμίσεων που πραγματοποιήθηκαν. Για την εξαγωγή του ποσοστού επιτυχών ευθυγραμμίσεων χρησιμοποιήθηκαν και τα 87 ζεύγη εικόνων, ενώ για τον υπολογισμό των άλλων μετρικών χρησιμοποιήθηκαν 45 και είναι εκείνα που μπόρεσαν επιτυχώς να ευθυγραμμιστούν και με τις τέσσερις υπό εξέταση μεθόδους ευθυγράμμισης. 60

85 Precision 1,00 0,90 0,80 0,70 0,60 0,50 0,40 0,30 0,20 0,10 0,00 Precision 0,5 0,6 0,7 0,8 0,9 Matching Ratio SIFT (BF) SIFT (KD Tree) SURF (BF) SURF (KD Tree) Recall 0,40 0,35 0,30 0,25 0,20 0,15 0,10 0,05 0,00 Recall 0,5 0,6 0,7 0,8 0,9 Matching Ratio SIFT (BF) SIFT (KD Tree) SURF (BF) SURF (KD Tree) 0,35 0,30 0,25 ROC Curve Recall 0,20 0,15 0,10 0,05 0,00 0,00 0,20 0,40 0,60 0, Precision SIFT (BF) SIFT (KD Tree) SURF (BF) SURF (KD Tree) 61

86 Time (secs) 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 Running Time 0,5 0,6 0,7 0,8 0,9 Matching Ratio SIFT (BF) SIFT (KD Tree) SURF (BF) SURF (KD Tree) Success Rate 100,00% 90,00% 80,00% 70,00% 60,00% 50,00% 40,00% 30,00% 20,00% 10,00% 0,00% Success Rate 0,5 0,6 0,7 0,8 0,9 Matching Ratio SIFT (BF) SIFT (KD Tree) SURF (BF) SURF (KD Tree) Από τα παραπάνω διαγράμματα είναι φανερό ότι η μέθοδος SIFT + Brute Force είναι αρκετά πιο αργή από τις υπόλοιπες αλλά παράγει μεγαλύτερο πλήθος inliers, δηλαδή σωστών αντιστοιχίσεων σύμφωνα με τις τιμές των precision και recall. Επίσης, το μεγαλύτερο ποσοστό επιτυχών ευθυγραμμίσεων επιτυγχάνεται για τιμή κατωφλίου ίση με 0,8, την οποία προτείνει και ο Lowe [23]. Μια τιμή από 0,7 έως 0,8 θεωρείται ως μία καλή τιμή για το κατώφλι του κριτηρίου (3.21). Σύμφωνα με την καμπύλη ROC, η μέθοδος SIFT παρουσιάζει την καλύτερη απόδοση, όσον αφορά την ποιότητα των ανιχνευμένων χαρακτηριστικών σημείων, αφού η καμπύλη της σχηματίζει το μεγαλύτερο εμβαδό. Όταν χρησιμοποιείται η αντιστοίχιση με δέντρα k-d, απόδοση των μεθόδων SIFΤ και SURF μειώνεται ελάχιστα. Συμπερασματικά, αν μας ενδιαφέρει η ποιότητα της ευθυγράμμισης και όχι η ταχύτητα, τότε η καλύτερη μέθοδος είναι η SIFT + Brute Force, ενώ αν μας ενδιαφέρει η ταχύτητα, καλύτερη μέθοδος είναι η SIFT + KD Tree. 62

87 5.6 Αξιολόγηση Ευθυγράμμισης με τις μετρικές SSIM και PSNR Με τις μετρικές SSIM και PSNR μπορούμε να αξιολογήσουμε την ομοιότητα της ευθυγραμμισμένης σε σχέση με την εικόνα αναφοράς. Μπορούμε να τις χρησιμοποιήσουμε για να συμπεράνουμε αν μια ευθυγράμμιση είναι καλύτερη ή χειρότερη από μια άλλη. Στην συνέχεια παρατίθενται μερικά παραδείγματα ευθυγράμμισης τα οποία αξιολογήθηκαν με τις μετρικές SSIM και PSNR. Εικόνα 5.5 Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω Αριστερά: Ευθυγραμμισμένη Εικόνα με SURF + Brute-Force και κατώφλι 0,9, Κάτω Δεξιά: Ευθυγραμμισμένη Εικόνα με SURF + 10 Randomized KD - Trees και κατώφλι 0,9, Πηγή Εικόνων: Google Earth Matching Ratio: 0,9 SSIM PSNR SURF (Brute Force) 0,204 7,967 SURF (KD Trees) 0,101 6,332 Εικόνα 5.6 Τιμές SSIM και PSNR για το παράδειγμα της Εικόνας

88 Εικόνα 5.7 Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω Αριστερά: Ευθυγραμμισμένη Εικόνα με SIFT + Brute-Force και κατώφλι 0,8, Κάτω Δεξιά: Ευθυγραμμισμένη Εικόνα με SIFT + 10 Randomized KD - Trees και κατώφλι 0,8, Πηγή Εικόνων: Google Earth Matching Ratio: 0,8 SSIM PSNR SIFT (Brute Force) 0,257 9,366 SIFT (KD Trees) 0,067 8,888 Εικόνα 5.8 Τιμές SSIM και PSNR για το παράδειγμα της Εικόνας 5.7 Εικόνα 5.9 Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω Αριστερά: Ευθυγραμμισμένη Εικόνα με SIFT + Brute-Force και κατώφλι 0,6, Κάτω Δεξιά: Ευθυγραμμισμένη Εικόνα με SIFT + 10 Randomized KD - Trees και κατώφλι 0,6 64

89 Matching Ratio: 0,6 SSIM PSNR SIFT (Brute Force) 0,025 8,360 SIFT (KD Trees) 0,111 10,275 Εικόνα 5.10 Τιμές SSIM και PSNR για το παράδειγμα της Εικόνας 5.9 Από τα παραπάνω παραδείγματα είναι εμφανές ότι οι μετρικές SSIM και PSNR έχουν μεγαλύτερη τιμή όταν η ευθυγράμμιση είναι καλή. Ωστόσο, οι τιμές των μετρικών αυτών δεν είναι αρκετά υψηλές για να θεωρήσουμε ότι οι εικόνες μοιάζουν μεταξύ τους. Αυτό οφείλεται στις διαφορά φωτεινότητας μεταξύ των εικόνων, στο είδος της γεωμετρικής παραμόρφωσης που εφαρμόστηκε για την ευθυγράμμιση τους, αλλά και στα διάφορα χαρακτηριστικά (χωρική ανάλυση, ραδιομετρική ανάλυση κτλ) των αισθητήρων που χρησιμοποιήθηκαν για την καταγραφή των εικόνων. Αν για παράδειγμα ευθυγραμμίσουμε δύο εικόνες που έχουν ληφθεί από τον ίδιο δορυφόρο την ίδια χρονική περίοδο και δεν έχουν μεγάλες γεωμετρικές διαφορές ώστε να δημιουργούνται (Εικόνα 5.11), τότε οι μετρικές SSIM και PSNR θα έχουν μεγαλύτερη τιμή. Εικόνα 5.11 Πάνω Αριστερά: Εικόνα Αναφοράς, Πάνω Δεξιά: Εικόνα προς Ευθυγράμμιση, Κάτω Αριστερά: Ευθυγραμμισμένη Εικόνα (SSIM = 0,610, PSNR = 21,196 db), Κάτω Δεξιά: Ευθυγραμμισμένη Εικόνα για εικόνα αναφοράς την πάνω δεξιά (SSIM = 0,08, PSNR = 7,017 db), Πηγή Εικόνων: Google Earth 5.7 Εφαρμογές Η ευθυγράμμιση εικόνων είναι μια διαδικασία που χρησιμοποιείται σε πολλές εφαρμογές της τηλεπισκόπησης. Δύο από αυτές που εξετάσθηκαν στην παρούσα εργασία είναι η ανίχνευση αλλαγών και η συρραφή εικόνων. 65

90 5.7.1 Ανίχνευση Αλλαγών Η ανίχνευση αλλαγών είναι μια εφαρμογή της τηλεπισκόπησης κατά την οποία δύο ή περισσότερες δορυφορικές εικόνες της ίδιας γεωγραφικής περιοχής διαφορετικής, όμως, περιόδου συγκρίνονται μεταξύ τους με σκοπό να ανιχνευθούν αλλαγές στην επιφάνεια της Γης από την ανθρώπινη δραστηριότητα ή φυσικές καταστροφές. Μία μέθοδος που χρησιμοποιείται για την σύγκριση των εικόνων είναι ο υπολογισμός της διαφοράς των εικόνων (Image Differencing) [35]. Επειδή αυτή η μέθοδος βασίζεται στις τιμές των εικονοστοιχείων είναι απαραίτητο οι εικόνες να έχουν ευθυγραμμιστεί προηγουμένως. Έστω II 1 και II 2 είναι δύο εικόνες που έχει καταγραφεί τις χρονικές tt 1 και tt 2 και έχουν ευθυγραμμιστεί. Αν υπολογιστεί η διαφορά των εικόνων αυτών, τότε δημιουργείται η εικόνα II dd (Εξίσωση 5.1) που περιέχει τις διαφορές μεταξύ των φωτεινοτήτων των εικονοστοιχείων (xx, yy). II dd (xx, yy) = II 1 (xx, yy) II 2 (xx, yy) (5.1) Ωστόσο, για να ανιχνεύσουμε αλλαγές χρησιμοποιώντας τις διαφορές των φωτεινοτήτων των εικονοστοιχείων απαιτείται μια βασική προϋπόθεση. Τυχόν αλλαγές στην επιφάνεια της Γης πρέπει να οδηγούν σε αλλαγές στις τιμές των φωτεινοτήτων των εικονοστοιχείων και οι αλλαγές στις τιμές αυτές που συμβαίνουν λόγω αλλαγών στην επιφάνεια της Γης να είναι μεγαλύτερες σε σχέση με τις αλλαγές από άλλους παράγοντες. Έστω η κατανομή των διαφορών των φωτεινοτήτων. Στηριζόμενοι στην προηγούμενη θεώρηση, οι αλλαγές στην επιφάνεια της Γης τοποθετούνται στις ουρές της κατανομής. Αν υποθέσουμε ότι οι αλλαγές στην επιφάνεια της Γης είναι λιγότερες από αλλαγές που οφείλονται σε άλλους παράγοντες, τότε ο μεγαλύτερος αριθμός των διαφορών θα βρίσκεται γύρω από τον μέσο όρο της κατανομής, όπως φαίνεται στην εικόνα Εικόνα 5.12 [35] Κατανομή των διαφορών I d(x,y). Οι διαφορές στην φωτεινότητα λόγω αλλαγών στην επιφάνεια της Γης τοποθετούνται στις ουρές της κατανομής. Ο μεγαλύτερος αριθμός των διαφορών κατανέμενεται γύρω από τον μέσο όρο, θεωρώντας ότι οι αλλαγές στην επιφάνεια της Γης είναι πιο σπάνιες. Προκειμένου η κατανομή διαφορών να έχει μηδενική μέση τιμή, οι τιμές των εικονοστοιχείων της εικόνας ΙΙ 2 κανονικοποιούνται ως εξής: II 2 (xx, yy) = σσ 1 σσ 2 (II 2 (xx, yy) μμ 2 ) + μμ 1 (5.2) 66

91 όπου μμ 1, μμ 2 είναι μέση τιμή των εικόνων II 1 και II 2 αντίστοιχα και σσ 1, σσ 2 η τυπική απόκλιση αυτών αντίστοιχα. Με αυτό τον τρόπο, η μέση τιμή και η τυπική απόκλιση των εικόνων έχουν εξισωθεί και η εικόνα II dd η οποία υπολογίζεται σύμφωνα με την εξίσωση (5.3) θα έχει μηδενική μέση τιμή. II dd (xx, yy) = II 1 (xx, yy) II 2 (xx, yy) (5.3) Για να ανιχνευθούν οι σημαντικές διαφορές μεταξύ των εικόνων, οι τιμές της εικόνας διαφορών συγκρίνονται με ένα κατώφλι ττ και προκύπτει μία νέα δυαδική εικόνα ΤΤ(xx, yy) για την οποία ισχύει: ΤΤ(xx, yy) = 1, II dd(xx, yy) ττ 0, ααααααααώςς (5.4) Η επιλογή της τιμής του κατωφλίου ττ συνήθως επιλέγεται εμπειρικά, αλλά εφόσον η τιμή αυτή είναι πολύ καθοριστική για το πλήθος των αλλαγών που θα ανιχνευθούν, προτείνεται η χρήση αλγορίθμων που υπολογίζουν αυτόματα το βέλτιστο κατώφλι για μία συγκεκριμένη εικόνα. Η μέθοδος κατωφλίωσης που χρησιμοποιήθηκε στην παρούσα εργασία είναι η μέθοδος Otsu. Το κριτήριο που χρησιμοποιείται στην μέθοδο του Otsu για τον υπολογισμό του βέλτιστου κατωφλίου είναι η μεγιστοποίηση της διαχωριστικότητας μεταξύ των σκοτεινών και φωτεινών περιοχών του ιστογράμματος των φωτεινοτήτων της εικόνας [1]. Έστω ότι η πιθανότητα εμφάνισης κάθε φωτεινότητας είναι: pp ii = nn ii NN, pp ii 0, pp ii = 1 LL ii=1 (5.5) όπου nn ii είναι το πλήθος των εικονοστοιχείων με επίπεδο φωτεινότητας ii, NN το συνολικό πλήθος των εικονοστοιχείων της εικόνας και LL = 256 τα επίπεδα φωτεινότητας. Μία τιμή κατωφλίου ττ στο επίπεδο φωτεινότητας kk διαχωρίζει το ιστόγραμμα της εικόνας II dd σε δύο κλάσεις. Η πιθανότητα κάποιο εικονοστοιχείο να ανήκει στην πρώτη κλάση, δηλαδή να έχει τιμή φωτεινότητας μέχρι και kk συμβολίζεται με ωω(kk) και η πιθανότητα να ανήκει στην δεύτερη κλάση 1 ωω(kk), όπου ωω(kk) ισούται με: kk ωω(kk) = pp ii ii=1 (5.6) Η βέλτιστη τιμή κατωφλίου επιλέγεται μέσα από μία επαναληπτική διαδικασία για τιμές κατωφλίου 1 kk LL και είναι εκείνη που μεγιστοποιεί την συνάρτηση σσ BB 2 (kk) που εκφράζει την διακύμανση μεταξύ των κλάσεων (between class variance) και ισούται με: σσ BB 2 (kk) = μμ II dd ωω(kk) μμ ωω(kk) 2 ωω(kk)[1 ωω(kk)] (5.7) όπου μμ IIdd και μμ ωω(kk) είναι η μέση τιμή της εικόνας II dd και της πρώτης κλάσης στην οποία ανήκουν τα εικονοστοιχεία με φωτεινότητα μέχρι και kk αντίστοιχα. Εφόσον προσδιοριστεί η βέλτιστη τιμή 67

92 κατωφλίου τ η εικόνα διαφορών μετατρέπεται σε δυαδική (σχέση 5.4) και έτσι απεικονίζονται οι σημαντικές διαφορές μεταξύ των εικόνων. Στα πλαίσια της παρούσης εργασίας, η παραπάνω μέθοδος ανίχνευσης αλλαγών εφαρμόστηκε σε διάφορα ζεύγη εικόνων τα οποία προηγουμένως είχαν ευθυγραμμιστεί και τα αποτελέσματα παρουσιάζονται παρακάτω. Εικόνα 5.13 Λίμνη Mulargia, Σαρδηνία, Ιταλία Πάνω Αριστερά: Εικόνα Αναφοράς (09/08/2003), Πάνω Δεξιά: Εικόνα προς ευθυγράμμιση (11/09/2011) Κέντρο: Ευθυγραμμισμένη Εικόνα (SIFT + Brute Force + Matching Ratio = 0,8) Κάτω Αριστερά: Δυαδική Εικόνα διαφορών με την μέθοδο Otsu Κάτω Δεξιά: Με κυανό χρώμα απεικονίζεται η εικόνα αναφοράς και κόκκινο η κατωφλιωμένη εικόνα διαφορών Πηγή Εικόνων: Google Earth 68

93 Εικόνα 5.14 Ντουμπάι, Ηνωμένα Αραβικά Εμιράτα Πάνω Αριστερά: Εικόνα Αναφοράς (Landsat / Copernicus, 31/12/1996) Πάνω Δεξιά: Εικόνα προς ευθυγράμμιση (Landsat / Copernicus, 31/12/2016) Κέντρο: Ευθυγραμμισμένη Εικόνα (SIFT + Brute Force + Matching Ratio = 0,8) Κάτω Αριστερά: Δυαδική Εικόνα διαφορών με την μέθοδο Otsu Κάτω Δεξιά: Με κυανό χρώμα απεικονίζεται η εικόνα αναφοράς και κόκκινο η κατωφλιωμένη εικόνα διαφορών Πηγή Εικόνων: Google Earth 69

94 Εικόνα 5.15 Λιγνιτωρυχεία Πτολεμαΐδας, Ελλάδα Πάνω Αριστερά: Εικόνα Αναφοράς (NASA / European Space Imaging, 15/05/2003) Πάνω Δεξιά: Εικόνα προς ευθυγράμμιση (DigitalGlobe, 11/06/2009) Κέντρο: Ευθυγραμμισμένη Εικόνα (SIFT + Brute Force + Matching Ratio = 0,8) Κάτω Αριστερά: Δυαδική Εικόνα διαφορών με την μέθοδο Otsu Κάτω Δεξιά: Με κυανό χρώμα απεικονίζεται η εικόνα αναφοράς και κόκκινο η κατωφλιωμένη εικόνα διαφορών Πηγή Εικόνων: Google Earth Συρραφή Δορυφορικών Εικόνων Η συρραφή εικόνων είναι μια εφαρμογή που χρησιμοποιεί την ευθυγράμμιση εικόνων για την δημιουργία μιας εικόνας μεγαλύτερων διαστάσεων. Κατά την συρραφή δορυφορικών εικόνων, δύο ή περισσότερες εικόνες της ίδιας γεωγραφικής περιοχής που έχουν μεταξύ τους επικαλυπτόμενες περιοχές ευθυγραμμίζονται μεταξύ τους για την δημιουργία μια μεγαλύτερης εικόνας που θα απεικονίζει μεγαλύτερο μέρος της γεωγραφικής περιοχής [36]. Στην παρούσα εργασία χρησιμοποιήθηκαν για την συγκεκριμένη εφαρμογή τρεις βάσεις δεδομένων με εικόνες τριών διαφορετικών γεωγραφικών περιοχών. Οι εικόνες κάθε γεωγραφικής περιοχής που ανακτήθηκαν από το Google Earth καταγράφηκαν την ίδια χρονική στιγμή και διαφέρουν μεταξύ τους 70

95 ως προς μετατόπιση, περιστροφή και κλιμάκωση. Οι τρεις βάσεις εικόνων που δημιουργήθηκαν είναι: Image Dataset Region Date Satellite # Images Patras2017 Πάτρα 30/07/2017 DigitalGlobe 19 Ithaki2009 Ιθάκη 28/06/2009 DigitalGlobe 14 Kefalonia2013 Κεφαλονιά 05/07/2013 CNES / Airbus 43 Για την ευθυγράμμιση των εικόνων εφαρμόστηκαν και οι δύο ανιχνευτές χαρακτηριστικών σημείων, SIFT και SURF, με μέθοδο αντιστοίχισης brute force και την μέθοδο RANSAC για τον υπολογισμό του μετασχηματισμού. Η ευθυγράμμιση των εικόνων έγινε διαδοχικά. Δηλαδή στο αποτέλεσμα της πρώτης ευθυγράμμισης ευθυγραμμίστηκε η επόμενη εικόνα κ.ο.κ. Μετά την ευθυγράμμιση κάθε εικόνας στην εικόνα αναφοράς, οι τιμές τις ευθυγραμμισμένης εικόνας αντιγράφηκαν πάνω στην εικόνα αναφοράς. Τα αποτελέσματα παρουσιάζονται στον παρακάτω πίνακα. Image Dataset Detector # Images Registered before OutOfMemory Time (minutes) Error Patras2017 SIFT 19/19 283,82 Patras2017 SURF 19/19 24,19 Ithaki2009 SIFT 11/14 30,64 Ithaki2009 SURF 14/14 3,84 Kefalonia2013 SIFT 22/43 58,08 Kefalonia2013 SURF 39/43 25,78 Παρατηρούμε ότι απαιτείται αρκετός χρόνος για την ευθυγράμμιση των εικόνων και την δημιουργία της τελικής εικόνας. Η τρίτη στήλη του πίνακα δηλώνει το πλήθος των εικόνων που μπόρεσαν να ευθυγραμμιστούν εκ του συνόλου των εικόνων κάθε βάσης πριν η διαδικασία τερματίσει λόγω ανεπάρκειας μνήμης του προγράμματος. Αυτό συμβαίνει διότι κάθε φορά που πρόκεται να ευθυγραμμιστεί η επόμενη εικόνα στην μέχρι τότε δημιουργηθείσα εικόνα ο ανιχνευτής σημείων ψάχνει να βρει χαρακτηριστικά σημεία σε ολόκληρη την δημιουργηθείσα εικόνα. Όμως, κάθε φορά που ευθυγραμμίζεται μία εικόνα στην αρχική αυξάνεται το μέγεθος της αρχικής εικόνας. Έτσι, περισσότερος χρόνος και μνήμη θα απαιτούνται για την ανίχνευση και περιγραφή των σημείων καθώς και για την αντιστοίχιση αυτών, αφού σε μεγαλύτερων διαστάσεων εικόνα θα βρεθεί μεγαλύτερο πλήθος χαρακτηριστικών σημείων. Αν γνωρίζαμε περίπου σε ποια περιοχή της αρχικής εικόνας θα ευθυγραμμμιστεί η εικόνα προς ευθυγράμμιση, τότε θα εξετάζαμε μόνο την συγκεκριμένη περιοχή και όχι ολόκληρη την εικόνα για να ανιχνεύσουμε χαρακτηριστικά σημεία. Για τον λόγο αυτό υλοποιήθηκε άλλος ένας αλγόριθμος ο οποίος χρησιμοποιεί τις γεωγραφικές συντεταγμένες, δηλαδή το γεωγραφικό πλάτος και γεωγραφικό μήκος έτσι ώστε να επιλεγεί μια μικρή περιοχή στην αρχική εικόνα που βρίσκεται πιο κοντά στην εικόνα προς ευθυγράμμιση. Κάθε σημείο πάνω στην επιφάνεια της Γης μπορεί να προσδιοριστεί με το γεωγραφικό μήκος και πλάτος των οποίων οι τιμές είναι μοναδικές για αυτό. Οι τιμές αυτών εκφράζονται συνήθως σε μοίρες. Συγκεκριμένα, το γεωγραφικό πλάτος μιας περιοχής δηλώνει την γωνιακή απόσταση αυτής από τον Ισημερινό ο οποίος έχει γεωγραφικό πλάτος ίσο με μηδέν. Αντίστοιχα, το γεωγραφικό μήκος δηλώνει την γωνιακή απόσταση μιας περιοχής από τον πρώτο μεσημβρινό που έχει γεωγραφικό μήκος ίσο με μηδέν και διέρχεται από το αστεροσκοπείο του Γκρήνουιτς στην Μεγάλη Βρετανία [37]. 71

96 Για τον συγκεκριμένο αλγόριθμο, για κάθε εικόνα σημειώθηκαν οι γεωγραφικές συντεταγμένες ενός σημείου στο κέντρο της μέσω του Google Earth. Προκειμένου να βρούμε κάθε εικόνα σε ποια περιοχή της εικόνας αναφοράς είναι κοντά, υπολογίζουμε την απόσταση αυτής από κάθε άλλη εικόνα που έχει ευθυγραμμιστεί ήδη στην εικόνα αναφοράς χρησιμοποιώντας τις γεωγραφικές συντεταγμένες της περιοχής που απεικονίζεται στο κέντρο της εικόνας. Για τον υπολογισμό της απόστασης των σημείων χρησιμοποιείται ο τύπος Haversine, ο οποίος χρησιμοποιείται για τον υπολογισμό της απόστασης δύο σημείων πάνω σε μια σφαιρική επιφάνεια όταν είναι γνωστές οι γεωγραφικές συντεταγμένες [37]. O τύπος αυτός ορίζεται ως: dd = 2rr arcsin ssssss 2 φφ 2 φφ cccccc(φφ 1 )cccccc(φφ 2 )ssssss 2 λλ 2 λλ 1 (5.8) 2 όπου rr είναι η ακτίνα της σφαίρας, και στην συγκεκριμένη περίπτωση χρησιμοποιήθηκε η μέση ακτίνα της Γης που είναι 6371 χιλιόμετρα, φφ 1, φφ 2 είναι τα γεωγραφικά πλάτη των σημείων και λλ 1, λλ 2 είναι τα γεωγραφικά μήκη αυτών. Εφόσον, βρεθεί η ευθυγραμμισμένη εικόνα που απέχει την μικρότερη απόσταση από την εικόνα προς ευθυγράμμιση, η ανίχνευση και περιγραφή των σημείων γίνεται μόνο στην παραπάνω ευθυγραμμισμένη εικόνα. Βεβαία, θα πρέπει να αποθηκεύεται πληροφορία σχετικά με το που ακριβώς έχει ευθυγραμμιστεί κάθε εικόνα πάνω στην εικόνα αναφοράς. Εφαρμόζοντας τον αλγόριθμο αυτό, τα αποτελέσματα διαμορφώνονται ως εξής: Image Dataset Detector # Images Registered before OutOfMemory Time (minutes) Error Patras2017 SIFT 19/19 54,22 Patras2017 SURF 19/19 6,51 Ithaki2009 SIFT 14/14 6,63 Ithaki2009 SURF 14/14 1,43 Kefalonia2013 SIFT 41/43 18,13 Kefalonia2013 SURF 41/43 6,79 Σύμφωνα με τα παραπάνω αποτελέσματα, παρατηρουμε ότι ο νέος αλγόριθμος που χρησιμοποιεί τις γεωγραφικές συντεταγμένες είναι αρκετά πιο γρήγορος και γίνεται καλύτερη διαχείριση της μνήμης. Όσον αφορά τους ανιχνευτές SIFT και SURF μπορούμε να διαπιστώσουμε εκ νέου ότι η μέθοδος SURF χρειάζεται αρκετά λιγότερο χρόνο, αλλά και χώρο σε σχέση με την μέθοδο SIFT. Ο αυξημένος χρόνος εκτέλεσης, αλλά και η ανάγκη για περισσότερη μνήμη της μεθόδου SIFT σε σχέση με την μέθοδο SURF οφείλεται στο γεγονός ότι η πρώτη ανιχνεύει περισσότερα χαρακτηριστικά σημεία για τα οποία δημιουργεί για το καθένα ένα διάνυσμα 128 τιμών. Αντίθετα η μέθοδος SURF ανιχνεύει λιγότερα χαρακτηριστικά σημεία τα οποία περιγράφει με διανύσματα των 64 τιμών. Παρακάτω παρατίθενται οι τελικές εικόνες που δημιουργήθηκαν για τις τρεις βάσεις εικόνων με τoν αλγόριθμο ευθυγράμμισης που χρησιμοπιεί τις γεωγραφικές συντεταγμένες. 72

97 Running Time Time (minutes) 300,00 250,00 200,00 150,00 100,00 50,00 SIFT SIFT (using geographic coordinates) 0,00 Kefalonia2013 Ithaki2009 Patras2017 Dataset Running Time Time (minutes) 30,00 25,00 20,00 15,00 10,00 5,00 SURF SURF (using geographic coordinates) 0,00 Kefalonia2013 Ithaki2009 Patras2017 Dataset 73

98 Εικόνα 5.16 Πάτρα 30/07/2017, 19 εικόνες, Διαστάσεις τελικής εικόνας: 6673x9226, Πηγή Εικόνων: Google Earth 74

99 Εικόνα 5.17 Ιθάκη 28/06/2019, 14 εικόνες, Διαστάσεις τελικής εικόνας: 7548x8939, Πηγή Εικόνων: Google Earth 75

100 Εικόνα 5.18 Παλική, Κεφαλονιά, 05/07/2013, 41 εικόνες, Διαστάσεις τελικής εικόνας: 22174x19182, Πηγή Εικόνων: Google Earth 5.8 Συμπεράσματα Αρχικά αποδεικνύεται ότι μια feature-based μέθοδος μπορεί επιτυχώς να ευθυγραμμίσει δορυφορικές εικόνες. Με βάση τις καμπύλες ROC, την καλύτερη απόδοση όσων αφορά την ποιότητα των ανιχνευμένων σημείων παρουσιάζει ο ανιχνευτής σημείων SIFT. Ωστόσο, απαιτεί πολύ περισσότερο χώρο στην μνήμη και χρόνο εκτέλεσης κυρίως όταν χρησιμοποιείται με την μέθοδος αντιστοίχισης brute force. Επιπλέον, διαπιστώσαμε την χρησιμότητα της ευθυγράμμισης στην δορυφορική απεικόνιση για την ανίχνευση αλλαγών στην επιφάνεια της Γης καθώς και στην δημιουργία μιας εικόνας που απεικονίζει μεγαλύτερο μέρος μιας περιοχής ευθυγραμμίζοντας πολλαπλές εικόνες. Στην τελευταία περίπτωση ο ανιχνευτής SURF είναι σαφώς πιο αποδοτικός από τον SIFT. Ως μελλοντική εργασία προτείνεται η εξέταση και σύγκριση περισσότερων ανιχνευτών χαρακτηριστικών σημείων, η ευθυγράμμιση πολυφασματικών δορυφορικών εικόνων καθώς και η συρραφή εικόνων μιας περιοχής διαφορετικής χρονικής περιόδου από διαφορετικούς δορυφόρους. 76