Χρήση Μη Επανδρωμένων Αέριων Οχημάτων (UAV) στη Γεωλογία

Transcript

1 Σχολή Θετικών Επιστημών Τμήμα Γεωλογίας Τομέας Εφαρμοσμένης Γεωλογίας και Γεωφυσικής Χρήση Μη Επανδρωμένων Αέριων Οχημάτων (UAV) στη Γεωλογία Μεταπτυχιακή Διατριβή Ειδίκευσης Μάρτιος

2 Χρήση Μη Επανδρωμένων Αέριων Οχημάτων (UAV) στη Γεωλογία Επιβλέπων: Κωνσταντίνος Νικολακόπουλος Αναπληρωτής Καθηγητής Εγκρίθηκε από την Τριμελή Επιτροπή την.. /.. / Κ. Νικολακόπουλος Αναπλ. Καθηγητής Ι. Κουκουβέλας Καθηγητής Ν. Σαμπατακάκης Καθηγητής 2

3 Περίληψη Το πλήθος δυνατοτήτων των UAVs στη Φωτογραμμετρία, αναγνωρίστηκε από τότε που έγιναν διαθέσιμα σε εμπορικό επίπεδο. Σήμερα, η συνεχής πρόοδος της τεχνολογίας τους επιτρέπει τη δημιουργία ευκολότερων στη χρήση, μικρότερων και φθηνότερων λύσεων. Η κύρια παράμετρος υστέρησης αυτών των λύσεων σε σχέση με πιο εξειδικευμένες, είναι οι κάμερες με τις οποίες είναι εξοπλισμένα. Τα περισσότερα εμπορικά UAVs φέρουν μηχανές με πολύ μικρό εστιακό μήκος, της τάξης των 10mm, χαμηλής ποιότητας φακούς και αισθητήρες με πολύ μικρό μέγεθος pixel. Αυτές οι παράμετροι παίζουν σημαντικό ρόλο στη διαδικασία της 3D αναπαράστασης μιας φωτογραφιζόμενης σκηνής, εφόσον μπορούν να προκαλέσουν σημαντική μείωση της γεωμετρικής ακρίβειας των 3D μοντέλων με την εισαγωγή διαφορετικών τύπων χωρικών παραμορφώσεων. Πέραν των χωρικών παραμορφώσεων που προκαλούν οι φακοί, και για τις οποίες έχουν προταθεί πολυάριθμα μαθηματικά μοντέλα περιγραφής και διόρθωσής τους, υπάρχει και μία ακόμη πηγή χωρικών παραμορφώσεων η οποία δεν έχει αναλυθεί επαρκώς. Αυτή η χωρική παραμόρφωση προκαλείται από το λεγόμενο κυλιόμενο ή ηλεκτρονικό κλείστρο, που χρησιμοποιούν οι μηχανές με αισθητήρες τύπου CMOS, σε συνδυασμό με την ύπαρξη σχετικής κίνησης μεταξύ της μηχανής και της φωτογραφιζόμενης σκηνής. Στα πλαίσια της παρούσας εργασίας, προτείνεται ένα μαθηματικό μοντέλο περιγραφής αυτής της χωρικής παραμόρφωσης και επίσης αναπτύσσεται μία μεθοδολογία á posteriori διόρθωσής της. Για τη διόρθωση των παραπάνω χωρικών παραμορφώσεων, αναπτύχθηκε ένα πρωτότυπο λογισμικό πακέτο -που ονομάστηκε ImageCor- το οποίο επιτρέπει τη βαθμονόμηση της μηχανής σχετικά με τις παραμέτρους εσωτερικού και εξωτερικού προσανατολισμού της, η διόρθωση των διαστροφών του φακού/συστήματος φακών και τέλος, η διόρθωση της παραμόρφωσης του κυλιόμενου κλείστρου. Η τελευταία πραγματοποιείται για μία γενική περίπτωση φωτογραφιών, και συγκεκριμένα για φωτογραφίες με άγνωστο εξωτερικό προσανατολισμό. Τέλος, εξετάζεται η γεωμετρική ακρίβεια που επιτυγχάνεται πριν και μετά τις διορθώσεις αυτές σε 3D μοντέλα, χρησιμοποιώντας εικόνες από διαφορετικές πτήσεις. Τα αποτελέσματα αυτής της σύγκρισης καθιστούν σαφές ότι, ακόμα και με τη χρήση φθηνών UAVs, εξοπλισμένων με χαμηλής ποιότητας φωτογραφικές μηχανές, μπορεί να επιτευχθεί εξαιρετικά υψηλή γεωμετρική πιστότητα. i

4 Abstract Since the very first UAVs where made commercially available, there was an interest in using them for photogrammetric purposes. Nowadays, continuous advancements in UAV technology allow for easier to use, smaller and cheaper products. The main factor in which the smaller, cheaper UAVs lack in comparison to larger, photogrammetric UAVs, are the cameras they are equipped with. Most of these cameras have a very small focal length in the order of up to 10mm, low quality lenses and sensors with very small pixel pitch. All these parameters play an important role in the 3D reconstruction of the photographed area, since they can significantly degrade the geometric fidelity of the 3D models by introducing different types of distortion. In addition to the above, the electronic shutter most of these have, causes further spatial distortion by introducing artifacts when there is a relative motion between the photographed scene and the camera. The rolling shutter effect -as it is called- is discussed and a mathematical rolling shutter camera model is proposed to, á posteriori, deal with the artifacts that it causes on the images. A software package -named ImageCor- was created to incorporate the correction of the aforementioned spatial distortions. Specifically, it allows for camera calibration using two techniques -in order to estimate the intrinsics, extrinsics and lens distortion parameters of the camera- with a complementary lens distortion correction module. ImageCor also allows for correction of the rolling shutter effect which is also the novelty of this thesis. The rolling shutter correction proposed here assumes the general case of imagery with unknown exterior orientation. The effect of the rolling shutter effect correction is investigated, using data from multiple flights performed under different conditions, and it is shown that even those cheap, low quality cameras can be used to create 3D models with extremely high geometric fidelity. ii

5 Σκοπός Ο γενικότερος σκοπός της παρούσας εργασίας είναι η προσπάθεια αύξησης της γεωμετρικής ακρίβειας των μοντέλων που δημιουργούνται από εικόνες ληφθείσες με UAV, με χρήση της τεχνικής Structure-from-Motion (SfM). Η ανάγκη αυτή προέκυψε μέσω κάποιων εφαρμογών που πραγματοποιήθηκαν από το τμήμα Γεωλογίας του Πανεπιστημίου Πατρών. Οι βασικές εξ αυτών είναι η παρακολούθηση μετακινήσεων σε ενεργές κατολισθήσεις και ο περιοδικός έλεγχος λατομικών ζωνών με σκοπό τον υπολογισμό όγκων εκσκαμμένου υλικού. Και οι δύο αυτές μελέτες χρειάζονται μοντέλα με εξαιρετική γεωμετρική ακρίβεια ώστε να μπορούν να συγκριθούν μεταξύ τους μοντέλα που έχουν δημιουργηθεί σε διαφορετικές περιόδους, υπό διαφορετικές συνθήκες πτήσης, και λοιπών παραμέτρων. Οι φωτογραφικές μηχανές που είχαν χρησιμοποιηθεί προκαλούσαν κάποιες συστηματικές χωρικές παραμορφώσεις, με πιο σημαντική αυτή της διαστροφής (distortion), η οποία προκαλείται από το φακό μιας μηχανής. Έτσι, γίνεται ανάλυση των χωρικών παραμορφώσεων που προκαλούνται από τους φακούς και επιπλέον αναλύεται και ένας άλλος τύπος χωρικής παραμόρφωσης που προκαλείται από το κυλιόμενο κλείστρο των ψηφιακών φωτογραφικών μηχανών. Η επίδραση του κυλιόμενου κλείστρου στα μοντέλα δεν είχε αναλυθεί μέχρι πολύ πρόσφατα και κυρίως για φωτογραφίες με γνωστό εξωτερικό προσανατολισμό. Για τη διόρθωση αυτών των δύο τύπων χωρικών παραμορφώσεων έγινε ανάπτυξη ενός λογισμικού -το οποίο ονομάστηκε ImageCor- και το οποίο επιτρέπει τη διόρθωση τόσο της διαστροφής όσο και της επίδρασης του κυλιόμενου κλείστρου. Η τελευταία επιτυγχάνεται μέσω ενός μοντέλου και μίας μεθοδολογίας που προτείνεται στην παρούσα και λαμβάνοντας υπόψιν τη γενική περίπτωση των φωτογραφιών με άγνωστο εξωτερικό προσανατολισμό. Επίσης, το ImageCor επιτρέπει και τη βαθμονόμηση μίας φωτογραφικής μηχανής με δύο πιθανές μεθόδους. Με 2D ή 3D πεδία βαθμονόμησης μέσω του αλγόριθμου DLT, και με την πιο απλή μέθοδο της σκακιέρας. iii

6 Περιεχόμενα Περίληψη... i Abstract...ii Σκοπός... iii 1. Χωρική Παραμόρφωση Εικόνας Λόγω (Συστήματος) Φακών Οπτικές Εκτροπές (Optical Aberrations) Σφαιρική Εκτροπή (Spherical Aberration) Κόμη (Coma) Αστιγματισμός (Astigmatism) Καμπύλωση Πεδίου (Field Curvature) Διαστροφή (Distortion) Βαθμονόμηση Ψηφιακών Μηχανών (Digital Camera Calibration) Ταξινόμηση Μεθόδων Βαθμονόμησης Βαθμονόμηση με πεδία ή συσκευές ελέγχου (calibration fields/rigs) Αυτοβαθμονόμηση (Self-Calibration) Ανάπτυξη Λογισμικού Βαθμονόμησης και Διόρθωσης Διαστροφών Συμπεράσματα Χωρικές Παραμορφώσεις Λόγω Επίδρασης Κυλιόμενου Κλείστρου Λειτουργία Αισθητήρων Ψηφιακών Φωτογραφικών Μηχανών Σχετική Έρευνα Επίδραση Rolling Shutter (Rolling Shutter Effect) Σύντομη Περιγραφή της Λειτουργίας του ImageCor Δεδομένα Εισαγωγής Ανίχνευση Ομόλογων Σημείων Διάνυσμα Μετατόπισης Κάμερας Υπολογισμός της Διόρθωσης Δοκιμή της Μεθόδου - 3D reconstruction η Πτήση η Πτήση η Πτήση Σχολιασμός Αποτελεσμάτων Συμπεράσματα-Προτάσεις Βιβλιογραφία Παραρτήματα I. Αναφορά Βαθμονόμησης με χρήση 3D πεδίου II. Αναφορά Βαθμονόμησης με τη Μέθοδο της Σκακιέρας iv

7 M. C. Escher Hand with Reflecting Sphere 0

8 1. Χωρική Παραμόρφωση Εικόνας Λόγω (Συστήματος) Φακών 1.1 Οπτικές Εκτροπές (Optical Aberrations) Οι φακοί λόγω τεχνικών χαρακτηριστικών ή σφαλμάτων κατά την κατασκευή τους προκαλούν κάποιες εκτροπές στις ακτίνες που τους διαπερνούν. Μία εκτροπή (aberration) μπορεί να επιδρά στο χρωματικό ή στο γεωμετρικό χαρακτήρα της εικόνας. Οι χρωματικές εκτροπές (chromatic aberrations) προκαλούνται λόγω της σκέδασης και είναι αποτέλεσμα της αδυναμίας του φακού ή του συστήματος φακών να ε- στιάσουν όλα τα χρώματα στο ίδιο σημείο σύγκλισης. Οι οπτικές εκτροπές (optical aberrations) επιδρούν στην πορεία της ακτίνας αλλάζοντας τη θέση στην οποία προσπίπτει στο εστιακό επίπεδο. Οι βασικές οπτικές εκτροπές ενός φακού ή συστήματος φακών είναι η σφαιρική εκτροπή, η κόμη, ο αστιγματισμός, η καμπύλωση του πεδίου και η διαστροφή. Στις σύγχρονες, εμπορικές, ψηφιακές, φωτογραφικές μηχανές, όλες οι οπτικές εκτροπές διορθώνονται σε κατασκευαστικό επίπεδο καθώς -εκτός της διαστροφής- προκαλούν οπτική υποβάθμιση, όπως θόλωμα και κακή εστίαση. Στην περίπτωση της διαστροφής, απαιτείται αναλυτική βαθμονόμηση των παραμέτρων που την περιγράφουν και á posteriori διόρθωση Σφαιρική Εκτροπή (Spherical Aberration) Κατά τη σφαιρική εκτροπή, ακτίνες οι οποίες διαπερνούν το φακό κοντά στον οπτικό άξονα εστιάζουν σε διαφορετική θέση από τις ακτίνες που διαπερνούν το φακό σε πορεία απομάκρυνσης από τον οπτικό άξονα (Σχ. 1.1). Το ποσό της εκτροπής είναι ανάλογο της θέσης της ακτίνας σε σχέση με τον οπτικό άξονα του φακού και όχι από το μέγεθος του αντικειμένου. Σχήμα 1.1. Σχηματική αναπαράσταση της επίδρασης της σφαιρικής εκτροπής. Αυτή η εκτροπή δημιουργεί εικόνες οι οποίες είναι καλά εστιασμένες κοντά στο κύριο σημείο και όλο και λιγότερο εστιασμένες προς τα άκρα Κόμη (Coma) Η κόμη παίρνει το όνομά της από την κόμη που ακολουθεί τους κομήτες καθώς διαπερνούν την ατμόσφαιρα. Το οπτικό αποτέλεσμα της εκτροπής αυτής είναι ίδιο με 1

9 την κόμη των κομητών. Προκαλεί ασύμμετρη κατανομή του φωτός δημιουργώντας έ- ναν φωτεινό πυρήνα και μία «ουρά» η οποία σταδιακά φθίνει σε απομάκρυνση από τον πυρήνα. Η επίδραση της κόμης στις φωτεινές ακτίνες και στην εικόνα φαίνεται στο Σχ Όπως είναι σαφές και από το Σχ. 1.2, η κόμη προκαλεί σημαντική οπτική υποβάθμιση της εικόνας. Η κόμη εξαρτάται από το ύψος του αντικειμένου και τη θέση της ακτίνας σε σχέση με τον οπτικό άξονα. Σχήμα 1.2. Εκτροπή των ακτίνων λόγω της κόμης και η εικόνα που δημιουργεί η κόμη Αστιγματισμός (Astigmatism) Ο αστιγματισμός είναι κυρίως γνωστός ως πάθηση των ματιών και προκαλείται ε- πειδή ο κερατοειδής χιτώνας του ματιού αντί να έχει σφαιρικό σχήμα έχει ατρακτοειδές. Ανάλογα φαινόμενα μπορεί να προκύψουν και όταν ένας φακός είναι σφαιρικός. Ο αστιγματισμός επιδρά στις ακτίνες δημιουργώντας δύο διαφορετικά εστιακά σημεία, ένα για τις εφαπτομενικές ακτίνες (tangential) και ένα για τις τοξοειδείς (sagittal) (Σχ. 1.3). Δηλαδή, ακτίνες που προέρχονται από δύο, κάθετα μεταξύ τους, επίπεδα εστιάζουν σε διαφορετικά εστιακά σημεία. Από αυτή την ιδιότητα μπορεί να γίνει και η αναγνώριση του αστιγματισμού σε μία εικόνα, δηλαδή από τον διαχωρισμό της εφαπτομενικής και της τοξοειδούς εικόνας. Η επίδραση του αστιγματισμού εξαρτάται από το ύψος του αντικειμένου, ενώ η εστία των εφαπτομενικών ακτίνων βρίσκεται πιο κοντά στο φακό από την εστία των τοξοειδών ακτίνων. Όταν τα δύο εστιακά σημεία δεν βρίσκονται πάνω στον οπτικό άξονα (όπως στο Σχ. 1.3), η εκτροπή καλείται πλάγιος α- στιγματισμός (oblique astigmatism). 2

10 Σχήμα 1.3. Επίδραση του πλάγιου αστιγματισμού στις ακτίνες. Στο εφαπτομενικό εστιακό σημείο η τοξοειδής εικόνα δεν είναι εστιασμένη, ενώ το αντίστοιχο ισχύει και για το τοξοειδές εστιακό σημείο. Ανάμεσα στις δύο εστίες, η εικόνα είναι θολή με κυκλικό ή ελλειπτικό σχήμα. Η διόρθωση του αστιγματισμού επιτυγχάνεται με τη χρήση συγκεκριμένου φακού που τείνει να επιτύχει τη σύμπτωση των δύο εστιακών σημείων Καμπύλωση Πεδίου (Field Curvature) Η συγκεκριμένη εκτροπή προκαλεί την εστίαση των διαφορετικών ακτίνων πάνω σε μία εστιακή επιφάνεια καμπύλου σχήματος αντί ενός εστιακού επιπέδου. Οφείλεται στις καμπύλες επιφάνειες των φακών και έχει μεγαλύτερη επίδραση όταν οι ακτίνες προσπίπτουν υπό μεγάλη γωνία, και συνεπώς διαπερνούν μεγαλύτερο πάχος του φακού. Η επίδραση που προκαλεί στην πορεία των φωτεινών ακτίνων φαίνεται στο Σχ Το αποτέλεσμα στη φωτογράφιση είναι να εμφανίζεται καλώς εστιασμένο το κέντρο της εικόνας και κακώς τα περιθώρια της. Η εικόνα θα μπορούσε να φαίνεται πλήρως εστιασμένη αν ο αισθητήρας είχε καμπύλο σχήμα. Το ποσό της καμπυλότητας του πεδίου που αναμένεται από έναν φακό ή ένα σύστημα φακών δίνεται με τον όρο «καμπυλότητα Petzval» (Petzval Curvature). Σχήμα 1.4. Επίδραση της καμπύλωσης πεδίου στην πορεία των ακτίνων. 3

11 1.1.5 Διαστροφή (Distortion) Ακτινική Διαστροφή (Radial Distortion) Η ακτινική διαστροφή εξαρτάται από το ύψος του αντικειμένου που φωτογραφίζεται και η παρουσία της προκαλεί μεγέθυνση ή σμίκρυνση του αντικειμένου. Λόγω της γραμμικής εξάρτησης του ποσού της διαστροφής από την ακτίνα πέριξ του κύριου σημείου της εικόνας, καλείται και ακτινική διαστροφή. Γι αυτό το λόγο, η ακτινική διαστροφή είναι συμμετρική, προκαλεί μεταβολή στην κλίμακα της εικόνας και τέλος, το ποσό της είναι μηδενικό στο κύριο σημείο και μέγιστο στις 4 γωνίες της εικόνας. Η ακτινική διαστροφή που προκαλείται από τους φακούς μπορεί να είναι τριών τύπων: θετική, αρνητική και ο συνδυασμός τους. Ιδιαιτέρως αισθητή είναι η παρουσία της στους φακούς τύπου fish-eye και στους ευρυγώνιους (wide angle). Η αρνητική ή πυθοειδής διαστροφή (barrel distortion) (Σχ. 1.5α) δημιουργεί εικόνα με συμπιεσμένες γωνίες. Η θετική ή μηνοειδής διαστροφή (pincushion distortion) (Σχ. 1.5β) μετασχηματίζει ένα τετραγωνικό αντικείμενο σε εικόνα με επιμηκυμένες γωνίες. Ο συνδυασμός των δύο καλείται μυστακοειδής διαστροφή (mustache distortion) (Σχ. 1.5γ) και ενώ ξεκινά ως barrel distortion κοντά στο κέντρο της εικόνας, εξελίσσεται σε pincushion distortion προς τα άκρα της. Η barrel λέγεται αρνητική επειδή προκαλεί σμίκρυνση του αντικειμένου, ενώ η pincushion λέγεται θετική επειδή προκαλεί μεγέθυνση. Παράδειγμα του τρόπου επίδρασης της barrel distortion παρουσιάζεται στο Σχ Α Β Γ Σχήμα 1.5. Τύποι ακτινικής διαστροφής φακών και η επίδραση τους σε έναν ορθογώνιο κάνναβο. Είναι εμφανής ο συμμετρικός και ακτινικός χαρακτήρας που αναφέρθηκε νωρίτερα. 4

12 Σχήμα 1.6. Επίδραση της ακτινικής διαστροφής στην εικόνα. Τα διανύσματα δείχνουν προς την παραμορφωμένη θέση. Το διάγραμμα βασίζεται σε πραγματικές παραμέτρους από μηχανή GoPro Hero 3+ Black Edition. Το μαθηματικό μοντέλο που χρησιμοποιείται ευρέως για την περιγραφή της ακτινικής διαστροφής προτάθηκε από τον (Brown 1971) και παρουσιάζεται στην Εξ

13 Εξίσωση 1.1. Μαθηματικό μοντέλο περιγραφής της ακτινικής διαστροφής. [ x ( x x o ) Δr c y ] = [ r c ( y y ] o ) Δr r για Δr = (k 1 r 3 + k 2 r 5 + k 3 r 7 + ), έχουμε [ x c y c ] = [ (x x o) (k 1 r 2 + k 2 r 4 + k 3 r 6 + ) (y y o ) (k 1 r 2 + k 2 r 4 + k 3 r 6 + ) ] όπου, x c, y c οι διορθωμένες εικονοσυντεταγμένες x, y οι μετρούμενες εικονοσυντεταγμένες x ο, y ο οι εικονοσυντεταγμένες του πρωτεύοντος σημείου r = (x x o ) 2 + (y y o ) 2, η ακτινική απόσταση από το πρωτεύον σημείο k 1, k 2, k 3, συντελεστές ακτινικής διαστροφής για εστίαση στο άπειρο Όπως φαίνεται από την παραπάνω εξίσωση, η διόρθωση γίνεται σε κάθε συνιστώσα ξεχωριστά, ενώ οι μετρούμενες εικονοσυντεταγμένες είναι ανηγμένες ως προς το πρωτεύον σημείο το οποίο συνήθως είναι μετακινημένο σε σχέση με το κέντρο της εικόνας. Διαστροφή Εκκεντρότητας (Decentering Distortion) Ο συγκεκριμένος τύπος διαστροφής μπορεί να οφείλεται τόσο σε κατασκευαστική ατέλεια του φακού, όσο και σε ατελή συναρμογή του οπτικού συστήματος μιας φωτογραφικής μηχανής. Αποτελείται από μία ασύμμετρη συνιστώσα εφαπτομενικής διαστροφής και επιπλέον μία συνιστώσα ακτινικής διαστροφής, η οποία προστίθεται στην ήδη υπάρχουσα ακτινική διαστροφή. Στην πρώτη περίπτωση, προκαλείται από το γεγονός ότι τα δύο κέντρα καμπυλότητας του φακού δεν είναι συνευθειακά. Στη δεύτερη περίπτωση, μπορεί να προκαλείται είτε από ατελή ευθυγράμμιση των οπτικών αξόνων των διαφορετικών φακών ενός συστήματος φακών είτε από τη μη ορθογωνικότητα του οπτικού άξονα του φακού ή συστήματος φακών με τον αισθητήρα/εστιακό επίπεδο (Σχ. 1.7). Α Β Γ Σχήμα 1.7. Παράγοντες που προκαλούν τη διαστροφή εκκεντρότητας: Α) Κακή ευθυγράμμιση των οπτικών αξόνων των διαφορετικών φακών ενός συστήματος φακών, Β) Έλλειψη ορθογωνικότητας μεταξύ του οπτικού άξονα του φακού/συστήματος φακών και του εστιακού επιπέδου/αισθητήρα, Γ) Κατασκευαστική ατέλεια στις επιφάνειες του φακού. 6

14 Έχουν προταθεί αρκετά μαθηματικά μοντέλα για την περιγραφή και διόρθωση του συγκεκριμένου τύπου διαστροφής με επικρατέστερο και πιο αποδεκτό το μοντέλο του «λεπτού πρίσματος» που αρχικά προτάθηκε από τον (Conrady 1919) και στη συνέχεια τροποποιήθηκε από τον (Brown 1966) (Εξ. 1.2). Εξίσωση 1.2. Μαθηματικό μοντέλο περιγραφής της εφαπτομενικής συνιστώσας της διαστροφής εκκεντρότητας. [ x (1 c c y ] = [ S ) (P 1(r 2 + 2x 2 ) + 2P 2 xy) c (1 c ] S ) (P 2(r 2 + 2y 2 ) + 2P 1 xy) Όπου, c, το εστιακό μήκος της μηχανής για εστίαση σε απόσταση S S, απόσταση από το αντικείμενο φωτογράφισης P 1, P 2, συντελεστές διαστροφής εκκεντρότητας για εστίαση στο άπειρο Για S = +, η παραπάνω σχέση γίνεται: [ x (1 c c y ] = [ + ) (P 1(r 2 + 2x 2 ) + 2P 2 xy) c (1 c ] [ x c + ) (P 2(r 2 + 2y 2 y ] = [ (P 1(r 2 + 2x 2 ) + 2P 2 xy) ) + 2P 1 xy) c (P 2 (r 2 + 2y 2 ) + 2P 1 xy) ] Η επίδραση της διαστροφής εκκεντρότητας παρουσιάζεται στο Σχ. 1.8 στο οποίο και φαίνεται ο ασύμμετρος χαρακτήρας της. 7

15 Σχήμα 1.8. Επίδραση της διαστροφής εκκεντρότητας στην εικόνα. Τα διανύσματα δείχνουν προς την παραμορφωμένη θέση. Το διάγραμμα βασίζεται σε πραγματικές παραμέτρους από μηχανή GoPro Hero 3+ Black Edition. Αν τα μαθηματικά μοντέλα της ακτινικής διαστροφής και της διαστροφής εκκεντρότητας συνδυαστούν προκύπτει ένα γενικό μοντέλο διόρθωσης το οποίο παρουσιάζεται στην Εξ Εξίσωση 1.3. Μαθηματικό μοντέλο περιγραφής των διαστροφών (ακτινική και εκκεντρότητας) για εστίαση στο άπειρο. [ x c y c ] = [ (x x o) (k 1 r 2 + k 2 r 4 + k 3 r 6 + ) + (P 1 (r 2 + 2x 2 ) + 2P 2 xy) (y y o ) (k 1 r 2 + k 2 r 4 + k 3 r 6 + ) + (P 2 (r 2 + 2y 2 ) + 2P 1 xy) ] Γραμμική Διαστροφή (Linear Distortion) Η έννοια της γραμμικής διαστροφής αναφέρεται από τον (Melen 1994) ως απόρροια της μη ορθογωνικότητας (skew) μεταξύ των αξόνων του αισθητήρα καθώς επίσης και της ανισότητας των πλευρών των pixels (scale) (Σχ. 1.9). Ο συνδυασμός των δύο ατελειών των pixels του αισθητήρα, δημιουργεί αφινικές παραμορφώσεις στην εικόνα καθώς οι άξονές της δεν είναι ορθογώνιοι και οι κλίμακες κατά τους δύο άξονες είναι διαφορετικές. Βέβαια, το ποσό της παραμόρφωσης που εισάγει είναι ελάχιστο και σε 8

16 πολλές περιπτώσεις δεν είναι αναγκαία η διόρθωση. Επίσης, όσο η τεχνολογία παραγωγής τέτοιων αισθητήρων εξελίσσεται και γίνεται ακριβέστερη, τέτοιου είδους σφάλματα τείνουν να εξαλείφονται. Οι εξισώσεις υπολογισμού των δύο αυτών παραμέτρων παρουσιάζονται στην Εξ. 1.4, ενώ το μαθηματικό μοντέλο περιγραφής τους στην Εξ Σχήμα 1.9. Απόκλιση των αξόνων των pixels από την ορθογωνικότητα. Εξίσωση 1.4. Υπολογισμός των παραμέτρων γραμμικής διαστροφής. skew = c p y tan(a) scale = p y p x Όπου, c εστιακή απόσταση p x μήκος pixel p y ύψος pixel α γωνία απόκλισης από την ορθογωνικότητα Εξίσωση 1.5. Μαθηματικό μοντέλο περιγραφής της γραμμικής διαστροφής και της παραμόρφωσης λόγω διαφορικής κλίμακας. [ x c y ] = [ B 1x + B 2 y ] c 0 Όπου, Β 1 η κλίμακα (scale) μεταξύ των αξόνων x και y. Όταν ισούται με 1, τα εικονοστοιχεία είναι τετράγωνα. Β 2 παράγοντας που δείχνει την ορθογωνικότητα (skew) μεταξύ των αξόνων x και y. Όταν ισούται με 0, οι άξονες είναι κάθετοι μεταξύ τους. 9

17 Το παραπάνω μοντέλο μπορεί να συνδυαστεί με τα μοντέλα ακτινικής διαστροφής και διαστροφής εκκεντρότητας (Εξ. 1.6). Εξίσωση 1.6. Μαθηματικό μοντέλο περιγραφής των διαστροφών για εστίαση στο άπειρο. [ x c y ] = [ (x x o) (k 1 r 2 + k 2 r 4 + k 3 r 6 + ) + (P 1 (r 2 + 2x 2 ) + 2P 2 xy) + B 1 x + B 2 y c (y y o ) (k 1 r 2 + k 2 r 4 + k 3 r 6 + ) + (P 2 (r 2 + 2y 2 ] ) + 2P 1 xy) Τέλος, άλλη μία γεωμετρική παραμόρφωση που αναφέρεται στη βιβλιογραφία, σχετίζεται με την τοπογραφία της επιφάνειας του αισθητήρα και συγκεκριμένα με την α- πόκλισή της από την επιπεδότητα. Αυτή η παραμόρφωση δεν μπορεί να διορθωθεί καθώς η μέτρηση της τοπογραφίας του αισθητήρα δεν είναι δυνατή χωρίς την αφαίρεσή του από τη μηχανή. 1.2 Βαθμονόμηση Ψηφιακών Μηχανών (Digital Camera Calibration) Με την έννοια της βαθμονόμησης (calibration) αναφερόμαστε σε όλες εκείνες τις διαδικασίες που επιτελούνται με σκοπό τον προσδιορισμό ορισμένων χαρακτηριστικών ενός οργάνου. Αυτό στοχεύει στην αναγνώριση και διόρθωση συστηματικών σφαλμάτων, ώστε να αυξηθεί η ακρίβεια λειτουργίας του οργάνου. Στον τομέα της Φωτογραμμετρίας η βαθμονόμηση αναφέρεται σε φωτογραφικές μηχανές και σκοπός της είναι ο προσδιορισμός των παραμέτρων εσωτερικού και ίσως και εξωτερικού προσανατολισμού μιας μηχανής. Όσον αφορά στις ψηφιακές φωτογραφικές μηχανές, με τον όρο «εσωτερικός προσανατολισμός» αναφερόμαστε στην εσωτερική γεωμετρία της μηχανής και συγκεκριμένα, στην πρωτεύουσα ή εστιακή απόσταση (principal/focal distance), στη θέση του πρωτεύοντος ή κύριου σημείου (xo, yo) και στις παραμέτρους διαστροφής (distortion). Οι κατασκευαστές μετρικών μηχανών πραγματοποιούν βαθμονόμηση μετά την κατασκευή. Βέβαια, αυτό δεν είναι αρκετό, διότι ο εσωτερικός προσανατολισμός μπορεί να αλλάζει με την πάροδο του χρόνου και συνεπώς η διαδικασία της βαθμονόμησης πρέπει να πραγματοποιείται ανά τακτά χρονικά διαστήματα ή πριν από σημαντικές εργασίες ώστε να διασφαλίζεται η μέγιστη ακρίβεια στη γνώση αυτών των παραμέτρων. Σχήμα 1.9. Οι βασικοί παράμετροι περιγραφής του εσωτερικού προσανατολισμού μίας φωτογραφικής μηχανής. 10

18 Με τον όρο «εξωτερικός προσανατολισμός» αναφερόμαστε στη θέση και στη γεωμετρία της μηχανής τη στιγμή της λήψης σε σχέση με ένα επίγειο σύστημα αναφοράς (pose). Ο εξωτερικός προσανατολισμός περιγράφεται από τη θέση της μηχανής τη στιγμή της λήψης δοσμένη σε συντεταγμένες [Χ, Υ, Ζ], ενός επίγειου συστήματος α- ναφοράς, και από τον προσανατολισμό του οπτικού της άξονα. Ο προσανατολισμός του οπτικού άξονα περιγράφεται από τις γωνίες ω, φ, κ (omega, phi, kappa) οι οποίες αντιπροσωπεύουν διαδοχικές δεξιόστροφες περιστροφές γύρω από τους άξονες x, y, z αντιστοίχως (Σχ. 1.11). Πρώτα γίνεται περιστροφή γύρω από τον άξονα x κατά γωνία ω, στη συνέχεια γύρω από τον άξονα y κατά γωνία φ και τέλος, γύρω από τον άξονα z κατά γωνία κ. Για κάθε περιστροφή δημιουργείται ένας πίνακας στροφής (rotation matrix) και από τους 3 πίνακες στροφής δημιουργείται ένας συνολικός (Εξ. 1.7). Σχήμα Αναπαράσταση των περιστροφών που πραγματοποιούνται για να περιγραφεί ο προσανατολισμός της μηχανής κατά τη διάρκεια της λήψης. Εξίσωση 1.7. Πίνακες στροφής για την περιγραφή του προσανατολισμού μίας μηχανής cosφ 0 sinφ cosκ sinκ 0 R(ω) = [ 0 cosω sinω], R(φ) = [ ], R(κ) = [ sinκ cosκ 0] 0 sinω cosω sinφ 0 cosφ R = R(κ)R(φ)R(ω) = cosφ cosκ cosω sinκ + sinω sinφ cosk sinω sinκ cosω sinφ cosκ = [ cosφ sinκ cosω cosκ sinω sinφ sinκ sinω cosκ + cosω sinφ sinκ ] sinφ sinω cosφ cosω cosf Όπου, ω, γωνία δεξιόστροφης περιστροφής γύρω από τον άξονα Χ φ, γωνία δεξιόστροφης περιστροφής γύρω από τον άξονα Υ κ, γωνία δεξιόστροφης περιστροφής γύρω από τον άξονα Ζ Ο εξωτερικός προσανατολισμός μιας λήψης μπορεί να αναπαραχθεί είτε με χρήση σημείων γνωστών τρισδιάστατων συντεταγμένων, είτε μέσω ενόργανων μετρήσεων 11

19 από συστήματα GNSS/IMU (Global Navigation Satellite System/Inertial Measurement Unit). Αν και ο εξωτερικός προσανατολισμός αλλάζει σε κάθε λήψη, η εκ των προτέρων γνώση του μπορεί να είναι αναγκαία σε συγκεκριμένες περιπτώσεις όπως όταν γίνεται φωτογράφιση από συστήματα πολλαπλών μηχανών (Σχ. 1.12). Επίσης, η γνώση του εξωτερικού προσανατολισμού βοηθά και στην άμεση γεωαναφορά των εικόνων. Σχήμα Σύστημα πολλαπλών φωτογραφικών μηχανών. Η βαθμονόμηση των οπτικών μηχανών χωρίζεται σε 3 είδη: τη γεωμετρική, τη ραδιομετρική και τη χωρικής διακριτικής ικανότητας. Η συγκεκριμένη εργασία ασχολείται με τη γεωμετρική βαθμονόμηση και στη συνέχεια θα αναφερθούν τεχνικές που χρησιμοποιούνται για τη βαθμονόμηση επίγειων, μη μετρικών, ψηφιακών φωτογραφικών μηχανών. Για τους σκοπούς της παρούσας εργασίας αναπτύχθηκε ένα λογισμικό πακέτο, το οποίο ονομάζεται ImageCor και παρέχει τη δυνατότητα βαθμονόμησης με χρήση δύο διαφορετικών μεθόδων Ταξινόμηση Μεθόδων Βαθμονόμησης Οι μέθοδοι βαθμονόμησης φωτογραφικών μηχανών μπορούν να ταξινομηθούν με ποικιλία κριτηρίων. Στο Σχ παρουσιάζεται μια ταξινόμηση των κυριότερων μεθόδων βαθμονόμησης βάσει του τρόπου διεξαγωγής τους. 12

20 Σχήμα Ταξινόμηση φωτογραφικών μηχανών ανάλογα με τον τρόπο διεξαγωγής τους. Άλλοι τρόποι ταξινόμησης μπορεί να αναφέρονται στον τόπο διεξαγωγής τους (εργαστηριακές ή πεδίου), στην απόσταση φωτογράφισης πιθανών στόχων (άπειρης ή κοντινής εστίασης), στα δεδομένα που χρησιμοποιούν (σημειακά ή γραμμικά) και τέλος, στις παραμέτρους που υπολογίζουν (μόνο διαστροφή ή μόνο εστιακή απόσταση και πρωτεύον σημείο). Όσον αφορά στην οπτική μέθοδο βαθμονόμησης, με χρήση γωνιομέτρων και ευθυγραμμιστών, πρόκειται για μια αμιγώς εργαστηριακή μέθοδο, η οποία δεν θα αναλυθεί, καθώς αφορά κυρίως μηχανές για αεροφωτογραφίσεις μικρής κλίμακας (με αεροσκάφη) και για την οποία χρειάζεται εξειδικευμένος εργαστηριακός εξοπλισμός. Αντιθέτως, οι φωτογραφικές μέθοδοι μπορούν να διεξαχθούν εύκολα, σε μερικές περιπτώσεις χωρίς τη χρήση εξειδικευμένου εξοπλισμού και τα αποτελέσματα τους είναι πιο αντιπροσωπευτικά (όσον αφορά στη Φωτογραμμετρία με UAV) λόγω της κλίμακας φωτογράφισης Βαθμονόμηση με πεδία ή συσκευές ελέγχου (calibration fields/rigs) Ένα πεδίο ελέγχου αποτελείται από σταθερά σημεία-στόχους (Ground Control Points-GCPs) των οποίων οι συντεταγμένες είναι γνωστές με μεγάλη ακρίβεια μέσω μετρήσεων με τοπογραφικές μεθόδους. Τα πεδία ελέγχου μπορεί να είναι 2D (Σχ. 1.14) ή 3D (Σχ. 1.15). Αντίστοιχα, το ρόλο το πεδίου μπορεί να παίξει και κάποια φορητή, αδιάσταλτη συσκευή η οποία έχει χαρακτηριστικά σημεία με γνωστή σχετική γεωμετρική θέση ή επί της οποίας έχουν τοποθετηθεί στόχοι. Και στις δύο περιπτώσεις είναι αναγκαία η ομοιόμορφη και ευρεία κατανομή των στόχων, στις 2 ή στις 3 διαστάσεις, ώστε να επιτυγχάνεται μεγαλύτερη ακρίβεια στην επίλυση. Στην περίπτωση των πεδίων, οι στόχοι μπορούν να τοποθετηθούν σε εξωτερικό ή εσωτερικό χώρο, όμως όταν τοποθετούνται σε εξωτερικό χώρο, είναι δυνατή η φωτογράφιση στις ίδιες περιβαλλοντικές συνθήκες που θα πραγματοποιούνταν και κατά τη διάρκεια μιας πτήσης. Μετά τη φωτογράφιση του πεδίου, μετριούνται οι εικονοσυντεταγμένες της εικόνας στις θέσεις που απεικονίζονται οι στόχοι. Στη συνέχεια, γίνεται επίλυση των εξισώσεων συγγραμμικότητας (Εξ. 1.8) για να προσδιοριστούν τα στοιχεία εσωτερικού και εξωτερικού προσανατολισμού. Με την επέκταση των εξισώσεων, μπορούν να υπολογιστούν και οι παράμετροι διαστροφής. 13

21 Εξίσωση 1.8. Εξισώσεις συγγραμμικότητας. x = x o c R 11(X X o ) + R 12 (Y Y o ) + R 13 (Z Z o ) R 31 (X X o ) + R 32 (Y Y o ) + R 33 (Z Z o ) + Δx y = y o c R 21(X X o ) + R 22 (Y Y o ) + R 23 (Z Z o ) R 31 (X X o ) + R 32 (Y Y o ) + R 33 (Z Z o ) + Δy Όπου, Δx και Δy τα συνολικά μαθηματικά μοντέλα περιγραφής των διαστροφών (Εξ. 1.6). Ο μετασχηματισμός από 3D συντεταγμένες χώρου σε εικονοσυντεταγμένες μέχρι και σε μετασχηματισμό ομοιότητας γίνεται χρησιμοποιώντας το μοντέλο της pinhole camera (μικροπικής κάμερας), το οποίο είναι το πιο απλό μαθηματικό μοντέλο περιγραφής μιας μηχανής και συνδυάζει τον πίνακα στροφής με τον πίνακα της κάμερας (Εξ. 9), δηλαδή τον εξωτερικό με τον εσωτερικό προσανατολισμό. Εξίσωση 1.9. Μαθηματικό μοντέλο της pinhole camera. p = λ K[R t] P Όπου, p οι ζητούμενες εικονοσυντεταγμένες σημείου λ συντελεστής κλίμακας c skew x o Κ = [ 0 c y o ], ο πίνακας εσωτερικού προσανατολισμού της μηχανής [R t] ο πίνακας στροφής (R) επαυξημένος κατά το διάνυσμα μετατόπισης (t) X P = [ Y], συντεταγμένες χώρου Z Σχήμα D πεδίο βαθμονόμησης οπτικών και θερμικών μηχανών. 14

22 Σχήμα D πεδίο βαθμονόμησης αίθουσας μετρολογίας, Τμήματος Αγρονόμων Τοπογράφων Μηχανικών, Ε.Μ.Π. Στη λογική των 2D πεδίων και λόγω των αναγκών της Υπολογιστικής Όρασης (Computer Vision), έχουν αναπτυχθεί διάφορα μοτίβα τα οποία προσφέρουν χαρακτηριστικά σημεία ή γραμμές με γνωστή γεωμετρική θέση. Τα πιο γνωστά είναι η σκακιέρα και το μοτίβο του Tsai (Tsai 1987) (Σχ. 1.16). Τα συγκεκριμένα μοτίβα προσφέρουν ικανό αριθμό σημείων που μπορούν να αναγνωριστούν αυτόματα από εξειδικευμένους αλγόριθμους (corner/edge detectors, βλ. και 2 ο Κεφάλαιο της παρούσας), και των οποίων η σχετική θέση είναι γνωστή. Τέλος, μπορεί να δημιουργηθεί ένα 3D μοτίβο από το συνδυασμό δύο ή τριών επίπεδων (Σχ. 1.17). Σχήμα Το μοτίβο που προτάθηκε από τον Tsai (αριστερά) και το μοτίβο της σκακιέρας (δεξιά). 15

23 Σχήμα D μοτίβο που προέκυψε από τον ορθογώνιο συνδυασμό 3 επίπεδων μοτίβων. Η συγκεκριμένη τεχνική έχει το θετικό ότι ο χρήστης μπορεί να βαθμονομήσει μια μηχανή χωρίς ιδιαίτερη δυσκολία και την ανάγκη ακριβού εξοπλισμού. Επίσης, στο διαδίκτυο υπάρχουν πολυάριθμα λογισμικά ανοιχτού κώδικα τα οποία πραγματοποιούν τη βαθμονόμηση. Το αρνητικό της μεθοδολογίας αυτής, βέβαια, είναι το γεγονός ότι απουσιάζει η τρισδιάστατη πληροφορία, το οποίο κάνει τον προσδιορισμό της θέσης του πρωτεύοντος σημείου δύσκολο και με μικρή ακρίβεια, ενώ αντίθετα οι παράμετροι ακτινικής διαστροφής και διαστροφής εκκεντρότητας μπορούν να προσδιοριστούν με σχετικά μεγάλη ακρίβεια μέσω των γραμμικών στοιχείων των μοτίβων. Το τελευταίο βασίζεται σε μία τεχνική που αναπτύχθηκε και προτάθηκε από τον Brown (Brown 1971), και στην οποία χρησιμοποιώντας γραμμικά χαρακτηριστικά μπόρεσαν να προσδιορισθούν οι παραμέτροι διαστροφής βασιζόμενος στο γεγονός ότι στον προβολικό χώρο, οι ευθείες απεικονίζονται ως ευθείες και αποκλίσεις από την ευθύτητα οφείλονται στις διαστροφές των φακών. Η επίλυση της βαθμονόμησης γίνεται με κάποιον από τους πολλούς αλγόριθμους που έχουν προταθεί, πέραν της μη γραμμικής επίλυσης με τις εξισώσεις συγγραμμικότητας που προαναφέρθηκε. Ο κυριότερος είναι ο DLT (Direct Linear Transformation Άμεσος Γραμμικός Μετασχηματισμός), ο οποίος προτάθηκε από τους (Abdel-Aziz & Karara 1971) με αρχική χρήση το μετασχηματισμό συντεταγμένων μεταξύ συγκριτών (comparators) και χώρου. Είναι ένας γρήγορος αλγόριθμος, βαθμονομεί τόσο 3D όσο και 2D πεδία, υπολογίζει με μεγάλη ακρίβεια εστιακό μήκος και θέση πρωτεύοντος σημείου αλλά δεν υπολογίζει παραμέτρους διαστροφής. Στο τελευταίο βοήθησε μία παραλλαγή του DLT από τους (Heikkila & Silven 1997), η οποία αρχικά υπολογίζει γραμμικά εστιακό μήκος και πρωτεύον σημείο και στη συνέχεια, μη γραμμικά, με συνόρθωση ελαχίστων τετραγώνων και χρησιμοποιώντας τον αλγόριθμο Levenberg- Marquardt, γίνεται επανυπολογισμός του εστιακού μήκους και του πρωτεύοντος σημείου (για αύξηση της ακρίβειας) και επιπλέον υπολογισμός 2 παραμέτρων ακτινικής διαστροφής (k1, k2) και 2 παραμέτρων διαστροφής εκκεντρότητας (p1, p2). Τέλος, ο DLT μπορεί να κάνει υπολογισμούς τόσο για μία εικόνα όσο και για πολλαπλές. Όσον αφορά στα 2D πεδία και μοτίβα, η κύρια μέθοδος βαθμονόμησης που χρησιμοποιείται είναι αυτή που προτάθηκε από τον (Zhang 2002). Σε αυτήν, μετά τον αυτόματο εντοπισμό των χαρακτηριστικών σημείων ενός μοτίβου, όπως τις γωνίες των τε- 16

24 τραγώνων της σκακιέρας, προχωρά στον υπολογισμό του πίνακα προβολικού μετασχηματισμού (βλ. Κεφ Πίνακας Ομογραφίας) μέσω των συντεταγμένων των γνωστών σημείων του μοτίβου. Στη συνέχεια, αρχικά προχωρά στον υπολογισμό της εστιακής απόστασης και του πρωτεύοντος σημείου, με κλειστού τύπου επίλυση που κάνει χρήση του προβολικού μετασχηματισμού, και μετά υπολογίζονται 2 παράμετροι ακτινικής διαστροφής, γραμμικά με συνόρθωση ελαχίστων τετραγώνων. Τέλος, και αυτός ο αλγόριθμος πραγματοποιεί βελτιστοποίηση των παραμέτρων μέσω του αλγόριθμου Levenberg-Marquardt, όπως και ο DLT, με σκοπό τη μείωση του σφάλματος επαναπροβολής (reprojection error). Τέλος, για τη βαθμονόμηση αυτή απαιτούνται τουλάχιστον 2 εικόνες ώστε να υπολογιστούν οι παράμετροι που προαναφέρθηκαν Αυτοβαθμονόμηση (Self-Calibration) Η μέθοδος της αυτοβαθμονόμησης είναι η μόνη μέθοδος βαθμονόμησης μηχανών για τη διεξαγωγή της οποίας δεν απαιτείται κανενός είδους πεδίο, στόχος ή συσκευή, εξ ού και το όνομά της. Ενσωματώνεται στη συνόρθωση δέσμης (bundle adjustment) κατά την οποία πραγματοποιείται 3D αναπαράσταση μιας σκηνής από εικόνες ληφθείσες από διαφορετικές θέσεις. Παράλληλα με τη χρήση των GCPs (Εδαφικών Σημείων Ελέγχου) για την απόδοση τρισδιάστατων συντεταγμένων σε ένα μοντέλο, υπολογίζεται σε μία κοινή λύση και η βαθμονόμηση της μηχανής μέσω των εξισώσεων συγγραμμικότητας (Εξ. 1.6 και Εξ. 1.8). Όσο περισσότερες λήψεις χρησιμοποιούνται για τη συνόρθωση, τόσο ισχυροποιείται η γεωμετρία της απεικονιζόμενης σκηνής και συνεπώς προσδιορίζονται με μεγαλύτερη ακρίβεια οι παράμετροι της βαθμονόμησης. Σε αντίθεση με τη χρήση πεδίων, η αυτοβαθμονόμηση προσφέρει ταυτόχρονη επίλυση των παραμέτρων εσωτερικού προσανατολισμού και των διαστροφών του φακού. Η αυτοβαθμονόμηση αποτελεί μια ιδιαίτερα ακριβή μέθοδο επίλυσης η οποία είναι και ευέλικτη, διότι το σύστημα δεν δεσμεύεται με παραμέτρους εσωτερικού προσανατολισμού οι οποίοι μπορεί να είναι εισάγουν περαιτέρω σφάλματα. Βέβαια, η επιτυχία στη χρήση της συγκεκριμένης μεθόδου εξαρτάται από κάποιους παράγοντες. Σημαντικό ρόλο παίζουν οι θέσεις λήψεις των εικόνων και ο αριθμός τους σε σχέση με τη φωτογραφιζόμενη σκηνή, καθώς και τα γνωστά σημεία-στόχοι τα οποία και απεικονίζονται στις εικόνες και πρέπει να κατανέμονται ομοιόμορφα στο χώρο. Επίσης, πολύ σημαντική προϋπόθεση είναι να διατηρείται σταθερή, τόσο η εστιακή απόσταση της μηχανής, όσο και η φωτογραφιζόμενη σκηνή (ή αντικείμενο), σε όλες τις λήψεις που θα χρησιμοποιηθούν στη συνόρθωση Ανάπτυξη Λογισμικού Βαθμονόμησης και Διόρθωσης Διαστροφών Βαθμονόμηση Όπως έχει αναφερθεί μία από τις λειτουργίες του λογισμικού ImageCor που αναπτύχθηκε για τους σκοπούς της παρούσας εργασίας, είναι η βαθμονόμηση μηχανών είτε μέσω πεδίων είτε με τη μέθοδο της σκακιέρας. Η ανάπτυξη της συγκεκριμένης λειτουργίας έγινε χρησιμοποιώντας τη βιβλιοθήκη OpenCV. Ξεκινώντας με τη βαθμονόμηση της σκακιέρας, ο χρήστης μπορεί να χρησιμοποιήσει κάποια από τις διαφορετικών διαστάσεων (A4, A3, A2, A1, A0) εκτυπώσιμες σκακιέρες που συνοδεύουν το λογισμικό, είτε να σχεδιάσει τη δική του σκακιέρα με τις 17

25 διαστάσεις που επιθυμεί και χρειάζεται. Η βαθμονόμηση με σκακιέρα είναι πλήρως αυτοματοποιημένη (Σχ. 1.20), καθώς η αναγνώριση των σημείων γίνεται αυτόματα, ενώ οι συντεταγμένες χώρου των γωνιών υπολογίζονται αυτόματα μέσω των διαστάσεων που εισάγει ο χρήστης για τη σκακιέρα. Τα μόνα δεδομένα που χρειάζεται το λογισμικό εκτός των εικόνων, είναι οι διαστάσεις της σκακιέρας (αριθμός γραμμών και στηλών), το μέγεθος των τετραγώνων της σκακιέρας και το μέγεθος του εικονοστοιχείου (pixel pitch) (Σχ. 1.18) του αισθητήρα προκειμένου να υπολογιστούν κάποια ε- πιπλέον χαρακτηριστικά της μηχανής, όπως η ευρύτητα του πεδίου ορατότητας (FOV). Τέλος, όπως έχει αναφερθεί ο ελάχιστος αριθμός εικόνων που χρειάζονται είναι δύο, ενώ γενικά προτείνεται η λήψη περισσότερων και από μεγάλος εύρος γωνιών. Σχήμα Ζητούμενα δεδομένα για τη βαθμονόμησης με τη μέθοδο της σκακιέρας. Σχήμα Ζητούμενα δεδομένα για τη βαθμονόμηση με χρήση πεδίου. 18

26 Σχήμα Οι γωνίες της σκακιέρας όπως αναγνωρίζονται κατά τη διαδικασία της βαθμονόμησης. Μετά την ολοκλήρωση της βαθμονόμησης με τη μέθοδο της σκακιέρας, δημιουργούνται δύο υπολογιστικά φύλλα Excel, ένα για τις παραμέτρους της βαθμονόμησης και ένα για τις παραμέτρους εξωτερικού προσανατολισμού (διανύσματα στροφής και μετατόπισης), οι οποίοι υπολογίζονται χρησιμοποιώντας τις βαθμονομημένες παραμέτρους της μηχανής. Τέλος, όλοι οι υπολογισμοί καταγράφονται και σε φύλλο αναφοράς (report) η οποία αποθηκεύεται σε μορφότυπο pdf. Στην περίπτωση της βαθμονόμησης με πεδίο ή συσκευή, τα αποτελέσματα καταγράφονται σε φύλλο αναφοράς η οποία αποθηκεύεται σε μορφότυπο pdf, αλλά δημιουργείται και πάλι ένα υπολογιστικό φύλλο Excel με τις παραμέτρους. Η αναφορά περιέχει όλες τις πληροφορίες εσωτερικού, εξωτερικού προσανατολισμού και διαστροφών καθώς επίσης και διαγράμματα σχετικά με την κατανομή των σφαλμάτων στην εικόνα (Σχ ). Δείγματα αναφορών από βαθμονόμηση με 3D πεδίο αλλά και σκακιέρα παρουσιάζονται στα Παραρτήματα που συνοδεύουν την παρούσα εργασία. Όσον αφορά στη χρήση πεδίων, ο χρήστης θα πρέπει να δημιουργήσει ένα υπολογιστικό φύλλο Excel στο οποίο θα πρέπει να παρέχει τις τρισδιάστατες συντεταγμένες και τις αντίστοιχες εικονοσυντεταγμένες των στόχων. Η επίλυση χρησιμοποιεί την παραλλαγή του αλγόριθμου DLT όπως παρουσιάζεται στην εργασία των (Heikkila & Silven 1997), και επειδή δεν υπήρχε διαθέσιμος κώδικας που να πραγματοποιεί βαθμονόμηση με αυτή τη μέθοδο έπρεπε να γραφτεί εξ αρχής. Υπολογίζονται η εστιακή απόσταση, το πρωτεύον σημείο, 3 παράμετροι ακτινικής διαστροφής και 2 παράμετροι διαστροφής εκκεντρότητας, ενώ η παράμετρος ορθογωνικότητας των pixel (skew) θεωρείται μηδενική. Σε αυτή την περίπτωση τα δεδομένα που χρειάζονται, πέραν των 19

27 εικονοσυντεταγμένων και των συντεταγμένων των στόχων, είναι οι διαστάσεις της εικόνας σε pixels, το μέγεθος του εικονοστοιχείου και προαιρετικά, μπορεί να δοθεί το όνομα της μηχανής και του πεδίου (Σχ. 1.19). Τέλος, για τον υπολογισμό των παραμέτρων εσωτερικού προσανατολισμού και διαστροφών, μπορεί να χρησιμοποιηθεί και τοπικό δίκτυο παρατηρήσεων, π.χ. μέσω ταχυμετρικής αποτύπωσης, χωρίς την ανάγκη συστήματος αναφοράς. Σχήμα Διάγραμμα ισοκαμπυλών συνολικής διαστροφής. Σχήμα Διάγραμμα ισοκαμπυλών ακτινικής διαστροφής. 20

28 Σχήμα Διάγραμμα ισοκαμπυλών διαστροφής εκκεντρότητας. Σχήμα Καμπύλη ακτινικής διαστροφής. Απομάκρυνση Διαστροφών από Εικόνες (Undistortion) Μία ακόμα δυνατότητα που προσφέρεται από το λογισμικό ImageCor, είναι και η απομάκρυνση των διαστροφών από εικόνες με σκοπό την αύξηση της γεωμετρικής 21

29 ακρίβειας. Υπάρχουν πολλά διαθέσιμα λογισμικά τα οποία προσφέρουν αυτή τη δυνατότητα, τόσο open source (PTLens, Lensfun, Hugin, Darktable, κ.λπ.), όσο και ε- μπορικά (Adobe Lightroom, DxO Optics Pro, κ.λπ). Τα περισσότερα από αυτά έχουν προφορτωμένα ορισμένα προφίλ για δημοφιλείς φωτογραφικές μηχανές ή φακούς, γεγονός το οποίο ναι μεν βοηθά όταν απλά χρειάζεται μια γενική διόρθωση, αλλά δεν προσφέρει τα καλύτερα δυνατά αποτελέσματα αφού κάθε μηχανή χαρακτηρίζεται από διαφορετικό συνδυασμό παραμέτρων εσωτερικού προσανατολισμού. Η λειτουργία του λογισμικού ImageCor σχεδιάστηκε με σκοπό να είναι όσο πιο αυτοματοποιημένη γίνεται, και με τα μόνα δεδομένα που χρειάζεται ο χρήστης να είναι οι παράμετροι εσωτερικού προσανατολισμού της μηχανής -οι οποίοι και υπολογίζονται στη λειτουργία της βαθμονόμησης-. Αυτοί εισάγονται μέσω ενός υπολογιστικού φύλλου Excel και η μορφή του οποίου είναι ίδια με το αρχείο που δημιουργεί η βαθμονόμηση. Έτσι, ο χρήστης μπορεί είτε να χρησιμοποιήσει αυτούσιο το παραπάνω αρχείο, είτε να το επεξεργαστεί, είτε να δημιουργήσει ένα εκ νέου. Στις περισσότερες περιπτώσεις η χρήση μόνο μίας παραμέτρου ακτινικής διαστροφής είναι αρκετή για την απομάκρυνση του μεγαλύτερου ποσού διαστροφής. Στην περίπτωση (υπερ)ευρυγώνιων φακών δύο παράμετροι ακτινικής διαστροφής είναι απαραίτητοι λόγω της μεγαλύτερης διαστροφής που προκαλούν. Η μορφή του αρχείου βαθμονόμησης φαίνεται στον Πίν Ένα χαρακτηριστικό παράδειγμα του αποτελέσματος της διόρθωσης φαίνεται στο Σχ το οποίο απεικονίζει εικόνα ληφθείσα με τη μηχανή GoPro Hero 3+ Black Edition, χαρακτηριστικό της οποίας αποτελεί ο ευρυγώνιος φακός ο οποίος και εισάγει μεγάλα ποσά διαστροφών στις εικόνες. Για τη συγκεκριμένη μηχανή, η παραμόρφωση που εισάγεται από τον φακό είναι της τάξης του 6%. Μετά τη διόρθωση, επιτυγχάνεται παραμόρφωση της τάξης του 1-1.5%. Για τη DSLR Sony α100 που βαθμονομήθηκε, η παραμόρφωση ήταν της τάξης του % πριν τη διόρθωση, ενώ μετά τη διόρθωση επιτεύχθηκε ποσοστό 0.2%. Ενδεικτικά αναφέρεται ότι στη μετρολογία χρησιμοποιούνται μηχανές που πρέπει να έχουν παραμόρφωση μικρότερη του 1%. Πίνακας 1.1. Μορφή εισαγόμενου υπολογιστικού φύλλου Excel βαθμονόμησης μηχανής. 1 Pixel Pitch (mm) A B C D E Focal Length (x, y) (pix) Principal Point x, y-offset (pix) Radial Dist. Coefficients 2 pp cx xo K1 P1 3 cy yo K2 P2 4 K3 5 K4 6 K5 7 K6 Decentering Dist. Coefficients 22

30 Σχήμα Αποτέλεσμα διόρθωσης διαστροφής σε εικόνα ληφθείσα με τη μηχανή GoPro Hero 3+ Black Edition. Αριστερά παρουσιάζεται η αρχική παραμορφωμένη εικόνα, ενώ δεξιά η διορθωμένη εικόνα. Στην παραμορφωμένη εικόνα, φαίνεται χαρακτηριστικά η σημαντική ε- πίδραση της παραμόρφωσης στα κτίσματα, των οποίων οι πλευρές εμφανίζονται καμπυλωμένες. 1.3 Συμπεράσματα Στο παρόν Κεφάλαιο αναλύθηκε η σημαντικότερη πηγή γεωμετρικών σφαλμάτων μίας φωτογραφικής μηχανής και ο τρόπος διόρθωσής της. Δεν προτάθηκε κάποια καινούρια μεθοδολογία, αλλά το ImageCor συγκεντρώνει αυτές τις λειτουργίες σε ένα λογισμικό πακέτο ώστε να διευκολύνεται ο χρήστης, ενώ παράλληλα να μπορεί να έχει αποτελέσματα ισάξια με αυτά εμπορικών λογισμικών. 23

31 Φωτογραφία ενός αισθητήρα CMOS από μικροσκόπιο (40x μεγέθυνση). (Πηγή: landingfield.wordpress.com, CMOS Camera Project) 24

32 2. Χωρικές Παραμορφώσεις Λόγω Επίδρασης Κυλιόμενου Κλείστρου 2.1 Λειτουργία Αισθητήρων Ψηφιακών Φωτογραφικών Μηχανών Οι ψηφιακοί αισθητήρες των φωτογραφικών μηχανών είναι ένα σύνολο από φωτοευαίσθητα κύτταρα (pixels), διατεταγμένα σε κάνναβο, τα οποία έχουν την ικανότητα να λαμβάνουν φωτόνια και μέσω πυκνωτών και ενισχυτών σήματος να μετατρέπουν την ηλεκτρική διέγερση, που αυτά προκαλούν, σε τιμές δυναμικού (voltage). Στη συνέχεια η τιμή δυναμικού κάθε pixel μετατρέπεται σε ψηφιακό σήμα, δηλαδή σε δυαδικό κώδικα, μέσω analogue-to-digital converters (AD converters), το οποίο μπορεί να ε- πεξεργαστεί η μονάδα CPU της μηχανής και να τη μετατρέψει σε εικόνα. Το χρώμα του κάθε pixel καθορίζεται από ένα φίλτρο το οποίο βρίσκεται στην επιφάνεια του αισθητήρα και το οποίο καλείται φίλτρο Bayer ή φίλτρο GRGB (Green-Red- Green-Blue). Όπως και ο αισθητήρας, έτσι και το φίλτρο αποτελείται από υπό-φίλτρα διατεταγμένα σε κάνναβο, ούτως ώστε κάθε pixel να έχει το δικό του χρωματικό φίλτρο (Σχ. 2.1). Το φίλτρο αυτό κατασκευάζεται με τρόπο τέτοιο ώστε η πρώτη γραμμή να έχει την ακολουθία RGRG RGR και η δεύτερη GBGB GBG. Το μοτίβο αυτό επαναλαμβάνεται για όλες τις γραμμές των pixel στον αισθητήρα. Η αναλογία των χρωμάτων στο φίλτρο Bayer είναι 50% πράσινο, 25% μπλε και 25% κόκκινο. Τα πράσινα εικονοστοιχεία είναι διπλάσια ώστε η παραγόμενη εικόνα να μιμείται την εικόνα που παράγει το ανθρώπινο μάτι. Σχήμα 2.1. Η δομή ενός ψηφιακού αισθητήρα και του αντίστοιχου φίλτρου Bayer. Οι δύο κύριοι τύποι ψηφιακών αισθητήρων είναι οι CCD και οι CMOS, οι οποίοι δομούνται από πυρίτιο όπως όλα τα chips- και η μόνη διαφορά τους έγκειται στον τρόπο με τον οποίο καταγράφουν και επεξεργάζονται την ηλεκτρική διέγερση που προκαλούν τα φωτόνια. Στους αισθητήρες CCD (Charged Couple Device) η ηλεκτρική διέγερση αποθηκεύεται στην ηλεκτρικά φορτισμένη επιφάνεια του pixel και μεταφέρεται σε έναν εξωτερικό electron to voltage converter ο οποίος τη μετατρέπει σε δυναμικό. Στη συνέχεια, το δυναμικό μετατρέπεται σε ψηφιακό σήμα μέσω ενός AD converter και το σήμα αυτό 25

33 μεταφέρεται στη CPU. Αυτή η διαδικασία πραγματοποιείται για ένα pixel κάθε φορά, ξεκινώντας από το πρώτο pixel της τελευταίας γραμμής, συνεχίζοντας προς το τελευταίο της ίδιας γραμμής και προχωρώντας στην επόμενη, προς τα πάνω, γραμμή. Κατά τη διάρκεια της μεταφοράς, το κλείστρο πρέπει να είναι κλειστό ώστε να μην αλλάζει η ηλεκτρική φόρτιση της επιφάνειας του pixel. Συνεπώς, η καταγραφή της υπό φωτογράφιση σκηνής γίνεται την ίδια στιγμή για όλα τα pixel του αισθητήρα μέσω του global shutter. Αυτός ο τρόπος καταγραφής του οπτικού σήματος προσφέρει καλύτερης ποιότητας εικόνες καθώς χρησιμοποιούνται λιγότεροι ενισχυτές σήματος, γεγονός το ο- ποίο αποτρέπει τη δημιουργία θορύβου. Παράλληλα όμως, απαιτείται και μεγαλύτερο ποσό ενέργειας και χρόνο επεξεργασίας, ενώ γενικότερα αυτού του είδους οι αισθητήρες είναι και πιο ακριβοί. Οι αισθητήρες CMOS (Complementary Metal-Oxide Semiconductor) αναπτύχθηκαν για πρώτη φορά το Σε αντίθεση με τους CCD, το κύκλωμα αυτών των αισθητήρων έχει εμπλουτιστεί ώστε κάθε pixel να μπορεί να μετατρέπει την ηλεκτρική διέγερση σε δυναμικό και στη συνέχεια όλες οι τιμές δυναμικού μαζί μετατρέπονται σε ψηφιακό σήμα από έναν AD converter. Επειδή η επιφάνεια των pixel στους CMOS δεν μπορεί να αποθηκεύσει την ηλεκτρική διέγερση, το κλείστρο πρέπει να είναι ανοιχτό κατά τη διάρκεια της καταγραφής και γι αυτό το λόγο η καταγραφή γίνεται γραμμή προς γραμμή μέσω του rolling shutter (κυλιόμενου κλείστρου). Οι αισθητήρες CMOS πετυχαίνουν σημαντική μείωση του απαιτούμενου ποσού ενέργειας (μέχρι και 100 φορές μικρότερη ενέργεια) και μείωση του χρόνου επεξεργασίας. Όλα αυτά όμως υπό το κόστος του αυξημένου ψηφιακού θορύβου, που προκαλεί μείωση στην ποιότητα της εξαγόμενης εικόνας, και φυσικά, των παραμορφώσεων που προκαλούνται λόγω του rolling shutter που τους συνοδεύει. Σε επίπεδο hardware, η παραμόρφωση που προκαλεί το rolling shutter μπορεί να αποφευχθεί είτε με ταχύτερη καταγραφή της πληροφορίας όπως στις DSLR με μηχανικό κλείστρο (mechanical shutter)-, είτε με ενσωμάτωση μνήμης (buffer) σε κάθε pixel ώστε να μπορούν να αποθηκεύονται οι τιμές δυναμικού και μετά να μεταφέρονται στον επεξεργαστή. 2.2 Σχετική Έρευνα Το μεγαλύτερο μέρος της έρευνας γύρω από την επίδραση του κυλιόμενου κλείστρου, έχει στραφεί στη διόρθωση των οπτικών παραμορφώσεων που προκαλεί κατά τη λήψη βίντεο, είτε λόγω δονήσεων, π.χ. λόγω της μηχανής ενός αυτοκινήτου, είτε λόγω ασθενών κινήσεων από τα χέρια του χρήστη της μηχανής. Με αυτό το σκεπτικό, έχουν αναπτυχθεί και μηχανικά συστήματα σταθεροποίησης της εικόνας (Mechanical Image Stabilization) -σε high-end μηχανές-, τα οποία κινούν είτε τον φακό είτε τον αισθητήρα ώστε να αποφύγουν την επίδραση του κλείστρου. Παρομοίως, σε μηχανές αεροφωτογραφίσεων χρησιμοποιείται ο λεγόμενος μηχανισμός FMC (Forward Motion Compensator). Σχετικά με την επίδραση του φαινομένου αυτού στην εικόνα, έχουν προταθεί διάφορα μαθηματικά μοντέλα τα οποία σε γενικές γραμμές θεωρούν είτε πλήρως μεταθετική κίνηση (pure translation) (Chang et al. n.d.; Jeong & Moon 2015; Sun et al. 2016) 26

34 είτε μεταθετική και περιστροφική κίνηση μαζί (translation and rotation) (Vautherin et al. 2016; Saurer et al. 2015; Karpenko et al. 2011; Chun et al. 2008). Επίσης, σε κάποιες εργασίες (Vautherin et al. 2016; Saurer et al. 2015; Rusk 2016; Karpenko et al. 2011) χρησιμοποιούνται εικόνες οι οποίες έχουν γνωστό εξωτερικό προσανατολισμό -μέσω δεδομένων GNSS/IMU- ή χρησιμοποιούνται γνωστά σημεία για την εύρεσή του. Επίσης, σε μία σχετική εργασία (Karpenko et al. 2011) είχε προταθεί η χρήση 3D γυροσκοπίων για την á posteriori διόρθωση. Αντίθετα, σε άλλες θεωρούνται εικόνες άγνωστου εξωτερικού προσανατολισμού (Chang et al. n.d.; Chun et al. 2008; Geyer et al. 2004; Jeong & Moon 2015) και αυτή είναι η περίπτωση που εξετάζεται στην παρούσα εργασία προκειμένου να μπορούν να καλυφθούν όλες οι πιθανές εικόνες και όχι μόνο όσες διαθέτουν γνωστό εξωτερικό προσανατολισμό. 2.3 Επίδραση Rolling Shutter (Rolling Shutter Effect) Όπως αναφέρθηκε, η περίπτωση που εξετάζεται είναι αυτή κατά την οποία οι φωτογραφίες δε συνοδεύονται από geotagging και δεδομένα IMU (Inertial Measurement Unit). Οι φωτογραφίες που χρησιμοποιούνται είναι δηλαδή άγνωστου εξωτερικού προσανατολισμού, το οποίο σημαίνει ότι παράμετροι όπως η θέση λήψης, η κλίμακα και ο προσανατολισμός δεν μπορούν να υπολογιστούν χωρίς τη χρήση επιπλέον πληροφοριών. Προκειμένου όμως να απλοποιηθεί η διόρθωση των χωρικών παραμορφώσεων που προκαλούνται από το rolling shutter, αναπτύχθηκε, για την παρούσα εργασία, μία ροή εργασιών που αποτρέπει την ανάγκη χρήσης δεδομένων GNSS/IMU. Η μόνη πληροφορία που είναι αναγκαία για τη διόρθωση, είναι αυτή του χρόνου καταγραφής (readout time) του rolling shutter καθώς και η κατεύθυνσή του, δηλαδή αν ο αισθητήρας CMOS ξεκινάει την καταγραφή από το άνω ή το κάτω μέρος του. 27

35 Σχήμα 2.2. Διάγραμμα ροής εργασιών για τη διόρθωση της παραμόρφωσης λόγω κυλιόμενου κλείστρου Σύντομη Περιγραφή της Λειτουργίας του ImageCor Το λογισμικό ImageCor, που δημιουργήθηκε για τη διόρθωση των χωρικών παραμορφώσεων του κυλιόμενου κλείστρου, βασίζεται στις τεχνικές της Υπολογιστικής Ό- ρασης (Computer Vision) και αναπτύχθηκε στη γλώσσα προγραμματισμού Python χρησιμοποιώντας τη βιβλιοθήκη OpenCV της Intel. 28

36 Η διαδικασία ξεκινά χρησιμοποιώντας 2 εικόνες οι οποίες είναι απαραίτητο να αποτελούν στερεοζεύγος, δηλαδή να έχουν τουλάχιστον 60% πλευρική επικάλυψη. Σε κάθε εικόνα ξεχωριστά εντοπίζονται χιλιάδες σημεία τα οποία αποθηκεύονται στη μνήμη. Στη συνέχεια τα σημεία που εντοπίστηκαν ως ομόλογα και στις δύο εικόνες συγκρίνονται μεταξύ τους με έναν αλγόριθμο συσχέτισης και αυτά που δεν εντοπίζονται και στις δύο, αφαιρούνται αυτόματα. Ακολουθεί ένας στατιστικός έλεγχος -δύο σταδίων- των αποτελεσμάτων ο οποίος αφαιρεί σημεία τα οποία έχουν τοποθετηθεί σε λάθος θέση. Το επόμενο στάδιο είναι ο υπολογισμός της σχετικής κίνησης μεταξύ των δύο εικόνων. Χρησιμοποιώντας τις εικονοσυντεταγμένες των παραπάνω ομόλογων σημείων, υπολογίζεται η ταχύτητα -δηλαδή το διάνυσμα της μετατόπισης- σε pixel/sec και η διεύθυνση της κίνησης σε σχέση με το Βορρά της εικόνας -που θεωρείται αυθαίρετα ως το άνω μέρος της-. Αυτοί οι δύο υπολογισμοί πραγματοποιούνται θέτοντας ως αρχική θέση την 1 η εικόνα. Εφόσον είναι γνωστός ο τρόπος κίνησης της φωτογραφικής μηχανής, η διόρθωση γίνεται αναδιατάσσοντας τα pixel στη 2 η εικόνα του ζεύγους χρησιμοποιώντας μία σχέση που αναπτύχθηκε βάσει των αναγκών και των δεδομένων της διαδικασίας διόρθωσης που προτείνεται Δεδομένα Εισαγωγής Τα μόνα απαραίτητα, για τη διόρθωση, δεδομένα είναι ο χρόνος καταγραφής του κλείστρου και προαιρετικά, το χρονικό διάστημα μεταξύ δύο διαδοχικών λήψεων, όταν αυτό είναι γνωστό με τη μορφή σταθερού χρονικού διαστήματος (interval), π.χ. όταν γίνεται λήψη κάθε 1 sec. Ειδάλλως, ο χρόνος αυτός υπολογίζεται αυτόματα, με κατώτατο όριο ανάλυσης το 1 sec, καθώς υπολογίζεται από τα EXIF metadata (Exchangeable Image File Format) των ψηφιακών αρχείων. Υπολογισμός Ταχύτητα Καταγραφής του Rolling Shutter Από βίντεο Η εκτίμηση της ταχύτητας του κυλιόμενου κλείστρου μπορεί να γίνει με δύο τρόπους. Ο πρώτος είναι γνωρίζοντας τον αριθμό των καρέ που καταγράφει η κάμερα κατά τη λήψη βίντεο σε χρόνο 1 δευτερολέπτου. Αυτό το χαρακτηριστικό καλείται fps ή frames per second (καρέ ανά δευτερόλεπτο). Γνωρίζοντας αυτό το χαρακτηριστικό για μία κάμερα, μπορούμε να κάνουμε την αναγωγή σε χρόνο λήψης 1 καρέ με τη σχέση t rs = 1. Για παράδειγμα, μία φωτογραφική μηχανή που λαμβάνει βίντεο με fps 30 fps -δηλαδή 30 καρέ (frames) ανά δευτερόλεπτο- χρειάζεται χρόνο t rs = 1 30f/s 0.033sec = 33ms για την καταγραφή ενός καρέ. Αυτή η εκτίμηση δεν είναι απόλυτα ακριβής, διότι αναφέρεται στην καταγραφή βίντεο κατά την οποία ο αισθητήρας περνά από δύο στάδια. Στο πρώτο πραγματοποιείται συνολική έκθεση του αισθητήρα στο φως (exposure) και στο δεύτερο γίνεται η καταγραφή του καρέ (readout) (Σχ. 2.3). Αυτή η αλληλουχία συνεχίζεται καθόλη τη διάρκεια της καταγραφής. Δηλαδή ισχύει η 29

37 σχέση 1 fps = t exp + t rs. Για τη διόρθωση όμως του κυλιόμενου κλείστρου μας ενδιαφέρει μόνο ο χρόνος καταγραφής του βίντεο (trs). Συνεπώς, αν είναι γνωστός ο χρόνος έκθεσης μπορεί να αφαιρεθεί από την παραπάνω σχέση και να υπολογιστεί ο χρόνος που χρειάζεται για την καταγραφή του καρέ. Σχήμα 2.3. Τρόπος καταγραφής των καρέ ενός βίντεο με το κυλιόμενο κλείστρο. Αρχικά γίνεται έκθεση του αισθητήρα για ένα χρονικό διάστημα t exp και στη συνέχεια ξεκινά η καταγραφή της εικόνας γραμμή προς γραμμή. Μόλις καταγραφούν όλες οι γραμμές, γίνεται επανεκκίνηση στον αισθητήρα, έκθεσή του στο φως και μετά καταγραφή. Η αλληλουχία αυτή εξακολουθεί για όση ώρα καταγράφεται το βίντεο. Από φωτογραφία Για την πιο ακριβή μέτρηση της ταχύτητας, αλλά και για την εύρεση της διεύθυνσης καταγραφής του καρέ, δημιουργήθηκε ένα απλό ηλεκτρονικό κύκλωμα χρησιμοποιώντας υλικά τα οποία είναι προσβάσιμα στον καθένα. Τα βασικά συστατικά στοιχεία του συγκεκριμένου κυκλώματος είναι ένας χρονοδιακόπτης υψηλής ακρίβειας και μία φωτοδίοδος (LED). Η τροφοδοσία πραγματοποιείται από τρεις μπαταρίες 9V, συνδεδεμένες σε σειρά ώστε να αποδίδεται τάση 27V, και επιπλέον χρησιμοποιούνται κάποιες απαραίτητες αντιστάσεις και ένας πυκνωτής ο οποίος είναι υπεύθυνος για τις φορτίσεις και αποφορτίσεις του δυναμικού που εισέρχεται στον χρονοδιακόπτη. Ουσιαστικά, το κύκλωμα αυτό αποτελεί ένα flasher και η ακριβής συνδεσμολογία του φαίνεται στο Σχ. 2.4, ενώ τα ακριβή χαρακτηριστικά των επιμέρους μερών του φαίνονται στον Πίν Πίνακας 2.1. Τεχνικά χαρακτηριστικά των παθητικών εξαρτημάτων του κυκλώματος. R 1 R 2 R 3 C 200K Ω 5K Ω 1K Ω 4.7 μf 30

38 Σχήμα 2.4. Κυκλωματικό διάγραμμα του flasher. Η ιδιότητα του συγκεκριμένου κυκλώματος είναι ότι μπορούμε να προκαλέσουμε περιοδικές εκλάμψεις στο LED με συχνότητα την οποία μπορούμε να ελέγξουμε με ακρίβεια -μέσω του χρονοδιακόπτη- και κατ επέκταση να καθορίσουμε στις ανάγκες μας -αλλάζοντας την αντίσταση και τον πυκνωτή του κυκλώματος-. Η διάρκεια των εκλάμψεων μπορεί να υπολογιστεί βάσει της Εξ Εξίσωση 2.1. Υπολογισμός της διάρκειας εκλάμψεων του LED. T(sec) = C(F) (2R 2 (Ω) + R 3 (Ω)) Η λογική της χρήσης του βασίζεται στο ότι αν θέσουμε περίοδο αναλαμπής ελαφρώς μικρότερη από τη διάρκεια καταγραφής του CMOS, την οποία αναμένουμε να έχει, μπορούμε να φωτογραφίσουμε και τη φόρτιση και την αποφόρτιση του LED. Σε ένα από τα πειράματα που διεξήχθησαν, το κύκλωμα ρυθμίστηκε ώστε μία περίοδος φόρτισης-αποφόρτισης να διαρκεί περίπου 36ms, δηλαδή το LED παραμένει αναμμένο για 18ms και στη συνέχεια παραμένει σβηστό για 18ms. Το LED φωτογραφήθηκε με το φακό της κάμερας να έρχεται σε άμεση επαφή με αυτό ώστε το σύνολο των pixels να είναι εκτεθειμένα στο φως του. Τα αποτελέσματα φαίνονται στο παρακάτω σχήμα (Σχ. 2.5). 31

39 Σχήμα 2.5. Φωτογράφιση του LED για την εκτίμηση της ταχύτητας καταγραφής του αισθητήρα CMOS. Πάνω φαίνεται η αρχική εικόνα και κάτω η ίδια μετά από επεξεργασία ώστε να διακρίνονται καλύτερα τα εικονοστοιχεία που αποτυπώνουν την αναλαμπή. Η εικόνα έχει διαστάσεις 4160x3120 pixels και η αναλαμπή καταγράφηκε από 1856 pixels. Στο Σχ. 2.5 φαίνεται η καταγραφή μίας φόρτισης (στο μέσο της εικόνας) και δύο αποφορτίσεων (άνω και κάτω μέρος της εικόνας). Η περιοχή που έχει σημειωθεί αποτελεί τη διάρκεια μίας έκλαμψης, ενώ η υπόλοιπη, επίσης φωτιζόμενη περιοχή, αποτελεί θόρυβο, διότι η αρχή και το τέλος των δύο αποφορτίσεων είναι εμφανείς (σκοτεινές ζώνες εκατέρωθεν της έκλαμψης). Όπως προαναφέρθηκε, η περίοδος (T) φόρτιση-αποφόρτισης είναι περίπου 36ms, και η φόρτιση (έκλαμψη) καταγράφτηκε από 1856 pixels του αισθητήρα. Δηλαδή, για να καταγραφούν 1856 pixels χρειάστηκε χρόνος Τ 2 = 18ms. Κάνοντας την αναγωγή προκύπτει ότι: 3120 (pix) T/2 (ms) t rs = 30ms 1856 pix 32

40 Ο συγκεκριμένος χρόνος είναι αυτός και ο οποίος αναμενόταν καθώς -όπως αναφέρθηκε- ο χρόνος που δίνεται για τα fps (frames per second καρέ ανά δευτερόλεπτο) συμπεριλαμβάνει το χρόνο καταγραφής (trs) και το χρόνο έκθεσης (texp), οι οποίο είναι 30ms και 3ms αντιστοίχως. Συνεπώς, με αυτή τη μέθοδο μπορεί να γίνει ακριβής μέτρηση του χρόνου καταγραφής του καρέ. Στη συνέχεια, με την ίδια διάταξη έγινε λήψη βίντεο για μερικά δευτερόλεπτα ώστε να μπορέσει να καθοριστεί η διεύθυνση καταγραφής του καρέ, δηλαδή τη θέση έναρξης καταγραφής στον αισθητήρα. Από την παρατήρηση του βίντεο διαπιστώνεται ότι για τη συγκεκριμένη φωτογραφική μηχανή, η καταγραφή ξεκινά από το άνω μέρος του αισθητήρα. Στο Σχ. 2.6, φαίνονται μερικά διαδοχικά καρέ. Η φαινομενική μετακίνηση της σκοτεινής ζώνης προκαλείται από το γεγονός ότι ο χρόνος που χρειάζεται ο αισθητήρας για να καταγράψει τη σκηνή είναι ελαφρώς μικρότερος από την περίοδο του flasher. Έτσι, η σκοτεινή ζώνη καταγράφεται σε διαφορετική θέση στον αισθητήρα με την πάροδο του χρόνου. Αν η περίοδος του flasher μπορούσε να ρυθμιστεί ώστε να είναι ακριβώς ίση με τον χρόνο καταγραφής του αισθητήρα, η σκοτεινή ζώνη θα φαινόταν ακίνητη στο ίδιο σημείο σε όλα τα καρέ. Καρέ#1 Καρέ #31 Καρέ #64 Καρέ #88 Σχήμα 2.6. Παρατηρώντας τα καρέ σε χρονική σειρά, φαίνεται η διεύθυνση καταγραφής από το άνω μέρος του αισθητήρα προς το κάτω, ακολουθώντας την κίνηση της σκοτεινής ζώνης που απεικονίζεται. 33

41 Σχήμα 2.7. Φωτογράφιση του LED από κάμερα DSLR με ταχύτητα κλείστρου 1/420 sec. Το μηχανικό κλείστρου (mechanical shutter) που έχουν οι DSLR επιτρέπουν τη φωτογράφιση ολόκληρης της σκηνής την ίδια ακριβώς χρονική στιγμή και γι αυτό το λόγο το LED μπόρεσε να φωτογραφηθεί σβηστό και αναμμένο σε διαφορετικά καρέ. Το πράσινο και πορτοκαλί LED που φαίνονται στο βάθος, παραμένουν συνεχώς αναμμένα και τοποθετήθηκαν ως αναφορά. Για τη συγκεκριμένη μέτρηση, η διάρκεια μίας έκλαμψης είναι 18ms, δηλαδή T = 36ms, ώστε σε ένα καρέ να φαίνεται ολόκληρος ο κύκλος φόρτισης και αποφόρτισης του συστήματος. Λόγω της μικρής αυτής διαφοράς μεταξύ της συχνότητας αναλαμπής του LED και της ταχύτητας του κλείστρου, η σκοτεινή ζώνη -που αντιπροσωπεύει την κατάσταση του κυκλώματος κατά την οποία γίνεται η φόρτιση του πυκνωτή ώστε στη συνέχεια να αποφορτιστεί και να δώσει διαφορά δυναμικού η οποία θα προκαλέσει την αναλαμπή του LED- φαίνεται να κινείται στο καρέ, ενώ στην πραγματικότητα τόσο η κάμερα όσο και το κύκλωμα παραμένουν ακίνητα. Η κίνηση αυτή είναι ενδεικτική του τρόπου που λειτουργεί το κυλιόμενο κλείστρο και πλέον μπορεί να γίνει σαφές, το πώς αυτή η λειτουργία μπορεί να προκαλέσει χωρικές παραμορφώσεις σε μία εικόνα, είτε όταν κινείται η φωτογραφική μηχανή, είτε όταν η μηχανή είναι σταθερή αλλά φωτογραφίζεται ένα κινούμενο αντικείμενο. Εφόσον πλέον η ταχύτητα του κλείστρου είναι γνωστή, η διαδικασία διόρθωσης μπορεί να ξεκινήσει Ανίχνευση Ομόλογων Σημείων Εντοπισμός Σημείων Ενδιαφέροντος Το πρώτο στάδιο στη διαδικασία της διόρθωσης είναι η ανίχνευση σημείων ενδιαφέροντος στις εικόνες. Τα σημεία αυτά στη βιβλιογραφία ονομάζονται keypoints, ενώ ο γνωστότερος αλγόριθμος που χρησιμοποιείται για την ανίχνευσή τους ονομάζεται SIFT (Scale Invariant Feature Transform) και αναπτύχθηκε από τον David G. Lowe (Lowe 2004). Εν συντομία, ο αλγόριθμος αυτός λειτουργεί σε 4 στάδια: 1. Γίνεται αναζήτηση σε όλες τις θέσεις και όλες τις κλίμακες κάθε εικόνας για την ταυτοποίηση πιθανών σημείων ενδιαφέροντος τα οποία είναι ανεξάρτητα κλίμακας και προσανατολισμού. 2. Καθορίζεται ένα ακριβές μοντέλο κλίμακας και θέσης για κάθε υποψήφιο keypoint. 34

42 3. Ανατίθεται σε κάθε keypoint ένας προσανατολισμός που έχει να κάνει με τη χρωματική διαβάθμιση των γειτονικών εικονοστοιχείων (pixels) εντός κάποιας ακτίνας γύρω από αυτό. 4. Δημιουργία περιγραφέων (keypoint descriptors) οι οποίοι διατηρούν πληροφορίες για κάθε keypoint που αφορούν στην κλίμακα στην οποία έχουν ανιχνευθεί και σε τιμές φωτεινότητας και χρωματικής διαβάθμισης των γειτονικών pixels. Οι descriptors υπολογίζονται για παράθυρα 4x4 pixel. Οι πληροφορίες αυτές κάνουν δυνατό τον εντοπισμό των ίδιων σημείων σε άλλες εικόνες που μπορεί να έχουν υποστεί ραδιομετρική ή χωρική παραμόρφωση αλλά και που μπορεί να παρουσιάζουν διαφοροποίηση είτε στη γωνία λήψης είτε στις συνθήκες φωτισμού. Ο τρόπος καθορισμού ενός descriptor φαίνεται στο Σχ Σχήμα 2.7. Ο τρόπος με τον οποίο καθορίζεται ο descriptor ενός keypoint λαμβάνοντας υπόψιν τη χρωματική διαβάθμιση (gradient) των γειτονικών pixels. Πηγή: (Lowe 2004) Σε κάθε εικόνα μπορούν να ανιχνευτούν χιλιάδες keypoints και αυτό είναι πολύ σημαντικό όταν χρησιμοποιούνται για να βρεθούν ομολογίες σημείων μεταξύ διαφορετικών εικόνων, όπως στη συγκεκριμένη περίπτωση. Τα keypoints αφού ανιχνευθούν αποθηκεύονται σε μία database. Tα keypoints από διαφορετικές database -δηλαδή διαφορετικές εικόνες- συγκρίνονται μεταξύ τους ένα προς ένα και εντοπίζονται οι υποψήφιες ομολογίες σημείων βάσει της Ευκλείδειας απόστασής τους. Οι τελικές ομολογίες ορίζονται συγκρίνοντας και τους descriptors αυτών των υποψήφιων σημείων, οι οποίοι επιτρέπουν την πολύ ακριβή ταυτοποίησή τους ούτως ώστε να μην ορίζονται ομολογίες που δεν είναι σωστές. Παρακολουθώντας τη θέση διαφορετικών σημείων μεταξύ διαφορετικών/διαδοχικών εικόνων καταλήγουμε σε αυτό, που στη βιβλιογραφία αποκαλείται sparse optical flow. Αν και ο αλγόριθμος SIFT ήταν από τους πρωτοπόρους για τους σκοπούς που δημιουργήθηκε, δηλαδή τον εντοπισμό keypoints και δημιουργία των descriptor τους, αποτέλεσε τη βάση για τη δημιουργία και άλλων παρόμοιων αλγόριθμων. Παρόμοιοι αλγόριθμοι είναι και αυτοί που αντί για οποιοδήποτε σημείο, προσφέρουν τη δυνατότητα ανίχνευσης γωνιών και ακμών (edge και corner detectors). Μερικοί από τους πιο γνωστούς keypoint detectors είναι οι: 35

43 Harris Corner Detector SURF FAST BRIEF ORB (Oriented FAST and Rotated Brief) BRISK KAZE MOPs (Multi-Scale Oriented Patches) Ενώ οι πιο γνωστοί keypoint descriptors είναι οι: SURF BRISK ORB FREAK LDB GLOH LESH Normalized Gradient PCA Transformed Image Patch Για την εφαρμογή της παρούσας εργασίας η επιλογή έγινε ανάμεσα στους αλγόριθμους SIFT, SURF (Bay et al. 2006), ORB (Rublee & Bradski 2011) καθώς αυτοί συνδυάζουν keypoint detectors και keypoint descriptors. Ένας βασικός παράγοντας -πέραν της σταθερότητας στην ανίχνευση και συσχέτιση των keypoints- είναι το υπολογιστικό κόστος των δύο αυτών διαδικασιών. Σε μία σχετική εργασία (Senst et al. 2009) οι ερευνητές αξιολόγησαν μερικούς από τους αλγόριθμους που χρησιμοποιούνται περισσότερο σε εφαρμογές optical flow, όσον αφορά στο υπολογιστικό τους κόστος. Η σύγκρισή τους έγινε χρησιμοποιώντας ίδιο αριθμό σημείων προς ανίχνευση και διαφορετικά ζεύγη εικόνων. Ανάμεσα στους αλγόριθμους που δοκιμάστηκαν ήταν ο SIFT και ο SURF. Από τα αποτελέσματα της μελέτης φαίνεται ότι αν και ο αλγόριθμος SIFT εμφανίζει τα καλύτερα αποτελέσματα στην ποιότητα και την ακρίβεια κατά τον εντοπισμό των keypoints αλλά και κατά των υπολογισμό της κίνησής τους από τη μία εικόνα στη διαδοχική της, χρειάζεται 50% περισσότερο χρόνο σε σχέση με τον SURF. Για την εφαρμογή της παρούσας εργασίας, αυτή η διαφορά μπορεί να προκαλέσει σημαντική αύξηση του συνολικού χρόνου διόρθωσης όλων των εικόνων από μία πτήση, οι οποίες μπορεί να είναι εκατοντάδες. Σε μία παρόμοια εργασία (Karami et al. 2015), η σύγκριση έγινε μεταξύ των SIFT, SURF και ORB και επικεντρώθηκε τόσο στο χρόνο εκτέλεσης που απαιτείται από τον κάθε αλγόριθμο αλλά και στην ακρίβεια εντοπισμού ομόλογων σημείων σε διαφορετικές συνθήκες κλίμακας, περιστροφής, παραμόρφωσης λόγω φακού fisheye και προσθήκης τυχαίου θορύβου τύπου salt and pepper σε ποσοστό 30%. 36

44 Από τη συγκεκριμένη εργασία προκύπτουν τα εξής συμπεράσματα: Ο εντοπισμός ομόλογων σημείων από τον αλγόριθμο ORB έχει τη μικρότερη επιρροή στην περίπτωση εικόνων με διαφορετική κλίμακα. Ενώ αμέσως επόμενος στην κατάταξη έρχεται ο SURF. Στις εικόνες που υπέστησαν παραμόρφωση με φίλτρο fisheye τα καλύτερα α- ποτελέσματα συσχέτισης έδωσε ο αλγόριθμος SIFT με δεύτερο τον ORB. Στην περίπτωση της περιστροφής μεταξύ της 1 ης και 2 ης εικόνας καλύτερα α- ποτελέσματα έδωσε και πάλι ο SIFT με δεύτερο τον SURF. Στις εικόνες που προστέθηκε τυχαίος θόρυβος τα χειρότερα αποτελέσματα έ- δωσε ο αλγόριθμος SURF, ενώ τα καλύτερα ο ORB. Σε όλες τις δοκιμές μικρότερο χρόνο εκτέλεσης είχε ο ORB με τον SURF να ακολουθεί με μικρή διαφορά, ενώ σημαντικά μεγαλύτερο χρόνο χρειάστηκε ο SIFT. Ενώ ο SIFT εμφανίζει τα πιο σταθερά και ακριβή αποτελέσματα χρειάζεται σημαντικά μεγαλύτερο χρόνο εκτέλεσης. Ο SURF εμφανίζει ικανοποιητικά αποτελέσματα σε όλες τις περιπτώσεις διαφοροποίησης στην κλίμακα, την περιστροφή-γωνία λήψης ακόμα και στη φωτεινότητα. Ο ORB εμφανίζει επίσης ίδιας ποιότητας αποτελέσματα με τον SURF, αλλά με ακόμα πιο μειωμένο χρόνο. Πριν την επιλογή του κατάλληλου αλγόριθμου πραγματοποιήθηκαν και κάποιες δοκιμές με εικόνες από πτήσεις στα πλαίσια της παρούσας εργασίας. Στα Σχ φαίνονται τα keypoints που εντοπίστηκαν για την ίδια εικόνα από τους 3 διαφορετικούς αλγόριθμους. Δημιουργήθηκε ένα απλό πρόγραμμα σε περιβάλλον Python, το οποίο φορτώνει την εικόνα η οποία από έγχρωμη μετατρέπεται σε ασπρόμαυρη. Στη συνέχεια γίνεται η ανίχνευση των keypoints και των descriptor τους. Για την εξαγωγή ασφαλών συμπερασμάτων έγιναν οι απαραίτητες ρυθμίσεις για τον εντοπισμό 8000 keypoints και από τους 3 αλγόριθμους. Επίσης, η χρονομέτρηση της εκτέλεσης του script περιορίστηκε μόνο στην ανίχνευση των keypoints και των descriptors. Η εικόνα που χρησιμοποιήθηκε έχει διαστάσεις 4000x3000 pixels και λήφθηκε από κάμερα GoPro Hero 3+ Black Edition. Ο χρόνος εκτέλεσης που απαιτήθηκε από τον κάθε αλγόριθμο φαίνεται στον Πίν Πίνακας 2.2. Απαιτούμενος χρόνος ανίχνευσης και δημιουργίας περιγραφέων για 8000 keypoints από τον κάθε αλγόριθμο. Αλγόριθμος SIFT 5.77 SURF 2.03 ORB 0.52 Χρόνος Εκτέλεσης (sec) 37

45 Σχήμα 2.9. Τα keypoints που εντοπίστηκαν από τον αλγόριθμο SIFT. Το μέγεθος των κύκλων είναι ανάλογο του μεγέθους των keypoints. 38

46 Σχήμα Τα keypoints που εντοπίστηκαν από τον αλγόριθμο SURF. Το μέγεθος των κύκλων είναι ανάλογο του μεγέθους των keypoints. 39

47 Σχήμα Τα keypoints που εντοπίστηκαν από τον αλγόριθμο ORB. Το μέγεθος των κύκλων είναι ανάλογο του μεγέθους των keypoints. 40

48 Από τα παραπάνω σχήματα (Σχ ) παρατηρείται ότι ενώ οι αλγόριθμοι SIFT και SURF παρουσιάζουν μία αρκετά ικανοποιητική διασπορά σε όλη την εικόνα, ο ORB παρουσιάζει τοπικές συγκεντρώσεις σημείων τα οποία αποτυγχάνουν να καλύψουν σε ικανοποιητικό βαθμό ολόκληρη την εικόνα. Από άλλες δοκιμές που πραγματοποιήθηκαν παρατηρήθηκε επίσης ότι ο ORB ξεκινά τον εντοπισμό των σημείων από το κέντρο της εικόνας, σχεδόν ακτινικά πέριξ του κέντρου της, και για να καλύψει ολόκληρη την εικόνα, χρειάζεται σημαντικά μεγαλύτερος αριθμός σημείων σε σχέση με τους άλλους δύο. Σε σχέση με τους άλλους δύο αλγόριθμους, αφήνει μεγάλα κενά στην εικόνα για τον ίδιο αριθμό σημείων. Πιθανές συγκεντρώσεις keypoint από τους αλγόριθμους SIFT και SURF εντοπίζονται στα κτίσματα τα οποία δημιουργούν ιδανικούς στόχους λόγω των γωνιών και ακμών τους. Αξιοποιώντας τα συμπεράσματα από τις επιστημονικές εργασίες που αναφέρονται παραπάνω και αφού διεξήχθησαν κάποιες δοκιμές με πραγματικά δεδομένα, ο αλγόριθμος που επιλέχθηκε για τον εντοπισμό keypoint στις εικόνες είναι ο SURF. Η επιλογή αυτή έγινε διότι συνδυάζει σχετικά μικρό υπολογιστικό κόστος -το οποίο συνεπάγεται μικρό χρόνο εκτέλεσης-, αρκετά ικανοποιητική και ακριβή εύρεση σημείων και, τέλος, επιτυχή κάλυψη της εικόνας με αρκετά ομοιόμορφη κατανομή σημείων που δεν αφήνει σημαντικά κενά. Εύρεση Ομόλογων Σημείων Αφού εκτελεστεί η ανίχνευση των keypoint για 2 εικόνες, θα έχουν δημιουργηθεί 2 σετ keypoints. Στη συνέχεια, αυτά τα δύο σετ θα πρέπει να φορτωθούν σε κάποιον αλγόριθμο που θα μπορέσει να ανιχνεύσει τις ομολογίες σημείων. Τέτοιοι αλγόριθμοι ονομάζονται feature matchers και ο τρόπος εύρεσης των ομόλογων σημείων γίνεται συγκρίνοντας τις Ευκλείδειες αποστάσεις τους, τις αποστάσεις μεταξύ αυτών και των εγγύτερων γειτονικών σημείων και τους descriptors τους. Οι δύο αλγόριθμοι feature matching που είναι διαθέσιμοι στη βιβλιοθήκη OpenCV είναι ο Brute-Force Matcher και ο FLANN Based Matcher. O Brute-Force Matcher είναι ο πιο απλός και για την εύρεση ομολογιών χρησιμοποιεί τον descriptor του κάθε σημείου στο 1 ο σετ, τον οποίο προσπαθεί να ταυτίσει με τους descriptors όλων των keypoints που βρίσκονται εντός κάποιας απόστασης (διατηρώντας κάποια μέγιστη τιμή κατωφλίου) στο 2 ο σετ. Ο συγκεκριμένος αλγόριθμος αν και απλός είναι πιο αργός από τον FLANN διότι η αναζήτηση γίνεται γραμμικά, ενώ το γεγονός ότι χρησιμοποιεί τον συγκεκριμένο τρόπο εύρεσης ομολογιών τον κάνει λιγότερο ακριβή και πιο επιρρεπή σε false positives. O αλγόριθμος FLANN (Fast Library for Approximate Nearest Neighbor) αποτελεί μία συλλογή αλγορίθμων που λειτουργούν αποτελεσματικά σε προσεγγιστική αναζήτηση εγγύτερων γειτόνων (Muja & Lowe 2009). Το μαθηματικό πρόβλημα της αναζήτησης εγγύτερων γειτόνων διατυπώνεται ως εξής: Δοσμένου ενός συνόλου keypoints έστω P={p1, p2,, pn} X (Χ: 2D-υποχώρος του Ευκλείδειου χώρου) και ενός δεύτερου συνόλου Q={q1, q2,, qn} X, να βρεθούν όλα τα σημεία του P τα οποία αποτελούν τους εγγύτερους γείτονες ενός τυχαίου σημείου qn. Όπως είναι προφανές, το συγκεκριμένο πρόβλημα μπορεί να δημιουργήσει μεγάλο υπολογιστικό κόστος το οποίο αυξάνεται όσο αυξάνεται το πλήθος των keypoints. Σε 41

49 αυτό δίνει λύση ο όρος προσεγγιστική αναζήτηση. Με τον όρο προσεγγιστική εννοείται ότι η αναζήτηση σταματάει όταν έχει βρεθεί ένα σημείο το οποίο αποτελεί εγγύτερο γείτονα αλλά όχι τον πραγματικά εγγύτερο. Αυτό γίνεται διότι αν και δεν επιτυγχάνεται απόλυτη ακρίβεια, επιτυγχάνεται μείωση του υπολογιστικού κόστους η οποία είναι σημαντική όταν υπάρχουν μεγάλος αριθμός keypoints ή keypoints από μεγάλο αριθμό εικόνων για τις οποίες πρέπει να βρεθούν ομολογίες σημείων. Στο Σχ φαίνονται 50 από τα σημεία που αναγνωρίστηκαν ως ομόλογα μεταξύ δύο εικόνων. Γι αυτές τις δύο εικόνες αναγνωρίστηκαν keypoints για την πρώτη (Σχ. 2.12α), keypoints για τη δεύτερη (Σχ. 2.12β), ενώ από αυτά τα 9455 αναγνωρίστηκαν ως ομόλογα. Σίγουρα πολλές από αυτές τις ομολογίες σημείων είναι false positives, όπως δείχνει και το παράδειγμα του Σχ. 2.12, γεγονός που προκαλείται από την ύπαρξη «θορύβου» στην εικόνα. Γενικότερα, όσες ομολογίες σημείων φαίνεται ότι δεν ακολουθούν τη μετακίνηση μεταξύ των δύο εικόνων, αλλά κινούνται διαγωνίως στην περίπτωση του Σχ , αποτελούν false positives και πρέπει να απομακρυνθούν πριν προχωρήσει η διαδικασία της διόρθωσης. 42

50 Α Β Σχήμα keypoints τα οποία αναγνωρίστηκαν ως ομόλογα σημεία μεταξύ των δύο εικόνων. Οι κόκκινοι κύκλοι αντιπροσωπεύουν τα keypoints που αναγνωρίστηκαν ως ομόλογα και οι πράσινες γραμμές ενώνουν ομόλογα σημεία. Οι δύο κύκλοι χρώματος magenta υποδεικνύουν keypoints τα οποία αναγνωρίστηκαν ως ομόλογα ενώ φαίνεται ότι στην πραγματικότητα δεν είναι. 43

51 Απομάκρυνση false positives Ratio Test Για την απομάκρυνση των false positives αρχικά χρησιμοποιείται ένας τρόπος που προτάθηκε από τον Lowe στην εργασία για τον αλγόριθμο SIFT, χρησιμοποιώντας και πάλι τους εγγύτερους γείτονες, αλλά πλέον όχι όλων των keypoint παρά μόνο των ομόλογων. Αρχικά υπολογίζεται για κάθε σημείο της πρώτης εικόνας -έστω pn- η απόστασή του από το πιο κοντινό σε αυτό keypoint έστω pn+1-, για το οποίο έχει επίσης βρεθεί ομόλογο. Αυτό γίνεται και για τη δεύτερη εικόνα, αντιστοίχως για τα σημεία έστω qn και qn+1-. Αν ο λόγος (Εξ. 2.2) της πρώτης με τη δεύτερη απόσταση είναι μικρότερος από 0.8, πρόκειται για false positive και απομακρύνεται. Εξίσωση 2.2. Η σχέση που βοηθά στην απομάκρυνση false positive ομόλογων σημείων. d(p n, p n+1 ) < 0.8 d(q n, q n+1 ) Σύμφωνα με τον Lowe, η τεχνική αυτή η οποία ονομάστηκε ratio test- απομακρύνει το 90% των false positive ομόλογων, διατηρώντας παράλληλα το 95% των true positive. Βέβαια στη συγκεκριμένη εργασία, τα ποσοστά αυτά δόθηκαν για dataset keypoints, τα οποία αντιστοιχούν περίπου στο % του αριθμού των keypoints που θα υπολογίζονται για εικόνες μεγέθους 12 MPix και είναι προφανές ότι όσο περισσότερα keypoints εντοπίζονται τόσο αυξάνονται οι πιθανότητες για false positive ομολογίες. Για τις ανάγκες του λογισμικού ImageCor, πραγματοποιήθηκαν δοκιμές χρησιμοποιώντας διαφορετικά ποσοστά αυτού του λόγου αποστάσεων, ώστε να μην απομακρύνονται true positives παρά μόνο false positives. Οι δοκιμές έγιναν χρησιμοποιώντας ένα τυχαίο, αλλά τυπικό, ζεύγος εικόνων που είχε ληφθεί από Phantom 3 Advanced. Για αυτό το ζεύγος υπολογίστηκε η μετατόπιση σε pixel και η γωνία κίνησης σε μοίρες χρησιμοποιώντας τα keypoints που προηγουμένως είχαν εντοπιστεί και φιλτραριστεί ώστε να μείνουν τα true positives. Η μετατόπιση υπολογίστηκε από το μέτρο του διανύσματος που δημιουργείται μεταξύ των εικονοσυντεταγμένων ενός σημείου στην 1 η εικόνα και του ομόλογου του στη 2 η εικόνα σύμφωνα με την Εξ Εξίσωση 2.3. Σχέση υπολογισμού της μετατόπισης μεταξύ δύο εικόνων χρησιμοποιώντας εικονοσυντεταγμένες ομόλογων keypoints. d = (x x ) 2 + (y y ) 2 Η γωνία κίνησης υπολογίστηκε από την Εξ. 2.4, λαμβάνοντας ως Βορρά (0 ο ) την κορυφή των εικόνων. Εξίσωση 2.4. Σχέση υπολογισμού της γωνία κίνησης μεταξύ δύο εικόνων χρησιμοποιώντας εικονοσυντεταγμένες ομόλογων keypoints. φ ο = tan 1 x x ( y y ) Αφού οι παραπάνω υπολογισμοί έγιναν για κάθε σημείο το οποίο είχε παραμείνει μετά το φιλτράρισμα, οι τιμές αποθηκεύτηκαν σε 2 λίστες, μία για την μετατόπιση και μία για τη γωνία κίνησης. Για κάθε λίστα υπολογίστηκε η τυπική απόκλιση των τιμών. Η διαδικασία αυτή πραγματοποιήθηκε για διαφορετικές τιμές του ποσοστού στο ratio test και τα αποτελέσματα παρουσιάζονται στον Πίν

52 Πίνακας 2.3. Τα αποτελέσματα από τις δοκιμές του ποσοστού του ratio test. Ποσοστό Τυπική Απόκλιση Μετατόπισης (pixel) Τυπική Απόκλιση Γωνίας (degrees) Από τον παραπάνω πίνακα (Πίν. 2.3) φαίνεται ότι για το συγκεκριμένο ζεύγος εικόνων τα καλύτερα αποτελέσματα προέρχονται χρησιμοποιώντας το ποσοστό 0.70, το οποίο και θα προτιμηθεί για το λογισμικό που αναπτύσσεται. Αυτό υποδεικνύει ότι αυξάνοντας το ποσοστό σε 0.75 ή 0.80 αφαιρούνται αρκετά σημεία τα οποία είναι true positives, ενώ το ποσοστό 0.65 αποτρέπει την απομάκρυνση όλων των false positives και δεν θα χρησιμοποιηθεί. Η παραπάνω δοκιμή πραγματοποιήθηκε και για άλλα ζεύγη εικόνων και τα αποτελέσματα ήταν ανάλογα των παραπάνω. Συνεπώς, το ποσοστό που θα χρησιμοποιηθεί για το ratio test είναι το Πίνακας Ομογραφίας (Homography Matrix) Με τον όρο γεωμετρικό μετασχηματισμό αναφερόμαστε σε μία αντιστρέψιμη συνάρτηση που αντιστοιχίζει κάθε σημείο ενός γεωμετρικού χώρου με ενός άλλου, f: R 2 R 2 ή f: R 3 R 3 ή f: R n R n. Οι μετασχηματισμοί μπορεί να είναι 2D και 3D. Οι βασικοί γεωμετρικοί μετασχηματισμοί και οι βαθμοί ελευθερίας τους φαίνονται στο Σχ.2.13, ενώ οι παράμετροί τους και οι βαθμοί ελευθερίας τους στον Πίν. 2.4 αντίστοιχα. Πίνακας 2.4. Η ιεραρχία, οι βαθμοί ελευθερίας και οι παράμετροι των βασικών 2D γεωμετρικών μετασχηματισμών. Α/Α Όνομα Βαθμοί Ελευθερίας Παράμετροι 1 Μετατόπιση 2 Τ x,y 2 Ευκλείδειος (Rigid) 3 Τ x,y, R 3 Ομοιότητας 4 Τ x,y, R, λ 4 Αφινικός 6 Τ x,y, R x,y, λ x,y 5 Προβολικός 8 Τ x,y, R x,y, λ x,y, 2 γραμμές στο ά- πειρο 45

53 Σχήμα Οι βασικοί 2D γεωμετρικοί μετασχηματισμοί. Σε αυτό το στάδιο υπολογίζεται ένας 2D προβολικός μετασχηματισμός ο οποίος χρησιμοποιείται για να μετασχηματίσει τα σημεία, που έχουν εντοπιστεί σε ένα επίπεδο (1 η εικόνα), σε (εικονο)συντεταγμένες ενός άλλου επιπέδου (2 ης εικόνα). Έτσι, μπορούν να απομακρυνθούν τα σημεία των οποίων οι εικονοσυντεταγμένες δεν ακολουθούν τη σχέση της Εξ Εξίσωση 2.5. Η σχέση που συνδέει τις συντεταγμένες ομόλογων σημείων από διαφορετικά επίπεδα με χρήση του πίνακα ομογραφίας (H). x h 11 h 12 h 13 x Χ = Η Χ [ y ] = [ h 21 h 22 h 23 ] [ y] 1 h 31 h 32 h 33 1 Όπου Η, ένας 3x3 πίνακας ομογραφίας που υπολογίζεται Χ, Χ, εικονοσυντεταγμένες ενός σημείου το οποίο έχει αναγνωριστεί στην 1 η και 2 η εικόνα αντιστοίχως. Ο υπολογισμός του πίνακα ομογραφίας μπορεί να γίνει με 3 τρόπους οι οποίοι είναι διαθέσιμοι στη βιβλιοθήκη OpenCV. Γραμμική επίλυση χρησιμοποιώντας όλα τα διαθέσιμα keypoints, συνόρθωση με μέθοδο ελαχίστων τετραγώνων και τέλος, με χρήση του αλγόριθμου RANSAC. Οι δύο πρώτες μέθοδοι απορρίπτονται εξ αρχής λόγω του ότι στα σημειοσύνολα που εντοπίζονται δύναται να υπάρχει μεγάλος αριθμός χονδροειδών σφαλμάτων βλ. και παράδειγμα Σχ , που μπορούν να επιδράσουν αρνητικά στην εξαγωγή ακριβούς πίνακα ομογραφίας. Σε αντίθεση με αυτές, ο αλγόριθμος RANSAC μπορεί να απομακρύνει χονδροειδή σφάλματα ακόμα και όταν αποτελούν μεγάλο ποσοστό του συνολικού πλήθους-, ενώ π.χ. με τη συνόρθωση ελαχίστων τετραγώνων, θεωρείται ότι το ποσοστό σωστών σημείων είναι μεγαλύτερο από αυτό 46

54 των λανθασμένων, συνεπώς ένα πιθανό μοντέλο κίνησης θα επηρεαστεί λίγο έως καθόλου. Λόγω ακρίβειας και παράλληλα ταχύτητας επιλέχθηκε η χρήση του αλγόριθμου RANSAC ο οποίος περιγράφεται αναλυτικότερα παρακάτω. Για την εκτίμηση της ομογραφίας, ξεκινάμε από τη σχέση x =Hx. Σε μη ομογενείς συντεταγμένες, η Εξ. 2.5 γίνεται: Εξίσωση 2.6. Η πορεία επίλυσης για την εκτίμηση της ομογραφίας. x = h 11x + h 12 y + h 13 h 21 x + h 22 y + h 23 και y = h 21x + h 22 y + h 23 h 31 x + h 32 y + h 33 Προχωρώντας στην επίλυση οι Εξ. 2.6.a και 2.6.b γίνονται: x (h 21 x + h 22 y + h 23 ) (h 11 x + h 12 y + h 13 ) = 0 και y (h 31 x + h 32 y + h 33 ) (h 21 x + h 22 y + h 23 ) = 0 Αν θέσουμε: h = (h 11, h 12, h 13, h 21, h 22, h 23, h 31, h 32, h 33 ) T a x = ( x, y, 1, 0, 0, 0, x x, x y, x ) a y = (0, 0, 0, x, y, 1, y x, y y, y ) Προκύπτει η σχέση: Αh = 0 Όπου: a x1 (2.6.a) a Y1 A = a xn a ( yn ) (2.6.b) Για την επίλυση της (2.6.e) γίνεται χρήση του αλγόριθμου DLT (Direct Linear Transformation-Άμεσος Γραμμικός Μετασχηματισμός), ο οποίος αν και είναι 2D-3D, χρησιμοποιείται εδώ επειδή έχουμε θέσει z=σταθερό=1 κάνοντας χρήση της συνθήκης συνεπιπεδότητας. Ο DLT είναι μονοσήμαντος, δηλαδή μετασχηματίζει σημεία του χώρου (2.6.c) (3D) στην εικόνα (2D), αλλά όχι και το αντίστροφο. O DLT χρησιμοποιεί τις 2D-2D αντιστοιχίες σημείων για να κατασκευάσει τον πίνακα Α. Στη συνέχεια υπολογίζει (2.6.d) την αποσύνθεση ιδιαζουσών τιμών (SVD-Singular Value Decomposition) και η λύση για το h (Εξ. 2.6.e) είναι η τελευταία στήλη του πίνακα V όπως φαίνεται στην Εξ. 2.7, η οποία καλείται right singular vector. Στη συνέχεια, ανασχηματίζεται ο πίνακας Η από τον h και προκύπτει η ομογραφία που συνδέει τις δύο κάμερες. Εξίσωση 2.7. SVD στον πίνακα Α. A = USV = SVD(A) RANdom SAmple Consensus (RANSAC) (2.6.e) Ο αλγόριθμος RANSAC που προτάθηκε από τους (Fischler & Bolles 1981) είναι μία επαναληπτική μέθοδος η οποία χρησιμοποιείται για την εύρεση ελεύθερων παραμέτρων μοντέλων από σημειακά δεδομένα, τα οποία μπορεί να περιέχουν μέχρι και σημαντικό ποσοστό outliers (ακραίες τιμές οι οποίες δεν μπορούν να περιγραφούν από 47

55 κάποιο μοντέλο). Μία από τις χρήσεις του είναι ο υπολογισμός της γεωμετρίας μίας λήψης από αντιστοιχίες εικονοσημείων και 3D σημείων στο χώρο. Η διαφορά η οποία παρουσιάζει, σε σχέση με άλλες μεθόδους, και η οποία τον καθιστά και σημαντικά ταχύτερο, είναι ότι από ένα αρχικό σύνολο δεδομένων, χρησιμοποιεί έναν ελάχιστο αριθμό σημείων για να καθορίσει τις παραμέτρους ενός αρχικού μοντέλου. Στη συνέχεια το εμπλουτίζει με δεδομένα, τα οποία θεωρεί ότι συμφωνούν με το μοντέλο, ώστε να καθοριστεί το μοντέλο με μεγαλύτερη ακρίβεια και παράλληλα να απομακρυνθούν τα χονδροειδή σφάλματα. Η γενική λειτουργία του RANSAC συνοψίζεται ως εξής: Από ένα πλήθος σημειακών δεδομένων επιλέγεται τυχαία ο ελάχιστος αριθμός σημείων που απαιτείται για τον καθορισμό του μοντέλου. Γίνεται επίλυση των αρχικών παραμέτρων του μοντέλου. Εκτιμάται ποια από τα διαθέσιμα σημεία μπορούν να περιγραφούν από το μοντέλο, δηλαδή είναι inliers. Αν ο αριθμός των inliers προς το σύνολο των σημείων ξεπερνά ένα προκαθορισμένο όριο, οι παράμετροι του μοντέλου επανακαθορίζονται ώστε να περιλαμβάνουν όλα τα inliers. Επανάληψη των παραπάνω βημάτων για έναν συγκεκριμένο αριθμό επαναλήψεων (iterations). Στην περίπτωση που ερευνάται στη συγκεκριμένη εργασία, ο RANSAC αναλαμβάνει να κάνει την επίλυση της Εξ Για την επίλυση όμως πρέπει να ακολουθηθεί η σχέση της Εξ Εξίσωση 2.8. Σχέση προς επίλυση από τον RANSAC για την εύρεση του πίνακα ομογραφίας. Χ ΗΧ = 0 Όπως φαίνεται από την Εξ. 2.8, για την εύρεση του πίνακα Η χρησιμοποιείται μία από τις ιδιότητες του εξωτερικού γινόμενου. Πιο συγκεκριμένα, από την Εξ. 2.5 φαίνεται η ισότητα δύο διανυσμάτων, του X και του ΗΧ, και εφόσον το εξωτερικό γινόμενο δύο ίσων διανυσμάτων είναι ίσο με το 0, προκύπτει η Εξ Από αυτήν, προκύπτουν -για κάθε ομολογία σημείων- 3 εξισώσεις, εκ των οποίων μία γραμμικά εξαρτημένη, συνεπώς ένα σύστημα 2 εξισώσεων το οποίο μπορεί να χρησιμοποιηθεί για την εύρεση του Η. Συμπερασματικά, χρειάζονται 4 ομολογίες σημείων για να προκύψει μία αρχική επίλυση για τον Η, και αυτός είναι και ο ελάχιστος αριθμός σημείων που θα χρησιμοποιήσει ο RANSAC για την εύρεση του αρχικού του μοντέλου. Η ακριβής διατύπωση του προβλήματος που καλείται να επιλύσει ο RANSAC είναι η ακόλουθη. Δίνονται, ένα μοντέλο το οποίο χρειάζεται n αριθμό σημείων για να καθοριστούν οι ελεύθεροι παράμετροί του, και ένα πλήθος σημειακών δεδομένων P, τέτοιο ώστε #(P) n. Από τα διαθέσιμα σημεία στο P, επέλεξε ένα υποσύνολο S1 από n σημεία και χρησιμοποιώντας τα, καθόρισε ένα αρχικό μοντέλο. Χρησιμοποιώντας αυτό το μοντέλο Μ1, καθόρισε ποια σημεία του S1 βρίσκονται εντός κάποιων αποδεκτών ορίων σφάλματος. Το νέο αυτό υποσύνολο S1* καλείται υποσύνολο ομοφωνίας. Εάν, ο #(S1*) είναι μεγαλύτερος από μία κατωφλική τιμή t, η οποία είναι συνάρτηση του εκτιμώμενου αριθμού σημείων στο P που αποτελούν χονδροειδή σφάλματα, χρησιμοποίησε το S1* για τον υπολογισμό του μοντέλου M1* (με ελάχιστα τετράγωνα). 48

56 Εάν ο #(S1*) είναι μικρότερος από την κατωφλική τιμή t, επέλεξε τυχαία ένα νέο υποσύνολο S2 και επανέλαβε την παραπάνω διαδικασία. Αν μετά από έναν ορισμένο αριθμό επαναλήψεων δεν έχει βρεθεί ικανού μεγέθους υποσύνολο, χρησιμοποίησε το μεγαλύτερο υποσύνολο με ομοφωνίες για τον καθορισμό του μοντέλου ή τερμάτισε τη διαδικασία με αποτυχία επίλυσης. Τα αποδεκτά όρια σφάλματος για τον RANSAC, είναι συνάρτηση δύο πηγών σφάλματος. Αυτής των δεδομένων και αυτής του μοντέλου, η οποία είναι συνάρτηση του σφάλματος των δεδομένων που επιλέχθηκαν για τον προσδιορισμό του μοντέλου. Μετά την εύρεση του μοντέλου, μπορούν να υπολογιστούν τα σφάλματα των δεδομένων που έχουν ήδη επιλεγεί -σε σχέση με το καθορισμένο μοντέλο-, και από αυτά να καθοριστεί μία κατωφλική τιμή σφάλματος ίση με 1 ή 2 τυπικές αποκλίσεις (1σ/2σ) η οποία συνήθως είναι σημαντικά μικρότερη από τα χονδροειδή σφάλματα Διάνυσμα Μετατόπισης Κάμερας Το επόμενο στάδιο για τη διόρθωση είναι ο υπολογισμός της κίνησης μεταξύ δύο διαδοχικών λήψεων. Όπως έχει ήδη αναφερθεί, επειδή η διαδικασία αφορά εικόνες άγνωστου εξωτερικού προσανατολισμού, δεν είναι δυνατόν το διάνυσμα μετατόπισης να υπολογιστεί από πραγματικές συντεταγμένες. Αντ αυτού, γίνεται υπολογισμός σε επίπεδο εικονοσυντεταγμένων. Η κατακόρυφη μετατόπιση, αφ ενός δεν μπορεί να υπολογιστεί χωρίς άλλη πληροφορία (δηλαδή γεωαναφορά), αφ ετέρου η πιθανή ταχύτητα φθίνουσα κίνησης ενός UAV κατά την εκτέλεση μίας φωτογραμμετρικής πτήσης (με σχέδιο πτήσης) είναι ελάχιστη ή μηδαμινή, καθώς συνήθως δεν αλλάζει το υψόμετρο φωτογράφισης ή αλλάζει πριν και μετά τη φωτογράφιση (όσο το UAV μετακινείται μεταξύ των checkpoints των λήψεων). Έτσι, δεν συμπεριλαμβάνεται διόρθωση σχετική με την αλλαγή ύψους φωτογράφισης. Εύρεση μέτρου και διεύθυνσης μετατόπισης Το διάνυσμα της μετατόπισης περιγράφεται από τη διεύθυνση (direction) και το μέτρο (magnitude) του. Εφόσον μετά την αφαίρεση των outliers, όπως αναλύθηκε παραπάνω, θεωρητικά έχουν μείνει σωστές ομολογίες σημείων, το μέτρο του διανύσματος υπολογίζεται, από την γνωστή σχέση η οποία και φαίνεται στην Εξ. 2.9, για κάθε ομολογία σημείων και στη συνέχεια υπολογίζεται ο μέσος όρος αυτών, η τιμή του ο- ποίου χρησιμοποιείται ως το γενικό μέτρο μετατόπισης της κάμερας. Εξίσωση 2.9. Σχέση υπολογισμού μέτρου διανύσματος. A = Δx 2 + Δy 2 = (x x ) 2 + (y y ) 2 Η βιβλιοθήκη OpenCV λαμβάνει ως αρχή των αξόνων Ο(0, 0) το κέντρο του ανώτερου αριστερού εικονοστοιχείου της εικόνας, και οι τιμές των αξόνων συνεχίζουν θετικές προς τα κάτω για τον yy και προς τα δεξιά για τον xx. Επειδή για τον υπολογισμό της διεύθυνσης είναι απαραίτητο ο άξονας yy να έχει θετική φορά προς το άνω μέρος της εικόνας το οποίο λαμβάνεται ως Βορράς-, για να γίνει η αντιστροφή, η τεταγμένη του κάθε σημείου αφαιρείται από το πλάτος της εικόνας σε pixel όπως δείχνει η Εξ

57 Εξίσωση Διόρθωση τεταγμένων keypoints για την αλλαγή της αρχής των αξόνων της εικόνας. y c = S y y όπου, S y το πλάτος της εικόνας σε pixel. Μετά από αυτή τη διόρθωση το Ο(0, 0) μετακινείται στο κέντρο του κατώτερου αριστερού εικονοστοιχείου της εικόνας και οι θετικές τιμές του άξονα yy έχουν αύξουσα φορά προς το άνω μέρος της εικόνας. Ο άξονας xx δεν μεταβλήθηκε. Σχήμα Υπολογισμός της κίνησης του UAV μέσω των ομόλογων σημείων που αναγνωρίζονται σε ένα ζεύγος διαδοχικών λήψεων. Το σημείο αρχής του διανύσματος είναι ένα keypoint που έχει αναγνωριστεί στην πρώτη εικόνα του ζεύγους. Το σημείο τέλους του διανύσματος είναι το ομόλογό του. Η γωνία θ αντιπροσωπεύει την απόκλιση από τον Βορρά της εικόνας, τον οποίο έχουμε θέσει στο άνω μέρος της. 50

58 A B Σχήμα (Α) Αλληλοεπίθεση εικόνων στερεοζεύγους. Με το κόκκινο περίγραμμα εμφανίζεται η 1 η εικόνα του ζεύγους, ενώ με το κυανό η 2 η. (Β) Με κόκκινη γραμμή εμφανίζονται δύο τυχαία διανύσματα για να παρουσιάσουν την κίνηση μεταξύ των εικόνων που φαίνονται στο (Α). Η διεύθυνση κίνησης για αυτά τα δύο διανύσματα υπολογίστηκε (μέσω λογισμικού CAD) στις 83 ο. Η αντίστοιχη τιμή που υπολογίστηκε κατά τη διαδικασία διόρθωσης ήταν ο. 51

59 Στο Σχ φαίνεται ένας ποιοτικός έλεγχος των αποτελεσμάτων υπολογισμού διεύθυνσης και μέτρου μετατόπισης που έγινε σε περιβάλλον CAD. Αφού έγινε απλή επίθεση 2 διαδοχικά ληφθέντων εικόνων, επιλέχθηκαν για 2 τυχαία ζεύγη ομόλογων σημείων τα αντίστοιχα διανύσματα. Η διεύθυνση κίνησης της κάμερας που υπολογίστηκε ήταν και για τις δύο ομολογίες σημείων 83 ο, ενώ τα μέτρα τους ήταν περίπου 1120 pixels. Οι αντίστοιχες τιμές που υπολογίστηκαν κατά τη διάρκεια διόρθωσης των εικόνων ήταν ο και 1095 pixels. Με αυτό τον τρόπο συμπεραίνεται ότι ο υπολογισμός γίνεται σωστά. Επίσης, τα αποτελέσματα που παρουσιάζονται στον Πίν. 2.3 συνάδουν με τα αποτελέσματα από άλλες δόκιμες με διαφορετικά στερεοζεύγη εικόνων, ακόμα και στερεοζεύγη από διαφορετικές κάμερες. Φαίνεται ότι το επίπεδο εμπιστοσύνης είναι αρκετά μεγάλο καθώς η τυπική απόκλιση στην περίπτωση της μετατόπισης είναι περίπου 3 pixel το οποίο αναφέρεται σε εικόνες 4000x3000 pixels. Αντίστοιχα, η τιμή της τυπικής απόκλισης για τη διεύθυνση μετακίνησης είναι μόλις 0.64 ο. Από αυτό συμπεραίνεται ότι αφενός μεν γίνεται σωστά η απομάκρυνση των false positive ομολογιών επειδή έχουμε πολύ μικρές τιμές απόκλισης, αφετέρου δε οι τιμές που υπολογίζονται αντιστοιχούν στην πραγματικότητα. Για τον υπολογισμό της ταχύτητας είναι αναγκαία η γνώση του χρόνου μεταξύ των δύο λήψεων. Όπως έχει ήδη αναφερθεί, αυτή η πληροφορία μπορεί είτε να δοθεί από το χρήστη στο GUI του λογισμικού όταν οι λήψεις γίνονται με σταθερό interval-, είτε να υπολογιστούν από τα EXIF metadata των εικόνων. Έτσι, διαιρείται η γενική μετατόπιση που υπολογίστηκε προηγουμένως με το χρόνο μεταξύ των λήψεων για να προκύψει η ταχύτητα Υπολογισμός της Διόρθωσης Όπως είναι γνωστό, η γραμμική σχέση μεταφοράς εικονοσυντεταγμένων από μία φωτογραφία σε μία άλλη γίνεται με το μαθηματικό μοντέλο της μικροπικής κάμερας (Εξ. 1.9). Η παραμόρφωση που προκαλείται αναπαρίσταται στα Σχ και 2.16, και εξαρτάται -όπως έχει προαναφερθεί- από 2 βασικούς παράγοντες: το διάνυσμα κίνησης της κάμερας και την ταχύτητα καταγραφής του κλείστρου. Γίνονται όμως και οι εξής παραδοχές: Κατά την καταγραφή δεν μεταβάλλεται ο πίνακας στροφής (R) της κάμερας. Δηλαδή, ο R δεν είναι συνάρτηση του χρόνου (R(t)) και εφόσον είναι σταθερός μπορεί να μην συνυπολογιστεί κατά τη διόρθωση. Η ταχύτητα δεν αποτελεί χρονικά εξαρτώμενη ποσότητα και διατηρείται σταθερή καθ όλη τη διάρκεια καταγραφής της φωτογραφιζόμενης σκηνής. Η κίνηση που πραγματοποιεί η κάμερα είναι πλήρως μεταθετική (pure translation) καθ όλη τη διάρκεια καταγραφής της φωτογραφιζόμενης σκηνής. 52

60 Σχήμα Παραδείγματα παραμόρφωσης ενός κυκλικού αντικειμένου λόγω κίνησης της κάμερας κατά τη διάρκεια της λήψης. Η παραμόρφωση εμφανίζεται αυξημένη για την καλύτερη κατανόηση της επίδρασης που ασκεί στη φωτογραφιζόμενη σκηνή. Σχήμα Παράδειγμα παραμόρφωσης ενός καννάβου λόγω κίνησης της κάμερας κατά τη διάρκεια της λήψης. Στην περίπτωση της κίνησης προς τα δεξιά (90 ο ) του Σχ. 2.15, καθώς το αντικείμενο παραμένει ακίνητο ενώ η κάμερα κινείται, στις τελευταίες σειρές του αισθητήρα το α- ντικείμενο καταγράφεται πιο αριστερά σε σχέση με την αρχική του θέση. Αντίστοιχη είναι και η παραμόρφωση στην περίπτωση της κίνησης με διεύθυνση ΒΝ. Σε αυτή την περίπτωση, το αντικείμενο καταγράφεται «συμπιεσμένο». Είναι πλέον σαφές ότι το ποσό της παραμόρφωσης είναι συνάρτηση του χρόνου καταγραφής του καρέ από τον αισθητήρα και συγκεκριμένα, από τη γραμμή του αισθητήρα, η οποία καταγράφεται σε μία χρονική στιγμή t. Η συνάρτηση που προτείνεται για τη σύνδεση των δύο αυτών παραμέτρων φαίνεται στην Εξ Σύμφωνα με την τελευταία, στη θέση y = 0 t = 0. Δηλαδή, ως t=0 λαμβάνεται η χρονική στιγμή κατά την οποία καταγράφεται η πρώτη γραμμή εικονοστοιχείων του αισθητήρα. 53

61 Εξίσωση Συνάρτηση σύνδεσης καταγραφόμενης θέσης και διάρκειας κλείστρου. t(y) = y T RS S y Το μοντέλο που προτείνεται για τη διόρθωση του rolling shutter φαίνεται στην Εξ. 2.12, ενώ ο τρόπος εφαρμογής του μοντέλου σε κάθε pixel της εικόνας φαίνεται στο Σχ Εξίσωση Προτεινόμενο μοντέλο περιγραφής του rolling shutter. X c = X t(y) U A [ x c y ] = [ x c y ] t(y) [u x ] [ 1 0 y 0 1 ] Σε ανεπτυγμένη μορφή γράφεται: x c = x t(y) u cam sin θ y c = y + t(y) u cam cos θ Όπου, x c, y c οι διορθωμένες εικονοσυντεταγμένες x, y οι παραμορφωμένες εικονοσυντεταγμένες u cam η ταχύτητα κίνησης της κάμερας σε pixel/sec θ ο, γωνία κίνησης της κάμερας Σχήμα Τρόπος εφαρμογής της διόρθωσης του κυλιόμενου κλείστρου στην εικόνα. Με μαύρη συνεχή γραμμή παριστάνονται το διάνυσμα της κίνησης και οι αντίστοιχες x και y συνιστώσες του. Με κόκκινη διακεκομμένη γραμμή παριστάνονται το διάνυσμα της διόρθωσης και οι αντίστοιχες x και y συνιστώσες του. Όπως φαίνεται στο Σχ. 2.17, αρχικά γίνεται ανάλυση του διανύσματος της κίνησης στις δύο συνιστώσες του. Σε συνδυασμό και με την Εξ. 2.12, φαίνεται ότι κατά τον άξονα xx η διόρθωση γίνεται ομόρροπα, ενώ αντίρροπα πραγματοποιείται για την y- συνιστώσα. Αφού υπολογιστούν οι διορθώσεις, πραγματοποιείται η αναδιάταξη των pixel και στη συνέχεια γίνεται το απαραίτητο resampling (αναδόμηση) στην εικόνα. Η μέθοδος resampling που επιλέχθηκε είναι αυτή της δικυβικής (bicubic) παρεμβολής, η οποία αν 54

62 και γενικά είναι πιο αργή σε σχέση με την παρεμβολή εγγύτερου γείτονα (nearest neighbor), τη γραμμική (linear) και τη διγραμμική (bilinear) παρεμβολή, προσφέρει το καλύτερο αποτέλεσμα καθότι είναι η πιο ακριβής. Στη συγκεκριμένη περίπτωση όμως, που η αλλαγή της θέσης των pixel είναι σχετικά απλή, ο απαιτούμενος χρόνος είναι πολύ μικρός για όλες τις μεθόδους resampling. Είναι σημαντική η επιλογή της ακριβέστερης μεθόδου resampling διότι σε διαφορετική περίπτωση δύναται να παρουσιαστούν νέες παραμορφώσεις στην εικόνα όπως είναι το aliasing, που παρατηρείται κατά κόρον στο resampling με τη μέθοδο του εγγύτερου γείτονα. Μετά τη διόρθωση και την αναδιάταξη των pixel, δημιουργούνται περιοχές στα άκρα της εικόνας οι οποίες δεν περιέχουν καμία πληροφορία -καθώς τα pixel που βρίσκονταν εκεί μετακινήθηκαν- και αποτελούνται μόνο από pixels μαύρου χρώματος (Σχ. 2.18). Για αυτό το λόγο, πραγματοποιείται περικοπή στη διορθωμένη εικόνα ώστε να αφαιρεθούν αυτές οι περιοχές. Επειδή όμως αυτές οι εικόνες μπορεί να περιέχουν σημαντικό ποσοστό διαστροφής λόγω του συστήματος φακών, η περικοπή γίνεται κατά πλάτος και συμμετρικά ώστε να διατηρηθεί η θέση του κύριου σημείου της εικόνας, και να μπορεί να αφαιρεθεί επιτυχώς και αυτή η παραμόρφωση. Όταν η κίνηση γίνεται υπό κάποια τυχαία γωνία, αφαιρούνται pixels και από το άνω και κάτω άκρο της εικόνας. Επίσης, στην περίπτωση που διορθώνονται εικόνες με διαθέσιμο geotagging, αυτό μεταφέρεται όπως και τα υπόλοιπα EXIF metadata- και στη διορθωμένη εικόνα ώστε να χρησιμοποιηθεί αυτή η πληροφορία κατά τη δημιουργία 3D μοντέλων και να επιτευχθούν μικρότεροι χρόνοι. Όταν χρησιμοποιούνται μηχανές με ευρυγώνιους φακούς, οι οποίοι τείνουν να παραμορφώνουν σημαντικά την εικόνα με διαστροφή (βλ. Κεφ ), η διόρθωση του κυλιόμενου κλείστρου πραγματοποιείται πριν τη διόρθωση διαστροφών και στη συνέχεια, αν είναι απαιτητό, ο χρήστης μπορεί να διορθώσει τις διαστροφές. Τέλος, αναφέρεται ότι για τη διόρθωση μίας εικόνας προερχόμενης από μηχανή GoPro ή DJI FC300S -δηλαδή 12 MPixels-, ο χρόνος που απαιτείται είναι περίπου 10 sec σε υπολογιστή με CPU Intel i5 4 ης γενιάς, συχνότητας λειτουργίας 3.3GHz και με μνήμη RAM 12GBs. Ενώ όσο μειώνεται το μέγεθος των εικόνων, αντίστοιχα μειώνεται και ο χρόνος διόρθωσης. 55

63 Σχήμα Διαδικασία διόρθωσης της παραμόρφωσης από ένα ζεύγος καρέ που απομονώθηκαν από βίντεο. Το σχέδιο της σκακιέρας τοποθετήθηκε ώστε να μπορούν να εντοπιστούν αρκετά keypoints. Η κίνηση είναι οριζόντια με διεύθυνση ΔΑ δηλαδή 90 ο. Είναι εμφανής η επίδραση του κυλιόμενου κλείστρου στο frame #6, στο οποίο η ακμή της πόρτας φαίνεται κεκλιμένη ενώ στην πραγματικότητα είναι κατακόρυφη όπως στο frame #1. Παρουσιάζεται, επίσης, και ο τρόπος κατά τον οποίο γίνεται η απαραίτητο περικοπή στην εικόνα, ώστε να αφαιρεθούν τα μαύρα pixels και να διατηρηθεί η θέση του κύριου σημείου της εικόνας. Το θόλωμα που εμφανίζεται προκαλείται λόγω της ταχύτητας και όχι του κλείστρου και καλείται motion blur. 2.4 Δοκιμή της Μεθόδου - 3D reconstruction Η βασική χρήση στην οποία η συγκεκριμένη διόρθωση αναμένεται να εφαρμοστεί είναι η Φωτογραμμετρία με UAV. Για το λόγο αυτό, και προκειμένου να δοκιμαστεί η αποτελεσματικότητα της μεθόδου, χρησιμοποιήθηκαν δεδομένα από πτήσεις που είχαν πραγματοποιηθεί και οι φωτογραφίες των οποίων είχαν ληφθεί με φωτογραφικές μηχανές που φέρουν κυλιόμενο κλείστρο. Συγκεκριμένα, υπήρχαν διαθέσιμες λήψεις πτήσεων από κάμερα GoPro Hero 3+ Black Edition και από DJI Phantom 3 Advanced με κάμερα DJI FC300S. Και οι δύο κάμερες έχουν ίδια τεχνικά χαρακτηριστικά και συγκεκριμένα αυτά που φαίνονται στον Πίν

64 Πίνακας 2.5. Τεχνικά χαρακτηριστικά των CMOS αισθητήρων των φωτογραφικών μηχανών που χρησιμοποιήθηκαν στις πτήσεις με UAV. Camera GoPro Hero 3+ Black Edition Sensor Width (pix) Sensor Height (pix) Pixel Pitch (um) Rolling Shutter Readout Time (ms) DJI FC300S Στην περίπτωση της GoPro οι πτήσεις είχαν πραγματοποιηθεί χειροκίνητα, χωρίς σχέδιο πτήσης, και συνεπώς οι ταχύτητες ήταν μικρές και δεν αναμένονταν σημαντικές διαφοροποιήσεις στο σφάλμα. Για την περίπτωση του Phantom υπήρχαν κυρίως πτήσεις οι οποίες είχαν πραγματοποιηθεί με σχέδιο, σε διαφορετικές ταχύτητες και ύψος από το έδαφος. Η γενική ροή εργασιών που ακολουθήθηκε σε αυτό το στάδιο φαίνεται στο Σχ Σχήμα Διάγραμμα ροής της διαδικασίας αξιολόγησης της ακρίβειας των μοντέλων που δημιουργούνται με εικόνες από τις οποίες έχει αφαιρεθεί η επίδραση του κυλιόμενου κλείστρου. 57

65 Πιο συγκεκριμένα, από κάθε διαθέσιμη πτήση θα δημιουργηθούν 2 dataset εικόνων. Ένα με τις αρχικές εικόνες και ένα με τις εικόνες οι οποίες έχουν διορθωθεί ως προς το κυλιόμενο κλείστρο. Τα μοντέλα θα δημιουργηθούν στο λογισμικό Agisoft PhotoScan Pro, χρησιμοποιώντας ακριβώς τις ίδιες εικόνες, τα ίδια Ground Control Points (GCPs) και φυσικά, τις ίδιες ακριβώς παραμετροποιήσεις στο λογισμικό. Οι περισσότερες πτήσεις προέρχονται από φωτογραμμετρικές αποτυπώσεις που είχαν πραγματοποιηθεί σε κατολίσθηση στην περιοχή Ανάληψης, Ν. Ηλείας. Οι πτήσεις και τα χαρακτηριστικά τους φαίνονται στον Πίν Πριν την κάθε πτήση, τοποθετήθηκαν επί εδάφους στόχοι (Ground Control Points GCPs) των οποίων οι συντεταγμένες μετρήθηκαν με διαφορικό δέκτη GNSS (Leica GS08 Plus) χρησιμοποιώντας τη μέθοδο Real Time Kinematic (RTK) κατά την οποία ο δέκτης δέχεται σε πραγματικό χρόνο διορθώσεις θέσης από το δίκτυο επίγειων σταθμών MetricaNet. Έτσι, εξασφαλίζεται μεγάλη ακρίβεια στις μετρήσεις της θέσης των στόχων, ώστε να αποφευχθούν όσο το δυνατόν περισσότερο τα εξωτερικά σφάλματα. Εκτός από τους στόχους αυτούς, μετρήθηκαν και διάσπαρτα σημεία (validation points), τα οποία θα χρησιμοποιηθούν στη διαδικασία της αξιολόγησης της ακρίβειας των μοντέλων. Επειδή η περιοχή της Ανάληψης αποτελεί εν μέρει ενεργή κατολισθούμενη ζώνη, τα σημεία που επιλέχθηκαν βρίσκονται στη ζώνη η οποία χαρακτηρίστηκε ως σταθερή, μετά από σχετική μελέτη. Στην περίπτωση της 3 ης πτήσης όπου χρησιμοποιήθηκε η κάμερα GoPro, πραγματοποιήθηκε περαιτέρω διόρθωση στις φωτογραφίες για να αφαιρεθεί η διαστροφή που προκαλείται από τον ευρυγώνιο φακό, η επίδραση της οποίας στη γεωμετρική ακρίβεια των μοντέλων αναλύθηκε σε σχετική εργασία (Nikolakopoulos et al. 2016). Έτσι, αρχικά διορθώθηκε η διαστροφή του κυλιόμενου κλείστρου, και στη συνέχεια αφαιρέθηκε η παραμόρφωση των φακών. Για τον έλεγχο της υψομετρικής ακρίβειας των μοντέλων, θα χρησιμοποιηθούν τα προαναφερθέντα validation points (Σχ. 2.20) τα οποία μετρήθηκαν στην ευρύτερη περιοχή ενδιαφέροντος. Χρησιμοποιώντας την μετρημένη τιμή υψομέτρου θα υπολογιστεί η αντίστοιχη τιμή στο DSM. Εν συνεχεία, από τη διαφορά των δύο τιμών, θα υπολογιστούν ορισμένες στατιστικές παράμετροι και πιο συγκεκριμένα, οι μέγιστες, ελάχιστες και μέσες τιμές, η τυπική απόκλιση, το 90 ο εκατοστημόριο και το RMSE. Καθώς η διαφορά ανάμεσα στη μετρούμενη τιμή υψομέτρου και στην τιμή υψομέτρου που υπολογίστηκε από το μοντέλο μπορεί να είναι τόσο θετική όσο και αρνητική, για τους υπολογισμούς που προαναφέρθηκαν θα χρησιμοποιηθεί η απόλυτη τιμή της διαφοράς. Αυτή η επιλογή έγινε καθώς ερευνάται η απόλυτη ακρίβεια των μοντέλων που δημιουργούνται. Όσον αφορά στην οριζοντιογραφική ακρίβεια των μοντέλων, ο έλεγχος βασίζεται στην τιμή του RMSE. Στη συνέχεια παρατίθενται για κάθε πτήση ξεχωριστά η συγκεκριμένη παραμετροποίηση που επιλέχθηκε για τη δημιουργία των δύο μοντέλων, τα DSMs και οι ορθοεικόνες, καθώς και οι έλεγχοι που πραγματοποιήθηκαν για την αξιολόγηση της γεωμετρικής ακρίβειας των μοντέλων. 58

66 Σχήμα Τα σημεία που χρησιμοποιήθηκαν για τον έλεγχο της υψομετρικής ακρίβειας. Πίνακας 2.6. Χαρακτηριστικά των πτήσεων που χρησιμοποιήθηκαν για τη δοκιμή της προτεινόμενης μεθόδου διόρθωσης. Flight Camera # of Photos # of Markers Flight Height (above ground) Date Flight Plan 1 DJI FC300S m 2 DJI FC300S m Yes Yes 3 GoPro Hero 3+ Black Edition m No 59

67 η Πτήση Όπως αναφέρθηκε και προηγουμένως, δημιουργήθηκαν 2 μοντέλα. Ένα μοντέλο με τις αρχικές λήψεις, χωρίς αυτές να έχουν υποστεί κάποια επεξεργασία, και ένα μοντέλο με τις εικόνες μετά τη διαδικασία της διόρθωσης των παραμορφώσεων του κυλιόμενου κλείστρου. Η παραμετροποίηση του λογισμικού Agisoft Photoscan Pro για τη δημιουργία των 3D μοντέλων έχει ως εξής: Alignment: High Quality, 400,000 keypoints Dense Cloud: High Quality (7,000,000 points) Mesh: Height Field, 3,500,000 faces DSM: 2cm resolution Orthophoto: 2cm resolution Τα GCPs και τα validation points που χρησιμοποιήθηκαν στη συγκεκριμένη πτήση παρουσιάζονται στο Σχ Τα DSMs (Digital Surface Models) και οι ορθοεικόνες που εξήχθησαν από τα δύο μοντέλα, φαίνονται στα Σχ και Μετά τη δημιουργία του μοντέλου και εφόσον οι θέσεις λήψης είχαν υπολογιστεί με μεγαλύτερη ακρίβεια, υπολογίστηκε ότι η ταχύτητα πτήσης ήταν κατά μέσο όρο περίπου 8 m/sec, η οποία μπορεί να χαρακτηριστεί υψηλή, δεδομένης της μέγιστης ταχύτητας του συγκεκριμένου UAV, η οποία είναι περίπου 8 m/sec. Σχήμα Τα GCPs και τα validation points που χρησιμοποιήθηκαν στην 1 η πτήση. 60

68 A B Σχήμα (Α) Το DSM του μοντέλου που δημιουργήθηκε με τις αρχικές φωτογραφίες. (Β) Το DSM του μοντέλου που δημιουργήθηκε με τις διορθωμένες φωτογραφίες. Εμφανίζονται σε μορφή hillshade έχοντας φωτισμό με αζιμούθιο 135 ο και ύψος 55 ο. 61

69 A B Σχήμα (Α) Η ορθοεικόνα του μοντέλου που δημιουργήθηκε με τις αρχικές φωτογραφίες. (Β) Η ορθοεικόνα του μοντέλου που δημιουργήθηκε με τις διορθωμένες φωτογραφίες. Η στατιστική ανάλυση της ακρίβειας των παραπάνω μοντέλων φαίνεται στους Πίν. 2.7 και

70 Πίνακας 2.7. Στατιστικός έλεγχος της υψομετρικής ακρίβειας των δύο μοντέλων της 1 ης πτήσης. Parameter R.S. Distorted (cm) R.S. Corrected (cm) Minimum Maximum Average Standard Deviation th Percentile R.M.S.E % Πίνακας 2.8. Μέσο Τετραγωνικό Σφάλμα (R.M.S.E.) οριζόντιων συνιστωσών των δύο μοντέλων της 1 ης πτήσης. R.S. Distorted (cm) R.S. Corrected (cm) Χ Υ ΧΥ Χ Υ ΧΥ % % % Από τους παραπάνω πίνακες είναι εμφανής η βελτίωση του σφάλματος τόσο στις οριζόντιες συνιστώσες όσο και στην κατακόρυφη, στην οποία παρατηρείται και η μεγαλύτερη βελτίωση. 63

71 η Πτήση Η παραμετροποίηση του λογισμικού Agisoft Photoscan Pro για τη δημιουργία των 3D μοντέλων της 2 ης πτήσης έχει ως εξής: Alignment: High Quality, 400,000 keypoints Dense Cloud: High Quality (8,000,000 points) Mesh: Height Field, 4,000,000 faces DSM: 2cm resolution Orthophoto: 2cm resolution Τα GCPs και τα validation points που χρησιμοποιήθηκαν στη συγκεκριμένη πτήση παρουσιάζονται στο Σχ Τα DSMs (Digital Surface Models) και οι ορθοεικόνες που εξήχθησαν από τα δύο μοντέλα, φαίνονται στα Σχ και Μετά τη δημιουργία του μοντέλου και εφόσον οι θέσεις λήψης είχαν υπολογιστεί με μεγαλύτερη ακρίβεια, υπολογίστηκε ότι η ταχύτητα πτήσης ήταν κατά μέσο όρο περίπου 5 m/sec, η οποία μπορεί να χαρακτηριστεί ως μέση. Σχήμα Τα GCPs και τα validation points που χρησιμοποιήθηκαν στην 2 η πτήση. 64

72 A B Σχήμα (Α) Το DSM του μοντέλου που δημιουργήθηκε με τις αρχικές φωτογραφίες. (Β) Το DSM του μοντέλου που δημιουργήθηκε με τις διορθωμένες φωτογραφίες. Εμφανίζονται σε μορφή hillshade έχοντας φωτισμό με αζιμούθιο 135 ο και ύψος 55 ο. 65

73 A B Σχήμα (Α) Η ορθοεικόνα του μοντέλου που δημιουργήθηκε με τις αρχικές φωτογραφίες. (Β) Η ορθοεικόνα του μοντέλου που δημιουργήθηκε με τις διορθωμένες φωτογραφίες. Η στατιστική ανάλυση της ακρίβειας των παραπάνω μοντέλων φαίνεται στους Πίν. 2.9 και

74 Πίνακας 2.9. Στατιστικός έλεγχος της υψομετρικής ακρίβειας των δύο μοντέλων της 2 ης πτήσης. Parameter R.S. Distorted (cm) R.S. Corrected (cm) Minimum Maximum Average Standard Deviation th Percentile R.M.S.E % Πίνακας Μέσο Τετραγωνικό Σφάλμα (R.M.S.E.) οριζόντιων συνιστωσών των δύο μοντέλων της 2 ης πτήσης. R.S. Distorted (cm) R.S. Corrected (cm) Χ Υ ΧΥ Χ Υ ΧΥ % % % Από τους παραπάνω πίνακες φαίνεται ότι, όπως και για την 1 η πτήση, όλοι οι παράμετροι εμφανίζονται βελτιωμένοι μετά τη διόρθωση των παραμορφώσεων του rolling shutter. Βέβαια, το ποσοστό της βελτίωσης είναι μικρότερο σε σχέση με της 1 ης πτήσης. 67

75 η Πτήση Η παραμετροποίηση του λογισμικού Agisoft Photoscan Pro για τη δημιουργία των 3D μοντέλων της 2 ης πτήσης έχει ως εξής: Alignment: High Quality, 400,000 keypoints Dense Cloud: High Quality (6,500,000 points) Mesh: Height Field, 3,250,000 faces DSM: 2cm resolution Orthophoto: 2cm resolution Τα GCPs και τα validation points που χρησιμοποιήθηκαν στη συγκεκριμένη πτήση παρουσιάζονται στο Σχ Τα DSMs (Digital Surface Models) και οι ορθοεικόνες που εξήχθησαν από τα δύο μοντέλα, φαίνονται στα Σχ και Μετά τη δημιουργία του μοντέλου και εφόσον οι θέσεις λήψης είχαν υπολογιστεί με μεγαλύτερη ακρίβεια, υπολογίστηκε ότι η ταχύτητα πτήσης ήταν κατά μέσο όρο περίπου 1.5 m/sec, η οποία μπορεί να χαρακτηριστεί ως χαμηλή δεδομένης της μέγιστης ταχύτητας του συγκεκριμένου UAV, η οποία είναι περίπου 8 m/sec. Στη συγκεκριμένη περίπτωση, λόγω του σημαντικού ποσοστού διαστροφής που προκαλεί ο φακός της GoPro, δεν χρησιμοποιήθηκαν οι αρχικές εικόνες, αλλά οι εικόνες από τις οποίες είχε αφαιρεθεί η παραμόρφωση του φακού. Η διόρθωση της παραμόρφωσης του κυλιόμενου κλείστρου πραγματοποιήθηκε στις αρχικές εικόνες και στη συνέχεια αφαιρέθηκε η επίδραση του φακού. Σχήμα Τα GCPs και τα validation points που χρησιμοποιήθηκαν στην 3 η πτήση. 68

76 A B Σχήμα (Α) Το DSM του μοντέλου που δημιουργήθηκε με τις διορθωμένες, ως προς την διαστροφή των φακών, φωτογραφίες. (Β) Το DSM του μοντέλου που δημιουργήθηκε με τις διορθωμένες φωτογραφίες. Εμφανίζονται σε μορφή hillshade έχοντας φωτισμό με αζιμούθιο 135 ο και ύψος 55 ο. 69

77 A B Σχήμα (Α) Η ορθοεικόνα του μοντέλου που δημιουργήθηκε με τις διορθωμένες, ως προς την διαστροφή των φακών, φωτογραφίες. (Β) Η ορθοεικόνα του μοντέλου που δημιουργήθηκε με τις διορθωμένες φωτογραφίες. 70