ΜΕΘΟΔΟΙ ΒΕΛΤΙΩΣΗΣ ΤΗΣ ΧΩΡΙΚΗΣ ΑΝΑΛΥΣΗΣ ΨΗΦΙΑΚΗΣ ΕΙΚΟΝΑΣ

Transcript

1 ΕΡΓΑΣΤΗΡΙΟ ΗΛΕΚΤΡΟΝΙΚΗΣ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΤΜΗΜΑ ΦΥΣΙΚΗΣ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΜΕΘΟΔΟΙ ΒΕΛΤΙΩΣΗΣ ΤΗΣ ΧΩΡΙΚΗΣ ΑΝΑΛΥΣΗΣ ΨΗΦΙΑΚΗΣ ΕΙΚΟΝΑΣ ΔΙΔΑΚΤΟΡΙΚΗ ΔΙΑΤΡΙΒΗ ΑΝΤΙΓΟΝΗΣ ΠΑΝΑΓΙΩΤΟΠΟΥΛΟΥ ΠΑΤΡΑ 009

2 ΠΡΟΛΟΓΟΣ Η παρούσα διατριβή εκπονήθηκε στο Εργαστήριο Ηλεκτρονικής του Τμήματος Φυσικής της Σχολής Θετικών Επιστημών του Πανεπιστημίου Πατρών, κατά τη διάρκεια των ετών , υπό την καθοδήγηση και την επίβλεψη του Καθηγητή κ. Βασιλείου Αναστασόπουλου. Θα ήθελα να εκφράσω τις ευχαριστίες μου προς τον κ. Αναστασόπουλο για την ουσιαστική επιστημονική βοήθεια, τις πολύτιμες συμβουλές και την ηθική συμπαράσταση που μου προσέφερε. Επίσης, θα ήθελα να ευχαριστήσω όλα τα μέλη του Εργαστηρίου Ηλεκτρονικής καθώς ήταν πρόθυμα να με βοηθήσουν οποιαδήποτε στιγμή τους το ζήτησα.

3 ΠΕΡΙΛΗΨΗ Η αντιμετώπιση της περιορισμένης χωρικής ανάλυσης των εικόνων, η οποία οφείλεται στους φυσικούς περιορισμούς που εμφανίζουν οι αισθητήρες σύλληψης εικόνας, αποτελεί το αντικείμενο μελέτης της παρούσας διδακτορικής διατριβής. Στη διατριβή αυτή αρχικά γίνεται προσπάθεια μοντελοποίησης της λειτουργίας του ψηφιοποιητή εικόνας κατά τη δημιουργία αντίγραφου ενός εγγράφου μέσω απλών μοντέλων. Στην εξομοίωση της λειτουργίας του ψηφιοποιητή, το προτεινόμενο μοντέλο θα πρέπει να προτιμηθεί έναντι των μοντέλων Gaussian και Cauchy, που συναντώνται στη βιβλιογραφία, καθώς είναι ισοδύναμο στην απόδοση, απλούστερο στην υλοποίηση και δεν παρουσιάζει εξάρτηση από συγκεκριμένα χαρακτηριστικά λειτουργίας του ψηφιοποιητή. Έπειτα, μορφοποιούνται νέες μέθοδοι για τη βελτίωση της χωρικής ανάλυσης σε εικόνες. Προτείνεται μέθοδος μη ομοιόμορφης παρεμβολής για ανακατασκευή εικόνας Super-Resolution (SR). Αποδεικνύεται πειραματικά πως η προτεινόμενη μέθοδος η οποία χρησιμοποιεί την παρεμβολή Kriging υπερτερεί της μεθόδου η οποία δημιουργεί το πλέγμα υψηλής ανάλυσης μέσω της σταθμισμένης παρεμβολής κοντινότερου γείτονα που αποτελεί συμβατική τεχνική. Επίσης, παρουσιάζονται τρεις νέες μέθοδοι για στοχαστική ανακατασκευή εικόνας SR regularized. Ο εκτιμητής Tukey σε συνδυασμό με το Bilateral Total Variation (BTV) regularization, ο εκτιμητής Lorentzian σε συνδυασμό με το BTV regularization και ο εκτιμητής Huber συνδυασμένος με το BTV regularization είναι οι τρεις μέθοδοι που προτείνονται. Μία πρόσθετη καινοτομία αποτελεί η απευθείας σύγκριση των τριών εκτιμητών Tukey, Lorentzian και Huber στην ανακατασκευή εικόνας super-resolution, άρα στην απόρριψη outliers. Η απόδοση των προτεινόμενων μεθόδων συγκρίνεται απευθείας με εκείνη μίας τεχνικής SR regularized που υπάρχει στη βιβλιογραφία, η οποία αποδεικνύεται κατώτερη. Σημειώνεται πως τα πειραματικά αποτελέσματα οδηγούν σε επαλήθευση της θεωρίας εύρωστης στατιστικής συμπεριφοράς. Επίσης, εκπονείται μία πρωτότυπη μελέτη σχετικά με την επίδραση που έχει κάθε ένας από τους όρους έκφρασης πιστότητας στα δεδομένα και regularization στη διαμόρφωση του αποτελέσματος της ανακατασκευής εικόνας SR. Τα συμπεράσματα που προκύπτουν βοηθούν στην επιλογή μίας αποτελεσματικής μεθόδου για ανακατασκευή εικόνας SR ανάμεσα σε διάφορες υποψήφιες μεθόδους για κάποια δεδομένη ακολουθία εικόνων χαμηλής ανάλυσης. Τέλος, προτείνεται μία μέθοδος παρεμβολής σε εικόνα μέσω νευρωνικού δικτύου. Χάρη στην προτεινόμενη τεχνική εκπαίδευσης το νευρωνικό δίκτυο μαθαίνει το point spread function του ψηφιοποιητή εικόνας. Τα πειραματικά αποτελέσματα αποδεικνύουν πως η προτεινόμενη μέθοδος υπερτερεί σε σχέση με τους κλασικούς αλγόριθμους δικυβικής παρεμβολής και παρεμβολής spline. Η τεχνική που προτείνεται εξετάζει για πρώτη φορά το ζήτημα της σειράς της παρουσίασης των δεδομένων εκπαίδευσης στην είσοδο του νευρωνικού δικτύου.

4 SUMMARY Coping with the limited spatial resolution of images, which is caused by the physical limitations of image sensors, is the objective of this thesis. Initially, an effort to model the scanner function when generating a document copy by means of simple models is made [1]. The scanner function when performing resolution conversions per factors and 4 is taken under consideration. In fact, scannings from 400 to 00 ppi, from 00 to 100 ppi, from 400 to 100 ppi and from 00 to 50 ppi are considered. The experimental results prove the application of a 3 3 averaging FIR filter followed by decimation the most prominent model in scanning simulation. In a task of scanner function simulation the proposed model should be preferred over the Gaussian and Cauchy models met in bibliography as it is equivalent in performance, simpler in implementation and does not present any dependence on certain scanner characteristics. Afterwards, new methods for improving images spatial resolution are formulated [-5]. A nonuniform interpolation method for Super-Resolution (SR) image reconstruction is proposed []. The relative motion between frames is estimated by means of a gradient-based algorithm. Kriging interpolation is employed to construct a uniformly spaced high-resolution grid. The resulting image is restored via recursive deconvolution procedures utilizing two different filters. Experimentation proves that the proposed method employing Kriging interpolation predominates over the method which creates the high-resolution grid by means of the weighted nearest neighbor interpolation that is a conventional interpolation technique. Also, three new methods for stochastic regularized SR image reconstruction are presented [3]. The Tukey error norm in combination with the Bilateral Total Variation (BTV) regularization, the Lorentzian error norm in combination with the BTV regularization and the Huber error norm combined with the BTV regularization are the three proposed methods. The performance of the aforementioned three error norms, in super-resolution reconstruction, is presented. In fact, the direct comparison of these estimators in rejecting outliers takes place, as they have been made as similar as possible through dilation and scaling of their influence functions. Therefore, an additional novel contribution of the present work is the direct comparison of the three estimators Tukey, Lorentzian and Huber in performing SR image reconstruction, thus in rejecting outliers. A high-resolution image is created from a sequence of subpixel shifted, aliased low-resolution frames. Simulated and real experiments are performed. In the simulated experiments noiseless frames as well as noisy frames are employed, whilst resolution is increased by a factor of 4. In the real experiment resolution is enhanced by a factor of 3. The performance of the proposed methods proves superior to that of a regularized SR technique met in bibliography combining the L 1 norm with the BTV regularizer. Experimental results verify the robust statistics theory. I

5 Moreover, a novel study which considers the effect of each one of the data-fidelity and regularization terms on the SR image reconstruction result is carried out [4]. The, L, Huber and Lorentzian L 1 estimators are employed for measuring the difference between the projected estimate of the highresolution image and each low-resolution frame. Regularization takes the form of the Tikhonov and BTV priors. Eight different SR methods are formulated by combining the aforementioned data-fidelity and regularization terms. Experimentation is carried out with noiseless frames as well as with frames corrupted by noise of various models. The experimental results are evaluated and conclusions are reached via grouping the SR methods. In fact, three different groupings are taken into consideration. The methods are grouped per common data-fidelity term and per common regularization term. The grouping of the methods per pairs takes place as well. In the specific grouping, each pair of methods presents rival terms (data-fidelity or regularization terms) that exhibit different robustness of efficiency. The conclusions reached help to select an effective SR image reconstruction method, among several potential ones, for a given low-resolution sequence of frames. Finally, an image interpolation method employing a neural network is proposed [5]. A multilayer feedforward neural network, trained by the backpropagation algorithm, is utilized. The scanner provides all the input and output data that the network training requires. The presented training procedure results in the network learning the scanner point spread function. Experimental results prove that the proposed technique predominates over the classical algorithms of bicubic and spline interpolation. The proposed method is novel as it treats, for the first time, the issue of the training data presentation order to the neural network input. [1] A. Panagiotopoulou and V. Anastassopoulos, Scanner function modeling, submitted for possible publication in The Imaging Science Journal, October 009. [] A. Panagiotopoulou and V. Anastassopoulos, Super-resolution image reconstruction employing Kriging interpolation technique, Proceedings of IWSSIP 007 & EC-SIPMCS 007, pp , Maribor, Slovenia, 007. [3] A. Panagiotopoulou and V. Anastassopoulos, Regularized super-resolution image reconstruction employing robust error norms, Optical Engineering, vol. 48, no. 11, pp to , 009. [4] A. Panagiotopoulou and V. Anastassopoulos, Super-resolution image reconstruction techniques: Τrade-offs between the data-fidelity and regularization terms, submitted for possible publication in Information Fusion, November 009. [5] A. Panagiotopoulou and V. Anastassopoulos, Scanned images resolution improvement using neural networks, Neural Computing and Applications, vol. 17, no. 1, pp , 008. II

6 ΠΕΡΙΕΧΟΜΕΝΑ Κεφάλαιο 1 Σελίδα Εισαγωγή 1.1. Εισαγωγή Παρεμβολή σε εικόνα Ανακατασκευή εικόνας super-resolution Πρωτότυπη συνεισφορά της διδακτορικής διατριβής Δημοσίευση επιστημονικών εργασιών Διάρθρωση της παρούσας διατριβής..8 Βιβλιογραφία...11 Κεφάλαιο Ανάλυση εικόνας και φυσικά όρια των αισθητήρων σύλληψης εικόνων.1. Εισαγωγή Ανάλυση εικόνας Τι σημαίνει η λέξη ανάλυση Απεικόνιση της ανάλυσης Εικόνα υψηλής ανάλυσης και αντίστοιχες εικόνες χαμηλής ανάλυσης Σχέση μεταξύ της εικόνας υψηλής ανάλυσης και των αντίστοιχων εικόνων χαμηλής ανάλυσης Σχέση μεταξύ της εικόνας υψηλής ανάλυσης και των αντίστοιχων εικόνων χαμηλής ανάλυσης στο χώρο των συχνοτήτων Φυσικοί περιορισμοί των αισθητήρων σύλληψης εικόνων Θόρυβος Περιορισμένο δυναμικό εύρος Περιορισμένη χωρική ανάλυση Artifacts Συμπεράσματα..34 Βιβλιογραφία...35 i

7 Κεφάλαιο 3 Παρεμβολή σε εικόνα 3.1. Εισαγωγή Μέθοδοι παρεμβολής Ιδανική παρεμβολή Παρεμβολή sinc Παρεμβολή κοντινότερου γείτονα Γραμμική παρεμβολή Τετραγωνική προσέγγιση Τετραγωνική παρεμβολή Προσέγγιση B-spline Παρεμβολή B-spline Κυβική παρεμβολή Μέθοδος των Mitchell και Netravali Παρεμβολή Lagrange Παρεμβολή Gaussian Ιδιότητες στο πεδίο συχνοτήτων των μεθόδων παρεμβολής Παρεμβολή Kriging Συμπεράσματα..70 Βιβλιογραφία...7 Κεφάλαιο 4 Ανακατασκευή εικόνας super-resolution Θεωρητικές σημειώσεις 4.1. Εισαγωγή Η ανακατασκευή εικόνας super-resolution ως ένα αντίστροφο πρόβλημα Φύση ill-posed του προβλήματος ανακατασκευής εικόνας super-resolution Γενική δομή του γραμμικού μοντέλου απόκτησης εικόνας Μέθοδοι για ανακατασκευή εικόνας super-resolution Η μέθοδος μη ομοιόμορφης παρεμβολής Η μέθοδος συχνοτικού χώρου Η μέθοδος regularized 86 ii

8 Η μέθοδος προβολής σε κυρτά σύνολα Η υβριδική μέθοδος ML-POCS Η επαναληπτική μέθοδος οπισθο-προβολής Η μέθοδος προσαρμοστικού φιλτραρίσματος Η μέθοδος ακινησίας Regularization Η έννοια του regularization στα μαθηματικά Το regularization στην ανακατασκευή εικόνας super-resolution Η ανακατασκευή εικόνας super-resolution από υπολογιστική σκοπιά Συμπεράσματα 105 Βιβλιογραφία.106 Κεφάλαιο 5 M-εκτιμητές θέσης 5.1. Εισαγωγή M-εκτιμητές Αντοχή και ευρωστία αποδοτικότητας Καμπύλη επίδρασης Εισαγωγή Καμπύλη ευαισθησίας Καμπύλη επίδρασης Ιδιότητες Όριο κατάρρευσης Η μορφή της ψ -συνάρτησης Το σημείο κατάρρευσης του εκτιμητή έχει μεγάλη τιμή Η ψ είναι φραγμένη (πεπερασμένη ευαισθησία μεγάλου σφάλματος) Η ψ είναι μετρημένα συνεχής (πεπερασμένη ευαισθησία τοπικής μετατόπισης) Η ψ παρουσιάζει πεπερασμένο σημείο απόρριψης Για αποδοτικότητα σε κάποια κατανομή-στόχο με πυκνότητα f, η ψ είναι ανάλογη του ' ( log f ) = f f ( u) ku ψ, k 0, για μικρό u.14 iii

9 ψ ( ) = ψ (u u ) Συμπεράσματα 17 Βιβλιογραφία.19 Κεφάλαιο 6 Τεχνητά νευρωνικά δίκτυα 6.1. Εισαγωγή Βασικές αρχές και εφαρμογές Βασικές αρχές του νευρωνικού υπολογισμού Εφαρμογές των τεχνητών νευρωνικών δικτύων Χαρακτηριστικά των τεχνητών νευρωνικών δικτύων Δομές των δικτύων Γενικές ιδιότητες των τεχνητών νευρωνικών δικτύων Περιληπτική σύνοψη των μεθόδων εκμάθησης των τεχνητών νευρωνικών δικτύων Πολυεπίπεδα νευρωνικά δίκτυα εμπρόσθιας διάδοσης και εκμάθηση οπισθοδιάδοσης Το πολυεπίπεδο δίκτυο εμπρόσθιας διάδοσης Ο γενικευμένος κανόνας Δέλτα ή εκμάθηση οπισθοδιάδοσης Επιφάνειες λάθους και ιδιότητες σύγκλισης Δυνατότητες και περιορισμοί των πολυεπίπεδων δικτύων εμπρόσθιας διάδοσης Δυνατότητες αντιστοίχισης των δικτύων MLFF Ικανότητα εκμάθησης και γενίκευση Εμπειρικές δοκιμές των αντιστοιχίσεων των δικτύων MLFF Συμπεράσματα 15 Βιβλιογραφία.154 Κεφάλαιο 7 Μοντελοποίηση της λειτουργίας ενός ψηφιοποιητή εικόνας 7.1. Εισαγωγή Σάρωση-Ελεγχόμενη κίνηση και συνέλιξη του PSF Πειράματα Πειραματική διαδικασία Πειραματικά αποτελέσματα..161 iv

10 Σύγκριση με υπάρχοντα μοντέλα από τη βιβλιογραφία Συμπεράσματα 171 Βιβλιογραφία.173 Κεφάλαιο 8 Ανακατασκευή εικόνας super-resolution χρησιμοποιώντας την παρεμβολή Kriging 8.1. Εισαγωγή Διαδικασία ανακατασκευής Εκτίμηση κίνησης Παρεμβολή για τη δημιουργία ενός ομοιόμορφου πλέγματος υψηλής ανάλυσης Αποκατάσταση για την εξάλειψη θόλωσης και θορύβου Πειραματικά αποτελέσματα Σχολιασμός Συμπεράσματα 187 Βιβλιογραφία.188 Κεφάλαιο 9 Ανακατασκευή εικόνας super-resolution regularized χρησιμοποιώντας εύρωστους εκτιμητές 9.1. Εισαγωγή Εύρωστοι στατιστικοί εκτιμητές Ανακατασκευή super-resolution Όρος που εκφράζει πιστότητα στα δεδομένα Όρος regularization Μορφοποίηση super-resolution Πειραματική διαδικασία-εικονικά πειράματα Πειραματικά αποτελέσματα-αθόρυβες συνθετικές ακολουθίες εικόνων χαμηλής ανάλυσης Σκηνή EIA Σκηνή lena Σκηνή Stanford Πειραματικά αποτελέσματα-συνθετικές ακολουθίες εικόνων χαμηλής ανάλυσης με θόρυβο Σκηνή EIA.09 v

11 9.6.. Σκηνή lena Σκηνή Stanford Πειραματισμός με πραγματική ακολουθία εικόνων χαμηλής ανάλυσης Σχολιασμός Συμπεράσματα 0 Βιβλιογραφία. Κεφάλαιο 10 Τεχνικές για ανακατασκευή εικόνας super-resolution: Μελέτη της επίδρασης των όρων έκφρασης πιστότητας στα δεδομένα και regularization στη διαμόρφωση του τελικού αποτελέσματος Εισαγωγή Πειράματα Πειραματικά αποτελέσματα-αθόρυβη ακολουθία εικόνων χαμηλής ανάλυσης Πειραματικά αποτελέσματα-ακολουθία εικόνων χαμηλής ανάλυσης που περιέχουν θόρυβο salt&pepper Πειραματικά αποτελέσματα-ακολουθία εικόνων χαμηλής ανάλυσης που περιέχουν θόρυβο Gaussian Πειραματικά αποτελέσματα-ακολουθία εικόνων χαμηλής ανάλυσης που περιέχουν θόρυβο speckle Πειραματικά αποτελέσματα-ακολουθία εικόνων χαμηλής ανάλυσης που περιέχουν θόρυβο poisson Συμπεράσματα..51 Βιβλιογραφία.55 Κεφάλαιο 11 Βελτίωση της ανάλυσης εικόνων, που προέρχονται από ψηφιοποιητή, μέσω νευρωνικού δικτύου Εισαγωγή Ο ψηφιοποιητής ως πηγή εικόνων Διαδικασία εκπαίδευσης του νευρωνικού δικτύου Πειραματικά αποτελέσματα..64 vi

12 Αριθμητικές και οπτικές συγκρίσεις Αποτίμηση της απόδοσης όσον αφορά τις λεπτομέρειες ακμών Αποτίμηση της απόδοσης για δεδομένα με θόρυβο Υπολογιστικές λεπτομέρειες Παρατηρήσεις Σχολιασμός Συμπεράσματα..74 Βιβλιογραφία.75 Κεφάλαιο 1 Συμπεράσματα 1.1. Εισαγωγή Επισκόπηση της ερευνητικής συνεισφοράς Μοντελοποίηση της λειτουργίας ενός ψηφιοποιητή εικόνας Ανακατασκευή εικόνας super-resolution χρησιμοποιώντας την παρεμβολή Kriging Ανακατασκευή εικόνας super-resolution regularized χρησιμοποιώντας εύρωστους εκτιμητές Τεχνικές για ανακατασκευή εικόνας super-resolution: Μελέτη της επίδρασης των όρων έκφρασης πιστότητας στα δεδομένα και regularization στη διαμόρφωση του τελικού αποτελέσματος Βελτίωση της ανάλυσης εικόνων, που προέρχονται από ψηφιοποιητή, μέσω νευρωνικού δικτύου Αντικείμενα μελλοντικής έρευνας 81 vii

13 Κεφάλαιο 1 Εισαγωγή ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ 1.1. Εισαγωγή Έχουν περάσει πάνω από τρεις δεκαετίες από τότε που πραγματοποιήθηκαν οι πρώτες προσπάθειες επεξεργασίας και επίδειξης εικόνων μέσω ηλεκτρονικού υπολογιστή. Η πλειοψηφία της πληροφορίας που δέχεται ο άνθρωπος είναι οπτική. Θεωρήθηκε λοιπόν πως μία επιτυχής ενσωμάτωση της ικανότητας επεξεργασίας οπτικής πληροφορίας σε ένα σύστημα θα συνεισέφερε ενισχυτικά στη συνολική του δυνατότητα να επεξεργαστεί πληροφορία. Στη σημερινή εποχή τεχνικές επεξεργασίας εικόνας εφαρμόζονται σε ποικίλους τομείς όπως ρομποτική, βιομηχανική παρακολούθηση, παρακολούθηση μέσω δορυφόρου, μετάδοση εικόνας, ιατρικός χειρισμός εικόνας και επίβλεψη. Στον έλεγχο της κίνησης μίας μηχανής χειρισμού προκειμένου να κινηθεί, να πιάσει ένα αντικείμενο και να το τοποθετήσει σε κάποια επιθυμητή θέση χρησιμοποιείται η βασισμένη σε όραση καθοδήγηση. Το οπτικό κομμάτι είναι ενσωματωμένο μέσα σε βρόχο ανατροφοδότησης υπό τη μορφή μίας κάμερας η οποία κοιτάζει τη σκηνή, ενός αρπαγέα frame που ψηφιοποιεί το αναλογικό σήμα από την κάμερα σε δεδομένα εικόνας και ενός υπολογιστή ο οποίος επεξεργάζεται τις συγκεκριμένες εικόνες και αποστέλλει κατάλληλα σήματα στους παρακινητές του χειριστή προκειμένου να πραγματοποιηθεί η κίνηση. Ένα παρόμοιο σκηνικό υπάρχει σε ένα σύστημα βιομηχανικής παρακολούθησης, ό- πως είναι μία μονάδα ανίχνευσης σφάλματος για τυπωμένα κυκλώματα. Στην παρακολούθηση μέσω δορυφόρου συστήματα πολυφασματικού αισθητήρα, τοποθετημένα πάνω σε αεροπορικά ή διαστημικά μέσα, χρησιμοποιούνται για τη μέτρηση και καταγραφή δεδομένων [1]. Σχεδόν σε κάθε εφαρμογή είναι επιθυμητό να δημιουργηθεί μία εικόνα που παρουσιάζει πολύ υψηλή ανάλυση. Μία εικόνα υψηλής ανάλυσης προσφέρει πρόσθετες λεπτομέρειες οι οποίες μπορεί να αποβούν κρίσιμες. Η υψηλή ανάλυση θα μπορούσε, για παράδειγμα, να συνεισφέρει στην καλύτερη ταξινόμηση των περιοχών που απεικονίζει μία πολυφασματική εικόνα ή να διευκολύνει τη διάγνωση μίας ασθένειας μέσω μίας ιατρικής εικόνας. Η ανάλυση μίας εικόνας εξαρτάται από την ανάλυση της συσκευής σύλληψής της [1]. Οι Charge- 1

14 Κεφάλαιο 1 Εισαγωγή Coupled-Devices (CCDs) χρησιμοποιούνται για την ψηφιακή σύλληψη εικόνων υψηλής ανάλυσης. Οι προαναφερθέντες αισθητήρες, παρά το γεγονός ότι επαρκούν για τις περισσότερες από τις σημερινές εφαρμογές, στο κοντινό μέλλον δεν θα είναι αποδεκτοί. Κι αυτό, επειδή η τεχνολογία των CCDs και της οπτικής υψηλής ακρίβειας δεν μπορεί να συμβαδίσει με την απαίτηση για εικόνες ολοένα και πιο υψηλής ανάλυσης. Για παράδειγμα, η ποιότητα ενός φιλμ των 35mm θεωρείται ως κριτήριο ποιότητας για μη ηλεκτρονικά οπτικά μέσα. Προκειμένου να ληφθούν εικόνες οι οποίες παρουσιάζουν ή και ξεπερνούν την προαναφερθείσα ποιότητα, απαιτείται ανάλυση υψηλότερη από εκείνη της τηλεόρασης υψηλής ευκρίνειας, δηλαδή πάνω από εικονοστοιχεία. Η τρέχουσα τεχνολογία όμως των CCDs δεν μπορεί να επιτύχει αυτήν την πολύ υψηλή ανάλυση. Επιπρόσθετα, η παρουσία του θορύβου βολής, ο οποίος είναι αναπόφευκτος σε οποιοδήποτε σύστημα χειρισμού εικόνας, διατάσσει ένα ανώτατο όριο στην ανάλυση των CCDs. Παρακάτω εξηγείται πώς απορρέει το προαναφερθέν όριο. Η ελάττωση του μεγέθους κάθε CCD αυξάνει την ανάλυση, καθώς χρησιμοποιούνται πιο πολλά CCDs. Η ισχύς του σήματος, πλήθος φωτονίων που προσπίπτουν στο CCD, μειώνεται αντίστοιχα, αλλά η ισχύς του θορύβου παραμένει αυστηρώς αμετάβλητη. Το συγκεκριμένο όριο για το μέγεθος κάθε CCD είναι 50μm και η τρέχουσα τεχνολογία των CCDs έχει σχεδόν αγγίξει αυτό το όριο. Σε περίπτωση μικρότερης επιφάνειας CCD, ο λόγος του σήματος προς το θόρυβο είναι πολύ χαμηλός για να είναι χρήσιμες οι εικόνες []. Εκτός από το όριο που τίθεται από την παρουσία του θορύβου βολής, το κόστος αποτελεί ένα άλλο ζήτημα που σχετίζεται με τη χρήση οπτικής υψηλής ακρίβειας και CCDs. Η τοποθέτηση μίας κάμερας υψηλής ανάλυσης σε ένα δορυφόρο μπορεί να αποβεί δαπανηρή, αλλά και ριψοκίνδυνη. Συμφέρει καλύτερα οικονομικά να τεθεί σε τροχιά μία κάμερα χαμηλότερης ανάλυσης, η οποία κοστίζει λιγότερο, εάν έπειτα στην επιφάνεια της Γης δημιουργηθούν εικόνες υψηλότερης ανάλυσης μέσω τεχνικών επεξεργασίας εικόνας. Τέλος, ένα άλλο εμπόδιο στη χρήση ψηφιακών καμερών υψηλής ανάλυσης αποτελεί το γεγονός ότι συχνά η λήψη εικόνων πραγματοποιείται κάτω από συνθήκες κατώτερες των ιδανικών συνθηκών. Για παράδειγμα, σε στρατιωτική παρακολούθηση η λήψη εικόνων της κίνησης ενός εχθρικού στρατεύματος είναι δύσκολη, επειδή ο εχθρός κινείται τη νύχτα ή υπό ομίχλη προκειμένου να ε- μποδίσει την επίβλεψή του. Ο καιρός αποτελεί ένα άλλο εμπόδιο στην παρακολούθηση μέσω δορυφόρου, όπου σύννεφα μπορεί να καλύψουν την περιοχή ενδιαφέροντος [1]. Για τους προαναφερθέντες λόγους είναι απαραίτητο να βρεθεί κάποιος διαφορετικός τρόπος για τη δημιουργία εικόνων υψηλής ανάλυσης, πέρα από την άμεση σύλληψή τους από ψηφιακή κάμερα υψηλής ανάλυσης. Δεδομένης της ανάλυσης ενός αισθητήρα σύλληψης εικόνας, υπάρχουν αλγοριθμικοί τρόποι βελτίωσης της ανάλυσης της κάμερας [1-5]. Στην πα-

15 Κεφάλαιο 1 Εισαγωγή ρούσα διδακτορική διατριβή προτείνονται διάφορες τέτοιες μέθοδοι βελτίωσης της ανάλυσης μίας εικόνας [6-31]. Στην Παράγραφο 1. γίνεται λόγος για την παρεμβολή σε εικόνα. Η ανακατασκευή εικόνας super-resolution (super-resolution image reconstruction) παρουσιάζεται στην Παράγραφο 1.3. Στην Παράγραφο 1.4 παρατίθεται η πρωτότυπη συνεισφορά της παρούσας διδακτορικής διατριβής, ενώ οι δημοσιεύσεις επιστημονικών εργασιών δίνονται στην Παράγραφο 1.5. Η διάρθρωση της διδακτορικής διατριβής αναπτύσσεται στην Παράγραφο Παρεμβολή σε εικόνα Η αλλαγή του μεγέθους μίας εικόνας μεταφράζεται σε αύξηση της ανάλυσης όταν προσεγγίζονται συχνότητες υψηλότερες από εκείνες που συναντώνται στην αρχικού μεγέθους εικόνα. Η χρήση συναρτήσεων παρεμβολής αποτελεί την παραδοσιακή μέθοδο για αύξηση ανάλυσης εικόνας. Πραγματοποιείται ταίριασμα των πρωτότυπων δεδομένων σε μία συνεχή συνάρτηση, τα οποία έπειτα επαναδειγματοληπτούνται σε ένα πλέγμα περισσότερων δειγμάτων. Κατά την επαναδειγματοληψία, η παρεμβολή και η δειγματοληψία συχνά συνδυάζονται προκειμένου η παρεμβολή να δώσει μόνο εκείνα τα σημεία του σήματος τα οποία θα δειγματοληπτηθούν. Η δειγματοληψία της εικόνας στην οποία έχει πραγματοποιηθεί παρεμβολή και η πραγματοποίηση παρεμβολής με μία δειγματοληπτημένη συνάρτηση παρεμβολής αποτελούν ισοδύναμες διαδικασίες. Οι μέθοδοι παρεμβολής έχουν καταλάβει μία σημαντική θέση στην επεξεργασία εικόνων. Είναι αναγκαίες στην παραγωγή εικόνων, όπως και στην μεταεπεξεργασία εικόνων [1, 3]. Ο απλούστερος αλγόριθμος παρεμβολής είναι ο αλγόριθμος κοντινότερου γείτονα. Όμως, αυτή η μέθοδος έχει την τάση να δημιουργεί εικόνες με τεμαχισμένη εμφάνιση. Η χρήση της διγραμμικής παρεμβολής ή των τεχνικών κυβικής συνέλιξης μικρής δομής μπορεί να οδηγήσει σε πιο ικανοποιητικά αποτελέσματα. Πιο ομαλές ανακατασκευές καθίστανται δυνατές μέσω της δικυβικής παρεμβολής spline, καθώς και μέσω των splines υψηλότερης τάξης γενικά [3]. Αναφορικά με την γεωστατιστική τεχνική παρεμβολής Kriging, αυτή διαφοροποιείται σημαντικά από τις συμβατικές τεχνικές παρεμβολής. Στοχεύει στην ελαχιστοποίηση της διακύμανσης σφάλματος και στο μηδενισμό της μέσης τιμής των σφαλμάτων εκτίμησης [3-33]. Τεχνικές παρεμβολής έχουν χρησιμοποιηθεί για τη βελτίωση της ανάλυσης ιατρικών εικόνων [3], ψηφιακών φωτογραφιών [4] αλλά και ακολουθιών εικόνων, βίντεο [5, 34]. Γενικά, οι τεχνικές παρεμβολής δημιουργούν μία εικόνα βελτιωμένης ανάλυσης από μία εικόνα χαμηλής 3

16 Κεφάλαιο 1 Εισαγωγή ανάλυσης. Επίσης, στη βιβλιογραφία [4-17, 6] συναντώνται πολλές προσπάθειες πραγματοποίησης παρεμβολής σε εικόνα μέσω νευρωνικού δικτύου. Στην παρούσα διδακτορική διατριβή προτείνεται μία μέθοδος παρεμβολής σε εικόνα μέσω νευρωνικού δικτύου. Επιτυγχάνεται βελτίωση της ανάλυσης εικόνων που προέρχονται από ψηφιοποιητή (scanner) μέσω ενός πολυεπίπεδου νευρωνικού δικτύου εμπρόσθιας διάδοσης. Η προτεινόμενη τεχνική εκπαίδευσης κατορθώνει το νευρωνικό δίκτυο να μάθει το Point Spread Function (PSF) του ψηφιοποιητή [7, 35]. Επίσης, προτείνεται η χρήση της τεχνικής παρεμβολής Kriging σε μέθοδο μη ομοιόμορφης παρεμβολής για ανακατασκευή εικόνας super-resolution. Η παρεμβολή Kriging χρησιμοποιείται στο βήμα δημιουργίας του ομοιόμορφου πλέγματος υψηλής ανάλυσης [8] Ανακατασκευή εικόνας super-resolution Η ποιότητα της εικόνας που παράγεται από οποιονδήποτε από τους αλγόριθμους παρεμβολής, οι οποίοι δέχονται ως είσοδο μόνο μία εικόνα, περιορίζεται από την ποσότητα των δεδομένων που υπάρχουν στην εικόνα εισόδου. Η διαδικασία της παρεμβολής δεν μπορεί να παράξει τα κομμάτια υψηλών συχνοτήτων που χάθηκαν κατά τη δειγματοληψία. Προκειμένου να επιτευχθεί πιο σημαντική βελτίωση στην ανάλυση μίας εικόνας, είναι απαραίτητο να εξεταστούν δεδομένα πολλαπλής εισόδου. Στην περίπτωση αυτή μπορούν να χρησιμοποιηθούν επιπρόσθετοι περιορισμοί οι οποίοι προκύπτουν από διάφορες παρατηρήσεις της ίδιας σκηνής. Η χρήση τεχνικών επεξεργασίας σήματος για τη δημιουργία μίας εικόνας υψηλής ανάλυσης από πολλές ληφθείσες εικόνες χαμηλής ανάλυσης ονομάζεται ανακατασκευή εικόνας super-resolution. Εξετάζεται προσεκτικά η πληροφορία που συνδέεται με τη σχετική μετατόπιση η οποία υπάρχει ανάμεσα στις εικόνες χαμηλής ανάλυσης. Έπειτα, πραγματοποιείται αύξηση της χωρικής ανάλυσης συνενώνοντας όλες τις ληφθείσες εικόνες σε μία εικόνα. Ταυτόχρονα, εξαλείφονται η θόλωση και ο θόρυβος που πιθανώς υπάρχουν στις εικόνες χαμηλής ανάλυσης. Οι μέθοδοι ανακατασκευής εικόνας super-resolution παράγουν πιο καλά αποτελέσματα βελτίωσης της ανάλυσης από ό,τι οι τεχνικές παρεμβολής. Έχουν αναπτυχθεί αρκετές μέθοδοι για την αντιμετώπιση του προβλήματος της ανακατασκευής εικόνας super-resolution []. Ανάμεσα σε αυτές τις μεθόδους οι στοχαστικές regularized παρουσιάζουν σημαντικά πλεονεκτήματα. Η επιλογή του regularization ή prior επηρεάζει σημαντικά την απόδοση ενός αλγόριθμου ανακατασκευής εικόνας super-resolution [18, 36-38]. Στη βιβλιογραφία μπορούν να βρεθούν αρκετές στοχαστικές τεχνικές regularized για την πραγματοποίηση ανακατασκευής εικόνας super-resolution. O εκτιμητής L 1 και το bilat- 4

17 Κεφάλαιο 1 Εισαγωγή eral Total Variation (TV) regularization χρησιμοποιούνται για το χειρισμό ποικίλων δεδομένων και μοντέλων θορύβου στην [18]. Η συγκεκριμένη μέθοδος εμφανίζει ευρωστία σε σφάλματα εκτίμησης θόλωσης και κίνησης αλλά και επιτυγχάνει διατήρηση ακμών. Η συνάρτηση κόστους Huber χρησιμοποιείται στον όρο που εκφράζει πιστότητα στα δεδομένα (data-fidelity term) στην [0]. Στην ίδια αναφορά γίνεται χρήση των Tikhonov και Huber- Tikhonov regularizations. Στην [1] ο εκτιμητής μετράει τη διαφορά μεταξύ της προβαλλόμενης εκτίμησης της εικόνας υψηλής ανάλυσης και κάθε εικόνας χαμηλής ανάλυσης, ενώ το regularization λαμβάνει τη μορφή του Bilateral TV (BTV) prior. Επιπλέον, η εκτίμηση κίνησης πραγματοποιείται μέσω ενός αλγορίθμου υψηλής ακρίβειας, του ταχύ αλγορίθμου συγγένειας βασισμένου σε μπλοκ. Στις μεθόδους ανακατασκευής εικόνας super-resolution των [-3] ο προαναφερθείς αλγόριθμος πραγματοποιεί εκτίμηση της κίνησης και ο εκτιμητής L χρησιμοποιείται στον όρο που εκφράζει πιστότητα στα δεδομένα. Στην [] το BTV regularization αντισταθμίζει την πληροφορία μετρήσεων που λείπουν, ενώ στην [3] το Tikhonov regularization φροντίζει για τη συγκεκριμένη αντιστάθμιση. Στην [4] ο εκτιμητής Tukey εισάγεται ως συνάρτηση κόστους στον όρο που εκφράζει πιστότητα στα δεδομένα, ενώ το Tikhonov regularization προστίθεται ως όρος πέναλτι στη συνάρτηση κόστους. Η [5] προτείνει τον εκτιμητή Lorentzian για τη μέτρηση της διαφοράς μεταξύ της προβαλλόμενης εκτίμησης της εικόνας υψηλής ανάλυσης και κάθε εικόνας χαμηλής ανάλυσης. Στην ίδια α- ναφορά το regularization λαμβάνει τη μορφή των Tikhonov και Lorentzian-Tikhonov priors. Ο εκτιμητής Huber σε συνδυασμό με το BTV regularization εισάγεται στην [9], όπου γίνεται πειραματισμός χρησιμοποιώντας θερμικά υπέρυθρα δεδομένα. Στην παρούσα διδακτορική διατριβή προτείνεται μία μέθοδος για ανακατασκευή εικόνας super-resolution η οποία χρησιμοποιεί την τεχνική παρεμβολής Kriging [8]. Η παρεμβολή Kriging δημιουργεί το ομοιόμορφο πλέγμα υψηλής ανάλυσης. Ακόμη, προτείνονται 3 νέες μέθοδοι για στοχαστική ανακατασκευή εικόνας super-resolution regularized [30]. Οι εκτιμητές Tukey, Lorentzian και Huber χρησιμοποιούνται για εξασφάλιση πιστότητας στα δεδομένα, ενώ το regularization λαμβάνει τη μορφή του BTV regularizer. Μάλιστα, οι τρεις προαναφερθέντες εκτιμητές συγκρίνονται απευθείας στην ανακατασκευή εικόνας super-resolution. Στην περίπτωση συνθετικών ακολουθιών εικόνων χαμηλής ανάλυσης καθώς και στην περίπτωση πραγματικής ακολουθίας εικόνων χαμηλής ανάλυσης τα πειραματικά αποτελέσματα επαληθεύουν τη θεωρία εύρωστης στατιστικής. Επιπρόσθετα, στην παρούσα διατριβή εκπονείται μία πρωτότυπη μελέτη η οποία εξετάζει την επίδραση που έχει κάθε ένας από τους ό- ρους έκφρασης πιστότητας στα δεδομένα και regularization στη διαμόρφωση του αποτελέ- L 1 5

18 Κεφάλαιο 1 Εισαγωγή σματος της ανακατασκευής εικόνας super-resolution [31]. Γίνεται πειραματισμός με τους ε- κτιμητές, L, Huber και Lorentzian στον όρο που εκφράζει πιστότητα στα δεδομένα. Οι L 1 Tikhonov και BTV regularizers τίθενται στον όρο regularization. Τα συμπεράσματα που εξάγονται βοηθούν στην επιλογή μίας αποτελεσματικής μεθόδου για ανακατασκευή εικόνας super-resolution ανάμεσα σε διάφορες υποψήφιες μεθόδους για κάποια δεδομένη ακολουθία εικόνων χαμηλής ανάλυσης Πρωτότυπη συνεισφορά της διδακτορικής διατριβής Πραγματοποιείται προσπάθεια μοντελοποίησης της λειτουργίας του ψηφιοποιητή εικόνας. Η εφαρμογή ενός φίλτρου μέσου όρου και ακόλουθη υποδειγματοληψία αποδεικνύεται πως συναπαρτίζουν το προεξέχον μοντέλο στην αντιπροσώπευση της λειτουργίας του ψηφιοποιητή. Σε κάποιο έργο εξομοίωσης της λειτουργίας του ψηφιοποιητή το προτεινόμενο μοντέλο θα πρέπει να προτιμηθεί έναντι των μοντέλων Gaussian και Cauchy καθώς είναι ισοδύναμο στην απόδοση, απλούστερο στην υλοποίηση και δεν παρουσιάζει εξάρτηση από συγκεκριμένα χαρακτηριστικά λειτουργίας του ψηφιοποιητή. Παρουσιάζεται μία νέα μέθοδος μη ομοιόμορφης παρεμβολής για ανακατασκευή εικόνας super-resolution. Η καινοτομία έγκειται στη χρήση της παρεμβολής Kriging στο βήμα δημιουργίας του ομοιόμορφου πλέγματος υψηλής ανάλυσης. Παρουσιάζονται τρεις νέες μέθοδοι εκτίμησης maximum a posteriori για ανακατασκευή εικόνας super-resolution. Ο εκτιμητής Tukey σε συνδυασμό με το BTV regularization, ο εκτιμητής Lorentzian σε συνδυασμό με το BTV regularization και ο εκτιμητής Huber συνδυασμένος με το BTV regularization είναι οι τρεις μέθοδοι που προτείνονται. Οι συγκεκριμένοι συνδυασμοί όρων, για την πραγματοποίηση ανακατασκευής εικόνας superresolution, είναι πρωτότυποι. Ακόμη, η απευθείας σύγκριση των τριών εκτιμητών Tukey, Lorentzian και Huber στην ανακατασκευή εικόνας super-resolution άρα στην απόρριψη outliers, η οποία οδηγεί σε επαλήθευση της θεωρίας εύρωστης στατιστικής, αποτελεί μία επιπρόσθετη πρωτότυπη συνεισφορά. Εκπονείται μία πρωτότυπη μελέτη η οποία εξετάζει την επίδραση που έχει κάθε ένας από τους όρους έκφρασης πιστότητας στα δεδομένα και regularization στη διαμόρφωση του αποτελέσματος της ανακατασκευής εικόνας super-resolution. Στη βιβλιογραφία έχει παρουσιαστεί ποικιλία μεθόδων για ανακατασκευή εικόνας super-resolution. Ωστόσο, δεν έχει ακόμη παρουσιαστεί καμία μελέτη η οποία να ασχολείται με την επιλογή μίας αποτελεσματικής μεθόδου super-resolution, ανάμεσα σε διάφορες υποψήφιες μεθόδους, για μία 6

19 Κεφάλαιο 1 Εισαγωγή δεδομένη ακολουθία εικόνων χαμηλής ανάλυσης. Τα συμπεράσματα που εξάγονται στη μελέτη της παρούσας διδακτορικής διατριβής βοηθούν στην παραπάνω επιλογή. Παρουσιάζεται μία νέα μέθοδος παρεμβολής σε εικόνα μέσω νευρωνικού δικτύου. Η τεχνική που παρουσιάζεται εξετάζει για πρώτη φορά το ζήτημα της σειράς της παρουσίασης των δεδομένων εκπαίδευσης στην είσοδο του νευρωνικού δικτύου Δημοσίευση επιστημονικών εργασιών Στη συνέχεια, παρατίθενται οι επιστημονικές εργασίες που έχουν δημοσιευθεί σε διεθνή περιοδικά ή πρακτικά διεθνών συνεδρίων στα πλαίσια της διδακτορικής διατριβής. Διεθνή Περιοδικά 1. A. Panagiotopoulou and V. Anastassopoulos, Scanned images resolution improvement using neural networks, Neural Computing and Applications, vol. 17, no. 1, pp , A. Panagiotopoulou and V. Anastassopoulos, Regularized super-resolution image reconstruction employing robust error norms, Optical Engineering, vol. 48, no. 11, pp to , 009. Πρακτικά Διεθνών Συνεδρίων 1. V. Tsagaris, A. Panagiotopoulou and V. Anastassopoulos, Interpolation in multispectral data using neural networks, Proceedings of SPIE, no. 10, vol. 5573, pp , A. Panagiotopoulou and V. Anastassopoulos, Super-resolution image reconstruction employing Kriging interpolation technique, Proceedings of IWSSIP 007 & EC-SIPMCS 007, pp , Maribor, Slovenia, A. Panagiotopoulou and V. Anastassopoulos, Super-resolution reconstruction of thermal infrared images, Proceedings of the 4 th WSEAS International Conference on Remote Sensing, pp , Venice, Italy, 008. Επίσης, στα πλαίσια της διδακτορικής διατριβής προέκυψαν οι ακόλουθες επιστημονικές εργασίες οι οποίες βρίσκονται στο στάδιο υποβολής για πιθανή δημοσίευση σε διεθνή περιοδικά: 1. A. Panagiotopoulou and V. Anastassopoulos, Scanner function modeling, submitted for possible publication in The Imaging Science Journal, October

20 Κεφάλαιο 1 Εισαγωγή. A. Panagiotopoulou and V. Anastassopoulos, Super-resolution image reconstruction techniques: Trade-offs between the data-fidelity and regularization terms, submitted for possible publication in Information Fusion, November Διάρθρωση της παρούσας διατριβής Το θέμα που πραγματεύεται η παρούσα διδακτορική διατριβή είναι μέθοδοι αύξησης της χωρικής ανάλυσης εικόνας. Είναι απαραίτητο να σημειωθεί πως σε αυτή τη διατριβή οι όροι βελτίωση και αύξηση της ανάλυσης χρησιμοποιούνται ως ισοδύναμοι και υποδηλώνουν τη δημιουργία εικόνας με υψηλότερη ανάλυση. Επίσης, ο όρος ανάλυση εικόνας αναφέρεται στη χωρική ανάλυση μίας εικόνας. Στο Κεφάλαιο παρουσιάζεται η έννοια της ανάλυσης εικόνας και τα φυσικά όρια που εμφανίζουν οι αισθητήρες σύλληψης εικόνων. Ο θόρυβος, το περιορισμένο δυναμικό εύρος και η περιορισμένη χωρική ανάλυση αποτελούν τέτοια όρια. Στο συγκεκριμένο κεφάλαιο παρουσιάζονται επίσης ορισμένες αποδοτικές τεχνικές για την επίλυση των προβλημάτων που δημιουργούν οι προαναφερθέντες περιορισμοί. Οι συγκεκριμένες τεχνικές, οι οποίες βασίζονται στην τεχνολογία επεξεργασίας σήματος, θεωρούν τους φυσικούς περιορισμούς ως σήματα που παράγονται από το σύστημα αίσθησης. Η αντιμετώπιση της περιορισμένης χωρικής ανάλυσης των εικόνων αποτελεί το αντικείμενο μελέτης της παρούσας διδακτορικής διατριβής. Παρουσίαση μεθόδων βελτίωσης της χωρικής ανάλυσης παραλείπεται από το Κεφάλαιο, καθώς τέτοιες μέθοδοι παρουσιάζονται εκτενώς στα Κεφάλαια 3-4, Το Κεφάλαιο 3 ασχολείται με τις τεχνικές παρεμβολής σε εικόνα. Οι τεχνικές αυτές στοχεύουν στην αύξηση της ανάλυσης μίας εικόνας. Ωστόσο, δεν κατορθώνουν να παράξουν τα κομμάτια υψηλών συχνοτήτων που χάθηκαν κατά τη δειγματοληψία χαμηλής ανάλυσης. Ε- πομένως, οι τεχνικές παρεμβολής εμφανίζουν περιορισμένες δυνατότητες αύξησης της ανάλυσης μίας εικόνας. Στο Κεφάλαιο 4 παρατίθενται θεωρητικές σημειώσεις σχετικά με την τεχνική της ανακατασκευής εικόνας super-resolution. Στόχος της συγκεκριμένης τεχνικής είναι η επανάκτηση πληροφορίας που περιέχουν οι υψηλές συχνότητες και η οποία έχει χαθεί ή φθαρεί κατά τη σύλληψη της εικόνας. Ουσιαστικά, οι αλγόριθμοι super-resolution προσπαθούν να ανακατασκευάσουν την εικόνα υψηλής ανάλυσης που έχει φθαρεί εξαιτίας των περιορισμών που παρουσιάζει το οπτικό σύστημα σύλληψης της εικόνας. Οι μέθοδοι ανακατασκευής super-resolution κατορθώνουν πιο καλή βελτίωση στην ανάλυση εικόνας από ό,τι οι μέθοδοι παρεμβολής. 8

21 Κεφάλαιο 1 Εισαγωγή Στο Κεφάλαιο 5 δίνονται στοιχεία για τους M-εκτιμητές θέσης. Οι M-εκτιμητές αποτελούν εύρωστα μέτρα σφάλματος. Οι εκτιμητές αυτοί ελαχιστοποιούν συναρτήσεις πιο γενικές από το άθροισμα των τετραγωνικών υπολοίπων. Αποδεικνύονται ιδιαίτερα αποτελεσματικοί στο χειρισμό δεδομένων που περιέχουν outliers. Κατά την πραγματοποίηση ανακατασκευής εικόνας super-resolution, η επίδραση των outliers πρέπει να ελαττωθεί. Μέλη της οικογένειας των Μ εκτιμητών μπορεί να αποτελέσουν υποψήφιες συναρτήσεις κόστους στη μορφοποίηση του προβλήματος της ανακατασκευής εικόνας super-resolution. Αναφορικά με το Κεφάλαιο 6, αυτό παραθέτει στοιχεία για τα τεχνητά νευρωνικά δίκτυα. Πρόκειται για δίκτυα νευρωνικών υπολογιστικών στοιχείων πολύπλοκα διασυνδεδεμένων. Παρουσιάζουν δυνατότητα α- νταπόκρισης σε ερεθίσματα εισόδου και εκμάθησης προσαρμογής στο περιβάλλον. Μπορεί να αποβούν αποτελεσματικοί υπολογιστικοί επεξεργαστές για ποικίλες εργασίες, μία από τις οποίες μπορεί να είναι η πραγματοποίηση παρεμβολής σε εικόνα. Αναφορικά με το Κεφάλαιο 7, πραγματοποιείται μοντελοποίηση της λειτουργίας ενός ψηφιοποιητή εικόνας. Τέσσερα μοντέλα, που υιοθετούν βαθυπερατό φιλτράρισμα και υποδειγματοληψία, χρησιμοποιούνται για την εξομοίωση της λειτουργίας του ψηφιοποιητή. Ένα φίλτρο μέσου όρου πεπερασμένης κρουστικής απόκρισης διαστάσεων 3 3 σε συνδυασμό με υποδειγματοληψία αποδεικνύεται το πιο κατάλληλο μοντέλο για εξομοίωση της λειτουργίας του ψηφιοποιητή εικόνας. Το συγκεκριμένο μοντέλο που προτείνεται εμφανίζει παρόμοια απόδοση με μοντέλα που έχουν προταθεί στη βιβλιογραφία για εξομοίωση της λειτουργίας του ψηφιοποιητή εικόνας. Ωστόσο, παρουσιάζει πολύ πιο απλή μορφή και δεν περιέχει παραμέτρους εξάρτησης από συγκεκριμένα χαρακτηριστικά λειτουργίας του ψηφιοποιητή. Το Κεφάλαιο 8 παρουσιάζει μία μέθοδο μη ομοιόμορφης παρεμβολής για ανακατασκευή εικόνας super-resolution. Η εκτίμηση της κίνησης ανάμεσα στις εικόνες χαμηλής ανάλυσης πραγματοποιείται μέσω ενός αλγόριθμου βασισμένου σε βαθμίδα. Η παρεμβολή Kriging χρησιμοποιείται για τη δόμηση του ομοιόμορφου πλέγματος υψηλής ανάλυσης. Η αποκατάσταση της εικόνας υψηλής ανάλυσης που προκύπτει πραγματοποιείται μέσω περιοδικών διαδικασιών αποσυνέλιξης, χρησιμοποιώντας δύο διαφορετικά φίλτρα. Η καινοτομία της μεθόδου που παρουσιάζεται έγκειται στη χρήση της παρεμβολής Kriging για το σχηματισμό του ομοιόμορφου πλέγματος υψηλής ανάλυσης, έπειτα από το registration των εικόνων χαμηλής ανάλυσης. Στο Κεφάλαιο 9 αναπτύσσονται τρεις μέθοδοι για ανακατασκευή εικόνας super-resolution regularized. Οι εκτιμητές Tukey, Lorentzian και Huber χρησιμοποιούνται για τον όρο που εκφράζει πιστότητα στα δεδομένα. To bilateral TV regularization χρησιμοποιείται για τον όρο regularization. Οι τρεις προτεινόμενες μέθοδοι συγκρίνονται με μία μέθοδο της βιβλιογραφί- 9

22 Κεφάλαιο 1 ας, η οποία χρησιμοποιεί τον εκτιμητή L 1 Εισαγωγή για τον όρο που εκφράζει πιστότητα στα δεδομένα. Τα πειραματικά αποτελέσματα οδηγούν σε επαλήθευση της θεωρίας εύρωστης στατιστικής. Οι τρεις προτεινόμενοι συνδυασμοί όρων εκτιμητής Tukey με BTV regularization, εκτιμητής Lorentzian με BTV regularization, καθώς και εκτιμητής Huber με BTV regularization για α- νακατασκευή εικόνας super-resolution είναι πρωτότυποι. Μία πρόσθετη καινοτομία αποτελεί η άμεση σύγκριση των τριών προαναφερθέντων εκτιμητών στην πραγματοποίηση ανακατασκευής εικόνας super-resolution. Στο Κεφάλαιο 10 μελετάται η επίδραση των όρων έκφρασης πιστότητας στα δεδομένα και regularization στη διαμόρφωση του τελικού αποτελέσματος της ανακατασκευής εικόνας super-resolution. Η συγκεκριμένη επίδραση θεωρείται συναρτήσει της παρουσίας ή απουσίας θορύβου από την ακολουθία των εικόνων χαμηλής ανάλυσης. Τα συμπεράσματα που προκύπτουν στην πράξη μπορούν να βοηθήσουν στην επιλογή μίας αποτελεσματικής μεθόδου super-resolution, δεδομένης μίας συγκεκριμένης ακολουθίας εικόνων χαμηλής ανάλυσης. Στη βιβλιογραφία έχει παρουσιαστεί πληθώρα μεθόδων για την πραγματοποίηση ανακατασκευής εικόνας super-resolution. Ωστόσο, δεν έχει παρουσιαστεί καμία μελέτη που να εξετάζει την επιλογή μίας αποδοτικής μεθόδου super-resolution, ανάμεσα σε διάφορες υποψήφιες μεθόδους, για μία δεδομένη ακολουθία εικόνων χαμηλής ανάλυσης. Στο Κεφάλαιο 11 αναπτύσσεται μία τεχνική παρεμβολής σε εικόνα, που προέρχεται από ψηφιοποιητή, μέσω νευρωνικού δικτύου. Ο ψηφιοποιητής εικόνας παρέχει όλα τα δεδομένα εισόδου-εξόδου που είναι απαραίτητα για την εκπαίδευση του δικτύου, με στόχο το δίκτυο να μάθει το PSF του ψηφιοποιητή. Η καινοτομία της μεθόδου έγκειται στη σειρά παρουσίασης στο νευρωνικό δίκτυο των εικόνων διαφορετικής ανάλυσης που χρησιμοποιούνται στη διαδικασία εκπαίδευσης. Δεν έχει εμφανιστεί ξανά στη βιβλιογραφία παρόμοια μελέτη που να εξετάζει τη σημασία που παρουσιάζει η σειρά στην ανάλυση των εικόνων, κατά την παρουσίαση των δεδομένων εκπαίδευσης σε ένα νευρωνικό δίκτυο. Τα συμπεράσματα της παρούσας διατριβής εξάγονται στο Κεφάλαιο 1. 10

23 Κεφάλαιο 1 Εισαγωγή ΒΙΒΛΙΟΓΡΑΦΙΑ [1] S. Chaudhuri, Super-Resolution Imaging, Kluwer Academic Publishers, 001. [] S. C. Park, M. K. Park and M. G. Kang, Super-resolution image reconstruction: A technical overview, IEEE Signal Processing Magazine, vol. 0, pp. 1-36, 003. [3] T. Lehmann, C. Gonner and K. Spitzer, Survey: Interpolation methods in medical image processing, IEEE Transactions on Medical Imaging, vol. 18, no. 11, pp , [4] J. Go, K. Sohn and Ch. Lee, Interpolation using neural networks for digital still cameras, IEEE Transactions on Consumer Electronics, vol. 46, no. 3, pp , 000. [5] S. Skoneczny and J. Szostakowski, Classical and neural methods of image sequence interpolation, Proceedings of SPIE, vol. 4535, pp , 001. [6] E. Salari and S. Zhang, Integrated recurrent neural network for image resolution enhancement from multiple image frames, Proceedings of IEE, vol. 150, pp , 003. [7] M. del C. Valdes and M. Inamura, Spatial resolution improvement of a low spatial resolution thermal infrared image by backpropagated neural networks, IEICE Transactions on Information and Systems, vol. E81-D, no. 8( ), pp , [8] M. del C. Valdes and M. Inamura, Spatial resolution improvement of remotely sensed images by a fully interconnected neural network approach, IEEE Transactions on Geoscience and Remote Sensing, vol. 38, no. 5, pp , 000. [9] F. Ahmed, S. C. Gustafson and M. A. Karim, Image interpolation with adaptive receptive field-based Gaussian radial basis functions, Microwave and Optical Technology Letters, vol. 13, no. 4, pp , [10] N. Plaziac, Image interpolation using neural networks, IEEE Transactions on Image Processing, vol. 8, no. 11, pp , [11] C. A. Davila and B. R. Hunt, Superresolution of binary images with a nonlinear interpolative neural network, Applied Optics, vol. 39, no. 14, pp , 000. [1] D. Sekiwa and A. Taguchi, Enlargement of digital images by using multi-neural networks, Electronics and Communication in Japan, vol. 84, no. 11, pp , 001. [13] F. Pan and L. Zhang, New image super-resolution scheme based on residual error restoration by neural networks, Optical Engineering, vol. 4, no. 10, pp , 003. [14] H. Hu, P. M. Hofman and G. Haan, Image interpolation using classification-based neural networks, IEEE International Symposium on Consumer Electronics, vol. 1, pp ,

24 Κεφάλαιο 1 Εισαγωγή [15] H.-C. Pu, C.-T. Lin, S-F Liang and N. Kumar, A novel neural-network-based image resolution enhancement, IEEE International Conference on Fuzzy Systems, vol., pp , 003. [16] M. Collins and M. Jong, Neuralizing target superresolution algorithms, IEEE Geoscience and Remote Sensing Letters, vol. 1, no. 4, pp , 004. [17] M. N. Ahmed, B. E. Cooper and S. T. Love, Document resizing using a multi-layer neural network, NIP17: International Conference on Digital Printing Technologies, pp , 001. [18] S. Farsiu, M. D. Robinson, M. Elad and P. Milanfar, Fast and Robust Multiframe Super-Resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp , 004. [19] L. C. Pickup, S. J. Roberts and A. Zisserman, A Sampled Texture Prior for Image Super-Resolution, Advances in Neural Information Processing Systems Conference, 004. [0] V. Patanavijit and S. Jitapunkul, A Robust Iterative Multiframe Super-Resolution Reconstruction using a Huber-Bayesian Approach with Huber-Tikhonov Regularization, IS- PACS, pp , 006. [1] V. Patanavijit and S. Jitapunkul, An Iterative Super-Resolution Reconstruction of Image Sequences using a Bayesian Approach with BTV prior and Affine Block-Based Registration, Proceedings of The 3 rd Canadian Conference on Computer and Robot Vision, vol. 00, p. 45, 006. [] V. Patanavijit and S. Jitapunkul, An iterative super-resolution reconstruction of image sequences using a Bayesian approach and affine block-based registration, EUSIPCO 006, 006. [3] V. Patanavijit and S. Jitapunkul, An Iterative Super-Resolution Reconstruction of Image Sequences using Affine Block-Based Registration, Proceedings of the 006 International Conference on Wireless Communications and Mobile Computing, pp , 006. [4] V. Patanavijit, P. Sermwuthisarn and S. Jitapunkul, A robust iterative super-resolution reconstruction of image sequences using a Tukey s biweigth Bayesian approach with fast affine block-based registration, IEEE International Conference on Multimedia and Expo, pp , 007. [5] V. Patanavijit and S. Jitapunkul, A Lorentzian Stochastic Estimation for a Robust Iterative Multiframe Super-Resolution Reconstruction with Lorentzian-Tikhonov Regularization, EURASIP Journal on Advances in Signal Processing, vol. 007, pp. 1-1,

25 Κεφάλαιο 1 Εισαγωγή [6] V. Tsagaris, A. Panagiotopoulou and V. Anastassopoulos, Interpolation in multispectral data using neural networks, Proceedings of SPIE, vol. 5573, pp , 004. [7] A. Panagiotopoulou and V. Anastassopoulos, Scanned images resolution improvement using neural networks, Neural Computing and Applications, vol. 17, no. 1, pp , 008. [8] A. Panagiotopoulou and V. Anastassopoulos, Super-resolution image reconstruction employing Kriging interpolation technique, Proceedings of IWSSIP 007 & EC-SIPMCS 007, Maribor, Slovenia, pp , 007. [9] A. Panagiotopoulou and V. Anastassopoulos, Super-Resolution Reconstruction of Thermal Infrared Images, Proceedings of the 4 th WSEAS International Conference on Remote Sensing, pp , Venice, Italy, 008. [30] A. Panagiotopoulou and V. Anastassopoulos, Regularized super-resolution image reconstruction employing robust error norms, Optical Engineering, vol. 48, no. 11, pp to , 009. [31] A. Panagiotopoulou and V. Anastassopoulos, Super-resolution image reconstruction techniques: Τrade-offs between the data-fidelity and regularization terms, submitted for possible publication in Information Fusion, November 009. [3] S. Chandra, M. Petrou and R. Piroddi, Texture Interpolation Using Ordinary Kriging [Book Chapter], Pattern Recognition and Image Analysis, Springer-Verlag Berlin Heidelberg, vol. 353, pp , 005. [33] R. E. Rossi, J. L. Dungan and L. R. Beck, Kriging in the Shadows: Geostatistical Interpolation for Remote Sensing, Remote Sensing of Environment, vol. 49, no. 1, pp. 3-40, [34] A. M. Tekalp, Digital video processing, Prentice-Hall, United States of America, [35] A. Panagiotopoulou and V. Anastassopoulos, Scanner function modeling, submitted for possible publication in The Imaging Science Journal, October 009. [36] M. Elad, Example-based prior for super-resolution, International Conference on Super- Resolution Imaging, 005. [37] H. He and L. P. Kondi, Choice of threshold of the Huber-Markov prior in map-based video resolution enhancement, Canadian Conference on Electrical and Computer Engineering, vol., pp , 004. [38] P. P. B. Eggermont, Maximum Entropy Regularization for Fredholm Integral equations of the first kind, SIAM Journal on Mathematical Analysis, vol. 4, no. 6, pp ,

26 Κεφάλαιο Ανάλυση εικόνας και φυσικά όρια των αισθητήρων σύλληψης εικόνων ΚΕΦΑΛΑΙΟ ΑΝΑΛΥΣΗ ΕΙΚΟΝΑΣ ΚΑΙ ΦΥΣΙΚΑ ΟΡΙΑ ΤΩΝ ΑΙΣΘΗΤΗΡΩΝ ΣΥΛΛΗΨΗΣ ΕΙΚΟΝΩΝ.1. Εισαγωγή Η αντίληψη των σκηνών είναι μία σημαντική και απαραίτητη λειτουργία για τους ανθρώπους προκειμένου να κατανοήσουν τον κόσμο γύρω τους, αλλά και να επικοινωνήσουν μεταξύ τους. Η συγκεκριμένη οπτική αντίληψη καθίσταται δυνατή μέσω των οργάνων των ματιών. Οι αισθητήρες σύλληψης εικόνας παρέχουν στους ηλεκτρονικούς υπολογιστές και τις ηλεκτρονικές μηχανές την ικανότητα που παρέχουν τα μάτια στους ανθρώπους. Αισθητήρες σύλληψης εικόνας Charge-Coupled-Device (CCD) και Complementary Metal-Oxide- Semiconductor (CMOS) χρησιμοποιούνται ευρέως για διάφορους σκοπούς. Τέτοιοι αισθητήρες συναντώνται σε ιατρική τομογραφία, βιομηχανικά συστήματα παρακολούθησης, συστήματα επίβλεψης, συστήματα μηχανικής όρασης, επιστημονικές ερευνητικές εφαρμογές, αλλά και εφαρμογές που αφορούν τον καταναλωτή [1]. Οι αισθητήρες CCD και CMOS, παρά το γεγονός ότι χρησιμοποιούνται ευρέως και εμφανίζουν καταλληλότητα για τις περισσότερες εφαρμογές που σχετίζονται με εικόνα, παρουσιάζουν φυσικούς περιορισμούς. Κατ αρχήν, μία εικόνα που λαμβάνεται από τους προαναφερθέντες αισθητήρες ενδέχεται να περιέχει θόρυβο. Ο συγκεκριμένος θόρυβος προέρχεται από ποικίλες πηγές και δημιουργείται μέσα στους αισθητήρες σύλληψης εικόνας. Κατηγοριοποιείται κυρίως σε θόρυβο φωτονίων, θερμικό θόρυβο και θόρυβο ανάγνωσης. Το περιορισμένο δυναμικό εύρος αποτελεί ένα άλλο πρόβλημα στη διαδικασία σύλληψης μίας εικόνας μέσω αισθητήρων CCD και CMOS. Το εύρος της έντασης του φωτός των φυσικών σκηνών είναι πολύ μεγάλο. Το δυναμικό εύρος όμως ενός αισθητήρα σύλληψης εικόνας είναι περιορισμένο. Όταν συλλαμβάνεται μία εικόνα που παρουσιάζει μεγάλο εύρος έντασης φωτός, το οποίο υπερβαίνει το δυναμικό εύρος του αισθητήρα σύλληψης, θα χαθεί 14