Abstract Εισαγωγή Βασικές Έννοιες Θεωρητική Ανάλυση της Super Resolution Ανακατασκευής Ιστορική Αναδρομή...

Transcript

1

2 Πίνακας Περιεχομένων Abstract Εισαγωγή Βασικές Έννοιες Θεωρητική Ανάλυση της Super Resolution Ανακατασκευής Ιστορική Αναδρομή Super Resolution Τεχνικές Το μοντέλο παρατήρησης Μέθοδοι Super Resolution Interpolation-restoration (Παρεμβολή και Αποκατάσταση): Μη επαναληπτικές προσεγγίσεις Στατιστικές προσεγγίσεις Προσέγγιση βάσει Παραδειγμάτων Σύνολα θεωρητικής ανακατασκευής Εφαρμογές της Super Resolution Ανακατασκευής Οι κύριες προκλήσεις της Super Resolution Ανακατασκευής Καταχώρηση της εικόνας Υπολογιστική Αποδοτικότητα Θέματα Ευρωστίας Όρια Απόδοσης Super Resolution χωρίς πολλαπλές εικόνες χαμηλής ανάλυσης και Dictionary-Based Μέθοδοι Image Super-Resolution via Sparse Representation Εκπαίδευση του Ζεύγους Λεξικών Θεωρητική Περιγραφή Αλγοριθμική περιγραφή Το Στάδιο της Ανακατασκευής Θεωρητική Περιγραφή

3 Αλγοριθμική Περιγραφή Πειραματικά Αποτελέσματα και Σχολιασμός Ανάκτηση Υψηλής Ευκρίνειας με χρήση Διπλού Λεξικού Γενική Ιδέα Κανονικοποίηση των patches Εκπαίδευση του διπλού λεξικού Στάδιο ανακατασκευής Πειραματικά αποτελέσματα και σχολιασμός Σύγκριση των δυο μεθόδων και συμπεράσματα Αναφορές

4 Abstract Οι Super Resolution τεχνικές έχουν στόχο την ανακατασκευή μιας εικόνας υψηλής ανάλυσης από μια ή πολλαπλές εικόνες χαμηλής ανάλυσης. Η παρούσα εργασία εστιάζει στην Super Resolution ανακατασκευή χωρίς πολλαπλές εικόνες χαμηλής ανάλυσης (single frame Super Resolution) και ιδιαίτερα στην περίπτωση, όπου για τη διαδικασία ανακατασκευής χρησιμοποιείται ένα ζεύγος συζευγμένων λεξικών. Αρχικά, αναλύεται μια ήδη υπάρχουσα μέθοδος, η οποία για κάθε είσοδο χαμηλής ανάλυσης αναζητά τη sparse αναπαράσταση της μέσω ενός ζεύγους λεξικών και έπειτα χρησιμοποιεί τους συντελεστές αυτής της αναπαράστασης για να δημιουργήσει την έξοδο υψηλής ανάλυσης. Στη συνέχεια, προτείνεται μια νέα μέθοδος Super Resolution η οποία για την ανακατασκευή της υψηλής ανάλυσης χρησιμοποιεί ένα διπλό λεξικό το οποία περιέχει πληροφορία αποκλειστικά από την εικόνα εισόδου χαμηλής ανάλυσης. Τέλος, οι δυο μέθοδοι ελέγχονται πειραματικά και γίνεται σύγκριση των αποτελεσμάτων που προκύπτουν. Super Resolution techniques aim to reconstruct a high resolution image using a single or multiple low resolution images. In this thesis we focus on Super Resolution reconstruction without multiple images (single frame Super Resolution) and particularly in the case where a pair of conjugated dictionaries is used for the reconstruction process. First, an already existing method is reviewing this method seeks a sparse representation for each low resolution input, from a dictionary pair and then uses the coefficients of this representation to generate the high-resolution output. Then, a new Super Resolution method is proposed. This method uses a double dictionary that contains information exclusively from the low resolution input, to reconstruct the high resolution output. Finally, the two methods are tested experimentally and their results are compered. 4

5 1. Εισαγωγή Έχουν ήδη περάσει πάνω από τέσσερις δεκαετίες από τις πρώτες προσπάθειες επεξεργασίας και προβολής των εικόνων από τον υπολογιστή. Με γνώμονα το γεγονός ότι η πλειοψηφία της πληροφορίας που λαμβάνει ένας άνθρωπος είναι οπτική, θεωρήθηκε ότι η επιτυχής ολοκλήρωση της ικανότητας επεξεργασίας οπτικών πληροφοριών σε ένα σύστημα θα συνέβαλε στην ενίσχυση της συνολικής ισχύος επεξεργασίας πληροφοριών. Σήμερα, οι τεχνικές επεξεργασίας εικόνας, αποτελούν ακόμα ένα ανοιχτό πεδίο έρευνας και εφαρμόζονται σε μια ευρεία ποικιλία τομέων. Στις περισσότερες εφαρμογές ψηφιακής απεικόνισης είναι αναγκαία η χρήση εικόνων ή βίντεο υψηλής ανάλυσης. Η ανάλυση της εικόνας (image resolution) περιγράφει τις λεπτομέρειες που περιέχονται σε μια εικόνα όσο υψηλότερη είναι η ανάλυση της εικόνας τόσο περισσότερες λεπτομέρειες μπορούν να καταγραφούν. Η ανάλυση μιας εικόνας περιορίζεται από το εκάστοτε σύστημα απεικόνισης, όπως είναι οι αισθητήρες και τα οπτικά μέσα. Είναι γεγονός, ότι οι τεχνικές απεικόνισης αναπτύχθηκαν ραγδαία τις τελευταίες δεκαετίες και η ανάλυση έχει φτάσει σε νέο επίπεδο. Τίθεται λοιπόν το ερώτημα: απαιτούνται ακόμη τεχνικές βελτίωσης της ανάλυσης εικόνας; Σήμερα, οι συσκευές συζευγμένου φορτίου (CCD) και οι συμπληρωματικοί ημιαγωγοί οξειδίων μετάλλων (CMOS) είναι οι πιο ευρέως χρησιμοποιούμενοι αισθητήρες εικόνας. Για να αποκτήσουμε μια υψηλής ανάλυσης εικόνα, μία λύση είναι να αναπτυχθούν πιο προηγμένες οπτικές συσκευές. Ωστόσο, η κατασκευή αισθητήρων και οπτικών εξαρτημάτων για την καταγραφή πολύ υψηλής ανάλυσης εικόνων είναι απαγορευτικά ακριβή και μη εφαρμόσιμη στις περιπτώσεις ανάγκης βελτίωσης ήδη υπαρχόντων από το παρελθόν εικόνων. Ένας άλλος τρόπος για να αντιμετωπιστεί το πρόβλημα της ανάλυσης της εικόνας είναι η χρήση τεχνικών επεξεργασίας σήματος ή machine-learning τεχνικών για την μετάεπεξεργασία των ληφθέντων εικόνων. Με τις μεθόδους αυτές, μπορούμε να υπερβούμε το όριο των δεδομένων εικόνων χαμηλής ανάλυσης, αντί να βελτιώσουμε τις συσκευές. Οι τεχνικές αυτές αναφέρονται ποιο ειδικά ως Super Resolution (SR) Ανακατασκευή. H Super Resolution ανακατασκευή από όταν αρχικά προτάθηκε μέχρι και σήμερα συνεχίζει να αποτελεί ενεργό πεδίο έρευνας, επειδή υπόσχεται να επεκτείνει τα όρια της ανάλυσης του απεικονιστικού συστήματος και να βελτιώσει την επίδοση πολλών εφαρμογών επεξεργασίας εικόνας. Είναι ιδιαίτερα χρήσιμη σε πολλές πρακτικές εφαρμογές ειδικά σε τομείς όπως τα βίντεο καμερών ασφαλείας, οι ιατρικές διαγνώσεις καθώς και σε εφαρμογές τηλεανίχνευσης. 5

6 Στη συγκεκριμένη εργασία θα γίνει αρχικά μια θεωρητική ανάλυση της Super Resolution Ανακατασκευής, δηλαδή θα παρουσιαστεί η ιστορική της εξέλιξη, θα αναφερθούν και θα αναλυθούν κάποιες από τις βασικές τεχνικές SR που χρησιμοποιούνται, καθώς και τα πεδία εφαρμογής στα οποία αφορά. Στη συνέχεια, θα αναλυθεί μια συγκεκριμένη Super Resolution υλοποίηση η οποία βασίζεται στη sparse αναπαράσταση εικόνας (θα εξηγηθεί εκτενώς στη συνέχεια), και θα σχολιαστούν τα συμπεράσματα που προκύπτουν από αυτή. Τέλος, θα προταθεί μια νέα μέθοδος για Super Resolution Ανακατασκευή η οποία βασίζεται στην αύξηση της ευκρίνειας μια εικόνας με χρήση διπλού λεξικού. Τα αποτέλεσμα που θα προκύψουν από τις δυο μεθόδους θα συγκριθούν με στόχο την εξαγωγή συνολικών συμπερασμάτων. Για το πειραματικό μέρος της εργασίας χρησιμοποιήθηκε το περιβάλλον Matlab. Η εργασία αυτή πραγματοποιήθηκε με την πολύτιμη βοήθεια και την αμέριστη συμπαράσταση, του υποψήφιου διδάκτορα του Α.Π.Θ, Κωνσταντίνου Κωνσταντουδάκη. 6

7 2. Βασικές Έννοιες Στο κεφάλαιο αυτό θα γίνει μια σύντομη περιγραφή βασικών εννοιών που θα αναφερθούν στη συνέχεια του κειμένου. Πρόκειται για όρους και ορισμούς που προέρχονται είτε από το πεδίο της επεξεργασίας εικόνας, είτε από το πεδίο των μαθηματικών και κρίνεται σκόπιμο να γίνουν κατανοητοί πριν αναφερθούν στο κυρίως μέρος του κειμένου και χρησιμοποιηθούν για την ανάλυση άλλων πιο πολύπλοκων εννοιών και μεθόδων. Ανάλυση Εικόνας Η ανάλυση είναι συχνά ένας συγκεχυμένος όρος, ως προς την περιγραφή των χαρακτηριστικών μιας εικόνας, καθώς έχει έναν μεγάλο αριθμό ανταγωνιστικών ορισμών. Στην απλούστερη μορφή της, η ανάλυση εικόνας ορίζεται ως η μικρότερη ευδιάκριτη ή μετρήσιμη λεπτομέρεια σε μια οπτική παρουσίαση. Οι ερευνητές της οπτικής καθορίζουν την ανάλυση από την άποψη της συνάρτησης μεταφοράς διαμόρφωσης (MTF) που υπολογίζεται ως μέτρο ή μέγεθος της συνάρτησης οπτικής μεταφοράς (OTF). Η συνάρτηση μεταφοράς διαμόρφωσης χρησιμοποιείται όχι μόνο για να δώσει ένα όριο ανάλυσης σε ένα μόνο σημείο, αλλά και για να χαρακτηρίσει την απόκριση του οπτικού συστήματος σε μια αυθαίρετη είσοδο. Από την άλλη πλευρά, οι ερευνητές της ψηφιακής επεξεργασίας εικόνας χρησιμοποιούν τον ορισμό της έννοιας ανάλυση με τρεις διαφορετικούς τρόπους. Χωρική ανάλυση, η οποία αναφέρεται στην απόσταση των pixels σε μια εικόνα και μετράται σε pixels ανά ίντσα (ppi). Όσο υψηλότερη είναι η χωρική ανάλυση, τόσο μεγαλύτερος είναι ο αριθμός των pixels στην εικόνα. Αυτό επιτρέπει περισσότερες λεπτομέρειες και λεπτές μεταβάσεις χρωμάτων σε μια εικόνα. Η χωρική ανάλυση μιας συσκευής προβολής εκφράζεται συχνά σε όρους κουκίδων (dots) ανά ίντσα (dpi) και αναφέρεται στο μέγεθος των επιμέρους σημείων που δημιουργούνται από τη συσκευή. Ανάλυση φωτεινότητας, η οποία αναφέρεται στον αριθμό των επιπέδων φωτεινότητας που μπορούν να καταγραφούν σε οποιοδήποτε pixel. Αυτό σχετίζεται με την ποσοτικοποίηση της φωτεινής ενέργειας που συλλέγεται σε ένα στοιχείο συσκευής συζευγμένου φορτίου (CCD). Ένας πιο κατάλληλος όρος για αυτό είναι το επίπεδο κβαντισμού. Η ανάλυση φωτεινότητας για μονόχρωμες εικόνες είναι 7

8 συνήθως 256 υποδηλώνοντας ότι ένα επίπεδο αντιπροσωπεύεται από 8 bits. Για πλήρεις έγχρωμες εικόνες χρησιμοποιούνται τουλάχιστον 24 bits για να αντιπροσωπεύουν ένα επίπεδο φωτεινότητας, δηλ. 8 bits ανά επίπεδο χρώματος (κόκκινο, πράσινο, μπλε). Χρονική ανάλυση, η οποία αναφέρεται στον αριθμό των πλαισίων που έχουν ληφθεί ανά δευτερόλεπτο και είναι επίσης κοινώς γνωστή ως ρυθμός πλαισίων. Σχετίζεται με το μέγεθος της αισθητής κίνησης μεταξύ των πλαισίων. Υψηλότερος ρυθμός πλαισίων έχει ως αποτέλεσμα μικρότερο θόλωμα λόγω κίνησης στη σκηνή. Το κατώτερο όριο της χρονικής ανάλυσης είναι άμεσα ανάλογο με την αναμενόμενη κίνηση κατά τη διάρκεια δύο επόμενων πλαισίων. Ο τυπικός ρυθμός πλαισίων που είναι κατάλληλος για ένα σωστό οπτικό αποτέλεσμα είναι περίπου 25 πλαίσια ανά δευτερόλεπτο ή παραπάνω [1]. Από εδώ και στο εξής, στο παρόν έγγραφο ο όρος ανάλυση θα αναφέρεται αναμφισβήτητα στη χωρική ανάλυση της εικόνας. Χωρική Συχνότητα στην Εικόνα Η χωρική συχνότητα είναι χαρακτηριστικό κάθε περιοδικής δομής στο χώρο. Η χωρική συχνότητα μετρά πόσο συχνά είναι τα ημιτονοειδή συστατικά (όπως προσδιορίζονται από το μετασχηματισμό Fourier) της επαναλαμβανόμενης δομής ανά μονάδα απόστασης. Η χωρική συχνότητα στην εικόνα αναφέρεται στο επίπεδο λεπτομέρειας που υπάρχει σε ένα ερέθισμα ανά βαθμό οπτικής γωνίας. Μια σκηνή με μικρές λεπτομέρειες και αιχμηρές ακμές περιέχει περισσότερες πληροφορίες με υψηλές χωρικές συχνότητες από μια άλλη που αποτελείται από μεγάλα χονδροειδή ερεθίσματα. Με άλλα λόγια σε μια εικόνα οι υψηλές συχνότητες συγκεντρώνονται στα σημεία που υπάρχουν ακμές (έντονες αλλαγές της σκηνής), ενώ οι χαμηλές συχνότητες αποτελούν το φόντο και τα σημεία της εικόνας που δεν εμφανίζουν αλλαγές, όπως μεγάλα αντικείμενα. Κάτι τέτοιο, γίνεται εύκολα αντιληπτό στις Εικόνες 1(α-γ) στις οποίες φαίνεται πώς το φιλτράρισμα των χωρικών συχνοτήτων επηρεάζει μια εικόνα. Στην Εικόνα 1β όπου οι υψηλές συχνότητες έχουν αφαιρεθεί παρατηρείται ότι δεν υπάρχουν έντονες αλλαγές στην εικόνα, σε αντίθεση με την Εικόνα 1γ, όπου φαίνονται μονάχα οι ακμές αφού οι χαμηλές συχνότητες έχουν αφαιρεθεί. 8

9 Εικόνα 1 - (α) κανονική εικόνα, (β) εικόνα χωρίς τις υψηλές συχνότητες, (γ) εικόνα χωρίς τις χαμηλές συχνότητες Εκτίμηση Κίνησης ή Καταχώρηση Εικόνας (Motion Estimation or Image Registration) Η εκτίμηση κίνησης είναι η διαδικασία καθορισμού των διανυσμάτων κίνησης που περιγράφουν τη μετατροπή από μία εικόνα δυο διαστάσεων σε μια άλλη, συνήθως από γειτονικά πλαίσια σε μια ακολουθία βίντεο. Τα διαδοχικά πλαίσια βίντεο ενδέχεται να περιέχουν τα ίδια αντικείμενα (ακίνητα ή κινούμενα). Η διαδικασία εκτίμησης κίνησης εξετάζει την κίνηση των αντικειμένων αυτών σε μια ακολουθία εικόνων, για να προσπαθήσει να βρει διανύσματα που αντιπροσωπεύουν την εκτιμώμενη κίνηση. Χρησιμοποιώντας ένα μοντέλο κίνησης αντικειμένων μεταξύ πλαισίων, ένας κωδικοποιητής εκτιμά την κίνηση που συνέβη μεταξύ ενός πλαισίου αναφοράς και του τρέχοντος πλαισίου. Υπάρχουν διάφορες μέθοδοι εκτίμησης κίνησης. Για παράδειγμα, οι αναδρομικές μέθοδοι pixel (recursive-pixel) επιτρέπουν τον υπολογισμό των διανυσμάτων κίνησης για κάθε ξεχωριστό pixel. Αξίζει επίσης να αναφερθεί η τεχνική Συσχέτισης Φάσης (Phase Plane Correlation), η οποία δημιουργεί διανύσματα κίνησης με βάση τη συσχέτιση του τρέχοντος πλαισίου με το πλαίσιο αναφοράς. Ωστόσο, ο πιο δημοφιλής αλγόριθμος είναι ο αλγόριθμος Αντιστοίχισης Μπλοκ (Block Matching Algorithm ή BMA). Ο αλγόριθμος Αντιστοίχισης Μπλοκ υπολογίζει το διάνυσμα κίνησης όχι για χωριστά pixels, αλλά για μπλοκ από pixel. Τα αντικείμενα σε ένα βίντεο είναι στην πραγματικότητα ομάδες pixel, επομένως τα pixels μέσα στο μπλοκ έχουν τελικά το ίδιο διάνυσμα κίνησης. Αυτό συμβάλλει στη σημαντική μείωση της υπολογιστικής πολυπλοκότητας και στην επίτευξη ακριβέστερων αποτελεσμάτων. Στην Σχήμα 1 φαίνεται μια απεικόνιση του αλγορίθμου Αντιστοίχισης Μπλοκ. 9

10 διάνυσμα κίνησης τρέχον block block αναφοράς πλάισιο αναφοράς τρέχον πλάισιο Σχήμα 1 - Εκτίμηση Κίνησης Τρόποι Μέτρησης της Ποιότητας μιας εικόνας Συχνά αναφέρεται στη βιβλιογραφία, ότι ο τελικός κριτής για την ποιότητα μια εικόνας είναι η ανθρώπινη όραση. Παρόλα αυτά έχουν γίνει προσπάθειες να δημιουργηθούν αντικειμενικές μετρικές ποιότητας της εικόνας. Τρεις από αυτές, οι οποίες θα αναφερθούν πολλές φορές στη συνέχεια του κειμένου, είναι το MSE, το PSNR και το SSIM. MSE (Mean Square Error): Στη στατιστική, το μέσο τετραγωνικό σφάλμα (MSE) ενός εκτιμητή, μετρά το μέσο όρο των τετραγώνων των σφαλμάτων ή αποκλίσεων, δηλαδή τη διαφορά μεταξύ του εκτιμητή και της εκτιμώμενής ποσότητας. Το MSE είναι ένα μέτρο της ποιότητας του εκτιμητή. Ως μετρητής της ποιότητας μιας εικόνας, υπολογίζει το σφάλμα μεταξύ της εκτιμώμενης εικόνας με την πραγματική εικόνα της οποίας επιθυμείται η προσέγγιση. PSNR (Peak Signal-to-Noise Ratio): To PSNR λειτουργεί υπολογίζοντας πρώτα το μέσο τετραγωνικό σφάλμα και στη συνέχεια διαιρώντας το μέγιστο εύρος του τύπου των δεδομένων με το MSE. Εκφράζει την αναλογία μεταξύ της μέγιστης δυνατής ισχύος ενός σήματος και της ισχύος του θορύβου που επηρεάζει την πιστότητα της παράστασης και είναι λογαριθμικό μέγεθος. Αυτός ο δείκτης μέτρησης ενώ είναι εύκολος στον υπολογισμό, μερικές φορές δεν «ευθυγραμμίζεται» καλά με την αντιληπτή ποιότητα από τον άνθρωπο. 10

11 SSIM (Structural Similarity): Το SSIM είναι ένας δείκτης μέτρησης ποιότητας που λειτουργεί μέσω της μέτρηση της δομικής ομοιότητας, δηλαδή συγκρίνει τοπικά πρότυπα των εντάσεων των pixels τα οποία έχουν κανονικοποιηθεί για φωτεινότητα και αντίθεση χρησιμοποιώντας ως αναφορά μια αρχική ασυμπίεστη ή χωρίς παραμόρφωση εικόνα. Αυτός ο τρόπος μέτρησης ποιότητας βασίζεται στην αρχή ότι το ανθρώπινο οπτικό σύστημα είναι καλό για την εξαγωγή πληροφοριών με βάση τη δομή. Παίρνει τιμές από 0 μέχρι 1 (0 για εικόνες χωρίς κανένα κοινό στοιχείο και 1 για πανομοιότυπες εικόνες). Sparsity (Αραιότητα) Ένα αραιό στατιστικό μοντέλο περιλαμβάνει μόνο έναν μικρό αριθμό μη μηδενικών παραμέτρων ή βαρών. Ένα αραιό μοντέλο είναι συνήθως πιο εύκολο να εκτιμηθεί και να ερμηνευθεί από ένα πυκνό (dense) μοντέλο. Σε αυτή την εποχή που ο όγκος δεδομένων είναι τεράστιος, ο αριθμός των μετρούμενων χαρακτηριστικών σε ένα αντικείμενο μπορεί να είναι πολύ μεγάλος, ακόμα μεγαλύτερος και από τον αριθμό των παρατηρήσεων. Η υπόθεση της αραιότητας επιτρέπει την αντιμετώπιση τέτοιων προβλημάτων και να την εξαγωγή χρήσιμων πρότυπα από μεγάλα σύνολα δεδομένων [2]. Στην αριθμητική ανάλυση ένας sparse (αραιός) πίνακας, είναι ένας πίνακας στον οποίο τα περισσότερα από τα στοιχεία του είναι μηδέν. Ο αριθμός στοιχείων με μηδενική αξία που διαιρούνται με τον συνολικό αριθμό στοιχείων ονομάζεται sparsity (αραιότητα του πίνακα). Εννοιολογικά, η αραιότητα αντιστοιχεί σε συστήματα που είναι χαλαρά συζευγμένα Εικόνα 2 - Sparse Πίνακας Well Posed Problem Ο ορισμός well posed πρόβλημα δίνεται από τον Jacques Hadamard. Σύμφωνα με αυτόν τα μαθηματικά μοντέλα των φυσικών φαινομένων πρέπει να έχουν τις εξής ιδιότητες: 1) να υπάρχει λύση, 2) η λύση να είναι μοναδική, 3) η συμπεριφορά της λύσης να αλλάζει συνεχώς ανάλογα με τις αρχικές συνθήκες. Προβλήματα τα οποία δεν είναι well-posed σύμφωνα με 11

12 τον ορισμό του Hadamard χαρακτηρίζονται ως ill-posed. Τα αντίστροφα προβλήματα είναι συχνά ill-posed. Τα συνεχή μοντέλα πρέπει συχνά να διακριτοποιούνται προκειμένου να επιτευχθεί μια αριθμητική λύση. Ενώ οι λύσεις μπορεί να είναι συνεχείς σε σχέση με τις αρχικές συνθήκες, μπορεί να πάσχουν από την αριθμητική αστάθεια όταν λυθούν με πεπερασμένη ακρίβεια, ή με σφάλματα στα δεδομένα. Ακόμη και αν ένα πρόβλημα είναι well-posed, μπορεί να είναι ill-conditioned, πράγμα που σημαίνει ότι ένα μικρό σφάλμα στα αρχικά δεδομένα που μπορεί να οδηγήσει σε πολύ μεγαλύτερα σφάλματα στις απαντήσεις. Αν ένα πρόβλημα είναι well-posed τότε έχει μια καλή πιθανότητα λύσης μέσω υπολογιστή χρησιμοποιώντας έναν σταθερό αλγόριθμο (stable algorithm). Αν δεν είναι wellposed, χρειάζεται να αναδιαμορφωθεί ώστε να γίνει κατάλληλο για αριθμητική επεξεργασία. Τυπικά αυτό περιλαμβάνει κάποιες επιπλέον παραδοχές, όπως η ομαλοποίηση της λύσης. νόρμα l1 (l1-norm) Στη γραμμική άλγεβρα, η νόρμα είναι μια συνάρτηση που αποδίδει ένα αυστηρά θετικό μήκος ή μέγεθος σε κάθε διάνυσμα εκτός από το μηδενικό διάνυσμα, στο οποίο έχει εκχωρηθεί μήκος μηδέν. Η νόρμα l1 ουσιαστικά ελαχιστοποιεί το άθροισμα των απόλυτων διαφορών S μεταξύ της τιμής στόχου y i και των εκτιμώμενων τιμών f(x i ): n S = y i f(x i ) i=1 Pathces Εικόνας Στο συγκεκριμένο έγγραφο θα αναφερθεί πολλές φορές η έννοια του patch μιας εικόνας. Αυτό σημαίνει ότι η εικόνα αυτή χωρίζεται σε ίσα τμήματα, patches, δηλαδή σε ίσα πλήθη από pixels. H απλή αυτή διαδικασία απεικονίζεται στο Σχήμα 2. Έστω η εικόνα είναι διαστάσεων 4x4 και χωρίζεται σε 4 μη επικαλυπτόμενα 2x2 patches. Φυσικά τα patches που επιλέγονται μπορούν να είναι και επικαλυπτόμενα. Όπως είναι φανερό από την Σχήμα 2, στην περίπτωση της μη επικάλυψης το πρώτο patch περιέχει τα δυο πρώτα pixel της πρώτης σειράς και το δεύτερο patch ξεκινάει από το τρίτο pixel. Στην περίπτωση που επιλέγονται 12

13 επικαλυπτόμενα patches, το δεύτερο patch ξεκινάει από το δεύτερο pixel. Άρα σε αυτή την περίπτωση θα προκύψουν 9 patches διαστάσεων 2x2, όπως φαίνεται στην Σχήμα Σχήμα 2 - Εικόνα 4x4 χωρισμένη σε 4 μη επικαλυπτόμενα patches 2x2 13

14 Σχήμα 3 - Εικόνα 4x4 χωρισμένη σε 9 επικαλυπτόμενα patches 2x2 14

15 3. Θεωρητική Ανάλυση της Super Resolution Ανακατασκευής 3.1. Ιστορική Αναδρομή Το 1964, ο Harris [3] καθιέρωσε το θεωρητικό υπόβαθρο για το πρόβλημα SR, εισάγοντας τα θεωρήματα για τον τρόπο επίλυσης του προβλήματος περίθλασης σε ένα οπτικό σύστημα. Δυο δεκαετίες αργότερα οι Tsai και Huang, έθεσαν για πρώτη φορά την ιδέα του SR για τη βελτίωση της χωρικής ανάλυσης των Landsat TM εικόνων [4]. Από τότε, πολλοί ερευνητές έχουν αρχίσει να επικεντρώνονται στην μελέτη της SR, είτε για θεωρητική έρευνα είτε για ανάπτυξη πρακτικών εφαρμογών. Οι SR τεχνικές αναπτύσσονται και εξελίσσονται ήδη για περισσότερο από τρεις δεκαετίες. Στην αρχή, οι περισσότερες από τις μεθόδους που αναπτύχθηκαν, επικεντρώθηκαν στο πεδίο της συχνότητας. Οι αλγόριθμοι αυτοί μπορούσαν να κάνουν χρήση της σχέσης μεταξύ της εικόνας υψηλής ανάλυσης και των παρατηρήσεων χαμηλής ανάλυσης, σε θεωρητικό επίπεδο και να έχουν υψηλή αποδοτικότητα. Παρόλα αυτά, οι μέθοδοι αυτοί παρουσίαζαν εμφανείς περιορισμούς, όπως σφάλματα μοντέλων και δυσκολία χειρισμού πιο περίπλοκων μοντέλων κίνησης, που εμπόδισαν την περαιτέρω ανάπτυξή τους. Λόγω των μειονεκτημάτων των αλγορίθμων πεδίου συχνότητας, αναπτύχθηκαν στη συνέχεια, οι μέθοδοι χωρικού πεδίου. Οι πιο δημοφιλείς μέθοδοι χωρικού πεδίου περιλαμβάνουν, μη ομοιόμορφη παρεμβολή, προβολή πάνω σε κυρτά σύνολα (POCS), τις στατιστικές μεθόδους, καθώς κι έναν αριθμό από υβριδικούς αλγορίθμους. Στη συνέχεια θα αναφερθούν κάποιες από τις SR τεχνικές, έτσι ώστε να κατανοητή η λειτουργία τους Super Resolution Τεχνικές Η SR ανακατασκευή υπήρξε ένας από τους πιο δραστήριους ερευνητικούς τομείς από το τεράστιο έργο του Tsai και Huang το Πολλές τεχνικές έχουν προταθεί κατά τη διάρκεια των τελευταίων δύο δεκαετιών που αντιπροσωπεύουν προσεγγίσεις από το πεδίο της συχνότητας έως το πεδίο του χώρου και από την προοπτική της επεξεργασίας σημάτων στην προοπτική μηχανικής μάθησης. Σήμερα, οι ερευνητές αντιμετωπίζουν συνήθως το πρόβλημα κυρίως στον χωρικό τομέα, λόγω της ευελιξίας του να διαμορφώνει όλα τα είδη υποβάθμισης 15

16 της εικόνας. Στην ενότητα αυτά θα αναφερθούν διάφορες από αυτές τις τεχνικές, αφού πρώτα γίνει ένας γενικότερος διαχωρισμός τους σε δυο κατηγορίες (multi frame και singleframe) και αφού αναφερθεί το μοντέλο παρατήρησής εικόνας. Όπως έχει ήδη αναφερθεί η Super Resolution είναι μια μέθοδος η οποία ανακατασκευάζει μια υψηλής ανάλυσης εικόνα, ή ακολουθία εικόνων από δεδομένες εικόνες χαμηλής ανάλυσης. Από τεχνικής απόψεως, η SR μπορεί να κατηγοριοποιηθεί ως multi-frame (πολλαπλών πλαισίων) ή single-frame (ενός πλαισίου), ανάλογα με την χαμηλής ανάλυσης πληροφορία εισόδου. Η multi-frame SR είναι μια διαδικασία η οποία παίρνει αρκετές θορυβώδεις εικόνες χαμηλής ανάλυσης της ίδιας σκηνής, που αποκτήθηκαν υπό διαφορετικές συνθήκες, και τις επεξεργάζεται μαζί για να συνθέσουν μία ή περισσότερες εικόνες υψηλής ανάλυσης, με υψηλότερη χωρική συχνότητα και λιγότερο θόρυβο και θόλωμα από οποιαδήποτε από τις αρχικές εικόνες (Σχήμα 4). Η multi frame SR αναφέρεται στην ιδιαίτερη περίπτωση όπου είναι διαθέσιμες πολλές εικόνες της ίδιας σκηνής, οι οποίες προκύπτουν από κίνηση της κάμερας ή της σκηνής, ζουμ της κάμερας, διαφορετική εστίαση κλπ. Οι διαφορετικές αυτές εικόνες της ίδιας σκηνής χρησιμοποιούνται ώστε να μπορούν να ανακτηθούν επιπλέον δεδομένα για την αναδημιουργία μιας εικόνας εξόδου υψηλότερης ανάλυση από τα όρια της αρχικής συσκευής απεικόνισης. Αυτό σημαίνει ότι η εικόνα εξόδου μπορεί να αποτυπώσει περισσότερες από τις λεπτομέρειες της αρχικής σκηνής από ό, τι μπορούσε να καταγράψει οποιαδήποτε από τις εικόνες εισόδου. Οι πολλαπλές εικόνες εισόδου μπορεί επίσης να προέρχονται από ένα βίντεο χαμηλής ανάλυσης, για το οποίο προσδιορίζεται η πληροφορία των διανυσμάτων κίνησης μέσω motion estimation. Και σε αυτή την περίπτωση συνδυάζεται η πληροφορία των πολλαπλών εικόνων χαμηλής ανάλυσης με την πληροφορία κίνησης ώστε να παραχθεί μια εικόνα εξόδου υψηλής ανάλυσης. Ωστόσο, πολλές φορές είναι πιθανόν να μην είναι διαθέσιμες για την ανακατασκευή πολλαπλές χαμηλής ανάλυσης εικόνες, έτσι πρέπει να ανακτηθεί η υψηλής ανάλυσης εικόνα χρησιμοποιώντας την περιορισμένη χαμηλής ανάλυσης πληροφορία. Μια τέτοια διαδικασία ορίζεται ως single-frame SR. Ωστόσο, για να ανακατασκευαστούν οι λεπτομέρειες που προϋποτίθενται για την υψηλή ανάλυση απαιτείται συμπληρωματική πληροφορία. Η singleframe SR μαθαίνει την αντιστοιχία μεταξύ των πληροφοριών χαμηλής και υψηλής ανάλυσης από μια εξωτερική βάση δεδομένων και έτσι επαναφέρει τις λεπτομέρειες στο χώρο της υψηλής ανάλυσης. 16

17 παρατηρήσεις χαμηλής ανάλυσης super resolution ανακατασκευή υψηλή ανάλυση Σχήμα 4 - multi frame super resolution 3.3. Το μοντέλο παρατήρησης Πριν προχωρήσουμε στο στάδιο της ανακατασκευής, πρέπει να διευκρινίσουμε τη διαδικασία με την οποία ελήφθησαν οι παρατηρούμενες εικόνες. Το ψηφιακό σύστημα απεικόνισης δεν είναι τέλειο λόγω περιορισμών υλικού. Οπότε, η διαδικασία λήψης εικόνων είναι αναπόφευκτα αντιμέτωπη με ένα σύνολο παραγόντων υποβάθμισης της εικόνας. Για παράδειγμα, το πεπερασμένο μέγεθος του διαφράγματος της κάμερας προκαλεί οπτικό θόλωμα (μη εστιασμένα σημεία). Ο πεπερασμένος χρόνος διαφράγματος έχει ως αποτέλεσμα το θόλωμα κίνησης, κάτι που είναι πολύ συνηθισμένο στο βίντεο. Το πεπερασμένο μέγεθος αισθητήρα οδηγεί σε θόλωμα λόγω του αισθητήρα, το οποίο σημαίνει ότι ορισμένα pixels της εικόνας παράγονται προσεγγιστικά πάνω στην περιοχή αισθητήρα αντί μέσω δειγματοληψίας παλμών. Και τέλος, η περιορισμένη πυκνότητα των αισθητήρων οδηγεί σε φαινόμενα alliasing, περιορίζοντας τη χωρική ανάλυση της επιτευχθείσας εικόνας. Τελικά, όλες αυτές οι αλλοιώσεις διαμορφώνονται πλήρως ή μερικώς μέσω διάφορων τεχνικών SR. 17

18 Τα στάδια υποβάθμισης της ληφθείσας εικόνας, φαίνονται στο Σχήμα 5, το οποίο απεικονίζει ένα τυπικό μοντέλο παρατήρησης. Η είσοδος του συστήματος απεικόνισης είναι συνεχείς φυσικές σκηνές, καλά προσεγγισμένες ως σήματα περιορισμένης ζώνης. Τα σήματα αυτά μπορεί να μολυνθούν από ατμοσφαιρικούς θορύβους πριν καν φθάσουν στο σύστημα απεικόνισης. Η δειγματοληψία του συνεχούς σήματος πάνω από το ρυθμό Nyquist δημιουργεί την ψηφιακή εικόνα υψηλής ανάλυσης που επιθυμείται. Επίσης, συνήθως υπάρχει κάποια κίνηση μεταξύ της κάμερας και της σκηνής η οποία καταγράφεται. Οι είσοδοι της κάμερας είναι πολλαπλά πλαίσια της σκηνής, τα οποία συνδέονται με πιθανές τοπικές ή ολικές μετατοπίσεις. Περνώντας μέσα από την κάμερα, αυτά τα πλαίσια υψηλής ανάλυσης θα υποστούν διάφορα είδη θολώματος, όπως το οπτικό θόλωμα και το θόλωμα της κίνησης. Αυτές οι θολές εικόνες στη συνέχεια υποδειγματοληπτούνται στους αισθητήρες εικόνας, και μετατρέπονται σε pixels, με ένα ενιαίο τμήμα της εικόνας να πέφτει σε κάθε περιοχή αισθητήρα. Αυτές οι υποδειγματοληπτημένες εικόνες επηρεάζονται περαιτέρω από το θόρυβο του αισθητήρα και το θόρυβο φιλτραρίσματος χρώματος. Τέλος, τα πλαίσια που λαμβάνονται από το σύστημα απεικόνισης χαμηλής ανάλυσης είναι θολές, αλλοιωμένες και θορυβώδεις εκδόσεις της υποκείμενης πραγματικής σκηνής. Αν θεωρηθεί ως Υ η επιθυμητή εικόνα Υψηλής Ανάλυσης, δηλαδή η ψηφιακή εικόνα που δειγματοληπτείται πάνω από το ρυθμό δειγματοληψίας Nyquist από τη ζωνοπερατή συνεχή σκηνή, και ως X k η k-οστή παρατήρηση Χαμηλής Ανάλυσης της κάμερας, αν υποτεθεί ότι η κάμερα καταγράφει k πλαίσια χαμηλής ανάλυσης Χ. Τότε το μοντέλο παρατήρησης προκύπτει ως εξής: Χ k = D k H k F k Υ + n k (3.1) όπου το F k κωδικοποιεί τις πληροφορίες της κίνησης του k-οστoύ πλαισίου, το H k μοντελοποιεί τους παράγοντες θολώματος, το D k είναι ο τελεστής υποδειγματοληψίας και το n k είναι ο όρος που αντιστοιχεί στο θόρυβο. Επίσης, το μοντέλο παρατήρησης για singleframe SR λαμβάνεται όταν k=1. Για ευκολία έκφρασης, το μοντέλο (3.1) ξαναγράφεται αντικαθιστώντας τα D k, H k και F k με το Μ και έχει ως εξής: Χ k = MΥ + n k (3.2) Σε ορισμένες περιπτώσεις το μοντέλο της (3.1) ενδέχεται να είναι ανεπαρκές για να εκφράσει όλες τις πιθανές καταστάσεις, έτσι υπάρχουν άλλα, πιο πολύπλοκα μοντέλα τα οποία λαμβάνουν υπόψη πιο περίπλοκους παράγοντες για να περιγράψουν καλύτερα τις πραγματικές περιπτώσεις, συμπεριλαμβανομένων των διαφορετικών ειδών θορύβου, της πολυπλοκότητας των διαστάσεων, του πεδίου μετασχηματισμού για τις συγκεκριμένες εικόνες κ.λπ. 18

19 Τέλος, αξίζει να σημειωθεί, ότι για το μοντέλο παρατήρησης (3.1) που αναφέρθηκε, οι εμπλεκόμενοι πίνακες D k, H k και F k ή Μ είναι ιδιαίτερα αραιοί και το γραμμικό αυτό σύστημα είναι τυπικά ill-posed. Επιπλέον, σε πραγματικά συστήματα απεικόνισης, οι ίδιοι πίνακες είναι άγνωστοι και πρέπει να εκτιμηθούν από τις διαθέσιμες παρατηρήσεις χαμηλής ανάλυσης, κάνοντας το πρόβλημα ακόμη περισσότερο ill-conditioned. Επομένως, η κατάλληλη ομαλοποίηση για την εικόνα υψηλής ανάλυσης είναι πάντα επιθυμητή και συχνά ακόμη και κρίσιμη. Στη συνέχεια, θα αναφερθούν ορισμένες βασικές τεχνικές super resolution που προτείνονται στη βιβλιογραφία και θα δίνουν μια γενική εικόνα παλαιότερων και πρόσφατων εξελίξεων. ατμοσφαιρικός θόρυβος Κίνηση συνεχής σκηνή από συνεχής σε διακριτή δειγματοληψία χωρίς aliasing -μετάφραση -περιστροφή -οπτικό θόλωμα -θόλωμα λόγω κίνησης -θόλωμα λόγω αισθητήρα κλπ Υποδειγματοληψία υποδειγματοληψία με aliasing παρατηρήσεις χαμηλής ανάλυσης θόρυβος αισθητήρα Σχήμα 5 - Μοντέλο παρατήρησης 19

20 3.4. Μέθοδοι Super Resolution Όπως έχει ήθη αναφερθεί οι πρώτες προσεγγίσεις στην μελέτη της SR ανακατασκευής οι οποίες επικεντρώνονταν στο πεδίο της συχνότητας, εγκαταλείφθηκαν ήδη από πολύ νωρίς και αντικαταστάθηκαν από τις χωρικές προσεγγίσεις. Κατά τη διάρκεια των ετών και με στόχο να ξεπεραστούν οι δυσκολίες των συχνοτικών μεθόδων έχουν προταθεί πολλές χωρικές προσεγγίσεις. Σε αυτή την ενότητα θα αναφερθούν οι πιο αξιοσημείωτες από αυτές τις μεθόδους, οι οποίες περιλαμβάνουν την μέγιστη πιθανότητα (ML), το μέγιστο a posteriori (MAP) και την προβολή σε κυρτά σύνολα (POCS) κλπ Interpolation-restoration (Παρεμβολή και Αποκατάσταση): Μη επαναληπτικές προσεγγίσεις Η συγκεκριμένη προσέγγιση είναι μια μη επαναληπτική multi-frame μέθοδος η οποία βασίζεται σε παρεμβολή και αποκατάσταση. Περιλαμβάνει τρία στάδια: 1) την καταχώρηση της εικόνας χαμηλής ανάλυσης, 2) την μη ομοιόμορφη παρεμβολή, 3) την αποθόλωση και απομάκρυνση θορύβου (Σχήμα 6). Πιο συγκεκριμένα, αρχικά τα καρέ χαμηλής ανάλυσης ευθυγραμμίζονται από κάποιον αλγόριθμο καταχώρησης εικόνας με ακρίβεια subpixel. Αυτά τα ευθυγραμμισμένα καρέ χαμηλής ανάλυσης τοποθετούνται στη συνέχεια σε ένα πλέγμα υψηλής ανάλυσης, όπου χρησιμοποιούνται μη ομοιόμορφες μέθοδοι παρεμβολής για τη συμπλήρωση των pixels που λείπουν από αυτό το πλέγμα. Τελικά, η εικόνα υψηλής ανάλυσης που δημιουργήθηκε αποθολώνεται με τη χρήση οποιουδήποτε κλασικού αλγόριθμου απομάκρυνσης θορύβου. Έχουν αναπτυχθεί πολλές προσεγγίσεις που εμπίπτουν στην κατηγορία interpolationrestoration. Αυτές οι προσεγγίσεις είναι απλές και υπολογιστικά αποδοτικές και αφορούν απλά μοντέλα παρατήρησης. Ωστόσο, η προς τα εμπρός βήμα-προς-βήμα προσέγγιση που ακολουθούν δεν εγγυάται τη βέλτιστη εκτίμηση. Το σφάλμα καταχώρησης μπορεί εύκολα να μεταδοθεί στην μεταγενέστερη επεξεργασία. Επίσης, το βήμα παρεμβολής είναι βέλτιστο χωρίς να λαμβάνεται υπόψη ο θόρυβος και οι παράγοντες θολώματος. Επιπλέον, οι προσεγγίσεις που βασίζονται στην παρεμβολή απαιτούν ειδική επεξεργασία περιορισμένων παρατηρήσεων προκειμένου να μειωθεί το φαινόμενο aliasing. 20

21 Καταχώρηση Μη ομοιόμορφη παρεμβολή Αποθόλωση Ευθυγράμμιση Εικόνων Χαμηλής Ανάλυσης Τελική Εικόνα Παρατηρήσεις Χαμηλής Ανάλυσης Σχήμα 6 - Μέθοδος Αποκατάστασης και Παρεμβολής Στατιστικές προσεγγίσεις Σε αντίθεση με τις προσεγγίσεις interpolation-restoration, οι στατιστικές προσεγγίσεις συνδέουν τα βήματα της SR ανακατασκευής στοχαστικά προς το βέλτιστο αποτέλεσμα. Για να επιτευχθεί κάτι τέτοιο, η υψηλής ανάλυσης εικόνα και οι κινήσεις μεταξύ των εισόδων χαμηλής ανάλυσης θεωρούνται ως στοχαστικές μεταβλητές. Στη συνέχεια, αναφέρονται οι πιο συχνά χρησιμοποιούμενες στοχαστικές μέθοδοι, οι οποίες ποικίλλουν στους τρόπους αντιμετώπισης της υποβάθμισης της εικόνας, καθώς και της εξαγωγής στατιστικών συμπερασμάτων Μέθοδος Μέγιστης Πιθανότητας (Maximum Likelihood ή ML) Ο εκτιμητής ML βασίζεται αποκλειστικά στις παρατηρήσεις, αναζητώντας την πιο πιθανή λύση για τις παρατηρήσεις που θα λάβουν χώρα, μεγιστοποιώντας την πιθανότητα των δεδομένων. Σύμφωνα με το μοντέλο παρατήρησης (εξίσωση 3.2) και λύνοντας ως προς Y, ότι η εξίσωση που εκφράζει το σύστημά μας, είναι η (3.3), 21

22 Y ML = (M T M) 1 M T X (3.3) O πίνακας M T M είναι μη αντιστρέψιμος, αφού είναι μη τετραγωνικός, άρα το πρόβλημα είναι ill-posed και άρα υπάρχουν άπειρες πιθανές λύσεις λόγω του μηδενικού χώρου του M. Αυτό από καθαρά αλγεβρική άποψη οδηγεί στη δημιουργία ενός όρου ομαλοποίησης έτσι ώστε να υπάρξει μοναδική λύση. Όσον αφορά στην υπολογιστική πολυπλοκότητα το άμεσο αντίστροφο του πίνακα M T M είναι συνήθως απαγορευτικό στην πράξη λόγω του προβλήματος των μεγάλων διαστάσεων. Ως εκ τούτου, έχουν προταθεί πολλές επαναληπτικές μέθοδοι για πρακτικούς τρόπους επίλυσης αυτού του μεγάλου συνόλου γραμμικών εξισώσεων. Ο Irani και ο Peleg [5-7] πρότειναν μια απλή, αλλά πολύ δημοφιλή μέθοδο, βασισμένη στο σφάλμα back-projection, εμπνευσμένη από τη ηλεκτρονική τομογραφία. Ο αλγόριθμος ενημερώνει επαναληπτικά την τρέχουσα εκτίμηση, προσθέτοντας πίσω το στρεβλωμένο σφάλμα προσομοίωσης, το οποίο συνελίσσεται με μια back-projection συνάρτηση. Οι αλγόριθμοι back-projection είναι απλοί και ευέλικτοι στην διαχείριση πολλών παρατηρήσεων που έχουν υποστεί διαφορετικές διαδικασίες υποβάθμισης. Ωστόσο, η λύση του back-projection δεν είναι μοναδική, αλλά ποικίλει ανάλογα με την αρχικοποίηση και την επιλογή του πυρήνα του. Ο εκτιμητής μέγιστης πιθανότητας χωρίς ομαλοποίηση στην SR, όπου ο αριθμός των παρατηρήσεων είναι περιορισμένος είναι ιδιαίτερα ill-posed, ειδικά όταν ο συντελεστής ζουμ είναι μεγάλος (μεγαλύτερος του 2). Ο εκτιμητής ML είναι συνήθως πολύ ευαίσθητος στον θόρυβο και τα σφάλματα καταχώρισης και επομένως είναι πάντα επιθυμητή η κατάλληλη ομαλοποίηση του εφικτού χώρου λύσης. Οι δυσκολίες αυτές οδήγησαν στις βασικές προσεγγίσεις ανακατασκευής της SR, Maximum a Posteriori (MAP) Maximum a Posteriori (MAP) Η διαφορά των μεθόδων MAP εκτίμησης σε σχέση με την ML εκτίμηση έγκειται στο γεγονός ότι ο MAP εκτιμητής χρησιμοποιεί επιπλέον έναν προγενέστερο όρο. Ο όρος αυτός ποσοτικοποιεί τις πρόσθετες διαθέσιμες πληροφορίες μέσω προηγούμενης γνώσης ενός σχετικού συμβάντος, ώστε να φτάσει στην επιθυμητή λύση. Πιο συγκεκριμένα, η γενική ιδέα του MAP είναι να ληφθεί μια εκτίμηση σημείου μιας μη παρατηρούμενης ποσότητας βάσει εμπειρικών δεδομένων. Η εκτίμηση του MAP μπορεί να θεωρηθεί ως ομαλοποίηση της εκτίμησης του ML. 22

23 Σε γενικές γραμμές, η χρήση του προγενέστερου όρου εξυπηρετεί την απόδοση μιας ομαλότερης λύσης από ότι θα απέδιδε η εκτίμηση Μέγιστης Πιθανότητας. Γι αυτό στις MAP προσεγγίσεις είναι συνηθισμένο να προωθείται η ομαλότητα μέσω της επιβολής gradient στην εικόνα εισόδου, το οποία λειτουργεί ουσιαστικά ως χαμηλοπερατό φίλτρο. Ωστόσο, οι φυσικές εικόνες συχνά περιέχουν ακμαίες (περιοχές υψηλής χωρικής συχνότητας), που δεν είναι επιθυμητό να εξομαλύνονται. Έχουν προταθεί διάφορα είδη προγενέστερου όρου (prior term) στη βιβλιογραφία, ωστόσο κανένας από αυτούς δεν ξεχωρίζει ως ο καλύτερος [8]. Αναφορικά παρατίθενται οι τρεις πιο ευρέως χρησιμοποιούμενοι στην SR ανακατασκευή, το Gaussian τυχαίο πεδίο Markov (Gaussian MRF), το Huber τυχαίο πεδίο Markov (Huber MRF) και η Συνολική Μεταβολή (Total Variation). Για περισσότερες πληροφορίες για τη λειτουργία τους μπορεί κάποιος να ανατρέξει στο [8] Κοινή MAP ανακατασκευή (Joint MAP restoration) Η multi-frame SR μπορεί να χωριστεί σε δύο υποπροβλήματα, την καταχώρηση των δειγμάτων χαμηλής ανάλυσης και την εκτίμηση της εικόνας υψηλής ανάλυσης. Πολλοί από τους αλγόριθμους που υλοποιούν τις μεθόδους που έχουν αναφερθεί μέχρι τώρα αντιμετωπίζουν αυτά τα δύο στάδια ως δύο ξεχωριστές διαδικασίες πρώτα κάνουν την καταχώρηση και στη συνέχεια εκτελούν την MAP εκτίμηση, το οποίο είναι ανακριβές, καθώς η καταχώριση και η εκτίμηση είναι αλληλεξαρτώμενες. Επομένως, η εκτίμηση κίνησης και η εκτίμηση υψηλής ανάλυσης μπορούν να ωφεληθούν η μια από την άλλη όταν επιτρέπονται οι αλληλεπιδράσεις μεταξύ τους. Η κοινή αποκατάσταση MAP, μπορεί να περιλαμβάνει τις εκτιμήσεις κίνησης ως μεταβλητές για την εξαγωγή συμπερασμάτων. Για παράδειγμα ο Tom στο [9] διαίρεσε το πρόβλημα της SR σε τρία δευτερεύοντα προβλήματα, δηλαδή την καταχώρηση, την ανακατασκευή και την παρεμβολή. Αντί να τα επιλύσει ανεξάρτητα, εκτίμησε ταυτόχρονα την καταχώρηση και την ανακατασκευή, μεγιστοποιώντας την πιθανότητα χρησιμοποιώντας την μεγιστοποίηση της προσδοκώμενης τιμής (Expectation- Maximization). 23

24 Προσέγγιση βάσει Παραδειγμάτων Όλες οι super resolution προσεγγίσεις που έχουν αναφερθεί μέχρι τώρα βασίζονται στη συγκέντρωση πολλαπλών εικόνων που περιέχουν συμπληρωματικές χωρικές πληροφορίες. Συνήθως ορισμένα χαρακτηριστικά ήδη γνωστών εικόνων γενικής χρήσης παραμετροποιούνται και αξιοποιούνται έτσι ώστε να ομαλοποιήσουν τη λύση. Η ομαλοποίηση γίνεται ιδιαίτερα σημαντική στις περιπτώσεις που παρέχεται ανεπαρκής αριθμός παρατηρήσεων, καθώς και στην ακραία περίπτωση που υπάρχει ως παρατήρηση ένα μοναδικό καρέ χαμηλής ανάλυσης. Σε τέτοιες περιπτώσεις, η προγενέστερη πληροφορία των εικόνων γενικής χρήσης δεν είναι αρκετή για την επαρκή ομαλοποίηση της τελικής εικόνας. Μια κατάλληλη μεθοδολογία για την ομαλοποίηση της ill-posed SR, προκειμένου να ξεπεραστούν οι περιορισμοί που προκαλούνται από ανεπαρκείς παρατηρήσεις, είναι η χρήση παραδειγμάτων. Σε αντίθεση με τις προηγούμενες προσεγγίσεις όπου τα ομαλοποιημένα χαρακτηριστικά παραμετροποιούνται σε ολόκληρη την εικόνα, οι μέθοδοι που βασίζονται σε παραδείγματα αναπτύσσουν τα χαρακτηριστικά αυτά δειγματοληπτώντας τοπικά άλλες εικόνες. Μια οικογένεια προσεγγίσεων βάσει παραδειγμάτων είναι να η απευθείας χρήση παραδειγμάτων με πιο αντιπροσωπευτική πρόταση αυτή του Freeman στο [10]. Αυτές οι προσεγγίσεις συνήθως λειτουργούν διατηρώντας δύο ομάδες εκπαιδευμένων patches, των y που δειγματοληπτούνται από τις εικόνες υψηλής ανάλυσης και των x που δειγματοληπτούνται από τις εικόνες χαμηλής ανάλυσης αντιστοίχως. Κάθε ζεύγος patch (y, x) συνδέεται με το μοντέλο παρατήρησης. Αυτό το μοντέλο συνύπαρξης υψηλής και χαμηλής ανάλυσης εφαρμόζεται στη συνέχεια στην εικόνα εισόδου για την πρόβλεψη της εικόνας υψηλής ανάλυσης με βάση τη σχέση των patches. Οι παράμετροι του μοντέλου παρατήρησης πρέπει να είναι προηγουμένως γνωστές και τα training sets τα οποία απαρτίζονται από τα δειγματοληπτημένα patches, να συνδέονται στενά με την εικόνα εισόδου. Το μέγεθος του patch πρέπει επίσης να επιλεγεί σωστά. Εάν το μέγεθος του patch είναι πολύ μικρό, η προηγούμενη συνύπαρξη είναι πολύ αδύναμη για να κάνει την πρόβλεψη σημαντική. Από την άλλη, εάν το μέγεθος του patch είναι υπερβολικά μεγάλο, μπορεί να χρειαστεί ένα τεράστιο training set για την εύρεση κατάλληλων patches για τις τρέχουσες παρατηρήσεις. Ένας απλοϊκός τρόπος για να γίνει SR με τέτοια συζευγμένα σύνολα εκπαίδευσης είναι, για κάθε patch χαμηλής ανάλυσης στην εικόνα χαμηλής ανάλυσης, να βρεθεί το πλησιέστερο γειτονικό x και στη συνέχεια να τοποθετηθεί το αντίστοιχο y στο πλέγμα υψηλής ανάλυσης. Δυστυχώς, αυτή η απλή προσέγγιση θα δημιουργήσει ενοχλητικά 24

25 artifacts λόγω του θορύβου και της ill-posed φύσης της SR. Η επέκταση της αναζήτησης του πλησιέστερου γείτονα στους πιο κοντινούς γείτονες μπορεί να διασφαλίσει ότι θα συμπεριληφθεί το patch εγγύτητας που επιθυμείται. Για να χειριστεί το πρόβλημα συμβατότητας μεταξύ γειτονικών patches, εκτελείται ένας απλός μέσος όρος αλληλοεπικάλυψης περιοχών. Οι περισσότερες από τις μέθοδούς που εμπίπτουν σε αυτή την κατηγορία βασίζονται άμεσα σε διορθώσεις εικόνων, απαιτώντας πολύ μεγάλα training sets για να συμπεριλάβουν τυχόν πρότυπα που ενδεχομένως συναντήθηκαν κατά τη δοκιμή. Ο Yang [11] πρότεινε μια άλλη single-frame μέθοδο SR βασισμένη σε patches. Η μέθοδος προέρχεται από τη θεωρία της συμπιεστικής ανίχνευσης, η οποία εξασφαλίζει ότι οι γραμμικές σχέσεις μεταξύ των σημάτων υψηλής ανάλυσης μπορούν να ανακτηθούν με ακρίβεια από τις χαμηλής διαστάσεως προβολές τους. Ο αλγόριθμος μοντελοποιεί τα σύνολα εκπαίδευσης ως δύο λεξικά: D h = [y 1, y 2,, y n ] και D l = [x 1, x 2,, x n ]. Η μέθοδος του Yang επιλέγει προσαρμοστικά τις λιγότερες απαραίτητες αντιστοιχίσεις για την ανακατασκευή, αποφεύγοντας την υπερφόρτωση. Η μέθοδος του Yang θα αναλυθεί σε επόμενο κεφάλαιο, και θα σχολιαστούν τα συμπεράσματα που προκύπτουν από αυτή Σύνολα θεωρητικής ανακατασκευής Μια άλλη οικογένεια μεθόδων SR είναι η γνωστή προβολή σε κυρτά σύνολα (POCS). Οι μέθοδοι POCS προσεγγίζουν το πρόβλημα SR, διαμορφώνοντας πολλαπλά περιοριστικά κυρτά σύνολα που περιέχουν την επιθυμητή εικόνα ως σημείο εντός των συνόλων. Ο καθορισμός αυτών των κυρτών συνόλων είναι εύκαμπτος και μπορεί να ενσωματώνει διαφορετικά είδη περιορισμών ή παραμετροποιήσεων χαρακτηριστικών, ακόμη και μη γραμμικών και μη παραμετρικών περιορισμών. Αυτό είναι και το πλεονέκτημά του σε σχέση με τις στοχαστικές μεθόδους. Ωστόσο, τα δυο βασικά μειονεκτήματα των μεθόδων αυτών είναι για η αυξημένη υπολογιστική τους πολυπλοκότητα και η αργή του σύγκλιση. Οι μέθοδοι POCS λαμβάνουν επίσης υπόψη τις προηγουμένως γνωστές παραμέτρους κίνησης και τους παράγοντες θολώματος του συστήματος. Τέλος, δεν μπορούν να εκτιμήσουν τις παραμέτρους καταχώρησης και την εικόνα υψηλής ανάλυσης ταυτόχρονα όπως και στις στοχαστικές προσεγγίσεις. Αξίζει να σημειωθεί, ότι η υβριδική προσέγγιση, που συνδυάζει την στοχαστική σκοπιά και τη φιλοσοφία POCS, αποτελεί έναν πολλά υποσχόμενο τομέα έρευνας [8]. 25

26 3.5. Εφαρμογές της Super Resolution Ανακατασκευής Εφόσον έγιναν κατανοητές οι πιο αξιοσημείωτες SR τεχνικές, αξίζει σε αυτό το σημείο να αναφερθούν τα πιο σημαντικά πεδία εφαρμογής της SR ανακατασκευής. Σε αυτή την υποενότητα δίνονται μερικά παραδείγματα αυτών των εφαρμογών. Βελτίωση της πληροφορίας εικόνων και βίντεο καθημερινής χρήσης Η ευρεία χρήση ψηφιακών συσκευών και η προβολή εικόνων και βίντεο από αυτές είναι πλέον καθημερινή ανάγκη μεγάλου ποσοστού των ανθρώπων του πλανήτη. Είναι γεγονός λοιπόν, ότι η εφαρμογή τεχνικών SR έχει εισέλθει πια στην καθημερινότητα των ανθρώπων. Οι εικόνες και τα βίντεο χαμηλής ανάλυσης μπορούν να μετατραπούν σε εικόνες και βίντεο υψηλής ευκρίνειας χρησιμοποιώντας τεχνικές SR. Για παράδειγμα, η Hitachi Ltd. πέτυχε τη μετατροπή της συμβατικής τηλεόρασης (SDTV) σε τηλεόραση υψηλής ευκρίνειας (HDTV) χρησιμοποιώντας τεχνολογία SR για βίντεο, γεγονός που καθιστά το SR ένα ιδιαίτερα ενδιαφέρον και συναφές ερευνητικό θέμα [12]. Συστήματα Παρακολούθησης Σήμερα, οι συσκευές ψηφιακού βίντεο (DVR) είναι παντού και παίζουν σημαντικό ρόλο σε εφαρμογές όπως η παρακολούθηση της κυκλοφορίας και η παρακολούθηση της ασφάλειας. Είναι, ωστόσο, αδύνατο επί του παρόντος τέτοια συστήματα να εξοπλιστούν με συσκευές υψηλής ανάλυσης μεγάλης κλίμακας. Επίσης, στις συγκεκριμένες εφαρμογές οι εξωτερικές συσκευές βίντεο που χρησιμοποιούνται είναι ευάλωτες στις επιπτώσεις των καιρικών συνθηκών. Επιπλέον, τα βίντεο διαθέτουν συνήθως τεράστιο όγκο δεδομένων και περίπλοκη κίνηση. Επομένως, είναι απαραίτητο να μελετηθούν τεχνικές SR για τη βελτίωση των συγκεκριμένων εικόνων. Αν και η πρόοδος των τεχνικών που έχουν αναπτυχθεί είναι σημαντική, η πρακτική χρήση του βίντεο SR εξακολουθεί να αποτελεί πρόκληση. Το συμπιεσμένο βίντεο SR είναι επίσης ένας τομέας που δίνεται ενδιαφέρον. 26

27 Εικόνα 3 - Εικόνα από μια ακολουθία επιτήρησης ενός UAV, α αρχική (αριστερά) και η ανακατασκευασμένη εικόνα (δεξιά) Ιατρικές Διαγνώσεις Υπάρχουν διάφορες μορφές ιατρικής απεικόνισης που μπορούν να παρέχουν τόσο ανατομικές πληροφορίες για τη δομή του ανθρώπινου σώματος όσο και πληροφορίες για διάφορες ανθρώπινες λειτουργίες. Ωστόσο, οι περιορισμοί της ανάλυσης υποβαθμίζουν πάντα την αξία των ιατρικών εικόνων για διάγνωση. Οι τεχνολογίες SR χρησιμοποιούνται και στην περίπτωση των βασικών μεθόδων ιατρικής απεικόνισης, όπως η απεικόνιση μαγνητικού συντονισμού (MRI), (Εικόνες 4,6), η λειτουργική μαγνητική τομογραφία (fmri) και η τομογραφία εκπομπής ποζιτρονίων (PET), (Εικόνα 5). Ο στόχος είναι να αυξηθεί η ανάλυση των ιατρικών εικόνων διατηρώντας παράλληλα την πραγματική ισοτροπική 3D απεικόνιση. Τα ιατρικά συστήματα απεικόνισης μπορούν να λειτουργούν υπό εξαιρετικά ελεγχόμενο περιβάλλον και έτσι μπορούν να αποκτηθούν εύκολα εικόνες συνεχούς και πολλαπλής προβολής. Εικόνα 4 - Το αποτέλεσμα της SR για μια μαγνητική τομογραφία (MRI) 27

28 Εικόνα 5 - Το αποτέλεσμα της SR για μια τομογραφία εκπομπής ποζιτρωνίων (PET) Εικόνα 6 - To αποτέλεσμα μια μεθόδου single frame SR σε μια μαγνητική τομογραφία ενός γονάτου με παράγοντα μεγέθυνσης 4. Η αρχική (αριστερά) και η ανακατασκευασμένη εκδοχή (δεξιά) Παρακολούθηση της γης τηλεπισκοπικά Όπως είναι ήδη γνωστό, η πρώτη ιδέα SR υποκινήθηκε από την απαίτηση να βελτιωθεί η ανάλυση των εικόνων τηλεπισκόπησης Landsat. Η ιδέα της εφαρμογής τεχνικών SR στην απεικόνιση με τηλεανίχνευση έχει αναπτυχθεί εδώ και δεκαετίες. Αν και τα δεδομένα που ικανοποιούν τη απαίτηση για SR δεν είναι εύκολο να αποκτηθούν, υπήρξαν μερικά επιτυχημένα παραδείγματα για πραγματικά δεδομένα. Μεταξύ αυτών, η ανάλυση της παγχρωματικής εικόνας που αποκτήθηκε από το SPOT-5 μπορεί να φτάσει σε 2,5 m μέσω της SR δύο εικόνων των 5 m που λαμβάνονται μετατοπίζοντας μια διπλή συστοιχία CCD κατά μισό διάστημα δειγματοληψίας, που ήταν και η πιο επιτυχημένη περίπτωση [13]. Επιπλέον, οι δορυφόροι μπορούν να αποκτήσουν multi-temporal ή multi-view εικόνες για την ίδια 28

29 περιοχή, π.χ. Landsat, CBERS και WorldView-2 (Εικόνα 7), παρέχοντας έτσι τη δυνατότητα για SR. Οι ερευνητές επιχείρησαν επίσης να εφαρμόσουν τις μεθόδους που βασίζονται σε παραδείγματα για SR στην απεικόνιση με τηλεανίχνευση. Πρόσφατα, η Skybox Imaging σχεδίαζε να ξεκινήσει μια ομάδα 24 μικρών δορυφόρων, η οποία μπορεί να παρέχει βίντεο "σε πραγματικό χρόνο" με ανάλυση υπομετρητών χρησιμοποιώντας τεχνικές SR. Προς το παρόν, τα SkySat-1 και SkySat-2 έχουν ξεκινήσει και τεθεί σε χρήση. Με την ενσωμάτωση περίπου 20 πλαισίων, η απόσταση εδάφους (GSD) της εικόνας εξόδου μπορεί να μειωθεί σε 4/5 των αρχικών δεδομένων [14]. Ένα παράδειγμα άλλο δίνεται επίσης στην Εικόνα 7, το οποίο ενσωματώνει πέντε γωνιακές εικόνες που παρέχονται από τον δορυφόρο WorldView- 2 οι οποίες χρησιμοποιούνται για ανακατασκευή SR. Οι κύριες προκλήσεις για την SR στην απεικόνιση με τηλεανίχνευση είναι να ξεπεραστούν τις αλλαγές της σκηνής λόγω χρονικών διαφορών και να προσαρμοστούν οι υπάρχουσες μέθοδοι στις τεράστιες ποσότητες παρατηρήσεων. Εικόνα 7 - παράδειγμα SR για πολλαπλές γωνιακές εικόνες από το δορυφόρο WorldView-2 με συντελεστή μεγέθυνσης 2 Αστρονομική Παρατήρηση Η φυσική ανάλυση των συσκευών αστρονομικής απεικόνισης που περιορίζονται από τις παραμέτρους του συστήματος, παρέχει επίσης μια ευκαιρία για τις τεχνικές SR να διαδραματίσουν κάποιο ρόλο και σε αυτό τον τομέα. Τα αστρονομικά συστήματα μπορούν τυπικά να συλλέξουν μια σειρά εικόνων για SR. Με τη βελτίωση της ανάλυσης αστρονομικών εικόνων, η SR μπορεί να βοηθήσει τους αστρονόμους με την εξερεύνηση του διαστήματος. Το SR μπορεί να ενισχύσει την ανάλυση της εικόνας και έτσι να βελτιώσει την ευκρίνεια μικρών αντικειμένων στην επιφάνεια της σελήνης. Ένα συγκεκριμένο παράδειγμα 29

30 παρουσιάζεται στην Εικόνα 10 που δείχνει την SR πολλαπλών εικόνων αστεριών. Πέρα από αυτό, ο Hughes και ο Ramsey χρησιμοποίησαν θερμικά υπέρυθρα και ορατά σύνολα δεδομένων θερμικών υπέρυθρων απεικονίσεων (THEMIS) από διαφορετικές φασματικές περιοχές για να παράγουν μια ενισχυμένη θερμική υπέρυθρη εικόνα της επιφάνειας του Άρη [15]. Εικόνα 2 - SR παράδειγμα αστρονομικών εικόνων: αρχική εικόνα (αριστερά), ανακατασκευασμένη εικόνα (δεξιά) Προσδιορισμός βιομετρικών πληροφοριών Το SR είναι επίσης σημαντικό στη βιομετρική αναγνώριση, συμπεριλαμβανομένης της βελτίωσης της ανάλυσης για πρόσωπα, δακτυλικά αποτυπώματα και εικόνες ίριδας των ματιών. Η ανάλυση των βιομετρικών εικόνων είναι ζωτικής σημασίας στη διαδικασία αναγνώρισης και ανίχνευσης. Για να αντιμετωπιστούν οι παρατηρήσεις χαμηλής ευκρίνειας, μια κοινή προσέγγιση είναι η ανάπτυξη εικόνων υψηλής ποιότητας από πολλές εικόνες χαμηλής ανάλυσης. Με βάση τον πλεονασμό και την ομοιότητα στα δομημένα χαρακτηριστικά των βιομετρικών εικόνων, το single-frame SR που βασίζεται σε παραδείγματα και συνδέεται με μια εξωτερική βάση δεδομένων, είναι ένας αποτελεσματικός τρόπος βελτίωσης της ανάλυσης. Εικόνα 3 - Παράδειγμα της SR για χαρακτηριστικά προσώπου, αρχική (αριστερά) και ανακατασκευασμένη εκδοχή (δεξιά) 30

31 Εικόνα 4 - Παράδειγμα της SR για δακτυλικά αποτυπώματα, αρχική (αριστερά) και ανακατασκευασμένη εκδοχή (δεξιά) Εικόνα 5 - Παράδειγμα της SR για την ίριδα του ματιού, αρχική (αριστερά) και ανακατασκευασμένη εκδοχή (δεξιά) 3.6. Οι κύριες προκλήσεις της Super Resolution Ανακατασκευής Στις προηγούμενες ενότητες αναφερθήκαν πολλές από τις τεχνικές που χρησιμοποιούνται για την SR ανακατασκευή. Από την εμφάνιση της SR μέχρι και σήμερα έχουν προταθεί πολλές προσεγγίσεις υλοποίησής της. Παρόλα αυτά, οι περισσότερες από αυτές βρίσκουν εφαρμογή κυρίως σε «κατασκευασμένα» επιστημονικά προβλήματα, παρά σε πραγματικές εφαρμογές. Στη διαδικασία δημιουργίας ενός πραγματικού SR συστήματος, υπάρχουν ακόμη αρκετά ζητήματα που χρειάζεται να επιλυθούν ώστε οι SR τεχνικές να έχουν ευρεία εφαρμογή. Παρακάτω, θα απαριθμήσουμε ζητήματα «προς επίλυση» τα οποία θεωρούνται σημαντικά για την μελλοντική εξέλιξη και εφαρμογή SR τεχνικών. 31

32 Καταχώρηση της εικόνας Η καταχώρηση της εικόνας είναι ένα κρίσιμο στάδιο για την ανακατασκευή στη multiframe SR, καθώς, κατά την διαδικασία αυτή συγχωνεύονται συμπληρωματικές χωρικές δειγματοληψίες της εικόνας υψηλής ανάλυσης. Η καταχώρηση της εικόνας αναφέρεται ουσιαστικά στην διαδικασία εύρεσης μια ακριβούς αντιστοιχίας σημείου προς σημείο μεταξύ των πολλαπλών εικόνων στην ακολουθία εισόδου. Το πρόβλημα καταχώρησης της εικόνας μπορεί να διατυπωθεί ως εξής: έχοντας δυο διαφορετικές όψεις της ίδιας σκηνής, για κάθε σημείο εικόνας της μιας όψης, βρίσκουμε το αντίστοιχο σημείο της άλλης όψης το οποίο αντιστοιχεί στο ίδιο πραγματικό σημείο της σκηνής. Για γενικές σκηνές, αυτή η χαρτογράφηση είναι σύνθετη και πρέπει να οριστεί ρητά σε κάθε σημείο εικόνας. Ωστόσο, υπό ορισμένες συνθήκες, η χαρτογράφηση μπορεί να εκφραστεί ως μια απλή γεωμετρική σχέση μεταξύ των εικόνων. Οι μέθοδοι για την καταχώριση εμπίπτουν σε δύο μεγάλες κατηγορίες: τις άμεσες μεθόδους που υπολογίζουν ένα μετασχηματισμό που βελτιστοποιεί κάποιο μέτρο φωτομετρικής συνοχής σε ολόκληρη την εικόνα και τις μεθόδους που βασίζονται στα χαρακτηριστικά της εικόνας και οι οποίες χρησιμοποιούν ένα αραιό σύνολο των αντίστοιχων χαρακτηριστικών εικόνας (π.χ. σημεία και γραμμές) για την εκτίμηση της χαρτογράφησης εικόνας προς εικόνα [16]. Η καταχώρηση εικόνας είναι θεμελιώδες πρόβλημα στον τομέα της επεξεργασίας εικόνας και είναι ένα ill-posed πρόβλημα. Το πρόβλημα της καταχώρησης γίνεται ακόμα δυσκολότερο για την SR στην περίπτωση που οι παρατηρούμενες εικόνες είναι χαμηλής ανάλυσης και με έντονα φαινόμενα aliasing και artifacts. Η απόδοση των τυπικών αλγορίθμων καταχώρησης εικόνας μειώνεται όσο μικρότερη είναι η ανάλυση των παρατηρήσεων με αποτέλεσμα να δημιουργούνται περισσότερα σφάλματα κατά την εγγραφή. Τα artifacts που προκύπτουν από αυτά τα λάθη καταχώρησης είναι οπτικά πιο ενοχλητικά από το σφάλμα θολώματος που προκύπτει από την παρεμβολή μίας μόνο εικόνας. Η παραδοσιακή SR ανακατασκευή συνήθως αντιμετωπίζει την καταχώρηση της εικόνας (χαμηλής ανάλυσης) ως ξεχωριστή διαδικασία από την εκτίμηση της υψηλής ανάλυσης εικόνας. Συνεπώς, η ποιότητα της ανακτημένης εικόνας υψηλής ανάλυσης εξαρτάται κατά πολύ από την ακρίβεια της διαδικασίας καταχώρησης που αναφέρεται στο προηγούμενο βήμα. Η καταχώρηση της εικόνας χαμηλής ανάλυσης και η εκτίμηση της εικόνας υψηλής ανάλυσης είναι δύο διαδικασίας ουσιαστικά αλληλεξαρτώμενες. Από τη μία, η ακριβής εκτίμηση της κίνησης του subpixel, ωφελεί την εκτίμηση της εικόνας υψηλής ανάλυσης και 32

33 από την άλλη, μία υψηλής ποιότητας εικόνα μπορεί να διευκολύνει την ακριβή εκτίμηση της κίνησης. Επομένως, επιστρέφοντας στο πρόβλημα της SR ανακατασκευής, η καταχώρηση της εικόνας χαμηλής ανάλυσης μπορεί να εξεταστεί από κοινού με την ανακατασκευή της εικόνας υψηλής ανάλυσης, οδηγώντας σε ένα κοινό ML ή MAP πλαίσιο ταυτόχρονης εκτίμησης. Οι αλγόριθμοι κοινής εκτίμησης καταγράφουν την εξάρτηση μεταξύ της καταχώρησης της εικόνας εισόδου και της εκτίμησης της ανακατασκευασμένης εικόνας και παρουσιάζουν βελτιώσεις στην απόδοση. Ωστόσο, στην περίπτωση περιορισμένων παρατηρήσεων, η κοινή εκτίμηση για τις παραμέτρους καταχώρισης και εκτίμησης μπορεί να οδηγήσει σε υπερφόρτωση. Μια πρόταση για την αντιμετώπιση του προβλήματος υπερφόρτωσης είναι μια Bayesian προσέγγιση για την ταυτόχρονη εκτίμηση τόσο των παραμέτρων καταχώρησης όσο και των παραμέτρων θολώματος, οριοθετώντας την άγνωστη, υψηλής ποιότητας εικόνα [8]. Οι αλγόριθμοι αυτοί δείχνουν αξιοσημείωτη ακρίβεια στην εκτίμηση τόσο των παραμέτρων καταχώρησης όσο και των παραμέτρων θολώματος, ωστόσο το κόστος υπολογισμού τους είναι πολύ υψηλό. Οι στοχαστικές προσεγγίσεις που συσχετίζουν την εκτίμηση με την καταχώρηση της εικόνας επιδεικνύουν πολλά υποσχόμενα αποτελέσματα, ωστόσο τέτοιες παραμετρικές μέθοδοι είναι περιορισμένες όσον αφορά στα μοντέλα κίνησης που μπορούν να χειριστούν αποτελεσματικά. Συνήθως, χρησιμοποιούνται σε ορισμένα απλά μοντέλα. Τα βίντεο είναι πιο περίπλοκα, καθώς περιλαμβάνουν αυθαίρετες τοπικές κινήσεις, όπου η παραμετροποίηση των μοντέλων κίνησης μπορεί να είναι δύσκολο να τεθεί υπό έλεγχο. Η εκτίμηση της κίνησης της οπτικής ροής είναι μια μέθοδος που μπορεί να εφαρμοστεί σε τέτοια σενάρια. Ωστόσο, οι μέθοδοι με βάση την οπτική ροή είναι υπολογιστικά δαπανηρές και είναι ευαίσθητες στον θόρυβο, τις μεγάλες μετατοπίσεις και τις διαφοροποιήσεις του φωτισμού. Είναι λοιπόν γεγονός, ότι προκειμένου να αυξηθεί η ακρίβεια της εκτίμησης κίνησης στην SR ανακατασκευή, απαιτούνται πιο προηγμένες και βελτιωμένες μέθοδοι καταχώρησης Υπολογιστική Αποδοτικότητα Άλλος ένα πρακτικός περιορισμός της SR ανακατασκευής προκύπτει λόγω των της αυξημένης υπολογιστικής πολυπλοκότητας της, εξαιτίας του μεγάλου αριθμού αγνώστων παραμέτρων που καλείται να υπολογίσει, ο υπολογισμός των οποίων είναι εξαιρετικά δαπανηρός. Οι πραγματικές εφαρμογές απαιτούν πάντα η αποδοτικότητα της SR 33

34 ανακατασκευής να έχει πρακτική χρησιμότητα. Για παράδειγμα σε μία περίπτωση χρήσης της σε βίντεο παρακολούθησης, είναι απαραίτητο η SR ανακατασκευή να συμβαίνει σε πραγματικό χρόνο. Επίσης, πολλοί αλγόριθμοι SR που στοχεύουν στην υψηλή αποδοτικότητα εμπίπτουν στην προηγουμένως αναφερθείσες προσεγγίσεις παρεμβολής-αποκατάστασης. Ωστόσο, σχεδόν όλοι οι αλγόριθμοι που έχουν πετύχει μια υψηλή αποδοτικότητα απαιτούν ακριβή καταχώρηση εικόνας, η οποία είναι εξίσου υπολογιστικά δαπανηρή. Επιπλέον, αυτοί οι αλγόριθμοι μπορούν να χειριστούν αποτελεσματικά απλά μοντέλα κίνησης έως τώρα, και συνεπώς απέχουν από την εφαρμογή σε πολύπλοκα πραγματικά προβλήματα Θέματα Ευρωστίας Οι παραδοσιακές SR τεχνικές είναι ευάλωτες στην ύπαρξη ακραίων τιμών, λόγω σφαλμάτων κίνησης, ανακριβών μοντέλων θολώματος, θορύβου, κινούμενων αντικειμένων, θολώματος λόγω κίνησης κλπ. Αυτά τα ανακριβή μοντέλα σφαλμάτων δεν μπορούν να θεωρηθούν Gaussian θόρυβος. Η ευρωστία της SR έχει ιδιαίτερη σημασία καθώς οι παράμετροι που οδηγούν σε υποβάθμιση της εικόνας δεν μπορούν να εκτιμηθούν με ακρίβεια, και επίσης η ευαισθησία τους στις ακραίες τιμές μπορεί να οδηγήσει στην εμφάνιση ενοχλητικών artifacts, τα οποία δημιουργούν ένα μη αποδεκτό αποτέλεσμα στις περισσότερες εφαρμογές. Ωστόσο, έχει θεωρηθεί ότι δεν έχει αφιερωθεί αρκετή δουλειά σε μια τόσο σημαντική πτυχή της SR. Σε αυτό το σημείο θα αναφερθούν κάποιες εφαρμογές SR που στοχεύουν εκτός των άλλων στη βελτίωση της ευρωστίας των συστημάτων που υλοποιούν. Οι Chiang και Boulte στο [17] χρησιμοποίησαν τη μέση εκτίμηση για να συνδυάσουν τις εικόνες που υπερδειγματοληπτούνται, για να αντιμετωπίσουν τις ακραίες τιμές και τον μη στατικό θόρυβο. Ο Zomet [18] διαχειρίζεται το πρόβλημα με διαφορετικό τρόπο, χρησιμοποιεί μια gradient με βάση τη μέση τιμή για βελτιστοποίηση έτσι ώστε να παρακάμψει την επίδραση των ακραίων τιμών. Ο Pham [19] πρότεινε τη βελτίωση της ευρωστίας ως εξής: για κάθε γειτονικό δείγμα εφαρμόζεται interpolation άγνωστων δεδομένων με το ίδιο φωτομετρικό σύστημα στάθμισης που χρησιμοποιείται στο διμερές φιλτράρισμα (bilateral filtering). Πολλοί από αυτούς τους αλγορίθμους έδειξαν βελτιώσεις για ακραίες τιμές σε toy data εφαρμογές. Όμως, χρειάζονται περισσότερες πειραματικές αξιολογήσεις για να γίνει αντιληπτό πόσο οι προσπάθειες βελτίωσης της ευρωστίας μπορούν να ωφελήσουν την απόδοση πραγματικών εφαρμογών SR. 34

35 Όρια Απόδοσης H SR ανακατασκευή αποτελεί μείζον ερευνητικό θέμα από τη στιγμή που τέθηκε για πρώτη φορά ως τέτοιο μέχρι και σήμερα, και χιλιάδες ακαδημαϊκά άρθρα που διαπραγματεύτηκαν το θέμα, μετατράπηκαν σε δημοσιεύσεις. Ωστόσο, δεν έχει δοθεί μεγάλη βαρύτητα στη θεμελιώδη κατανόηση των ορίων απόδοσης αυτών των αλγορίθμων SR ανακατασκευής. Η κατανόηση των ορίων απόδοσης αποτελεί ένα ιδιαίτερα σημαντικό θέμα όπως θα γίνει αντιληπτό στη συνέχεια. Μια καλύτερη κατανόηση των ορίων απόδοσης θα μπορούσε να ανοίξει το δρόμο για τη σχεδίαση της SR κάμερας βοηθώντας στην ανάλυση παραγόντων όπως σφάλματα μοντέλου, συντελεστές ζουμ, αριθμός πλαισίων κ.λπ. [4]. Σε αυτό το σημείο αξίζει να σημειωθεί, ότι σε γενικές γραμμές, μια φιλόδοξη ανάλυση των ορίων απόδοσης για όλες τις τεχνικές SR μπορεί να μην είναι δυνατή. Αυτό οφείλεται καταρχάς στο γεγονός ότι η SR ανακατασκευή είναι μία πολύπλοκη διαδικασία η οποία αποτελείται από πολλές αλληλεξαρτώμενες συνιστώσες. Κατά δεύτερον, δεν έχει αποσαφηνιστεί ακόμη ποιο είναι το πιο βασικό συστατικό στην SR διαδικασία, και ειδικά σε προσεγγίσεις που διεξάγονται βάσει παραδειγμάτων. Τέλος, για την αξιολόγηση της απόδοσης απαιτείται ακόμα ένα καλύτερο μέτρο αντί για το απλό MSE. Έχει αναγνωριστεί ότι μια εκτίμηση με υψηλότερο MSE δεν είναι απαραίτητα και οπτικά πιο ελκυστική. Τα τελευταία χρόνια έχουν προταθεί πολλές ιδέες που προσπαθούν να κατανοήσουν την απόδοση, οι οποίες αναλύοντας τις αριθμητικές συνθήκες των γραμμικών SR συστημάτων, έχουν καταλήξει στο συμπέρασμα ότι καθώς αυξάνεται ο συντελεστής ζουμ, τόσο η αρχική εικόνα εισόδου γίνεται λιγότερο βοηθητική για την SR. Για απλά μοντέλα μετάφρασης οι Robinson και Milanfar στο [20] χρησιμοποιήστε τα όρια Cramer-Rao (CR) για να αναλύσουν το όριο απόδοσης καταχώρισης της εικόνας. Στη συνέχεια επέκτειναν την έρευνά τους στο [21] για να δώσουν μια λεπτομερή ανάλυση της απόδοσης της SR με παράγοντες όπως η εκτίμηση κίνησης, ο συντελεστής αποικοδόμησης, ο αριθμός πλαισίων και η αρχική πληροφορία. Η ανάλυση τους βασίζεται στο κριτήριο MSE και το μοντέλο κίνησης είναι και πάλι ένα απλό μοντέλο μετάφρασης. Το Eekeren στο [22] αξιολόγησε αρκετούς αλγόριθμους SR σε πραγματικά δεδομένα που διερευνούν εμπειρικά αρκετούς παράγοντες που επηρεάζουν την απόδοση. Παρόλο που οι προσπάθειες αυτές για την κατανόηση των ορίων απόδοσης δεν είναι αρκετές για την SR, προτείνουν πράγματι τρόπους για μελλοντική έρευνα. Παρόλο λοιπόν, που είναι δύσκολο να εξαχθούν συνεκτικά συμπεράσματα για τις διάφορες SR τεχνικές, όσον αφορά στην αξιολόγηση της απόδοσης, απαιτούνται συγκριτικά 35

36 και ρεαλιστικά δεδομένα για την ορθή σύγκριση και την κατανόηση των αλγορίθμων. Οι μελλοντικές έρευνες πρέπει να επιδιώξουν περισσότερη θεωρητική ανάλυση καθώς και περισσότερη αξιολόγηση της απόδοσης με στόχο την πρόοδο και εξέλιξη των SR τεχνικών Super Resolution χωρίς πολλαπλές εικόνες χαμηλής ανάλυσης και Dictionary-Based Μέθοδοι Σε αυτή την ενότητα θα γίνει μια εκτενέστερη αναφορά στη single-based SR, μιας και οι δυο μέθοδοι που θα αναλυθούν στη συνέχεια, εμπίπτουν σε αυτή την κατηγορία, άρα είναι απαραίτητο να γίνει πλήρως κατανοητή η δομή της. Έπειτα, η ανάλυση αυτή θα συνδεθεί με ένα συγκεκριμένο τρόπο υλοποίησης single-based μεθόδου, τη δημιουργία λεξικών, που είναι και ο τρόπος λειτουργία των προσεγγίσεων που θα αναφερθούν μετέπειτα. Ο στόχος της SR όπως έχει ήδη αναφερθεί είναι να ανακτήσει τις λεπτομέρειες υψηλής ανάλυσης που δεν παρατηρούνται στις εικόνες χαμηλής ανάλυσης. Συνήθως, οι λεπτομέρειες ανακτώνται συνδυάζοντας τις πληροφορίες που λαμβάνονται από πολλαπλές εικόνες χαμηλής ανάλυσης. Ωστόσο, στον πραγματικό κόσμο είναι μερικές φορές δύσκολο να αποκτηθούν αρκετές εικόνες με συμπληρωματικές πληροφορίες. Επίσης, η απόδοση των αλγορίθμων που βασίζονται στην ανακατασκευή υποβαθμίζεται όταν ο συντελεστής μεγέθυνσης είναι μεγάλος. Έτσι, οι ερευνητές έχουν στραφεί στη μελέτη μεθόδων SR με χρήση μια μεμονωμένης εικόνας όπου το μοντέλο παρατήρησης είναι παρόμοιο με την (3.1) όταν k=1. Βέβαια, το single-frame SR δεν πρέπει να συγχέεται με παρόμοιες τεχνικές, όπως οι μέθοδοι παρεμβολής εικόνας που χρησιμοποιούν ελάχιστες επιπλέον πληροφορίες. Οι λεπτομέρειες υψηλής συχνότητας δεν μπορούν να ανακατασκευαστούν χωρίς συμπληρωματικές πληροφορίες. Για να τη διακρίνουμε από τις παραδοσιακές μεθόδους παρεμβολής, η single-frame SR μαθαίνει την αντιστοιχία μεταξύ των πληροφοριών χαμηλής και υψηλής ανάλυσης από μια εξωτερική βάση δεδομένων και έτσι επαναφέρει τις λεπτομέρειες στο χώρο της υψηλής ανάλυσης. Όπως έχει ήδη αναφερθεί τα τελευταία χρόνια έχει δοθεί ιδιαίτερη προσοχή στις μεθόδους SR που βασίζονται σε παραδείγματα. Οι αλγόριθμοι αυτοί είτε εκμεταλλεύονται τις εσωτερικές ομοιότητες της ίδιας εικόνας είτε μαθαίνουν τις αντιστοιχίες μεταξύ patches χαμηλής και υψηλής ανάλυσης από εξωτερικά ζεύγη υποδειγματικών ζευγών χαμηλής και υψηλής ανάλυσης. Εκτός από τις προσεγγίσεις μέσω patches τα οποία εκπαιδεύονται από τη 36

37 γενική σχέση μεταξύ των λεπτομερειών εικόνας χαμηλής και υψηλής ανάλυσης, έχουν προταθεί μέθοδοι ενσωμάτωσης γειτονιάς (neighbor embedding ή NE) και οι sparse μέθοδοι κωδικοποίησης. Οι NE προσεγγίσεις προϋποθέτουν ότι τα μικρά patches στις εικόνες υψηλής και χαμηλής ανάλυσης σχηματίζουν παρόμοιες πολλαπλές διεπαφές σε δύο ξεχωριστούς χώρους. Με αυτόν τον τρόπο, οι μέθοδοι που βασίζονται σε NE απαιτούν λιγότερα δείγματα εκπαίδευσης και μπορούν να εφαρμοστούν σε μια ποικιλία εικόνων. Ωστόσο, τα κρίσιμα προβλήματα των ΝΕ μεθόδων είναι τα φαινόμενα θολώματος που οφείλονται σε υπερβολικό ή ανεπαρκές ταίριασμα με το αυστηρά καθορισμένο μέγεθος γειτονιάς. Επιπλέον, οι χαρτογραφήσεις χαρακτηριστικών χαμηλής-υψηλής ανάλυσης δεν μπορούν να καθοριστούν αποτελεσματικά με την εκμάθηση πληροφοριών υψηλής ανάλυσης από τον χώρο των μικρών διαστάσεων. Για να ξεπεραστούν οι περιορισμοί αυτοί, χρησιμοποιούνται οι προσεγγίσεις sparse κωδικοποιήσεων (SC), που επιχειρούν να ενσωματώσουν τη sparse αναπαράσταση σήματος για να σχηματίσουν ένα υπερπλήρες εκπαιδευμένο λεξικό και έχουν επιτύχει πολλά υποσχόμενα αποτελέσματα. Υποθέτοντας ότι η εικόνα μπορεί να αναπαρασταθεί ως ένας sparse γραμμικός συνδυασμός με ένα υπερπλήρες λεξικό ψ και το αντίστοιχο διάνυσμασυντελεστής α με πολύ λίγες μη μηδενικές καταχωρίσεις, τότε το patch της εικόνας μπορεί να δοθεί ως x = ψα. Η γενική ιδέα αυτής της μεθόδου SR, έχει ως εξής, για κάθε χαμηλής ανάλυσης patch εισόδου, η sparse αναπαράσταση θα βρεθεί σύμφωνα με το ψ l, και το υψηλής ανάλυσης patch, μπορεί να παραχθεί σύμφωνα με το υψηλής ανάλυσης λεξικό και τους συντελεστές. Ο στόχος είναι να βρεθεί η πιο αραιή αναπαράσταση του α και της αντίστοιχης εικόνας υψηλής ανάλυσης με τη βελτιστοποίηση μιας συνάρτησης ενέργειας. Το μοντέλο είναι σε θέση να ελέγχει το συμβιβασμό μεταξύ της αντιστοίχισης της εισόδου χαμηλής ανάλυσης και της εύρεσης ενός υψηλής ανάλυσης patch το οποίο είναι συμβατό με τους γείτονές του. Για να γίνει κατανοητή μια τέτοια μέθοδος, πρέπει να γίνει πρώτα κατανοητή η έννοια εκπαίδευσης του λεξικού. Όπως αναφέρθηκε και προηγουμένως ένας εύκολος τρόπος για περιοριστεί η αναζήτηση του κατάλληλου patch, μέσα από τεράστια training sets και βάσεις δεδομένων στις διάφορες εφαρμογές της single-frame SR, είναι η χρήση εκπαιδευμένων λεξικών. Οι τρέχουσες μέθοδοι εκμάθησης λεξικού επικεντρώνονται κυρίως στην κατάρτιση ενός υπερπλήρους λεξικού σε ένα ενιαίο χώρο χαρακτηριστικών για διάφορες εργασίες ανάκτησης ή αναγνώρισης. Σε πολλές εφαρμογές και σενάρια, έχουμε συζευγμένους χώρους sparse χαρακτηριστικών, όπως χώρους υψηλής και χαμηλής ανάλυσης σήματος σε patchbased SR. Δηλώνονται δύο χώροι ως ο χώρος παρατήρησης και ο λανθάνον χώρος, 37

38 αντίστοιχα, που συνδέονται με κάποια λειτουργία χαρτογράφησης (όχι απαραίτητα γραμμική και μπορεί να είναι και άγνωστη). Είναι επιθυμητό να εκπαιδευτούν τα δύο συζευγμένα λεξικά, δηλαδή το λεξικό παρατήρησης και το λανθάνον λεξικό, συνεργατικά έτσι ώστε η «σχέση» του σήματος στον χώρο παρατήρησης να μπορεί να χρησιμοποιηθεί για να ανακατασκευάσει το ζευγαρωμένο σήμα του στο λανθάνον χώρο. Η εκμάθηση τέτοιων συζευγμένων λεξικών έχει πολλές πιθανές εφαρμογές τόσο στην επεξεργασία σήματος όσο και στον τομέα του computer vision. Ο Yang [11] πρότεινε μια κοινή μέθοδο εκμάθησης λεξικού για να εκπαιδεύσει τα λεξικά για υψηλής και χαμηλής ανάλυσης patches εικόνας. Η μέθοδος αυτή συνενώνει στην ουσία τους δύο χώρους χαρακτηριστικών και μετατρέπει το πρόβλημα στην τυπική sparse κωδικοποίηση σε ένα μόνο χώρο χαρακτηριστικών. Η πληρότητα του λεξικού είναι ένας κρίσιμος παράγοντας που επηρεάζει την απόδοση των μεθόδων SR που βασίζονται στη μάθηση. Η πιο απλή προσέγγιση για τον εμπλουτισμό της πληρότητας είναι η αύξηση του μεγέθους του λεξικού. Ωστόσο, αυτό απαιτεί την αύξηση του training set, το οποίο αναπόφευκτα προσθέτει περισσότερα υπολογιστικά φορτία στην αντιστοίχιση των patches. Ένας άλλος βασικός παράγοντας που επηρεάζει την απόδοση του patch-based SR είναι η ακρίβεια αντιστοίχισης κατά την αναζήτηση στα λεξικά για τα χαμηλής ανάλυσης patches εισόδου στους πλησιέστερος γείτονες. 38

39 4. Image Super-Resolution via Sparse Representation Όπως έχει επανειλημμένως αναφερθεί, το super resolution πρόβλημα θέτει το εξής ερώτημα: Δεδομένης μιας εικόνας χαμηλής ανάλυσης Χ, ζητείται μια υψηλότερης ανάλυσης εικόνα Υ της ίδιας απεικόνισης. Στη συγκεκριμένη προσέγγιση διαμορφώνονται δυο περιορισμοί για τη λύση του ill-posed αυτού προβλήματος: 1) ο περιορισμός ανακατασκευής, που προϋποθέτει ότι η ανακτημένη εικόνα Υ πρέπει να είναι συνεπής με την είσοδο Χ σύμφωνα το μοντέλου παρατήρησης, όπως αυτό τέθηκε στο κεφάλαιο 3 και 2) η αρχή της αραιότητας (sparsity prior), η οποία σύμφωνα με την dictionary based SR που αναλύθηκε προηγουμένως, υποθέτει ότι τα υψηλής ανάλυσης patches μπορούν να αναπαρασταθούν αραιά από ένα κατάλληλα επιλεγμένο, υπερπλήρες λεξικό και αυτές οι αραιές αναπαραστάσεις μπορούν να ανακτηθούν από τις παρατηρήσεις της χαμηλής ανάλυσης. Η συγκεκριμένη πρόταση λοιπόν, εστιάζει στο πρόβλημα της ανάκτησης της superresolution έκδοσης μιας δεδομένης low-resolution εικόνας, εκμεταλλευόμενη τις sparse αναπαραστάσεις των εικόνων αυτών. Όπως έχει ήδη αναφερθεί και ισχύει σε όλες τις learning-based μεθόδους, έτσι κι αυτή βασίζεται σε patches προερχόμενα από την εικόνα εισόδου. Ωστόσο, αντί να γίνεται απευθείας επεξεργασία των ζευγών από τα patches που δειγματολειπτούνται από τις εικόνες υψηλής και χαμηλής ανάλυσης, χρησιμοποιείται μια συμπαγής αναπαράστασης αυτών των ζευγών από patches, έτσι ώστε να ληφθεί υπόψιν η προγενέστερη συνύπαρξη τους, βελτιώνοντας σημαντικά την ταχύτητα του αλγορίθμου. Η συγκεκριμένη προσέγγισή στηρίζεται στα τα αποτελέσματα της sparse signal αναπαράστασης, η οποία υποδηλώνει ότι οι γραμμικές σχέσεις μεταξύ των σημάτων υψηλής ανάλυσης μπορούν να ανακτηθούν με ακρίβεια από τις προβολές των αντίστοιχων χαμηλών διαστάσεών τους. Αν και το πρόβλημα της super resolution είναι ill-posed, καθιστώντας αδύνατη την ακριβή ανάλυση, η sparse αναπαράσταση των patches βελτιώνει τόσο την αποτελεσματικότητα όσο και την ευρωστία του προβλήματος SR. 39

40 4.1. Εκπαίδευση του Ζεύγους Λεξικών Θεωρητική Περιγραφή Η μέθοδος η οποία αναλύεται έχει στόχο τη δημιουργία ενός ζεύγους δυο συζευγμένων λεξικών, του D h, για patches υψηλής ανάλυσης, και του D l, για patches χαμηλής ανάλυσης. Η αραιή αναπαράσταση ενός patch χαμηλής ανάλυσης από το D l θα χρησιμοποιείται απ' ευθείας για την ανάκτηση του αντίστοιχου patch υψηλής ανάλυσης από D h. Έχει επιτευχθεί μια τοπικά συνεπής λύση επιτρέποντας στα patches να επικαλύπτονται και απαιτείται τα ανακατασκευασμένα, υψηλής ανάλυσης patches να συμφωνούν στις επικαλυπτόμενες περιοχές. Ένας απλός τρόπος για να αποκτηθούν δύο τέτοια λεξικά θα ήταν να δειγματoληπτηθούν απευθείας ζεύγη patches εικόνας, πράγμα που διατηρεί την αντιστοιχία μεταξύ στοιχείων patches χαμηλής και υψηλής ανάλυσης. Ωστόσο, μια τέτοια στρατηγική θα οδηγούσε σε μεγάλα λεξικά και, ως εκ τούτου, μεγάλη υπολογιστική πολυπλοκότητα. Αυτή η ενότητα θα επικεντρωθεί στην εκμάθηση ενός πιο συμπαγούς ζεύγους λεξικών που θα συμβάλει στην επιτάχυνση των υπολογισμών. Αρχικά, λαμβάνεται ένας αριθμός τυχαίων patches από μια βάση δεδομένων εικόνων. Δεδομένων των δειγματοληπτημένων training patches ζευγών P = {Υ h, Χ l }, όπου Υ h = {y 1, y 2,, y n } είναι το σύνολο των ληφθέντων patches υψηλής ανάλυσης και Χ l = {x 1, x 2,, x n } είναι τα αντίστοιχα patches χαμηλής ανάλυσης (ή features), ο στόχος είναι να εκπαιδευτούν τα δυο λεξικά για υψηλής και χαμηλής ανάλυσης patches, έτσι ώστε η sparse αναπαράσταση του patch υψηλής ανάλυσης να είναι ίδια με τη sparse αναπαράσταση του αντίστοιχου patch χαμηλής ανάλυσης. Η επιλογή των patches είναι τυχαία καθώς η εκπαίδευση των δυο λεξικών γίνεται σύμφωνα με ένα πιθανοτικό μοντέλο όπως αναλύεται στο [10]. Για τη μορφή των patches χαμηλής ανάλυσης, χρησιμοποιούμε ένα μετασχηματισμό χαρακτηριστικών (features) F ώστε να διασφαλίσουμε ότι οι υπολογιζόμενοι συντελεστές ταιριάζουν στο πιο σχετικό μέρος του σήματος χαμηλής ανάλυσης και, συνεπώς, έχουν μια πιο ακριβή πρόβλεψη για την ανακατασκευή της εικόνας υψηλής ανάλυσης. Τυπικά, το F επιλέγεται ως κάποιο είδος υψιπερατού φίλτρου. Αυτό είναι λογικό από άποψη αντίληψης της πληροφορίας, αφού το ανθρώπινο μάτι είναι πιο ευαίσθητο στο περιεχόμενο της υψηλής 40

41 συχνότητας της εικόνας. Τα συστατικά μέρη υψηλής συχνότητας της εικόνας χαμηλής ανάλυσης είναι επίσης αναμφισβήτητα τα πιο σημαντικά για την πρόβλεψη του χαμένου περιεχομένου υψηλής συχνότητας στην εικόνα προορισμού υψηλής ανάλυσης. Στη βιβλιογραφία, οι ερευνητές πρότειναν να εξαχθούν διαφορετικά χαρακτηριστικά για το patch χαμηλής ανάλυσης, προκειμένου να ενισχυθεί η ακρίβεια της πρόβλεψης. Εδώ, χρησιμοποιούνται τα gradients πρώτης και δεύτερης τάξης ως το χαρακτηριστικό γνώρισμα για το patch χαμηλής ανάλυσης λόγω της απλότητας και της αποτελεσματικότητάς τους. Η εφαρμογή αυτών των τεσσάρων φίλτρων παρέχει τέσσερα διανύσματα χαρακτηριστικών για κάθε patch, τα οποία συνενώνονται σε ένα διάνυσμα ως η τελική αναπαράσταση του patch χαμηλής ανάλυσης. Σε αυτό το σημείο να αναφερθεί ότι τα τέσσερα φίλτρα δεν εφαρμόζονται απευθείας στα patches χαμηλής ανάλυσης, αλλά στις εικόνες εκπαίδευσης. Έτσι, για κάθε εικόνα εκπαίδευσης χαμηλής ανάλυσης, δημιουργούνται τέσσερις gradient χάρτες, από τους οποίους εξάγονται τέσσερα patches σε κάθε θέση και αυτά συνδυάζονται ώστε δημιουργηθεί ένας φορέας των χαρακτηριστικών γνωρισμάτων. Επομένως, η αναπαράσταση χαρακτηριστικών για κάθε patch χαμηλής ανάλυσης κωδικοποιεί επίσης τις γειτονικές της πληροφορίες, γεγονός που είναι ευεργετικό για την προώθηση της συμβατότητας μεταξύ των παρακείμενων patches στην τελική εικόνα υψηλής ανάλυσης. Στην πράξη, διαπιστώνεται ότι λειτουργεί καλύτερα να εξάγονται τα χαρακτηριστικά από την upsampled εκδοχή της εικόνας χαμηλής ανάλυσης αντί για την αρχική. Δηλαδή, πρώτα διπλασιάζουμε την εικόνα χαμηλής ανάλυσης χρησιμοποιώντας bicubic παρεμβολή, και στη συνέχεια εξαγάγουμε gradient χαρακτηριστικά από αυτήν. Δεδομένου ότι είναι γνωστές όλες οι αναλογίες ζουμ, είναι εύκολο να παρακολουθηθεί η αντιστοιχία μεταξύ των patches υψηλής ανάλυσης και των upsampled patches χαμηλής ανάλυσης τόσο για εκπαίδευση όσο και για δοκιμές. Λόγω του τρόπου εξαγωγής χαρακτηριστικών από τα patches χαμηλής ανάλυσης, τα δύο λεξικά D h και D l δεν συνδέονται απλώς γραμμικά μεταξύ τους. To εκπαιδευμένο λεξικό επιδεικνύει βασικά μοτίβα των patches όπως προσανατολισμένα edges, αντί για πρωτογενή πρότυπα patch, λόγω της συμπαγούς του φύσης. 41

42 Αλγοριθμική περιγραφή Όπως έχει ήδη αναφερθεί στη θεωρητική ανάλυση της μεθόδου, ο αλγόριθμος της ανάπτυξης του λεξικού, έχει στόχο τη δημιουργία ενός ζεύγους δυο συζευγμένων λεξικών, του D h, για patches υψηλής ανάλυσης, και του D l, για patches χαμηλής ανάλυσης. Στο Σχήμα 7 απεικονίζονται με τη σειρά τα στάδια της μεθόδου. Αρχικά εισάγεται η βάση δεδομένων των εικόνων από τις οποίες θα ληφθούν τα δείγματα για τη δημιουργία του διπλού λεξικού. Στη συνέχεια, επιλέγεται ο αριθμός των patches από τον οποίο θα αποτελείται το καθένα από τα δυο αυτά λεξικά, το μέγεθος κάθε τέτοιου patch, καθώς και ο αριθμός των patches που θα δειγματοληπτηθούν τυχαία από τις εικόνες εισόδου. (Για παράδειγμα ας θεωρηθεί ότι χρησιμοποιούνται σε κάθε λεξικό 512 patches, διαστάσεων 5x5, αφού όμως έχουν ληφθεί patches ως δείγματα). Το τρίτο στάδιο του αλγορίθμου της δημιουργίας του λεξικού είναι η τυχαία επιλογή patches από κάθε εικόνα εισόδου της βάσης δεδομένων και περιλαμβάνει τρία βήματα Πρώτα απ όλα, για κάθε εικόνα της βάσης που έχει εισαχθεί, δημιουργείται μια χαμηλής ανάλυσης εκδοχή της αλλά ίδιων διαστάσεων, κάνοντάς της downscaling και ξανά αμέσως upscaling. Το δεύτερο βήμα έχει ως εξής: δημιουργείται ένας πίνακας (H) με δείγματα patches υψηλής ανάλυσης, απευθείας από την υψηλής ανάλυσης εκδοχή της τρέχουσας εικόνας εισόδου. Στο τρίτο βήμα, δημιουργείται ένας τετραπλάσιος πίνακας (L), αντίστοιχος με τον (Η) ως εξής: σε κάθε patch υψηλής ανάλυσης του πίνακα Η, αντιστοιχούν τέσσερα patches χαμηλής ανάλυσης, που περιέχουν τα δεδομένα τεσσάρων gradients της αντίστοιχης εικόνας χαμηλής ανάλυσης που παράχθηκε στο πρώτο βήμα (στην Εικόνα 4 απεικονίζεται ένα παράδειγμα τέτοιων gradients). Ανακεφαλαιώνοντας, στο στάδιο αυτό, παράγονται κάθε φορά (για κάθε εικόνα της βάσης) δυο πίνακες, ο Η που περιλαμβάνει όλα τα υψηλής ανάλυσης patches που δειγματοληπτήθηκαν από την τρέχουσα εικόνα εισόδου, και έναν τετραπλάσιο από τον Η πίνακα L, o οποίος περιλαμβάνει τα δείγματα patches χαμηλής ανάλυσης από τα τέσσερα gradients που παράχθηκαν από τη χαμηλής ανάλυσης έκδοση της τρέχουσας εικόνας εισόδου. Η διαδικασία αυτή επαναλαμβάνεται για όλες τις εικόνες της βάσης δεδομένων. Οπότε, σε αυτή τη φάση της διαδικασίας, για το προηγούμενο παράδειγμα, υπάρχουν δυο λεξικά, το Xh, το οποίο περιέχει δείγματα patches και το Xl, το οποίο περιέχει 4 x δείγματα patches τις gradient εκδοχές. Έπειτα, στο τέταρτο στάδιο της διαδικασίας, απορρίπτονται από το ζεύγος (Xh, Xl) όσα patches έχουν αρκετά ομαλό περιεχόμενο, χωρίς ιδιαίτερες αλλαγές στην επιφάνειά τους. Το πέμπτο και τελευταίο στάδιο, είναι αυτό στο οποίο έγκειται η έννοια του sparsity η οποία 42

43 έχει αναφερθεί επανειλημμένα στο συγκεκριμένο έγγραφο. Στο σημείο αυτό λοιπόν, δημιουργείται ένας πολύ πιο περιορισμένος αριθμός από καινούργια patches, τα οποία προέρχονται από συνδυασμούς των δειγματοληπτημένων patches του προηγούμενου σταδίου και μπορούν να προσεγγίσουν με sparse τρόπο το οποιοδήποτε patch. Αυτά είναι patches τα οποία απαρτίζουν το τελικό ζεύγος λεξικών D h και D l, το οποία θα χρησιμοποιηθεί στη συνέχεια για την ανακατασκευή SR μιας εικόνας. Το D h δεν απεικονίζει πια εικόνες αλλά features εικόνων. Στην Εικόνα 6 απεικονίζεται ένα παράδειγμα ενός λεξικού υψηλής ανάλυσης. Το μαθηματικό μοντέλο με το οποίο πραγματοποιείται η sparse αναπαράσταση των patches αναλύεται στα [10] και [11]. Εικόνα 6 - Παράδειγμα λεξικού υψηλής ανάλυσης Dh Εικόνα 7 - Αρχική εικόνα και οι 4 εικόνες gradient 43

44 Εισαγωγή εικόνων βάσης δεδομένων Επιλογή αριθμού patches, μεγέθους patch για κάθε εικόνα: δημιουργία LR εκδοχής, διατήρηση διαστάσεων παραγωγή των Η patches από την HR εικόνα εισόδου παραγωγή των L patches από τα 4 gradients του H Απόρριψη των smooth patches Συνδυασμός patches με sparse coding για τη δημιουργία λεξικού Σχήμα 7 Διαδικασία δημιουργίας Διπλού Λεξικού 44

45 4.2. Το Στάδιο της Ανακατασκευής Θεωρητική Περιγραφή Παρόμοια με τις μεθόδους που χρησιμοποιούν patches και αναφέρθηκαν προηγουμένως, έτσι κι εδώ ο αλγόριθμος προσπαθεί να συμπεράνει το patch υψηλής ανάλυσης, για κάθε patch εισόδου χαμηλής ανάλυσης. Στο συγκεκριμένο μοντέλο έχουμε δυο λεξικά D h και D l, τα οποία είναι εκπαιδευμένα να έχουν τις ίδιες sparse απεικονίσεις, για κάθε ζεύγος patch υψηλής-χαμηλής ανάλυσης. Αφαιρούμε τη μέση τιμή όλων των pixel από κάθε patch, έτσι ώστε το λεξικό να αναπαριστά image textures αντί για απόλυτες εντάσεις. Κατά τη διαδικασία ανάκτησης λοιπόν, η μέση τιμή για κάθε υψηλής ανάλυσης patch, προβλέπεται από την αντίστοιχη χαμηλής ανάλυσης εκδοχή του. Για κάθε χαμηλής ανάλυσης patch εισόδου y, βρίσκουμε μια sparse αναπαράσταση σύμφωνα με το D l. Οι αντίστοιχες υψηλής ανάλυσης βάσεις από patches D h, θα συνδυαστούν σύμφωνα με αυτούς τους sparse συντελεστές για να δημιουργήσουν το υψηλής ανάλυσης patch εξόδου x. Το πρόβλημα της εύρεσης της sparsest αναπαράστασης του y μπορεί να διατυπωθεί ως εξής: min a 0 s. t. FD l Fx 2 2 ε, (4.1) όπου F είναι (γραμμικός) τελεστής εξαγωγής χαρακτηριστικών. Ο βασικός ρόλος του F στην εξίσωση είναι να παρέχει έναν αισθητά σημαντικό περιορισμό σχετικά με το πόσο προσεκτικά οι συντελεστές πρέπει να προσεγγίζουν το x. Παρόλο που το πρόβλημα της βελτιστοποίησης είναι γενικά NP πολυπλοκότητας, πρόσφατα αποτελέσματα υποδηλώνουν ότι εφόσον οι επιθυμητοί συντελεστές a είναι επαρκώς αραιοί (sparse), μπορούν, αντί μέσω ελαχιστοποίησης l 1 -νόρμας, να ανακτηθούν αποτελεσματικά όπως φαίνεται παρακάτω: min a 1 s. t. FD l a Fx 2 2 ε. (4.2) Οι πολλαπλασιαστές Lagrange προσφέρουν μια ισοδύναμη διατύπωση, min a FD l a Fx λ a 1, (4.3) όπου η παράμετρος λ εξισορροπεί την ακεραιότητα της λύσης και την πιστότητα της προσέγγισης στο x. Λύνοντας την παραπάνω εξίσωση μεμονωμένα για κάθε τοπικό patch, δεν εγγυείται η συμβατότητα μεταξύ γειτονικών patches. Η συμβατότητα, μεταξύ των γειτονικών patches 45

46 επιβάλλεται με τη χρήση ενός άπληστου αλγόριθμου ενός περάσματος, ο οποίος εμπιστεύεται μερικώς τα προηγουμένως ανακτημένα patches υψηλής ανάλυσης στις περιοχές επικάλυψης, και είναι όμοιος με το [29]. Στη συνέχεια η πρώτη εξίσωση μετασχηματίζεται έτσι ώστε η super resolution ανακατασκευή D h a του patch x να συμφωνεί στενά με τα προηγουμένως υπολογισθέντα γειτονικά υψηλής ανάλυσης patches. Το πρόβλημα βελτιστοποίησης που προκύπτει είναι το εξής: min a 1 s. t. FD l a Fx 2 2 ε 1, (4.5) PD h a w 2 2 ε 2, όπου ο πίνακας P εξάγει την περιοχή επικάλυψης μεταξύ του τρέχοντος patch και της προηγουμένως ανακατασκευασμένης υψηλής ανάλυσης εικόνας και το w περιέχει τις τιμές της προηγουμένως ανακατασκευασμένης εικόνας πάνω στη επικάλυψη. Η περιορισμένη βελτιστοποίηση (εξίσωση (4.5)) μπορεί επίσης να αναδιατυπωθεί ως min a D a x λ a 1, (4.6) όπου D = [ FD l ] και x = [ Fy ]. Η παράμετρος β ελέγχει το συμβιβασμό μεταξύ της βpd h βw εισόδου χαμηλής ανάλυσης και της εύρεσης ενός patch υψηλής ανάλυσης, το οποίο θα είναι συμβατό με τους γείτονές του. Σε όλα τα πειράματά τίθεται απλά β = 1. Δεδομένης της βέλτιστης λύσης a της εξίσωσης (4.6), το patch υψηλής ανάλυσης μπορεί να ανασκευαστεί ως y = D h a Αλγοριθμική Περιγραφή Ο αλγόριθμος της ανακατασκευής έχει ως στόχο τη δημιουργία μιας Super Resolution εικόνας από την αντίστοιχη χαμηλής ανάλυσης εκδοχή της. Περιλαμβάνει πέντε στάδια. Αρχικά, εισάγεται η προς ανακατασκευή, χαμηλής ανάλυσης εικόνα. Η εικόνα αυτή μεγεθύνεται στις διαστάσεις της επιθυμητής τελικής εικόνας και από τη μεγεθυμένη εικόνα παράγονται τέσσερις gradient εικόνες, όπως ακριβώς συνέβη και με τα patches κατά τη διαδικασία δημιουργία του λεξικού. Συγκεκριμένα, παράγονται τα gradients πρώτης και δεύτερης τάξης τόσο στην οριζόντια όσο και στην κατακόρυφη διεύθυνση. Στο επόμενο στάδιο της μεθόδου, η εικόνα εισόδου χωρίζεται σε επικαλυπτόμενα patches. Η επικάλυψη των patches, κάνει πιο ομαλή τη μετάβαση μεταξύ των patches κατά τη διαδικασία της σύνθεσης της τελικής εικόνας, ώστε να μην υπάρχουν απότομες αλλαγές από το ένα patch στο επόμενο. Όσο μεγαλύτερη η επικάλυψη τόσο καλύτερο είναι το τελικό αποτέλεσμα, γι 46

47 αυτό επιλέγεται η μέγιστη δυνατή επικάλυψη (για μέγεθος patch 5x5, επιλέγεται επικάλυψη 4 pixels). Το τέταρτο στάδιο της διαδικασίας ανακατασκευής εκτελείται σε δυο βήματα. Στο πρώτο περιλαμβάνει, για κάθε ένα patch της εικόνας εισόδου, τον υπολογισμών κάποιων βαρών w, μέσω των οποίων τα αντίστοιχα gradients του patch προσεγγίζονται από ένα γραμμικό συνδυασμό του λεξικού D l. Στο δεύτερο βήμα γίνεται εφαρμογή των ίδιων βαρών έτσι ώστε να υπολογιστεί το αντίστοιχο υψηλής ανάλυσης patch από τον sparse γραμμικό συνδυασμό του D h. Η διαδικασία αυτή επαναλαμβάνεται για όλα τα patch της εικόνας εισόδου. Τα patches υψηλής ανάλυσης που παράγονται, αλληλεπικαλύπτονται και συνθέτουν την τελική Super Resolution εικόνα. 47

48 Resize της εικόνας εισόδου στις επιθυμητές διαστάσεις Υπολογισμός 4 gradients, 1 ο, 2 ο, οριζόντια, κατακόρυφα Χωρισμός της εικόνας σε overlapping patches για κάθε patch: υπολογισμός βαρών μέσω των οποίων τα gradients του patch προσεγγίζονται από γραμμικό συνδυασμό του Dl εφαρμογή των ίδιων βαρών για τον υπολογισμό του HR patch από sparse γραμμικό συνδυασμό του Dh σύνθεση SR εικόνας από τα overlapping HR patches Σχήμα 8 - Διαδικασία ανακατασκευής 48

49 4.3. Πειραματικά Αποτελέσματα και Σχολιασμός Για την αξιολόγηση της μεθόδου ακολουθήθηκε η εξής διαδικασία. Ως εικόνα εισόδου λήφθηκε η υποδειγματοληπτημένη εκδοχή μιας εικόνας υψηλότερης ανάλυσης. Κατόπιν, η μέθοδος που περιγράφηκε χρησιμοποιήθηκε για την ανάκτηση μιας εικόνας υψηλότερης ανάλυσης. Το αποτέλεσμα της εισόδου συγκρίθηκε με την αρχική εικόνα υψηλής ανάλυσης. Ως μετρητές ποιότητας της εικόνας χρησιμοποιούνται το PSNR (peak signal-to-noise ratio) και το SSIM (structural similarity). Το PSNR εκφράζει την αναλογία μεταξύ της μέγιστης δυνατής ισχύος ενός σήματος και της ισχύος του θορύβου που επηρεάζει την πιστότητα της παράστασης και είναι λογαριθμικό μέγεθος. Ο δείκτης SSIM είναι μια μέτρηση της ποιότητας εικόνας που βασίζεται σε μια αρχική ασυμπίεστη ή χωρίς παραμόρφωση εικόνα ως αναφορά. Παίρνει τιμές από 0 μέχρι 1 (0 για εικόνες χωρίς κανένα κοινό στοιχείο και 1 για πανομοιότυπες εικόνες). Το SSIM έχει σχεδιαστεί για να βελτιώνει τις παραδοσιακές μεθόδους όπως η μέγιστη αναλογία σήματος προς θόρυβο (PSNR) και το μέσο τετραγωνικό σφάλμα (MSE), οι οποίες έχουν αποδειχθεί πολλές φορές ασυμβίβαστες με την αντίληψη του ανθρώπινου ματιού. Θα συγκριθούν λοιπόν τα PSNR και SSIM της συγκεκριμένης μεθόδου, με αυτά του απλού interpolation (bilinear), καθώς και με αυτά του bicubic interpolation. Παρουσιάζεται λοιπόν το αποτέλεσμα της διαδικασίας για εικόνα εισόδου το πορτραίτο της Lena, μεγέθους pixels και συγκρίνεται με τις απλές παρεμβολές bilinear και bicubic. Όπως είναι φανερό από τον Πίνακα 1, η μέθοδος δίνει ένα πολύ ικανοποιητικό PSNR στα 35,45 db και SSIM στο 0,993. Εικόνα 8 - Σύγκριση SR (αριστερά) με bilinear interpolation (δεξιά) 49

50 Εικόνα 9 - Σύγκριση SR (αριστερά) με bicubic interpolation (δεξιά) Mέθοδος PSNR SSIM Bilinear interpolation 32,67 db 0,979 Bicubic interpolation 34,09 db 0,990 Sparse Representation SR 35,45 db 0,993 Πίνακας 1 - Σύγκριση SR με bilinear και bicubic interpolation O χρόνος εκτέλεσής του αλγορίθμου ανακατασκευής, χωρίς να συνυπολογίζεται ο χρόνος δημιουργίας του λεξικού, μετρήθηκε στα 1047 δευτερόλεπτα. Σε αυτό το σημείο θα παρουσιαστούν μια σειρά από πειράματα και τα συμπεράσματα που προέκυψαν για τη συγκεκριμένη μέθοδο, έτσι ώστε να γίνει κατανοητό ποιοι είναι οι παράγοντες που επηρεάζουν το αποτέλεσμα. Εδώ θα πρέπει να αναφερθεί ότι η δημιουργία των λεξικών και η ανακατασκευή της εικόνας εκτελούνται ως δυο ανεξάρτητες διαδικασίες. Η διαδικασία δημιουργίας του λεξικού είναι μια χρονοβόρα διαδικασία και με την αύξηση του αριθμού δειγμάτων που χρησιμοποιούνται για αυτή, ο χρόνος εκτέλεσής της μεγαλώνει ακόμα περισσότερο. Αναφορικά, για τη δημιουργία ενός λεξικού που δημιουργείται από δείγματα σε ένα συμβατικό υπολογιστή, ο χρόνος που απαιτείται είναι περίπου έξι ώρες. Εάν ο αριθμός δειγμάτων διπλασιαστεί, σχεδόν διπλασιάζεται και ο χρόνος εκτέλεσης. Για το λόγο αυτό, η διαδικασία ανακατασκευής της εικόνας εκτελείται ως ανεξάρτητη. Είναι δηλαδή δυνατό, να δημιουργηθούν τα λεξικά μια φορά, καθώς απαιτούν τεράστιο χρόνο για 50