ΜΕΘΟΔΟΙ ΣΥΝΘΕΣΗΣ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΑΝΑΛΥΣΗΣ ΑΠΟ ΕΙΚΟΝΕΣ ΧΑΜΗΛΟΤΕΡΗΣ ΑΝΑΛΥΣΗΣ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΔΙΑΤΜΗΜΑΤΙΚΟ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ "ΣΥΣΤΗΜΑΤΑ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ" ΜΕΘΟΔΟΙ ΣΥΝΘΕΣΗΣ ΕΙΚΟΝΩΝ ΥΨΗΛΗΣ ΑΝΑΛΥΣΗΣ ΑΠΟ ΕΙΚΟΝΕΣ ΧΑΜΗΛΟΤΕΡΗΣ ΑΝΑΛΥΣΗΣ ΚΛΑΡΟΥΔΑΣ ΕΥΑΓΓΕΛΟΣ ΔΙΠΛΩΜΑΤΟΥΧΟΣ ΜΗΧΑΝΙΚΟΣ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ ΕΠΙΒΛΕΠΩΝ:ΨΑΡΑΚΗΣ ΕΜΜΑΝΟΥΗΛ ΕΠΙΚΟΥΡΟΣ ΚΑΘΗΓΗΤΗΣ ΤΟΥ ΤΜΗΥΠ ΕΞΕΤΑΣΤΙΚΗ ΕΠΙΤΡΟΠΗ:ΜΠΕΡΜΠΕΡΙΔΗΣ ΚΩΝΣΤΑΝΤΙΝΟΣ KΑΘΗΓΗΤΗΣ ΤΟΥ ΤΜΗΥΠ ΣΤΟΥΡΑΪΤΗΣ ΑΘΑΝΑΣΙΟΣ ΚΑΘΗΓΗΤΗΣ ΤΟΥ ΤΗΜΤΥ ΨΑΡΑΚΗΣ ΕΜΜΑΝΟΥΗΛ ΕΠΙΚΟΥΡΟΣ ΚΑΘΗΓΗΤΗΣ ΤΟΥ ΤΜΗΥΠ ΠΑΤΡΑ, Οκτώβρης 2010

2 Περίληψη Τα τελευταία χρόνια έχει γίνει εμφανές, ότι η σύγχρονη επιστήμη θα είναι άρρηκτα συνδεμένη με την πληροφορική. Οι ηλεκτρονικοί υπολογιστές και τα υπόλοιπα τεχνολογικά επιτεύγματα της επιστήμης, έχουν προσφέρει στον άνθρωπο απίστευτες δυνατότητες, τόσο στην επιλύση πολύπλοκων προβλημάτων όσο και στην ψυχαγωγία του. Για παράδειγμα, οι φορητές συσκευές αναπαραγώγης ήχου και οι ψηφιακές φωτογραφικές μηχανές με αξιοθαύμαστες δυνατότητες επεξεργασίας και απόθηκευσης σε χαμηλό κόστος, έχουν γίνει αναπόσπαστο κομμάτι της καθημερινότητας του κάθε ανθρωπου. Αναμφισβήτητα η πιο σημαντική συσκευή, είναι τα κινητά τηλέφωνα που μόνο τηλέφωνα πλέον δεν μπορούν να χαρακτηριστούν! Με δυνατότητες αναπαραγωγής ήχου, καταγραφής εικόνας και βίντεο, καθώς και με ικανοποιητική υπολογιστική ισχύ για πολλές εφαρμογές, δημιουργούν την εντύπωση ότι οι φορητοί ηλεκτρονικοί υπολογιστές του άμεσου μέλλοντος θα αντικατασταθούν από τα κινητά τηλέφωνα! Η χρήση των ηλεκτρονικών υπολογιστών σε πολλά και πολύπλοκα προβλήματα της επιστήμης συντέλεσε στην δημιουργία πολλών νέων επιστημονικών κλάδων. Ένας απο αυτούς είναι και η Ανάλυση και Επεξεργασία Ψηφιακής Εικόνας. Στην επεξεργασία εικόνας εντάσσονται μέθοδοι καταγραφής, βελτίωσης και μετασχηματισμού της. Με την χρήση μεθόδων επεξεργασίας εικόνας, είναι εφικτή και η ανάλυση της. Στην ανάλυση εικόνας, αναγνωρίζονται αντικείμενα και συσχετίσεις αντικειμένων. Βασικές εφαρμογές της ανάλυσης της εικόνας, είναι η μηχανική όραση, καθώς και η σύνθεση εικόνων από περιγραφή των αντικειμένων που περιέχει. Η σημερινή τεχνολογία αν και προσφέρει πολλά, δεν είναι ακόμα αρκετά ώριμη, ώστε να ξεπεράσει διάφορους περιορισμούς. Στα σύγχρονα υπολογιστικά συστήματα, είναι εφικτή η καταγραφή εικόνας και η επεξεργασία της σε πραγματικό χρόνο. Ωστόσο οι αισθητήρες καταγραφής δεν μπορούν να καταγράψουν την εικόνα, πάντα με την επιθυμητή ευκρίνεια και ακρίβεια που απαιτείται. Επιπλέον η τεχνολογιά κατασκευής των αισθητήρων, δεν επιτρέπει την καταγραφή εικόνας υψηλής ανάλυσης. Βέβαια για κάποιες εφαρμογές, η ευκρίνεια που επιτυγχάνουν ποιοτικοί αισθητήρες καταγραφής, μπορεί να επαρκεί. Ωστόσο το κόστος τους μπορεί να είναι τόσο υψηλό, ώστε να μην μπορει να δικαιολογηθεί για να χρησιμοποιηθούν. Υπάρχουν και περιπτώσεις όπου ο αισθητήρας καταγραφής που χρησιμοποιείται, προσφέρει επαρκή ανάλυση για την εικόνα, αλλά η ποιότητα καταγραφής της, δεν είναι ικανοποιητική. Αυτό μπορεί να οφείλεται σε πολλούς λόγους. Ενδεικτικά αναφέρονται: η συμπίεση των δεδομένων καταγραφής, οι δυσμενείς κλιματολογικές συνθήκες, η χαμηλή ένταση φωτός, αλλά και η πιθανή κίνηση του αισθητήρα που υφίσταται κατά την καταγραφή της εικόνας. Αυτοί και άλλοι παράγοντες, μπορούν να επηρεάσουν σημαντικά την ποιότητα καταγραφής της εικόνας. Παρ' όλα αυτά, σε σημαντικές επιστημονικές εφαρμογές, είναι αναγκαία μία εικόνα υψηλής ανάλυσης και υψηλής ευκρίνειας. Για αυτό το λόγο, έχει ξεκινήσει μιά ερευνητική προσπάθεια αναζήτησης μεθόδων, που θα χρησιμοποιούν ως είσοδο διαδοχικές εικόνες χαμηλής ανάλυσης, της ίδιας φυσικής σκηνής (βίντεο μικρής διάρκειας) και να συνθέτουν μία εικόνα υψηλότερης ανάλυσης. Οι μέθοδοι αυτοί προσπαθούν να ανιχνεύσουν κάποια επιπλέον πληροφορία που είναι διαθέσιμη από την παρατήρηση των διαδοχικών εικόνων της φυσικής σκηνής. Το πρόβλημα της σύνθεσης εικόνας υψηλής ανάλυσης είναι γνωστό με την ονομασία Super Resolution. Το πρόβλημα είναι ιδιαίτερα πολύπλοκο και δύσκολο και αποτελεί ακόμα αντικείμενο έρευνας. Ο στόχος της εργασίας αυτής είναι η περιγραφή, η μελέτη, η σύγκριση και υλοποίηση αλγορίθμων που προσπαθούν να συνθέσουν μία εικόνα υψηλής ανάλυσης. Η μελέτη των αλγορίθμων θα γίνει τόσο στο θεωρητικό όσο και σε πειραματικό επίπεδο. Υπάρχουν δύο κύριες κατηγορίες μεθόδων που θα μελετηθούν. Στην πρώτη κατηγορία εντάσσονται μεθόδοι που συνθέτουν μία εικόνα φυσικής σκηνής από εικόνες χαμηλότερης ανάλυσης, στις οποίες έχει αποτυπωθεί τμήμα της. Ο κύριος στόχος των μεθόδων αυτών, είναι να υπολογιστούν οι μετασχηματισμοί ευθυγράμμισης των εικόνων εισόδου. Στην δεύτερη κατηγορία εντάσσονται μέθοδοι, που προσπαθούν να αυξήσουν την χωρική ανάλυση ή να βελτιώσουν το δυναμικό εύρος της εικόνας, με σκοπό την βέλτιστη δυνατή ανάκτηση της φυσικής σκηνής. Ο κύριος στόχος των μεθόδων που ανήκουν στην κατηγορία αυτή, είναι η βέλτιστη εκτίμηση των τιμών των εικονοστοιχείων. Η κατανόηση των μεθόδων της εργασίας αυτης, απαιτεί εξειδικεύμενες γνώσεις επεξεργασίας εικόνας. Για αυτό το λόγο, θα περιγραφούν περιληπτικά όλές οι απαραίτητες γνώσεις που απαιτούνται, ώστε ο αναγνώστης να μπορεί να κατανοήσει πλήρως το κείμενο. Το μόνο που απαιτείται για να μπορεί ο αναγνώστης να κατανοήσει το κείμενο, είναι να κατέχει τις βασικές γνώσεις μαθηματικής ανάλυσης, γραμμικής άλγεβρας, επεξεργασίας σημάτων και θεωρίας πιθανοτήτων. Η διπλωματική εργασία αποτελείται από επτά κεφάλαια. Στο πρώτο κεφάλαιο θα περιγραφούν οι βασικές έννοιες της επεξεργασίας εικόνας. Στο επόμενο κεφάλαιο θα μελετηθεί το πρόβλημα της σύνθεσης εικόνας μεγαλύτερης χωρικής ανάλυσης από μία εικόνα. Το τρίτο κεφάλαιο περιγράφει αναλυτικά τις μεθόδους αντιστοίχησης εικόνων, που είναι το πρώτο σημαντικό βήμα για να επιτευχθεί η σύνθεση εικόνας υψηλής ανάλυσης. Το τέταρτο κεφάλαιο, διαπραγματεύεται τις μεθόδους που χρησιμοποιούνται για την ευθυγράμμιση εικόνων και την σύνθεση πανοραμικών εικόνων. Το πέμπτο κεφάλαιο μελετά τις πιο σημαντικές και πολύπλοκες μέθοδους σύνθεσης εικόνων υψηλής ευκρίνειας, ενώ το έκτο κεφάλαιο, αναφέρεται στην υλοποίηση των σημαντικοτέρων μεθόδων που παρουσιάστηκαν στα προηγούμενα κεφάλαια, καθώς και στις πειραματικές μετρήσεις των μεθόδων αυτών. ii

3 Το τελευταίο κεφάλαιο, είναι ο επίλογος της εργασίας, στον οποίο αναφέρονται τα γενικά συμπεράσματα που προέκυψαν από την μελέτη και υλοποίηση των μεθόδων. Η εργασία αυτή, υλοποιήθηκε εξ' ολοκλήρου σε περιβάλλον ελεύθερου και ανοιχτού λογισμικού (open source). Με λειτουργικό Linux, εργαλείο συγγραφής το L A TEX, και εργαλείο προγραμματισμού το Octave, που δεν έχει να ζηλέψει τίποτα από τον γνωστό Matlab. Ο κώδικας είναι 100% συμβατός με το Matlab και επομένως ο αναγνώστης που θέλει να τον χρησιμποιήσει με Matlab, δεν θα αντιμετωπίσει κάποιο πρόβλημα.

4 Ευχαριστίες Η εργασία αυτή, δεν θα ήταν εφικτό να ολοκληρωθεί χωρίς την βοήθεια ορισμενών ανθρώπων. Άνθρωποι, που στήριξαν την ολοκλήρωση της εργασίας τεχνικά, πνευματικά και ψυχικά. Μπορεί ένα "ευχαριστώ", να μην αναδεικνύει τον κόπο τους, ωστόσο η επιβράβευση των προσπαθειών τους, θα προσφέρει μία μικρή ηθική ικανοποίηση. Πρώτα και κύρια, θα ήθελα να ευχαριστήσω τον καθηγητή Ψαράκη Εμμανούηλ. Ο μεγάλος πλούτος γνώσεων του, το πραγματικό ενδιαφέρον του για την άρτια ολοκλήρωση της εργασίας αυτής, είναι συγκινητικό. Είναι μία ζωντανή απόδειξη, ότι υπάρχουν ακόμα εξέχουσες και σημαντικές προσωπικότητες στο χώρο της ακαδημαϊκής κοινότητας. Επίσης θα ήθελα να εκφράσω τις θερμές μου ευχαριστίες, στον καθηγητή και διευθυντή του εργαστηρίου Επεξεργασίας Σημάτων και Εικόνας της σχολής Μηχανικών Η/Υ και Πληροφορικής: Μπερμπερίδη Κωνσταντίνο. Η βοήθεια του, σε πολλα θέματα ήταν καταλυτική και πολύτιμη. Επιπλέον θα ήθελα να ευχαριστήσω τους γονείς μου, φίλους και συγγενείς που μου συμπαραστάθηκαν, σε αυτήν την σημαντική και ιδιαίτερα επίπονη διαδικασία. Τέλος θα ήθελα να ευχαριστήσω, τον οποιοδήποτε αναγνώστη του κειμένου αυτού. Επλίζω ο χρόνος που θα σπαταλήσει, να είναι εποικοδομητικός. Άλλωστε, η εργασία αυτή, δεν γράφτηκε με μοναδικό σκοπό την ολοκλήρωση των σπουδών μου στο μεταπτυχιακό πρόγραμμα ΣΕΣΕ (Συστήματα Επεξεργασίας Σημάτων και Επικοινωνίων). Απώτερος σκοπός είναι η μεταλαμπάδευση γνώσεων και ιδέων σε νέους ερευνητές, στο δύσκολο αλλά και εξίσου όμορφο κόσμο της Επεξεργασίας Εικόνας. iv

5 Περιεχόμενα Περιεχόμενα Κατάλογος Πινάκων Κατάλογος Σχημάτων v viii ix 1 Εισαγωγή στην επεξεργασία εικόνας Ορισμός Εικόνας Καταγραφή Εικόνας Δειγματοληψία και Κβάντιση Εικόνας Προβλήματα Καταγραφής - Θόρυβος Χρωματικά Μοντέλα Χρωματικό Μοντέλο RGB Χρωματικό Μοντέλο YUV Χρωματικό Μοντέλο YIQ Χρωματικό Μοντέλο YCrCb Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Συνέλιξη και Συσχέτιση Χρήση Γραμμικών Φίλτρων Χρήση μη Γραμμικών Φίλτρων Μετασχηματισμός Fourier Συμπεράσματα Μετασχηματιμού Fourier Χαμηλοπερατά και Υψηλοπερατά Φίλτρα Μετασχηματισμός Διακριτού Συνημιτόνου Μετασχηματισμός Fourier Μικρής Διάρκειας Μετασχηματισμός Κυματιδίου Πυραμίδες Εικόνας Συμπίεση Εικόνων Γενικά Συμπίεση JPEG Ανακεφαλαίωση Σύνθεση Εικόνας Υψηλής Ανάλυσης από μία Εικόνα Το Πρόβλημα Παρεμβολής Παρεμβολή Κοντινότερου Γείτονα Διγραμμική Παρεμβολή Δικυβική Παρεμβολή Πολυρυθμική Επεξεργασία και Παρεμβολή με Συνέλιξη Φίλτρο Κοντινότερου Γείτονα Φίλτρο διγραμμικής παρεμβολής Gaussian Φίλτρο v

6 2.3 Αποκατάσταση Εικόνας Αντίστροφο Φίλτρο Φίλτρο Wiener Μέθοδος Ελαχίστων Τετραγώνων Μέθοδος των Irani-Peleg Εισαγωγή στην Ανακατασκευή Εικόνας Υψηλής Ανάλυσης Ορισμός Υψηλής Ανάλυσης Εισαγωγή στην Ανακατασκευή Υψηλής Ανάλυσης Μαθηματικό μοντέλο εικόνας υψηλής ανάλυσης Ανακεφαλαίωση Αντιστοίχηση εικόνων Γεωμετρικοί Μετασχηματισμοί Μπλοκ Αντιστοίχηση Μέτρα Ομοιότητας Αντιστοίχηση με Ακρίβεια Υποεικονοστοιχείου Αντιστοίχηση με την Χρήση Μετασχηματισμού Fourier Διαφορική Αντιστοίχηση Αλγόριθμος Αντιστοίχησης των Lucas-Kanade Αλγόριθμος Αντιστοίχησης ECC Προβλήματα Αντιστοίχησης Ανακεφαλαίωση Ανακατασκευή Εικόνας Υψηλής Ανάλυσης Χαρακτηριστικά Εικόνων Ακμές Εικόνων Διαφορική Ανίχνευση Ανίχνευση Μηδενικών με Χρήση του Τελεστή Laplace Ανίχνευση Canny Ενδιαφέροντα σημεία Ανιχνευτής Movarec Ανίχνευση Harris Αντιστοίχηση Ενδιαφέροντων Σημείων Επαναπροβολή Εικόνων Ανάμειξη εικόνων Κοντινότερο Κέντρο Συναρτήσεις Βάρους Μέση ή Μεσαία Τιμή Πυραμίδα Burt-Adelson Ανακεφαλαίωση Ανακατασκευή Εικόνας Υψηλής Ευκρίνειας Ανακατασκευή των Papoulis-Gerchberg Ανακατασκευή POCS Ανακατασκευή Μέσης Εικόνας Ανακατασκευή Ελαχίστων Τετραγώνων Ανακατασκευή Μέγιστης Πιθανοφάνειας Bayesian Ανακατασκευή Ανακατασκευή με Χρήση του LMS Ανακατασκευή των Irani-Peleg Προτεινόμενη Μέθοδος Πραγματικού Χρόνου Ανακεφαλαίωση Πειραματικές Μετρήσεις Υλοποιήσεις Τεχνικών Σύνθεσης και Πειράματα Αποτίμηση Απόδοσης και Σύγκρισης Τεχνικών Σύνθεσης Εικόνων vi

7 6.3 Απόδοση και Σύγκριση Μεθόδων Αντιστοίχησης Απόδοση Μεθόδων Ανακατασκευής Εικόνων Υψηλής Ευκρίνειας Σύγκριση Απόδοσης Μεθόδων Αντιστοίχησης - Συμπεράσματα Σύγκριση Απόδοσης Μεθόδων Ανακατασκευής Εικόνας Υψηλής Ανάλυσης - Συμπεράσματα Ανακεφαλαίωση Επίλογος 95 Βιβλιογραφία 112 vii

8 Κατάλογος Πινάκων 1.1 Μεγέθη Ασυμπίεστων Εικόνων Γεωμετρικοί Μετασχηματισμοί Τιμές του PSNR, που προέκυψαν από την εφαρμογή όλων των μεθόδων ανακατασκευής στην ακολουθία εικόνων "Lenna", με εφαρμογή πέντε επαναλήψεων των αλγορίθμων αντιστοίχησης Τιμές του PSNR, που προέκυψαν από την εφαρμογή όλων των μεθόδων ανακατασκευής στην ακολουθία εικόνων "Peppers", με εφαρμογή πέντε επαναλήψεων των αλγορίθμων αντιστοίχησης Τιμές του PSNR, που προέκυψαν από την εφαρμογή όλων των μεθόδων ανακατασκευής στην ακολουθία εικόνων "Lenna", με εφαρμογή δέκα επαναλήψεων των αλγορίθμων αντιστοίχησης Τιμές του PSNR, που προέκυψαν από την εφαρμογή όλων των μεθόδων ανακατασκευής στην ακολουθία εικόνων "Peppers", με εφαρμογή δέκα επαναλήψεων των αλγορίθμων αντιστοίχησης Τιμές του PSNR, που προέκυψαν από την εφαρμογή όλων των μεθόδων ανακατασκευής στην ακολουθία εικόνων "Lenna", εφόσον έχουν συγκλίνει οι αλγόριθμοι αντιστοίχησης Τιμές του PSNR, που προέκυψαν από την εφαρμογή όλων των μεθόδων ανακατασκευής στην ακολουθία εικόνων "Peppers", εφόσον έχουν συγκλίνει οι αλγόριθμοι αντιστοίχησης viii

9 Κατάλογος Σχημάτων 1.1 Ιστόγραμμα εικόνας Οπτικό σύστημα καταγραφής Τοποθέτηση αισθητήρων καταγραφής : κίνηση σε δύο άξονες, κίνηση σε ένα άξονα, σταθερό πλέγμα Πλέγμα δειγματοληψίας Επίπεδα κβάντισης εικόνας Εικόνα χωρίς αναδίπλωση και εικόνα με αναδίπλωση συχνοτήτων Aρχική εικόνα και υποδειγματοληπτημένη εικόνα καταγραφής, gaussian θόρυβος, οπτική παραμόρφωση, παραμόρφωση οφειλόμενη στην κίνησης κάμερα, συμπιεσμένη εικόνα Χρωματικό μοντέλο RGB : κανάλι R (κόκκινο), κανάλι Β (μπλε) και κανάλι G (πράσινο) Χρωματικό μοντέλο YCbCr : κανάλι Y, κανάλι Cb και κανάλι Cr Γραμμικό σύστημα με κρουστική απόκριση h(t) Διαδικασία Φιλτραρίσματος Επέκταση ορίων εικόνας με μηδενικά Περιοδική επέκταση ορίων εικόνας Εικόνα με κρουστικό θόρυβο 20%, φίλτρο μεσαίου 3x3, φίλτρο μεσαίου 11x Μετατοπίσεις τεταρτημορίων για τον DFT Απεικονίσεις FFT : γραμμική απεικόνιση, γραμμική απεικόνιση με μετατόπιση τεταρτημορίων, λογαριθμική απεικόνιση, λογαριθμική απεικόνιση με μετατόπιση τεταρτημορίων Εικόνες συνημιτόνων: οριζόντιας, κάθετης και διαγώνιας κατεύθυνσης Σήμα χωρίς αναδίπλωση και σήμα με αναδίπλωση συχνοτήτων Αναδίπλωση συχνοτήτων σε διδιάστατο πλέγμα Απόκρισεις χαμηλοπερατού και υψηλοπερατού φίλτρου Αρχική εικόνα, φιλτραρισμένη εικόνα με εμφανείς αναδιπλώσεις, φιλτραρισμένη εικόνα με αφαίρεση αναδιπλώσεων Φιλτράρισμα με χαμηλοπερατό φίλτρο ακτίνας r=10, r=30, r= Φιλτράρισμα με υψηλοπερατό φίλτρο ακτίνας r=10, r=30, r= Τράπεζα φίλτρων δυαδικού μετασχηματισμο DWT Υπολογισμός διδιάστατου DWT με την μέθοδο γραμμών-στηλών Υπολογισμός διδιάστατου DWT τριών επιπέδων Αναπράσταση πυραμίδας σε επίπεδα Διάγραμμα υπολογισμού κάθε επιπέδου της πυραμίδας Αναπαράσταση gaussian πυραμίδας Αναπαράσταση laplacian πυραμίδας Η αρχική εικόνα ( bytes), συμπιεσμένη εικόνα με μέτρια ποιότητα (10007 bytes), συμπιεσμένη εικόνα με χαμηλή ποιότητα (3382 bytes) Παρεμβολή κοντινότερου γείτονα Διγραμμική παρεμβολή Δικυβική παρεμβολή Εικόνα με θόρυβο και η δικυβική παρεμβολή της Απόκριση συχνοτήτων gaussian φίλτρων με διαφορετική διασπορά ix

10 2.6 Αποτελέσματα παρεμβολής κοντινότερου γείτονα, διγραμμικής παρεμβολής, δικυβικής παρεμβολής και παρεμβολής με gaussian φίλτρο διασποράς σ= Απόκριση συχνοτήτων gaussian φίλτρου Παραμορφωμένη εικόνα και εικόνα που προκύπτει με την χρήση αντίστροφου φίλτρου Εικόνα που περιέχει θόρυβο, χρήση αντίστροφου φίλτρου και εφαρμογή φίλτρου Wiener Αποτελέσματα χρήσης αντίστροφου φίλτρου με διαφορετικά κατώφλια Πλέγμα σημείων αρχικής εικόνας και ιδανικά πλέγματα υποδειγματοληπτημένων εικόνων Εικονοστοιχεία στις εικόνες χαμηλής ανάλυσης και η τοποθέτηση τους στη εικόνα υψηλής ανάλυσης Δημιουργία εικόνων χαμηλής ανάλυσης από την ιδανική εικόνα υψηλής ευκρίνειας Διαδικασία ανακατασκεύης εικόνας υψηλής ευκρίνειας Μετασχηματισμός περιστροφής, αλλαγής κλίμακας και μετατόπισης με αλλαγή κλίμακας Αρχική εικόνα και προβολικός μετασχηματισμός της Γεωμετρικοί Μετασχηματισμοί κύρτωσης Υπολογισμός μπλοκ αντιστοίχησης Ταχύς υπολογισμός μέτρου ομοιότητας κατά στήλες Ταχύς υπολογισμός μέτρου ομοιότητας κατά γραμμές Επιφάνεια κόστους Επιφάνεια κόστους με παρεμβολή Εύρεση ακμής κατά την διεύθυνση του τοπικού μέγιστου Ανίχνευση ακμών: αρχική εικόνα, τελεστές Prewitt,τελεστές Robert, τελεστές Sobel, Τελεστής LoG, Τελεστής Canny Ανίχνευση ακμών με θόρυβο: αρχική εικόνα, τελεστές Prewitt,τελεστές Robert, τελεστές Sobel, Τελεστής LoG, Τελεστής Canny Ενδιαφέροντα σημεία Υπολογισμός ακρίβειας γεωμετρικού μετασχηματισμού Σετ εικόνων ευθυγράμμισης και περιοχές επικάλυψής τους Παραδείγματα μασκών Πρώτη εικόνα ανάμειξης Δεύτερη εικόνα ανάμειξης Ανάμειξη εικόνων με την χρήση μεσαίας τιμής Ανάμειξη εικόνων με την πυραμίδα Burt Adelson με γραμμική μάσκα Ανάμειξη εικόνων με την πυραμίδα Burt Adelson με μη γραμμική μάσκα Αποτυχία ανακατασκευής εικόνας υψηλής ανάλυσης λόγω σφάλματος στην αντιστοίχηση Διάγραμμα αλγορίθμου ανακατασκευής των Papoulis-Gerchberg Διαφορετικές εικόνες που έχουν το ίδιο μέσο τετραγωνικό σφάλμα Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers1", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers2", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers3", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers4", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers5", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers6", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers7", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers8", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade x

11 6.10 Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna1", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna2", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna3", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna4", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna5", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna6", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna7", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna8", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna9", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade Ακολουθία εικόνων εισόδου peppers 64x64 (μεγεθυμένες) Ακολουθία εικόνων "Peppers". Aύξηση ανάλυσης κατά 4x. Χρησιμοποιούμενη μέθοδος αντιστοίχησης LK. Aνακατασκευή με: Παρεμβολή, μέσης εικόνας, POCS, Papoulis-Gerchberg, LMS, Irani-Peleg Ακολουθία εικόνων "Peppers". Aύξηση ανάλυσης κατά 4x. Χρησιμοποιούμενη μέθοδος αντιστοίχησης ECC. Aνακατασκευή με: Παρεμβολή, μέσης εικόνας, POCS, Papoulis-Gerchberg, LMS, Irani-Peleg Ακολουθία εικόνων εισόδου "Lenna" 64x64 (μεγεθυμένες) Ακολουθία εικόνων "Peppers". Aύξηση ανάλυσης κατά 4x. Χρησιμοποιούμενη μέθοδος αντιστοίχησης ECC. Aνακατασκευή με: Παρεμβολή, μέσης εικόνας, POCS, Papoulis-Gerchberg, LMS, Irani-Peleg Ακολουθία εικόνων "Peppers" (προσθετικός θόρυβος κανονικής κατανομής με διασπορά 0.02). Aύξηση ανάλυσης κατά 4x. Χρησιμοποιούμενη μέθοδος αντιστοίχησης ECC. Aνακατασκευή με: Παρεμβολή, μέσης εικόνας, POCS, Papoulis-Gerchberg, LMS, Irani-Peleg Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου δικυβικής παρεμβολής Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου μέσης εικόνας, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου POCS, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου Papoulis-Gerchberg, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή του αλγορίθμου LMS, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου Irani-Peleg, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου δικυβικής παρεμβολής (προσθετικός θόρυβος κανονικής κατανομής με διασπορά 0.02) Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου μέσης εικόνας, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC (προσθετικός θόρυβος κανονικής κατανομής με διασπορά 0.02) Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου POCS, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC (προσθετικός θόρυβος κανονικής κατανομής με διασπορά 0.02) Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου Papoulis-Gerchberg, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC (προσθετικός θόρυβος κανονικής κατανομής με διασπορά 0.02) xi

12 6.35 Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή του αλγορίθμου LMS, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC (προσθετικός θόρυβος κανονικής κατανομής με διασπορά 0.02) Εικόνα υψηλής ανάλυσης "Lenna", με αύξηση ανάλυσης κατά 8x, που πρόεκυψε από την εφαρμογή της μεθόδου Irani-Peleg, χρησιμοποιώντας για αντιστοίχηση:α) την μέθοδο των LK, β)την μέθοδο ECC (προσθετικός θόρυβος κανονικής κατανομής με διασπορά 0.02) xii

13 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Κεφάλαιο 1 Εισαγωγή στην επεξεργασία εικόνας Το παρών κεφάλαιο, είναι μία σύντομη εισαγωγή στις έννοιες που αναφέρονται και χρησιμοποιούνται στο πεδίο της Επεξεργασίας Εικόνας. Το πεδίο της Επεξεργασίας Εικόνας, είναι ένας πολύπλοκος επιστημονικός κλάδος. Για αυτό κρίνεται αναγκαία, μία σύντομη και περιεκτική παρουσίαση των θεμελιωδών εννοιών, ώστε ο αναγνώστης να είναι σε θέση να κατανοήσει πλήρως τις πιο πολύπλοκες μεθόδους που ακολουθούν στα επόμενα κεφάλαια. Το μόνο που απαιτείται από τον αναγνώστη, είναι να γνωρίζει τις βασικές αρχές μαθηματικής ανάλυσης, γραμμικής άλγεβρας, επεξεργασίας σημάτων και θεωρίας πιθανοτήτων. Το κέφαλαιο ξεκινάει με τον ορισμό της εικόνας. Επιπλέον, αξίζει να σημειωθεί ότι στο μεγαλύτερο μέρος της διπλωματικής, χρησιμοποιήθηκε η γνωστή εικόνα στο πεδίο της επεξεργασίας εικόνας:"lenna". Η ιστορία της εικόνας αυτής, είναι εξαιρετικά ενδιαφέρουσα [41]. Περισσότερες πληροφορίες τόσο για τα θέματα που καλύπτει αυτό το κεφάλαιο, όσο και για πιο ενδιαφέροντα, ο αναγνώστης μπορεί να ανατρέξει στα [53], [36],[37],[26],[43]. 1.1 Ορισμός Εικόνας Είναι λογικό, όλοι να έχουν μία ίδεα για το τι είναι εικόνα. Ωστόσο στους περισσότερους, διαφεύγει πιθανώς ο ολοκληρωμένος ορισμός. Εικόνα είναι το οποιοδήποτε διδιάστατο σήμα που προκύπτει από την μέτρηση έντασης πηγής ακτινοβολίας. Η πηγή αυτή, συχνά είναι ο ήλιος, αλλά μπορεί να είναι οποιαδήποτε φωτεινή πηγή. Ωστόσο, μία εικόνα μπορεί να προκύψει και από την μέτρηση της έντασης ή απορρόφησης υπεριώδους ακτινοβολίας, ή ακόμα και από απορρόφηση ακτινοβολίας ακτίνων Χ (πχ ακτινογραφία). Η εικόνα μπορεί να είναι αναλογική (συντεταγμένες και τιμή έντασης πραγματικοί αριθμοί), διακριτή (ακέραιες συντεταγμένες) ή και ψηφιακή (συντεταγμένες και τιμή φωτεινότητας ακέραιοι αριθμοί). Μαθηματικά, η εικόνα μπορεί να οριστεί ως μία συνάρτηση δύο μεταβλητών, με πεδίο ορισμού το R και πεδίο τιμών το R +, εφόσον οι τιμές της έντασης φωτεινότητας είναι θετικές. Επομένως ισχύει η σχέση: 0 f(x, y) +. (1.1) Κάθε πηγή, εκπέμπει με διαφορετικό τρόπο ακτινοβολία. Οι τιμές έντασης της πηγής ακτινοβολίας, χαρακτηρίζονται κυρίως από τους παρακάτω παράγοντες: 1. Τον τύπο της πηγής και το ποσό της ακτινοβολίας της. 2. Το ποσό της ακτινοβολίας που απορροφάται και ανακλάται από τα αντικείμενα της φυσικής σκηνής. Επομένως, αν η συνάρτηση της έντασης ακτινοβολίας οριστεί ως I(x, y) και η συνάρτηση ανάκλασης ή α- πορρόφησης οριστεί ως R(x, y), τότε η εικόνα f(x, y) δίνεται από το τύπο: f(x, y) = Ι(x, y)r(x, y), με 0 I(x, y) +, 0 R(x, y) +. (1.2) Η τιμή l = f(x 0, y 0 ), μπορεί να οριστεί ως η ένταση φωτεινότητας για το συγκεκριμένο σημείο της εικόνας. Η ένταση ενός σημείου, θεωρητικά παίρνει τιμές από 0 εώς +, αλλά πρακτικά οι τιμές φράσσονται στο κλειστό διάστημα: [L min, L max ], όπουl min = I min R min και L max = I max R max. 1

14 1.2. Καταγραφή Εικόνας Τα τελευταία χρόνια, η πιο δημοφιλής κατηγορία εικόνας είναι η ψηφιακή. Αυτό συμβαίνει, διότι οι σημερινές φωτογραφικές μηχανές είναι ψηφιακές, αλλά και γιατί ο ηλεκτρονικός υπολογιστής, που χρησιμοποιείται για την επεξεργασία τους, μπορεί να επεξεργάζεται εικόνες αυτής της μορφής. Οι ψηφιακές εικόνες, δεν είναι μία διδιάστατη συνάρτηση, αλλά μία διδιάστατη ακουλουθία αριθμών. Τα σημεία (συντεταγμένες) της ψηφιακής εικόνας, είναι γνωστά και ως εικονοστοιχεία. Η ψηφιακή εικόνα, μπορεί να εκφραστεί με την βοήθεια ενός μητρώου. Αν οι διαστάσεις της είναι N εικονοστοιχεία σε μήκος και M εικονοστοιχεία κατά πλάτος, τότε η εικόνα δίνεται από τον μητρώο (1.3): F = f(0, 0) f(0, 1)... f(0, N 1) f(1, 0) f(1, 1)... f(1, N 1) f(m 1, 0) f(m 1, 1)... f(m 1, N 1). (1.3) Δηλαδή, η ψηφιακή εικόνα προκύπτει από την συνάρτηση f(x, y), για x = 0,..., N 1 και για y = 0,..., M 1. Μία πιο απλή και γενική αναπαράσταση της εικόνας, δίνεται από την ακόλουθη σχέση: α 11 α α 1N α 21 α α 2N Η =..... (1.4) α M1 α M2... α MN Πολλές φορές, είναι χρήσιμο η εικόνα να εκφραστεί ως διάνυσμα. Αυτό μπορεί να γίνει αν όλες οι γραμμές της τοποθετηθουν σε μία σειρά (row ordering) ή αν όλες οι στήλες (column ordering) της συνενωθούν απλά σε μία στήλη, όπως φαίνεται στην επόμενη σχέση: h = [ α 11 α 1N α 21 α 2N α M1 α ΜN ] T. (1.5) Οι τιμές των εικονοστοιχείων μίας εικόνας, μπορούν να θεωρηθούν και ως τυχαίες μεταβλητές που ακολουθούν συγκεκριμένες κατανομές. Η πιθανότητα (ή συχνότητα) εμφάνισης της τιμής κάθε έντασης δίνεται από την ακόλουθη σχέση: P k = k NM. (1.6) Δηλαδή αν η εικόνα έχει μέγεθος N M, η πιθανότητα του k-ιοστού επιπέδου έντασης φωτεινότητας, είναι το πλήθος των εικονοστοιχείων που έχουν την τιμή αυτή, προς το πλήθος όλων των εικονοστοιχείων. Η κατανομή των εντάσεων φωτεινότητας, απεικονίζει τις τιμές των εντάσεων που χρησιμοποιούνται και με ποια συχνότητα. Η κατανομή αυτή, είναι γνωστή και ως ιστόγραμμα και ένα παράδειγμα εφαρμογής του, παρουσιάζεται στο Σχήμα 1.1. Υπολογίζοντας το ιστόγραμμα και μετατρέποντας το σε ιστόγραμμα διαφορετικής μορφής, είναι δυνατό να άλλαξουν οι τιμές έντασης φωτεινότητας των εικονοστοιχείων και να υπάρξει μεγαλύτερο εύρος στις τιμές έντασης φωτεινότητας. Φυσικά, τα παραπάνω αναφέρονται σε εικόνες έντασης φωτεινότητας (ασπρόμαυρες εικόνες). Οι περισσότερες εικόνες σε πραγματικές εφαρμογές είναι έγχρωμες. Η αναπαράσταση έγχρωμων εικόνων, πραγματοποιείται χρησιμοποιώντας τρία διαφορετικά μητρώα εντάσεων φωτεινότητας. Το κάθε μητρώο αναπαριστάνει συνήθως την φωτεινότητα τρίων χρωματικών συνιστωσών του οπτικού φάσματος. Οι τρεις αυτές χρωματικές συνιστώσες, που είναι γνωστές ως "βασικές" χρωματικές συνιστώσες είναι: η κόκκινη, η μπλε και η πράσινη. Το τελικό χρώμα προκύπτει, από το συνδυασμό των τρίων βασικών χρωμάτων. 1.2 Καταγραφή Εικόνας Τα περισσότερα συστήματα καταγραφής, έχουν ως βασική αρχή λειτουργίας το μοντέλο του απλού αισθητήρα (pinhole camera), το οποίο παρουσιάζεται στο Σχήμα

15 1.2. Καταγραφή Εικόνας Σχήμα 1.1: Ιστόγραμμα εικόνας. Σχήμα 1.2: Οπτικό σύστημα καταγραφής. Στο μοντέλο αυτό χρησιμοποιείται ένας οπτικός φακός, που επιτρέπει την διαπέραση των φωτονίων, μόνο από το κέντρο του. Στην συνέχεια τα φωτόνια προσκρούουν σε κάποια επιφάνεια, που απέχει λίγα χιλιοστά από το κέντρο του φακού. Στην επιφάνεια αυτή, κάποια φωτόνια απορροφόνται και κάποια ανακλώνται. Με αυτό τον τρόπο λειτουργεί και η ανθρώπινη όραση. Το μάτι περιέχει στο εσωτερικό δύο ειδών φωτοϋποδοχείς: 1. Τα ραβδία που ξεπερνούν τα 100 εκατομύρια, και αποκρίνονται σε χαμηλές εντάσεις της φωτεινότητας. 2. Τα κώνια που είναι πολύ λιγότερα από τα ραβδία και αποκρίνονται σε υψηλές εντάσεις φωτεινότητας. Ε- πιπλέον ανταποκρίνονται και σε χρωματικές μεταβολές. Για αυτό το λόγο υπάρχουν τρία είδη κωνίων που αποκρίνονται στα τρία βασικά χρώματα του ορατού φάσματος. Σε αντιστοιχία με την ανθρώπινη όραση, οι αισθητήρες καταγραφής, χρησιμοποιούν φωτοτρανζίστορ (CCD: Charged Couped Device), για την μέτρηση της έντασης της φωτεινότητας, όπως αυτά που φαίνονται στο Σχήμα 1.3. Τα φωτοτρανζίστορ, όταν δεχθούν φωτόνια συγκεκριμένου χρώματος (πράσινο, μπλε, κόκκινο), δημιουργούν ηλεκτρική τάση στα άκρα τους. Παλιότερα, το κόστος των φωτοτρανζίστορ ήταν υψηλό, οπότε το σύστημα καταγραφής περιείχε μόνο ένα. Σε αυτή την περίπτωση το φωτοτρανζίστορ, έπρεπε να κινηθεί μηχανικά ως προς τους δύο άξονες (x, y), ώστε να αποτυπωθεί το διδιάστατο σήμα της εικόνας. Μεταγενέστερα, χρησιμοποιήθηκε συστοιχία φωτοτρανζίστορ, ώστε να απαιτείται η κίνηση κατά την μία μόνο κατεύθυνση. Ωστόσο στην σημερινή εποχή δεν χρειάζεται καθόλου μηχανική κίνηση. Χρησιμοποιείται ένα σταθερό πλέγμα φωτοτρανζίστορ και επομένως σε κάθε εικονοστοιχείο, αντιστοιχεί ένα φωτοτρανζίστορ. Φυσικά αν η καταγραφή της εικόνας είναι έγχρωμη, απαιτούνται τρία φωτοτρανζίστορ για κάθε εικονοστοιχείο (ένα για κάθε βασικό χρώμα). Αυτό απαιτεί τρία πλέγματα φωτοτρανζίστορ και κοστίζει πολύ. Για αυτό το λόγο, ακόμα και σήμερα τα περισσότερα συστήματα καταγραφής δεν περιέχουν τρία πλέγματα, αλλά ένα, το οποίο χρησιμοποιεί μία μάσκα. Η μάσκα αυτή, είναι γνωστή ως μάσκα Bayer. Η μάσκα αυτή, διαμορφώνει με συγκεκριμένο τρόπο ποια χρωματικά κανάλια θα ανιχνεύσει το κάθε φωτοτρανζίστορ. Έτσι επιτυγχάνεται η καταγραφή έγχρωμης εικόνας χωρίς τρία πλέγματα. Ωστόσο προκαλούνται προβλήματα στην καταγραφή της εικόνας. 3

16 1.2. Καταγραφή Εικόνας Σχήμα 1.3: Τοποθέτηση αισθητήρων καταγραφής : κίνηση σε δύο άξονες, κίνηση σε ένα άξονα, σταθερό πλέγμα Δειγματοληψία και Κβάντιση Εικόνας Όπως αναφέρθηκε στις προηγούμενες παραγράφους, η εικόνα μίας φυσικής σκηνής είναι μία διδιάστατη συνεχής συνάρτηση. Η εικόνα αυτή συνήθως μετατρέπεται σε ψηφιακή. Για να επιτευχθεί αυτό, απαιτούνται δύο βασικά υποσυστήματα στον αισθητήρα καταγραφής: 1. ο δειγματολήπτης και 2. ο κβαντιστής. Ο δειγματολήπτης εφαρμόζει την γνωστή διαδικασία της δειγματοληψίας. Κατά την δειγματοληψία, εξειδικευμένο υλικό (ADC Analog to Digital Converter), διατηρεί την τιμή (δείγμα) του αρχικού σήματος, ανά τακτά χρονικά διαστήματα. Το χρονικό διάστημα που απέχουν δύο δείγματα, ονομάζεται περίοδος δειγματοληψίας T s και η ποσότητα f s = 1 T s ονομάζεται συχνότητα δειγματοληψίας. Στην συνέχεια, τα δείγματα με χρήση μίας συνάρτησης απόφασης (κβαντιστής), μετατρέπονται σε ακέραιες τιμές (πχ διατήρηση ακέραιου μέρους). Αυτά ισχύουν σε μονοδιάστατο σήμα. Στην περίπτωση της εικόνας απαιτούνται δύο συχνότητες δειγματοληψίας. Μία κατά τον άξονα x και μία κατά τον άξονα y. Επομένως προκύπτει ένα διδιάστατο πλέγμα τιμών, όπως αυτό που απεικονίζεται στο Σχήμα 1.4. Ανάλογα με το συχνοτικό περιεχόμενο της εικόνας, απαιτείται και η κατάλληλη συχνότητα δειγματοληψίας. Το θεώρημα του Nyquist που αναλυέται στην Παράγραφο 1.4.5, εξασφαλίζει ότι η συχνότητα δειγματοληψίας είναι αρκετή, ώστε να μην εμφανιστεί το φαινόμενο της αναδίπλωσης, όπως φαίνεται στο Σχήμα 1.6. Όσο για το κβαντιστή, συνήθως χρησιμοποιούνται 256 επίπεδα / τιμές κβάντισης, τα οποία απεικονίζονται στο Σχήμα Προβλήματα Καταγραφής - Θόρυβος Είναι γνωστό, ότι κανένα σύστημα κατασκευασμένο από τον άνθρωπο δεν είναι τέλειο. Οι αισθητήρες καταγραφής δεν αποτελούν εξαίρεση. Τα συστήματα καταγραφής έχουν πολλούς περιορισμούς και ατέλειες. Στό Σχήμα 1.7 παρουσιάζονται οι κυριότερες ατέλειες. Τα προβλήματα της καταγραφής αναλυτικά είναι τα εξής: 1. Υποδειγματοληψία και κβάντιση εικόνας. Όπως περιγράφηκε στην προηγούμενη παράγραφο, η κβάντιση του σήματος υποβαθμίζει την ποιότητα της εικόνας. Ειδικά στην περίπτωση όπου ο αισθητήρας καταγραφής έχει μικρή ανάλυση. Επιπλέον η υποδειγματοληψία, προκαλεί σημαντική απώλεια πληροφορίας, όταν εμφανίζεται το φαινόμενο της αναδίπλωσης συχνοτήτων. 2. Ο θόρυβος όπως είναι γνωστό, είναι ανεπιθύμητος. Συνήθως προστίθεται σε κάποιο σήμα ενδιαφέροντος, το οποίο και παραμορφώνει. Δυστυχώς η παρουσία θορύβου είναι αναπόφευκτη, αφού κανένα σύστημα 4

17 1.2. Καταγραφή Εικόνας Σχήμα 1.4: Πλέγμα δειγματοληψίας. Σχήμα 1.5: Επίπεδα κβάντισης εικόνας. Σχήμα 1.6: Εικόνα χωρίς αναδίπλωση και εικόνα με αναδίπλωση συχνοτήτων. 5

18 1.2. Καταγραφή Εικόνας Σχήμα 1.7: Aρχική εικόνα και υποδειγματοληπτημένη εικόνα καταγραφής, gaussian θόρυβος, οπτική παραμόρφωση, παραμόρφωση οφειλόμενη στην κίνησης κάμερα, συμπιεσμένη εικόνα. δεν είναι ιδανικό στην πραγματικότητα. Τα βασικά συστήματα καταγραφής ψηφιακών εικόνων, αποτελούνται από ηλεκτρονικά εξαρτήματα. Στα ηλεκτρονικά συστήματα, δημιουργούνται διάφορα είδη θορύβου. Ο ηλεκτρονικός θόρυβος που αποτελεί ένα άθροισμα διάφορων κατηγοριών θορύβου, μοντελοποιείται με θόρυβο κανονικής κατανομής (Gauss). Στην καταγραφή εικόνας, πολλές φορές εμφανίζεται και ο κρουστικός θόρυβος. Η κυρία αιτία του θορύβου αυτού είναι η έλλειψη αρκετής ακτινοβολίας, που δεν επιτρέπει στα φωτοτρανζίστορ να καταγράψουν με ακρίβεια την ένταση φωτεινότητας. Η εμφάνιση του θορύβου αυτού είναι ιδιαίτερα ενοχλητική. Ωστόσο με μία απλή επεξεργασία, όπως θα περιγραφεί στην Παράγραφο μπορεί να αντιμετωπιστεί σε ικανοποιητικο βαθμό. 3. Οπτική παραμόρφωση. Ο οπτικός φακός που χρησιμοποείται, προκαλεί αναγκαστικά παραμορφώσεις στην εικόνα που καταγράφεται. Φυσικά οι νέοι αισθητήρες καταγραφής, δεν έχουν ιδιαίτερα προβλήματα, αρκεί να μην χρειαστεί η χρήση της οπτικής μεγέθυνσης. Σε αυτή την περίπτωση η παραμόρφωση είναι ορατή. Πολλές φορές, οι φακοί λόγω της κατασκευής τους μπορούν να μοντελοποιηθούν ως ένα γραμμικό σύστημα μέ συγκεκριμένη κρουστική απόκριση, γνωστή και ως PSF (Point Spread Function). Ωστόσο ακόμα και στην απλή περίπτωση του γραμμικού συστήματος, η αναίρεση της παραμόρφωσης, είναι ένα ιδιαίτερα δύσκολο πρόβλημα. 4. Παραμόρφωση κίνησης. Στις περισσότερες εφαρμογές, η κίνηση του αισθητήρα καταγραφής μπορεί να ε- λεγχθεί να είναι ομαλή και να μην δημιουργεί προβλήματα. Ωστόσο αυτό δεν ισχύει πάντα και προκαλείται παραμόρφωση στην εικόνα που καταγράφεται. Ο κύριoς λόγος, που προκαλείται η παραμόρφωση αυτή, οφείλεται στο γεγονός ότι πολλές φορές, το σημείο της σκηνής κινείται τόσο γρήγορα, ώστε στο μικρό χρόνο που απαιτείται για να ολοκληρωθεί η καταγραφή του, έχει μετακινηθεί σε επόμενη θέση. Επομένως το σημείο καταγράφεται σε παραπάνω από ένα σημεία στην εικόνα. Το φαινόμενο αυτό, μπορεί να μοντελοποιηθεί με ένα γραμμικό ανισοτροπικό φίλτρο, που δεν επηρεάζει στον ίδιο βαθμό τα γειτονικά του σημεία. 6

19 1.3. Χρωματικά Μοντέλα 5. Συμπίεση εικόνας. Τα σύγχρονα συστήματα καταγραφής, διαθέτουν μεγάλο αποθηκευτικό χώρο, αλλά δεν ικανοποιεί πάντα τις ανάγκες της εφαρμογής. Για αυτό το λόγο, η εικόνα αποθηκεύεται συμπιεσμένη, και μάλιστα για να επιτευχθεί μεγάλυτερη συμπίεση, επιτρέπεται απώλεια πληροφορίας (lossy compression). Η συμπίεση είναι μία σημαντική εφαρμογή, για αυτό περιγραφέται αναλυτικότερα στην Παράγραφο Κλιματολογικές συνθήκες. Οι κλιματολογικές συνθήκες μπορούν να επηρεάσουν σε μεγάλο βαθμό την ποιότητα της εικόνας. Η βροχή, η υγρασία, τα σύννεφα κ.α, επηρεάζουν την ένταση της φωτεινότητας. Ειδικά η καταγραφή κατά την διάρκεια της νύχτας, είναι εξαιρετικά προβληματική. 1.3 Χρωματικά Μοντέλα Τα διάφορα αντικείμενα που υπάρχουν στην φύση, αποτελούνται από υλικά που ανακλούν ένα ποσό του φωτός που δέχονται, και ταυτόχρονα απορροφούν και ένα μέρος της φωτεινότητας που αντιστοιχεί σε κάποια χρώματα. Επομένως το χρώμα ενός αντικειμένου που αντιλαμβάνεται ο άνθρωπος είναι οι συχνότητες του φωτός που δεν απορρόφησε το αντικείμενο Χρωματικό Μοντέλο RGB Το RGB (Red - Green - Blue) μοντέλο, προσομοιώνει την λειτουργία της ανθρώπινης όρασης, χρησιμοποιώντας τρεις διαφορετικές πηγές φωτεινότητας. Η κάθε πηγή αντιστοιχεί σε ένα βασικό χρώμα. Τα βασικά χρώματα είναι το κόκκινο, το πράσινο και το μπλε. Το τελικό χρώμα, προκύπτει από την σύνθεση των τριών τιμών έντασης των βασικών χρωμάτων. Συνήθως χρησιμοποιοιείται ένα εύρος τιμών έντασης, όπως οι ακέραιες τιμές [0,255] ή το δίαστημα των πραγματικών αριθμών [0.0,1.0]. Το χρωματικό μοντέλο RGB της εικόνας "Lenna", παρουσιάζεται στο Σχήμα 1.8. Όταν χρησιμοποιούνται ακέραιες τιμές για την ένταση του χρώματος, απαιτούνται 8 δυαδικά ψηφία για κάθε κανάλι. Επομένως απαιτούνται 24 δυαδικά ψηφία (24-bits) για κάθε εικονοστοιχείο. Σε μερικά υπολογιστικά συστήματα χρησιμοποιούνται περισσότερα δυαδικά ψηφία για το πράσινο, διότι η ανθρώπινη όραση είναι περισσότερη ευαίσθητη στην πράσινη χρωματική συνιστώσα. Η απλότητα που προσφέρει το RGB μοντέλο έχει ως αποτέλεσμα την εύκολη υλοποίησή του. Σχήμα 1.8: Χρωματικό μοντέλο RGB : κανάλι R (κόκκινο), κανάλι Β (μπλε) και κανάλι G (πράσινο). Τα κύρια μειονεκτήματα του χρωματικού μοντέλου RGB είναι: 1. Δεν μπορούν να αναπαρασταθούν όλα τα χρωμάτα του οπτικού φάσματος. 2. Tα βασικά χρώματα (μπλε, πράσινο, κόκκινο), δεν είναι γραμμικά ανεξάρτητα. Αυτό δεν επιτρέπει την ανεξάρτητη επεξεργασία του κάθε βασικού χρώματος και έτσι δυσχεραίνεται η χρήση τεχνικών επεξεργασίας. Παρ' όλα τα μειονεκτήματα του, είναι ένα χρωματικό μοντέλο που χρησιμοποείται ευρέως. Αυτό οφείλεται στην απλότητα του, που το κάνει απόλυτα κατανοητό και επιπλέον οι συσκεύες που το χρησιμοποιούν μπορούν να κατασκευαστούν πιο εύκολα. 7

20 1.3. Χρωματικά Μοντέλα Χρωματικό Μοντέλο YUV Έχει αποδειχθεί ότι οι άνθρωποι, μπορούν να διακρίνουν καλύτερα τις μεταβολές στην φωτεινότητα, παρά στις μεταβολές των χρώματων. Το χρωματικό μοντέλο YUV προέρχεται από το σύστημα αναλογικού βίντεο PAL (ευρωπαϊκό στάνταρ). Η μετατροπή των χρωμάτων από RGB σε YUV επιτυγχάνεται από τις εξισώσεις: Y= 0.299R+0.587G+0.114B U=-0.147R-0.289G+0.436B V= 0.615R-0.515G-0.100B. (1.7) Η αντίστροφη διαδικασία μπορεί να επιτευχθεί με τις εξισώσεις: R=Y+V G=Y-0.395U-0.580V B=Y+2.032U. (1.8) Χρωματικό Μοντέλο YIQ Το χρωματικό μοντέλο YIQ χρησιμοποιήθηκε στο αμερικάνικο πρότυπο τηλεόρασης NTSC. Είναι παρόμοιο με το χρωματικό μοντέλο YUV, με την διαφορά ότι έχει εφαρμοστεί μία στροφή των αξόνων του RGB μοντέλου, κατά 33 μοιρές, συμφώνα με την φορά των δεικτών του ρολογιού. Το κανάλι Y του μοντέλου αντιστοιχεί στις τιμές έντασης φωτεινότητας, το I αντιστοιχεί στον άξονα μπλε-πορτοκαλί και το κανάλι Q αντιστοιχεί στον άξονα μωβ-πράσινο. Οι εξισώσεις από τις οποίες προκύπτουν οι τιμές των καναλιών του YIQ είναι: Y=0.299R+0.587G+0.114B I=0.74(R-Y)-0.27(B-Y)=0.596R-0.275G-0.321B Q=0.48(R-Y)+0.41(B-Y)=0.212R-0.523G+0.311B. (1.9) Από το χρωματικό μοντέλο YIQ, μπορεί κανείς να επιστρέψει στο μοντέλο RGB χρησιμοποιώντας τις εξισώσεις: R=Y+0.956I+0.621Q G=Y-0.272I-0.647Q B=Y I+1.705Q. (1.10) Χρωματικό Μοντέλο YCrCb Το χρωματικό μοντέλο YCbCr, προκύπτει από μετασχηματισμούς κλιμάκωσης και μεταφοράς που εφαρμόζονται στο μοντέλο YUV. Αποτελείται από μία συνιστώσα φωτεινότητας και δύο χρωματικές συνιστώσες που λαμβάνουν τιμές στο διάστημα [0,1]. Παράδειγμα απεικόνισης εικόνας στο μοντέλο αυτό παρουσιάζεται στο Σχήμα 1.9. Σχήμα 1.9: Χρωματικό μοντέλο YCbCr : κανάλι Y, κανάλι Cb και κανάλι Cr. Οι εξισώσεις από τις οποίες προκύπτουν οι χρωματικές συνιστώσες του μοντέλου YCrCb είναι: 8

21 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Y=0.257R+0.587G+0.114B Cr= R-0.331G+0.5B Cb= R-0.419G-0.081B. (1.11) Και η επιστροφή από το μοντέλο YCrCb στο μονελο RGB επιτυγχάνεται με τις ακόλουθες εξισώσεις: R=Y+1.4(Cr-128) G=Y-0.343(Cb-128)-0.711(Cr-128) B=Y+1.765(Cb-128). (1.12) Απο τα χρωματικά μοντέλα που αναφέρθηκαν, προτιμάται το μοντέλο YCrCb για δύο κύριους λόγους: 1. Τα χρωματικά κανάλια του, είναι ανεξάρτητα μεταξύ τους και επομένως η επεξεργασία κάθε καναλιού πραγματοποιείται ανεξάρτητα. Βέβαια, τα περισσότερα χρωματικά μοντέλα που αναφέρθηκαν, επιτυγχάνουν αυτήν την ανεξαρτησία. Ωστόσο, έχει αποδειχθεί ότι το μοντέλο YCrCb, ανταποκρίνεται καλύτερα στην ανθρώπινη όραση. 2. Όπως έχει ήδη αναφερθεί, οι άνθρωποι μπορούν να διακρίνουν καλύτερα τις μεταβολές στην φωτεινότητα, παρά στις μεταβολές των χρωματών. Επομένως η επεξεργασία της εικόνας πρέπει να επιτυγχάνει υψηλή ακρίβεια στο κανάλι της φωτεινότητας. Πιθανά σφάλματα στις χρωματικές συνιστώσες, το ανθρώπινο μάτι δεν μπορεί να τις διακρίνει εύκολα. Αυτή η παρατηρήση είναι ιδιαίτερα χρήσιμη σε εφαρμογές συμπίεσης, όπου οι χρωματικές συνιστώσες μπορούν να συμπιεστούν σε πολύ μεγαλύτερο βαθμό, χωρίς να προκύπτει σημαντική ποιοτική αλλοίωση της εικόνας. 1.4 Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Η εικόνα όπως προκύπτει από τον ορισμό της, είναι ένα διδιάστατο σήμα. Ανάλογα την περίπτωση, η εικόνα μπορεί να είναι αναλογικό, διακριτό ή και ψηφιακό σήμα. Η πιο συνηθισμένη περίπτωση, είναι πλέον η ψηφιακή εικόνα. Εφόσον είναι διδιάστατο σήμα, μπορούν να χρησιμοποιηθούν μετασχηματισμοί και τεχνικές από το πεδίο της θεωρίας σημάτων και συστημάτων. Στην παράγραφο αυτή, θα περιγραφούν συνοπτικά τα σημεία της θεωρίας, που είναι ιδιαίτερα χρήσιμα και εφαρμόζονται κατά κόρον στην επεξεργασία εικόνας Συνέλιξη και Συσχέτιση Μία από τις πιο βασικές έννοιες στην θεωρία συστημάτων, είναι τα γραμμικά συστήματα και η πράξη της γραμμικής συνέλιξης ή απλά συνέλιξης. Τα γραμμικά σύστηματα, είναι τα πιο απλά και η θεωρία τους ευρέως γνωστή. Το γραμμικό σύστημα επιδρά στο σήμα εισόδου, με την κρουστική απόκριση που το χαρακτηρίζει, όπως φαίνεται και στο Σχήμα Η επίδραση αυτή εκφράζεται από την ακόλουθη σχέση (γραμμική συνέλιξη): Σχήμα 1.10: Γραμμικό σύστημα με κρουστική απόκριση h(t) y(t) = h(τ)x(t τ)dt = h(t τ)x(τ)dτ. (1.13) Για διακριτό σύστημα, η πράξη της συνέλιξης ορίζεται ως: y(n) = h(n k)x(k) = h(n)x(k n). (1.14) k= k= Η γραμμική συνέλιξη, είναι μία πολύ συχνή πράξη στην θεωρία σημάτων και συνήθως συμβολίζεται ως: y = h x = x h. (1.15) 9

22 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Η ετεροσυσχέτιση είναι μία παρόμοια πράξη με την συνέλιξη και ορίζει ένα μέτρο ομοιότητας, για τα δύο σήματα στα οποία εφαρμόζεται. Η ετεροσυσχέτιση ορίζεται ως : r hx (t) = h(τ)x(t + τ)dt = Αντίστοιχα η ετεροσυσχέτιση, για διακριτά σήματα ορίζεται ως: r hx (n) = k= h(n + k)x(k) = k= h(t + τ)x(τ)dτ. (1.16) h(n)x(k + n). (1.17) Στην περίπτωση που το γραμμικό σύστημα, είναι διακριτού χρόνου και η κρουστική του απόκριση έχει πεπερασμένη διάρκεια, το άθροισμα της διακριτής συνέλιξης, μπορεί να εκφραστεί με γραμμικές εξισώσεις. Επομένως η συνέλιξη μπορεί να εκφραστεί και με την βοήθεια μητρώων και να γραφεί στην ακολούθη μορφή: y = Hx. (1.18) Το μητρώο Η, ονομάζεται μητρώο συνέλιξης. Αν h 1,...h m, είναι οι συντελεστές της κρουστικής απόκρισής του γραμμικού συστήματος, η Σχέση (1.18) μπορεί να γραφεί στην ακόλουθη μορφή: h y h y x 1 x y 3. 2 x y 4. 3 x h m = 0 h m... h (1.19).... y k 2... y k h x n 2 1 x n 1 y k.. x n h m h m Το μητρώο με την παραπάνω δομή, είναι γνωστό και ως μητρώο Toeplitz. Η έκφραση της συνέλιξης, στην μορφή της Σχέσης (1.19), είναι ιδιαίτερα σημαντική, διότι με αυτό τον τρόπο η συνέλιξη εκφράζεται ως ένα γραμμικό σύστημα εξισώσεων. Επομένως, η μοντελοποίηση της συνέλιξης, απλοποιείται και επιπλέον μπορούν να εφαρμοστούν διάφορες τεχνικές της γραμμικής άλγεβρας για την επιλύση του. Το μειονέκτημα της χρήσης μητρώων, είναι δυστυχώς στην υλοποίηση. Τα μητρώα που δημιουργούνται είναι μεγάλων διαστάσεων. Φυσικά τα μητρώα που προκύπτουν είναι αραιά, αλλά είτε η ανάγκη αντιστροφής τους δημιουργεί πλήρη μητρώα, είτε ο πολλαπλασιαμός τους με άλλα μητρώα, δημιουργεί μητρώα με κακό δείκτη κατάστασης. Παρ' όλα αυτά, η Σχέση (1.19), δεν χάνει την αξία της και χρησιμοποιείται ευρέως στην θεωρία των σημάτων και επεξεργασίας εικόνας. Με επέκταση της Σχέσης (1.18) στις δύο διαστάσεις, προκύπτει η πράξη της συνέλιξης για σήματα εικόνων. Ο τρόπος υπολογισμού του μητρώου διδιάστατης συνέλιξης συνοψίζεται στα παρακάτω βήματα: 1. Κάθε στήλη του διδιάστατου μητρώου της κρουστικής απόκρισης, θεωρείται ως μονοδιάστατη κρουστική απόκριση και κατασκευάζεται το αντίστοιχο μητρώο συνέλιξης της μονοδιάστατης περίπτωσης. 2. Το κάθε μητρώο του προηγούμενου βήματος, θεωρείται ως ένα στοιχείο στο μητρώο διδιάστατης περίπτωσης και κατασκευάζεται με την ίδια διαδικασία, με την διαφορά ότι κάθε στοιχείο του διδιάστατου μητρώου, είναι από μόνο του ένα μητρώο. 10

23 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Επομένως αν H 0 είναι το μητρώο NxM της κρουστικής απόκρισης του διδιάστατου γραμμικού συστήματος, δηλαδή: h 11 h h 1Μ h 21 h h 2Μ H 0 =...., (1.20) h N1 h N2... h ΝΜ τότε το μητρώο της διδιάστατης συνέλιξης δίνεται από : Η Η Η M H = 0 Η M... Η 1 0, (1.21) Η Η M Η M όπου κάθε στοιχείο Η k, k = 1,..., M είναι ένα μητρώο Toeplitz, της στήλης i (i = 1,..., N) της κρουστικής απόκρισης Η 0 και εκφράζεται με μητρώο της μορφής που ορίστηκε στη Σχέση (1.19). Το μητρώο της διδιάστατης συνέλιξης είναι γνωστό με το όνομα διπλό μητρώο Toeplitz (doubly Toeplitz) Χρήση Γραμμικών Φίλτρων Η διαδικασία της συνέλιξης, όταν εφαρμόζεται σε διακριτού χρόνου γραμμικά συστήματα, που έχουν κρουστική απόκριση πεπερασμένης διάρκειας, είναι γνωστή και ως φιλτράρισμα. Η κρουστική απόκριση, συνήθως είναι μικρού μεγέθους και ονομάζεται μάσκα (mask) ή πυρήνας (kernel) ή φίλτρο (filter). Η διδιάστατη συνέλιξη ορίζεται από: h(n, m) f(n, m) = M 1 i=0 N 1 j=0 f(i, j)h(i m, j n). (1.22) Ο υπολογισμός της διδιάστατης συνέλιξης, μπορεί να γίνει εύκολα κατανοητός χρησιμοποιώντας το Σχήμα Σε κάθε εικονοστοιχείο της εικόνας τοποθετείται η μάσκα (μεγέθους N M). Το εικονοστοιχείο της εικόνας, που βρίσκεται σε επεξεργασία συμπίπτει, με το αντίστοιχο κεντρικό στοιχείο της μάσκας. Υπολογίζεται το άθροισμα σύμφωνα με την Σχέση (1.22) και τελικά τοποθετείται στο εικονοστοιχείο, το αποτέλεσμα του αθροίσματος. Επειδή κατά την διαδικασία του φιλτραρίσματος, η μάσκα εφαρμόζεται και στα όρια της εικόνας, υπάρχουν στοιχεία της μάσκας που τοποθετούνται εκτός των ορίων της. Επομένως, πρέπει να επεκταθεί η εικόνα στα όρια της, ώστε όλα τα στοιχεία της μάσκας να πολλαπλασιάζονται με το αντίστοιχο εικονοστοιχείο της εικόνας. Οι δύο δημοφιλέστεροι τρόποι επέκτασης των ορίων, είναι η επέκταση με μηδενικά και η επέκταση με περιοδικότητα, όπως παρουσιάζονται στα Σχήματα 1.12 και 1.13 αντίστοιχα. 11

24 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Σχήμα 1.11: Διαδικασία Φιλτραρίσματος. Σχήμα 1.12: Επέκταση ορίων εικόνας με μηδενικά. Σχήμα 1.13: Περιοδική επέκταση ορίων εικόνας. 12

25 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Χρήση μη Γραμμικών Φίλτρων Μέχρι στιγμής έχει μελετηθεί η περίπτωση των γραμμικών φίλτρων. Φυσικά, μπορούν να εφαρμοστούν και μη γραμμικά φίλτρα στην εικόνα, όπως είναι τα στατιστικά φίλτρα διάταξης (order statistics filter). Τα πιο δημοφιλή φίλτρα αυτής της κατηγορίας είναι : 1. Φίλτρο μεγίστου (max filter): Σε μπλοκ Ν M εικονοστοιχείων επιλέγεται η μέγιστη τιμή. 2. Φίλτρου ελαχίστου (min filter): Σε μπλοκ Ν M εικονοστοιχείων επιλέγεται η ελάχιστη τιμή. 3. Φίλτρο μεσαίου (median filter): Σε μπλοκ Ν M εικονοστοιχείων επιλέγεται η τιμή του μεσαίου. Ο μεσαίος προκύπτει, ως η τιμή που βρίσκεται στην μεσαία θέση του διανύσματος των ταξινομημένων τιμών. Σε περίπτωση που το πλήθος των εικονοστοιχείων είναι άρτιος αριθμός, επιλέγεται η μέση τιμή των δύο μεσαίων εικονοστοιχείων. Το φίλτρο του μεσαίου χρησιμοποείται σε πολλές εφαρμογές στην επεξεργασία εικόνας. Η πιο δημοφιλής είναι η εφαρμογή του στην απομάκρυνση του κρουστικού θορύβου, ο οποίος είναι οπτικά αισθητός, όπως φαίνεται και στο Σχήμα Σχήμα 1.14: Εικόνα με κρουστικό θόρυβο 20%, φίλτρο μεσαίου 3x3, φίλτρο μεσαίου 11x11. Ο κρουστικός θόρυβος, επιδρά σε ένα ποσοστό των εικονοστοιχείων, στα οποία μεταβάλλεται η τιμή τους στις δύο πιο ακραίες τιμές (πχ 0 και 255). Αν εφαρμοστεί το φίλτρο του μεσαίου, τότε επιλέγεται σε κάθε γειτονιά εικονοστοιχείων η μεσαία τιμή και επομένως εξαλείφονται οι ακραίες τιμές. Το φίλτρο του μεσαίου μπορεί να αφαιρέσει εντελώς τον κρουστικό θορύβο. Φυσικά για να λειτουργήσει ικανοποιητικά, θα πρέπει στην κάθε γειτονιά, το πλήθος των εικονοστοιχείων που περιέχουν ακραίες τιμές να είναι το πολύ κατά ένα λιγότερα από τα υπόλοιπα. Αν και η εφαρμογή του φίλτρου του μεσαίου, απομακρύνει δραστικά τον κρουστικό θόρυβο, απομακρύνει και τις λεπτομέρειες τις εικόνας. Επομένως όταν απαιτείται αρκετά μέγαλο μέγεθος φίλτρου (πχ 11x11), οι ακμές αλλοιώνονται και χάνονται οι λεπτομέρειες, όπως είναι εμφανές στο Σχήμα Μετασχηματισμός Fourier Ο μετασχηματισμός Fourier, είναι πιθανώς ο πιο γνωστός μετασχηματισμός στις θετικές επιστήμες. Ειδικά στα πεδία της επεξεργασίας σημάτων και των τηλεπικοινωνιών, αποτελεί το πιο χρήσιμο εργαλείο κάθε μελετητή. Φυσικά και στην επεξεργασία εικόνας, ο μετασχηματισμός Fourier παραμένει ένα χρήσιμο εργαλείο. Επειδή ο μετασχηματισμός Fourier είναι τόσο διαδεδομένος, ο αναγνώστης πιθανώς να είναι πλήρως εξοικιωμένος. Ωστόσο ε- πιβάλλεται μία σύντομη περιγραφή και έμφαση σε συγκεκριμένα σημεία της θεωρίας. Ο μετασχηματισμός Fourier ορίζεται από την σχέση: F (jω) = ενώ ο αντίστροφος μετασχηματισμός Fourier από την σχέση: f(x) = 1 2π f(x)e jωx dx, (1.23) F (jω)e jωx dω. (1.24) 13

26 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Οι παραπάνω ορισμοί ισχύουν για συνεχούς χρόνου σήματα. Ο διακριτού χρόνου μετασχηματισμός Fourier (DΤFT), ορίζεται από την σχέση: F (e jω ) = f(n)e jωn. (1.25) n= Στην περίπτωση σημάτων διακριτού χρόνου πεπερασμένης διάρκειας Ν δειγμάτων, ο διακριτός μετασχηματισμός Fourier (DFT) ορίζεται από: Ν 1 X k = x n e j2π N kn, k = 0,..., N 1, (1.26) με αντίστροφο μετασχηματισμό: n=0 Ν 1 x n = X k e j2π N kn, n = 0,..., N 1. (1.27) n=0 Οι ψηφιακές εικόνες είναι διακριτά πεπερασμένων διαστάσεων διδιάστατα σήματα. Επομένως ο διδιάστατος διακριτός μετασχηματισμός Fourier (2D DFT), που χρησιμοποιείται στην επεξεργασία τους, ορίζεται ως: F (k, l) = M 1 N 1 m=0 n=0 f(n, m)e 2jπ( km M + ln N ). (1.28) Ο μετασχηματισμός Fourier είναι μία μιγαδική συνάρτηση. Επομένως μπορεί να εκφραστεί στην μορφή: όπου F (k, l) το μέτρο του μετασχηματισμού Fourier: F (k, l) = F (k, l) e jφ(k,l), (1.29) F (k, l) 2 = R 2 (k, l) + I 2 (k, l), F (k, l) = R(k, l) + ji(k, l) (1.30) και φ(k, l) η φάση του μετασχηματισμού Fourier που ισούται με : ( ) I(k, l) φ(k, l) = tan 1. (1.31) R(k, l) Η τιμή του μετασχηματισμού Fourier, στη θέση (0,0) ονομάζεται DC (Direct Current), και έχει λάβει την ονομασία αυτή,από το πεδίο της ηλεκτρολογίας (συνεχές ρεύμα). Η DC συνιστώσα ουσιαστικά εκφράζει το μέσο όρο του σήματος. Ο μετασχηματισμός Fourier, έχει πολλές χρήσιμες ιδιότητες και αυτές ουσιαστικά τον έχουν καθιερώσει ως το απόλυτο εργαλείο στην επεξεργασία σημάτων. Οι ιδιότητες ισχύουν τόσο για το μονοδιάστατο, όσο και για τον διδιάστατο μετασχηματισμό Fourier. Σχήμα 1.15: Μετατοπίσεις τεταρτημορίων για τον DFT. Η πλήρης απεικόνιση του διδιάστατου μετασχηματισμού Fourier, απαιτεί την απεικόνιση της συνάρτησης του μέτρου και της φάσης. Ωστόσο στις περισσότερες εφαρμογές, αρκεί η απεικόνιση του μέτρου, που εκφράζει την ισχύ του σήματος (P (k, l) = F (k, l) ). Στο Σχήμα 1.16, παρουσιάζεται η απεικόνιση που προκύπτει από την απευθείας εφαρμογή του DFT. Ωστόσο για να απεικονιστεί ο DFT με μεγαλύτερη ευκρίνεια, απαιτούνται δύο απλές μετατροπές: 14

27 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Σχήμα 1.16: Απεικονίσεις FFT : γραμμική απεικόνιση, γραμμική απεικόνιση με μετατόπιση τεταρτημορίων, λογαριθμική απεικόνιση, λογαριθμική απεικόνιση με μετατόπιση τεταρτημορίων. 1. Επειδή στις χαμηλές συχνότητες, οι συντελεστές του μετασχηματισμού έχουν υψηλή τιμή και δεν διακρίνονται άλλες μικρότερες τιμές, προτιμάται η απεικόνιση της λογαριθμικής τιμής του μέτρου του μετασχηματισμού Fourier: L F (k, l) = c log( 1 + F (k, l) ). (1.32) 2. Σε πολλά περιβάλλοντα (πχ Matlab), οι τιμές του DFT δεν απεικονίζονται με τον ορθό τρόπο. Το αποτέλεσμα είναι οι συντελεστές του μετασχηματισμού, να απεικονίζονται σε διαφορετική θέση και να παρουσιάζεται το παράδοξο, όπου το σημείο (0,0) να εμφανίζεται στα τέσσερα άκρα της εικόνας! Ωστόσο με την απλή μετατόπιση των τεταρτημορίων, όπως παρουσιάζεται στο Σχήμα 1.15, οι συντεταγμένες μετατοπίζονται στα σωστά σημεία, και το σημείο (0,0) τοποθετείται στο κέντρο της απεικόνισης του μετασχηματισμού Fourier. Τέσσερις σημαντικές ιδιότητες του μετασχηματισμού Fourier, που ενδιαφέρουν σε εφαρμογές της επεξεργασίας εικόνας είναι: 1. Ο μετασχηματισμός Fourier, μπορεί να υπολογιστεί πολύ γρήγορα, χρησιμοποιώντας τον αλγόριθμο του ταχύ μετασχηματισμού Fourier (FFT: Fast Fourier Transform). Η ανάλυση του αλγορίθμου είναι εκτός των πλαισίων της εργασίας αυτής. Το μεγάλο πλεονέκτημα του DFT, είναι ότι είναι διαχωρίσιμος μετασχηματισμός. Αυτό σημαίνει ότι ο διδιάστατος μετασχηματισμός, μπορεί να προκύψει με την χρήση του μονοδιάστατου DFT, εφαρμόζοντας τον μονοδιάστατο μετασχηματισμό πρώτα στις γραμμές της εικόνας και στο αποτέλεσμα που προκύπτει, εφαρμόζεται μονοδιάστατος DFT στις στήλες. 2. Η συνέλιξη στο πεδίο του χρόνου, μετατρέπεται σε πολλαπλασιασμό στο πεδίο της συχνότητας και αντίστροφα. 3. Ο μετασχηματισμός Fourier μίας gaussian συνάρτησης είναι gaussian. 4. Η μετατόπιση της συνάρτησης στο πεδίο του χρόνου, δηλαδή μια χρονική ολίσθηση, συνεπάγεται μια ολίσθηση φάσης στο πεδίο της συχνότητας. 15

28 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Συμπεράσματα Μετασχηματιμού Fourier Ο μετασχηματισμός Fourier, οι ιδιότητες του και οι εφαρμογές του, δεν μπορούν να περιγραφούν όχι από μία παράγραφο, αλλά ούτε και από ένα ολόκληρο βιβλίο! Ωστόσο η παράγραφος αυτή, θα εστιάσει στα βασικότερα συμπεράσματα, που έχουν άμεση εφαρμογή στην υλοποίηση μεθόδων ανακατασκευής εικόνας υψηλής ανάλυσης. 1. Η χρήση του μετασχηματισμού Fourier, οδηγεί την μελέτη ενός σήματος στο πεδίο συχνοτήτων. Στην πραγματικότητα, επιτυγχάνεται μία αλλαγή βάσης από τα ορθοκανονικά διανύσματα του ευκλείδιου χώρου, σε διανύσματα που έχουν ως δομικά στοιχεία ημίτονα και συνημίτονα. Επομένως όταν κάποιος συντελεστής του μετασχηματισμού δεν είναι μηδέν, αυτό σημαίνει ότι το ημίτονο που αντιστοιχεί σε αυτή την θέση, προσφέρει σε ένα ποσοστό, στην ανακατασκευή του σήματος. Άρα ο συντελεστής αποτελεί ένα μέτρο ο- μοιότητας του σήματος με το συγκεκριμένο ημίτονο. Επομένως, όταν το σήμα περιέχει απότομες μεταβολές, αυτό αντιστοιχεί σε ημίτονα υψηλών συχνοτήτων και η ενέργεια του σήματος συγκεντώνεται στις υψηλές συχνότητες. Στην εικόνα που είναι διδιάστατο σήμα, τα ημίτονα είναι διδιάστατα και ορίζουν μία επιφάνεια. Ωστόσο η επιφάνεια αυτή μπορεί εύκολα να απεικονιστεί και ως εικόνα, όπως φαίνεται και στο Σχήμα Σχήμα 1.17: Εικόνες συνημιτόνων: οριζόντιας, κάθετης και διαγώνιας κατεύθυνσης. 2. Το προηγούμενο συμπέρασμα, μπορεί να εξειδικευθεί περισσότερο για τις εικόνες. Στην εικόνα, οι ακμές "κρύβονται" στις απότομες μεταβολές φωτεινότητας. Ωστόσο στην εικόνα, αν και το μεγαλύτερο μέρος της ενέργειας συγκεντρώνεται στις χαμηλές συχνότητες, η ανθρώπινη όραση είναι πιο ευαίσθητη στις μεταβολές της φωτεινότητας, και επομένως οι λεπτομέρειες της εικόνας, συγκεντρώνονται στις υψηλές συχνότητες. Επομένως αν αφαιρεθούν οι υψηλές συχνότητες, προκαλείται ένα θόλωμα στην εικόνα. 3. Η πιο σημαντική όμως ιδιότητα του μετασχηματισμού Fourier, είναι η ισοδυναμία της συνέλιξης με πολλαπλασιασμό στο πεδίο συχνοτήτων, καθώς και ο ταχύς υπολογισμός του FFT. Επομένως στο μονοδιάστατο FFT Ν δειγμάτων, απαιτούνται O(N log N) πράξεις (Το σύμβολο "Ο" σημαίνει ανάλογο), αντί Ο(Ν 2 ). Στον διδιάστατο μετασχηματισμό N N, απαιτούνται O(N 2 logn) πράξεις, αντί O(N 4 ). Η ταχύτητα του FFT, δίνει την δυνατότητα, να υπολογιστεί η συνέλιξη της εικόνας με φίλτρο μεγάλου μεγέθους, ταχύτερα, αν υπολογιστεί στο πεδίο των συχνοτήτων, αντί με απευθείας υλοποίηση της στο πεδίο του χώρου (ή χρόνου). 4. Ένα από τα πιο σημαντικά θεωρημάτα στην θεωρία της επεξεργασίας σημάτων, είναι το θεώρημα δειγματοληψίας Nyquist. Το θεώρημα εξασφαλίζεί, ότι είναι εφικτό να ανακατασκευαστεί ένα συνεχούς χρόνου σήμα από την δειγματοληπτημένη μορφή του, αρκεί η συχνότητα δειγματοληψίας να είναι τουλάχιστον διπλάσια από την μεγαλύτερη συχνότητα που περιέχεται στο σήμα. Στην περίπτωση των εικόνων, πρέπει και οι δύο συχνότητες δειγματοληψίας να είναι τουλάχιστον διπλάσιες, από την μεγαλύτερη συχνότητα που περιέχει η εικόνα. Το θεώρημα μπορεί εύκολα να γίνει κατανοητό στο πεδίο συχνοτήτων. Στο Σχήμα 1.18, απεικονίζεται το φάσμα ενός σήματος που περιέχει ένα εύρος συχνοτήτων. Όταν εφαρμόζεται ο DFT σε μία περίοδο του σήματος, τότε στο πεδίο των συχνοτήτων επαναλαμβάνεται συνεχώς. Αν η συχνότητα δειγματοληψίας δεν είναι τουλάχιστον διπλάσια, τότε υπάρχει αναδίπλωση συχνοτήτων και τα επαναλαβανόμενα μοτίβα επικαλύπτονται μερικώς και δεν μπορούν να διακριθούν. Στο Σχήμα 1.19, απεικονίζεται η διδιάστατη περίπτωση του θεωρήματος Nyquist. Το θεώρημα του Nyquist είναι εξαιρετικά χρήσιμο, επειδή αν το σήμα εισόδου, φιλτραριστεί με το κατάλληλο φίλτρο, τότε το σήμα μπορεί να επεξεργαστεί ψηφιακά. Δειγματοληπτείται με την κατάλληλη συχνότητα, επεξεργάζεται με ηλεκτρονικό υπολογιστή και στην συνέχεια 16

29 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα ανακατασκευάζεται ώστε να χρησιμοποιηθεί. Ωστόσο το φίλτρο που απαιτείται πολλές φορές, είναι ιδανικό και υποχρεωτικά το φίλτρο είναι προσεγγιστικό. Επομένως πάντα υπάρχει μία ελαφριά αναδίπλωση και αυτό συμβαίνει πολλές φορές και στις εικόνες που καταγράφονται. Σχήμα 1.18: Σήμα χωρίς αναδίπλωση και σήμα με αναδίπλωση συχνοτήτων. Σχήμα 1.19: Αναδίπλωση συχνοτήτων σε διδιάστατο πλέγμα Χαμηλοπερατά και Υψηλοπερατά Φίλτρα Ο μετασχηματισμός Fourier, προσφέρει στο μελετητή την δυνατότητα να επεξεργαστεί ένα σήμα στο χώρο των συχνοτήτων. Στις περισσότερες εφαρμογές, η χρήσιμη πληροφορία του σήματος περιέχεται σε μία ζώνη συχνοτήτων. Επομένως η επεξεργασία μπορεί να γίνει στο πεδίο των συχνοτήτων, με την εφαρμογή του DFT και πολλαπλασιάζοντας με την απόκριση συχνοτήτων του φίλτρου. Η τελική εικόνα προκύπτει με χρήση του αντίστροφου μετασχηματισμού Fourier. Οι πιο απλές περιπτώσεις φίλτρων, είναι αυτές που επιτρέπουν την διεύλεση των χαμηλών ή των υψηλών συχνοτήτων. Οι ιδανικές αποκρίσεις συχνοτήτων των φίλτρων αυτών ορίζονται ως ακολούθως: Χαμηλοπερατό φίλτρο: Υψηλοπερατό φίλτρο: Η(u, v) = Η(u, v) = { 1, αν u 2 + v 2 < r 2 0, αλλού. { 1, αν u 2 + v 2 > r 2 0, αλλού. Στα Σχήματα 1.22 και 1.23, παρουσιάζονται τα αποτελέσματα επεξεργασίας εικόνας με χαμηλοπερατό και υψηλοπερατό φίλτρο αντίστοιχα. 17

30 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Σχήμα 1.20: Απόκρισεις χαμηλοπερατού και υψηλοπερατού φίλτρου. Σχήμα 1.21: Αρχική εικόνα, φιλτραρισμένη εικόνα με εμφανείς αναδιπλώσεις, φιλτραρισμένη εικόνα με αφαίρεση αναδιπλώσεων. Σχήμα 1.22: Φιλτράρισμα με χαμηλοπερατό φίλτρο ακτίνας r=10, r=30, r=50. 18

31 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα Σχήμα 1.23: Φιλτράρισμα με υψηλοπερατό φίλτρο ακτίνας r=10, r=30, r=50. Είναι εμφανές ότι το υψηλοπερατό φίλτρο, διατηρεί τις απότομες μεταβολές και τις λεπτομέρεις της εικόνας, ε- νώ το χαμηλοπερατό διατηρεί την περισσότερη πληροφορία, αλλά χάνει σε λεπτομέρεια όσο μειώνονται οι υψηλές συχνότητες. Δυστυχώς οι ιδανικές αποκρίσεις παρ' όλο που μπορούν να εκφραστούν σε σειρά Fourier, δεν μπορούν να υλοποιηθούν, διότι απαιτούν άπειρες πράξεις και είναι μη αιτιατές. Για αυτό το λόγο, χρησιμοποιούνται για την υ- λοποίηση τους, τεχνικές σχεδίασης διδιάστατων φίλτρων που προσεγγίζουν τις ιδανικές προδιαγραφές. Στο Σχήμα 1.20, απεικονίζεται φίλτρα που έχουν κατασκευαστεί με τεχνικές σχεδίασης. Μία πρώτη και σημαντική εφαρμογή της επεξεργασίας σημάτων, είναι η εφαρμογή χαμηλοπερατού φίλτρου ώστε να μειωθεί το φαινόμενο της αναδίπλωσης των συχνοτήτων. Στο Σχήμα 1.21, παρουσιάζεται η αρχική εικόνα που παρουσιάζει αναδίπλωση. Στην συνέχεια παρουσιάζονται τα αποτελέσματα δύο χαμηλοπερατών φίλτρων. Το δεύτερο φίλτρο, μειώνοντας ακόμα περισσότερο το εύρος συχνοτήτων, επιτυγχάνει αναίρεση της αναδίπλωσης με μία ελαφριά μεταβολή της στο συνολικό περιεχόμενο Μετασχηματισμός Διακριτού Συνημιτόνου Ο μετασχηματισμός Fourier είναι χρήσιμος, ωστόσο η χρήση μιγαδικών αριθμών, η εμφάνιση αρνητικών συχνοτήτων καθώς και τα μεταβατικά φαινόμενα στα περιθώρια της εικόνας, δημιουργούν δυσκολίες σε πολλές εφαρμογές της επεξεργασίας εικόνας. Για αυτό το λόγο, είναι συχνή η χρήση του μετασχηματισμού διακριτού συνημιτόνου (DCT). Ο μετασχηματισμός διακριτού συνημιτόνου για μονοδιάστατο σήμα ορίζεται ως: D(u) = M 1 m=0 ( (2m + 1)kπ x(n) cos 2M ). (1.33) Αντίστοιχα ο διακριτός μετασχηματισμός συνημιτόνου για διδιάστατο διακριτό σήμα ή εικόνα ορίζεται ως: D(k, l) = M 1 N 1 m=0 n=0 ( (2m + 1)kπ f(n, m) cos 2M ) cos ( (2n + 1)lπ 2M ). (1.34) Ο DCT μπορεί να υπολογιστεί γρήγορα, χρησιμοποιώντας τον FFT. Ο DCT είναι και αυτός διαχώρισιμος και επομένως και ο διδιάστατoς DCT υπολογίζεται ταχύτερα. Ένα επιπλέον χαρακτηριστικό του διακριτού μετασχηματισμού συνημιτόνου, είναι ότι συγκεντρώνει την περισσότερη ενέργεια του σήματος σε λιγότερους συντελεστές από τον FFT. Για αυτό το λόγο, είναι ο κύριος μετασχηματισμός που χρησιμοποείται σε μεθόδους συμπίεσης, οι οποίες θα αναλυθούν στην Παράγραφο Μετασχηματισμός Fourier Μικρής Διάρκειας Ο μετασχηματισμός Fourier είναι πολύ χρήσιμος, ωστόσο έχει και κάποιους περιορισμούς. Επειδή ο υπολογισμός γίνεται σε όλο το πεδίο του χρόνου, στο πεδίο της συχνότητας χάνεται εντελώς η πληροφορία του χρόνου. Αυτό σημαίνει, ότι αν ένα σήμα περιέχει συγκεκριμένες συχνότητες σε συγκεκριμένες χρονικές στιγμές, στο πεδίο της 19

32 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα συχνότητας αυτό δεν είναι εμφανές. Επιπλέον απότομες μεταβολές του σήματος δεν μπορούν να εντοπιστούν. Επομένως, στον μετασχηματισμό Fourier δεν περιέχεται η πληροφορία του χρόνου. Για αυτό το λόγο, αν το σήμα δεν είναι στάσιμο και μεταβάλλεται απότομα, ο μετασχηματισμός Fourier δεν προσφέρει ικανοποιητική αναπαράσταση του σήματος. Για να επιλυθεί το πρόβλημα του μετασχηματιμού Fourier, εφαρμόζεται ο Fourier σε τμήματα του σήματος και όχι σε ολόκληρο το σήμα. Για να επιτευχθεί αυτό, χρησιμοποιούνται συναρτήσεις, οι οποίες σε κάποιο χρονικό διάστημα, δεν είναι μηδενικές και πολλαπλασιάζονται με το σήμα. Οι συναρτήσεις αυτές είναι γνωστές ως συναρτήσεις παραθύρων. Το σήμα συνεχούς χρόνου κατακερματίζεται σε ίσα πλάισια-παράθυρα. Στην διάρκεια του διαστήματος του κάθε πλαισίου, το σήμα μπορεί να θεωρηθεί ότι είναι στάσιμο. Αν χρησιμοποιήθει παράθυρο άπειρου μήκους, επιτυγχάνεται η τέλεια ανάλυση στο πεδίο της συχνότητας (μετασχηματισμός Fourier), αλλά η πληροφορία στο πεδίο του χρόνου είναι μηδενική. Στην αντίθετη περίπτωση, αν χρησιμοποιήθει στενό παράθυρο, το σήμα θεωρείται στάσιμο στο μήκος του παραθύρου. Έτσι διατηρείται περισσότερη πληροφορία για το πεδίο του χρόνου και λιγότερη στο πεδίο της συχνότητας. Επομένως δημιουργείται ένας διαμοιρασμός της πληροφορίας και στα δύο πεδία. Ο μετασχηματισμός Fourier μικρής διάρκειας, για μονοδιάστατο σήμα είναι συνάρτηση δύο μεταβλητών (συχνότητας, χρόνου) και ορίζεται από την σχέση: X(t, jω) = f(x)w(t x)e iωx dx. (1.35) Όπως είναι εμφανές από την παραπάνω σχέση, η κύρια διαφορά του μετασχηματισμού Fourier μικρής διάρκειας, με τον μετασχηματισμό Fourier, είναι η εμφάνιση μίας συνάρτησης w(t) (συνάρτηση παράθυρο), που ουσιαστικά μηδενίζει το σήμα εκτός συγκεκριμένου χρονικού διαστήματος. Με αυτό τον τρόπο, επιτυγχάνεται να χρησιμοποείται στον υπολογισμό, μόνο ένα κομμάτι του σήματος σε κάθε χρονικό πλαίσιο. Η συνάρτηση παράθυρο, μπορεί απλά να είναι μία σταθερά (πχ w(t) = 1), ή κάποια από τις γνωστές συναρτήσεις παράθυρα, ώστε να μειώθούν τα μεταβατικά φαινόμενα μεταξύ διαδοχικών πλαισίων Μετασχηματισμός Κυματιδίου Ο μετασχηματισμός Fourier μικρής διάρκειας, επιλύει κάποια προβλήματα, αλλά μπορεί να προκαλέσει άλλα. Το πρώτο πρόβλημα είναι ότι πρέπει να καθοριστεί το χρονικό διάστημα το οποίο θα διαρκεί κάθε πλαίσιο. Αυτό το πλαίσιο δεν μπορεί να είναι το ίδιο για όλα τα σήματα. Το δεύτερο και κυριότερο πρόβλημα, είναι ότι η χρήση παραθύρου μπορεί να προκαλέσει διάφορα μεταβατικά φαινόμενα, μεταξύ διαδοχικών πλαισίων (πχ φαινόμενο Gibbs), με αποτέλεσμα να καταστρέφεται η ακρίβεια του μετασχηματισμού.για τους αυτούς τους λόγους ξεκινήσε μία ερευνητική προσπάθεια, ώστε να βρεθεί κάποιος καλύτερος τρόπος αναπαράστασης ή μετασχηματισμού. Το 1980 εδραιώθηκε μία νέα θεωρία, με κύριο αντιπρόσωπο ένα νέο μετασχηματισμό: τον μετασχηματισμό κυματιδίου. Η κεντρική ιδέα του μετασχηματισμού κυματιδίου (wavelet), είναι η ανάλυση του σήματος σε διαφορετικές κλίμακες ή αναλύσεις. Η τεχνική αυτή είναι γνωστή ως πολυκλιμακωτή ή πολυσυχνοτική ανάλυση (multiresolution). Τα κυματιδία, είναι μία οικογένεια συναρτήσεων, που χρησιμοποιούνται για να χαρακτηρίσουν ένα σήμα τόσο στο πεδίο του χρόνου, όσο και στο πεδίο της κλιμάκωσης. Μία οικογένεια κυματιδιών, μπορεί να κατασκευαστεί από μία συνάρτηση, η οποία ονομάζεται μήτρα (mother wavelet). Η συνάρτηση μήτρα, μπορεί να διασταλλεί ή να συσταλθεί, ώστε να αλλάξει το μήκος εφαρμογής του κυματιδίου. Με αυτό το τρόπο, τα κυματιδία που έχουν μεγάλη διάρκεια, μπορούν να δώσουν μία πρώτη προσεγγίση του σήματος. Ωστόσο όσο μικρότερης διάρκειας είναι το κυματίδιο, το σήμα θα αναπαρασταθεί με περισσότερη λεπτομέρεια. Το διαφορετικό μέγεθος κυματιδίου, επιτρέπει να διαχωριστεί η επεξεργασία των υψηλών και χαμηλών συχνοτήτων. Τα κυματίδια κατασκευάζονται από μετατοπίσεις και κλιμακώσεις της συνάρτησης μήτρας ψ(t). Το κυματίδιο ορίζεται από τη σχέση: ψ(a, b) = a 1 t b 2 ψ( ), με ψ(t)dt = 0. (1.36) b Ο μετασχηματισμός κυματιδίου ορίζεται από την σχέση: W (a, b) = f(x)w(t x)e iωx dx. (1.37) Ο μετασχηματισμός όπως είναι φανερό, περιέχει περιττή πληροφορία και ορίζεται για συνεχή σήματα. Ωστόσο αν διακριτοποιηθούν οι μεταβλητές της κλιμάκωσης (μεταβλητή α) και της μετατόπισης (μεταβλητή b), μπορεί να 20

33 1.4. Εφαρμογή Θεωρίας Σημάτων στην Εικόνα προκύψει ο διακριτός μετασχηματισμού κυματιδίων (Discrete Wavelet Transform). Η πιο συνηθισμένη περίπτωση είναι η δυαδική διακριτοποίηση, για την οποία ισχύει: ψ m,n (t) = 2 m 2 φ(2 m t n), με φ m,n (t) = 2 m 2 φ(2 m t n). (1.38) και ο μετασχηματισμός κυματιδίου εκφράζεται ως: c m,n (ω) = 2 m 2 f(t)ψ(2 m t n)dt. (1.39) Όπως και στο μετασχηματισμό Fourier, υπάρχει ταχύς υπολογισμός του διακριτου μετασχηματισμού κυματιδίου. Ο υπολογισμός του, μπορεί να επιτευχθεί με με την χρήση δύο φίλτρων. Στο Σχήμα 1.24 παρουσιάζεται ένα βήμα υπολογισμού. Σχήμα 1.24: Τράπεζα φίλτρων δυαδικού μετασχηματισμο DWT. Σχήμα 1.25: Υπολογισμός διδιάστατου DWT με την μέθοδο γραμμών-στηλών. Σχήμα 1.26: Υπολογισμός διδιάστατου DWT τριών επιπέδων. Το σήμα υποδειγματοληπτείται και φιλτράρεται με ένα χαμηλοπερατό και με ένα υψηλοπερατό φίλτρο. Με αυτό το τρόπο, τα δείγματα διαχώριζονται σε δύο σύνολα. Η ανακατασκευή μπορεί να επιτευχθεί με ακριβώς τον αντίστροφο τρόπο. Με υπερδειγματοληψία, τα δύο σύνολα δειγμάτων φιλτράρονται με τα αντίστοιχα φίλτρα και στην συνέχεια προστίθονται, ώστε να προκύψει το αρχικό σήμα. Η παραπάνω διαδικασία μπορεί να χρησιμοποιηθεί και σε διδιάστατα σήματα με την χρήση της μεθόδου γραμμών στηλών, όπως παρουσιάζεται στο Σχήμα Στο Σχήμα 1.26, παρουσιάζεται η εφαρμογή του διδιάστατου μετασχηματισμού κυματιδίου τριών επιπέδων. Ο μετασχηματισμός κυματιδίου, είναι ένας γενικότερος μετασχηματισμός από το μετασχηματισμό Fourier και παρουσιάζει τα εξη πλεονεκτήματα: 1. Το σήμα δεν κατακερματίζεται σε ίσα πλάισια-παράθυρα όπως συμβαίνει στο μετασχηματισμό Fourier μικρής διάρκειας. 2. Μπορούν να χρησιμοποιηθούν και άλλες συναρτήσεις βάσης αντί των ημιτόνων. 3. Επιτρέπει την μελέτη και επεξεργασία των σημάτων σε διαφορετικές αναλύσεις. 21

34 1.5. Πυραμίδες Εικόνας 1.5 Πυραμίδες Εικόνας Οι πυραμίδες εικόνων, είναι μία από τις πιο σημαντικές δομές δεδομένων και χρησιμοποιούνται κατά κόρον στην επεξεργασία εικόνας. Η πυραμίδα χωρίζεται σε επίπεδα, όπου το αρχικό επίπεδο (επίπεδο 0), περιέχει την αρχική εικόνα. Στο επόμενο επίπεδο, τοποθετείται μια υποδειγματοληπτημένη έκδοση της εικόνας. Αυτή η διαδικασία συνεχίζεται για κάθε επίπεδο, μέχρι την κορυφή της πυραμίδας που αντιστοιχεί σε εικόνα ενός εικονοστοιχείου. Αυτή είναι μια ολοκληρωμένη πυραμίδα, που ξεκινάει από διάσταση εικόνας Ν Ν και φτάνει μέχρι την ανάλυση 1 1. Αν η διάσταση της εικόνας είναι Ν Ν, και το Ν είναι δύναμη του 2, η εικόνα σε κάθε επίπεδο υποδειγματοληπτείται κατά παράγοντα 2. Το ενδιάμεσο επίπεδο k, έχει ανάλυση 2 j 2 j με j = log 2 N k. Αν τοποθετηθούν οι εικόνες που δημιουργούνται η μία πάνω στην άλλη, δημιουργείται μία πυραμίδα, όπως φαίνεται στο Σχήμα Σχήμα 1.27: Αναπράσταση πυραμίδας σε επίπεδα. Η πυραμίδα, σε κάθε επίπεδο, περιέχει την αρχική εικόνα σε διαφορετική ανάλυση και ποιότητα. Φυσικά, για να μην υπάρχει αναδιπλώση συχνοτήτων, η εικόνα πρώτα φιλτράρεται με ένα χαμηλοπερατό φίλτρο. Συνήθως χρησιμοποιείται gaussian φίλτρο. Για αυτό το λόγο η πυραμίδα που προκύπτει ονομάζεται gaussian πυραμίδα. Παράδειγμα gaussian πυραμίδας, παρουσιάζεται στο Σχήμα Μία πιο εξελιγμένη μέθοδο υπολογισμού του επιπέδου της πυραμίδας, είναι αυτή που απεικονίζεται στο Σχήμα Σχήμα 1.28: Διάγραμμα υπολογισμού κάθε επιπέδου της πυραμίδας. 22

35 1.6. Συμπίεση Εικόνων Αρχικά η εικόνα υποδειγματοληπτείται, αφού έχει φιλτραριστεί με το φίλτρο εκτίμησης, που είναι το ίδιο φίλτρο που χρησιμοποιείται στην gaussian πυραμίδα. Στην συνέχεια, η εικόνα που προέκυψε υπερδειγματοληπτείται, χρησιμοποιώντας το φίλτρο παρεμβολής (φίλτρα παρεμβολής παρουσιάζονται στην Παράγραφο 2.2. Στην συνέχεια αφαιρείται η υπερδειγματοληπτημένη εικόνα με την εικόνα που ανήκει στο προηγούμενο επίπεδο. Με αυτό το τρόπο διατηρείται η διαφορά που έχει η υποδειγματοληπτημένη εικόνα από την αρχική, ώστε να είναι εφικτή η ανακατασκευή της από επόμενα επίπεδα. Η πυραμίδα αυτή είναι γνωστή ως laplacian πυραμίδα [11] και επιτρέπει την πολυσυχνοτική επεξεργασία της εικόνας. Είναι μία απλή παραλλαγή του μετασχηματισμού των κυματιδίων και είναι χρήσιμη σε πολλές εφαρμογές [36]. Παράδειγμα εφαρμογής της laplacian πυραμίδας παρουσιάζεται στο Σχήμα Σχήμα 1.29: Αναπαράσταση gaussian πυραμίδας. Σχήμα 1.30: Αναπαράσταση laplacian πυραμίδας. 1.6 Συμπίεση Εικόνων Γενικά Η εικόνα ως διδιάστατο σήμα περιέχει μέγαλο όγκο δεδομένων. Στον Πίνακα 1.1, παρουσιάζονται ενδεικτικά παραδείγματα μεγέθους σε bits και bytes εικόνων, δημοφιλών αναλύσεων. Αν και τα σύγχρονα συστήματα καταγραφής, διαθέτουν μεγάλο αποθηκευτικό χώρο, υπάρχει ακόμα η ανάγκη μείωσης της πληροφορίας που αποθηκεύεται, ώστε να μπορούν να αποθηκευτούν περισσότερες εικόνες. Επιπλέον η αποστολή εικόνων μέσω οποιοδήποτε δικτύου (πχ. τηλεπικοινωνιακό, διαδίκτυο), είναι πολλές φορές απαγορευτική για εικόνες. Για να είναι η μεταφορά γρήγορη και να μην προκαλείται συμφόρηση στο δίκτυο, πρέπει να μεταφερθούν λιγότερα δεδομένα, χωρίς όμως να προκαλείται ιδιαίτερη αλλοίωση στην εικόνα που τελικά θα παραληφθεί. Για αυτό το λόγο χρησιμοποιούνται τεχνικές συμπίεσης, ώστε να μειωθούν τα δεδομένα που αποθηκεύονται ή αποστέλλονται. Η διαδικασία συμπίεσης, λαμβάνει σαν είσοδο τα δεδομένα Χ και παράγει μία αναπαράσταση Υ, η οποία απαιτεί ίσα ή λιγότερα δυαδικά ψηφία από την αναπαράσταση Χ. Υπάρχει και η αντίστροφη διαδικασία, κατά την οποία, από την συμπιεσμένη αναπαράσταση Υ, αναπαράγεται η αρχική αναπαράσταση Χ'. Η διαδικασία αυτή είναι γνωστή ως ανακατασκευή. 23

36 1.6. Συμπίεση Εικόνων Ανάλυση εικόνας Mέγεθος μονοχρωματικής Mέγεθος έγχρωμης 320x bits (7,8125 kbytes) bits (23,4375 kbytes) 640x bits ( 300 kbytes) bits (900 kbytes) 1024x (768 kbytes) bits (2304 kbytes) 1920x bits (2025 kbytes) (6075 kbytes) Πίνακας 1.1: Μεγέθη Ασυμπίεστων Εικόνων. Η αναπαράσταση X' δεν ταυτίζεται απαραίτητα με την αναπαράσταση Χ. Για αυτό το λόγο οι τεχνικές συμπίεσης, διαχωρίζονται σε δύο κύριες κατηγορίες. Η πρώτη κατηγορία περιέχει μεθόδους συμπίεσης που δεν οδηγούν σε απώλεια πληροφορίας και επομένως επιτυγχάνεται η απολύτη ανακατασκευή (Χ'=Χ). Στην δεύτερη κατηγορία, η διαδικασία της ανακατασκευής δεν επιτυγχάνει την αρχική αναπαράσταση Χ και αυτό έχει ως αποτέλεσμα την οριστική απώλεια πληροφορίας. Όταν όμως επιτρέπεται η απώλεια πληροφορίας, το ποσοστό συμπίεσης δεδομένων μπορεί να είναι πολύ υψηλό. Αν και ο σημαντικότερος στόχος ενός αλγορίθμου συμπίεσης, είναι να ελαχιστοποιήσει τα δυαδικά ψηφία της αναπαράστασης των αρχικών δεδομένων Χ, υπάρχουν περιπτώσεις όπου όλα τα δυαδικά ψηφία είναι σημαντικά. Αυτό συνήθως ισχύει για πολλές κατηγορίες αρχείων ηλεκτρονικών υπολογιστών, όπως είναι ένα αρχείο κειμένου ή ένα εκτελέσιμο αρχείο. Σε αυτές τις περιπτώσεις, χρησιμοποιούνται αλγόριθμοι, που απλά μετασχηματίζουν την πληροφορία σε άλλη μορφή, που μπορεί να κωδικοποιηθεί με λιγότερα δυαδικά ψηφία. Σε αυτήν την κατηγορία, ανήκουν οι γνωστές μέθοδοι κωδικοποίησης Huffman, αλλά και η αριθμητική κωδικοποίηση. Ωστόσο υπάρχουν περιπτώσεις, στις οποίες, ο σημαντικότερος στόχος της διαδικασίας συμπιέσης, είναι να μπορεί να ανακατασκευαστεί γρήγορα το αρχικό σήμα. Ένα παράδειγμα είναι τα συμπιεσμένα βίντεο, στα οποία κάθε πλαίσιο (frame) του βίντεο πρέπει να ανακατασκευαστεί σε λιγότερο από 40msec (ώστε να φαίνεται ομαλή κίνηση του βίντεο). Σε τέτοιες περιπτώσεις, ο αλγόριθμος για να επιτύχει υψηλά ποσοστά συμπίεσης, απαιτεί πολλές ώρες για την διαδικασία της συμπίεσης (πχ MPEG-4), αλλά επιτυγχάνει γρήγορη ανακατασκευή. Οι αλγόριθμοι στους οποίους η συμπίεση ή η ανακατασκευή λαμβάνει πολύ περισσότερο χρόνο από την αντίστροφη διαδικασία, ονομάζονται αντισυμμετρικοί. Κατά αναλογία ορίζονται και οι συμμετρικοί αλγόριθμοι, δηλαδή ο χρόνος συμπίεσης και ανακατασκευής απαιτεί το ίδιο (ή περίπου ίσο) χρόνο εκτέλεσης Συμπίεση JPEG Αν και το θέμα της συμπίεσης εικόνας είναι εκτενές και δεν αποτελεί αντικείμενο μελέτης της εργασίας αυτής, θα περιγραφεί συνοπτικά η πιο διαδεδομένη τεχνικής συμπίεσης εικόνων. Αυτό κρίνεται απαραίτητο, γιατί τα περισσότερα συστήματα καταγραφής χρησιμοποιούν την τεχνική αυτή, η οποία έχει ως αποτέλεσμα όχι μόνο την απώλεια πληροφόριας, αλλά και την αντικειμενική υποβάθμιση της ποιότητας της εικόνας. Για να είναι επιτυχημένη η σύνθεση εικόνας υψηλής ανάλυσης, πρέπει η μέθοδος που χρησιμοποιείται να λάβει υπόψην της την υποβάθμιση, ώστε να επιτύχει καλύτερη ποιότητα στην τελική εικόνα. Η πιο διαδεομένη μέθοδος συμπίεσης για σήματα εικόνων, είναι ο αλγόριθμος που χρησιμοποιήθηκε ως πρότυπο από το Joint Photographic Expert Group (JPEG). Η τεχνική που χρησιμοποιείται είναι μία γνωστή τεχνική, που χρησιμοποιείται σε πολλές άλλες εφαρμογές και αποτελείται από τρία βήματα: 1. Η εικόνα χωρίζεται σε μπλοκ και σε κάθε μπλοκ εφαρμόζεται ένα μαθηματικός μετασχηματισμός. 2. Οι συντελεστές του μετασχηματισμού κβαντίζονται, ώστε να μειωθεί ο αποθηκευτικός χώρος που απαιτούν. Ο κβαντισμός είναι μία μη γραμμική αναστρέψιμη διαδικασία, με αποτέλεσμα να προκαλεί απώλεια πληροφορίας. 3. Οι συντελεστές στην συνέχεια κωδικοποιούνται, ώστε να επιτευχθεί το ελάχιστο δυνατό πλήθος δυαδικών ψηφίων που απαιτούνται για την αποθήκευση των συντελεστών. Συνήθως χρησιμοποείται μη απωλεστική κωδικοποίηση, όπως είναι η αριθμητική κωδικοποίηση. Αυτά είναι τα γενικά βήματα πολλών μεθόδων απωλεστικής συμπίεσης. Στο JPEG συγκεκριμένα, χρησιμοποιούνται μπλοκ εικόνας διαστάσεων 8 8. Το κάθε μπλοκ μετασχηματίζεται στο χώρο των συχνοτήτων, χρησιμοποιώντας το διδιάστατο διακριτό μετασχηματισμό συνημιτόνου (DCT). O DCT μπορεί να αποσυσχετίσει τα εικονοστοιχεία αφού τα συνημίτονα βάσης είναι ορθογώνια. Επιπλέον το μεγαλύτερο μέρος της ενέργειας της εικόνας 24

37 1.7. Ανακεφαλαίωση περιλαμβάνεται σε λίγους συντελεστές του μετασχηματισμού. Έτσι διατηρώντας μόνο λίγους συντελεστές, επιτυγχάνεται η ανακατασκευή της εικόνας με ικανοποιητικό επίπεδο ποιότητας. Επιπλέον οι συντελεστές του DCT, μπορούν να κβαντιστούν με τέτοιο τρόπο ώστε να ληφθούν υπόψην, τα χαρακτηριστικά λειτουργίας της όρασης, ώστε να διακρίνονται λιγότερο οι ατέλειες της ανακατασκευής που οφείλονται στο κβαντισμό. Ωστόσο η χρήση μπλοκ δημιουργεί αισθητές ατέλειες στην ανακατασκευή της εικόνας, όταν χρησιμοποιούνται στην συμπίεση ελάχιστοι συντελεστές του μετασχηματισμού. Οι ατέλειες αυτές (blocking artifacts) είναι εμφανείς στο Σχήμα Σχήμα 1.31: Η αρχική εικόνα ( bytes), συμπιεσμένη εικόνα με μέτρια ποιότητα (10007 bytes), συμπιεσμένη εικόνα με χαμηλή ποιότητα (3382 bytes). 1.7 Ανακεφαλαίωση Σε αυτό το κεφάλαιο έγινε μία σύντομη παρουσίαση (από μηδένικό επίπεδο), όλων των βασικών εννοιών που απαιτούνται, ώστε να μπορεί να είναι κατανοητά στον αναγνώστη τα θέματα που διαπραγματεύονται τα επόμενα κεφάλαια. Μπορεί η παρουσίαση να ήταν ιδιαίτερα συνοπτική, αλλά ταυτόχρονα αρκετά επεξεγηματική, ώστε να δίνεται η δυνατότητα στον αναγνώστη να υλοποιήσει βασικές τεχνικές επεξεργασίας εικόνας και να πειραματιστεί. Από το επόμενο κεφάλαιο αρχίζει η περιήγηση στο πρόβλημα της ανακατασκεύης εικόνας υψηλής ανάλυσης, που είναι και το θέμα της εργασίας αυτής. 25

38 Κεφάλαιο 2 Σύνθεση Εικόνας Υψηλής Ανάλυσης από μία Εικόνα Μία από τις πρώτες εφαρμογές της επεξεργασίας εικόνας, είναι η αύξηση της χωρικής ανάλυσής της (μεγέθυνση εικόνας). Όταν είναι διαθέσιμη μόνο μία εικόνα της φυσικής σκηνής, τότε ο μόνος τρόπος να αυξηθεί η χωρική ανάλυση είναι η υπερδειγματοληψία της εικόνας. Στις νέες θέσεις εικονοστοιχείων που δημιουργούνται, οι τιμές των εικονοστοιχείων προκύπτουν, είτε με στατιστική ανάλυση των γειτονικών εικονοστοιχείων, είτε με χρήση πολυωνυμικής παρεμβολής, είτε με εφαρμογή της πολυρρυθμικής επεξεργασίας σημάτων. Ανεξάρτητα από τον τρόπο που προκύπτουν οι τιμές των εικονοστοιχείων, η διαδικασία αυτή είναι γνωστή ως παρεμβολή. 2.1 Το Πρόβλημα Παρεμβολής Το πρόβλημα της παρεμβολής εμφανίζεται σε μία πληθώρα εφαρμογών. Η παρεμβολή έχει μελετηθεί εκτενώς και εκτός του πεδίου της Επεξεργασίας Εικόνας. Η μέγαλη πρόκληση στη λύση του προβλήματος παρεμβολής μίας εικόνας, είναι να επιτευχθεί ικανοποιητική οπτική ποιότητα, στον ελάχιστο δυνατό χρόνο. Για αυτό το λόγο, οι πιο δημοφιλείς μέθοδοι είναι σχετικά απλές. Επιπλέον πρέπει να σημειωθεί ότι για παρεμβολή έγχρωμων εικόνων, η παρεμβολή εφαρμόζεται ανεξάρτητα στα χρωματικά κανάλια. Για αυτό το λόγο, είναι προτιμότερο η έγχρωμη εικόνα να μετατραπεί από το μοντέλο RGB σε άλλους είδους χρωματικό μοντέλο, όπως αναφέρθηκε στην Παράγραφο 1.3, ώστε η παρεμβολή να μην δημιουργήσει φαινόμενα "ψευδοχρωματισμού" Παρεμβολή Κοντινότερου Γείτονα Η παρεμβολή κοντινότερου γείτονα είναι πιθανώς η πιο πολυχρησιμοποιημένη μέθοδος. Σύμφωνα με την μέθοδο αυτή, η οποία παρουσιάζεται στο Σχήμα 2.1, στο νέο εικονοστοιχείο εκχωρείται η τιμή του εγγύτερου γείτονά του. Αν και η εικόνα που προκύπτει δεν είναι η βέλτιστη, η μέθοδος έχει υπερβολικά μικρή πολυπλοκότητα και είναι πολύ δημοφιλής σε απλές εφαρμογές. Επιπλέον μπορεί να χρησιμοποιηθεί σαν μία αρχική εκτίμηση σε επαναληπτικούς αλγορίθμους. Τα μειονεκτήματα της μεθόδου, είναι ότι η εικόνα που προκύπτει παρουσιάζει αναδίπλωση συχνοτήτων και ορατές ατέλειες (blocking artifacts). Σχήμα 2.1: Παρεμβολή κοντινότερου γείτονα. Η παρεμβολή κοντινότερου γείτονα μπορεί να μοντελοποιηθεί ως μία τετραγωνική παραθυρική συνάρτηση μήκους ενός εικονοστοιχείου. Αν x η τεταγμένη του νέου σημείου, η συνάρτηση που εκτιμά την νέα τεταγμένη 26

39 2.1. Το Πρόβλημα Παρεμβολής δίνεται από την σχέση: f(x) = { 1, αν 0.5 x 0.5 0, αλλού Διγραμμική Παρεμβολή Στην διγραμμική παρεμβολή, χρησιμοποιούνται, όπως και στην παρεμβολή κοντινότερου γείτονα οι τέσσερις κοντινότεροι γείτονες. Μόνο που σε αυτήν την περίπτωση, υπολογίζόνται οι προβολές του νέου σημείου στο τετράγωνο που δημιουργούν οι κοντινότεροι γείτονες, όπως παρουσιάζεται στο Σχήμα 2.2. Τα σημεία προβολής Μ1,Μ2,Μ3,Μ4 περιέχουν ένα ποσοστό λ από την τιμή του ενός άκρου και ποσοστό 1-λ από την τιμή του άλλου άκρου του ευθύγραμμου τμήματος, στο οποίο ανήκουν. Το νέο σημείο παρεμβολής, που ορίζεται στην τομή των ευθύγραμμων τμημάτων (Μ1Μ2) και (Μ3Μ4), με την ίδια διαδικασία θα λάβει ένα ποσοστό από το ευθύγραμμο τμημά (Μ1Μ2) και ένα ποσοστό (Μ3Μ4). Σχήμα 2.2: Διγραμμική παρεμβολή. Η τεταγμένη του σημείου στην διγραμμική παρεμβολή δίνεται από την σχέση: { 1 x, αν 0.5 x 0.5 f(x) = 0, αλλού Δικυβική Παρεμβολή Η δικυβική παρεμβολή είναι μία επέκταση της διγραμμικής παρεμβολής. Αφού υπολογιστούν οι ευθείες της προβολής όπως στην διγραμμική παρεμβολή, στην συνέχεια παρεμβάλλεται στα ευθύγραμμα τμημάτα (Μ1Μ2) και (Μ3Μ4) ένα πολυώνυμο τρίτου βαθμού, όπως παρουσιάζεται στο Σχήμα 2.3. Η τιμή του σημείου προκύπτει από την τιμή των πολυωνύμων που τέμνονται στο συγκεκριμένο σημείο. Σχήμα 2.3: Δικυβική παρεμβολή. Για να επιτευχθεί η διαδικασία αυτή, απαιτούνται δεκαέξι σημεία από την αρχική εικόνα. Τα αποτελέσματα που προκύπτουν είναι πολύ ικανοποιητικά. Αν και έχουν προταθεί μέθοδοι υψηλής ακρίβειας για παρεμβολή, η υψηλή πολυπλοκότητα τους δεν επιτρέπει την χρήση τους, ιδιαίτερα σε εφαρμογές πραγματικού χρόνου. Επιπλέον τα αποτελέσματα της δικυβικής παρεμβολής, τις περισσότερες φορές είναι παρόμοια με τα αποτελέσματα πολύπλοκων μεθόδων. Για αυτό το λόγο, η δικυβική παρεμβολή συνήθως χρησιμοποιείται, όταν απαιτείται μία ικανοποιητική ποιότητα στην εικόνα που προκύπτει. Υπάρχουν πολλά πολυώνυμα τρίτου βαθμού. Ωστόσο μετά από μελέτες στο θέμα της δικυβικής παρεμβολής, προτιμούνται τα πολύωνυμα, που προκύπτουν από την ακόλουθη σχέση: (a + 2) x 3 (a + 3) x 2 + 1, αν x 1 f(x) = a x 3 5a x 2 + 8a x 4a, αν 1 x 2 0, αλλού. Η παράμετρος α, είναι μία σταθερά και συνήθως επιλέγεται να έχει τιμή Έτσι το πολύωνυμο που προκύπτει, είναι συμμετρικό και επιπλέον δεν παρουσιάζει αρνητικές τιμές. Η παρεμβολή μπορεί να προσφέρει ικανοποιητικά αποτελέσματα, τα οποία παρουσιάζονται στο Σχήμα 2.6, αλλά αν υπάρχει θόρυβος τότε συνήθως τον ενισχύει, όπως είναι εμφανές στο Σχήμα

40 2.2. Πολυρυθμική Επεξεργασία και Παρεμβολή με Συνέλιξη Σχήμα 2.4: Εικόνα με θόρυβο και η δικυβική παρεμβολή της. 2.2 Πολυρυθμική Επεξεργασία και Παρεμβολή με Συνέλιξη Οι περισσότερες μέθοδοι παρεμβολής, μπορούν να υλοποιηθούν με την χρήση της συνέλιξης. Αυτό μπορεί να μην είναι πάντα το πιο αποδοτικό σε υπολογιστική πολυπλοκότητα, ωστόσο η υλοποίηση είναι πιο εύκολη και κατανοητή. Επιπλέον μπορούν να χρησιμοποιηθούν γνωστές τεχνικές της επεξεργασίας σημάτων, ώστε να υπολογιστούν τα κατάλληλα φίλτρα. Ένα επιπλέον πλεονέκτημα της συνέλιξης είναι, ότι σε πολλά συστήματα είναι βέλτιστα υλοποιημένη και δεν προκαλείται μέγαλη επιβάρυνση στους υπολογισμούς. Επομένως, με την χρήση της συνέλιξης το μόνο που απαιτείται είναι να υπολογιστούν οι συντελεστές και το μήκος του φίλτρου που θα χρησιμοποιηθεί. Η διαδικασία παρεμβολής με την χρήση της συνέλιξης, μπορεί να περιγραφεί ως ακολούθως. Έστω f ο παράγοντας μεγέθυνσης. Αν f =1, τότε η εικόνα παραμένει στο αρχικό της μέγεθος. Ο παράγοντας f =2 τετραπλασιάζει το μέγεθος της εικόνας, ο παράγοντας f =3 εννιαπλασιάζει κ.ο.κ. Η εικόνα υπερδειγματοληπτείται κατά παραγοντα f, παρεμβάλλοντας μηδενικά σε στήλες και γραμμές. Στην συνέχεια ανάλογα με τον παράγοντα f, εκτιμάται το μήκος του φίλτρου και στην συνέχεια οι συντελεστές του. Η διαδικασία ολοκληρωνέται με μία απλή συνέλιξη της υπερδειγματοληπτημένης εικόνας με το φίλτρο που έχει κατασκευαστεί. Πρέπει να σημειωθεί ότι για να μην είναι χρονοβόρα η πράξη της συνέλιξης, χρησιμοποιούνται φίλτρα με ακέραιους συντελεστές (ή δυνάμεων του 2 ώστε να χρησιμοποιούνται γρήγοροι πολλαπλασιασμοί με απλές ολισθήσεις) και διαχωρίσιμα φίλτρα. Τα διαχωρίσιμα φίλτρα ικανοποιούν την σχέση: h(x, y) = h(x)h(y), (2.1) ή την ισοδύναμη ισότητα: όπου u το μονοδιάστατο φίλτρο γραμμής: Η = uu Τ, (2.2) u = [h 1 h m ] Τ. (2.3) Η συνέλιξη διαχωρίσιμων φίλτρων μπορεί να γίνει με την χρήση της μεθόδου αποσύνθεσης γραμμών στηλών (χρήση μονοδιάστατης συνέλιξης), ώστε να είναι ακόμα πιο ταχύς ο υπολογισμός [36] Φίλτρο Κοντινότερου Γείτονα Το φίλτρο παρεμβολής κοντινότερου γείτονα, μπορεί να υλοποιηθεί με την χρήση απλών φίλτρων ώστε ο υπολογισμός να είναι ταχύτατος. Για παράγοντα αύξησης f = 2, το φίλτρο ορίζεται ως: [ ] 1 1 H =, (2.4) 1 1 ενώ για παράγοντα f = 3: H = (2.5) Το φίλτρο έχει διάστασεις f f, και οι συντελεστές είναι όλοι μονάδα. 28

41 2.2. Πολυρυθμική Επεξεργασία και Παρεμβολή με Συνέλιξη Φίλτρο διγραμμικής παρεμβολής Το φίλτρο διγραμμικής παρεμβολής για παράγοντες f =2,3 είναι: H = Για τους επόμενος δύο παράγοντες το φίλτρο έχει διαστάσεις 5 5 και δίνεται από: H = (2.6) (2.7) Αν και είναι πιο πολύπλοκος ο υπολογισμός από το αντίστοιχο φίλτρο παρεμβολής κοντινότερου γείτονα, ο αναγνώστης μπορεί εύκολα να κατανοήσει το μοτίβο κατασκευής των διγραμμικών φίλτρων παρεμβολής για μεγαλύτερους παράγοντες μεγέθυνσης Gaussian Φίλτρο Ένα επιπλέον πλεονέκτημα της παρεμβολής με την χρήση της συνέλιξης, είναι ότι πολύ εύκολα μπορούν να χρησιμοποιηθούν διάφορα φίλτρα, τα οποία μπορούν να ανταποκριθούν καλύτερα από κλασσικές συναρτήσεις (όπως πολυώνυμα). Τα gaussian φίλτρα είναι πολύ γνωστά για την χρήση τους σε πολλές εφαρμογές της επεξεργασίας εικόνας. Η κρουστική απόκριση των gaussian φίλτρων δίνεται από την ακόλουθη σχέση: 1 h(x, y) = e ( x 2πσ x σ y 2 2σ 2 x + y2 2σ 2 ) y. (2.8) Παράδειγμα gaussian φίλτρου, το οποίο μπορεί να χρησιμοποιηθεί με ακέραια αριθμητική, ενώ ταυτόχρονα είναι και διαχωρίσιμο είναι το: Η = = [ ], με u = [ ] T Στο Σχήμα 2.5, παρουσιάζονται δύο παραδείγματα απόκρισης συχνοτήτων gaussian φίλτρων, τα οποία έχουν μεγαλύτερη και μικρότερη διασπορα αντίστοιχα. Σχήμα 2.5: Απόκριση συχνοτήτων gaussian φίλτρων με διαφορετική διασπορά. Αν και η χρήση gaussian φίλτρων μπορεί να δημιουργήσει ποιοτικά αποτελέσματα, πρέπει να επιλεγεί και η κατάλληλη κρουστική απόκριση, με την κατάλληλη διασπορά. Στην [2] παρουσιάζεται μία εκτενής μελέτη των gaussian φίλτρων. Συγκεκριμένα επιδιώχθηκαν οι εξής τρεις στόχοι: 1. Περιορισμένης έκτασης κρουστική απόκριση (λίγοι συντελεστές). 29

42 2.3. Αποκατάσταση Εικόνας 2. Περιορισμένης έκτασης φάσμα στο πεδίο των συχνοτήτων (ζωνοδιαβατά φίλτρα, μικρής ζώνης). 3. Εύκολη μαθηματική ανάλυση. Η χρήση gaussian φίλτρων για την επίτευξη των παραπάνω στόχων, είναι μία από τις καλύτερες επιλογές. Ο λόγος που καθιστά την μαθηματική ανάλυση των gaussian φίλτρων εύκολη είναι, ότι ο μετασχηματισμός Fourier μία gaussian συνάρτησης, είναι επίσης gaussian. Για να υπολογιστούν οι κατάλληλες παράμετροι, ορίζεται μία οικογένεια συναρτήσεων Gauss με μηδενική μέση τιμή και διασπορά b, ως εξής: G 0 (x, b) = 1 e x2 2b. (2.9) 2πb Υπολογίζονται οι παράγωγοι τάξης Μ (Μ=1,...Ν): G Μ (x, b) = M x M G0 (x, b). (2.10) Tα τελικά φίλτρα υπολογίζονται από την ακόλουθη σχέση: { h Μ n/2, αν M m=0 N (x) = Gm (x, b m ) 0 x N/2 0, αλλού. Οι συντελεστές b m μπορούν να υπολογιστούν χρησιμοποιώντας τους περιορισμούς που αναφέρονται στην [2]. Ενδεικτικά παραδείγματα gaussian φίλτρων που παράγονται από την παραπάνω σχέση είναι: h 2 N (x) = G 0 (x, 2γ 2 ) γ 2 G 2 (x, γ 2 ), (2.11) h 6 N(x) = G 0 (x, 2γ 6 ) γ 6 G 2 (x, γ 6 ) γ G6 (x, γ 6 ), (2.12) h 10 N (x) = G 0 (x, 2γ 10 ) γ 10 G 2 (x, γ 10 ) γ G6 (x, γ 10 ) γ G10 (x, γ 10 ). (2.13) και οι συντελεστές γ 2, γ 6, γ 10, ορίζονται ως ακολούθως: γ 2 = 1 ( ) , (2.14) 2π γ 6 = 1 ( ) , 2π 24 (2.15) γ 6 = 1 ( π ) (2.16) Τα αποτελέσματα των μεθόδων παρεμβολής, παρουσιάζονται στο Σχήμα 2.6. Η αρχική εικόνα υπέστη υποδειγματοληψία κατά παράγοντα 4 (χρησιμοποιήθηκε αντιαναδιπλωτικό φίλτρο, ώστε να αποφευχθεί η αναδίπλωση συχνοτήτων) και προκύπτει εικόνα διαστάσεων (αρχική ). Στην συνέχεια η υποδειγματοληπτημένη εικόνα υπερδειγματοληπτήθηκε με τον ίδιο παράγοντα και εφαρμόστηκαν και οι τέσσερις μέθοδοι παρεμβολής που παρουσιάστηκαν. Είναι φανερό, ότι η παρεμβολή κοντινότερου γείτονα, παραμόρφωσε σε υψηλό βαθμό της εικόνα ενώ αρκετά ικανοποιητικό αποτελέσμα παράγει η διγραμμική παρεμβολή. Η παρεμβολή με gaussian φίλτρο, προσφέρει καλύτερο ποιοτικό αποτέλεσμα, αν και έχει δημιουργήσει μια ελαφριά θόλωση. Η δικυβική παρεμβολή επιτυγχάνει ικανοποιητική ποιότητα, χωρίς θόλωση. 2.3 Αποκατάσταση Εικόνας Η διαδικασία της παρεμβολής, μπορεί να επιτυγχάνει την αύξηση της χωρικής ανάλυσης της εικόνας, αλλά δεν επιτυγχάνει και σύνθεση εικόνα υψηλής ευκρίνειας (Κεφάλαιο 5). Αν και μπορούν να χρησιμοποιηθούν καλύτερες και πιο πολύπλοκες μέθοδοι παρεμβολής, η ποιότητα δεν θα βελτιωθεί αρκετά. Αυτό είναι λογικό αφού η παρεμβολή δεν έχει πραγματικά επιπλέον στοιχεία, αλλά κάνει μία εκτίμηση χρησιμοποιώντας γειτονικά σημεία. Επιπλέον η παρεμβολή μπορεί να δημιουργήσει διάφορες ατέλειες και παραμορφώσεις. Για αυτό το λόγο 30

43 2.3. Αποκατάσταση Εικόνας Σχήμα 2.6: Αποτελέσματα παρεμβολής κοντινότερου γείτονα, διγραμμικής παρεμβολής, δικυβικής παρεμβολής και παρεμβολής με gaussian φίλτρο διασποράς σ=0.5. μία πρώτη προσέγγιση στην σύνθεση εικόνας υψηλής ευκρίνειας, αποτελούν οι μεθόδοι αποκατάστασης εικόνας [47],[46]. Οι ατέλειες που προκύπτουν από την παρεμβολή, μπορούν να μοντελοποιηθούν ως μία οπτική παραμόρφωση που παρουσιάζει κρουστική απόκριση h, στην οποία προστίθεται θόρυβος n, κανονικής κατανομής. Η εικόνα g που προκύπτει δίνεται από την ακόλουθη σχέση: ή ισοδύναμα με χρήση του μητρώου Η, η παραπάνω σχέση γράφεται : Στο πεδίο συχνοτήτων η Σχέση (2.18) γράφεται ως: g = h f + n, (2.17) g = Hf + n. (2.18) G(k, l) = F (k, l)h(k, l) + N(k, l) (2.19) και το ζητούμενο είναι η εύρεση της εικόνας f. Η λύση του προβλήματος αυτού προϋποθέτει την αναίρεση του προσθετικού θορύβου και την αντιστροφή του μητρώου συνέλιξης. Επομένως το πρόβλημα είναι αντίστροφης 31

44 2.3. Αποκατάσταση Εικόνας φύσης. Αν και το πρόβλημα φαίνεται απλό στην επίλυση του, στην πραγματικότητα το πρόβλημα δεν είναι καλώς ορισμένο (ill posed problem). Αυτό συμβαίνει γιατί η αντιστρεψιμότητα του μητρώου συνέλιξης δεν είναι πάντα εφικτή. Το δεύτερο και πιο σημαντικό εμπόδιο είναι ότι η κρουστική απόκριση h, είναι άγνωστη και τα δεδομένα δεν είναι επαρκή ώστε να υπολογιστεί μοναδική λύση Αντίστροφο Φίλτρο Το βασικό μέλημα στην αποκατάσταση εικόνας, είναι η απομάκρυνση του θορύβου και η αναίρεση της PSF. Η πιο απλή λύση στην αποκατάσταση εικόνας, είναι η χρήση του αντίστροφου φίλτρου. Αν η ισχύς του θορύβου είναι μικρή, τότε Ν(k,l) 0, η Σχέση (2.19) απλοποιείται. Επομένως αν είναι γνωστή η απόκριση συχνοτήτων H(k, l) είναι εφικτή η εύρεση της εικόνας της f, από την ακόλουθη σχέση: ( ) f = G(k, l) IDF T, (2.20) H(k, l) ενώ το πηλίκο: H inv (k, l) = 1 H(k, l) = H (k, l) H(k, l) 2, (2.21) όπου H o συζήγης της H, που εκφράζει το διδιάστατο διακριτό μετασχηματισμό Fourier της PSF. Η χρήση του αντίστροφου φίλτρου είναι απλή και γρήγορη. Το αποτέλεσμα εφαρμογής του αντίστροφου φίλτρου, όταν εφαρμοστεί στην εικόνα "Lenna", παρουσιάζεται στο Σχήμα 2.8. Η απόκριση συχνοτήτων της PSF που χρησιμοποιήθηκε στο παραπάνω παράδειγμα, απεικονίζεται στο Σχήμα 2.7. Η ιδέα της εφαρμογής του αντίστροφου φίλτρου, έχει δύο βασικά μειονεκτήματα: 1. Πρέπει να είναι γνωστή η κρουστική απόκριση του φίλτρου. 2. Δεν μπορεί να εφαρμοστεί παρουσία θορύβου, όπως είναι φανερό στο Σχήμα 2.9. Το μεγάλο πρόβλημα του αντίστροφου φίλτρου, είναι ότι με την παρουσία του θορύβου η απόκριση συχνοτήτων H(k, l) επηρεάζεται και περιέχει πολύ μικρές τιμές. Αυτό το πρόβλημα, αντιμετωπίζεται με την χρήση κατωφλίου. Όσες τιμές είναι απόλυτα μικρότερες από το κατώφλι αντικαθιστούνται με μία σταθερα. Η χρήση κατωφλίου παρουσιάζει μία βελτίωση στο αποτέλεσμα όπως είναι εμφανές στο Σχήμα 2.10, αλλά εμφανίζει δύο αδυναμίες: 1. Είναι δύσκολο να υπολογιστεί η τιμή του ιδανικού κατωφλίου. 2. Δεν μπορεί να αφαιρέσει το θόρυβο. Σχήμα 2.7: Απόκριση συχνοτήτων gaussian φίλτρου. 32

45 2.3. Αποκατάσταση Εικόνας Σχήμα 2.8: Παραμορφωμένη εικόνα και εικόνα που προκύπτει με την χρήση αντίστροφου φίλτρου. Σχήμα 2.9: Εικόνα που περιέχει θόρυβο, χρήση αντίστροφου φίλτρου και εφαρμογή φίλτρου Wiener. Σχήμα 2.10: Αποτελέσματα χρήσης αντίστροφου φίλτρου με διαφορετικά κατώφλια. 33

46 2.3. Αποκατάσταση Εικόνας Φίλτρο Wiener Το φίλτρο Wiener, είναι ένα από τα πιο γνωστά και διαδεδομένα φίλτρα στην επεξεργασία σημάτων. Το κύριο πλεονέκτημά του είναι ότι είναι βέλτιστο. Ελαχιστοποιεί το μέσο τετραγωνικό σφάλμα μεταξύ της εικόνας εισόδου και της γραμμικής εκτίμησής της, δηλαδή: e 2 = E{(g ˆf) 2 }, (2.22) όπου Ε, ο τελεστής αναμενόμενης τιμής (expecation operator). Αναζητώντας το ελάχιστο της συνάρτησης σφάλματος (η μερική παράγωγος ίση με μηδέν) και επιλύοντας το πρόβλημα στο πεδίο της συχνότητας προκύπτει η εκτίμηση: 1 ˆF (k, l) = G(k, l) H(k, l) H(k, l) 2 H(k, l) 2 + P n(k,l) P f (k,l). (2.23) Στην παραπάνω σχέση εμφανίζονται δύο νέες ακολουθίες. Οι ακολουθίες αυτές είναι η ακολουθία ισχύος του θορύβου P n (k, l) και η ακολουθία ισχύος της εικόνας P f (k, l), αντίστοιχα. Επομένως: P n (k, l) = N(k, l) 2, (2.24) P f (k, l) = F (k, l) 2. (2.25) Από την Σχέση (2.23), είναι εμφανές ότι αν P n (k, l) = 0 προκύπτει η περίπτωση, η οποία εξετάσθηκε στην προηγούμενη παράγραφο. Δυστυχώς η ισχύς του θορύβου δεν είναι πάντα γνωστή. Για αυτό το λόγο, απαιτείται η εκτίμηση της τιμής της. Στην πραγματικότητα δεν απαιτείται η ακριβής γνώση των ακολουθιών P n (k, l), P f (k, l), αλλά ο λόγος τους. Επομένως μπορούν να χρησιμοποιηθούν οι μέσες τιμές των ακολουθιών αυτών. Επειδή όμως η ισχύς του θορύβου είναι άγνωστη πρέπει να υπολογιστεί. Όπως έχει ήδη αναφερθεί στην Παράγραφο 1.4.5, το μεγαλύτερο μέρος της ενέργειας της εικόνας βρίσκεται στις χαμηλές συχνότητες. Αντίθετα, ο θόρυβος παρουσιάζει την ίδια ισχύ σε όλο το εύρος των συχνοτήτων. Ε- πομένως μία καλή εκτίμηση της μέσης τιμής της ισχύος, είναι ο υπολογισμός της μέσης τιμής της ισχύος σε μία υποπεριοχή του διδιάστατου μετασχηματισμού Fourier της εικόνας, στην οποία υπάρχουν μόνο υψηλές συχνότητες. Επομένως οι ακολουθίες P n (k, l), P f (k, l) μπορούν να προσσεγιστούν με τις ακόλουθες σχέσεις: 1 P n (k, l) P navg = N high M high P f (k, l) P favg = 1 NM N high 1 k=0 N 1 k=0 M 1 l=0 M high 1 l=0 Ν(k, l), (2.26) F (k, l), (2.27) όπου τα N high, M high, ορίζουν την υποπεριοχή του διδιάστατου μετασχηματισμού Fourier, στην οποία υπάρχουν μόνο υψηλές συχνότητες. Η ισχύς του θορύβου υπολογίζεται σε περιοχές όπου υπάρχουν μόνο υψηλές συχνότητες, ενώ η ισχύς της εικόνας μπορεί να υπολογιστεί σε όλη την εικόνα (διαστάσεων N M ). Το φίλτρο Wiener, είναι εξαιρετικά αποτελεσματικό και δίνει πολύ ικανοποιητικά αποτελέσματα όπως φαίνεται στο Σχήμα 2.9. Ωστόσο απαιτείται να είναι γνώστη η PSF Μέθοδος Ελαχίστων Τετραγώνων Η μέθοδος των ελαχίστων τετραγώνων, μπορεί να χρησιμοποιηθεί για να ελαχιστοποιήσει την επίδραση του θορύβου στην εικόνα που θα εκτιμήσει. Αυτό το επιτυγχάνει ελαχιστοποιώντας την νόρμα: ˆf = arg min f e(f) = arg min g Hf 2. (2.28) f Η λύση του παραπάνω προβλήματος ελαχιστοποίησης, οδηγεί στην ακόλουθη βέλτιστη τιμή: ˆf = (Η T Η) 1 Η T g. (2.29) 34

47 2.4. Εισαγωγή στην Ανακατασκευή Εικόνας Υψηλής Ανάλυσης Ωστόσο η λύση που προκύπτει δεν είναι ικανοποιητική. Για αυτό το λόγο πολλές φορές, χρησιμοποιείται ένας επιπλέον παράγοντας στην συνάρτηση κόστους της Σχέσης (2.28): e f = 1 2 g Hf λ Df 2. (2.30) Ο δεύτερος παράγοντας ονομάζεται παράγοντας ομαλοποίησης (regularized term) και χρησιμοποιείται για να οριστεί καλύτερα το πρόβλημα. Η λύση των ελαχίστων τετραγώνων προσφέρει μία πολύ ομαλή (smooth) λύση και επομένως δεν περιέχει αρκετό περιεχόμενο στις υψηλές συχνότητες. Για αυτό το λόγο χρησιμοποιείται ένα φίλτρο που ενισχύει την πληροφορία των ακμών. Παράδειγμα τέτοιου φίλτρου παροσιάζεται στη Σχέση (4.13). Έστω P(k,l), ο διδιάστατος μετασχηματισμός Fourier του φίλτρου, που χρησιμοποιείται στο παράγοντα ομαλοποίησης. Ελαχιστοποιώντας την Σχέση (2.30) και επιλύοντας το πρόβλημα, στο πεδίο των συχνοτήτων προκύπτει η λύση: 1 H(k, l) ˆF 2 (k, l) = G(k, l) H(k, l) H(k, l) 2 + λ P (k, l) 2. (2.31) Μέθοδος των Irani-Peleg Η μέθοδος αυτή, στην πιο γενική της περίπτωση παρουσιάζεται και στην Παράγραφο 5.8. Ωστόσο μπορεί να εφαρμοστεί και σε πιο απλή μορφή, ώστε να επιτύχει αποκατάσταση της εικόνας χωρίς να απαιτείται η γνώση της PSF. Έστω h το φίλτρο εκτίμησης της άγνωστης PSF και g η παραμορφωμένη εικόνα εισόδου. Χρησιμοποιώντας μία απλή μέθοδο αποκατάστασης (πχ Wiener), κατασκευάζεται μία αρχική εικόνα εκτίμησης ˆf (0). Στην συνέχεια εφαρμόζεται στην αρχική εικόνα εκτίμησης, η διαδικασία της παραμόρφωσης (χρησιμοποιώντας το εκτιμώμενο φίλτρο h) και συγκρίνεται η "τεχνητη" παρμορφωμένη εικόνα ĝ (n) με την εικόνα εισόδου. Η εικόνα διαφοράς που υπολογίζεται, συνελίσσεται με το φίλτρο h και προστίθεται στην αρχική εικόνα εκτίμησης. Η διαδικασία αυτή μπορεί να εφαρμοστεί επαναληπτικά. Η επαναληπτική διαδικασία αποτυπώνεται από την ακόλουθη σχέση: ˆf (n+1) = ˆf (n) + (g ĝ (n) ) h c, (2.32) όπου c μία σταθερά κανονικοποίησης. Το κριτήριο τερματισμού του επαναληπτικού αλγορίθμου δίνεται από την μετρική σφάλματος: e (n) = (g(x, y) ĝ (n) (x, y)) 2. (2.33) (x,y) Στην περίπτωση, που το σφάλμα είναι μικρό, ο αλγόριθμος μπορεί να τερματίσει. Επειδή υπάρχει περίπτωση, ο αλγόριθμος να συγκλίνει με αργό ρυθμό, ορίζεται ένας μέγιστος αριθμός επαναλήψεων, ώστε ο αλγόριθμος να τερματίσει σε εύλογο χρονικό διάστημα. 2.4 Εισαγωγή στην Ανακατασκευή Εικόνας Υψηλής Ανάλυσης Μέχρι αυτό το σημείο, περιγράφτηκαν οι μέθοδοι, που μπορούν να χρησιμοπoιηθούν, ώστε να επιτευχθεί η αύξηση της χωρικής ανάλυσης μία εικόνας. Πολλές φορές, εφαρμόζεται μόνο η δικυβική παρεμβολή η οποία προσφέρει ικανοποιητική ποιότητα σε πραγματικό χρόνο. Ωστόσο η αύξηση της χωρικής ανάλυσης, όπως ήδη αναφέρθηκε δεν προσδίδει λεπτομέρεια και ευκρίνεια στην εικόνα. Επομένως μικρά αντικείμενα μπορεί να μην είναι ευδιάκριτα. Επιπλέον η παρουσία θορύβου όπως αναφέρθηκε στην Παράγραφο είναι πιο εμφανής στην μεγεθυμένη εικόνα, όπως φαίνεται στο παράδειγμα του Σχήματος Ορισμός Υψηλής Ανάλυσης Είναι πλέον εμφανές ότι η αύξηση της ανάλυσης μίας εικόνας διακρίνεται σε: 1. Αύξηση χωρικής ανάλυσης. 2. Αύξηση συχνοτικής ανάλυσης- ευκρίνειας. 35

48 2.4. Εισαγωγή στην Ανακατασκευή Εικόνας Υψηλής Ανάλυσης Η αύξηση της ευκρίνειας, μπορεί να αποδώσει μεγαλύτερη λεπτομέρεια, αλλά δεν αυξάνει υποχρεωτικά την χωρική ανάλυση. Βέβαια με χρήση απλής παρεμβολής, μπορεί να επιτευχθεί και αύξηση της χωρικής ανάλυσης. Γι' αυτό το λόγο, είναι σημαντικότερη η ευκρίνεια παρά η απλή αύξηση της χωρικής ανάλυσης. Φυσικά οι περισσότερες μέθοδοι, συνδυάζουν αύξηση ευκρίνειας και χωρικής ανάλυσης. Ωστόσο υπάρχουν περιπτώσεις, όπου έχει ενδιαφέρον μόνο η αύξηση της χωρικής ανάλυσης, επειδή η φυσική σκηνή (πχ ένα κτήριο) δεν μπορεί να απεικονιστεί με λεπτομέρεια σε μία εικόνα. Για αυτόν τον λόγο σε κάθε εικόνα εισόδου, καταγράφεται ένα μέρος της φυσικής σκηνής και σκοπός, είναι να κατασκευαστεί μία εικόνα με μεγαλύτερο οπτικό πεδίο. Επομένως η ηψηλότερη ανάλυση περιέχει δυο διαφορετικές έννοιες, και για αυτό στην εργασία αυτή, θα διαχωριστεί η ανακατασκευή υψηλής ανάλυσης σε δύο περιπτώσεις: 1. Ανακατασκευή εικόνας υψηλής ανάλυσης. Στις μεθόδους της κατηγορίας αυτής, κατασκευάζεται εικόνα υψηλότερης χωρικής ανάλυσης. Συνήθως οι εικόνες της φυσικής σκηνής επικαλύπτονται μερικώς. Η σωστή ανακατασκευή, "συνενώνει" τις εικόνες εισόδου και η τελική εικόνα περιέχει όλη την φυσική σκηνή που καταγράφτηκε. Οι μέθοδοι αυτοί μελετώνται στο Kεφάλαιο Ανακατασκευή εικόνας υψηλής ευκρίνειας. Οι μεθόδοι της δεύτερης κατηγορίας, δεν έχουν αυτοσκοπό την αύξηση της χωρικής ανάλυσης (αύξηση εικονοστοιχείων), αλλά την αύξηση της ευκρίνειας. Συνήθως χρησιμοποιούνται σε εφαρμογές, στις οποίες τα προβλήματα καταγραφής δημιουργούν σημαντικές αλλοιώσεις, όπως αυτές που αναφέρθηκαν στην Παράγραφο Στην πραγματικότητα η εικόνα υψηλότερης ευκρίνειας δεν υπάρχει, αλλά μπορεί να θεωρηθεί ότι υπάρχει και είναι άγνωστη. Για αυτό το λόγο η διαδικασία της σύνθεσής της ονομάζεται και ανακατασκευή Εισαγωγή στην Ανακατασκευή Υψηλής Ανάλυσης Μία ιδανική περίπτωση ανακατασκευής εικόνας, παρουσιάζεται στο Σχήμα Η εικόνα υποδειγματοληπτείται ιδανικά σε τέσσερις εικόνες. Τα εικονοστοιχεία της αρχικής εικόνας συμβολίζονται διαφορετικά, ώστε να είναι εμφανές σε πιο αντίστοιχο υποδειγματοληπτήμενο πλέγμα καταλήγει το κάθε εικονοστοιχείο. Στην περίπτωση του Σχήματος 2.11, η ανακατασκεύη της αρχικής εικόνας είναι εύκολη. Επιλέγεται ένα εικονοστοιχείο από κάθε υποδειγματοληπτημένη εικόνα ώστε να δημιουργηθεί ένα "τετράγωνο" όπου περιέχει ένα εικονοστοιχείο από κάθε υποδειγματοληπτημένη εικόνα. Όπως έχει αναφερθεί, το κύριο πρόβλημα που έχουν οι μέθοδοι παρεμβολής, είναι ότι δεν χρησιμοποιούν επιπλέον πληροφορία, για τα νέα εικονοστοιχεία που δημιουργούνται. Για αυτό το λόγο στηρίζονται σε εκτιμήσεις, που προκύπτουν από τις τιμές των γειτονικών εικονοστοιχείων. Ένας τρόπος για να επιτευχθεί καλύτερη ποιότητα είναι η χρήση περισσότερων εικόνων οι οποίες περιέχουν διαφορετική πληροφορία της φυσικής σκηνής. Αυτό μπορεί να επιτευχθεί, αν το σύστημα καταγραφής μετακινείται καθώς αποθηκεύει τις εικόνες. Αν η κίνηση ήταν "ιδανική" θα μπορούσε να γίνει μία τέλεια ανακατασκευή, όπως αυτή του Σχήματος Ωστόσο κανένα σύστημα δεν είναι τέλειο και επομένως δεν μπορεί να υπάρξει ιδανική ανακατασκευή με απλό τρόπο. Για αυτό το λόγο, πρέπει να υπολογιστεί ο ακριβής γεωμετρικός μετασχηματισμός μεταξύ των εικόνων (αντιστοίχηση εικόνων) και μετά να γίνει η σωστή τοποθέτηση τους στο "πλέγμα" της εικόνας υψηλής ευκρίνειας, όπως φαίνεται στο Σχήμα Συνοψίζοντας, οι δυσκολίες που πρέπει να αντιμετωπίσουν οι μέθοδοι ανακατασκευής εικόνας υψηλής ευκρίνειας είναι: 1. Λύση του προβλήματος αντιστοιχήσης εικόνων με ακρίβεια. 2. Επεξεργασία μεγάλου όγκου δεδομένων. 3. Το πρόβλημα δεν είναι καλά ορισμένο και η εξεύρεση μίας ικανοποιητικής λύσης δεν είναι εύκολη. 36

49 2.4. Εισαγωγή στην Ανακατασκευή Εικόνας Υψηλής Ανάλυσης Σχήμα 2.11: Πλέγμα σημείων αρχικής εικόνας και ιδανικά πλέγματα υποδειγματοληπτημένων εικόνων. Σχήμα 2.12: Εικονοστοιχεία στις εικόνες χαμηλής ανάλυσης και η τοποθέτηση τους στη εικόνα υψηλής ανάλυσης. 37

50 2.4. Εισαγωγή στην Ανακατασκευή Εικόνας Υψηλής Ανάλυσης Μαθηματικό μοντέλο εικόνας υψηλής ανάλυσης Η εισαγωγή στο πρόβλημα ανακατασκευής εικόνας υψηλής ανάλυσης, ολοκληρώνεται με την παρουσίαση του μαθηματικού μοντέλου της. Για την παρουσίαση αυτή, απαιτείται ο ορισμός των ακόλουθων ποσοτήτων (οι οποίες χρησιμοποιούνται και στα επόμενα κεφάλαια): f, η εικόνα υψηλής ανάλυσης. g i, i = 1, 2,..., k, εικόνες εισόδου χαμηλής ανάλυσης, εκφρασμένες σε διανυσματική μορφή. D i, i = 1, 2,..., k, μητρώα που προκύπτουν από την διαδικασία υποδειγματοληψίας της f. B i, i = 1, 2,..., k, μητρώα που αποτυπώνουν την παραμόρφωση που προκαλεί η PSF σε κάθε εικόνα g i. W i, i = 1, 2,..., k, μητρώα που αποτυπώνουν την εφαρμογή του γεωμετρικού μετασχηματισμού που αντιστοιχεί σε κάθε εικόνα g i. e i, i = 1, 2,..., k, προσθετικός θόρυβος κάθε εικόνας g i. Το συνολικό μαθηματικό μοντέλο δίνεται από την ακόλουθη σχέση: g 1 g 2... g k 1 g k = D 1 B 1 W 1 D 2 B 2 W 2... D k 1 B k 1 W k 1 D k B k W k f + e 1 e 2... e k 1 e k = Af + e. (2.34) Το μοντέλο αυτό είναι γνωστό και ως μοντέλο παρατήρησης και μπορεί εύκολα να αναπαρασταθεί όπως φαίνεται στο Σχήμα Αντίστοιχα η διαδικασία ανακατασκευής της εικόνας υψηλής ευκρίνειας απεικονίζεται στο Σχήμα Σχήμα 2.13: Δημιουργία εικόνων χαμηλής ανάλυσης από την ιδανική εικόνα υψηλής ευκρίνειας. Σχήμα 2.14: Διαδικασία ανακατασκεύης εικόνας υψηλής ευκρίνειας. 38

51 2.5. Ανακεφαλαίωση 2.5 Ανακεφαλαίωση Το κεφάλαιο αυτό, είναι η ουσιαστική εισαγωγή στο θέμα της ανακατασκευής εικόνας υψηλότερης ανάλυσης. Οι απλές και διαδεδομένες μέθοδοι της παρεμβολής προσφέρουν υψηλότερη χωρική ανάλυση, αλλά δεν προσφέρουν εικόνα υψηλής ευκρίνειας. Οι μέθοδοι αποκατάστασης, μπορεί να βελτιώνουν οπτικά το αποτέλεσμα, αλλά η ω- φέλεια είναι μικρή. Και αυτό είναι λογικό αφού δεν υπάρχει επιπλέον πληροφορία, την οποία να προσπαθήσουν να αξιοποιήσουν. Για αυτό το λόγο η χρήση διαδοχικών εικόνων της φυσικής σκηνής είναι επιτακτική. Ωστόσο για να επιτευχθεί η ανακατασκευή, πρέπει να υπολογιστούν οι γεωμετρικοί μετασχηματισμοί μεταξύ των εικόνων εισόδου, που τις κάνουν να διαφέρουν. Το πρόβλημα αυτό, γνωστό και ως αντιστοίχηση εικόνων, είναι το αντικείμενο που θα παρουσιαστεί στο επόμενο κεφάλαιο. 39

52 Κεφάλαιο 3 Αντιστοίχηση εικόνων Η αντιστοίχηση εικόνων είναι το πρώτο σημαντικό βήμα, για την επιτυχή ανακατασκευή εικόνας υψηλής ευκρίνειας. Η κίνηση του αισθητήρα καταγραφής, δημιουργεί διαφοροποιήσεις στις εικόνες που καταγράφει. Η αντιστοίχηση εικόνων, έχει σκοπό την εύρεση των διαφοροποιήσεων που δημιουργούνται και να ευθυγραμμίσει τις εικόνες. Οι διαφοροποιήσεις αυτές, μπορούν να μοντελοποιηθούν με την χρήση ενός γεωμετρικού μετασχηματισμού. Αν εφαρμοστεί ο αντίστροφος γεωμετρικός μετασχηματισμός σε κάθε εικόνα, επιτυγχάνεται η ευθυγραμμιση διαδοχικών εικόνων. Η αντιστοίχηση εικόνων, είναι ένα από τα πρώτα βασικά προβλήματα που μελετέθηκαν αναλυτικά στο πεδίο της υπολογιστικής όρασης. Ωστόσο δεν υπάρχει μέθοδος που να επιτυγχάνει την τέλεια αντιστοίχηση. Βέβαια τα τελευταία χρόνια, οι μέθοδοι έχουν τελειοποιηθεί και το σφάλμα που εμφανίζουν είναι μικρό [25],[6],[3],[5], [7],[4],[44],[17],[23],[48],[9],[35]. Στο παρών κεφάλαιο θα γίνει η αναλυτική παρουσίαση των μέθοδων αντιστοίχησης εικόνων. Υπάρχουν τέσσερις βασικές κατηγορίες μεθόδων: 1. Μπλοκ αντιστοίχηση. 2. Αντιστοίχηση με την χρήση μετασχηματισμού Fourier. 3. Αντιστοίχηση με χρήση σημείων. 4. Διαφορική αντιστοίχηση. 3.1 Γεωμετρικοί Μετασχηματισμοί Οι περισσότεροι άνθρωποι, είναι εξοικοιωμένοι με την ευκλείδια γεωμετρία. Οι ευκλείδιοι χώροι, δεν επαρκούν για να περιγράψουν την γεωμετρία των αισθητήρων καταγραφής. Αρκεί όμως μία απλή επέκταση, ώστε να μπορεί να μοντελοποιηθεί το σύστημα καταγραφής οπής (pinhole camera). Η επέκταση που απαιτείται, είναι η χρήση του προβολικού (projective) χώρου, αντί του ευκλείδιου. Η διαφορά του προβολικού από τον ευκλείδιο, είναι ότι οι ευθείες τέμνονται στο άπειρο. Στον Πίνακα 3.1, παρουσιάζονται οι πιο σημαντικοί γεωμετρικοί μετασχηματισμοί και τα χαρακτηριστικά τους. Ο Πίνακας 3.1, περιγράφει συνοπτικά τις ιδιότητες των μετασχηματισμών. Μία σημαντική παρατήρηση είναι ότι όλοι οι γεωμετρικοί μετασχηματισμοί μπορούν να οριστούν με την βοήθεια ενός μητρώου 3 3. Αυτό συμβαίνει γιατί, χρησιμοποιείται διάνυσμα συντεταγμένων τριών διαστάσεων, παρ' όλο που οι συντεταγμένες των σημείων είναι δύο. Συγκεκριμένα χρησιμοποιείται μία γνωστή επέκταση συντεταγμένων, που ονομάζονται ομογενείς συντεταγμένες. Επομένως αν το σημείο στο ευκλείδιο χώρο R 2 έχει συντεταγμένες (x, y), στο ομογενή χώρο που είναι ο προβολικός τρισδιάστατος χώρος P 3, έχει ομογενείς συντεταγμένες (kx, ky, kz), k 0. Διαιρώντας με την ελεύθευρη μεταβλητή k, οι ομογενείς συντεταγμένες μετατρέπονται σε ευκλείδιες συντεταγμένες. Η χρήση ομογενών συντεταγμένων παρουσιάζει ένα επιπλέον πρακτικό πλεονέκτημα. Τα μητρώα 3 3 πολλαπλασιάζονται, αντιστρέφονται κλπ, ευκολότερα από τα μητρώα 2 3. Επομένως είναι εύκολο να εκφραστούν τα προβλήματα των γεωμετρικών μετασχηματισμών με γραμμικές εξισώσεις. 40

53 3.1. Γεωμετρικοί Μετασχηματισμοί Μετασχηματισμός Βαθμοί ελευθερίας (dof) Πίνακας Χαρακτηριστικά Μετατόπισης (translation) d x 0 1 d y Ειδική περίπτωση ευκλείδιου μετασχηματισμού. Περιστροφής (rotation) 1 cos(θ) sin(θ) 0 sin(θ) cos(θ) Ειδική περίπτωση ευκλείδιου μετασχηματισμού. Κλίμακας (scaling) 1 s s Ειδική περίπτωση ευκλείδιου μετασχηματισμού. Ευκλείδιος (euclidean) 3 Ομοιότητας (similarity) 4 s cos(θ) sin(θ) d x sin(θ) s cos(θ) d y Διατηρεί την περιφέρεια και το εμβαδό των σχημάτων s cos(θ) sin(θ) d x sin(θ) s cos(θ) d y Διατηρεί το πηλίκο των μηκών σχημάτων Κύρτωσης (shear) 1 1 a 0 b Ειδική περίπτωση ομοιοπαράλληλου μετασχηματισμού. Ομοπαράλληλος (affine) 6 a 11 a 12 a 13 a 21 a 22 a Διατηρεί παράλληλες ευθείες και το πηλίκο των μηκών των εμβαδών μεταξύ σχημάτων. Προβολικός/Ομοιογραφία (projective/homography) 8 h 11 h 12 h 13 h 21 h 22 h 23 h 31 h 32 1 Διατηρεί τις ευθείες. Πίνακας 3.1: Γεωμετρικοί Μετασχηματισμοί. 41

54 3.1. Γεωμετρικοί Μετασχηματισμοί Ένας τυχαίος γεωμετρικός μετασχηματισμός, μπορεί να περιγραφεί με απλούς/βασικούς γεωμετρικούς μετασχηματισμούς. Για παράδειγμα, ο μετασχηματισμός της ομοιότητας Τ, μπορεί να αναπαρασταθεί εύκολα από ενα μετασχηματισμό κλίμακας S, μετατόπισης D και περιστροφής R, σύμφωνα με την σχέση: Τ = S D R. (3.1) Σχήμα 3.1: Μετασχηματισμός περιστροφής, αλλαγής κλίμακας και μετατόπισης με αλλαγή κλίμακας. Σχήμα 3.2: Αρχική εικόνα και προβολικός μετασχηματισμός της. Στο Σχήμα 3.1, παρουσιάζονται παραδείγματα απλών μετασχηματισμών. Στο Σχήμα 3.3, παρουσιάζεται ένας ενδιαφέρων μετασχηματισμός: ο μετασχηματισμός κύρτωσης. Τέλος στο Σχήμα 3.2, απεικονίζεται η εφαρμογή του πιο γενικού γεωμετρικού μετασχηματισμού, που χρησιμοποιείται συνήθως από τις μεθόδους αντιστοίχησης: ο προβολικός. Ο προβολικός μετασχηματισμός είναι ο μόνος, που αντιστοιχεί τις συντεταγμένες με μη γραμμικό τρόπο. Οι συντεταγμένες στον προβολικό μετασχηματισμό δίνονται από τις ακόλουθες σχέσεις: x = h 11x + h 12 y + h 13 h 31 x + h 32 y + h 33, (3.2) y = h 21x + h 22 y + h 23 h 31 x + h 32 y + h 33. (3.3) Οι γεωμετρικοί μετασχηματισμοί για να υπολογιστούν, απαιτούν σημεία των εικόνων, τα οποία είναι γνωστό ότι είναι αντίστοιχα μεταξύ τους. Για να υπολογιστεί ο γεωμετρικός μετασχηματισμός, απαιτούνται το λιγότερο d 2 σημεία, όπου d,οι βαθμοί ελευθερίας του γεωμετρικού μετασχηματισμού. Δηλαδή η μετατόπιση, απαιτεί τουλάχιστον ένα σημείο και η ομοιογραφία τουλάχιστον τέσσερα. Ωστόσο χρειάζονται περισσότερα σημεία για περισσότερη ακρίβεια. Όταν υπάρχουν περισσότερα σημεία και το μητρώο είναι υπερκαθορισμένο (overdetermined), τότε χρησιμοποιείται η επιλύση ελαχίστων τετραγώνων [39]. Φυσικά από τους γεωμετρικούς μετασχηματιμούς προκύπτουν οι νέες συντεταγμένες του σημείου, οι οποίες είναι πραγματικοί αριθμοί. Αυτό δημιουργεί πρόβλημα στις ψηφιακές εικόνες, επειδή οι συντεταγμένες τους είναι 42

55 3.2. Μπλοκ Αντιστοίχηση Σχήμα 3.3: Γεωμετρικοί Μετασχηματισμοί κύρτωσης. ακέραιοι αριθμοί. Η κβάντιση των νέων συντεταγμένων μπορεί να δημιουργήσει προβλήματα, αφού κάποια σημεία στο ακέραιο μέρος τους, μπορεί να παρουσιάζουν την ίδια τιμή. Επομένως η ευθύ εφαρμογή του γεωμετρικού μετασχηματισμού, μπορεί να δημιουργήσει μία νέα εικόνα που σε μερικά σημεία του πλέγματος της εικόνας, να μην τοποθετηθούν τιμές. Η λύση στο πρόβλημα αυτό, είναι η χρήση του αντίστροφου μετασχηματισμού. Για κάθε σημείο της νέας εικόνας υπολογίζεται το αντίστοιχο σημείο της στην αρχική εικόνα, χρησιμοποιώντας τον αντίστροφο μετασχηματισμό. Στην συνέχεια με την βοήθεια της παρεμβολής (Κεφάλαιο 2), επιλέγεται το πιο κοντινό σημείο και επιλέγεται η τιμή του σημείου αυτού. 3.2 Μπλοκ Αντιστοίχηση Στην περίπτωση κατά την οποία, ο γεωμετρικός μετασχηματισμός είναι μόνο μετατόπιση, μπορεί να εφαρμοστεί η πιο απλή μέθοδος αντιστοίχησης. Στην μπλοκ αντιστοίχηση, επιλέγεται μία εικόνα ως εικόνας αναφοράς. Στην συνέχεια επιλεγέται ένα μπλοκ της εικόνας αναφοράς (πρότυπο). Το πρότυπο συγκρίνεται με τα αντίστοιχα μπλοκ της εικόνας που θα αντιστοιχηθεί. Μετατοπίζοντας και προς τις δύο κατευθύνσεις, όπως φαίνεται στο Σχήμα 3.4, υπολογίζονται τα μέτρα ομοιότητας των μπλοκ και στην συνέχεια επιλεγέται το καλύτερο (ελάχιστο ή μέγιστο). Η μετατόπιση δίνεται από την απόσταση που απέχουν τα κέντρα των δύο μπλοκ που παρουσιάζουν την μεγαλύτερη ομοιότητα. Η αντίστοιχη διαδικασία, μπορεί να επεκταθεί και για τους υπόλοιπους γεωμετρικούς Σχήμα 3.4: Υπολογισμός μπλοκ αντιστοίχησης. μετασχηματισμούς. Για παράδειγμα αν οριστεί ένα εύρος γωνιών περιστροφής, υπολογίζονται όλα τα μέτρα ο- 43

56 3.2. Μπλοκ Αντιστοίχηση μοιότητας περιστρέφοντας τα μπλοκ και υπολογίζοντας το καλύτερο μέτρο ομοιότητας. Εκτός ότι είναι δύσκολο να υπολογιστεί το ιδανικό εύρος που θα κυμαίνεται κάθε παράμετρος του γεωμετρικού μετασχηματισμού, είναι φανερό ότι αυξάνεται υπερβολικά η πολυπλοκότητα όταν πρέπει να υπολογιστούν μετασχηματισμοί επιπλέον της μετατοπίσης Μέτρα Ομοιότητας Για να μπορέσει να συγκριθεί το μπλοκ πρότυπο, με τα αντίστοιχα μπλοκ της εικόνας που θα αντιστοιχηθεί, πρέπει να οριστεί ένα μέτρο σύγκρισης (μέτρο ομοιότητας), που θα ποσοτικοποιεί την ομοιότητα των διάφορων μπλοκ με το πρότυπο. Από την γραμμική άλγεβρα, είναι γνωστή η ευκλίδεια απόσταση. Όσο μικρότερη είναι η απόσταση αυτή, τόσο πιο κοντινά θεωρούνται δύο σημεία. Στην περίπτωση των εικόνων, όπου είναι σήματα δύο διαστάσεων, η αντίστοιχη νόρμα ονομάζεται SSD (Sum of Squared Differences) και δίνεται από: SSD = N/2 M/2 i= Ν/2 j= Μ/2 (f(x c1 + i, y c1 + j) g(x c2 + i, y c2 + j)) 2. (3.4) Τα N, M, εκφράζουν τις διαστάσεις της εικόνας / μπλοκ, ενώ τα (x c1, y c1 ), (x c2, y c2 ) είναι τα κέντρικά σημεία των μπλοκ αντίστοιχα. Αν και δεν έχει μεγάλη πολυπλοκότητα, πολλές φορές απαιτείται μία μετρική με μικρότερη πολυπλοκότητα. Σε αυτή την περίπτωση, χρησιμοποείται η SAD (Sum Of Absolute Difference). H SAD αντιστοιχεί στην νόρμα L 1, και ορίζεται από την σχέση: SAD = N/2 M/2 i= Ν/2 j= Μ/2 f(x c1 + i, y c1 + j) g(x c2 + i, y c2 + j). (3.5) Τόσο η SSD, όσο και η SAD αποτυπώνουν αποτελεσματικά την ομοιότητα μεταξύ των μπλοκ. Ωστόσο πολλές φορές οι εικόνες εισόδου παρουσιάζουν φωτομετρικές διαφορές. Αυτό συμβαίνει γιατί το περιβάλλον δεν παρουσιάζει συνεχώς την ίδια φωτεινότητα (πχ η κίνηση των σύννεφων, η υγρασία κ.α.). Η SAD και η SSD είναι ευαίσθητες σε φωτομετρικές διαφορές. Για αυτόν τον λόγο, χρησιμοποιείται η κανονικοποιημένη ετεροσυσχέτιση (Normalized Crosss Correlation), η οποία ορίζεται από την σχέση: NCC = N/2 i= Ν/2 N/2 M/2 i= Ν/2 M/2 j= Μ/2 f 2 (x c1 + i, y c1 + j) j= Μ/2 f(x c1 + i, y c1 + j)g(x c2 + i, y c2 + j) N/2 i= Ν/2. (3.6) M/2 j= Μ/2 f 2 (x c1 + i, y c1 + j) Η ετεροσυσχέτιση είναι ανθεκτική σε γραμμικές φωτομετρικές διαφορές, αλλά έχει μεγάλη υπολογιστική πολυπλοκότητα. Έχουν προταθεί και άλλες μετρικές ομοιότητας για την σύγκριση εικόνων / μπλοκ. Οι πιο δημοφιλείς είναι : 1. ChiSquare 2. BrayCurtis ChiSquare = BrayCurtis = N/2 M/2 i= Ν/2 j= Μ/2 N/2 M/2 i= Ν/2 N/2 i=ν/2 (f(x c1 + i, y c1 + j) g(x c2 + i, y c2 + j)) 2 f(x c1 + i, y c1 + j) + g(x c2 + i, y c2 + j). (3.7) j= Μ/2 f(x c1 + i, y c1 + j) g(x c2 + i, y c2 + j) M/2 j= Μ/2 f(x c1 + i, y c1 + j) + g(x c2 + i, y c2 + j). (3.8) 3. Camberra Camberra = N/2 M/2 i= Ν/2 j= Μ/2 f(x c1 + i, y c1 + j) g(x c2 + i, y c2 + j) f(x c1 + i, y c1 + j) + g(x c2 + i, y c2 + j). (3.9) 44

57 3.2. Μπλοκ Αντιστοίχηση Από τις παραπάνω μετρικές, μόνο η ετεροσυσχέτιση δεν επηρεάζεται από τις φωτομετρικές διαφορές, ενώ η SAD και η SSD παρουσιάζουν την μεγαλύτερη ευαισθησία. Επιπλέον μόνο η ετεροσυσχέτιση παρουσιάζει περισσότερη ομοιότητα στην μεγαλύτερη τιμή (επομένως αναζητάται το μέγιστο), σε αντίθεση με τις υπόλοιπες που η μεγαλύτερη ομοιότητα εμφανίζεται στην μικρότερη τιμή. Σε πολλές εφαρμογές, τα μέτρα ομοιότητας χρησιμοποιούνται για μία πρώτη εκτίμηση και επομένως δεν χρειάζεται να επιτυγχάνουν υψηλή ακρίβεια, αλλά κρίνεται αναγκαίος ο ταχύς υπολογισμός τους. Για αυτό το λόγο, η SAD και η SSD είναι αρκετά δημοφιλείς. Με μία παρατήρηση, είναι εύκολο να διαπιστωθεί ότι στα διαδοχικά μπλοκ ομοιότητας που υπολογίζονται τα μέτρα ομοιότητας, διαφέρουν από το προηγούμενο είτε κατά μία γραμμή είτε κατά μία στήλη. Επομένως, αφαίρωντας την πρώτη στήλη / γραμμή και προσθέτοντας μόνο τις διαφορές των στοιχείων της νέας στήλης/γραμμής η πολυπλοκότητα μειώνεται σε γραμμική. Η διαδικασία αυτή είναι εύκολο να κατανοηθεί με την βοήθεια των Σχήματων 3.5 και 3.6. Σχήμα 3.5: Ταχύς υπολογισμός μέτρου ομοιότητας κατά στήλες. Σχήμα 3.6: Ταχύς υπολογισμός μέτρου ομοιότητας κατά γραμμές Αντιστοίχηση με Ακρίβεια Υποεικονοστοιχείου Στα περισσότερα σετ εικόνων εισόδου που χρησιμοποιούνται, ο αισθητήρας καταγραφής είναι σε μεγάλη απόσταση από τα αντικείμενα ενδιαφέροντος. Έτσι επιτυγχάνεται ο γεωμετρικός μετασχηματισμός μεταξύ των εικόνων να είναι προβολικός και η σύνθεση των εικόνων να μπορεί να προβληθεί σε ένα επίπεδο. Αυτός ο περιορισμός έχει σαν αποτέλεσμα, η μετατόπιση κατά ένα εικονοστοιχείο να αντιστοιχεί σε αρκετά μεγάλη πραγματική απόσταση. Οι περισσότερες μέθοδοι υπολογίζουν την αντιστοίχηση εικόνων σε ακέραιες συντεταγμένες, αφού οι εικόνες είναι ψηφιακές. Ωστόσο η πραγματική αντιστοίχηση μπορεί να απαιτεί δεκαδική ακρίβεια στις συντεταγμένες. Αυτή η ανακρίβεια, μπορεί να προκαλέσει μεγάλο σφάλμα στην διαδικασία ανακατασκευής. Υπάρχουν τρεις λύσεις σε αυτό το πρόβλημα. Αυτές είναι: 1. Παρεμβολή στην επιφάνεια κόστους. Αυτή η μέθοδος είναι αρκετά διαδεδομένη σε παραλλαγές της μπλοκ αντιστοίχησης. Τα κόστη που προκύπτουν, από τις συγκρίσεις του προτύπου μέ άλλα μπλοκ της αντίστοιχης εικόνας, μπορούν να αποθηκεύονται σε ένα μητρώο. Η κάθε τιμή του στοιχείου του μητρώου που προκύπτει, μπορεί να θεωρηθεί ως τιμή μίας συνάρτησης δύο μεταβλητών. Επομένως το μητρώο αναπαριστάνει την διακριτή μορφή μίας συνάρτησης κόστους, όπως φαίνεται στο Σχήμα 3.7. ή να θεωρηθεί ως ψηφιακή εικόνα. Επομένως αυξάνοντας τις διαστάσεις του μητρώου με παρεμβολη (Κεφάλαιο 2), προκύπτει μία νέα επιφάνεια κόστους, στην οποία τα ενδιάμεσα σημεία της παρεμβολής, μπορούν να θεωρηθούν ως υποσημεία της αρχικής επιφάνειας, όπως φαίνεται στο Σχήμα Αύξηση της χωρικής ανάλυσης της εικόνας αναφοράς. Η τεχνική αυτή απλά αυξάνει (συνήθως κατά παράγοντα 10, ώστε να υπολογίζεται η αντιστοιχήση σε ακρίβεια 1/10 του εικονοστοιχείου), με παρεμβολή 45

58 3.2. Μπλοκ Αντιστοίχηση Σχήμα 3.7: Επιφάνεια κόστους. Σχήμα 3.8: Επιφάνεια κόστους με παρεμβολή. 46

59 3.3. Αντιστοίχηση με την Χρήση Μετασχηματισμού Fourier στις διαστάσεις της εικόνας αναφοράς. Επομένως όταν υπολογιστεί το καλύτερο μέτρο ομοιότητας, η τιμή αυτή διαιρείται με τον παράγοντα αύξησης. Αν και συνήθως επιτυγχάνει καλύτερη ακρίβεια από την παρεμβολή στην επιφάνεια κόστους, δεν είναι πάντα εφικτή η αύξηση των διαστάσεων της εικόνας αναφοράς με τόσο μεγάλους συντελεστές. 3. Χρήση πυραμιδών. Οι πυραμίδες παρουσιάζουν εξαιρετικό ενδιαφέρον στην αντιστοίχηση. Αν ξεκινήσει η αντιστοίχηση από το επίπεδο με τις μικρότερες σε διαστάσεις εικόνες, μπορεί να επιτευχθεί μία αρχική εκτίμηση του γεωμετρικού μετασχηματισμού. Στην συνέχεια, ανεβαίνοντας επίπεδο και έχοντας μία αρχική εκτίμηση, το εύρος τιμών των παραμέτρων του γεωμετρικού μετασχηματισμού μειώνεται. Για παράδειγμα αν υπολογιστεί αρχικά μία μετατόπιση +3 τότε πιθανώς στο επόμενο επίπεδο της πυραμίδας, δεν έχει νόημα να αναζητηθεί μετατόπιση εκτός του διαστήματος [-6,6]. Ομοίως αν έχει υπολογιστεί μία περιστροφή 5 0, τότε στο επόμενο επίπεδο η περιστροφή θα αναζητηθεί μεταξύ των [ 10 0, 10 0 ]. Με αυτό τον τρόπο μπορεί να επιταχυνθεί σε μεγάλο βαθμό η διαδικασία της αντιστοίχησης. Ωστόσο η πυραμίδα μπορεί να χρησιμοποιηθεί και με τον αντίστροφο τρόπο, ώστε να υπολογιστεί ο μετασχηματισμός σε ακρίβεια υποεικοινοστοιχείου. Για παράδειγμα αν η τελική μετατόπιση που έχει υπολογιστεί είναι +6, τότε στο επόμενο επίπεδο η θεωρητική μετατόπιση είναι +3. Αντί να υποδιπλασιαστεί το διάστημα αναζήτησης, διατηρείται σταθερό και επομένως η πραγματική μετατόπιση είναι η μισή. Επομένως αν στο παράδειγμα που αναφέρθηκε, η μετατόπιση υπολογιστεί στο επόμενο επίπεδο +5, τότε η πραγματική μετατόπιση είναι Αντιστοίχηση με την Χρήση Μετασχηματισμού Fourier Η μπλοκ αντιστοίχηση παρουσιάζει πολύ μεγάλη υπολογιστική πολυπλοκότητα, ειδικά όταν η αντιστοίχηση δεν είναι μόνο μετατόπιση. Για αυτό το λόγο, μελετήθηκαν εναλλακτικοί μέθοδοι. Μία από τις πρώτες προσπάθειες, είναι η χρήση του μετασχηματισμού Fourier [44]. Όπως παρουσιάστηκε και στην Παράγραφο 1.4.4, ο μετασχηματισμός Fourier είναι ένα πολύ χρήσιμο εργαλείο, γιατί στο χώρο των συχνοτήτων είναι πιο εύκολες ορισμένες επεξεργασίες σημάτων, είναι ταχύς στον υπολογισμό του, αλλά παρουσιάζει και ενδιαφέρουσες ιδιότητες. Η αντιστοίχηση εικόνων, μπορεί να επωφεληθεί με την ταχύτητα του, αλλά και από μία σημαντική ιδιότητα που παρουσιάζει. Αν δύο εικόνες διαφέρουν λόγω μετατόπισης, παρουσιάζουν ομοιότητα στο μετασχηματισμό Fourier τους και διαφέρουν μόνο κατά ένα παράγοντα φάσης. Αναλυτικότερα, αν Δt = [Δx Δy] T το διάνυσμα μετατόπισης και z T = [u v], το διάνυσμα συντεταγμένων, τότε οι μετασχηματισμοί Fourier των δύο εικόνων F (z T ), G(z T ) συνδέονται με την ταυτότητα: F (z T ) = e i2πzδs G(z T ). (3.10) Αν Φ η συνάρτηση φάσης του πηλίκου των μετασχηματισμών Fourier, προκύπτει ότι: Επομένως ο υπολογισμός της μετατόπισης Δs, δίνεται από την σχέση: Φ(z T ) = F (zt ) G(z T ). (3.11) zδs = Φ(zT ) 2π. (3.12) Ο υπολογισμός του Δs υπολογίζεται εύκολα από την παραπάνω σχέση. Αν και στη θεωρία κάθε ζεύγος συχνότητας δίνει το ίδιο διάνυσμα μετατόπισης, στην πραγματικότητα αυτό δεν συμβαίνει. Επομένως χρησιμοποιείται η τεχνική των ελαχίστων τετραγώνων, για την εύρεση του καλύτερου επιπέδου που αντιστοιχεί στα δεδομένα (ευθείας στην μονοδιάστατη περίπτωση). Επιπλέον επειδή οι εικόνες εισόδου, μπορεί να παρουσιάζουν φαινόμενα αναδιπλώσης συχνοτητών, χρησιμοποιείται το 5-10% των χαμηλών συχνοτήτων. Η αντιστοίχηση μετασχηματισμού Fourier, μπορεί να χρησιμοποιηθεί και σε άλλους γεωμετρικούς μετασχηματισμούς. Αν R ο πίνακας περιστροφής, οι μετασχηματισμοί Fourier F (z T ), G(z T ), συνδεόνται με την εξίσωση: F (z T ) = G(Rz T ). (3.13) Η περιστροφή επομένως, δεν επηρεάζει το μέτρο του μετασχηματιμού Fourier. Για να υπολογιστεί η περιστροφή μεταξύ των δύο εικόνων, πρέπει να αναζητηθεί για ποια γωνία θ τα μέτρα των μετασχηματισμών Fourier παρουσιάζουν την μεγαλύτερη ομοιότητα. Ωστόσο αυτή η αναζήτηση, όπως και στην περίπτωση της μπλοκ αντιστοίχησης είναι χρονοβόρα. Για αυτό το λόγο οι συντεταγμένες των μετασχηματισμών Fourier, μετατρέπονται σε πολικές συντεταγμένες και η αναζήτηση περιστροφής μετατρέπεται σε αναζήτηση μετατόπισης[44]. 47

60 3.4. Διαφορική Αντιστοίχηση Η αντιστοιχήση Fourier είναι ταχύτατη. Επιπλέον η αντιστοίχηση Fourier προσφέρει την δυνατότητα αντιστοίχησης σε ακρίβεια υποεικονοστοιχείου. Ωστόσο η ακρίβεια που προσφέρει η αντιστοίχηση Fourier δεν είναι πάντα ικανοποιητική. 3.4 Διαφορική Αντιστοίχηση Η διαφορική αντιστοιχήση είναι μία σημαντική και ξεχωριστή κατηγορία μεθόδων αντιστοίχησης ([6],[3],[5], [7],[25],[4],[23],[17]). Έστω Τ(x), I(x) δύο εικόνες που συνδέονται μεταξύ τους με γεωμετρικό μετασχηματισμό. Αν ο γεωμετρικός μετασχηματισμός δεν επιφέρει σημαντική γεωμετρική παραμόρφωση, τότε υπάρχει διάνυσμα p με το οποίο επιτυγχάνεται η αντιστοίχηση των δυό εικόνων: I(x) = T (x + p). (3.14) Επιπλέον οριζέται W (x; p), το μήτρωο του γεωμετρικού μετασχηματισμού (warp), και p το διάνυσμα των παραμέτρων του γεωμετρικού μετασχηματισμού. Επομένως το μητρώο W, δίνεται από : W (x; p) = (1 + p 1) p 3 p 5 [ p 2 (1 + p 4 ) p 6 x. (3.15) 1] Σημείωση: το μητρώο W (x; p) αφορά την περίπτωση ομοιοπαράλληλων μετασχηματισμών. Ωστόσο μπορεί εύκολα να επεκταθεί σε προβολικό γεωμετρικό μετασχηματισμό. Επειδή η υλοποίηση του Κεφαλαίου 6 αφορά ομοιοπαράλληλους μετασχηματισμούς, αποφάνθηκε ότι είναι καλύτερα και η παρουσίαση να γίνει για την ίδια ομάδα γεωμετρικών μετασχηματισμών. Οι μέθοδοι της διαφορικής αντιστοίχησης, προσπαθούν να ελαχιστοποιήσουν την συνάρτηση κόστους: E = x C (I(W (x; p)), T (x)), (3.16) όπου C, είναι ένα μέτρο ομοιότητας όπως αυτά που παρουσιάστηκαν στην Παράγραφο Η συνάρτηση κόστους δεν είναι γραμμική, επομένως το σύστημα εξισώσεων που προκύπτει δεν είναι γραμμικό. Για αυτό το λόγο, χρησιμοποιείται μία επαναληπτική διαδικασία προσέγγισης του διανύσματος (πχ μέθοδος απότομης κατάβασης) με αρχική εκτίμηση p 0. Σε κάθε επανάληψη, υπολογίζεται η βελτίωση του διανύσματος Δp. Επομένως το μητρώο W (x; p) που προκύπτει είναι το : [ ] x W (x; p) = (Ι 3x3 + P 0 + ΔP ), (3.17) 1 όπου: I 3x3 = , P 0 = p 01 p 03 p 05 p 02 p 04 p 06, ΔP = Δp 1 Δp 3 Δp 5 Δp 2 Δp 4 Δp 6. (3.18) Τα πλεονεκτήματα των διαφορικών αντιστοιχήσεων είναι: 1. Μέτρια υπολογιστική πολυπλοκότητα. 2. Υπολογισμός της αντιστοίχησης με ακρίβεια υποεικονοστοιχείου. 3. Υπολογισμός με χρήση επαναληπτικών διαδικασιών. Επομένως η εκτίμηση είναι πιο ανθεκτική στο θόρυβο. Το κύριο μειονέκτημα τους είναι ότι απαιτούν μικρές γεωμετρικές παραμορφώσεις και ότι μπορεί να εγκλωβιστούν σε τοπικά ακρότατα της συνάρτησης κόστους. 48

61 3.4. Διαφορική Αντιστοίχηση Αλγόριθμος Αντιστοίχησης των Lucas-Kanade Η πιο γνωστή και σημαντική μέθοδος διαφορικής αντιστοίχησης είναι η μέθοδος των Lucas-Kanade [6],[3],[5], [7],[25],[4]. Η μέθοδος χρησιμοποιεί την ακόλουθη συνάρτηση κόστους : E = x (I(W (x; p)) T (x)) 2. (3.19) Παραγωγίζοντας ως προς τις παραμέτρους Δp την παραπάνω σχέση, οι βέλτιστες τιμές των παραμέτρων του Δp, υπολογίζονται από την σχέση: Δp = H 1 x [ W ] T (T (x) I(W (x; p)). (3.20) p Το μητρώο Η, στην παραπάνω σχέση, είναι το μητρώο Hessian και υπολογίζεται από την ακόλουθη σχέση: H = x [ W ] T [ W ]. (3.21) p p Η αντιστοιχήση των Lucas-Kanade, υπολογίζεται επαναληπτικά. Σε κάθε επανάληψη εκτελούνται τα εξής βήματα: 1. Αρχικοποίηση του p. 2. Μέχρι το Δp ε (ή μέχρι N max επαναλήψεις): 3. Υπολογισμός του I(W (x; p)) με την εφαρμογή του γεωμετρικού μετασχηματισμού W (x; p) στην εικόνα Ι. 4. Υπολογισμός της εικόνας σφάλματος T (x) I(W (x; p)). 5. Υπολογισμός του I(W (x; p)) με την εφαρμογή του γεωμετρικού μετασχηματισμού W (x; p) στην εικόνα Ι. 6. Υπολογισμός του Jacobian μητρώου W p στο σημείο (x; p). 7. Υπολογισμός των εικόνων απότομης κατάβασης (steepest descent) I W p. 8. Υπολογισμός του Hessian μητρώου χρησιμοποιώντας την Σχέση (3.21). 9. Υπολογισμός του x [ I(W (x; p))] (T (x) I(W (x; p))). 10. Υπολογισμός του Δp από Σχέση (3.20). 11. Ενημέρωση των παραμέτρων p p + Δp. Το μειονέκτημα της αντιστοίχησης Lucas Kanade είναι ότι αν και εξασφαλίζει ότι θα υπολογίσει ελάχιστο (ο αλγόριθμος θα συγκλίνει), δεν εξασφαλίζει ότι θα είναι το ολικό ελάχιστο. Εφόσον ο αλγόριθμος πάντοτε θα υπολογισει ένα ελάχιστο, η αρχική εκτίμηση του διανύσματος p μπορεί να είναι τυχαία. Για να είναι όμως πιο κοντά στο ολικό ελάχιστο, επιβάλλεται μία καλύτερη εκτίμηση του p. Η πιο συνηθισμένη μέθοδος είναι η αντιστοίχηση σε μικρότερου μεγέθους εικόνες με την χρήση πυραμίδων Αλγόριθμος Αντιστοίχησης ECC Μία νέα μέθοδος που υπόσχεται πολλά στο πρόβλημα της αντιστοίχησης, αλλά και σε άλλα προβλήματα της υπολογιστικής όρασης [43],[17], είναι η μέθοδος ECC (Enhanced Cross Correlation). Η μέθοδος ακολουθεί τα βήματα του αλγορίθμου των Lucas-Kanade, αλλά αντί να ελαχιστοποιεί την συνάρτηση κόστους (3.19), μεγιστοποιεί την συνάρτηση [23],[17]: E = x ( Ī(W (x; p)) T Ī(W (x; p)) ) 2 (x) T. (3.22) (x) 49

62 3.5. Προβλήματα Αντιστοίχησης Στην παραπάνω σχέση, οι Ī(W (x; p)), T (x), είναι οι εικόνες I(W (x; p)), T (x), με αφαιρεμένη την μέση τιμή τους. Η λύση ωστόσο που προκύπτει από την μεγιστοποίηση της παραπάνω συνάρτησης κόστους, είναι κλειστής μορφής. Στην μέθοδο ECC, εφαρμόζονται τα βήματα του αλγόριθμου των Lucas-Kanade, αρκεί αντί της Σχέσης (3.20), να χρησιμοποιηθεί η σχέση: [ ] Δp = H 1 Ḡ T Ī(W (x; p)) 2 Ī(W (x; p))t P G Ī(W (x; p)) T (x) T Ī(W (x; p)) T T (x) (x) T P G Ī(W (x; p)) Ī(W (x; p)), (3.23) όπου: H, Ḡ τα μηδενικά μέσης τιμής μητρώα Hessian και Jacobian. P G, το μητρώο προβολής που ισούται με P G = Ḡ H 1 Ḡ T. T (x), Ī(W (x; p)), οι εικόνες T (x), I(W (x; p), με αφαιρεμένη την μεση τιμή τους. T (x), Î(W (x; p)), οι μηδενικές μέσης τιμής εικόνες T (x), I(W (x; p)). Τα πλεονέκτηματα της ECC είναι: 1. Προσφέρει κλειστή λύση σε κάθε επανάληψη του αλγορίθμου. 2. Η μετρική που ελαχιστοποιεί είναι κανονικοποιημένη και δεν επηρεάζεται από φωτομετρικές διαφορές. 3. Είναι πιο ανθεκτική στο θόρυβο. 4. Απαιτεί λιγότερες επαναλήψεις. 3.5 Προβλήματα Αντιστοίχησης Στις προηγούμενες παραγράφους παρουσιάστηκαν οι πιο διαδεδομένες τεχνικές αντιστοίχησης εικόνων. Απομένει μία κατηγορία μεθόδων αντιστοίχησης η οποία επειδή εφαρμόζεται κυρίως στην κατασκευή πανοραμικών εικόνων (Κεφάλαιο 4) και για αυτό το λόγο, θα παρουσιαστεί στην Παράγραφο 4.4. Η αντιστοίχηση εικόνων είναι ένα ιδιαίτερα δύσκολο πρόβλημα. Ακόμα και αν οι αισθητήρες καταγραφής ήταν ιδανικοί και δεν προκαλούσαν αλλοιώσεις, οι περιβαλλοντολογικές συνθήκες επέτρεπαν την τέλεια καταγραφή των εικόνων, η αντιστοίχηση δεν θα ήταν ιδανική. Οι κύριοι λόγοι που δυσχεραίνουν την διαδικασία αυτή είναι: 1. Υπάρχουν σημεία στην φυσική σκηνή τα οποία δεν προβάλλονται σε όλες τις εικόνες εισόδου. Τα σημεία τα οποία δεν προβάλλονται σε όλες τις εικόνες, ονομάζονται αποκλεισμένα σημεία (occluded) και οι περιοχές που δημιουργούν αποκλεισμένες περιοχές (occlusion regions). Τα αποκλεισμένα σημεία δημιουργούν ιδιαίτερα προβλήματα, όταν ανήκουν σε χαρακτηριστικά των εικόνων. Τα χαρακτηριστικά των εικόνων τα οποία ορίζονται στην Παράγραφο 4.3, μπορούν να χρησιμοποιηθούν στην αντιστοιχήση των εικόνων, όπως περιγράφεται στην Παράγραφο 4.4. Η αντιστοίχηση θα αποτύχει, αν κάποιο αποκλεισμένο σημείο της μίας εικόνας, αντιστοιχηθεί με κάποιο άλλο που δεν είναι αντίστοιχο. Αυτός είναι ένας επιπλέον λόγος που χρησιμοποιείται ο αλγόριθμος RANSAC (RANdom SAmple Consensus), στην αντιστοίχηση χαρακτηριστικών σημείων. Ο αλγόριθμος θα απορρίψει τέτοια σημεία ως έκτοπα (outliers) και δεν θα δημιουργηθεί πρόβλημα. 2. Εμφάνιση ομοίων περιοχών στη φυσική σκηνή. Αν το σετ εικόνων εισόδου έχει πολλές όμοιες περιοχές, οι αλγόριθμοι μπορεί να "ξεγελαστούν" και να οδηγηθούν σε λανθασμένη αντιστοίχηση. 3. Περιοχές με περιορισμένη υφή. Οι περιοχές με περιορισμένη υφή, όχι μόνο παρουσιάζουν μεγάλη ομοιότητα, αλλά έχουν και μικρό λόγο σήματος προς θόρυβο, με αποτέλεσμα να μπορεί να επηρεαστεί η σωστή απόφαση αντιστοίχισης, από την μεγάλη ισχύ του θορύβου στις περιοχές αυτές. 50

63 3.6. Ανακεφαλαίωση 3.6 Ανακεφαλαίωση Το κεφάλαιο αυτό είναι ένα σημαντικό βήμα προς την επίτευξη του στόχου της εργασίας αυτής: την δημιουργία εικόνας υψηλής ευκρίνειας. Ωστόσο, η αντιστοίχηση εικόνων αποτελεί ένα ξεχωριστό θέμα μελέτης. Οι διαφορικές μέθοδοι που μελετήθηκαν στο κεφάλαιο αυτό, προσφέρουν μεγάλη ακρίβεια, αλλά για μικρές μόνο παραμορφώσεις. Φυσικά αυτό είναι το ζητούμενο για τις εικόνες υψηλής ευκρίνειας, αλλά όχι για τις εικόνες υψηλής ανάλυσης. Στο επόμενο κεφάλαιο θα παρουσιαστεί η κύρια μέθοδος αντιστοίχησης που μπορεί να χρησιμοποιηθεί για μεγάλες παραμορφώσεις, ώστε να επιτευχθεί η σύνθεση πανοραμικών εικόνων. 51

64 Κεφάλαιο 4 Ανακατασκευή Εικόνας Υψηλής Ανάλυσης Στο κεφάλαιο αυτό, θα μελετηθούν μέθοδοι ανακατασκευής εικόνων υψηλής ανάλυσης από εικόνες εισόδου χαμηλής ανάλυσης, οι οποίες παρουσιάζουν μερική επικάλυψη. Με αυτό τον τρόπο αυξάνεται το ορατό οπτικό πεδίο στην τελική εικόνα και δημιουργούνται πανοραμικές εικόνες [30],[15],[42],[31], [32],[50],[49]. Τα βήματα των μεθόδων αυτών συνοψίζονται στα εξής: 1. Αντιστοίχηση εικόνων. 2. Επαναπροβολή εικόνων. 3. Ανάμειξη εικόνων (image bling). Ωστόσο η αντιστοίχηση των εικόνων δεν μπορεί να γίνει με την χρήση των μεθόδων που μελετήθηκαν στο Κεφάλαιο 3, επειδή δεν μπορούν να αποδώσουν σε τόσο μεγάλες γεωμετρικές παραμορφώσεις. Επομένως η αντιστοίχηση θα γίνει με την εύρεση χαρακτηριστικών των εικόνων, τα οποία θα πρέπει να αναζητηθούν στις διαδοχικές εικόνες. 4.1 Χαρακτηριστικά Εικόνων Οι εικόνες περιέχουν σημαντική πληροφορία. Η εξαγωγή ιδιαίτερων χαρακτηριστικών από μία εικόνα, είναι μία απο τις σημαντικότερες διαδικασίες στο πεδίο της επεξεργασία εικόνας. Ωστόσο για να επιτευχθεί η αντιστοίχηση με χρήση χαρακτηριστικών, αυτά θα πρέπει να είναι: 1. ευδιάκριτα. 2. ανθεκτικά στο θόρυβο. 3. εύκολα στον εντοπισμό τους. Μετά από τόσα χρόνια έρευνας, τα δύο χαρακτηριστικά εικόνων που προτάθηκαν για την αντιστοίχηση εικόνων είναι: 1. Ακμές. 2. Γωνίες/ ενδιαφέροντα σημεία. Στις επόμενες παραγράφους θα μελετηθούν αναλυτικά αυτά τα δύο χαρακτηριστικά και πως μπορούν να χρησιμοποιηθούν στο πρόβλημα αντιστοίχησης εικόνων. 52

65 4.2. Ακμές Εικόνων 4.2 Ακμές Εικόνων Οι ακμές είναι ένα απο τα πιο σημαντικά χαρακτηριστικά μίας εικόνας. Ορίζουν τα περιγράμματα αντικειμένων, διαχωρίζουν ομογενείς περιοχές κ.α. Η ακμή είναι πολύ δύσκολο να οριστεί ακριβώς. Μία πολύ καλή προσέγγιση στον ορισμό της ακμής, είναι ότι η ακμή ορίζεται ως το σύνορο που διαχωρίζει ομογενείς περιοχές. Στο σύνορο αυτό, παρουσιάζεται έντονη μεταβολή της έντασης φωτεινότητας. Οι ακμές, είναι ένα από τα πιο σημαντικά χαρακτηριστικά μίας εικόνας. Για αυτό το λόγο, η ανίχνευση ακμών μπορεί να συντελέσει στην επίλυση του προβλήματος της αντιστοίχησης. Στην συνέχεια περιγράφονται συνοπτικά οι σημαντικότερες κατηγορίες μεθόδων ανίχνευσης ακμών Διαφορική Ανίχνευση Από τον ορισμό των ακμών προκύπτει εύκολα το συμπέρασμα, ότι οι ακμές εμφανίζονται στις θέσεις όπου υ- πάρχει έντονη μεταβολή των τιμών έντασης των εικονοστοιχείων. Επομένως οι ακμές μπορούν να θεωρηθούν ότι βρίσκονται στις θέσεις, όπου η παράγωγος παρουσιάζει τοπικά μέγιστα. Στην συνέχεια ορίζοντας ένα κατώφλι, μπορεί να αποφασιστεί αν ένα εικονοστοιχείο ανήκει σε ακμή ή όχι, εφόσον η απόλυτη τιμή της παραγώγου είναι μεγαλύτερη από το κατώφλι. Το κατώφλι μπορεί να οριστεί αυτόματα, και συνήθως ισούται με την μέση τιμή των τιμών της παραγώγου. Η παράγωγος στην εικόνα μπορεί να οριστεί ως η διαφορά μεταξύ δύο διαδοχικών εικονοστοιχείων. Ωστόσο μία πιο ακριβής τιμή της παραγώγου, μπορεί να υπολογιστεί χρησιμοποιώντας ένα μπλοκ εικονοστοιχείων, στο οποίο μπλοκ, το σημείο που υπολογίζεται η παράγωγος είναι το κεντρικό. Επομένως με την πράξη της συνέλιξης μπορεί να υπολογιστεί και η παράγωγος. Το μέτρο της παραγώγου δίνεται από: ενώ η κατεύθυνση από: G = G x 2 + G y 2 = f x f y, (4.1) ( ) φ(x, y) = tan 1 My (x, y). (4.2) M x (x, y) Από τον θεωρητικό ορισμό της μονοδιάστατης παραγώγου, προκύπτουν οι προσεγγιστικές λύσεις της μονοδιάστατης παραγώγου : f f(x) f(x + Δx) (x), ή (4.3) Δx f (x) f(x + Δx) f(x Δx). (4.4) 2Δx Έχουν προταθεί μία σειρά από τελεστές που προσεγγίζουν την μερική παράγωγο στην περίπτωση των εικόνων. Οι πιο γνωστοί τελεστές είναι: Τελεστές Roberts Τελεστές Prewitt Τελεστές Sobel H x = [ ] 1 0, H 0 1 y = [ ] 0 1. (4.5) H x = 1 0 1, H y = (4.6) H x = , H y = (4.7)

66 4.2. Ακμές Εικόνων Οι τελεστές Sobel είναι πολύ δημοφιλείς, γιατί με μικρή υπολογιστική πολυπλοκότητα επιτυγχάνουν ικανοποιητική ποιότητα. Επιπλέον μπορεί να επεκταθούν και να εφαρμοστούν σε μεγαλύτερα μπλοκ στον υπολογισμό της παραγώγου. Παράδειγμα ενός τέτοιου τελεστή για τον υπολογισμό της παραγώγου κατά την οριζόντια διεύθυνση δίνεται από την ακόλουθη σχέση: H x = (4.8) Ανίχνευση Μηδενικών με Χρήση του Τελεστή Laplace Μία άλλη προσέγγιση στην εύρεση των ακμών, είναι η εύρεση των σημείων που μηδενίζεται η δεύτερη παράγωγος της εικόνας. Σε αυτά τα σημεία η παράγωγος της εικόνας παρουσιάζει πιθανώς ελάχιστα ή μέγιστα. Για να υπολογιστεί η δεύτερη παράγωγος μπορεί να χρησιμοποιηθεί ο ακόλουθος τελεστής του Laplace : Δf = 2 f x f y 2. (4.9) Η εφαρμογή του τελεστή Laplace στην εικόνα μπορεί να επιτευχθεί με συνέλιξη, χρησιμοποιώντας το φίλτρο : H = (4.10) Ο τελεστής αυτός ενισχύει το θόρυβο, που πιθανώς υπάρχει στην εικόνα. Για αυτό το λόγο χρησιμοποιείται ο τελεστής LoG (Laplacian of Gaussian), ο οποίος προκύπτει εφαρμόζοντας το τελεστή Laplace στην συνάρτηση Gaussian: h(r) = e r2 2σ 2, r 2 = x 2 + y 2. (4.11) Επομένως προκύπτει : LoG = 2 h(r) = 2 h 2 x + 2 h 2 y = σ 2 r2 σ 4 e r 2 2σ 2. (4.12) Παράδειγμα φίλτρου που αντιπροσωπεύει το τελεστή LoG είναι : LoG = (4.13) Εφαρμόζοντας τον τελεστή LoG (συνέλιξη), στην συνέχεια αναζητούνται τα μηδενικά που προκύπτουν στην επεξεργασμένη εικόνα. Ωστόσο πιο καλά αποτελέσματα λαμβάνονται, αν αναζητηθούν τα σημεία στα οποία αλλάζει πρόσημο η εικόνα δεύτερης παραγώγου, που προκύπτει από την εφαρμογή του τελεστή LoG (zero crosssings) Ανίχνευση Canny Ο Canny [12], όρισε τα βέλτιστα κριτήρια που πρέπει να τηρεί ένα εικονοστοιχείο, ώστε να ανήκει σε κάποια ακμή, θεωρώντας ότι η εικόνα περιέχει θόρυβο με κανονική κατανομή. Τα βήματα του αλγορίθμου Canny είναι : 1. Ομαλοποίηση της εικόνας χρησιμοποιώντας ένα gaussian φίλτρο, ώστε να μειωθεί η επίδραση του θορύβου. 2. Εφαρμογή των τελεστών Sobel. 3. Υπολογισμός τοπικών κορυφών (non maximum supression). 4. Χρηση κατωφλίου που θα αποφασίζει αν το σημείο ανήκει σε ακμή ή όχι. 54

67 4.2. Ακμές Εικόνων Τα βήματα του αλγορίθμου, εκτός του τρίτου δεν απαιτούν περαιτέρω επεξήγηση. Στο τρίτο βήμα γίνεται μία προσπάθεια, ώστε να ανιχνευθούν μόνο οι κορυφές των ακμών. Σε ένα μπλοκ 3 3, ένα σημείο μπορεί να θεωρηθεί ότι είναι μέγιστο, αν η παράγωγος στο σημείο αυτό, είναι μεγαλύτερη από την παράγωγο κατεύθυνσης των δύο ημιεπιπέδων, που ορίζονται από την κατεύθυνση της ακμής. Αυτό απαιτεί να υπολογιστούν οι τιμές της παραγώγου σε μία ευθεία που είναι κάθετη στην πιθανή ακμή, όπως φαίνεται στο Σχήμα 4.1. Σχήμα 4.1: Εύρεση ακμής κατά την διεύθυνση του τοπικού μέγιστου. Σχήμα 4.2: Ανίχνευση ακμών: αρχική εικόνα, τελεστές Prewitt,τελεστές Robert, τελεστές Sobel, Τελεστής LoG, Τελεστής Canny. 55

68 4.2. Ακμές Εικόνων Σχήμα 4.3: Ανίχνευση ακμών με θόρυβο: αρχική εικόνα, τελεστές Prewitt,τελεστές Robert, τελεστές Sobel, Τελεστής LoG, Τελεστής Canny. Επομένως αν P (x, y) είναι το σημείο που εξετάζεται, αυτό θα θεωρηθεί μέγιστο και επομένως θα ανήκει σε ακμή αν η παράγωγος του M(x, y) (M x και M y τα σημεία που ορίζουν τα διανύσματα κατεύθυνσης της ακμής), είναι μεγαλύτερη από την παράγωγο στα σημεία Μ 1 και M 2, που είναι τα σημεία που ορίζουν τα κάθετα διάνύσματα προς την κατεύθυνση της ακμής. Επειδή τα σημεία Μ 1 και M 2, δεν έχουν ακέραιες συντεταγμένες, οι πραγματικές συντεταγμένες μπορούν να προσεγγιστούν, με την χρήση γειτονικών τους σημείων (παρεμβολή). Η παρεμβολή υπολογίζει την παρακάτω εκτίμηση για τα σημεία Μ 1 και M 2 : και M 1 = M y M x M(x + 1, y 1) + M x M y M x M(x, y 1) (4.14) M 2 = M y M x M(x 1, y + 1) + M x M y M x M(x, y + 1). (4.15) Στο Σχήμα 4.2, παρουσιάζονται τα αποτελέσματα όλων των μεθόδων ανίχνευσης ακμών που αναλύθηκαν. Είναι εμφανές ότι οι τελεστές Roberts και Prewitt ανιχνέυουν με την χρήση κατωφλίου μόνο τις πολύ ισχυρές ακμές. Ο τελεστής Sobel εμφανίζει λίγο καλύτερα αποτελέσματα από τον τελεστή LoG. Ο τελεστής Canny έχει ανιχνεύσει ακμές τις οποίες, οι άλλοι αλγόριθμοι δεν έχουν ανιχνεύσει και επιπλέον τις τοποθετεί σε καλύτερη θέση (επειδή η διαδικάσια εύρεσης κορυφών δημιουργεί ακμές με μικρότερο πάχος). Φυσικά αν δεν χρησιμοποιηθεί αυτόματη κατωφλίωση, με το κατάλληλο κατώφλι η κάθε μέθοδος μπορεί να πλησιάσει την συμπεριφορά του τελεστή Canny. Ωστόσο αν υπάρχει θόρυβος τα πράγματα αλλάζουν. Όλοι οι τελεστές εντοπίζουν "ψευδοακμές", επειδή οι τελεστές ακμών είναι διαφορικοί τελεστές και ενισχύουν τον θόρυβο. Ωστόσο ο τελεστής Canny είναι ανθεκτικός στο θόρυβο και δεν επηρεάζεται σημαντικά από την παρουσία θορύβου. Στο Σχήμα 4.3, αποδεικνύεται η ανθεκτικότητα του ανιχνευτή Canny στο θόρυβο. 56

69 4.3. Ενδιαφέροντα σημεία 4.3 Ενδιαφέροντα σημεία Οι ακμές είναι ένα χρήσιμο χαρακτηριστικό, αλλά δεν είναι το ιδανικότερο χαρακτηριστικό για να χρησιμοποιηθεί στην αντιστοίχηση. Για αυτό το λόγο, αναζητήθηκαν χαρακτηριστικά τα οποία να αποτελούνται από απλά εικονοστοιχεία. Ιδανικά θεωρούνται τα σημεία, τα οποία αποτελούν γωνίες σχημάτων, τα οποία είναι γνωστά και ως ενδιαφέροντα σημεία. Όπως και με τις ακμές, έτσι και με τα ενδιαφέροντα σημεία, είναι δύσκολο να οριστούν. Μία πρώτη προσέγγιση του ορισμού τους, είναι ότι ενδιαφέροντα σημεία είναι αυτά που παρουσιάζουν έντονη καμπυλότητα (curvature). Είναι γωστό από τα μαθηματικά, ότι η καμπυλότητα μιάς καμπύλης c(t), που είναι εκφρασμένη σε παραμετρική μορφή (x(t), y(t)) δίνεται από την ακόλουθη σχέση: ẋÿ ẏẍ k =, (4.16) (ẋ 2 + ẏ) 3 2 όπου ż, z, η πρώτη και η δεύτερη τάξης παράγωγος της συνάρτησης z(t) αντίστοιχα. Μια δεύτερη προσέγγιση, η οποία είναι πιο προσιτή στην περίπτωση των εικόνων, είναι ότι τα ενδιαφέροντα σημεία, είναι τα σημεία όπου η μεταβολή της φωτεινότητας είναι μεγάλη προς όλες τις δυνατές κατευθύνσεις. Αν φ(x, y), είναι η συνάρτηση της γωνίας κατεύθυνσης αλλαγής, της μεταβολής της φωτεινότητας. Η καμπύλη c(t) μπορεί να εκφραστεί παραμετρικά από τις ακόλουθες σχέσεις: x(t) = x + t cos(φ(x, y)), (4.17) y(t) = x + t sin(φ(x, y)). (4.18) Τα συνημίτονα και ημίτονα των παραπάνω σχέσεων, μπορούν να εκφραστούν με την χρήση των σημείων Mx και M y, των διανυσμάτων κατεύθυνσης της ακμής, τα οποία παρουσιάστηκαν στην Παράγραφο Επόμενως οι Σχέσεις (4.17), (4.18), είναι ισοδύναμες με τις παρακάτω αντίστοιχες σχέσεις: My cos(φ(x, y)) = Mx2 + My, (4.19) 2 Η καμπυλότητα, ορίζεται από την ακόλουθη σχέση: 1 k φ (x, y) = (Mx 2 + My 2 ) 3 2 Mx sin(φ(x, y)) = Mx2 + My. (4.20) 2 k φ (x, y) = φ t = φ x t t + φ y t t. (4.21) Χρησιμοποιώντας τις Σχέσεις (4.17), (4.18), (4.19), (4.20), (4.21), τελικά προκύπτει: ( My 2 Mx x MxMy My x + My Mx2 y Ανιχνευτής Movarec MxMy Mx y ). (4.22) Ο Movarec [27], για να υπολογίσει την καμπυλότητα, και επομένως τα σημεία που παρουσιάζουν έντονη μεταβολή φωτεινότητας προς όλες τις κατευθύνσεις, όρισε το μέτρο: E u,v = w i= w j= w w (P x+i,y+j P x+i+u,y+j+u ) 2. (4.23) Δηλαδή σε ένα μπλοκ μεγέθους (2w + 1) (2w + 1), υπολογίζεται η μέση μεταβολή της φωτεινότητας για διάφορες μετατοπίσεις d = [u v] T. Η πιο συνηθισμένη περίπτωση είναι να χρησιμοποηθούν οι τέσσερις βασικές κατευθύνσεις: αριστερά, δεξιά, πάνω και κάτω. Για να είναι το υποψήφιο εικονοστοιχείο ενδιαφέρον, πρέπει όλες οι τιμές στις παραπάνω μετατοπίσεις να είναι πολύ μεγάλες. Η μετρική του τελεστή Movarec είναι ουσιαστικά μία απλή προσέγγιση της συνάρτησης αυτοσυσχέτισης της εικόνας. Αυτό μπορεί εύκολα να αποδειχθεί, χρησιμοποιώντας το ανάπτυγμα Taylor της συνάρτησης. Έστω 57

70 4.3. Ενδιαφέροντα σημεία P x+i,y+j και P x+i+u,y+j+u, δύο σημεία της εικόνας που ορίζουν το διάνυσμα d = [u v] T. Αν τα δύο σημεία απέχουν μικρή απόσταση, τότε το P x+i+u,y+j+u μπορεί να προσεγγιστεί από: P x+i+u,y+j+u = P x+i,y+j + P x+i,y+j x u + P x+i,y+j v. (4.24) y Άρα, αν υπολογιστoύν με παρόμοιο τρόπο η απόσταση και των υπόλοιπων γειτονικών σημείων προκύπτει ότι: E u,v = w w i= w j= w ( Px+i,y+j x u + P 2 x+i,y+j v). (4.25) y Eπομένως προκύπτει ότι η μετρική του Movarec, για μικρές τιμές των u, v είναι ισοδύναμη με την Σχέση (4.25) Ανίχνευση Harris Η Σχέση (4.25), που είναι πολυώνυμο δευτέρου βαθμού (παραβολή) μπορεί να γραφεί ως: E u,v = A(x, y)u 2 + 2C(x, y)uv + B(x, y)v 2, (4.26) όπου C(x, y) = A(x, y) = B(x, y) = w w i= w j= w w ( Px+i,y+j x i= w j= w w w ( Px+i,y+j i= w j= w w ( Px+i,y+j x y ) 2, (4.27) ) 2, (4.28) ) ( Px+i,y+j y ). (4.29) Όπως είναι γνωστό, η κάθε παραβολή μπορεί να στραφεί, ώστε οι άξονές της να συμπίπτουν με τους βασικούς άξονες συντεταγμένων. Σε αυτή την περίπτωση η παραβολή γράφεται: F u,v = α(x, y) 2 u 2 + β(x, y) 2 v 2. (4.30) Οι τιμές α(x, y), β(x, y), είναι ανάλογες της αυτοσυσχέτισης της εικόνας και πρέπει να είναι ταυτόχρονα υψηλές, ώστε να υπάρχει υψηλή μεταβολή έντασης φωτεινότητας, προς όλες τις κατευθύνσεις. Επομένως ως μέτρο καμπυλότητας μπορεί να οριστεί: c k = α(x, y)β(x, y) k(α(x, y) + β(x, y)) 2. (4.31) Ο πρώτος όρος εξασφαλίζει, ότι το μέτρο της καμπυλότητας θα είναι υψηλό όταν τα α(x, y), β(x, y), θα έχουν υψηλή τιμή ταυτόχρονα. Ο δέυτερος όρος εξασφαλίζει ότι η τιμή του μέτρου θα μειωθεί, εφόσον οι τιμές των α(x, y), β(x, y), δεν είναι ταυτόχρονα υψηλές. Η τιμή της σταθεράς k, καθορίζει, αν η μετρική θα είναι ευαίσθητη, ή αν θα είναι ανεχτική και επομένως πιο ανθεκτική σε θόρυβο. Πειραματικές μετρήσεις αποδεικνύουν, ότι η τιμή του k, πρέπει να κυμαίνεται μεταξύ του 0.04 και Μία εναλλακτική λύση που είναι ανεξάρτητη της παραπάνω σταθεράς είναι η ακόλουθη μετρική: c k = Συνδυάζοντας τις Σχέσεις (4.29) και (4.30), προκύπτει ότι: α(x, y)β(x, y) α(x, y) + β(x, y). (4.32) α(x, y)β(x, y) = A(x, y)b(x, y) C(x, y) 2 (4.33) και α(x, y) + β(x, y) = A(x, y) + B(x, y). (4.34) 58

71 4.4. Αντιστοίχηση Ενδιαφέροντων Σημείων Χρησιμοποιώντας το μητρώο της αυτοσυσχέτισης M: [ ] A(x, y) C(x, y) M =, (4.35) C(x, y) B(x, y) προκύπτει τελικά ότι η μετρική της καμπυλότητας δίνεται από την ακόλουθη σχέση: ή από την ισοδύναμη της Σχέσης (4.32): c k = Μ ktrace(m) 2, (4.36) c k = Μ trace(m). (4.37) Ο ανιχνευτής Harris [19], χρησιμοποιεί την Σχέση (4.36). Ωστόσο για να είναι πιο ανθεκτική σε θόρυβο αλλά και για να ανιχνεύει μόνο τα μέγιστα υψηλής τιμής και να τα απομονώνει από τα άλλα γειτονικά μέγιστα, ο ανιχνευτης Harris χρησιμοποεί παρόμοια βήματα με αυτά που χρησιμοποιήθηκαν και στον αλγόριθμο Canny, που παρουσιάστηκε στην Παράγραφο Επομένως ο ολοκληρωμένος αλγόριθμος του ανιχνευτή Harris είναι: 1. Ομαλοποιήση της εικόνας χρησιμοποιώντας ένα gaussian φίλτρο. 2. Υπολογισμός της καμπυλότητας από την Σχέση (4.36). 3. Χρήση κατωφλίου που θα αποφασίζει αν το σημείο είναι ενδιαφέρον ή όχι. 4. Εύρεση τοπικών μεγίστων (non maximum supression), ώστε να απομονώνονται μόνο οι κορυφές. Σχήμα 4.4: Ενδιαφέροντα σημεία. Το αποτέλεσμα της χρήσης του τελεστη Harris, παρουσιάζεται στο Σχήμα Αντιστοίχηση Ενδιαφέροντων Σημείων Το σημαντικότερο βήμα για την ανακατασκευή εικόνας υψηλής ανάλυσης, με εικόνες εισόδου μερικής επικάλυψης, είναι η αντιστοίχηση. Ο αλγόριθμος της αντιστοίχησης με την χρήση των ενδιαφέροντων σημείων έχει ως εξής: 59

72 4.5. Επαναπροβολή Εικόνων 1. Εύρεση χαρακτηριστικών σημείων (ανιχνευτής Harris). 2. Αρχική εκτίμηση αντιστοίχησης ενδιαφέροντων σημείων μεταξύ των εικόνων f, g. Συνήθως χρησιμοποιείται μία μετρική ομοιότητας, με μικρό μέγεθος παραθύρου, όπως αυτές που μελετήθηκαν στην Παράγραφο Όλα τα ενδιαφέροντα σημεία αντιστοιχίζονται, με αυτό που παρουσιαζουν την μεγαλύτερη ομοίοτητα. Συνήθως χρησιμοποιείται η ετερεσυσχέτιση που είναι ανθεκτική και σε φωτομετρικές παραμορφώσεις. 3. Εύρεση του γεωμετρικού μετασχηματισμού με την χρήση του αλγόριθμου RANSAC (RANdom SAmple Consensus). Στην συνέχεια με την χρήση της μετρικής της Σχέσης (4.38) ή της Σχέσης (4.39), υπολογίζονται οι αποστάσεις όλων των αντιστοιχισμένων σημείων. Όσες αποστάσεις είναι μικρότερες από ένα κατώφλι ε, θεωρούνται μικρές και επομένως τα σημεία αυτά, όντως εκφράζονται από τον γεωμετρικό μετασχηματισμό (inliers). 4. Επιλέγεται ο γεωμετρικός μετασχηματισμός H, όπου έχει τα περισσότερα αντιστοιχισμένα σημεία με μικρή απόσταση. Για να υπολογιστεί το σφάλμα εκτίμησης του γεωμετρικού μετασχηματισμού, χρησιμοποειται το άθροισμα των αποστάσεων του ευθύ και του αντίστροφου μετασχηματισμού. Δηλαδή αν x, το πραγματικό σημείο στην μία εικόνα και x, το αντίστοιχο του στην άλλη (η αντιστοιχία έχει αρχικά εκτιμηθεί με την χρήση του Βήματος 2 του παραπάνω αλγορίθμου), τότε η απόσταση σφάλματος του μετασχηματισμού είναι d(x Hx) και του αντίστροφου μετασχηματισμού είναι d(x H 1 x ) αντίστοιχα. Επομένως το συνολικό σφάλμα που προκύπτει ειναι: d(x Hx) + d(x H 1 x ), (4.38) όπως φαίνεται και στο Σχήμα 4.5. Πολλές φορές για μεγαλύτερη ακρίβεια χρησιμοποιείται η μετρική Sampson [39] που ορίζεται από την ακόλουθη σχέση: (x T Hx) 2 E s = (Hx 1 ) 2 + (Hx 2 ) 2 + (H T x 1 )2 + (H T x. (4.39) 2 )2 Σχήμα 4.5: Υπολογισμός ακρίβειας γεωμετρικού μετασχηματισμού. 4.5 Επαναπροβολή Εικόνων Εφόσον επιτευχθεί η αντιστοίχηση των εικόνων, το επόμενο βήμα είναι η επαναπροβολή των εικόνων. Η επαναπροβολή των εικόνων ειναι η διαδικασία, κατά την οποία οι συντεταγμένες των εικονοστοιχείων κάθε εικόνας, τοποθετούνται στις θέσεις που προκύπτουν, μετά από την εφαρμογή του γεωμετρικού μετασχηματισμού. Μία εικόνα ορίζεται ως εικόνα αναφοράς και στην συνέχεια εφαρμόζονται οι γεωμετρικοί μετασχηματισμοί στις υ- πόλοιπες, ώστε να επιτευχθεί η "συνένωση" των εικόνων. Ουσιαστικά αυτή η διαδικασία είναι η προβολή των εικόνων εισόδου σε μία επιφάνεια. Οι τρεις πιο γνωστές μέθοδοι επαναπροβολής είναι: 1. Επίπεδη Επαναπροβολή (planar projection). Σε αυτή την περίπτωση, εφαρμόζοντας τους γεωμετρικούς μετασχηματισμούς που υπολογίστηκαν, οι εικόνες τοποθετούνται σε ένα επίπεδο. 2. Κυλινδρική Επαναπροβολή (cylindrical projection). Η κυλινδρική επαναπροβολή, απαιτεί τον υπολογισμό παραμέτρων του συστήματος καταγραφής (πχ εστιακή απόσταση). Εφόσον, υπολογιστούν οι παράμετροι [39], μπορεί να γίνει η επαναποβολή στην επιφάνεια ενός κυλίνδρου. Είναι ιδανική επιλογή όταν οι γεωμετρικοί μετασχηματισμοί είναι περιστροφές. 60

73 4.6. Ανάμειξη εικόνων 3. Επαναπροβολή του Peleg [30]. Η μέθοδος αυτή, είναι πιθανώς ιδανική για τυχαίους και σύνθετους γεωμετρικούς μετασχηματισμούς. Η βασική της ιδέα είναι, ότι αντί να χρησιμοποιείται μία γενική επιφάνεια επαναπροβολής, αναπροσαρμόζονται τα εικονοστοιχεία των εικόνων. Αυτό επιτυγχάνεται, χρησιμοποιώντας ως οδηγό μία κάμερα μονής στήλης (push broom camera), η οποία επαναπροβάλλει τα εικονοστοιχεία κάθε στήλης, εφαρμόζοντας τον γεωμετρικό μετασχηματισμό της συγκεκριμένης στήλης. Σχήμα 4.6: Σετ εικόνων ευθυγράμμισης και περιοχές επικάλυψής τους. Η επαναπροβολή μπορεί να παρουσιάσει μεγάλο σφάλμα, όταν η περιοχή επικάλυψης είναι μικρή και οι εικόνες είναι πολλές. Σε αυτή την περίπτωση, το σφάλμα υπολογισμού των γεωμετρικών μετασηματισμών είναι μεγάλο και στην "συνένωση" είναι ορατό. Για αυτό το λόγο, πρέπει να επιλεχθεί η εικόνα αναφοράς με τέτοιο τρόπο, ώστε οι ενδιάμεσοι μετασχηματισμοί να μην προκαλούν μεγάλες γεωμετρικές παραμορφώσεις. Μία απλή λύση στο πρόβλημα αυτό, είναι η επιλογή ως εικόνα αναφοράς της μεσαίας εικόνας στο σετ των εικόνων εισόδου. Ωστόσο υπάρχει περίπτωση οι εικόνες εισόδου να μην είναι μία συνεχόμενη ακολουθία, αλλά πολλές. Για παράδειγμα στο Σχήμα 4.6, οι εκόνες εισόδου αποτελούνται από δύο ακολουθίες εικόνων. Σε αυτή την περίπτωση, αφού υπολογιστούν οι γεωμετρικοί μετασχηματισμοί με την χρήση του αλγορίθμου RANSAC, υπολογίζονται πάλι ποια αντίστοιχα ενδιαφέροντα σημεία έχουν μικρότερη απόσταση. Οι γεωμετρικοί μετασχηματισμοί που παρουσιάζουν το μεγαλύτερο πλήθος σημείων με μικρή απόσταση (inliers), θεωρούνται "γειτονικοί" και επομένως αλλάζει η σειρά των εικόνων, ώστε να ανταποκρίνεται στην "γειτονικότητα" των γεωμετρικών μετασχηματισμών. Μετά από αυτή την αλλαγή στην θέση των εικόνων εφαρμόζεται η επαναπροβολή, όπως περιγράφηκε παραπάνω. 4.6 Ανάμειξη εικόνων Η ανάμειξη εικόνων είναι σημαντική διαδικασία και αποτελεί ξεχωριστό πεδίο έρευνας με εξαιρετικό ενδιαφέρον. Οι πιο σημαντικές για την περίπτωση ανακατασκευής εικόνας υψηλής ανάλυσης είναι: 1. Χρήση κοντινότερου κέντρου. 2. Χρήση συναρτήσεων βάρους. 3. Χρήση μέσης ή μεσαίας τιμής. 4. Χρήση Πυραμίδας Burt-Adelson [10] Κοντινότερο Κέντρο Η επαναπροβολή των εικόνων στο πλέγμα της εικόνας υψηλής ανάλυσης, τοποθετεί τα αντίστοιχα εικονοστοιχεία σε διαφορετικές θέσεις. Επομένως για κάθε εικονοστοιχείο της εικόνας υψηλής ανάλυσης, υπολογίζονται οι απόστασεις που απέχει από τα αντίστοιχα εικονοστοιχεία των εικόνων εισόδου και επιλέγεται η τιμή του εικονοστοιχείου της εικόνας εισόδου που βρίσκεται πιο κοντά. 61

74 4.6. Ανάμειξη εικόνων Συναρτήσεις Βάρους Οι συναρτήσεις βάρους μπορούν να χρησιμοποιηθούν, ώστε να αλλάξουν την διαφάνεια των εικονοστοιχείων. Έστω w το μήκος και h το ύψος της εικόνας. Ξεκινώντας από το κέντρο της εικόνας, το οποίο παραμένει αμετάβλητο, τα εικονοστοιχεία αποσβένουν ανάλογα με την απόσταση τους από το κέντρο της εικόνας εισόδου. Έτσι τα απομακρυσμένα εικονοστοιχεία προσφέρουν λιγότερο από τα εικονοστοιχεία που βρίσκονται πλησιέστερα στο κέντρο. Μία συνάρτηση βάρους που χρησιμοποιείται συνήθως, είναι η ακόλουθη: f(x, y) = (1 (x w 2 )2 )(1 (y h 2 )2 ). (4.40) Επειδή οι αλληλοεπικαλυπτόμενες περιοχές στην εικόνα υψηλής ανάλυσης, συνήθως βρίσκονται στα άκρα των εικόνων εισόδου, μειώνοντας την τίμη των εικονοστοιχείων αυτών, έχει ως αποτέλεσμα τα εικονοστοιχεία να αναμειχθούν καλύτερα Μέση ή Μεσαία Τιμή Η περίπτωση ανάμειξης με χρήση μέσης τιμής ή μεσαίας τιμής, είναι η πιο απλή περίπτωση ανάμειξης. Αφού επαναπροβληθούν οι εικόνες, υπολογίζονται οι αλληλοεπικαλυπτούμενες περιοχές. Στην συνέχεια, στις περιοχές αυτές υπολογίζεται η μέση τιμή ή μεσαία τιμή από τα αντίστοιχα εικονοστοιχεία των εικόνων εισόδου. Επιπλέον μπορεί να εφαρμοστεί κάποιο φίλτρο στις εικόνες εισόδου πριν την επαναπροβολή τους και στη συνέχεια, να επιλεχθεί η μέση ή η μεσαία τιμή (temporal median filtering) Πυραμίδα Burt-Adelson Μία πολλά υποσχόμενη και πιο πολύπλοκη μέθοδος, είναι η χρήση πυραμίδας Burt-Adelson [10], η οποία εφαρμόζεται ανά ζεύγη εικόνων εισόδου (εικόνες Α και Β). Εκτός των εικόνων εισόδου, χρησιμοποιείται μία μάσκα που έχει διαστάσεις ίσες με τις εικόνες εισόδου. Για να περιγραφεί η μέθοδος, ορίζονται τα εξής: L A, L B, L mask, τα επίπεδα της laplacian πυραμίδας των εικόνων Α, Β και της μάσκας αντίστοιχα. G A, G B, G mask, τα επίπεδα της gaussian πυραμίδας των εικόνων Α, Β και της μάσκας αντίστοιχα. Αρχικά υπολογίζονται οι laplacian πυραμίδες, των εικόνων καθώς και της μάσκας. Στην συνέχεια κατασκευάζεται μία νέα laplacian πυραμίδα, η οποία προκύπτει από ένα κυρτό γραμμικό συνδυασμό, σύμφωνα με την σχέση: L S = G mask L A + (1 G mask )L B. (4.41) Σχήμα 4.7: Παραδείγματα μασκών. Η τελική εικόνα προκύπτει συνθέτοντας όλα τα επίπεδα της νέας πυραμίδας (αναλυτικά οι πυραμίδες παρουσιάζονται στην Παράγραφο 1.5). Η μάσκα επιλέγεται έτσι, ώστε να λαμβάνεται υπόψην για τη μισή νέα εικόνα, η μισή εικόνα Α (αριστερό μισό) και για την υπόλοιπη εικόνα, η μισή εικόνα του Β (δεξιό μισό). Η σύνθεση της εικόνας με την χρήση laplacian πυραμίδας επιτυγχάνει ζωνοπερατό φιλτάρισμα σε κάθε ενδιάμεσο επίπεδο της πυραμίδας. Υπάρχουν και καλύτερες επιλογές για την μάσκα. Χρησιμοποιώντας συναρτήσεις βάρους, οι συντελεστές της μάσκας γίνονται λιγότερο "απότομοι" και επομένως επιτυγχάνεται καλύτερη ανάμειξη σε κάθε επίπεδο της πυραμίδας. Στο Σχήμα 4.7, απεικονίζονται δύο απλές περιπτώσεις συναρτήσεων βάρους. Στην συνέχεια παρουσιάζονται παραδείγματα αναμείξης εικόνων. Στο Σχήμα 4.8 και στο Σχήμα 4.9, απεικονίζονται οι αρχικές εικόνες που θα αναμειχθούν [10]. Στο Σχήμα 4.10 παρουσιάζεται το αποτέλεσμα της χρήσης μεσαίας τιμής. Η ανάμειξη των δύο φρούτων δεν είναι η καλύτερη δυνατή, ενώ εμφανίζονται αντικείμενα που δεν υπήρχαν (δύο μολύβια σε κάθε πλευρά, ενώ στην πραγματικότητα είναι ένα διαφορετικό από κάθε πλευρά)!!! 62

75 4.6. Ανάμειξη εικόνων Στο Σχήμα 4.11 και στο Σχήμα 4.12, παρουσιάζονται τα αποτελέσματα της πυραμίδας Burt-Adelson. Στην μία περίπτωση χρησιμοποιήθηκε γραμμική μάσκα και στην άλλη περίπτωση παραβολική. Η ανάμειξη των δύο φρούτων είναι ικανοποιητική (με ελαφριά καλύτερα απότελεσμα να αποδίδονται από την παραβολική μάσκα), ενώ η ανάμειξη των δύο μολύβιων είναι πλήρως επιτυχής. Σχήμα 4.8: Πρώτη εικόνα ανάμειξης. Σχήμα 4.9: Δεύτερη εικόνα ανάμειξης. 63

76 4.6. Ανάμειξη εικόνων Σχήμα 4.10: Ανάμειξη εικόνων με την χρήση μεσαίας τιμής. Σχήμα 4.11: Ανάμειξη εικόνων με την πυραμίδα Burt Adelson με γραμμική μάσκα. Σχήμα 4.12: Ανάμειξη εικόνων με την πυραμίδα Burt Adelson με μη γραμμική μάσκα. 64

77 4.7. Ανακεφαλαίωση 4.7 Ανακεφαλαίωση Το παρών κεφάλαιο αποτελεί την εισαγωγή στην σύνθεση εικόνων υψηλής ανάλυσης, όταν οι εικόνες εισόδου έχουν αλληλοεπικαλυπτόμενες περιοχές. Η εύρεση γεωμετρικών μετασχηματισμών που περιέχουν οι εικόνες αυτής της κατηγορίας, απαιτούν ειδική αντιμετώπιση, ώστε να επιτευχθεί αντιστοίχηση ακριβείας. Φυσικά σε τέτοιες περιπτώσεις, η ανάμειξη των εικόνων στο πλέγμα της εικόνας της υψηλής ανάλυσης παίζει καθοριστικό ρόλο στην επιτυχία της σύνθεσης. Αν και η σύνθεση εικόνας υψηλής ανάλυσης είναι σημαντική και με πολλές εφαρμογές, πιο μεγάλο ενδιαφέρον παρουσιάζει η ανακατασκευή εικόνων υψηλής ευκρίνειας, το οποίο είναι και το θέμα του επόμενου κεφάλαιου. 65

78 Κεφάλαιο 5 Ανακατασκευή Εικόνας Υψηλής Ευκρίνειας Στο παρών κεφάλαιο, περιγράφονται οι πιο πολύπλοκες και ποιοτικά καλύτερες μέθοδοι ανακατασκευής εικόνας υ- ψηλής ευκρίνειας [34],[13],[24],[21],[20],[40],[29],[16],[8],[14],[1],[22],[38],[51]. Όπως έχει ήδη αναφερθεί (Κεφάλαιο 2), το μοντέλο παρατήρησης του προβλήματος είναι : όπου: g 1 g 2... g k 1 g k f, η εικόνα υψηλής ανάλυσης. = D 1 B 1 W 1 D 2 B 2 W 2... D k 1 B k 1 W k 1 D k B k W k f + e 1 e 2... e k 1 e k = Af + e, (5.1) g i, i = 1, 2,..., k, εικόνες εισόδου χαμηλής ανάλυσης, εκφρασμένες σε διανυσματική μορφή. D i, i = 1, 2,..., k, μητρώα που προκύπτουν από την διαδικασία υποδειγματοληψίας της f. B i, i = 1, 2,..., k, μητρώα που αποτυπώνουν την παραμόρφωση, που προκαλεί η PSF σε κάθε εικόνα g i. W i, i = 1, 2,..., k, μητρώα που αποτυπώνουν την εφαρμογή του γεωμετρικού μετασχηματισμού που αντιστοιχεί σε κάθε εικόνα g i. e i, i = 1, 2,..., k, προσθετικός θόρυβος κάθε εικόνας g i. Το ζητούμενο είναι η ανακατασκευή της εικόνας f. Εφόσον έχουν λυθεί τα αναγκαία προβλήματα αντιστοίχησης των υποψήφιων εικόνων και είναι γνωστή η θέση των εικονοστοιχείων στο πλέγμα της εικόνας της υψηλής ευκρίνειας, το μόνο που απομένει είναι η εκχώρηση της τιμής σε κάθε εικονοστοιχείο στην εικόνα υψηλής ευκρίνειας. Η απόφαση αυτή, δεν είναι εύκολη παρ' όλο που έχει γίνει η τοποθέτηση των εικονοστοιχείων των εικόνων εισόδου, στο πλέγμα της εικόνας υψηλής ευκρίνειας. Οι δυσκολίες που προκύπτουν οφείλονται στους παρακάτω παράγοντες: 1. Μη ακριβής αντιστοίχηση εικόνων. Σε περίπτωση που η μέθοδος αντιστοίχησης (Κεφάλαιο 3), δεν επιτύχει αντιστοίχηση ακριβείας, δημιουργείται σοβαρό πρόβλημα στην ανακατασκεύη, όπως φαίνεται και στο Σχήμα Η επιπλεόν πληροφορία που είναι διαθέσιμη με τις πολλές εικόνες εισόδου, δεν εξασφαλίζει ότι κάθε εικονοστοιχείο των εικόνων εισόδου, είναι διαφορετικό και θα τοποθετηθεί σε διαφορετικό εικονοστοιχείο της εικόνας υψηλής ευκρίνειας. Αυτό μπορεί να συμβαίνει, είτε γιατί δεν είναι επαρκές το πλήθος των εικόνων (πχ στο παράδειγμα του Σχήματος 2.11, είναι διαθέσιμες τρεις ενώ απαιτούνται τέσσερις), είτε γιατί 66

79 5.1. Ανακατασκευή των Papoulis-Gerchberg Σχήμα 5.1: Αποτυχία ανακατασκευής εικόνας υψηλής ανάλυσης λόγω σφάλματος στην αντιστοίχηση. ισχύουν κάποια από τα προβλήματα της αντιστοίχησης που αναφέρθηκαν στην Παράγραφο 3.5. Επομένως σε κάποιες θέσεις μπορεί να βρεθούν παραπάνω από ένα εικονοστοιχεία, αλλά και σε άλλες θέσεις να μην υπάρξει κανένα (εμφάνιση οπών). Για αυτό το λόγο στις περισσότερες μεθόδους χρησιμοποιείται και παρεμβολή στο πλέγμα της εικόνας υψηλής ευκρίνειας (Κεφάλαιο 2). 3. Υπάρχουν τα προβλήματα καταγραφής, τα οποία έχουν αναλυθεί στην Παράγραφο Στον τεράστιο όγκο δεδομένων που προκύπτει. 5.1 Ανακατασκευή των Papoulis-Gerchberg Η ανακατασκευή των Papoulis-Gerchberg, είναι μία από τις πρώτες προσπάθειες ανακατασκεύης εικόνας υψηλής ευκρίνειας. Για να λειτουργήσει, θέτει τους εξής περιορισμούς, τους οποίους πρέπει να επαληθεύει η εικόνα ανακατασκευής: 1. Πρέπει να είναι γνωστές (ή να έχουν υπολογιστεί εξαρχής), οι τιμές έντασης ενός ποσοστού εικονοστοιχείων της εικόνας υψηλής ευκρίνειας. 2. Η εικόνα υψηλής ευκρίνειας δεν πρέπει να παρουσιάζει απότομες μεταβολές. Εφόσον η εικόνα ικανοποιεί τους περιορισμούς αυτούς, μπορεί να εφαρμοστεί η επαναληπτική διαδικασία της ανακατασκεύης των Papoulis-Gerchberg. Το διάγραμμα ροής του αλγορίθμου παρουσιάζεται στο Σχήμα 5.2 και τα βήματά του είναι: 1. Αντιστοίχηση εικόνων. 2. Tοποθέτηση των εικονοστοιχείων κάθε εικόνας χαμηλής ανάλυσης στο πλέγμα της εικόνας υψηλής ανάλυσης. Αποθήκευση των τιμών και των συντεταγμένων των αρχικών "γνωστών" εικονοστοιχείων. 3. Επανατοποθέτηση αρχικών τιμών στα αρχικά γνωστά σημεία. 4. Υπολογισμός μετασχηματισμού Fourier. 5. Μηδενισμός του περιεχόμενου των υψηλών συχνοτήτων. 6. Υπολογισμός αντίστροφου μετασχηματισμού Fourier (επαναφορά στο πεδίο του χώρου). 7. Επαναληψη των βημάτων (εκτός του πρώτου), μέχρι το σφάλμα μεταξύ δυο διαδοχικών επαναλήψεων να είναι μικρότερο του ε. 67

80 5.2. Ανακατασκευή POCS Σχήμα 5.2: Διάγραμμα αλγορίθμου ανακατασκευής των Papoulis-Gerchberg. Η μέθοδος έχει το πλεονέκτημα ότι είναι απλή και κάθε βήμα της στην επαναληπτική διαδικασία, έχει μικρό υπολογιστικό κόστος. Το αρνητικό είναι ότι οι εικόνες δεν ικανοποιούν πάντα τους περιορισμούς που απαιτούνται και επομένως μπορεί να προκύψει εικόνα με ελαφριά θόλωση, η οποία πολλές φορές, μπορεί να εξαλειφθεί χρησιμοποιώντας κάποια μέθοδο αποκατάστασης (Κεφάλαιο 2). Επίσης είναι δύσκολο να καθοριστεί πάντα το εύρος των υψηλών συχνοτήτων, το οποίο θα μηδενίζεται. Αν και η υπολογιστική πολυπλοκότητα, κάθε επανάληψης είναι μικρή, ο αλγόριθμος συγκλίνει αργά και απαιτούνται πάρα πολλές επαναλήψεις. 5.2 Ανακατασκευή POCS Μία σχετικά απλή μέθοδος ανακατασκευής, είναι η μέθοδος προβολής σε κυρτά σύνολα (Projection on Convex Sets, POCS). Σύμφωνα με την μέθοδο αυτή, οι πιθανές εικόνες ανακατασκευής περιορίζονται από ένα σύνολο περιορισμών. Οι περιορισμοί αυτοί (κυρτά σύνολα), περιγράφουν ουσιαστικά κάποιες επιθυμητές ιδιότητες που πρέπει να επαληθεύει η τελική εικόνα ανακατασκευής. Για κάθε περιορισμό C i ορίζεται και ένας τελεστής προβολής T i. Οι τελεστές T i μπορούν να εξομοιωθούν με διδιάστατα φίλτρα και η προβολή τους, εφαρμόζεται με τηυ πράξη της συνέλιξης. Επομένως για κάθε εικονοστοιχείο της εικόνας υψηλής ευκρίνειας f, πρέπει να υπολογιστεί η πιο κοντινή λύση, η οποία "τέμνει" (χρησιμοποιώντας τον τελεστή προβολής T i ), όλα τα κυρτά σύνολα C i. Η μέθοδος είναι επαναληπτική και το μαθηματικό μοντέλο της διαδικασίας, ορίζεται από την ακόλουθη αναδρομική σχέση: ˆf (n+1) = T i ˆf (n). (5.2) Η εφαρμογή περισσότερων τελεστών, αποτελεί μία απλή επέκταση της παραπάνω σχέσης και είναι η ακόλουθη: ˆf (n+1) = T m T m 1... T 1 ˆf (n), n = m,..., 1. (5.3) Η μέθοδος POCS, είναι απλή στην υλοποίηση, αλλά απαιτεί και αυτή πολλές επαναλήψεις ώστε να συγκλίνει. Επίσης ένα σημαντικό μειονέκτημα της, είναι ότι πρέπει να καθοριστούν εξαρχής όλοι οι περιορισμοί. Ωστόσο η εικόνα ανακατασκευής δεν είναι σίγουρο ότι θα τους ικανοποιεί και επομένως η επιβολή των περιορισμών σε αυτή την περίπτωση, μπορεί να προκαλέσει υποβάθμιση της ποιότητας της ανακατασκευής. 68

81 5.3. Ανακατασκευή Μέσης Εικόνας 5.3 Ανακατασκευή Μέσης Εικόνας Μία ακόμα απλή μέθοδος ανακατασκευής, που χρησιμοποείται συνήθως ως μία ικανοποιητική αρχική εκτίμηση της εικόνας υψηλής ευκρίνειας, είναι η μέση εικόνα υψηλής ευκρίνειας. Η μέση εικόνα προκύπτει από τις εικόνες εισόδου, εφόσον έχουν υπολογιστεί οι γεωμετρικοί μετασχηματισμοί από την λύση των προβλήματων αντιστοίχησης. Για κάθε εικόνα εισόδου, εφαρμόζεται ο γεωμετρικός μετασχηματισμός στο πλέγμα της υψηλής ανάλυσης (υπερδειγματοληψία). Στην συνέχεια, υπολογίζεται ο μέσος όρος από τις υπερδειγματοληπτημένες εικόνες και προκύπτει η μέση εικόνα. Το βασικό πλεονέκτημα της μέσης εικόνας, είναι ότι είναι ανθεκτική στο θόρυβο και ότι υπολογίζεται ταχύτατα. Ωστόσο το αποτελέσμα που συνήθως προκύπτει δεν είναι ικανοποιητικό. Για αυτό το λόγο χρησιμοποιείται στην εύρεση μίας αρχικής εκτίμησης, που απαιτείται από πολυπλοκότερες μεθόδους. 5.4 Ανακατασκευή Ελαχίστων Τετραγώνων Η λύση ελαχίστων τετραγώνων, είναι μία από τις πιο κλασσικές μέθοδους εκτίμησης και έχει χρησιμοποιηθεί σε πολλά προβλήματα της επεξεργασίας εικόνας. Παράδειγμα εφαρμογής της λύσης των ελαχίστων τετραγώνων, παρουσιάστηκε στην Παράγραφο Η λύση των ελαχίστων τετραγώνων, προκύπτει από τη ελαχιστοποίηση της νόρμας : ˆf = arg min f E(f) = arg min g Af 2. (5.4) f Η ελαχιστοποίηση της παραπάνω σχέσης μπορεί να προκύψει εύκολα από την απαίτηση μηδενισμού της μερικής παραγώγου της E(f). Επομένως: E(f) f = 2A T (g Af) = 0 ˆf = (A T A) 1 A T g. (5.5) Δυστυχώς η αντιστροφή του μητρώου A T A είναι, στην πραγματικότητα απαγορευτική και επομένως πρέπει να επιλυθεί με άλλο τρόπο. Η εύρεση του (A T A) 1 απαιτεί την χρήση μίας επαναληπτικής προσεγγιστικής μεθόδου. Η πιο γνωστή επαναληπτική μέθοδος, είναι η μέθοδος της απότομης κατάβασης. Στην μέθοδο αυτή, η λύση προσεγγίζεται ακολουθώντας την αντίθετη κατεύθυνση από την κατεύθυνση της παραγώγου. Επομένως η επαναληπτική λύση δίνεται από: ˆf (n+1) = ˆf (n) + kd, (5.6) το διάνυσμα κατεύθυνσης d δίνεται από την σχέση: d = A T (g A ˆf (n) ). (5.7) Η διαδικασία επαναλαμβάνεται μέχρι το σχετικό σφάλμα να γίνει μικρό. Δηλαδή: A ˆf (n) g g (5.8) Αν η διαδικασία επαναληφθεί μέχρι το σφάλμα να μηδενιστεί, τότε ˆf (n+1) = ˆf (n) και από τις Σχέσεις (5.6), (5.7) προκύπτει: ˆf (n) = (A T A) 1 A T g. (5.9) Επομένως όταν το σφάλμα δυο διαδοχικών επαναλήψεων μηδενιστεί, τότε η επαναληπτική διαδικασία δίνει ως λύση, την λύση των ελαχίστων τετραγώνων. Ωστόσο η λύση των ελαχίστων τετραγώνων δεν προσφέρει ικανοποιητική λύση. Επειδή όπως έχει ήδη αναφερθεί, το πρόβλημα δεν είναι καλώς ορισμένο, απαιτείται να επιβληθεί, κάποιος περιορισμός στο σύνολο λύσεων για να προκύψει καλύτερη λύση. Προσθέτοντας ένα περιοριστικό όρο στην συνάρτηση κόστους των ελαχίστων τετραγώνων, προκύπτει το α- κόλουθο πρόβλημα ελαχίστων τετραγώνων με συνθήκη (constrained least squates) : ˆf = arg min g Af 2 + λ Df 2. (5.10) f 69

82 5.5. Ανακατασκευή Μέγιστης Πιθανοφάνειας Το μητρώο D, είναι γνωστό και ως μητρώο σταθεροποίησης (regularization matrix) και μπορεί να περιέχει πληροφορία, εκ των πρωτέρων γνωστή ή να είναι μητρώο συνέλιξης κάποιου φίλτρου. Επειδή συνήθως η λύση του προβλήματος της Σχέσης (5.4) είναι πολύ ομαλή, συνήθως χρησιμοποιείται ένα υψηλοπερατό φίλτρο. Η επιλογή του λ είναι δύσκολη. Συνήθως επιλέγεται η μέθοδος της σταθεροποίησης Tikhonov [13]. Ωστόσο η μέθοδος αυτή, απαιτεί πολύ αποθηκευτικό χώρο και πολύ υπολογιστική ισχύ και για αυτό δεν μπορεί να χρησιμοποιηθεί όταν υπάρχουν πολλές εικόνες εισόδου. 5.5 Ανακατασκευή Μέγιστης Πιθανοφάνειας O εκτιμητής μέγιστης πιθανοφάνειας, προσπαθεί να εκτιμήσει την εικόνα υψηλής ευκρίνειας μεγιστοποιώντας την πιθανότητα P (g f). Συχνά θεωρείται, ότι ο προσθετικός θόρυβος στο μοντέλο της εικόνας είναι κανονικής κατανομής. Υπό αυτες τις προϋθέσεις, η κατανομή κάθε εικόνας δίνεται από την ακόλουθη σχέση: P (g n ˆf) = x,y 1 σ (ĝn(x,y) gn(x,y)) 2 (2π) e 2σ 2. (5.11) Η συνάρτηση πιθανοφάνειας που αντιστοιχεί στις κατανομές P (g n ˆf) δίνεται από την σχέση: L(g) = K L n (g n ) = n=1 Λογαριθμίζοντας την παραπάνω σχέση, προκύπτει: L(g) = 1 σ 2 K n=1 k P (g n ˆf). (5.12) n=1 (ĝ n g n ) 2 = 1 σ 2 ĝ g 2. (5.13) Η παραπάνω σχέση ισοδυναμεί με την ελαχιστοποίηση της g Af. Επομένως η μέθοδος της μέγιστης πιθανοφάνειας, όταν o θόρυβος είναι κανονικής κατανομής, οδηγεί στην ίδια λύση με την μέθοδο των ελαχίστων τετραγώνων. 5.6 Bayesian Ανακατασκευή Η Βayesian ανακατασκευή, βασίζεται στο γνωστό θεώρημα του Bayes, από το πεδίο των πιθανοτήτων. Η χρήση του θεωρήματος Bayes χρησιμοποιείται, ώστε πιθανή πληροφορία για την εικόνα της υψηλής ευκρίνειας που είναι γνωστή, να χρησιμοποιηθεί στην ανακατασκευή της. Με αυτό τον τρόπο καθορίζονται έμμεσα κάποιες ιδιότητες που πρέπει να έχει η εικόνα υψηλής ευκρίνειας. Ουσιαστικά επιβάλλονται συνθήκες, ώστε να περιοριστούν οι πιθανές λύσεις και να μην ληφθούν υπόψην λύσεις που δεν είναι ικανοποιητικές. Ο εκτιμητής MAP (Maximum A Posteriori), είναι ο εκτιμητής που υπολογίζει ως λύση την εικόνα που μεγιστοποιεί την εκ των υστέρων πιθανότητα (a posteriori probability) P (f g) και η λύση δίνεται, από την λύση του ακόλουθου προβλήματος βελτιστοποίησης: ˆf MAP = arg max P ( ˆf g). (5.14) f Αν εφαρμοστεί το θεώρημα του Bayes, στην παραπάνω σχέση προκύπτει: [ P (g ˆf MAP = arg max ˆf)P ( ˆf) ]. (5.15) f P (g) Η πιθανότητα P (g) είναι ουσιαστικά μία σταθερά κανονικοποίησης και επομένως μπορεί να αγνοηθεί. Επίσης λογαριθμίζοντας την εξίσωση, δεν αλλάζει η φύση του προβλήματος και επομένως η τελική συνάρτηση μεγιστοποίησης είναι η ακόλουθη: [ ˆf MAP = arg max ln P (g ˆf) + ln P ( ˆf) ]. (5.16) f 70

83 5.7. Ανακατασκευή με Χρήση του LMS Για να υπολογιστεί η εκτίμηση της εικόνας υψηλής ευκρίνειας, απαιτείται η χρήση κάποιου στατιστικού μοντέλου της. Μία πολύ διαδεδομένη κατανομή πιθανότητας που χρησιμοποείται, είναι η κατανομή Gibbs, που δίνεται από τον τύπο: P (f) = 1 Z e C c V c(c). (5.17) Στην παραπάνω σχέση, το c συμβολίζει το σύνολο των κλικών των γειτονικών εικονοστοιχείων που χρησιμοποιούνται, C το πλήθος των κλικών, ενώ το V c (C) συμβολίζει τις συναρτήσεις που ορίζονται για κάθε κλίκα εικονοστοιχείων. Η Σχέση (5.16) απλοποιείται αν θεωρηθεί, ότι κάθε εικόνα περιέχει θόρυβο με κανονική κατανομή. Υπό αυτες τις προϋθέσεις η P (g ˆf), δίνεται από την Σχέση (5.11): P (g n ˆf) = K 1 e (ĝ 2 n(x,y) gn(x,y)) 2σ 2 n. (5.18) 2π n=1 Θεωρώντας επιπλέον, ότι οι εικόνες εισόδου είναι ανεξάρτητες μεταξύ τους, η συνολική πιθανότητα δίνεται από την σχέση: P (g ˆf) K = P (g n ˆf). (5.19) n=1 Το τελικό πρόβλημα βελτιστοποίησης, είναι το ακόλουθο: [ ˆf MAP = arg max ] V c (C) 1 f 2σ 2 Af g 2. (5.20) n C c Το βασικό πλεονέκτημα της bayesian ανακατασκευής είναι ότι προσφέρει ένα πλήρες και δυνατό πλαίσιο εργασίας. Ωστόσο αυτό είναι ταυτόχρονα και το μειονέκτημά της. Οι δυσκολίες του πλαίσιου εργασίας της bayesian ανακατασκευής είναι: 1. Δεν είναι εύκολο να καθοριστούν οι παράμετροι. Ακόμα και στην περίπτωση του προβλήματος, της Σχέσης (5.20), πρέπει να καθοριστεί η διασπορά του θορύβου κάθε εικόνας και επιπλέον το σύνολο των συναρτήσεων V c (C). 2. Είναι υπολογιστικά πολύπλοκη και χρονοβόρα διαδικασία και είναι απαγορευτική σε πολλές εφαρμογές πραγματικού χρόνου. 5.7 Ανακατασκευή με Χρήση του LMS Ο αλγόριθμος LMS (Least Mean Squares)[16], είναι πλεόν ένας από τους πιο γνωστούς αλγόριθμους στην επεξεργασία σημάτων. Ο LMS, λειτουργεί όπως και ο αλγόριθμος Wiener που μελετήθηκε στην Παράγραφο 2.3.2, μόνο που αντί να αναζητείται το ελάχιστο της αναμενόμενης τιμής της νόρμας: ελαχιστοποιεί απλά την νόρμα: arg min E f ( Af ˆf 2), (5.21) arg min Af E( ˆf) 2. (5.22) f Φυσικά η εκτιμώμενη εικόνα ˆf κάθε φορά μεταβάλλεται, λαμβάνοντας υπόψην την βελτίωση που προκύπτει από την εφαρμογή του αλγορίθμου. Πριν εφαρμοστεί η ανακατασκευή με χρήση του LMS, έχει υπολογιστεί μία αρχική εκτίμηση της εικόνας (πχ μέση εικόνα f avg ) και οι εκτιμήσεις των γεωμετρικών παραμορφώσεων Ŵi. Στην συνέχεια υπολογίζεται και η εκτιμήση της εικόνας υψηλής ευκρίνειας ˆf 1 0 που προκύπτει από την εικόνα χαμηλής ανάλυσης g 1. Στην συνέχεια εφαρμόζονται τα παρακάτω βήματα: 1. Από τις Κ εικόνες εισόδου, υπολογίζεται η νέα εκτίμηση εικόνας υψηλής ευκρίνειας ˆf 0, i που υπολογίζεται από την ακόλουθη σχέση: ˆf (i+1) (i) 0 = Ŵ(i+1) ˆf K, i = 1,..., Κ. (5.23) 71

84 5.8. Ανακατασκευή των Irani-Peleg 2. Η εικόνα ˆf K i προκύπτει από την επαναληπτική διαδικασια: [ ] ˆf (n+1) (n) 0 = ˆf 0 + λdi T (n) f avg D i ˆf 0, (5.24) όπου: D i, i = 1, 2,..., k, μητρώα που προκύπτουν από την διαδικασία υποδειγματοληψίας της f. λ, παράμετρος που ισοδυναμεί με το βήμα του αλγορίθμου LMS (step size). Η ανακατασκευή με χρήση του LMS παρουσιάζει αυξημένη πολυπλοκότητα σε σχέση με άλλες μεθόδους ανακατασκευής, αλλά είναι πολύ μικρότερη από την αντίστοιχη πολυπλοκότητα της Bayesian ανακατασκευής. Επιπλέον η λύση που προκύπτει είναι ικανοποιητική, χωρίς να απαιτεί να ικανοποιείται κάποια προϋπόθεση. 5.8 Ανακατασκευή των Irani-Peleg Μία ειδική περίπτωση της μεθόδου των Irani-Peleg περιγράφηκε στην Παράγραφο Σε αυτή την παράγραφο, θα παρουσιαστεί η γενική περιπτώση [20], που χρησιμοποιείται στην ανακατασκευή εικόνας υψηλής ευκρίνειας. Για να είναι πιο εύκολη η παρουσίαση της μεθόδου θα χρησιμοποιηθούν οι εξής συμβολισμοί: f, η εικόνα υψηλής ευκρίνειας και g k οι εικόνες χαμηλής ανάλυσης. ˆf (n), η εκτίμηση της εικόνας f στην n-ιοστή επανάληψη και ĝ (n) k οι εικόνες που προκύπτουν στην n-ιοστή επανάληψη, με την εφαρμογή της εξομοίωσης του συστήματος καταγραφής. x, είναι ένα εικονοστοιχείο της εικόνας υψηλής ευκρίνειας, ενώ y είναι ένα από τα εικονοστοιχεία χαμηλής ανάλυσης που αντιστοιχούν στο x. h P SF, το φίλτρο του συστήματος καταγραφής. h BP, το φίλτρο που εφαρμόζεται στην διαδικασία εξομοίωσης εικόνων χαμηλής ανάλυσης. Y k,x, το σετ των εικονοστοιχείων y που αντιστοιχούν στο x εικονοστοιχείο και ανήκουν στην εικόνα g k. c, σταθερά κανονικοποιήσης. Το πρώτο βήμα του αλγορίθμου, είναι η αντιστοίχηση των εικόνων εισόδου και η τοποθέτηση των εικονοστοιχείων στο πλέγμα της εικόνας υψηλής ευκρίνειας. Εφόσον ολοκληρωθεί το βήμα αυτό, η μέθοδος χρησιμοποιεί την βασική ιδέα της μεθόδου της οπισθοπροβολής (back projection), που χρησιμοποείται στην αξονική τομογραφία (CAT:Computer Aided Tomography). Αναλυτικότερα, σε κάθε επανάληψη του αλγορίθμου, από την εκτίμηση της εικόνας υψηλής ευκρίνειας, χρησιμοποιώντας το φίλτρο προβολής h BP και την κρουστική απόκριση του συστήματος καταγραφής h P SF, δημιουργούνται εικόνες που εξομοιώνουν τις εικόνες εισόδου. Το φίλτρο προβολής h BP, αντιστοιχεί στον γεωμετρικό μετασχηματισμό της αντιστοίχησης των εικόνων. Αν και η μέθοδος χρησιμοποιεί την κρουστική απόκριση του συστήματος καταγραφής, δεν απαιτεί την γνώση της πραγματικής κρουστικής απόκρισης. Συνήθως χρησιμοποιείται ένα gaussian φίλτρο, αν και στην [20], προτείνεται: h P SF = h 2 BP. (5.25) Οι διαφορές των παρασκευασμένων εικόνων και των εικόνων εισόδου, μπορούν να θεωρηθούν ως μέτρο ο- μοιότητας της εκτίμησης της εικόνας υψηλής ευκρίνειας. Όσο πιο μικρή η διαφορά τους, τόσο η εκτίμηση της ανακατασκεύης προσεγγίζει την ιδανική. Αν επιτευχθεί τέλεια ανακατασκευή το σφάλμα θα είναι μηδέν. Το σφάλμα των εικόνων σε κάθε επανάληψη της μεθόδου δίνεται από την ακόλουθη σχέση: e (n) = (g k (x, y) ĝ (n) k (x, y))2. (5.26) Η βασική εξίσωση της επαναληπτικής διαδικασίας δίνεται από την ακόλουθη σχέση: ˆf (n+1) (x) = ˆf (n) + k y Y k,x x,y ( ) g k (y) ĝ (n) k (y) h 2 BP (x, y) c y Y k,x h 2 BP (x, y ). (5.27) 72

85 5.9. Προτεινόμενη Μέθοδος Πραγματικού Χρόνου Από την παραπάνω σχέση, είναι φανερό ότι στην εκτίμηση κάθε επανάληψης προστίθεται η διαφορά των εικόνων εισόδου με τις αντίστοιχες εικόνες εξομοίωσης τους. Η αναδρομική Σχέση (5.27), μπορεί να γραφεί με χρήση μητρώων, ως ακολούθως: ˆf (n+1) (x) = ˆf (n) + 1 c BT (g A ˆf (n) ), (5.28) με το μητρώο B T να αντιστοιχεί στον τελεστή οπισθοπροβολής. Αξίζει να σημειωθεί ότι η μέθοδος Irani-Peleg, μπορεί να συσχετιστεί με άλλες μεθόδους ανακατασκευής. Συγκεκριμένα αν στην Σχέση (5.28) το μητρώο B, τεθεί ως Β=ΑS n, όπου S n ο πίνακας συνδιασπορών, τότε η μέθοδος των Irani-Peleg γίνεται ισοδύναμη με την ανακατασκευή μέγιστης πιθανοφάνειας. Επιπλέον η μέθοδος των Irani-Peleg, προσεγγίζει και την ανακατασκεύη LMS, με κύρια διαφορά την μετρική υπολογισμού σφάλματος. 5.9 Προτεινόμενη Μέθοδος Πραγματικού Χρόνου Η ανακατασκευή εικόνας υψηλής ευκρίνειας, είναι μία πολύ ενδιαφέρουσα και χρήσιμη εφαρμογή. Όμως ο μεγάλος όγκος δεδομένων της ανακατασκευής, δημιουργεί προβλήματα στην εφαρμογή της (απαίτηση υψηλής ποσότητας μνήμης), αλλά και στην επεξεργασία της (απαίτηση ισχυρού επεξεργαστή). Οι προαναφερόμενοι παράγοντες δεν αποτελούν εμπόδια, όταν απαιτείται η μέγιστη ευκρίνεια της εικόνας (πχ ιατρικές εφαρμογές). Όμως για τις εφαρμογές που απαιτούν ανακατασκευή σε πραγματικό χρόνο (πχ αναπαραγωγή τηλεοπτικού σήματος ή βίντεο), οι πολύπλοκες μέθοδοι είναι απαγορευτικές. Μετά από τη διεξοδική μελέτη των μεθόδων ανακατασκευής και λαμβάνοντας υπόψην και τις πειραματικές μετρήσεις, που παρουσιάζονται στο Κεφαλάιο 6 προτείνεται η εξής μέθοδος ανακατασκευής εικόνας υψηλής ευκρίνειας πραγματκού χρόνου: 1. Αντιστοίχηση εικόνων με τον αλγόριθμο ECC. 2. Ανακατασκευή εικόνας : I Με χρήση μέσης εικόνας όταν είναι γνωστή η PSF ή είναι μικρή η παραμόρφωση που δημιουργεί. Η τελική εικόνα θα προκύψει με μία ενδεχόμενη αποκατάσταση της εικόνας με χρήση απλών μεθοδων (πχ του φίλτρου Wiener). II Mε χρήση της μεθόδου των Irani-Peleg όταν η PSF είναι άγνωστη. Σε περίπτωση, που απαιτείται μικρότερη υπολογιστική πολυπλοκότητα, μπορεί να χρησιμοποιηθεί η ανακατασκευή με χρήση του LMS. Ο αλγόριθμος που προτάθηκε, δεν είναι ο ταχύτερος, αλλά διασφαλίζει ότι η εικόνα που προκύπτει θα είναι ικανοποιητική. Η αντιστοίχηση, είναι το πιο σημαντικό βήμα στην επιτυχία της ανακατασκεύης και για αυτό το λόγο επιλέχθηκε ο ECC, ο οποίος αποδίδει πολύ καλά, ενώ η πολυπλοκότητα υπολογισμού του, κυμαίνεται σε μέτρια επίπεδα. Όσο για την μέθοδο της ανακατασκευής, επιλέχθηκε η μέθοδος των Irani-Peleg, που προσφέρει ικανοποιητικά αποτελέσματα, χωρίς να είναι υπερβολικά χρονοβόρα. Έχει επιπλέον το πλεονέκτημα ότι μπορέι να τροποπoιηθεί κατάλληλα για συγκεκριμένες εφαρμογές και να αποδίδει ακόμα καλύτερα. Αν ωστόσο η πολυπλοκότητα της μεθόδου των Irani-Peleg για το συγκεκριμένο υπολογιστικό σύστημα είναι υψηλή, τότε μπορεί να χρησιμοποιηθεί ο LMS. Βεβαίως σε εφαρμογές, που η PSF είναι γνωστή ή ασήμαντη προτείνεται ανεπιφύλακτα η μέση εικόνα υψηλής ευκρίνειας. Είναι ταχύτατη στον υπολογισμό της και πολύ ανθεκτική στην παρουσία θορύβου. Επιπλέον στην περίπτωση, που η PSF δεν είναι ασήμαντη αλλά γνωστή, τότε μπορεί το αποτέλεσμα της μέσης εικόνα υψηλής ευκρίνειας να βελτιωθεί με μία απλή μέθοδο αποκατάστασης εικόνας Ανακεφαλαίωση Οι μέθοδοι ανακατασκευής υψηλής ευκρίνειας είναι ιδιαίτερα σημαντικοί. Διαφοροποιούνται από τις μεθόδους υψηλής ανάλυσης που παρουσιάστηκαν στο Κεφάλαιο 4 και η εφαρμογή τους είναι εξαιρετικά σημαντική. Το αξιοσημείωτο είναι, ότι και με απλές μεθόδους (πχ μέση εικόνα) μπορούν να επιτευχθούν ικανοποιητικά αποτελέσματα, αρκεί η λύση των προβλημάτων αντιστοίχησης των εικόνων να είναι ποιοτικές. 73

86 Κεφάλαιο 6 Πειραματικές Μετρήσεις 6.1 Υλοποιήσεις Τεχνικών Σύνθεσης και Πειράματα Στα προηγούμενα κεφάλαια, παρουσιάστηκε αναλυτικά μεγάλο μέρος της θεωρίας, που έχει αναπτυχθεί και απαιτείται για την λύση του πρόβληματος ανακατασκευής εικόνας υψηλής ανάλυσης. Οι περισσότερες μέθοδοι που παρουσιάστηκαν, υλοποιήθηκαν σε περιβάλλον Octave (Matlab). Στο πλαίσιο της εργασίας αυτής υλοποιήθηκαν τα ακόλουθα (δεν αναφέρονται απλές και βοηθητικές μέθοδοι/ συναρτήσεις): 1. Συναρτήσεις δημιουργίας gaussian και laplacian πυραμίδας. 2. Συναρτήσεις δημιουργίας πυραμίδας των Burt-Adelson. 3. Μέθοδοι αντιστοίχησης εικόνων βασισμένων σε: I Μπλοκ αντιστοίχηση με χρήση ετεροσυσχέτισης και με ακρίβεια υποεικονοστοιχείου. II Αντιστοίχηση με χρήση του Fourier. III Διαφορική αντιστοίχηση με των Lucas-Kanade. IV Διαφορική αντιστοίχηση ECC. V Αντιστοίχηση με ενδιαφέροντα σημεία (τελεστής Harris και RANSAC). 4. Μέθοδοι Ανακατασκευής εικόνας υψηλής ανάλυσης βασισμένων: I Στην Μέση Εικόνα. II Στην πολυρυθμική επεξεργασία εικόνων (μέθοδος Papoulis-Gerchberg). III Στις προβολές κυρτών συνόλων (POCS). IV Στην χρήση του LMS. V Στην χρήση της οπισθοπροβολής (ανακατασκευή των Irani-Peleg). Για την αποτίμηση των τεχνικών που υλοποιήθηκαν, δεν υπάρχουν αναγνωρισμένα σετ εικόνων, όπως συμβαίνει σε άλλα προβλήματα επεξεργασίας εικόνας [52],[45] και για αυτό δημιουργήθηκαν διάφορα σετ εικόνων. Σε αυτό το κεφάλαιο ενδεικτικά παρουσιάζονται κάποια από αυτά, τα οποία προέκυψαν χρησιμοποιώντας τις γνωστές εικόνες "Lenna" [52] και "Peppers" [33]. 74

87 6.2. Αποτίμηση Απόδοσης και Σύγκρισης Τεχνικών Σύνθεσης Εικόνων 6.2 Αποτίμηση Απόδοσης και Σύγκρισης Τεχνικών Σύνθεσης Εικόνων Για την αποτίμηση της απόδοσης των μεθόδων που υλοποιήθηκαν, υπολογίζεται το μέσο τετραγωνικό σφάλμα (MSE: Mean Square Error), ανάμεσα στην ιδανική εικόνα και στην εικόνα που προέκυψε, από την εφαρμογή του κάθε αλγορίθμου σύνθεσης. Αξίζει να σημειωθεί ότι, ο υπολογισμός αυτής της μετρικής που ορίζεται από την ακόλουθη σχέση: MSE = 1 NM N 1 i=0 (f(i, j) g(i, j)) 2, (6.1) M 1 j=0 είναι εφικτός, μόνο εφόσον είναι γνωστή η ιδανική εικόνα. Η παραπάνω μετρική, αν και σε πολλές εφαρμογές της θεωρίας σημάτων αποτελεί ιδανική λύση, δεν είναι τόσο ικανοποιητική σε εφαρμογές επεξεργασίας εικόνων. Αυτό μπορεί εύκολα να διαπιστωθεί με ένα παράδειγμα. Στο Σχήμα 6.1, απεικονίζεται στην αριστερή εικόνα, η ιδανική λύση ενός προβλήματος, ενώ οι άλλες δύο εικόνες του Σχήματος 6.1, αποτελούν τις λύσεις δύο αλγορίθμων. Το MSE που προκύπτει είναι το ίδιο, παρ' όλο που οι λύσεις είναι εντελώς διαφορετικές. Σχήμα 6.1: Διαφορετικές εικόνες που έχουν το ίδιο μέσο τετραγωνικό σφάλμα. Το MSE παραμένει ακόμα και σήμερα μία από τις κυριότερες μετρικές σύγκρισης σφάλματος. Στις εφαρμογές επεξεργασίας εικόνας, χρησιμοποιείται συνήθως μία μετρική που βασίζεται στο MSE. Η μετρική αυτή είναι η PSNR (Peak to Signal Noise Ratio) και ορίζεται από την ακόλουθη σχέση: P SNR = 10log 10 N 2 max MSE, (6.2) όπου N max η μέγιστη τιμή φωτεινότητας. Μία μετρική η οποία βασίζεται επίσης στο MSE, είναι το LVMSE (Local Variance Mean Square Error). Η μετρική ορίζεται από την ακόλουθη σχέση : LV MSE = 1 NM N 1 i=0 (σ 2 f(i,j) f(i, j) σ2 g(i,j) g(i, j))2, (6.3) M 1 j=0 όπου σ f,σ g, η τοπική διασπορά των εικόνων f και g αντίστοιχα. To LVMSE, υπόσχεται καλύτερη απότιμηση σφάλματος από το MSE, επειδή λαμβάνει υπόψην την τοπική διασπορά φωτεινότητας σε κάθε εικονοστοιχείο και όπως έχει ήδη αναφερθεί, η ανθρώπινη όραση είναι πιο ευαίσθητη σε περιοχές όπου μεταβάλλεται η φωτεινότητα των εικονοστοιχείων. 75

88 6.3. Απόδοση και Σύγκριση Μεθόδων Αντιστοίχησης 6.3 Απόδοση και Σύγκριση Μεθόδων Αντιστοίχησης Η λύση του προβλήματος της αντιστοίχησης, καθορίζει σε υψηλό βαθμό, την ποιότητα της ανακατασκευής της εικόνας υψηλής ευκρίνειας. Για αυτό το λόγο, κρίνεται αναγκαία η παρουσίαση κάποιων ενδεικτικών αποτελεσμάτων. Ανάμεσα στις πολλές πειραματικές μετρήσεις, που εφαρμόστηκαν σε διάφορες εικόνες και σε διάφορους τυχαίους μετασχηματισμούς, επιλέχθηκαν να παρουσιαστούν οι αντιστοιχήσεις που υπολογίστηκαν για τις εικόνες εισόδου "Peppers 1-8" του Σχημάτος 6.19 και για τις εικόνες εισόδου "Lenna1-9" του Σχημάτος Στα Σχήματα 6.2,6.3,6.4,6.5,6.6, 6.7,6.8,6.9, απεικόνιζονται τα PSNR αντιστοίχησης που επιτυγχάνουν οι δύο αλγόριθμοι διαφορικής αντιστοίχησης. Είναι φανερό ότι ο ECC συκλίνει ταχύτερα στην βέλτιστη λύση από τον αλγόριθμο των Lucas-Kanade. Όμοια συμπεριφορά παρατηρείται και στο άλλο σετ εικόνων, όπως φαίνεται από τα Σχήματα 6.10,6.11,6.12,6.13,6.14, 6.15,6.16,6.17 και Ειδικότερα στα Σχήματα 6.15,6.16, είναι φανερό ότι ο αλγόριθμος ECC συκλίνει πολύ πιο γρήγορα στην βέλτιστη λύση, από τον αλγόριθμο των Lucas-Kanade. Σχήμα 6.2: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers1", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.3: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers2", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. 76

89 6.3. Απόδοση και Σύγκριση Μεθόδων Αντιστοίχησης Σχήμα 6.4: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers3", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.5: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers4", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.6: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers5", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. 77

90 6.3. Απόδοση και Σύγκριση Μεθόδων Αντιστοίχησης Σχήμα 6.7: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers6", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.8: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers7", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.9: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Peppers" και "Peppers8", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. 78

91 6.3. Απόδοση και Σύγκριση Μεθόδων Αντιστοίχησης Σχήμα 6.10: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna1", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.11: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna2", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.12: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna3", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. 79

92 6.3. Απόδοση και Σύγκριση Μεθόδων Αντιστοίχησης Σχήμα 6.13: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna4", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.14: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna5", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.15: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna6", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. 80

93 6.3. Απόδοση και Σύγκριση Μεθόδων Αντιστοίχησης Σχήμα 6.16: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna7", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.17: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna8", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. Σχήμα 6.18: Διάγραμμα PSNR / Επαναλήψεις για την αντιστοίχηση της αρχικής εικόνας "Lenna" και "Lenna9", χρησιμοποιώντας την τεχνική που βασίζεται στον ECC και στην τεχνική των Lucas-Kanade. 81