4.3 Fourier Lucas-Kanade... 34

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ Διατμηματικό Μεταπτυχιακό Πρόγραμμα Σπουδών Συσ τήματα Επεξεργασ ίας Σημάτων και Επικοινωνιών (ΣΕΣΕ) Διπλωματική Εργασ ία Σταθμισ μένη Αντισ τοίχισ η Εικόνων Λαμπρινού Νεφέλη ΑΜ 192 Επιβλέπων Καθηγητής Ψαράκης Εμμανουήλ, Επίκουρος Καθηγητής ΤΜΗΥΠ Πάτρα, Σεπτέμβριος 2014

2

3 Περιεχόμενα 1 Εισ αγωγή Υπολογισ τική Ορασ η Ευθυγράμμισ η Εικόνων Οργάνωσ η Αντισ τοίχισ η Εικόνων Παραμετρικά μοντέλα γεωμετρικών μετασ χηματισ μών Μετατόπισ η Ευκλείδειος Μετασ χηματισ μός Μετασ χηματισ μός ομοιότητας Μετασ χηματισ μός σ υγγένειας Μετασ χηματισ μός προβολής Ορισ μός του προβλήματος Αντισ τοίχισ ης Feature-based Τεχνικές Area-based τεχνικές Μοντέλα Active Appearance Active Μοντέλα Σχήματος Στατισ τικά Μοντέλα Σχήματος Στατισ τικά Appearance Μοντέλα Αναπαράσ τασ η ακμών με χρήσ η προσ ανατολισ μού Εντοπισ μός χαρακτηρισ τικών προσ ώπου Active Appearence Μοντέλα Ανεξάρτητα Μοντέλα Συνδυασ τικά μοντέλα i

4 ΠΕΡΙΕΧΟΜΕΝΑ ΠΕΡΙΕΧΟΜΕΝΑ 4 Αλγόριθμοι βασ ισ μένοι σ το Τετραγωνικό Σφάλμα Αλγόριθμος Lucas-Kanade Γραμμικοποίησ η Compositional και Inverse Compositional αλγόριθμοι Lucas-Kanade με βάρη Fourier Lucas-Kanade Αλγόριθμοι Συσ χέτισ ης Αλγόριθμος ECC Ευθυγράμμισ η Προσ ώπων Inverse-Compositional Αλγόριθμος Σταθμισ μένη Αντισ τοίχισ η Εικόνων Αλγόριθμος P- ECC Μεγισ τοποίησ η του μέτρου ομοιότητας Σταθμισ μένη Αντισ τοίχισ η εικόνων Λύσ η βασ ισ μένη σ τα Ελάχισ τα Τετράγωνα Διαχωρισ μός εξισ ώσ εων Πειράματα Περιγραφή Πειραματικών Δεδομένων Αποτελέσ ματα Χωρίς φωτομετρικές παραμορφώσ εις (Yale B) Με φωτομετρικές παραμορφώσ εις Σψμπεράσματα 60 Παράρτημα Α 62 Παράρτημα Β 65 ii

5 Κατάλογος Σχημάτων 1.1 Σχέσ η ανάμεσ α σ την Υπολογισ τική Ορασ η και άλλα επισ τημονικά πεδία Εικόνες με παραμορφώσ εις που οφείλονται σ ε διαφορετικούς παράγοντες Εφαρμογές της αντισ τοίχισ ης εικόνων σ τις οποίες έμμεσ α ή άμεσ α πρέπει να λυθεί το πρόβλημα της αντισ τοίχισ ης εικόνων Παράδειγμα μετασ χηματισ μών Μετασ χηματισ μός μετατόπισ ης Ευκλείδειος μετασ χηματισ μός Μετασ χηματισ μός ομοιότητας Μετασ χηματισ μός σ υγγένειας Μετασ χηματισ μός προβολής Εξαγωγή χαρακτηρισ τικών σ ε εικόνα Σάρωσ η εικόνας με παράθυρο Παράδειγμα μοντέλων προσ ώπων με τροποποιημένες παραμέτρους κατά ±3 τυπική απόκλισ η Το κάθε παράδειγμα διαιρείται σ ε ένα σ ύνολο σ ημείων και ένα μοντέλο υφής (α ) Μεταβολή σ χήματος (±3 τ.α), (β ) Μεταβολή φωτεινότητας (±3 τ.α), (γ ) Μεταβολή appearance (±3 τ.α) Ο αλγόριθμος TST Στις εικόνες (α)-(δ) το κεφάλι περισ τρέφεται σ ε σ χέσ η με την κάμερα ενώ σ τις (ε)-(η) η επιτυχημένη ανίχνευσ η χαρακτηρισ τικών σ τις προηγούμενες εικόνες Το γραμμικό μοντέλο σ χήματος ενός ΑΑΜ. Το αρχικό μοντέλο s 0 και τα τρία πρώτα διανύσ ματα σ χήματος s 1, s 2, s

6 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ 3.7 Το γραμμικό μοντέλο εμφάνισ ης ενός ανεξάρτητου ΑΑΜ. Η βασ ική εμφάνισ η A 0 και οι τρεις πρώτες εικόνες εμφάνισ ης A 1, A 2, A Δημιουργία παραδείγματος από το ανεξάρτητο ΑΑΜ μοντέλο Σχηματικό διάγραμμα του αλγορίθμου των Lucas-Kanade Εκτίμησ η γεωμετρικού μετασ χηματισ μού σ ε εικόνα με διαφορετικές φωτομετρικές σ υνθήκες από το πρότυπο (a) Η εικόνα αναφοράς και (b) η εικόνα προς αντισ τοίχισ η Παράδειγμα εικόνας (a) παραμορφωμένης για (b)σ = 7 και (c)σ = Ποσ οσ τά σ ύγκλισ ης των σ υγκρινόμενων αλγορίθμων για θόρυβο με σ = 5 : Η επιλογή σ ημείων για σ = 5 (a) σ την 1η επανάληψη, (b) σ την 4η επανάληψη και (c) σ την 7η επανάληψη που ο αλγόριθμος έχει σ υγκλίνει Η επιλογή σ ημείων για σ = 15 (a) σ την 1η επανάληψη, (b) σ την 18η επανάληψη και (c) σ την 28η επανάληψη που ο αλγόριθμος έχει σ υγκλίνει (α) Εικόνα αναφοράς και (β)-(ε) φωτομετρικά παραμορφωμένες εικόνες προς αντισ τοίχισ η Επιλογή σ ημείων σ την 1η επανάληψη για (a) σ = 5 και (b)σ = 10 και (c) όταν ο αλγόριθμος έχει σ υγκλίνει Εφαρμογή PCA σ ε δισ διάσ τατα διανύσ ματα. p είναι ο βασ ικός άξονας. Κάθε σ ημείο x μπορεί να προσ εγγισ τεί από το πλησ ιέσ τερο σ ημείο σ τη γραμμή, x Το μέσ ο πρόσ ωπο και τα κυρίαρχα ιδιοπρόσ ωπα (a) κατά την αρχικοποίησ η και (b) μετά τη δεύτερη επανάληψη

7 Κατάλογος Πινάκων 2.1 Δισ διάσ τατοι γεωμετρικοί μετασ χηματισ μοί Μέσ ο σ φάλμα των επιτυχημένων περιπτώσ εων σ ε εικόνες χωρίς φωτομετρικές παραμορφώσ εις Ποσ οσ τά επιτυχίας % για σ = Ποσ οσ τά επιτυχίας % για σ =

8 Πρόλογος Το πρόβλημα της αντισ τοίχισ ης εικόνων είναι ένα από τα σ ημαντικότερα σ το πεδίο της υ- πολογισ τικής όρασ ης, αφού η ευθυγράμμισ η δύο ή περισ σ ότερων εικόνων χρησ ιμοποιείται τουλάχισ τον σ αν σ τάδιο προεπεξεργασ ίας σ ε ένα μεγάλο αριθμό εφαρμογών. Στην εργασ ία αυτή μας απασ χόλησ ε το πρόβλημα της σ τοίχισ ης εικόνων σ τις οποίες οι φωτομετρικές παραμορφώσ εις είναι τοπικές και δεν μπορούν να μοντελοποιηθούν με το γενικό σ φαιρικό μοντέλο της αντίθεσ ης και της φωτεινότητας, ή/και τμήματα των προς σ τοίχισ η εικόνων είναι αποκλεισ μένα από τη μια από αυτές. Για την αντιμετώπισ η των παραπάνω προβλημάτων, η αντισ τοίχησ η των εικόνων προσ εγγίσ τηκε μέσ ω της σ ταθμισ μένης ελαχισ τοποίησ ης μετρικών σ φάλματος που βασ ίζονται σ το τετραγωνικό σ φάλμα. Συγκεκριμένα, εκμεταλλευόμασ τε την αμεταβλητότητα της κανονικοποιημένης κλίσ ης μιας εικόνας σ ε τοπικές φωτομετρικές παραμορφώσ εις και τη δυνατότητα σ τοίχισ ης κάθε ζεύγους αντίσ τοιχων εικονοσ τοιχείων των υπό σ τοίχισ η εικόνων με την μεγισ τοποίησ η της μεταξύ τους σ υσ χέτισ ης. Ετσ ι πετυχαίνουμε την αποσ ύνδεσ η του αρχικού προβλήματος σ ε δύο υποπροβλήματα η λύσ η των οποίων καταλήγει σ ε δύο υπερκαθορισ μένα σ υσ τήματα γραμμικών εξισ ώσ εων, καθένα εκ των οποίων έχει ως αγνώσ τους τις ανά κατεύθυνσ η παράμετρες του μετασ χηματισ μού που αναζητούμε για την εξάλειψη της γεωμετρικής παραμόρφωσ ης και ως δεξιό μέλος τις τιμές των φωτομετρικών παραμορφώσ εων. Τελικά, με την επιλογή δύο κατάλληλων υποσ υνόλων των προαναφερθέντων γραμμικών εξισ ώσ εων, που εξασ φαλίζουν την εφικτότητα των επιμέρους λύσ εων οδηγούμασ τε σ τον προσ διορισ μό των βέλτισ των παραμέτρων. Η προτεινόμενη τεχνική δοκιμάσ τηκε σ τη βάσ η προσ ώπων Yale Β που έχει χρησ ιμοποιηθεί από άλλες τεχνικές αντισ τοίχισ ης που είναι ειδικά προσ αρμοσ μένες για την αντισ τοίχισ η προσ ώπων. Η απόδοσ η της προτεινόμενης τεχνικής είναι πολύ καλή και υπερτερεί και σ τα ποσ οσ τά σ ύγκλισ ης αλλά και σ την ακρίβεια των λύσ εων από την απόδοσ η των άλλων τεχνικών τόσ ο σ τη σ τοίχισ η εικόνων που έχουν υποσ τεί γεωμετρικές παραμορφώσ εις (από πολύ μικρές μέχρι και πολύ έντονες) όσ ο και σ ε εικόνες με διαφορετικές έντονες φωτομετρικές παραμορφώσ εις. Επίσ ης, η προτεινόμενη τεχνική δοκιμάσ τηκε σ τις βάσ εις του Affine Covariance Regions του University of Oxford σ τις οποίες το περιεχόμενο των εικόνων είναι γενικό και οι ειδικού σ κοπού τεχνικές αποτυγχάνουν, με εξίσ ου πολύ καλή απόδοσ η.

9 Abstract The image registration problem is one of the most important problems in the field of computer vision, since the process of aligning two or more images is used, at least as a preprocessing step, in many applications. In this work, we employed the problem of image alignment in which the photometric deformations are local and can not be modeled with the general spherical model of contrast and brightness, and / or portions of images to align are occluded. To address these problems, the image registration was approached by minimizing the weighted error metric based on squared error. In particular, we exploit the invariance of the normalized image gradient in local photometric deformations so we can align each pair of corresponding pixels in the images by maximizing the correlation between them. Thus, we achieve to dissolve the original problem into two subproblems the solution of which leads to two over-determined systems of linear equations, each of which has the direction parameters of the transformation we seek to estimate as unknowns and as right member the values of photometric deformations. Ultimately, the choice of two suitable subsets of the above linear equations, ensuring the feasibility of individual solutions we are lead to the identification of best parameters. The proposed technique was tested in Yale B face database which has been used by other mapping techniques adapted to matching persons. The performance of the proposed technique is very good and superior at the convergence rates and the accuracy of the solutions to the performance of other techniques concerning both images that have undergone geometrical deformation (from very small to very intense) and images in different intense photometric deformations. Also, the proposed technique was tested on database of Affine Covariance Regions of the University of Oxford in which the content of the images is general and special-purpose techniques fail, with equally good performance.

10

11 Κεφάλαιο 1 Εισ αγωγή Η όρασ η είναι η διαδικασ ία όπου βλέπουμε ενώ ταυτόχρονα κατανοούμε. Οταν βλέπουμε πράγματα τα μάτια μας (η αισ θητήρια σ υσ κευή) σ υλλαμβάνουν την εικόνα και σ τη σ υνέχεια σ τέλνουν την πληροφορία σ το μυαλό (η σ υσ κευή ερμηνείας) που την ερμηνεύει και δίνει νόημα σ ε αυτά που βλέπουμε. Στην υπολογισ τική όρασ η η κάμερα είναι η αισ θητήρια σ υσ κευή και ο υπολογισ τής λειτουργεί ως σ υσ κευή ερμηνείας[16]. 1.1 Υπολογιστική Οραση Η Υπολογισ τική Ορασ η είναι μια από τους μεγαλύτερους και σ υνεχώς εξελισ σ όμενους τομείς της επισ τήμης των υπολογισ τών και έχει ως σ τόχο τη δημιουργία σ υσ τημάτων που θα μπορούν να εξάγουν πληροφορίες από εικόνες. Πολλές από τις σ ύγχρονες εφαρμογές της όπως η πλοήγησ η ρομπότ, οι δορυφορικοί χάρτες, τα σ υσ τήματα ιατρικής διάγνωσ ης από ακολουθίες εικόνων μαγνητικής τομογραφίας ή ακτινογραφίες και χρησ ιμοποιούν τεχνικές αντισ τοίχισ ης εικόνων. Η υπολογισ τική όρασ η είναι ένας τομέας που αφορά την επεξεργασ ία, ανάλυσ η και κατανόησ η των εικόνων με σ κοπό την παραγωγή αριθμητικών ή σ υμβολικών πληροφοριών, για παράδειγμα με τη μορφή αποφάσ εων. Ενας σ τόχος της ανάπτυξης του τομέα αυτού είναι να μπορέσ ει να αντιγράψει τις δυνατότητες της ανθρώπινης όρασ ης σ την αντίληψη και κατανόησ η των εικόνων. 1

12 ΚΕΦΑΛΑΙΟ 1:ΕΙΣΑΓΩΓΗ Σχήμα 1.1: Σχέσ η ανάμεσ α σ την Υπολογισ τική Ορασ η και άλλα επισ τημονικά πεδία Οπως μπορούμε να δούμε σ το Σχήμα 1 είναι προφανής η σ τενή σ χέσ η της υπολογισ τικής όρασ ης με το πεδίο της επεξεργασ ίας εικόνας και της μηχανικής όρασ ης, όμως και πολλά άλλα επισ τημονικά πεδία χρησ ιμοποιούν τεχνικές της, όπως για παράδειγμα η τεχνητή νοημοσ ύνη σ την αναγνώρισ η προτύπων και η νευροβιολογία σ τη μελέτη του βιολογικού σ υσ τήματος όρασ ης. 1.2 Ευθυγράμμιση Εικόνων Ενα από τα σ ημαντικότερα προβλήματα της υπολογισ τικής όρασ ης είναι η αντισ τοίχισ η εικόνων, δηλαδή η διαδικασ ία ευθυγράμμισ ης δυο ή περισ σ ότερων εικόνων, η οποία χρησ ιμοποιείται, τουλάχισ τον σ το σ τάδιο προεπεξεργασ ίας, σ τις περισ σ ότερες εφαρμογές υπολογισ τικής όρασ ης. Ενα αρκετά απαιτητικό πρόβλημα της αντισ τοίχισ ης εικόνων είναι η ευθυγράμμισ η προσ ώπων, ιδιαίτερα όταν αυτή αφορά σ ε πραγματικές εικόνες. Η δυσ κολία προκύπτει κυρίως από τις πολλές διαφορετικές σ υνθήκες που μπορεί να επικρατούν κατά την λήψη της εικόνας, όπως ισ χυρές παραμορφώσ εις, έντονα διαφορετικές σ υνθήκες φωτισ μού, τις διαφορετικές εκφράσ εις που μπορεί να πάρει ένα πρόσ ωπο όπως και η χρήσ η αντικειμένων που μπορεί να κρύβουν μέρος του όπως γυαλιά ηλίου ή φουλάρια, όπως μπορούμε να δούμε σ το Σχήμα 2. Σχήμα 1.2: Εικόνες με παραμορφώσ εις που οφείλονται σ ε διαφορετικούς παράγοντες Το πρόβλημα αυτό είναι υπαρκτό και σ ε εικόνες που δεν έχουν το πρόσ ωπο ως βασ ικό τους 2

13 ΚΕΦΑΛΑΙΟ 1:ΕΙΣΑΓΩΓΗ περιεχόμενο, αν σ ε αυτές βρίσ κουμε παραμορφώσ εις ή επικαλύψεις βασ ικών χαρακτηρισ τικών της σ κηνής, σ ημείων ή αντικειμένων που θα βοηθούσ αν σ την ευθυγράμμισ η. Εφαρμογές της ευθυγράμμισ ης αντικειμένων είναι η ιχνηλάτισ η, η αναγνώρισ η και σ την περίπτωσ η εικόνων με πρόσ ωπα μοντελοποίησ η προσ ώπου και η αλληλεπίδρασ η ανθρώπου υπολογισ τή. 1.3 Οργάνωση Στη σ υνέχεια η εργασ ία οργανώνεται ως εξής: Στο 2ο Κεφάλαιο παρουσ ιάζονται οι δισ διάσ τατοι μετασ χηματισ μοί εικόνων, ορίζεται το πρόβλημα της αντισ τοίχισ ης εικόνων και προσ διορίζονται οι διαφορές ανάμεσ α σ τις διαφορετικές κατηγορίες αντισ τοίχισ ης. Στο 3ο Κεφάλαιο παρουσ ιάζονται τα Active Μοντέλα Σχήματος και τα Active Appearance Μοντέλα που χρησ ιμοποιούνται για τον εντοπισ μό και την αναγνώρισ η προσ ώπων. Στο 4ο Κεφάλαιο αναλύεται ο αλγόριθμος Lucas-Kanade, όπως και οι παραλλαγές του με βάρη και με χρήσ η του μετασ χηματισ μού Fourier. Στο 5ο Κεφάλαιο παρουσ ιάζονται αλγόριθμοι βασ ισ μένοι σ το κριτήριο της σ υσ χέτισ ης, ο ECC (Enhanced Correlation Coefficient) και ένας αλγόριθμος αναγνώρισ ης προσ ώπων. Τέλος σ το 6ο Κεφάλαιο παρουσ ιάζεται ο προτεινόμενος αλγόριθμος σ τοίχισ ης εικόνων και αποτιμάται η απόδοσ ή του από την εφαρμογή του σ ε βάσ εις εικόνων γενικού και ειδικού περιεχομένου. 3

14 Κεφάλαιο 2 Αντισ τοίχισ η Εικόνων Το πρόβλημα της αντισ τοίχισ ης εικόνων το σ υναντάμε σ ε πολλές σ ύγχρονες εφαρμογές της υπολογισ τικής όρασ ης και της επεξεργασ ίας εικόνας, που όπως βλέπουμε και σ την Εικόνα (2.1) αγγίζουν διαφορετικές πτυχές του προβλήματος αφού έχουν να κάνουν με διαχείρισ η ποικίλων τύπων εικόνων (υψηλής ανάλυσ ης, έγχρωμες, grayscale) και σ τοχεύουν σ ε διαφορετικό αποτέλεσ μα. Η αντισ τοίχισ η εικόνων έχει ως σ τόχο την εύρεσ η αντίσ τοιχων σ ημείων σ ε δυο ή περισ σ ότερες εικόνες, τα οποία αποτελούν προβολές του ίδιου σ ημείου της σ κηνής. Δηλαδή η αντισ τοίχισ η εικόνων είναι η διαδικασ ία μετατροπής δυο διαφορετικών σ υνόλων δεδομένων σ το ίδιο σ ύσ τημα σ υντεταγμένων. Σχήμα 2.1: Εφαρμογές της αντισ τοίχισ ης εικόνων σ τις οποίες έμμεσ α ή άμεσ α πρέπει να λυθεί το πρόβλημα της αντισ τοίχισ ης εικόνων 4

15 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Η αντισ τοίχισ η εικόνων είναι βασ ικό κομμάτι σ ε όλα σ χεδόν τα μεγάλα σ υσ τήματα που διαχειρίζονται εικόνες, τα οποία χρησ ιμοποιούν την αντισ τοίχισ η ή μια σ χετική διαδικασ ία σ αν ενδιάμεσ ο βήμα επεξεργασ ίας. Αποτελεί προαπαιτούμενο για τη διαδικασ ία του remote sensing για την παρακολούθησ η του περιβάλλοντος, σ τη δημιουργία πανοραμικών εικόνων, ανάλυσ η κίνησ ης και αναγνώρισ η αντικειμένων. Χρησ ιμοποιείται ακόμα σ το medical imaging για το σ υνδυασ μό δεδομένων από διαφορετικές πηγές (π.χ CT - Computed Tomography και MRI - Magnetic Resonance Imaging) ώσ τε να υπάρχει πιο πλήρης πληροφορία που θα οδηγεί σ ε ασ φαλέσ τερη διάγνωσ η. Πολλές τεχνικές αντισ τοίχισ ης μπορούν επίσ ης να τρέξουν σ ε πραγματικό χρόνο σ ε ενσ ωματωμένες σ υσ κευές σ ε κάμερες ή σ ε κινητά με κάμερα. Ενας αλγόριθμος αντισ τοίχισ ης που έχει σ χεδιασ τεί για μια εφαρμογή μπορεί να μην δουλεύει ή να είναι αναποτελεσ ματικός σ ε κάποια άλλη εφαρμογή. Εξαιτίας της μεγάλης ποικιλίας των εικόνων και του διαφορετικού τύπου υποβαθμίσ εων που αυτές υφίσ τανται, είναι αδύνατος ο σ χεδιασ μός μιας τεχνικής που να είναι βέλτισ τη σ ε όλες τις περιπτώσ εις. Κάθε τεχνική πρέπει να λαμβάνει υπόψη, εκτός από τον τύπο της παραμόρφωσ ης, το είδος της εικόνας, την ύπαρξη θορύβου, την επιθυμητή ακρίβεια της αντισ τοίχισ ης καθώς και άλλα χαρακτηρισ τικά που εξαρτώνται από το είδος της εφαρμογής. Ακόμα και σ ε αυτή την περίπτωσ η οι αλγόριθμοι έχουν περιορισ μούς ως προς το μέγεθος των μετατοπίσ εων ή τη γωνία της περισ τροφής που μπορούν να χειρισ τούν. Η έρευνα της Brown[1] αναφέρει πολλές διαφορετικές τεχνικές που βασ ίζονται σ ε σ υνδυασ μούς των ακόλουθων βασ ικών σ τοιχείων/σ υσ τατικών: 1. Το χώρο των χαρακτηρισ τικών, που περιλαμβάνει τα σ τοιχεία της εικόνας που θα χρησ ιμοποιηθούν για την αντισ τοίχισ η. 2. Το χώρο αναζήτησ ης, που καθορίζει τους επιτρεπτούς μετασ χηματισ μούς μεταξύ των εικόνων. 3. Τη σ τρατηγική αναζήτησ ης, που ορίζει τη μέθοδο με την οποία θα αναζητήσ ουμε ανάμεσ α σ τους μετασ χηματισ μούς ώσ τε να βρούμε τον κατάλληλο, και 4. Το μέτρο ομοιότητας, που θα χρησ ιμοποιήσ ουμε για να υπολογίσ ουμε την καταλληλότητα της κάθε πιθανής λύσ ης. Η πλειοψηφία των τεχνικών αντισ τοίχισ ης χωρίζονται σ ε δυο μεγάλες κατηγορίες, τις featurebased και τις area-based τεχνικές. Οι feature-based τεχνικές εντοπίζουν σ ημεία ενδιαφέροντος όπως γωνίες, τομή ευθειών κτλ και σ τη σ υνέχεια τα χρησ ιμοποιούν για να υπολογίσ ουν μια προσ έγγισ η του μετασ χηματισ μού. Οι area-based τεχνικές χειρίζονται το πρόβλημα αντιμετωπίζοντας την εικόνα ως σ ύνολο και προσ παθούν να σ υσ χετίσ ουν τις εικόνες υπολογίζοντας καθολικούς περιγραφείς ή χρησ ιμοποιώντας την έντασ η των εικονοσ τοιχείων (pixels) (intensity-based method). 5

16 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ 2.1 Παραμετρικά μοντέλα γεωμετρικών μετασχηματισμών Οι δισ διάσ τατοι γεωμετρικοί μετασ χηματισ μοί μπορούν γενικά να κατηγοριοποιηθούν όπως φαίνεται σ τον Πίνακα ;; Μετασ χηματισ μός Βαθμοί ελευθερίας Διατηρούνται Μετατόπισ η 2 Προσ ανατολισ μός Ευκλείδειος (Μετατόπισ η + Περισ τροφή) 3 Μήκος, Εμβαδόν Ομοιότητας (Μετατόπισ η + Περισ τροφή + Κλίμακα) 4 Αναλογία μηκών, Γωνίες Συγγένειας 6 Παραλληλία ευθειών, Αναλογία περιοχών Προβολής 8 Ευθείες γραμμές Πίνακας 2.1: Δισ διάσ τατοι γεωμετρικοί μετασ χηματισ μοί Το μοντέλο που θα επιλέξουμε να χρησ ιμοποιήσ ουμε σ ε μια εφαρμογή εξαρτάται από το είδος της εφαρμογής. Για παράδειγμα σ την περίπτωσ η που εξετάζουμε μια ακολουθία εικόνων βίντεο, η οποία έχει προκύψει από υψηλή δειγματοληψία και υποθέτοντας ότι υπάρχει κίνησ η ενός αντικειμένου σ τη σ κηνή, ένα μοντέλο μετατόπισ ης αρκεί για να περιγράψουμε την κίνησ η ανάμεσ α σ ε δυο διαδοχικές εικόνες. Στις περιπτώσ εις αντισ τοίχισ ης πραγματικών εικόνων σ υνήθως θεωρούμε ότι έχουμε μετασ χηματισ μό σ υγγένειας (affine), ο οποίος καλύπτει και τις περιπτώσ εις των πιο απλών μετασ χηματισ μών. Στην επόμενη παράγραφο παρουσ ιάζονται αναλυτικά οι παραπάνω μετασ χηματισ μοί. Σε ότι ακολουθεί με x = [x,y] t σ υμβολίζουμε το εικονοσ τοιχείο της αρχικής εικόνας και x = [x,y ] t το αντίσ τοιχο εικονοσ τοιχείο της εικόνας όπου έχουμε εφαρμόσ ει το μετασ χηματισ μό, οι παραπάνω μετασ χηματισ μοί παρουσ ιάζονται αναλυτικά. Σχήμα 2.2: Παράδειγμα μετασ χηματισ μών 6

17 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Μετατόπιση Το πιο απλό μοντέλο, η μετατόπισ η ορίζεται ως εξής: x = x + t (2.1) όπου t = [t x,t y ] t. Ο μετασ χηματισ μός αυτός διατηρεί όλα τα χαρακτηρισ τικά της εικόνας εκτός από τη θέσ η της. Σχήμα 2.3: Μετασ χηματισ μός μετατόπισ ης Ευκλείδειος Μετασχηματισμός Ο μετασ χηματισ μός αυτός περιλαμβάνει εκτός από μετατόπισ η και περισ τροφή και ορίζεται ως: x = Rx + t (2.2) όπου το R το ακόλουθο μητρώο περισ τροφής είναι R = [ cos(θ) sin(θ) sin(θ) cos(θ) ] (2.3) για το οποίο ισ χύει RR T = I, είναι δηλαδή ορθοκανονικό και R = 1, ενώ το R 1 = R T δηλώνει περισ τροφή κατά γωνία θ. Ο μετασ χηματισ μός αυτός διατηρεί τα μήκη των ευθειών και το εμβαδόν του σ χήματος. 7

18 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Σχήμα 2.4: Ευκλείδειος μετασ χηματισ μός Μετασχηματισμός ομοιότητας Ο μετασ χηματισ μός προσ θέτει σ τον ευκλείδειο τη δυνατότητα κλιμάκωσ ης της εικόνας και ορίζεται ως: x = srx + t (2.4) όπου s ένας οποιοσ δήποτε αριθμός που δείχνει την κλιμάκωσ η. Υπάρχει η δυνατότητα να έχουμε διαφορετική κλιμάκωσ η σ ε κάθε άξονα. Στην περίπτωσ η αυτή ο παράγοντας κλιμάκωσ ης αντικαθίσ ταται από ένα μητρώο κλιμάκωσ ης S = [ sx 0 0 s y ] (2.5) Ο μετασ χηματισ μός αυτός διατηρεί τις αναλογίες των μηκών και τις γωνίες του σ χήματος, όπως μπορούμε να δούμε σ το σ χήμα που ακολουθεί. 8

19 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Σχήμα 2.5: Μετασ χηματισ μός ομοιότητας Μετασχηματισμός συγγένειας Ο μετασ χηματισ μός σ υγγένειας (affine transformation) ορίζεται από τη σ χέσ η: x = Ax + t (2.6) όπου τα σ τοιχεία του 2 2 πίνακα A μπορούν να πάρουν οποιαδήποτε τιμή. Οι προηγούμενοι μετασ χηματισ μοί αποτελούν ειδικές περιπτώσ εις του affine μετασ χηματισ μού. Λόγω της σ τρέβλωσ ης ο μετασ χηματισ μός αυτός διατηρεί μόνο την παραλληλία των ευθειών καθώς και την αναλογία μεταξύ των περιοχών. Σχήμα 2.6: Μετασ χηματισ μός σ υγγένειας 9

20 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Μετασχηματισμός προβολής Αντίθετα από όλους τους προηγούμενους μετασ χηματισ μούς που είναι γραμμικοί, ο μετασ χηματισ μός προβολής είναι ένας μη γραμμικός μετασ χηματισ μός που ορίζεται ως εξής: ˆx = H ˆx (2.7) όπου ˆx = [ˆx/ŵ,ŷ/ŵ,1] t και ˆx = [x,y,1] t οι ομογενείς σ υντεταγμένες και H ένα 3 3 μητρώο με h 33 = 1. Στην περίπτωσ η που έχουμε h 31 = h 32 = 0 τότε έχουμε έναν affine μετασ χηματισ μό. Ο μετασ χηματισ μός προβολής διατηρεί μόνο τις ευθείες γραμμές δηλαδή όσ ες γραμμές ή- ταν ευθείες παραμένουν έτσ ι και μετά το μετασ χηματισ μό, ενώ σ υχνά αναφέρεται και ως ομογραφία (homography). Σχήμα 2.7: Μετασ χηματισ μός προβολής 2.2 Ορισμός του προβλήματος Αντιστοίχισης Η αντισ τοίχισ η εικόνων (image registration) είναι η διαδικασ ία κατά την οποία δημιουργούμε ευθυγράμμισ η (alignment) δυο διαφορετικών λήψεων της ίδιας σ κηνής, μεταφέροντας τα δεδομένα τους σ ε κοινό σ ύσ τημα σ υντεταγμένων. Οι λήψεις μπορεί να έχουν γίνει από διαφορετικούς αισ θητήρες, σ ε διαφορετικές χρονικές σ τιγμές, από διαφορετικές θέσ εις ή σ ε διαφορετικές σ υνθήκες φωτισ μού. Η ευθυγράμμισ η έχει την έννοια της αποκατάσ τασ ης των γεωμετρικών και φωτομετρικών παραμορφώσ εων που μπορεί να υπάρχουν ανάμεσ α σ τις σ υγκεκριμένες εικόνες. Η αντισ τοίχισ η μπορεί να ορισ τεί ως η διαδικασ ία αναζήτησ ης αντίσ τοιχων σ ημείων σ ε δυο εικόνες που αποτελούν προβολές της ίδιας σ κηνής. Εχουμε μια εικόνα T (x,y), η οποία 10

21 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ χρησ ιμοποιείται ως πρότυπο (template) με το οποίο σ υγκρίνονται οι υπόλοιπες εικόνες (observations), I(x,y) και η αντισ τοίχισ η σ τοχεύει σ την ευθυγράμμισ ή τους απαντώντας σ το ερώτημα Ποιο σ ημείο της I(x,y) αντισ τοιχεί σ το σ ημείο T (x i,y i ) Διαφορετικά μπορούμε να ορίσ ουμε την αντισ τοίχισ η ως την αναζήτησ η της σ χέσ ης του σ υσ τήματος σ υντεταγμένων της μιας εικόνας με αυτό της άλλης, δηλαδή την αναζήτησ η του γεωμετρικού μετασ χηματισ μού τον οποίο αν εφαρμόσ ουμε σ τη μια εικόνα θα έχουμε ως α- ποτέλεσ μα μια προσ έγγισ η της άλλης. Ο μετασ χηματισ μός αυτός δεν εφαρμόζεται σ τις τιμές έντασ ης των εικόνων, αλλά μόνο σ τις σ υντεταγμένες των εικονοσ τοιχείων, με αποτέλεσ μα το πρόβλημα να είναι εξορισ μού μη γραμμικό, αφού δεν υπάρχει σ υσ χέτισ η των σ υντεταγμένων των εικονοσ τοιχείων και των τιμών έντασ ης που αυτά εμφανίζουν. Στις περισ σ ότερες περιπτώσ εις δεν χρειάζεται καν η αντισ τοίχισ η και σ τις τιμές έντασ ης, εκτός αν για παράδειγμα αλλάζει ο τύπος του αισ θητήρα. Το πρόβλημα της αντισ τοίχισ ης απαιτεί την εκτίμησ η της σ χέσ ης των ανεξάρτητων μεταβλητών κάνοντας χρήσ η της πληροφορίας που παίρνουμε από τις εξαρτημένες μεταβλητές. Στην περίπτωσ η των εικόνων η εξαρτημένη μεταβλητή είναι η τιμή της φωτεινότητας των εικονοσ τοιχείων. Άρα ο μόνος τρόπος για να πάρουμε χρήσ ιμες πληροφορίες για την αντισ τοίχισ η μέσ ω της φωτεινότητας είναι να σ υσ χετίσ ουμε τις παρατηρήσ εις με το γεωμετρικό μετασ χηματισ μό. Για να είναι αυτό δυνατό θα πρέπει να ισ χύει μια υπόθεσ η που είναι γνωσ τή ως υπόθεσ η σ ταθερής φωτεινότητας (brightness constancy assumption). Θεωρούμε δηλαδή ότι το κάθε εικονοσ τοιχείο έχει την ίδια έντασ η φωτεινότητας και σ τις δυο εικόνες. Αν το εικονοσ τοιχείο (x 0,y 0 ) του πρότυπου εμφανίζεται μετατοπισ μένο κατά x και y σ τους ά- ξονες x και y αντίσ τοιχα σ την εικόνα παρατήρησ ης τότε σ ύμφωνα με την παραπάνω υπόθεσ η ισ χύει: T (x 0,y 0 ) = I(x 0 + x,y 0 + y) (2.8) Γενικά η υπόθεσ η αυτή ισ χύει σ ε ελάχισ τες, πολύ ειδικές περιπτώσ εις. Εχουμε ορίσ ει τις εικόνες ως δυο δισ διάσ τατους πίνακες T (x,y) και I(x,y) το πρότυπο και την παρατήρησ η αντίσ τοιχα, όπου σ ε κάθε κελί υπάρχει ένας πίνακας με την έντασ η του κάθε χρώματος σ την περίπτωσ η της έγχρωμης εικόνας, την έντασ η του γκρι σ την περίπτωσ η της grayscale εικόνας και 0 ή 1 σ την περίπτωσ η της δυαδικής εικόνας. Η σ χέσ η μεταξύ των εικόνων περιγράφεται από τη σ χέσ η: I(ˆx,ŷ) = f(t (x,y)) (2.9) όπου f() σ υνάρτησ η η οποία παραμορφώνει φωτομετρικά την αρχική εικόνα ώσ τε να έχουμε σ αν αποτέλεσ μα την παρατήρησ η. Αναζητούμε τις περιοχές T=(x,y) του προτύπου και τις 11

22 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ παραμέτρους μιας διανυσ ματικής σ υνάρτησ ης μετασ χηματισ μού σ υντεταγμένων w(x,y;p) : R 2 R 2, όπου p = [p 1,p 2,...,p n ] t το διάνυσ μα των παραμέτρων του μετασ χηματισ μού, για την οποία ελαχισ τοποιείται κάποια μετρική απόσ τασ ης (T,p) = arg min p Φ r [T (x,y)] Φ t {I[w(x,y;p)]} (2.10) με τον επιπλέον περιορισ μό ότι η περιοχή T μεγισ τοποιείται. Θεωρούμε ότι οι εικόνες έχουν υποσ τεί κάποια παραμόρφωσ η των εντάσ εων του κάθε εικονοσ τοιχείου τους που είναι ανεξάρτητη από τις σ υντεταγμένες του. Οι πραγματικές σ υναρτήσ εις Φ r και Φ t είναι αυτές που αντισ τρέφουν την παραμόρφωσ η αυτή με αποτέλεσ μα οι εντάσ εις των εικονοσ τοιχείων σ τις προκύπτουσ ες εικόνες να ακολουθούν όμοια κατανομή. Η αντισ τοίχισ η αφορά είτε σ ε ολόκληρες εικόνες είτε σ ε σ ύνολα σ ημείων σ την περίπτωσ η όπου έχουμε shape matching, object recognition κτλ. Στην περίπτωσ η όπου έχουμε σ ύνολα σ ημείων πρέπει να προσ διορίσ ουμε το μετασ χηματισ μό που έχουν υποσ τεί τα σ ημεία του αντικειμένου, ώσ τε εφαρμόζοντάς τον αντίσ τροφα να έ- χουμε την αρχική απεικόνισ η. Υπάρχουν περιπτώσ εις, όπως για παράδειγμα η αναγνώρισ η χειρόγραφων ψηφίων, όπου τα σ ημεία του σ χήματος δεν έχουν υποσ τεί όλα τον ίδιο μετασ χηματισ μό και άρα η αντισ τοίχισ η εκτιμά έναν μετασ χηματισ μό που ελαχισ τοποιεί την παραπάνω μετρική. Αν έχουμε εικόνες τότε σ υχνά η μια εικόνα είναι δυνατό να περιλαμβάνει περιοχές που δεν υπάρχουν σ την άλλη. Για να ικανοποιείται η Σχέσ η (2.10) θα πρέπει φυσ ικά να υπάρχουν οι κοινές περιοχές T και να περιλαμβάνουν αρκετά μεγάλες περιοχές των εικόνων. Το μέγεθος της κοινής περιοχής μπορεί να θεωρηθεί μια μετρική της κοινής πληροφορίας των δυο εικόνων και, όπως είναι αναμενόμενο, όσ ο μεγαλύτερη είναι αυτή η μετρική τόσ ο εγκυρότερα αποτελέσ ματα λαμβάνουμε. Οπως αναφέρθηκε ο κάθε αλγόριθμος είναι προσ ανατολισ μένος σ τη λύσ η σ υγκεκριμένου τύπου προβλήματος αντισ τοίχισ ης, για διαφορετικό είδος και ποιότητα εικόνων. 2.3 Feature-based Τεχνικές Η αντισ τοίχισ η με βάσ η τα χαρακτηρισ τικά (feature-based) προσ παθεί να προσ διορίσ ει το μετασ χηματισ μό με βάσ η τα χαρακτηρισ τικά που είναι κατανεμημένα σ την εικόνα, χωρίς να λαμβάνει υπόψη τις εντάσ εις φωτεινότητας των εικονοσ τοιχείων. Στις feature-based τεχνικές οι αντισ τοιχίσ εις οδηγούν σ την εκτίμησ η του παραμετρικού μοντέλου. Πλεονέκτημα των τεχνικών αυτών είναι ότι είναι πιο εύρωσ τες σ ε πολλούς διαφορετικούς τύπους μετασ χηματισ μών και παραμορφώσ εων. Επίσ ης λόγω του ότι η σ ύγκρισ η γίνεται 12

23 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ σ υνήθως ανάμεσ α σ ε διανύσ ματα μικρού μήκους, σ ε σ χέσ η με το μέγεθος της εικόνας, το κόσ τος αυτών των τεχνικών είναι μικρό. Ομως το πρόβλημα εντοπισ μού των χαρακτηρισ τικών είναι πολύπλοκο και σ υνήθως η απόδοσ η των τεχνικών αυτών εξαρτάται άμεσ α από την ποιότητα των χαρακτηρισ τικών και του αλγορίθμου εξαγωγής τους. Σε σ υγκεκριμένες εφαρμογές μπορούν να χρησ ιμοποιηθούν σ αν σ τάδιο αρχικοποίησ ης μιας area-based τεχνικής. Σχήμα 2.8: Εξαγωγή χαρακτηρισ τικών σ ε εικόνα Το πρώτο και πιο σ ημαντικό βήμα σ ε μια feature-based τεχνική είναι η ανίχνευσ η των χαρακτηρισ τικών που θα χρησ ιμοποιηθούν για την αντισ τοίχισ η, κάνοντας χρήσ η ενός τελεσ τή αναγνώρισ ης χαρακτηρισ τικών. Τα χαρακτηρισ τικά πρέπει να δίνουν επαρκή πληροφορία για την εικόνα, για αυτό επιλέγονται αντιπροσ ωπευτικά σ ημεία όπως ακμές, γωνίες, τοπικά ακρότατα της έντασ ης φωτεινότητας ή σ ε κάποιες εφαρμογές και ολόκληρες περιοχές της εικόνας. Επίσ ης πρέπει να είναι ομοιόμορφα κατανεμημένα, να είναι ευδιάκριτα και σ τις δυο σ υγκρινόμενες εικόνες και να παραμένουν ανεπηρέασ τα από το μετασ χηματισ μό που έχει επιδράσ ει σ την παρατήρησ η [1]. Αφού έχουν προσ διορισ τεί τα χαρακτηρισ τικά, το δεύτερο βήμα αφορά σ την αντισ τοίχισ η αυτών ή/και των περιοχών γύρω από αυτά, η εκτίμησ η δηλαδή του μετασ χηματισ μού με χρήσ η κάποιου κριτηρίου ομοιότητας. Ενα ευρέως χρησ ιμοποιούμενο κριτήριο είναι το άθροισ μα των τετραγωνικών διαφορών (Sum of Squared Differences - SSD). 2.4 Area-based τεχνικές Οι τεχνικές αντισ τοίχισ ης περιοχής (area-based), που αναφέρονται και ως απευθείας μέθοδοι χρησ ιμοποιούν την πληροφορία που περιέχει ολόκληρη η εικόνα, ή πιο σ ωσ τά η περιοχή ενδιαφέροντος (ROI), προκειμένου να εκτιμήσ ουν τις παραμέτρους του μετασ χηματισ μού. Στις τεχνικές αυτές πρέπει αρχικά να ορίσ ουμε μια σ υνάρτησ η κόσ τους μεταξύ της εικόνας προτύπου και της εικόνας παρατήρησ ης. Ετσ ι η αναζήτησ η των παραμέτρων του μετασ χηματισ μού 13

24 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ ανάγεται σ ε πρόβλημα βελτισ τοποίησ ης της σ υνάρτησ ης κόσ τους ως προς τις παραμέτρους. Άρα η τιμή των παραμέτρων εξαρτάται από το κριτήριο ομοιότητας που θα χρησ ιμοποιηθεί, αλλά και από τον τρόπο που θα εκτιμηθούν. Η μέθοδος που χρησ ιμοποιείται για την εκτίμησ η των παραμέτρων διαχωρίζει τους αλγορίθμους αναζήτησ ης, σ ε αλγορίθμους πλήρους ή εξαντλητικής αναζήτησ ης (exhaustive search) και αλγορίθμους διαφορικής αντισ τοίχισ ης που βασ ίζονται σ την πληροφορία της παραγώγου της σ υνάρτησ ης έντασ ης φωτεινότητας των εικόνων (gradient-based). Οπως και σ την περίπτωσ η των feature-based τεχνικών, ένα ευρέως χρησ ιμοποιούμενο κριτήριο ομοιότητας είναι το άθροισ μα των τετραγωνικών διαφορών (Sum of Squared Differences - SSD) που ορίζεται ως: K E SSD (u) = [T (x i ) I(x i + u)] 2 (2.11) i=1 όπου u = [u,v] t το διάνυσ μα μετατοπίσ εων σ τους δυο άξονες και K ο αριθμός των εικονοσ τοιχείων της ROI. Σε αυτή την περίπτωσ η η εκτίμησ η των παραμέτρων δίνεται από τη λύσ η του προβλήματος ελαχισ τοποίησ ης: min u E SSD (u) (2.12) Ο προφανής τρόπος επίλυσ ης του προβλήματος είναι η εξαντλητική αναζήτησ η, δηλαδή ο υπολογισ μός της τιμής της σ υνάρτησ ης κόσ τους για κάθε δυνατό διάνυσ μα u και επιλογή του διανύσ ματος που ελαχισ τοποιεί τη σ υνάρτησ η. Αν η ακρίβεια που απαιτείται είναι μικρότερη του εικονοσ τοιχείου τότε θα πρέπει να ληφθούν υπόψη και μη ακέραιες τιμές του u. Αυτός ο τρόπος αναζήτησ ης μπορεί να χρησ ιμοποιηθεί σ την περίπτωσ η που σ τόχος είναι η εκτίμησ η μετασ χηματισ μού μετατόπισ ης, που όπως είδαμε είναι ο απλούσ τερος γεωμετρικός μετασ χηματισ μός, οι δυνατές τιμές του u είναι λίγες και δεν απαιτείται μεγάλη ακρίβεια σ τις εκτιμήσ εις. Στην αντίθετη περίπτωσ η το κόσ τος υπολογισ μού είναι απαγορευτικό. Βασ ικό πλεονέκτημα της εξαντλητικής αναζήτησ ης είναι το ότι μπορεί να εκτιμήσ ει οσ οδήποτε μεγάλες μετατοπίσ εις, αφού δεν υπάρχει περιορισ μός της περιοχής αναζήτησ ης των τιμών τους [2]. 14

25 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Σχήμα 2.9: Σάρωσ η εικόνας με παράθυρο Οι αλγόριθμοι διαφορικής αντισ τοίχισ ης είναι επαναληπτικοί αλγόριθμοι, αν και μπορεί να είναι αποδοτικοί λειτουργώντας μια φορά[3]. Οι επαναλήψεις έχουν ως σ τόχο την καλύτερη ακρίβεια των εκτιμήσ εων. Η χρήσ η των αλγορίθμων αυτών ενδείκνυται σ τις περιπτώσ εις όπου η μετατόπισ η είναι μικρή, ενώ η ακρίβεια των εκτιμήσ εων είναι της τάξης του ɛ(eps) της μηχανής που χρησ ιμοποιείται. Βασ ικό χαρακτηρισ τικό τους είναι η γραμμικοποίησ η μέσ ω αναπτύγματος Taylor γύρω από μια αρχική τιμή u 0, ώσ τε η είσ οδος να γίνει γραμμικά εξαρτημένη από τις παραμέτρους, όπως φαίνεται σ τη Σχέσ η (2.13): I(x + u 0 + u) = I(x + u 0 ) + x I(x + u 0 ) t u + e(u 0,x, u) (2.13) όπου x I(x + u 0 ) = [ I(x+u 0) x, I(x+u 0) y ] t το διάνυσ μα κλίσ ης (gradient) της εικόνας σ τη θέσ η x + u 0, u το διάνυσ μα διορθώσ εων και e(u 0,x, u) οι όροι υψηλής τάξης. Οι πρώτοι που κάνουν χρήσ η του αναπτύγματος Taylor σ τη σ υνάρτησ η κόσ τους είναι οι Lucas και Kanade[4]. Λαμβάνοντας υπόψη μόνο τον πρώτης τάξης όρο του αναπτύγματος η σ υνάρτησ η κόσ τους είναι: K E LK ( u) = [T (x i ) I(x + u 0 ) + x I(x + u 0 ) t u] 2 (2.14) i=1 Μηδενίζοντας τις μερικές παραγώγους της σ υνάρτησ ης κόσ τους ως προς τα σ τοιχεία του διανύσ ματος u καταλήγουμε σ τις εξισ ώσ εις: A u = b (2.15) όπου A η Hessian και b το διάνυσ μα των σ ταθερών όρων. Η Hessian εξαρτάται μόνο από 15

26 ΚΕΦΑΛΑΙΟ 2: ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ τις χωρικές παραγώγους ενώ το διάνυσ μα σ ταθερών όρων εξαρτάται και από τη διαφορά των εικόνων. Αν χρησ ιμοποιείται επαναληπτική διαδικασ ία τότε σ ε κάθε επανάληψη οι παράμετροι ενημερώνονται με τον κανόνα u 1 = u 0 + u ώσ τε να δημιουργηθεί μια νέα εκτίμησ η της εικόνας εισ όδου. Τα βήματα αυτά επαναλαμβάνονται για έναν ορισ μένο αριθμό επαναλήψεων ή ώσ που το σ φάλμα της εκτίμησ ης να γίνει σ χεδόν μηδενικό. Με βάσ η τον αλγόριθμο των Lucas-Kanade έχουν προταθεί πολλοί αλγόριθμοι προσ ανατολισ μένοι σ το πρόβλημα της ευθυγράμμισ ης εικόνων [++], που θα παρουσ ιασ τούν σ τα Κεφάλαια 4 και 5. Η χρήσ η του αναπτύγματος Taylor ενδείκνυται για μετατοπίσ εις μικρότερες του ενός εικονοσ τοιχείου ή σ ε περίπτωσ η επαναληπτικής διαδικασ ίας λίγο μεγαλύτερες. Σημαντικό ρόλο σ το μέγεθος της μετατόπισ ης που είναι δυνατό να εκτιμηθεί παίζει και ο αριθμός των εικονοσ τοιχείων της περιοχής προς αντισ τοίχισ η. Στις περιπτώσ εις όπου η ROI είναι αρκετά μεγάλη, για παράδειγμα ολόκληρη η εικόνα, τότε μπορούν να εκτιμηθούν, μέσ ω αρκετών επαναλήψεων, μεγαλύτερες μετατοπίσ εις. Στην περίπτωσ η μεγάλων μετατοπίσ εων υπάρχει ο κίνδυνος εγκλωβισ μού του αλγορίθμου σ ε τοπικό ακρότατο, μακριά από το ολικό ακρότατο που αναζητάμε. 16

27 Κεφάλαιο 3 Μοντέλα Active Appearance Η πλειοψηφία των προβλημάτων της υπολογισ τικής όρασ ης που αφορούν πραγματικές εφαρμογές παρουσ ιάζουν δυσ κολίες που έχουν να κάνουν με το γεγονός ότι απαιτείται από το σ ύσ τημα να καταλάβει τις εικόνες που χειρίζεται, δηλαδή να ανακτήσ ει τη δομή της εικονας και να μάθει τι σ ημαίνει αυτή. Πολλές φορές η δομή αυτή μπορεί να είναι ιδιαίτερα σ ύνθετη και μεταβλητή, όπως σ την αναγνώρισ η προσ ώπων, ή να παρέχει δεδομένα ελλειπή και με θόρυβο, όπως σ τις ιατρικές εικόνες. Οι μέθοδοι που βασ ίζονται σ ε μοντέλα [6, 7, 8, 9, 20], χρησ ιμοποιούν ήδη υπάρχουσ α γνώσ η ώσ τε να λύσ ουν τα προβλήματα αυτά. Επειδή σ τις πραγματικές εφαρμογές εμφανίζονται ομάδες αντικειμένων που δεν είναι ίδια, παράδειγμα τα πρόσ ωπα, τα μοντέλα είναι γενικά, δηλαδή κρατούν τα βασ ικά χαρακτηρισ τικά της τάξης που αντιπροσ ωπεύουν αλλά μπορούν να προσ αρμοσ τούν ώσ τε να δημιουργήσ ουν οποιοδήποτε παράδειγμα της τάξης αυτής. Επίσ ης είναι σ υγκεκριμένα, δηλαδή περιορίζονται σ το να δημιουργούν έγκυρα παραδείγματα. Οι μέθοδοι που βασ ίζονται σ ε μοντέλα χρησ ιμοποιούν ένα μοντέλο που καθορίζει τι αναμένεται να βρεθεί σ την εικόνα και αντισ τοιχίζουν το μοντέλο αυτό σ τα δεδομένα της εικόνας. Τα Active Μοντέλα Εμφάνισ ης (Active Appearance Models - AAM s) είναι μη γραμμικά, γενικευμένα, παραμετρικά μοντέλα για ένα σ υγκεκριμένο οπτικό φαινόμενο. Η πιο σ υνηθισ μένη χρήσ η του σ ήμερα είναι η μοντελοποίησ η προσ ώπων, αν και μπορούν να χρησ ιμοποιηθούν και σ ε διαφορετικές εφαρμογές. Η προσ αρμογή ενός μοντέλου σ ε μια εικόνα είναι ένα μη γραμμικό πρόβλημα βελτισ τοποίησ ης, όμως μπορεί να προσ εγγισ τεί με προσ θετικό τρόπο υπολογίζοντας updates των παραμέτρων ή με inverse compositional τρόπο. 17

28 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE 3.1 Active Μοντέλα Σχήματος Στατιστικά Μοντέλα Σχήματος Για τη δημιουργία του μοντέλου επιλέγονται χαρακτηρισ τικά σ ημεία του σ χήματος, δηλαδή, όπως αναφέρθηκε και προηγούμενα, σ ημεία τομής ακμών, τα όρια του σ χήματος ή σ ημεία με μεγάλη κυρτότητα. Ομως επειδή αυτά τα σ ημεία είναι σ υνήθως λίγα, σ υμπληρώνονται με σ ημεία επάνω σ το περίγραμμα, ώσ τε να δημιουργηθεί μια πλήρης περιγραφή του σ χήματος. Ενα δισ διάσ τατο σ χήμα περιγράφεται από ένα διάνυσ μα των σ ημείων {(x i,y i )} i=1 s = (x 1,...,x n y 1,...y n ) t Για j παραδείγματα δημιουργούνται j τέτοια διανύσ ματα s j, χρησ ιμοποιούνται για τη σ ύνθεσ η του μοντέλου. Για τη μετατροπή των διανυσ μάτων s n σ το ίδιο σ ύσ τημα σ υντεταγμένων, η πιο σ υνηθισ μένη μέθοδος είναι η ανάλυσ η του Προκρούσ τη, που ελαχισ τοποιεί το άθροισ μα των n αποσ τάσ εων από το μέσ ο D = s i s 2 και η οποία παρουσ ιάζεται αναλυτικά σ το Παράρτημα Α. Τα κανονικοποιημένα διανύσ ματα s j σ χηματίζουν μια κατανομή σ το 2n-διάσ τατο χώρο, από όπου εξάγεται ένα παραμετρικό μοντέλο της μορφής s = M(b), όπου b ένα διάνυσ μα με τις παραμέτρους του μοντέλου, χρησ ιμοποιώντας PCA (Παράρτημα Β). Χρησ ιμοποιώντας αυτό το γενικό μοντέλο μπορούμε να δημιουργήσ ουμε νέα παραδείγματα και να καθορίσ ουμε κατά πόσ ο ένα σ χήμα είναι κατάλληλο για χρήσ η ως παράδειγμα. Αν V το μητρώο με τα ιδιοδιανύσ ματα που αντισ τοιχούν σ τις k μεγαλύτερες ιδιοτιμές του μητρώου του οποίου κάθε σ τήλη είναι ένα από τα παραδείγματα που έχουμε σ τη διάθεσ ή μας, μπορούμε να προσ εγγίσ ουμε το σ ύνολο των παραδειγμάτων x χρησ ιμοποιώντας την ακόλουθη σ χέσ η: ή ισ οδύναμα: s s + Vb (3.1) k s = s + b i v i i=1 όπου V = (v 1 v 2... v k ) και b ένα k-διάσ τατο διάνυσ μα που προκύπτει ως: b = V t (s s) (3.2) και ορίζει τις παραμέτρους του μοντέλου παραμόρφωσ ης. Μεταβάλλοντας τα σ τοιχεία του b μπορούμε να μεταβάλλουμε το σ χήμα s χρησ ιμοποιώντας την Εξίσ ωσ η (3.1). Η μετα- 18

29 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE βολή της i-οσ τής παραμέτρου, b i, δίνεται από τη λ i. Θέτοντας ως όριο σ τη μεταβολή το ±3 λ i, εξασ φαλίζουμε ότι το σ χήμα που θα δημιουργηθεί είναι όμοιο με το αρχικό σ ύνολο εκπαίδευσ ης. Σχήμα 3.1: Παράδειγμα μοντέλων προσ ώπων με τροποποιημένες παραμέτρους κατά ±3 τυπική απόκλισ η Στατιστικά Appearance Μοντέλα Για να σ υνθέσ ουμε την πλήρη εικόνα ενός αντικειμένου, πρέπει να μοντελοποιήσ ουμε εκτός από το σ χήμα και την υφή του, δηλαδή την έντασ η ή το χρώμα σ το τμήμα της εικόνας που εξετάζουμε. Για να δημιουργήσ ουμε ένα σ τατισ τικό μοντέλο υφής, μετασ χηματίζουμε το κάθε παράδειγμα, έτσ ι ώσ τε τα χαρακτηρισ τικά σ ημεία να ταιριάζουν με το μέσ ο σ χήμα. Στη σ υνέχεια δειγματοληπτούμε την πληροφορία της έντασ ης σ την περιοχή που καλύπτει το μέσ ο σ χήμα ώσ τε να δημιουργηθεί ένα διάνυσ μα υφής g im. 19

30 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE Σχήμα 3.2: Το κάθε παράδειγμα διαιρείται σ ε ένα σ ύνολο σ ημείων και ένα μοντέλο υφής Για να ελαχισ τοποιήσ ουμε την επίδρασ η της φωτεινότητας κανονικοποιούμε το διάνυσ μα: g = (g im β1 n )/α (3.3) Οι τιμές των α και β επιλέγονται ώσ τε να προσ αρμόσ ουν βέλτισ τα το διάνυσ μα σ τον κανονικοποιημένο μέσ ο όρο. Αν ḡ ο μέσ ος των κανονικοποιημένων δεδομένων τότε: α =< g im,ḡ >, β = < g im,1 n > n όπου 1 n διάνυσ μα με μονάδες με n τον αριθμό των σ τοιχείων του διανύσ ματος. Από την εφαρμογή της PCA έχουμε ένα γραμμικό μοντέλο: g = ḡ + P g b g (3.4) όπου ḡ το μέσ ο διάνυσ μα έντασ ης, P g ορθοκανονικό σ ύνολο διασ πορών και b g παράμετροι που ρυθμίζουν την έντασ η. Η υφή της εικόνας μπορεί να παραχθεί από τις παραμέτρους υφής και τις παραμέτρους κανονικοποίησ ης ως ακολούθως: g im = α(ḡ + P g b g ) + β1 n (3.5) 20

31 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE Το σ χήμα και η υφή κάθε παραδείγματος μπορεί να παρασ ταθεί σ υνδυασ μένα από τις παραμέτρους b s και b g. Για κάθε παράδειγμα έχουμε ένα διάνυσ μα: b = ( Ws b s b g ) ( Ws P t = s(x x) P t g(g ḡ) ) όπου W s ένα διαγώνιο μητρώο βαρών για κάθε παράμετρο του σ χήματος. Επειδή μπορεί να υπάρχουν σ υσ χετίσ εις ανάμεσ α σ τη διακύμανσ η του σ χήματος και της υφής εφαρμόζουμε ξανά PCA σ τα διανύσ ματα αυτά παίρνοντας το μοντέλο: b = P c c όπου P c τα ιδιοδιανύσ ματα και c το διάνυσ μα των παραμέτρων εμφάνισ ης (appearance) που ελέγχουν το σ χήμα και την υφή του μοντέλου. Η γραμμικότητα του μοντέλου μας επιτρέπει να εκφράσ ουμε άμεσ α το σ χήμα και τα επίπεδα φωτεινότητας σ υναρτήσ ει του c ως ακολούθως: s = s + P s Ws 1 P cs c g = ḡ + P g P cg c (3.6) όπου : P c = ( Pcs P cg ) ή ισ οδύναμα: s = s + Q s c g = ḡ + Q g c (3.7) όπου: Q s = P s Ws 1 P cs Q g = P g P cg Μπορούμε να σ υνθέσ ουμε μια εικόνα για δεδομένο c δημιουργώντας μια grayscale και ανεξάρτητη από το σ χήμα εικόνα χρησ ιμοποιώντας το g και παραμορφώνοντάς την χρησ ιμοποιώντας 21

32 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE τα σ ημεία που ορίζονται σ το s. (αʹ) (βʹ) Σχήμα 3.3: (α ) Μεταβολή σ χήματος (±3 τ.α), (β ) Μεταβολή φωτεινότητας (±3 τ.α), (γ ) Μεταβολή appearance (±3 τ.α) (γʹ) Για να ερμηνεύσ ουμε μια εικόνα χρησ ιμοποιώντας το μοντέλο, πρέπει να ορίσ ουμε το σ ύνολο των παραμέτρων που αντισ τοιχίζουν βέλτισ τα το μοντέλο σ την εικόνα. Το σ ύνολο αυτό ορίζει το σ χήμα, τη θέσ η και πιθανόν και την εμφάνισ η του αντικειμένου μέσ α σ την εικόνα και μπορεί να χρησ ιμοποιηθεί για επιπλέον επεξεργασ ία, όπως κάποιες μετρήσ εις ή την ταξινόμησ η του αντικειμένου. Η αντισ τοίχισ η ενός μοντέλου σ ε μια εικόνα μπορεί να γίνει μέσ ω της ελαχισ τοποίησ ης μιας σ υνάρτησ ης κόσ τους. Το ελάχισ το ορίζεται μόνο από την επιλογή της σ υνάρτησ ης κόσ τους, το μοντέλο και την εικόνα και είναι ανεξάρτητο από τη μέθοδο βελτισ τοποίησ ης που θα χρησ ιμοποιηθεί Αναπαράσταση ακμών με χρήση προσανατολισμού Τα appearance μοντέλα αναπαρισ τούν την περιοχή ενδιαφέροντος χρησ ιμοποιώντας γραμμικά κανονικοποιημένες τιμές έντασ ης. Ομως αυτή η αναπαράσ τασ η είναι ευαίσ θητη σ ε αλλαγές 22

33 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE του φωτισ μού και σ ε διαφορές ανάμεσ α σ τις κάμερες. Πιο σ ταθερή αναπαράσ τασ η μπορεί να είναι είτε τα gradients είτε η μετρική του προσ ανατολισ μού ακμών[8]. Ο πιο απλός τρόπος για την αναπαράσ τασ η του προσ ανατολισ μού είναι μέσ ω των gradients g x και g y σ το σ ημείο, όπου θ = tan 1 (g x /g y ). Ομως επειδή υπάρχει αναδίπλωσ η γωνιών, η θ δεν είναι χρήσ ιμη σ την περίπτωσ η όπου θέλουμε να σ υγκρίνουμε δυο γωνίες. Μια εναλλακτική αναπαράσ τασ η της γωνίας είναι μέσ ω των τριγωνομετρικών σ υναρτήσ εων (cosθ,sinθ) = (g x /g,g y /g) όπου g = gx 2 + gy, 2 και έτσ ι η σ ύγκρισ η των γωνιών μπορεί να γίνει απλά με τη χρήσ η της Ευκλείδειας απόσ τασ ης. Ο προσ ανατολισ μός μπορεί να παρασ ταθεί είτε modulo 2π είτε modulo π, για την περίπτωσ η όπου η πολικότητα της γωνίας μπορεί να αλλάξει. διαδικασ ία είναι η ακόλουθη: Για κάθε εικονοσ τοιχείο x = [x,y] t η Εκτίμησ η των τοπικών κλίσ εων, g x, g y, του εικονοσ τοιχείου (x,y) t με χρήσ η κατάλληλου φίλτρου Υπολογισ μός του μέτρου g = g 2 x + g 2 y Εφαρμογή μιας μη γραμμικής σ υνάρτησ ης f(g) για την αναπαράσ τασ η της κατεύθυνσ ης και της δύναμης της ακμής, (g x,g y) = f(g)(g x /g,g y /g) Η σ υνάρτησ η κανονικοποίησ ης f(g) για την οποία ισ χύει 0 f(g) 1 για κάθε g, επιλέγεται ώσ τε να δίνει μεγάλο βάρος σ ε πιθανές ακμές και να κατασ τέλλει ακμές που η εμφάνισ ή τους οφείλεται σ το θόρυβο. Μια αποτελεσ ματική σ υνάρτησ η είναι η f(g) = g /( g +g 0 ) όπου g 0 η μέσ η τιμή ή ο median της αναμενόμενης τιμής της g. Η σ υνάρτησ η έχει την ιδιότητα ότι οι τιμές μικρότερες από g 0 τείνουν να κανονικοποιούνται σ το 0 ενώ οι μεγαλύτερες από g 0, που είναι πιθανό να είναι ακμές, κανονικοποιούνται σ το 1. Μια άλλη επιλογή είναι η f(g) = P n (g), όπου η P n (x) είναι η αθροισ τική κατανομή πιθανότητας των ακμών. Και πάλι οι τιμές της g που πιθανόν να οφείλονται σ την επίδρασ η του θορύβου κανονικοποιούνται προς το 0 ενώ οι ακμές τονίζονται. Σε κάποιες περιπτώσ εις είναι καλύτερα η αναπαράσ τασ η του προσ ανατολισ μού των ακμών να γίνεται modulo π, ορίζοντας έτσ ι την κατεύθυνσ η του gradient αλλά όχι την πολικότητά του, κάτι που είναι χρήσ ιμο αν δεν γνωρίζουμε από την αρχή αν το αντικείμενο είναι πιο φωτεινό ή πιο σ κοτεινό από την υπόλοιπη εικόνα. Άρα αναπαρισ τούμε την κατεύθυνσ η σ ε πολικές σ υντεταγμένες (g x,g y ) (g,θ), επισ τρέφουμε σ ε (h x,h y ) = (g cos2θ,g sin2θ) = (g 2 x g 2 y,2g x g y ) και εφαρμόζουμε μη γραμμική κανονικοποίησ η (g x,g y) = f(g)(h x /g,h y /g) = f(g)(g 2 x g 2 y,2g x g y )/g 2. Για την κατασ κευή του μοντέλου appearance, αντί για το διάνυσ μα με τις τιμές φωτεινότητας, χρησ ιμοποιείται ένα διάνυσ μα με διπλάσ ιο μήκος που περιέχει τα gradients κανονικοποιημένα 23

34 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE με μια μη γραμμική σ υνάρτησ η. Με αυτό τον τρόπο, περιοχές με θόρυβο εμφανίζονται με σ χεδόν μηδενικές τιμές και έτσ ι έχουν ελάχισ τη επίδρασ η σ τη διαδικασ ία βελτισ τοποίησ ης Εντοπισμός χαρακτηριστικών προσώπου Η αυτόματη εύρεσ η χαρακτηρισ τικών προσ ώπου, όπως τα μάτια, οι γωνίες του σ τόματος κτλ είναι σ ημαντικό κομμάτι αρκετών διαδικασ ιών όπως η αναγνώρισ η προσ ώπου. Ο αλγόριθμος Επιλογής Template (Template Selection Tracker - TST)[9] αποτελείται από ένα μοντέλο σ χήματος και ένα σ ύνολο εκπαίδευσ ης με πιθανά templates χαρακτηρισ τικών σ ε εικόνες όπου τα χαρακτηρισ τικά είναι ήδη σ ημειωμένα. Ο αλγόριθμος εκτελείται σ ε δυο βήματα, σ το πρώτο βήμα γίνεται η επιλογή του template και σ το δεύτερο η αναζήτησ ή του με βάσ η το σ χήμα. Το σ τατισ τικό μοντέλο σ χήματος μπορεί να δημιουργηθεί από το σ ύνολο εικόνων εκπαίδευσ ης, όπως έχει περιγραφεί προηγουμένως και ορίζεται από τις ακόλουθες σ χέσ εις: s = s + Vb b = V t (s s) Σχήμα 3.4: Ο αλγόριθμος TST Σε κάθε εικόνα με προσ ημειωμένα features μπορεί να επιλεγεί ένα τμήμα γύρω από το κάθε 24

35 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE feature, που κανονικοποιείται για την περίπτωσ η που υπάρχει κλιμάκωσ η, και τα feature templates που υπολογίζονται αποθηκεύονται μαζί με το διάνυσ μα παραμέτρων b του σ χήματος. Αν δοθεί μια καινούρια εικόνα και μια προσ έγγισ η των σ ημείων των features τότε μπορεί να δημιουργηθεί ένα πιθανό σ ύνολο από feature templates. Το μοντέλο σ χήματος αντισ τοιχίζεται σ τα σ ημεία και υπολογίζονται οι παράμετροι b του σ χήματος. Οι παράμετροι σ υγκρίνονται με τα αποθηκευμένα σ χήματα και επιλέγονται τα K κοντινότερα σ χήματα με χρήσ η της Ευκλείδειας απόσ τασ ης. Στη σ υνέχεια αυτά σ υγκρίνονται με την υφή της τρέχουσ ας εικόνας με χρήσ η της κανονικοποιημένης σ υσ χέτισ ης και τα καλύτερα από αυτά χρησ ιμοποιούνται για τη δημιουργία ανιχνευτών για κάθε feature του προσ ώπου. Στο Σχήμα (3.5) φαίνεται η επιτυχής ανίχνευσ η χαρακτηρισ τικών σ ε πρόσ ωπο ακόμα και όταν αυτό περισ τρέφεται σ ε σ χέσ η με την κάμερα. Σχήμα 3.5: Στις εικόνες (α)-(δ) το κεφάλι περισ τρέφεται σ ε σ χέσ η με την κάμερα ενώ σ τις (ε)-(η) η επιτυχημένη ανίχνευσ η χαρακτηρισ τικών σ τις προηγούμενες εικόνες. Οι ανιχνευτές features που δημιουργήθηκαν με την παραπάνω διαδικασ ία εφαρμόζονται σ την εικόνα ώσ τε να υπολογισ τούν οι αποκρίσ εις τους. Εσ τω (X i,y i ) η θέσ η του i-οσ τού feature σ ημείου και I i (X i,y i ) η απόκρισ η του i-οσ τού feature template σ ε αυτό το σ ημείο. Οι θέσ εις βρίσ κονται σ το διάνυσ μα: X = (X 1,...,X n,y 1,...Y n ) t όπου το X υπολογίζεται από τις παραμέτρους b του σ χήματος και έναν μετασ χηματισ μό ομοιότητας T t που εφαρμόζεται σ το μοντέλο σ χήματος για να δημιουργηθεί η απόκρισ η, δηλαδή: X T t ( s + Vb) (3.8) Μπορούμε να γράψουμε τις παραμέτρους σ ε ένα διάνυσ μα p = (t t b t ) οπότε και το X γίνεται σ υνάρτησ η του p, δηλαδή X(p). Για κάποια αρχική τιμή του p η αναζήτησ η γίνεται βελτισ τοποιώντας μια σ υνάρτησ η f(p), των αποκρίσ εων I και του σ τατισ τικού μοντέλου σ χήματος, που είναι η: 25

36 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE n s f(p) = I i (X i,y i ) + R i=1 j=1 b 2 j λ j (3.9) Ο δεύτερος όρος είναι μια εκτίμησ η της λογαριθμικής πιθανοφάνειας του σ χήματος δεδομένων των παραμέτρων b j και των ιδιοτιμών λ j, υποθέτοντας ότι τα b j είναι ανεξάρτητα και ακολουθούν κανονική κατανομή. Το R είναι μια παράμετρος βάρους που η τιμή της μπορεί να καθορισ τεί από το λόγο των n i=1 I i (X i,y i ) και s j=1 b 2 j λ j. 3.2 Active Appearence Μοντέλα Υπάρχουν δύο είδη μοντέλων σ χήματος και εμφάνισ ης. Τα μοντέλα που μοντελοποιούν ξεχωρισ τά, σ ε διαφορετικό σ ύνολο παραμέτρων, το σ χήμα από την εμφάνισ η και ονομάζονται ανεξάρτητα μοντέλα και τα μοντέλα που μοντελοποιούν σ χήμα και εμφάνισ η σ ε ένα κοινό σ ύνολο γραμμικών παραμέτρων και ονομάζονται σ υνδυασ τικά μοντέλα Ανεξάρτητα Μοντέλα Σχήμα Το σ χήμα ορίζεται από ένα mesh και σ ημεία τοποθετημένα πάνω σ ε αυτό. εκφράζεται με τη μορφή της Σχέσ ης (3.1). Το σ χήμα s Σχήμα 3.6: Το γραμμικό μοντέλο σ χήματος ενός ΑΑΜ. Το αρχικό μοντέλο s 0 και τα τρία πρώτα διανύσ ματα σ χήματος s 1, s 2, s 3 Εμφάνισ η Η εμφάνισ η ενός ανεξάρτητου ΑΑΜ ορίζεται μέσ α σ το βασ ικό mesh s 0, και έτσ ι είναι μια εικόνα A(x) που ορίζεται σ τα pixels x s 0. Οπως το σ χήμα έτσ ι και η εμφάνισ η επιτρέπει την γραμμική διαφοροποίησ η, δηλαδή η A(x) μπορεί να εκφρασ τεί ως: m A(x) = A 0 (x) + λ i A i (x) x s 0 (3.10) i=1 26

37 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE όπου A 0 (x) η βασ ική (ή μέσ η) εμφάνισ η και A i (x) διαφορετικές εικόνες εμφάνισ ης, που προκύπτουν από την εφαρμογή της PCA σ τις κανονικοποιημένες ως προς το σ χήμα εικόνες. Σχήμα 3.7: Το γραμμικό μοντέλο εμφάνισ ης ενός ανεξάρτητου ΑΑΜ. Η βασ ική εμφάνισ η A 0 και οι τρεις πρώτες εικόνες εμφάνισ ης A 1, A 2, A 3 Οι εικόνες εκπαίδευσ ης είναι κανονικοποιημένες ως προς το σ χήμα πριν εφαρμόσ ουμε PCA σ ε αυτές, κάτι που οδηγεί σ ε ένα σ υμπαγή ιδιοχώρο από όπου εξάγονται οι ιδιοεικόνες εμφάνισ ης. Δημιουργία μοντέλου Από τις Σχέσ εις (3.9) και (3.10) και έχοντας τις παραμέτρους σ χήματος p και εμφάνισ ης λ, μπορούμε να δημιουργήσ ουμε ένα παράδειγμα βασ ισ μένο σ ε αυτό το μοντέλο, χρησ ιμοποιώντας γραμμικούς σ υνδυασ μούς των ιδιοσ χημάτων και των ιδιοεικόνων εμφάνισ ης, όπως φαίνεται σ το παρακάτω Σχήμα: Σχήμα 3.8: Δημιουργία παραδείγματος από το ανεξάρτητο ΑΑΜ μοντέλο. Στο παραπάνω παράδειγμα υπολογίζεται ένας μετασ χηματισ μός παραμόρφωσ ης W (x;p) ο οποίος εφαρμόζεται σ την εικόνα εμφάνισ ης και σ το σ χήμα. 27

38 ΚΕΦΑΛΑΙΟ 3: ΜΟΝΤΕΛΑ ACTIVE APPEARANCE Συνδυαστικά μοντέλα Στην περίπτωσ η των σ υνδυασ τικών μοντέλων χρησ ιμοποιούμε ένα κοινό διάνυσ μα παραμέτρων c = [c 1,c 2,...,c k ] t για να παραμετροποιήσ ουμε τόσ ο το σ χήμα όσ ο και την εικόνα: k s = s 0 + c i s i (3.11) i=1 k A(x) = A 0 (x) + c i A i (x) (3.12) i=1 Αυτός ο σ υνδυασ μός έχει κάποια μειονεκτήματα, για παράδειγμα δεν μπορούμε πλέον να υποθέσ ουμε ότι το σ χήμα και η εμφάνισ η είναι ορθοκανονικά, όπως επίσ ης περιορίζει την επιλογή του αλγορίθμου αντισ τοίχισ ης. Από την άλλη αν θεωρήσ ουμε ότι c = [p 1,p 2,...,p n,λ 1,λ 2,..,λ m ] t η αναπαράσ τασ η αυτή είναι πιο γενική, ενώ πρακτικά σ υνήθως ισ χύει ότι k m + n, δηλαδή ο αλγόριθμος είναι πιο αποδοτικός. Τα σ υνδυασ τικά ΑΑΜ υπολογίζονται εφαρμόζοντας PCA σ ε ένα ανεξάρτητο ΑΑΜ και γραμμικοποιώντας τις παραμέτρους σ ε σ χέσ η με τα νέα ιδιοδιανύσ ματα. Εχοντας το γενικό μοντέλο εμφάνισ ης πλέον μπορούμε να εφαρμόσ ουμε κάποιον αλγόριθμο αντισ τοίχισ ης από αυτούς που παρουσ ιάζονται σ τα επόμενα κεφάλαια για τον υπολογισ μό του γεωμετρικού μετασ χηματισ μού, σ το σ χήμα και την εμφάνισ η, είτε ανεξάρτητα είτε σ υνδυασ μένα, του μοντέλου. 28

39 Κεφάλαιο 4 Αλγόριθμοι βασ ισ μένοι σ το Τετραγωνικό Σφάλμα 4.1 Αλγόριθμος Lucas-Kanade Ο αλγόριθμος των Lucas-Kanade[4, 10] χρησ ιμοποιεί ως σ υνάρτησ η κόσ τους το άθροισ μα τετραγωνικού σ φάλματος μεταξύ των δυο εικόνων δηλαδή: min p [I(w(x;p) T (x))] 2 (4.1) x όπου T (x) το template και I(w(x;p)) η παραμορφωμένη εικόνα σ την οποία έχει εφαρμοσ τεί ο μετασ χηματισ μός w(x;p). Η ελαχισ τοποίησ η της (4.1) είναι μη γραμμική διαδικασ ία, ακόμα και αν ο w(x;p) είναι γραμμικός ως προς p. Ο αλγόριθμος υποθέτει ότι μια εκτίμησ η του p είναι γνωσ τή και λύνει επαναληπτικά για την εκτίμησ η των διορθώσ εων p οπότε η σ υνάρτησ η κόσ τους γίνεται: [I(w(x;p + p)) T (x)] 2 (4.2) x και ελαχισ τοποιείται ως προς p, ενώ οι παράμετροι ενημερώνονται σ ύμφωνα με τον ακόλουθο προσ θετικό κανόνα: p p + p (4.3) Τα βήματα αυτά επαναλαμβάνονται μέχρι να σ υγκλίνουν οι παράμετροι p, κάτι που σ υνήθως ελέγχεται με το κριτήριο p 2 ɛ, όπου ɛ ένα κατώφλι. 29

40 ΑΛΓΟΡΙΘΜΟΙ ΒΑΣΙΣΜΕΝΟΙ ΣΤΟ ΤΕΤΡΑΓΩΝΙΚΟ ΣΦΑΛΜΑ Γραμμικοποίηση Για να μπορέσ ει να λυθεί το πρόβλημα, η μη γραμμική σ υνάρτησ η I(w(x;p + p)) της (4.2) γραμμικοποιείται ως προς τις παραμέτρους που περιέχονται σ τη σ υνάρτησ η κόσ τους με χρήσ η του αναπτύγματος Taylor πρώτης τάξης: όπου I = ( I x, I y x [ I(w(x;p)) + I w p p T (x) ] 2 (4.4) ) η κλίσ η της I, που σ τη σ υνέχεια εφαρμόζεται σ ε αυτή ο τρέχων μετασ χηματισ μός w(x;p), και w p η Jacobian του μετασ χηματισ μού. Αν w(x;p) = (w x(x;p),w y (x;p)) t τότε: w p = w x p 1 w y p 1 w x p 2 w x w y p 2 p n w y p n Για παράδειγμα σ την περίπτωσ η του affine μετασ χηματισ μού: ( w x 0 y p = 0 x 0 y 0 1 Η ελαχισ τοποίησ η της (4.4) ως προς τις παραμέτρους είναι πρόβλημα ελαχίσ των τετραγώνων, άρα υπάρχει και κλεισ τής μορφής λύσ η. Η μερική παράγωγος ως προς p είναι: ) 2 x [ I w ] t [ I(w(x;p)) + I w ] p p p T (x) με ελάχισ το σ το: p = H 1 x [ I w ] t [T (x) I(w(x;p))] p όπου H το n n Hessian μητρώο: H = x [ I w ] t [ I w ] p p με μόνη προϋπόθεσ η οι μετασ χηματισ μοί να είναι παραγωγίσ ιμοι ως προς τις παραμέτρους p ώσ τε να είναι δυνατό να υπολογισ τεί η Jacobian w p. 30

41 ΑΛΓΟΡΙΘΜΟΙ ΒΑΣΙΣΜΕΝΟΙ ΣΤΟ ΤΕΤΡΑΓΩΝΙΚΟ ΣΦΑΛΜΑ Σχήμα 4.1: Σχηματικό διάγραμμα του αλγορίθμου των Lucas-Kanade Το υπολογισ τικό κόσ τος του αλγορίθμου ανά επανάληψη είναι O(n 2 N + n 3 ), όπου n ο αριθμός των παραμέτρων του μετασ χηματισ μού και N ο αριθμός των pixel Compositional και Inverse Compositional αλγόριθμοι Για τη μείωσ η του υπολογισ τικού κόσ τους, που όπως είδαμε είναι αρκετά μεγάλο, χρησ ιμοποιούνται ο compositional και κυρίως ο inverse compositional αλγόριθμος. Στην compositional προσ έγγισ η η σ υνάρτησ η κόσ τους που ελαχισ τοποιείται είναι: [I(w(w(x; p);p)) T (x)] 2 (4.5) x ως προς p σ ε κάθε επανάληψη, ενώ ο κανόνας ενημέρωσ ης του μετασ χηματισ μού είναι: w(x;p) w(x;p) w(x; p) (4.6) όπου η σ ύνθεσ η ορίζεται ως: w(x;p) w(x; p) w(w(x; p);p) (4.7) 31

42 ΑΛΓΟΡΙΘΜΟΙ ΒΑΣΙΣΜΕΝΟΙ ΣΤΟ ΤΕΤΡΑΓΩΝΙΚΟ ΣΦΑΛΜΑ Το ανάπτυγμα Taylor της σ υνάρτησ ης κόσ τους είναι: x [ I(w(w(x;0);p)) + I(w) w p p T (x) ] 2 (4.8) το οποίο απλοποιείται περαιτέρω δεδομένου ότι w(x;0) = x. Σε σ χέσ η με το αρχικό αλγόριθμο το gradient της I αντικαθίσ ταται από το gradient της I(w). Επίσ ης η Jacobian υπολογίζεται σ το (x;0) και άρα είναι σ ταθερή και μπορεί να υπολογισ τεί εκτός της επαναληπτικής διαδικασ ίας. Η τελική λύσ η του p είναι της ίδιας μορφής, παίρνοντας υπόψη τις τρεις διαφορές που αναφέρθηκαν. Το σ ύνολο των μετασ χηματισ μών θα πρέπει να περιέχει τον ταυτοτικό μετασ χηματισ μό και να είναι κλεισ τό ως προς τη σ ύνθεσ η, ιδιότητες που ισ χύουν για τα περισ σ ότερα είδη μετασ χηματισ μών. Το σ υνολικό υπολογισ τικό κόσ τος ανά επανάληψη είναι της ίδιας τάξης, αφού τα βήματα που αλλάζουν έχουν κόσ τος μικρότερης τάξης, ενώ το κόσ τος του βήματος εκτός επαναλήψεων είναι O(nN). Ο inverse compositional αλγόριθμος ελαχισ τοποιεί τη σ υνάρτησ η κόσ τους: [T (w(x; p)) I(w(x;p))] 2 (4.9) x ενώ η ενημέρωσ η του μετασ χηματισ μού γίνεται σ ύμφωνα με τον κανόνα: w(x;p) w(x;p) w(x; p) 1 (4.10) Οπως φαίνεται η διαφορά σ τον κανόνα ενημέρωσ ης είναι ότι ο προσ θετικός μετασ χηματισ μός w(x; p) αντισ τρέφεται πριν τη σ ύνθεσ η με τον τρέχοντα μετασ χηματισ μό. Χρησ ιμοποιώντας το ανάπτυγμα Taylor της σ υνάρτησ ης: x [ T (w(x;0)) + T w p p I(w(x;p)) ] 2 (4.11) και θεωρώντας πάλι ότι ο w(x;0) είναι ο ταυτοτικός μετασ χηματισ μός, η λύσ η είναι: p = H 1 x [ T w ] t [I(w(x;p)) T (x)] (4.12) p όπου H το Hessian μητρώο, ίδιας μορφής με προηγούμενα, που παράγεται από την T αντί για την I: H = x [ T w ] t [ T w ] p p 32

43 ΑΛΓΟΡΙΘΜΟΙ ΒΑΣΙΣΜΕΝΟΙ ΣΤΟ ΤΕΤΡΑΓΩΝΙΚΟ ΣΦΑΛΜΑ Η Jacobian υπολογίζεται σ το (x;0) και επομένως είναι σ ταθερή και μπορεί να υπολογισ τεί εκτός των επαναλήψεων, όπως και η Hessian που πλέον είναι ανεξάρτητη από το p. Εκτός από τους περιορισ μούς που αφορούν τους μετασ χηματισ μούς σ την περίπτωσ η του compositional αλγορίθμου, επιπλέον περιορισ μός είναι ότι ο μετασ χηματισ μός w(x; p) θα πρέπει να είναι αντισ τρέψιμος. Στις περισ σ ότερες περιπτώσ εις μετασ χηματισ μών οι περιορισ μοί ικανοποιούνται, εκτός από τους τμηματικούς affine μετασ χηματισ μούς που σ υναντάμε σ τα Active Appearance Μοντέλα. Το υπολογισ τικό κόσ τος ανά επανάληψη μειώνεται σ ημαντικά, αφού μεγάλης πολυπλοκότητας βήματα υπολογίζονται πλέον μια φορά. Το κόσ τος αυτών των βημάτων είναι O(n 2 N) ενώ το κόσ τος ανά επανάληψη γίνεται O(nN + n 3 ). 4.2 Lucas-Kanade με βάρη Μια γενίκευσ η του LK αλγορίθμου δίνεται με τη χρήσ η ως σ υνάρτησ ης κόσ τους της SSD με βάρη, η οποία εκφράζεται από την ακόλουθη σ υνάρτησ η κόσ τους: Q(x,y)[I(w(x;p)) T (x)][i(w(y;p)) T (y)] (4.13) x y όπου Q(x,y) ένα σ υμμετρικό, θετικά ορισ μένο τετραγωνικό μητρώο. Η σ υνάρτησ η κόσ τους της Σχέσ ης (4.9) είναι μια ειδική μορφή της Σχέσ ης (4.13) και προκύπτει αν θέσ ουμε Q(x,y) τον μοναδιαίο πίνακα. Εφαρμόζοντας ανάπτυγμα Taylor πρώτου βαθμού και παραγωγίζοντας ως προς p και παίρνοντας υπόψη ότι το Q(x,y) είναι σ υμμετρικό καταλήγουμε σ την ακόλουθη σ χέσ η: 2 x [ ][ ] w Q(x, y) T (y) + T y p p I(w(y;p)) w t T x (4.14) p y με λύσ η: p = H 1 Q ( y x [ Q(x, y) T x w p όπου H Q το ακόλουθο σ ταθμισ μένο Hessian μητρώο: ] t ) [I(w(y;p)) T (y)] (4.15) H Q = x y [ w Q(x, y) T x p ] t [ ] w T y p (4.16) Μια ειδική αλλά ενδιαφέρουσ α περίπτωσ η σ υναντάται όταν το μητρώο βαρών Q(x,y) είναι διαγώνιο, δηλαδή: 33

44 ΑΛΓΟΡΙΘΜΟΙ ΒΑΣΙΣΜΕΝΟΙ ΣΤΟ ΤΕΤΡΑΓΩΝΙΚΟ ΣΦΑΛΜΑ Q(x,y) = Q(x)δ(x y) όπου δ(x y) η ακολουθία Kronecker. Στην περίπτωσ η αυτή η σ υνάρτησ η κόσ τους (4.13) απλοποιείται σ την ακόλουθη: και αντίσ τοιχα οι (4.15),(4.16) εκφράζονται ως ακολούθως: p = H 1 Q Q(x)[I(w(x;p)) T (x)] 2 (4.17) x x [ Q(x, y) T w ] t [I(w(x;p)) T (x)] (4.18) p H Q = x [ w Q(x, y) T x p ] t [ ] w T x p (4.19) 4.3 Fourier Lucas-Kanade Οπως είδαμε, ο αρχικός αλγόριθμος Lucas-Kanade και οι παραλλαγές του, χρησ ιμοποιούν σ υνάρτησ η κόσ τους που βασ ίζεται σ το άθροισ μα των τετραγωνικών διαφορών (SSD). Ενα βασ ικό θέμα σ χετικά με την παραπάνω μετρική είναι η κακή απόδοσ η της σ ε περιπτώσ εις όπου υπάρχουν διαφορές σ την εμφάνισ η, που οφείλονται σ ε φωτομετρικές κυρίως παραμορφώσ εις. Το θέμα αυτό αντιμετωπίζεται με τις τεχνικές των AAM, κάτι που προϋποθέτει όπως είδαμε την ύπαρξη παραδειγμάτων που θα χρησ ιμοποιηθούν σ τη φάσ η της εκπαίδευσ ης του σ υσ τήματος. Μια λύσ η, που δίνει ανεξαρτησ ία σ ε περιπτώσ εις ύπαρξης φωτομετρικών παραμορφώσ εων, προτείνεται με τον αλγόριθμο Fourier Lucas-Kanade[11], που λύνει το πρόβλημα της αντισ τοιχίας μεταφέροντας τους αλγορίθμους LK σ το πεδίο της δισ διάσ τατης σ υχνότητας με τη βοήθεια του μετασ χηματισ μού Fourier. Η χρήσ η τράπεζας φίλτρων χρησ ιμοποιείται σ την προεπεξεργασ ία τεχνικών υπολογισ τικής όρασ ης και βασ ίζεται σ ε δυο κυρίως ιδιότητες της ανθρώπινης όρασ ης. Συγκεκριμένα σ το γεγονός ότι είναι ευαίσ θητη κυρίως σ τις αντανακλάσ εις και δεν επηρεάζεται τόσ ο από τις σ υνθήκες φωτισ μού και ότι αντιδρά σ ε διαφορές της αντίθεσ ης και όχι σ το σ υνολικό επίπεδο φωτεινότητας 34

45 ΑΛΓΟΡΙΘΜΟΙ ΒΑΣΙΣΜΕΝΟΙ ΣΤΟ ΤΕΤΡΑΓΩΝΙΚΟ ΣΦΑΛΜΑ Ενας τρόπος να αναπαρασ ταθεί η αντίθεσ η τοπικά είναι με χρήσ η μιας τράπεζας φίλτρων που κωδικοποιούν την διαφορά φωτεινότητας τοπικά σ ε διάφορες κατευθύνσ εις και κλιμακώσ εις. Τα δισ διάσ τατα φίλτρα Gabor [] είναι αυτά που χρησ ιμοποιούνται σ υχνότερα για αυτό το σ κοπό, αν και μπορούν να χρησ ιμοποιηθούν οποιαδήποτε φίλτρα έχουν τη δυνατότητα να κωδικοποιήσ ουν τις διαφορές φωτεινότητας. Παίρνοντας τον αλγόριθμο LK ως βάσ η μπορούμε να ορίσ ουμε τη σ υνάρτησ η κόσ τους ως ακολούθως: M g i [I(w(x;p)) T (0)] 2 (4.20) i=1 όπου g i το i-οσ τό από τα M φίλτρα και ο τελεσ τής σ υμβολίζει δισ διάσ τατη γραμμική σ υνέλιξη. Εφαρμόζοντας μετασ χηματισ μό Fourier η σ υνάρτησ η γίνεται: S 1/2 [I F (w(x;p)) T F (x)] 2 (4.21) x όπου : M S = diag(g Fi ) H diag(g Fi ) (4.22) i=1 και I F,T F,g F οι δισ διάσ τατοι μετασ χηματισ μοί Fourier των I,T,g, τα οποία έχουμε μετατρέψει σ ε διανύσ ματα. Το μητρώο S είναι διαγώνιο που μπορεί να υπολογισ τεί πριν τις επαναλήψεις και είναι ανεξάρτητο από τον αριθμό των φίλτρων. Επίσ ης ο δισ διάσ τατος μετασ χηματισ μός Fourier μπορεί να αντικατασ ταθεί από τον πολλαπλασ ιασ μό ενός διανύσ ματος μήκους n, με ένα n n μητρώο F που περιέχει τα διανύσ ματα βάσ ης του Fourier. Επομένως η (4.21) γίνεται: S 1/2 F[I(w(x;p)) T (x)] 2 (4.23) x και είναι αντίσ τοιχη με τη σ υνάρτησ η κόσ τους του LK με βάρη (4.17) όπου Q(x) = F t SF. Η γραμμικοποίησ η του: όπου : g i T ( p) g i T (0) + g i T (0) p (4.24) p g i T (0) p = w(x;0) [g i T (0)] p w(x; 0) (4.25) 35

46 ΑΛΓΟΡΙΘΜΟΙ ΒΑΣΙΣΜΕΝΟΙ ΣΤΟ ΤΕΤΡΑΓΩΝΙΚΟ ΣΦΑΛΜΑ με w(x;0) p τη Jacobian του μετασ χηματισ μού παραμόρφωσ ης. Πρακτικά η Jacobian του template υπολογίζεται ως προς τα x και y ως: [g i T (0)] w(x; 0) = [ diag{gx g i T (0)} diag{g y g i T (0)} ] (4.26) όπου g x,g y οι μερικές παράγωγοι των φίλτρων ως προς x και y αντίσ τοιχα. Γενικά τα g x και g y είναι οριζόντια και κάθετα προσ ανατολισ μένα φίλτρα, που σ χεδόν σ ε όλες τις περιπτώσ εις μπορούμε να υποθέσ ουμε ότι είναι ζωνοδιαβατά. Κατά τη σ υνέλιξη δυο ζωνοδιαβατών φίλτρων, πχ g x g i, μπορεί να προκύψει θέμα αναντισ τοιχίας ζωνών. Οταν η τομή των ζωνών διάβασ ης των δύο φίλτρων είναι πολύ μικρή, τότε υπάρχει σ ημαντική εξασ θένισ η όταν αυτά σ υνελίσ σ ονται. Στην υπολογισ τική όρασ η αυτό οδηγεί σ ε εξασ θένισ η του gradient της εικόνας αφού μεγάλο μέρος της γραμμικοποίησ ης είναι άχρησ το. Για αυτό το λόγο αποφεύγεται να χρησ ιμοποιηθεί ένα μόνο φίλτρο, αντίθετα χρησ ιμοποιείται τράπεζα M φίλτρων με διαφορετικούς προσ ανατολισ μούς και κλιμακώσ εις, ή αλλιώς με ζώνες διάβασ ης διαφορετικού μεγέθους και τοποθέτησ ης. Σχήμα 4.2: Εκτίμησ η γεωμετρικού μετασ χηματισ μού σ ε εικόνα με διαφορετικές φωτομετρικές σ υνθήκες από το πρότυπο 36

47 Κεφάλαιο 5 Αλγόριθμοι Συσ χέτισ ης 5.1 Αλγόριθμος ECC Η σ υνάρτησ η κόσ τους που προτείνεται από τον αλγόριθμο ECC (Enhanced Correlation Coefficient) [13, 14] είναι η ακόλουθη: E ECC (p) = ī r īr i w (w(x;p)) i w (w(x;p)) 2 (5.1) όπου i r το διάνυσ μα αναφοράς i r = [T (x 1 )...T (x n )] t που προκύπτει από το template, i w (w(x;p)) το αντίσ τοιχο διάνυσ μα παρατήρησ ης i w (w(x;p)) = [I w (w(x 1 ;p))...i w (w(x n ;p))] που προκύπτει από την warped εικόνα ως σ υνάρτησ η των παραμέτρων του μετασ χηματισ μού και ī r, i w (w(x;p)) οι zero-mean εκδοχές τους. Η σ υνάρτησ η αυτή έχει δυο βασ ικές ιδιότητες. Δεν εξαρτάται από σ φαιρικές φωτομετρικές παραμορφώσ εις που αφορούν τη φωτεινότητα και την αντίθεσ η. Επίσ ης, αν και είναι μη γραμμική σ υνάρτησ η των παραμέτρων, το πρόβλημα βελτισ τοποίησ ης που προκύπτει μετά τη γραμμικοποίησ η της έχει λύσ η κλεισ τής μορφής και άρα έχει μικρή πολυπλοκότητα. Η ελαχισ τοποίησ η της σ υνάρτησ ης (5.1) είναι ισ οδύναμη με τη μεγισ τοποίησ η της: ρ(p) = īt r īr i w (w(x;p)) i w (w(x;p)) = î r i w (w(x;p)) i w (w(x;p)) (5.2) όπου î r το κανονικοποιημένο διάνυσ μα ī r. Taylor πρώτου βαθμού ως προς τις παραμέτρους: Σε κάθε σ τοιχείο I w εφαρμόζουμε ανάπτυγμα I w (w(x;p)) I w (w(x;p)) + I w (w(x;p)) w p (5.3) p 37

48 ΑΛΓΟΡΙΘΜΟΙ ΣΥΣΧΕΤΙΣΗΣ και για το σ ύνολο των σ ημείων: i w (w(x;p)) i w (w(x;p)) + J(p) p (5.4) όπου J(p) το n p Jacobian μητρώο, με p τον αριθμό των παραμέτρων του μετασ χηματισ μού. Αν ο μετασ χηματισ μός παραμόρφωσ ης είναι w(x;p) = [w 1 (x;p),w 2 (x;p)] t τότε το (i,j) σ τοιχείο της Jacobian είναι: J(p) i,j = 2 k=1 ( Iw (w(x;p)) w k (x i ;p) w ) k(x i ;p) p j (5.5) Αφού υπολογισ τούν τα zero-mean διανύσ ματα και με χρήσ η του αναπτύγματος Taylor η (5.2) γίνεται: ρ(p) ρ( p p) = î t i w (w(x;p)) + J(p) p r i w (w(x;p)) + J(p) p (5.6) ή ισ οδύναμα: ρ( p p) = î t ri w + î t J p r (5.7) i 2 w + 2 i wt J p + p J t J p Αν και η σ υνάρτησ η ρ( p p) είναι μη γραμμική ως προς p η μεγισ τοποίησ ή της καταλήγει όπως αναφέραμε σ ε κλεισ τής μορφής λύσ η ως σ υνέπεια του παρακάτω θεωρήματος. Θεώρημα 1. Εσ τω η σ υνάρτησ η: f(x) = u + u t x v + 2v t x + x t Qx (5.8) όπου τα u,v είναι βαθμωτοί, τα u,v διανύσ ματα μήκους n και το Q ένα τετραγωνικό, σ υμμετρικό θετικά ορισ μένο μητρώο μεγέθους n, ενώ τα v,v,q είναι τέτοια ώσ τε v > v t Q 1 v (5.9) τότε έχουμε τις δυο ακόλουθες περιπτώσ εις: Περίπτωσ η u > u t Q 1 v : υπάρχει μέγισ το της f(x) που δίνεται από την ακόλουθη σ χέσ η: max x f(x) = (u u t Q 1 v) 2 v v t Q 1 v + ut Q 1 u (5.10) 38

49 ΑΛΓΟΡΙΘΜΟΙ ΣΥΣΧΕΤΙΣΗΣ για : { v v x = Q 1 t Q 1 } v u u t Q 1 v u v (5.11) Περίπτωσ η u u t Q 1 v : Εδώ έχουμε ότι η σ υνάρτησ η φράσ σ εται από πάνω δηλαδή: που μπορεί να προσ εγγισ τεί επιλέγοντας: supf(x) = x u t Q 1 u (5.12) όπου λ θετικός αριθμός. x = Q 1 {λu v} (5.13) Με την εφαρμογή του θεωρήματος που η απόδειξή του δίνεται σ το [13] καταλήγουμε σ τη λύσ η, όταν î r i w > ît rgi w, που δίνεται από : p = ( J t J) 1 J 2 i w i w Gi w t î î r i w ît rgi r i w w (5.14) όπου G = J( J t J) J t, ένα ορθογώνιο μητρώο προβολής. Οταν î r i w ît rg i w τότε σ ύμφωνα με την (5.13): με προτεινόμενες τιμές για την παράμετρο λ τις ακόλουθες: p = ( J t J) 1 J t {λî r i w } (5.15) λ 1 = ît rgî r, λ i t wgi 2 = ît rgi w î r i w (5.16) w î t rgî r Επιλέγοντας λ max{λ 1,λ 2 } είναι εύκολο να δούμε ότι εξασ φαλίζουμε μια μεγαλύτερη τιμή του σ υντελεσ τή σ υσ χέτισ ης. Πράγματι για λ λ 1 έχουμε ρ( p p) > ρ(0 p), για λ λ 2 έχουμε ότι ρ( p p) 0, ενώ για λ max{λ 1,λ 2 } ισ χύουν και οι δυο ανισ ότητες. 5.2 Ευθυγράμμιση Προσώπων Η ευθυγράμμισ η και ανάλυσ η προσ ώπων είναι μια ειδική κατηγορία της αντισ τοίχισ ης και ευθυγράμμισ ης αντικειμένων, με παραμορφώσ εις που προκύπτουν σ υνήθως από κίνησ η του 39

50 ΑΛΓΟΡΙΘΜΟΙ ΣΥΣΧΕΤΙΣΗΣ κεφαλιού ή εκφράσ εις του προσ ώπου. Η μεγισ τοποίησ η του προσ ανατολισ μού των gradients των εικόνων[15] χειρίζεται το πρόβλημα της ευθυγράμμισ ης προσ ώπων σ ε προβλήματα όπου υπάρχουν occlusions ή μη ομοιόμορφες φωτομετρικές παραμορφώσ εις. Από τις δυο εικόνες I i, i = 1,2 υπολογίζουμε τη μιγαδική αναπαράσ τασ η των gradients που σ υνδυάζει το μέτρο και τον προσ ανατολισ μό ως G i = G i,x + jg i,y, τα οποία γράφουμε σ ε μορφή διανυσ μάτων g i = g i,x + jg i,y μήκους N, όπου N το πλήθος των σ ημείων της ROI. Ο σ υντελεσ τής σ υσ χέτισ ης των gradients ορίζεται ως: s R{g H 1 g 2 } (5.17) όπου R{} το πραγματικό μέρος της πράξης και g1 H ο σ υζυγής ανάσ τροφος του g 1. Ορίζοντας r i (k) gi,x 2 (k) + g2 i,y (k) και φ i(k) arctan g i,y(k) g i,x (k) έχουμε: s k r 1 (k)r 2 (k)cos[ φ(k)] (5.18) όπου φ φ 1 φ 2. Χρησ ιμοποιώντας τα κανονικοποιημένα gradients ḡ i = ḡ i,x + jḡ i,y, όπου ḡ i,x = g i,x / g i (k) και αντίσ τοιχα ḡ i,y = g i,y / g i (k), ο σ υντελεσ τής σ υσ χέτισ ης σ ε ένα υποσ ύνολο P 0, σ ημείων που είναι ασ υσ χέτισ τα μεταξύ τους, και άρα θεωρούνται outliers, είναι: q 0 cos[ φ(k)] k P 0 Για αυτά τα σ ημεία μπορεί να γίνει η υπόθεσ η ότι, για κάθε k, η διαφορά φ(k) μπορεί να πάρει οποιαδήποτε τιμή σ το διάσ τημα [0,2π), ακολουθεί δηλαδή την ομοιόμορφη κατανομή U(0,2π). Με αυτό δεδομένο ισ χύει: q 0 = cos[ φ(k)] 0 k P 0 Η σ υνάρτησ η κόσ τους που θέλουμε να μεγισ τοποιήσ ουμε είναι: q = k cos[ φ(k)] (5.19) ή με χρήσ η των κανονικοποιημένων gradients: q = k (ḡ 1,x (k)ḡ 2,x (k) + ḡ 1,y (k)ḡ 2,y (k)) (5.20) 40

51 ΑΛΓΟΡΙΘΜΟΙ ΣΥΣΧΕΤΙΣΗΣ Γνωρίζουμε ότι ḡ 2 (k) = 1 και άρα η (5.20), σ ε μορφή διανυσ μάτων είναι ισ οδύναμη με: q = ḡt 1,xḡ2,x + ḡ t 1,yḡ2,y ḡ t 2,xḡ2,x + ḡ t 2,yḡ2,y (5.21) Η μεγισ τοποίησ η της σ υνάρτησ ης κόσ τους γίνεται ως προς p όπου g 2 g 2 [p + p]. Ο κανόνας ενημέρωσ ης των παραμέτρων του μετασ χηματισ μού είναι ο p p+ p. Γνωρίζουμε ότι ḡ 2,x [p](k) cosφ 2 [p](k) και ḡ 2,y [p](k) sinφ 2 [p](k) όπου: φ 2 [p](k) = arctan g 2,y[p](k) g 2,x [p](k) (5.22) Εφαρμόζοντας ανάπτυγμα Taylor σ το ḡ 2,x [p + p] έχουμε: ḡ 2,x [p + p](k) cosφ 2 [p](k) + cosφ 2[p](k) p (5.23) p όπου μετά από την εφαρμογή του κανόνα της αλυσ ίδας: cosφ 2 [p](k) p Το j[p](k) είναι ένα 1 n διάνυσ μα που δίνεται από : = sinφ 2 [p](k)j[p](k) (5.24) j[p](k) = cosφ 2[p](k) g 2,y[p](k) p sinφ 2 [p](k) g 2,x[p](k) p g2,x 2 [p](k) + g2 2,y [p](k) (5.25) Από όλα τα παραπάνω μπορούμε να γράψουμε: ḡ 2,x [p + p] cosφ 2 [p] S φ [p] J[p] p (5.26) όπου S φ το N n μητρώο που η k-οσ τή γραμμή του έχει n σ τοιχεία ίσ α με sinφ 2 [p](k), J το N n μητρώο με γραμμές τα j[p](k), και αντίσ τοιχα: ḡ 2,y [p + p] sinφ 2 [p] + C φ [p] J[p] p (5.27) όπου C φ [p] το N n μητρώο που η k-οσ τή γραμμή του έχει n σ τοιχεία ίσ α με cosφ 2 [p](k). Αν S φ [p] το N 1 διάνυσ μα που το k-οσ τό σ τοιχείο του είναι sin(φ 1 (k) φ 2 [p](k)), τότε η σ υνάρτησ η κόσ τους της (5.21) με χρήσ η των (5.26),(5.27) γίνεται: q( p) = q p + S t φ J p N + p t J t J p (5.28) 41

52 ΑΛΓΟΡΙΘΜΟΙ ΣΥΣΧΕΤΙΣΗΣ όπου q p = cosφ t 1 cosφ 2[p]+sinφ t 1 sinφ 2[p] η σ υσ χέτισ η των προσ ανατολισ μών των gradients μεταξύ των δυο εικόνων. Η μέγισ τη τιμή της σ υνάρτησ ης κόσ τους δίνεται για : p = N q p (J t J) 1 J t S φ (5.29) όπου q p /N η κανονικοποιημένη σ υσ χέτισ η, όπου ο λόγος N/q p λειτουργεί σ αν βάρος, αφού σ τις πρώτες επαναλήψεις έχει μικρή τιμή που μεγαλώνει σ τη σ υνέχεια Inverse-Compositional Αλγόριθμος Οπως είδαμε και σ ε προηγούμενο κεφάλαιο, σ την περίπτωσ η του inverse-compositional αλγορίθμου η warped εικόνα δίνεται ως σ υνάρτησ η των παραμέτρων του μετασ χηματισ μού p, ενώ το template δίνεται ως σ υνάρτησ η των παραμέτρων ενημέρωσ ης p. Ετσ ι η σ υνάρτησ η κόσ τους της (5.21) γίνεται: q = ḡt 2,xḡ1,x + ḡ t 2,yḡ1,y ḡ t 1,xḡ1,x + ḡ t 1,yḡ1,y (5.30) Ο κανόνας ενημέρωσ ης σ ε αυτή την περίπτωσ η είναι w(x;p) w(x;p) w(x; p) 1. Λόγω της υπόθεσ ης w(x;0) = x, όλες οι εξισ ώσ εις που είχαμε προηγούμενα απλοποιούνται, αφού το ανάπτυγμα Taylor εφαρμόζεται με κέντρο το 0 και όχι το διάνυσ μα p, και άρα η Jacobian είναι σ ταθερή και μπορεί να υπολογισ τεί μια φορά πριν το επαναληπτικό μέρος του αλγορίθμου. Η σ υνάρτησ η κόσ τους της (5.28) γίνεται: q( p) = q p + S t φ J p N + p t J t J p (5.31) με τη διαφορά ότι S φ [p] το N 1 διάνυσ μα που το k-οσ τό σ τοιχείο του είναι το sin(φ 2 [p](k) φ 1 (k)). Η λύσ η δίνεται από την (5.29), όπου η Jacobian και σ τις δυο εξισ ώσ εις η Jacobian είναι σ ταθερή και ανεξάρτητη του p. Οπως και σ ε όλους τους αλγορίθμους όπου γίνεται χρήσ η της Jacobian, το βήμα με το μεγαλύτερο υπολογισ τικό κόσ τος είναι ο υπολογισ μός της που απαιτεί O(n 2 N) πράξεις. Το κόσ τος των υπόλοιπων βημάτων είναι το πολύ O(nN), αφού N n. Ετσ ι είναι φανερό ότι η χρήσ η του inverse-compositional αλγορίθμου αντί του forward additive μειώνει την τάξη του υπολογισ τικού κόσ τους κατά O(n). Τα αποτελέσ ματα της εφαρμογής της μεθόδου θα τα δούμε σ το επόμενο Κεφάλαιο. 42

53 Κεφάλαιο 6 Σταθμισ μένη Αντισ τοίχισ η Εικόνων Ο αλγόριθμος αντισ τοίχισ ης που προτείνεται σ το κεφάλαιο αυτό σ τοχεύει σ την ευθυγράμμισ η εικόνων σ τις οποίες οι φωτομετρικές παραμορφώσ εις είναι τοπικές και δεν μπορούν να μοντελοποιηθούν με το γενικό σ φαιρικό μοντέλο της αντίθεσ ης και τη φωτεινότητας που αναφέρθηκε σ το προηγούμενο κεφάλαιο, όπως επίσ ης και εικόνων σ τις οποίες υπάρχουν occlusions, τα οποία και θα θεωρήσ ουμε ως ειδική περίπτωσ η έντονων φωτομετρικών παραμορφώσ εων. 6.1 Αλγόριθμος P- ECC Οπως αναφέραμε θεωρούμε ότι οι φωτομετρικές παραμορφώσ εις είναι τοπικές, ακολουθούν δηλαδή το παρακάτω μοντέλο: q i = α i t i + β i, i = 1,2,...,N (6.1) όπου t i, q i οι τιμές έντασ ης σ το εικονοσ τοιχείο i του template και της παραμορφωμένης εικόνας αντίσ τοιχα και N το πλήθος των εικονοσ τοιχείων της εικόνας. Οπως μπορούμε να δούμε οι φωτομετρικές παραμορφώσ εις μπορούν να είναι διαφορετικές για κάθε εικονοσ τοιχείο και μοντελοποιούνται με τη χρήσ η ενός πολλαπλασ ιασ τικού και ενός προσ θετικού παράγοντα. Ενας διαφορετικός τρόπος από αυτόν της αφαίρεσ ης μέσ ης τιμής για να εξαλείψουμε την επίδρασ η του προσ θετικού παράγοντα είναι να χρησ ιμοποιήσ ουμε τις μερικές παραγώγους ως προς x και y, δηλαδή την κλίσ η της εικόνας σ τις αντίσ τοιχες θέσ εις, τα διανύσ ματα t i = [t x,t y ] t, q i = [q x,q y ] t. Επειδή όμως σ υνεχίζει να υπάρχει η επίδρασ η του πολλαπλασ ιασ τικού παράγοντα, κάτι που μας εμποδίζει να αντιμετωπίσ ουμε ενιαία την αντισ τοίχισ η των εικόνων, θα χωρίσ ουμε το 43

54 ΣΤΑΘΜΙΣΜ ΕΝΗ ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ πρόβλημα σ ε N υποπροβλήματα και θα λύσ ουμε για κάθε ζεύγος αντίσ τοιχων εικονοσ τοιχείων ξεχωρισ τά. Η σ υνάρτησ η κόσ τους που θα ελαχισ τοποιήσ ουμε είναι αυτή των [13, 14] με τη διαφορά ότι εφαρμόζεται σ ε κάθε ζεύγος εικονοσ τοιχείων. Δηλαδή: ɛ i (p) = t i t i q i(p) 2 q i (p), i = 1,2,...,N (6.2) ή ισ οδύναμα μεγισ τοποίησ η της : q i (p) ρ i (p) = ˆt i, i = 1,2,...,N (6.3) q i (p) Υποθέτοντας το προσ θετικό μοντέλο p n p n 1 + p n και εφαρμόζοντας ανάπτυγμα Taylor ως προς τις παραμέτρους σ το q i (p) παίρνουμε: q i (p n ) q i (p n 1 ) + H i (I 2 xi) p t n (6.4) όπου H i το 2 2 Hessian μητρώο του εικονοσ τοιχείου i, x i το διάνυσ μα ομογενών σ υντεταγμένων του, I 2 το μοναδιαίο 2 2 μητρώο και σ υμβολίζει το γινόμενο Kronecker. Οπως παρατηρούμε το διάνυσ μα παραμέτρων είναι μοναδικό και κοινό για όλα τα σ ημεία. Θέτοντας : η (6.4) μπορεί να γραφεί ισ οδύναμα ως ακολούθως: z i = (I 2 x t i) p n (6.5) q i (p n ) q i (p n 1 ) + H i z i (6.6) Αντικαθισ τώντας την (6.6) σ την (6.3) καταλήγουμε σ την τελική μορφή της σ υνάρτησ ης κόσ τους: ρ i ( p) = ˆt t i q i(p n 1 ) +ˆt t i H iz i q i (p n 1 ) qt i (p n 1)H i z i + z t i Ht i H iz i (6.7) και σ κοπός μας είναι να μεγισ τοποιήσ ουμε τη σ υνάρτησ η της Σχέσ ης (6.7) ως προς z i Μεγιστοποίηση του μέτρου ομοιότητας Για την εύρεσ η της κλεισ τής μορφής λύσ ης θα ακολουθήσ ουμε μια παρόμοια διαδικασ ία με αυτή του Θεωρήματος 1 που παρουσ ιάσ τηκε σ το προηγούμενο κεφάλαιο. Συγκεκριμένα μπορούμε να αποδείξουμε το ακόλουθο Λήμμα: 44

55 ΣΤΑΘΜΙΣΜ ΕΝΗ ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Λήμμα 1. Εσ τω η σ υνάρτησ η της Σχέσ ης (6.7) με H i ένα τετραγωνικό, σ υμμετρικό και θετικά ορισ μένο μητρώο. Η σ υνάρτησ η παίρνει τη μέγισ τη δυνατή τιμή, δηλαδή ρ i (z i ) = 1, που μπορεί να επιτευχθεί αν το διάνυσ μα z i είναι της ακόλουθης μορφής: όπου λ θετικός αριθμός. z i = H 1 i (λˆt i q i (p n 1 )) (6.8) Απόδειξη. Η απόδειξη του λήμματος είναι απλή και ακολουθεί. Για το σ κοπό αυτό θα ορίσ ουμε το 2 1 διάνυσ μα: x = H i z i + q i (p) (6.9) Τότε η σ υνάρτησ η ρ i ( p) μπορεί να γραφεί ως ακολούθως: και η οποία παίρνει τη μέγισ τη δυνατή τιμή αν επιλέξουμε : ρ i (x) = < ˆt i,x > x 2 (6.10) x = λˆt i (6.11) όπου λ θετικός αριθμός. Χρησ ιμοποιώντας την (6.9) η (6.11) δίνει: ( ) z i = Hi 1 λˆt i q i (p n 1 ) (6.12) που ολοκληρώνει την απόδειξη του λήμματος. Είναι εύκολο να διαπισ τώσ ουμε ότι σ την περίπτωσ ή μας η παράμετρος λ i μοντελοποιεί την φωτομετρική παραμόρφωσ η που υπάρχει σ το εικονοσ τοιχείο i της παραμορφωμένης εικόνας. Πρέπει να τονίσ ουμε σ το σ ημείο αυτό ότι ο μόνος περιορισ μός που τίθεται για την παράμετρο αυτή είναι η θετικότητά της, όπως μπορούμε να δούμε από τη Σχέσ η (6.10) της απόδειξης του Λήμματος. Συνοψίζοντας, αν θέλουμε να εξαλείψουμε τοπικές φωτομετρικές παραμορφώσ εις που υφίσ τανται σ ε δυο αντίσ τοιχα εικονοσ τοιχεία τότε μπορούμε να χρησ ιμοποιήσ ουμε τα gradients των εικόνων σ τα αντίσ τοιχα εικονοσ τοιχεία και να μεγισ τοποιήσ ουμε ως προς το διάνυσ μα z i που εξαρτάται από το p και είναι σ υνδεδεμένο με τις γεωμετρικές παραμορφώσ εις και τον σ υντελεσ τή σ υσ χέτισ ης των δυο κλίσ εων. 45

56 ΣΤΑΘΜΙΣΜ ΕΝΗ ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Είναι φανερό ότι σ κοπός μας σ τη επόμενη παράγραφο είναι να εφαρμόσ ουμε την Σχέσ η (6.12) σ ε κάθε ζεύγος αντίσ τοιχων εικονοσ τοιχείων των δυο εικόνων. 6.2 Σταθμισμένη Αντιστοίχιση εικόνων Ας διατυπώσ ουμε τώρα το πρόβλημα αντισ τοίχισ ης χρησ ιμοποιώντας αυτά που είδαμε σ τις προηγούμενες παραγράφους. Για το σ κοπό αυτό θα ορίσ ουμε τα ακόλουθα σ ύνολα εικονοσ τοιχείων : P q = {ˆx i, i = 1,2,...,K} P t = {x i, i = 1,2,...,K :x i = w(ˆx i ;p)} της παραμορφωμένης εικόνας και του template αντίσ τοιχα, και w(ˆx i ;p) να σ υμβολίζει ένα γεωμετρικό μετασ χηματισ μό με παραμέτρους p. Είναι φανερό ότι αν εφαρμόσ ουμε το Λήμμα 1 σ ε κάθε ζεύγος αντίσ τοιχων σ ημείων των παραπάνω σ υνόλων καταλήγουμε σ το ακόλουθο υπερκαθορισ μένο γραμμικό σ ύσ τημα εξισ ώσ εων: ( ) I 2 xi t p = Hi 1 (λ i t i q i ), i = 1,2,...,K (6.13) του οποίου τη λύσ η θα αναλύσ ουμε σ τις επόμενες παραγράφους Λύση βασισμένη στα Ελάχιστα Τετράγωνα Χρησ ιμοποιώντας τη σ χέσ η (6.13) κατασ τρώνουμε το ακόλουθο σ ύσ τημα εξισ ώσ εων: (I 2 x1 t ) H 1ˆt (I 2 x2 t ) 0 H 1ˆt (I 2 xk t ) 0 H 1 ˆt K K p λ 1 λ 2. λ K = H 1 1 q 1 H 1 2 q 2 H 1 3 q 3. H 1 K q K σ τη γενική περίπτωσ η (n > 6) είναι ένα έχουμε υπερκαθορισ μένο σ ύσ τημα 2K εξισ ώσ εων με 6+K αγνώσ τους τους οποίους και θέλουμε να προσ διορίσ ουμε με την έννοια των ελαχίσ των τετραγώνων και με μόνο περιορισ μό ότι λ k > 0, k = 1,2,...,K. Προς το παρόν ας θεωρήσ ουμε ότι τα σ ύνολα σ ημείων που ορίσ αμε σ την προηγούμενη παράγραφο, είναι ορισ μένα έτσ ι ώσ τε ο περιορισ μός θετικότητας των λ k να ισ χύει. Σκοπός μας 46

57 ΣΤΑΘΜΙΣΜ ΕΝΗ ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ είναι να ελαχισ τοποιήσ ουμε την Ax b 2 2 λύσ η: ως προς x η οποία ως γνωσ τόν έχει τη βέλτισ τη x = (A T A) 1 A T b (6.14) Ωσ τόσ ο, η ειδική μορφή του μητρώου A σ την περίπτωσ ή μας επιτρέπει μια ειδική λύσ η του σ υσ τήματος η οποία παρατίθεται σ τη σ υνέχεια. Ακολουθώντας την διαδικασ ία επίλυσ ης των ελαχίσ των τετραγώνων το αρισ τερό μέλος γίνεται: (I 2 x i )(I 2 xi t) (I 2 x 1 )H 1ˆt 1 1 (I 2 x 2 )H 1ˆt 2 2 (I 2 x K )H 1ˆt K K i ˆt t 1 H 1 1 (I 2 x1 t H ) 1 ˆt ˆt t 2 H 1 2 (I 2 x2 t H ) 0 1 ˆt ˆt t K H 1 n (I 2 xk t H ) 0 1 ˆt 2 K K 2 p λ 1 λ 2 (6.15). λ K και το δεξί μέλος i (I 2 x i )Hi 1 q i ˆt t 1 H 2 1 q 1 ˆt t 2 H 2 2 q 2. (6.16) ˆt t K H 2 K q K και μαζί σ υνθέτουν το σ ύσ τημα από το οποίο και προκύπτουν οι παρακάτω εξισ ώσ εις: K K (I 2 x i )(I 2 xi) p t (I 2 x i )Hi 1 ˆt i λ i = (I 2 x i )Hi 1 q i (6.17) i=1 i=1 i ˆt t ihi 1 (I 2 xi) p t + Hi 1 2 ˆt i λ i = ˆt t ih 2 2 i q i (6.18) Λύνοντας την (6.18) ως προς λ i και αντικαθισ τώντας σ την (6.17) προκύπτει η εξίσ ωσ η από όπου θα υπολογίσ ουμε το διάνυσ μα παραμέτρων p: 47

58 ΣΤΑΘΜΙΣΜ ΕΝΗ ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ K K (I 2 x i xi) p t (I 2 xi)h t i 1 ˆt iˆt t ihi 1 p i=1 i=1 K [ˆt = (I 2 xi) t t ] i H 2 i q i i=1 ˆt t H i H 2 i 1 ˆt i Hi 1 q i i ˆt i (6.19) ή ισ οδύναμα: [ K ( ) ] 1 p = (I 2 x i xi) t (I 2 xi)h t i 1 ˆt iˆt t ihi 1 K i=1 i=1 [ˆt t i H 2 i q i ˆt t i H 2 i Hi 1 ˆt i Hi 1 ˆt i q i ] (6.20) από όπου το διάνυσ μα p που προκύπτει είναι της μορφής p = [r 1,r 2,t 1,r 3,r 4,t 2 ] t με r i τις παραμέτρους που αφορούν την περισ τροφή και t i τις παραμέτρους που αφορούν τη μετατόπισ η αντίσ τοιχα Διαχωρισμός εξισώσεων Στην παράγραφο αυτή θα εκμεταλλευτούμε την ειδική μορφή της εξίσ ωσ ης ορισ μού του z i. Πράγματι η Σχέσ η (6.13) μπορεί να γραφεί ισ οδύναμα ως: x t i p 1 = λ i p i1 q i1 (6.21) x t i p 2 = λ i p i2 q i2 (6.22) όπου p 1 = [r 1,r 2,t 1 ] t, p 2 = [r 3,r 4,t 2 ] t το διαχωρισ μένο διάνυσ μα των παραμέτρων διόρθωσ ης, p ij = Hi 1 (j)ˆt i και q ij = Hi 1 (j)q i. Ας θεωρήσ ουμε τώρα επιπλέον ότι οι φωτομετρικές παράμετροι λ i είναι γνωσ τές. Τότε, το υπερκαθορισ μένο σ ύσ τημα της Σχέσ ης (6.13) διαχωρίζεται σ τα ακόλουθα σ υσ τήματα με κοινό δεξί μέλος: D 1 j (X p j + r j ) = λ, j = 1,2 (6.23) όπου D j το K K διαγώνιο μητρώο με σ τοιχεία τα p ij, X το K 3 μητρώο των ομογενών σ υντεταγμένων, r j το μήκους K διάνυσ μα με σ τοιχεία τα q ij και λ το μήκους K διάνυσ μα με σ τοιχεία τα λ i. Είναι φανερό ότι οι λύσ εις ελαχίσ των τετραγώνων ως προς τις γεωμετρικές παραμορφώσ εις θα δίνονται από τις ακόλουθες σ χέσ εις: 48

59 ΣΤΑΘΜΙΣΜ ΕΝΗ ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ ( 1 p = X X) T X T (D j λ r j ), i = 1,2 (6.24) και αποτελούν τις βέλτισ τες εκτιμήσ εις των παραμέτρων του μετασ χηματισ μού σ τον οποίο οφείλονται οι γεωμετρικές παραμορφώσ εις. Ωσ τόσ ο, ο υπολογισ μός αυτών των εκτιμήσ εων πρακτικά είναι αδύνατος αφού δεν γνωρίζουμε τις τιμές των λ i. Σκοπός μας επομένως σ τη σ υνέχεια είναι ο προσ διορισ μός αυτών των τιμών και αν είναι δυνατόν η εύρεσ η του μηχανισ μού δημιουργίας των σ υνόλων P t, P q που ορίσ αμε σ την αρχή της ενότητας 6.2 και τα οποία όπως είδαμε έχουν ορισ τεί με τέτοιο τρόπο ώσ τε να εξασ φαλίζουν τον περιορισ μό της θετικότητας των παραμέτρων λ. Μια παρατήρησ η προς την κατεύθυνσ η αυτή είναι ότι τα διανύσ ματα X p ανήκουν σ το C(X) δηλαδή σ το χώρο του μητρώου X και έτσ ι είναι κάθετα σ το μηδενοχώρο του. Για να διευκρινίσ ουμε αυτό το σ ημείο ας αντικατασ τήσ ουμε τις βέλτισ τες τιμές των γεωμετρικών διορθώσ εων της Σχέσ ης (6.24) σ τη Σχέσ η (6.23) δηλαδή: X p j + r j = D j λ (6.25) ή ισ οδύναμα: (I P)D j λ = (I P)r j, j = 1,2 (6.26) όπου P = X(X T X) 1 X T πίνακας προβολής πάνω σ ε έναν υποχώρο του R K, ο οποίος καθορίζεται από τη βάσ η που περιγράφουν οι σ τήλες του μητρώου X. Ας θεωρήσ ουμε ότι το μητρώο προβολής είναι γνωσ τό, υπόθεσ η η οποία εξασ φαλίζει γνωσ τά διανύσ ματα q i όπως και διαγώνια μητρώα D j, j = 1,2. Επομένως η Σχέσ η (6.26) ουσ ιασ τικά μπορεί να χρησ ιμοποιηθεί για τον ορισ μό των προβολών σ τον μηδενοχώρο του μητρώου X των σ ταθμισ μένων διανυσ μάτων D j λ, j = 1,2 από τις αντίσ τοιχες προβολές των γνωσ τών διανυσ μάτων D j. Δηλαδή το κοινό λ που αναζητάμε μπορεί να εκφρασ τεί ως: λ = D 1 j (I P)D j + ξ j, j = 1,2 (6.27) Με άλλα λόγια το πρόβλημά μας τώρα μπορεί να διατυπωθεί ως ακολούθως: Δεδομένου ότι τα διανύσ ματα Dj 1 (I P)D j, j = 1,2 είναι γνωσ τά βρείτε τα κατάλληλα διανύσ ματα ξ j έτσ ι ώσ τε τα αρισ τερά μέλη των εξισ ώσ εων της Σχέσ ης (6.27) να ταυτίζονται. Για να πετύχουμε το σ κοπό μας θα επανέλθουμε σ το αρχικό σ ύσ τημα των Σχέσ εων (6.21) και (6.22) και να υπολογίσ ουμε την λύσ η του υπερκαθορισ μένου γραμμικού σ υσ τήματος με 49

60 ΣΤΑΘΜΙΣΜ ΕΝΗ ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ την έννοια των ελαχίσ των τετραγώνων. Χρησ ιμοποιώντας το λήμμα αντισ τροφής μητρώων, μπορούμε να αποδείξουμε ότι οι παράμετροι λ ικανοποιούν την ακόλουθη σ χέσ η: D 1 ( (I P)(D1 λ r 1 ) ) + D 2 ( (I P)(D2 λ r 2 ) ) = 0 (6.28) Αυτό που απορρέει από την παραπάνω σ χέσ η ταυτίζεται με αυτό της Σχέσ ης (6.26), εκτός της σ τάθμισ ης της με τους διαγώνια Μητρώα D j, j = 1,2. Θα πρέπει να παρατηρήσ ουμε εδώ ότι παίρνοντας υπόψη μας την ασ άφεια προσ ήμου που ενυπάρχει σ τα μητρώα προβολής, ότι αν τα πρόσ ημα των σ τοιχείων των διαγώνιων μητρώων D j, j = 1,2 ταυτίζονται με τα πρόσ ημα των διανυσ μάτων r j, j = 1,2, η παραπάνω σ χέσ η εκφράζει ότι το σ ταθμισ μένο άθροισ μα των προβολών των θετικών διανυσ μάτων r j, j = 1,2 πάνω σ το μηδενοχώρο του μητρώου Χ πρέπει να είναι ίσ ο με το σ ταθμισ μένο άθροισ μα των προβολών των διανυσ μάτων D j λ, j = 1,2 πάνω σ τον ίδιο χώρο. Με άλλα λόγια, το σ ταθμισ μένο άθροισ μα των προβολών των διανυσ μάτων σ φάλματος πάνω σ το μηδενοχώρο του μητρώου Χ πρέπει να είναι μηδέν. Μία άλλη επίσ ης πολλή ενδιαφέρουσ α παρατήρησ η σ χετιζόμενη με την παραπάνω σ χέσ η είναι ότι αν βρισ κόμασ τε κοντά σ την βέλτισ τη λύσ η του προβλήματος αντισ τοίχισ ης, ή οι φωτομετρικές παραμορφώσ εις δεν είναι ισ χυρές, και ισ χύουν αυτά που είπαμε για τα πρόσ ημα των διαγωνίων πινάκων και διανυσ μάτων που αναφέραμε παραπάνω, οι τιμές των παραμέτρων λ είναι με μεγάλη πιθανότητα θετικές. Συνδυάζοντας τώρα αυτά που αναφέραμε παραπάνω οδηγούμασ τε σ το σ υμπέρασ μα ότι ένας δόκιμος ορισ μός των σ υνόλων εικονοσ τοιχείων P q και P t είναι ο ακόλουθος: P q = {ˆx i S, i = 1,2,...,L} P t = {x i, i = 1,2,...,L:x i = w(ˆx i ;p), ˆx i S} όπου το σ ύνολο S ορίζεται ως η τομή των ακόλουθων σ υνόλων: S j = {ˆx i,i = 1,2,,K : sign(diag(d j )) = sign(r j )}, j = 1,2, (6.29) δηλαδή: } S = {ˆx i,i = 1,2,,K 2 j=1s j. (6.30) και K ο πληθικός αριθμός του σ υνόλου S. Οπως θα δούμε σ το επόμενο κεφάλαιο ο παραπάνω ορισ μός των σ υνόλων, για τις περιπτώσ εις αντισ τοίχισ ης εικόνων ακόμη και με πολύ μεγάλες γεωμετρικές παραμορφώσ εις, οι οποίες όμως είναι είτε χωρίς ή με περιορισ μένες (σ φαιρικές ή τοπικές) φωτομετρικές παραμορφώσ εις δίνει πολύ καλά αποτελέσ ματα με την απόδοσ η του προτεινόμενου αλγόριθμου να είναι πολύ καλύτερη από αυτές αλγορίθμων που είναι state of the art σ το πρόβλημα της αντισ τοίχισ ης εικόνων. 50

61 ΣΤΑΘΜΙΣΜ ΕΝΗ ΑΝΤΙΣΤΟΙΧΙΣΗ ΕΙΚΟΝΩΝ Οπως είναι αναμενόμενο, όταν οι οι φωτομετρικές παραμορφώσ εις είναι πολύ έντονες, όπως αυτές που φαίνονται σ την ακόλουθη εικόνα, ο παραπάνω ορισ μός του σ ημείο-σ υνόλου S δεν αρκεί για να σ υγκλίνει ο αλγόριθμος αντισ τοίχισ ης. Ο λόγος σ την αποτυχία της σ ύγκλισ ης του αλγορίθμου, είναι οι ακραίες τιμές που μπορεί να πάρουν τα σ τοιχεία των διαγώνιων μητρώων και των διανυσ μάτων που υπεισ έρχονται σ τον ορισ μό των παραπάνω σ υνόλων. (αʹ) (βʹ) Σχήμα 6.1: (a) Η εικόνα αναφοράς και (b) η εικόνα προς αντισ τοίχισ η Για να ελαχισ τοποιήσ ουμε την πιθανότητα ύπαρξης τέτοιων τιμών σ τα παραπάνω σ ύνολα, σ τη σ υνέχεια θα περιορίσ ουμε το σ ύνολο S που ορίσ αμε παραπάνω. Για το σ κοπό αυτό ας ορίσ ουμε τα ακόλουθα σ ύνολα προβολής: N 1 = {n j = D j (I P)r j, j = 1,2,: ˆx i S} (6.31) και έσ τω µ = mean( N 1 N 2 ) η μέσ η τιμή της ακολουθίας των παραπάνω διαφορών. Επιπλέον, έσ τω N 0 1 και N 0 2 οι τιμές των παραπάνω ακολουθιών σ ε ολόκληρο το ράσ τερ. Τότε, προτείνεται η χρήσ η του ακόλουθου σ υνόλου: { } Ŝ = N1 0 N2 0 µ,: ˆx i S. (6.32) Το παραπάνω σ ύνολο είναι προφανές ότι αποτελεί περιορισ μό του σ υνόλου S που ορίσ αμε παραπάνω. Ο περιορισ μός αυξάνει την σ υχνότητα σ ύγκλισ ης του αλγορίθμου, όπως θα δούμε σ το επόμενο κεφάλαιο, σ τις περιπτώσ εις ισ χυρών φωτομετρικών παραμορφώσ εων, χωρίς να επηρεάζει την απόδοσ η του αλγορίθμου σ τις άλλες. 51

62 Κεφάλαιο 7 Πειράματα Η απόδοσ η του προτεινόμενου αλγορίθμου εξετάσ τηκε σ ε μια σ ειρά πειραμάτων σ ε εικόνες προσ ώπων της βάσ ης Yale B καθώς και σ ε εικόνες γενικού περιεχομένου της βάσ ης Affine Covariant Regions του University of Oxford. Ο προτεινόμενος αλγόριθμος σ υγκρίνεται με τους αλγορίθμους αντισ τοίχισ ης που προτείνονται σ την [15] που έχουν υλοποιηθεί από τους ίδιους τους σ υγγραφείς. 7.1 Περιγραφή Πειραματικών Δεδομένων Τα πειράματα έγιναν σ ε δυο φάσ εις. Στην πρώτη φάσ η χρησ ιμοποιήσ αμε γεωμετρικά παραμορφωμένες εικόνες της Yale B χωρίς φωτομετρικές παραμορφώσ εις. Από κάθε εικόνα επιλέγονται τρία σ ημεία, όπως αυτά ορίζονται σ τον κώδικα πειραμάτων, εντός της ROI. Στη σ υνέχεια τα σ ημεία παραμορφώνονται κατά ένα τυχαίο μετασ χηματισ μό σ τον οποίο προσ θέτουμε θόρυβο με κανονικής κατανομής N (0,σ 2 ). Το μέγεθος του θορύβου εξαρτάται από την τιμή του σ που παίρνει τιμές σ το διάσ τημα [5 15]. 52

63 ΠΕΙΡΑΜΑΤΑ (αʹ) (βʹ) (γʹ) Σχήμα 7.1: Παράδειγμα εικόνας (a) παραμορφωμένης για (b)σ = 7 και (c)σ = 15 Στη δεύτερη φάσ η χρησ ιμοποιήθηκαν οι εικόνες της βάσ ης Affine Covariant Regions που περιέχουν και φωτομετρικές παραμορφώσ εις, σ τις οποίες εφαρμόσ αμε επιπλέον γεωμετρικό μετασ χηματισ μό, κατά ίδιο τρόπο όπως αναφέρθηκε προηγουμένως, με το σ να παίρνει τις τιμές 5 και 10. Η αξιολόγησ η των αποτελεσ μάτων των αλγορίθμων έγινε χρησ ιμοποιώντας το παρακάτω κριτήριο { } err = E ( x ˆx) 2 2 (7.1) όπου ˆx τα ιδανικά σ ημεία και x = w(x;p) τα αρχικά σ ημεία σ τα οποία έχουμε εφαρμόσ ει το μετασ χηματισ μό που εκτιμήσ αμε. 7.2 Αποτελέσματα Χωρίς φωτομετρικές παραμορφώσεις (Yale B) Τα πειράματα έγιναν σ ε 10 διαφορετικές εικόνες για 60 διαφορετικούς γεωμετρικούς μετασ χηματισ μούς ανά περίπτωσ η για χωρίς την παρουσ ία και με την παρουσ ία μικρών φωτομετρικών 53

64 ΠΕΙΡΑΜΑΤΑ μετασ χηματισ μών. Οι καμπύλες με τις σ υχνότητες σ ύγκλισ ης παρουσ ιάζονται σ το σ χήμα που ακολουθεί. Οπως μπορούμε να δούμε από το σ χήμα αυτό η απόδοσ η της προτεινόμενης τεχνικής σ τοίχισ ης σ ε σ χέσ η με τα ποσ οσ τά σ ύγκλισ ης για διαφορετικές τιμές της ισ χύος του θορύβου είναι πολύ καλή και σ ίγουρα πολύ καλύτερη από αυτές των τεχνικών που προτάθηκαν σ την [15]. Σχήμα 7.2: Ποσ οσ τά σ ύγκλισ ης των σ υγκρινόμενων αλγορίθμων για θόρυβο με σ = 5 : 15. Το μέσ ο σ φάλμα για τις επιτυχημένες περιπτώσ εις παρουσ ιάζεται σ τον Πίνακα που ακολουθεί: σ Algorithm Gradient Gradient Correlation P-ECC ε ε ε ε ε ε ε ε ε Πίνακας 7.1: Μέσ ο σ φάλμα των επιτυχημένων περιπτώσ εων σ ε εικόνες χωρίς φωτομετρικές παραμορφώσ εις πως εύκολα προκύπτει από τα περιεχόμενα του Πίνακα 1, η ακρίβεια που πετυχαίνει ο προτεινόμενος αλγόριθμος είναι πολύ καλή. 54

65 ΠΕΙΡΑΜΑΤΑ Τέλος, σ τις παρακάτω εικόνες μπορούμε να δούμε τα σ ημεία που επιλέγει ο προτεινόμενος αλγόριθμος σ ε διάφορες φάσ εις της διαδικασ ίας. Οπως μπορούμε να δούμε από τις εικόνες αυτές, ο αλγόριθμος επιλέγει σ ημεία σ χεδόν ομοιόμορφα σ την εικόνα. (αʹ) (βʹ) (γʹ) Σχήμα 7.3: Η επιλογή σ ημείων για σ = 5 (a) σ την 1η επανάληψη, (b) σ την 4η επανάληψη και (c) σ την 7η επανάληψη που ο αλγόριθμος έχει σ υγκλίνει 55

66 ΠΕΙΡΑΜΑΤΑ (αʹ) (βʹ) (γʹ) Σχήμα 7.4: Η επιλογή σ ημείων για σ = 15 (a) σ την 1η επανάληψη, (b) σ την 18η επανάληψη και (c) σ την 28η επανάληψη που ο αλγόριθμος έχει σ υγκλίνει Με φωτομετρικές παραμορφώσεις Σε αυτήν την περίπτωσ η, τα πειράματα έγιναν σ ε μια` εικόνα της βάσ ης cars με 5 διαφορετικές φωτομετρικές παραμορφώσ εις και για 50 διαφορετικούς γεωμετρικούς μετασ χηματισ μούς για δυο διαφορετικά μεγέθη θορύβου ανά περίπτωσ η. Οι πίνακες με τις σ υχνότητες σ ύγκλισ ης παρουσ ιάζονται σ το σ χήμα που ακολουθεί. Οπως μπορούμε να δούμε από τους παρακάτω πίνακες η απόδοσ η της προτεινόμενης τεχνικής σ τοίχισ ης σ ε σ χέσ η με τα ποσ οσ τά σ ύγκλισ ης για τις δυο διαφορετικές τιμές της ισ χύος του θορύβου είναι και πάλι πολύ καλή και σ ίγουρα καλύτερη από αυτές της πιο ρωμάλεας τεχνικής από τις δυο που προτάθηκαν σ την [15].Ωσ τόσ ο θα πρέπει να πούμε σ το σ ημείο αυτό ότι η σ υμπεριφορά του προτεινόμενου αλγορίθμου δεν είναι τόσ ο ρωμαλέα όσ ο σ την περίπτωσ η με τις μικρές σ χετικά φωτομετρικές παραμορφώσ εις. Επίσ ης είναι εμφανές ότι το γενικό περιεχόμενο των εικόνων επηρεάζει αρνητικά τον ειδικού σ κοπού αλγόριθμο. Πρέπει επίσ ης να πούμε ότι σ την περίπτωσ η των έντονων φωτομετρικών παραμορφώσ εων της βάσ ης Yale B όταν χρησ ιμοποιούμε σ αν εικόνα αναφοράς την εικόνα με τις φωτομετρικές παραμορφώσ εις η απόδοσ η του αλγοορίθμου είναι κατα 3 5% καλύτερη από τους αλγορίθμους 56

67 ΠΕΙΡΑΜΑΤΑ της [15]. Οταν όμως χρησ ιμοποιούμε τη φωτομετρικά παραμορφωμένη εικόνα για την εκτίμησ η του μετασ χηματισ μού τότε η απόδοσ η πέφτει κατά πολύ, κάτι που οφείλεται ευαισ θησ ία της διαδικασ ίας παρεμβολής σ την παρουσ ία φωτομετρικού θορύβου. Οι εικόνες που χρησ ιμοποιήθηκαν είναι αυτές που φαίνονται σ το σ χήμα που ακολουθεί. (αʹ) (βʹ) (γʹ) (δʹ) (εʹ) Σχήμα 7.5: (α) Εικόνα αναφοράς και (β)-(ε) φωτομετρικά παραμορφωμένες εικόνες προς αντισ τοίχισ η 57

68 ΠΕΙΡΑΜΑΤΑ Algorithm image (β) (γ) (δ) (ε) Gradient Correlation P-ECC (1ο κριτήριο) P-ECC (2ο κριτήριο) Πίνακας 7.2: Ποσ οσ τά επιτυχίας % για σ = 5 Algorithm image (β) (γ) (δ) (ε) Gradient Correlation P-ECC (1ο κριτήριο) P-ECC (2ο κριτήριο) Πίνακας 7.3: Ποσ οσ τά επιτυχίας % για σ = 10 Τέλος παραθέτουμε όπως και σ την περίπτωσ η του πειράματος χωρίς φωτομετρικές παραμορφώσ εις, τα σ ημεία που επιλέγει ο προτεινόμενος αλγόριθμος σ ε μια εικόνα με φωτομετρικές παραμορφώσ εις. Οπως μπορούμε να δούμε από τις εικόνες αυτές, ο αλγόριθμος σ ε αυτή την περίπτωσ η επιλέγει σ ημεία σ χεδόν ομοιόμορφα και πάλι με τα περισ σ ότερα να βρίσ κονται σ ε περιοχές της εικόνας που οι φωτομετρικές παραμορφώσ εις δεν είναι πάρα πολύ ισ χυρές. 58

69 ΠΕΙΡΑΜΑΤΑ (αʹ) (βʹ) (γʹ) Σχήμα 7.6: Επιλογή σ ημείων σ την 1η επανάληψη για (a) σ = 5 και (b)σ = 10 και (c) όταν ο αλγόριθμος έχει σ υγκλίνει 59

70 Συμπεράσ ματα Αντικείμενο αυτής της εργασ ίας αποτέλεσ ε η μελέτη του προβλήματος της αντισ τοίχισ ης εικόνων οι οποίες, εκτός από γεωμετρικές παραμορφώσ εις, έχουν έντονες τοπικές φωτομετρικές παραμορφώσ εις ή/και αποκλεισ μένες περιοχές. Για την αντιμετώπισ η του προβλήματος, η αντισ τοίχησ η των εικόνων προσ εγγίσ τηκε μέσ ω της σ ταθμισ μένης ελαχισ τοποίησ ης μετρικών σ φάλματος που βασ ίζονται σ το τετραγωνικό σ φάλμα. Εκμεταλλευτήκαμε την αμεταβλητότητα της κανονικοποιημένης κλίσ ης μιας εικόνας σ ε τοπικές φωτομετρικές παραμορφώσ εις και τη δυνατότητα σ τοίχισ ης κάθε ζεύγους αντίσ τοιχων εικονοσ τοιχείων των υπό σ τοίχισ η εικόνων με την μεγισ τοποίησ η της μεταξύ τους σ υσ χέτισ ης. Τα πειράματα που έγιναν σ ε εικόνες προσ ώπων και γενικού περιεχομένου, χωρίς φωτομετρικές παραμορφώσ εις ή και με αυτές, έδειξαν ότι η απόδοσ ή του είναι πολύ καλή και υπερτερεί σ ε σ χέσ η με τους σ υγκρινόμενους αλγορίθμους τόσ ο σ ε ποσ οσ τά επιτυχίας όσ ο και σ την ακρίβεια των λύσ εων. Η υπεροχή του φαίνεται ιδιαίτερα σ ε εικόνες με έντονες γεωμετρικές παραμορφώσ εις όπου τα ποσ οσ τά επιτυχίας των άλλων αλγορίθμων μειώνονται κατά πολύ, ε- νώ ο P-ECC επιτυγχάνει σ ωσ τές εκτιμήσ εις σ το 95% των περιπτώσ εων σ τις μη φωτομετρικά παραμορφωμένες εικόνες και 45 75% σ τις φωτομετρικά παραμορφωμένες. Μελλοντικές κατευθύνσεις Αν και τα αποτελέσ ματα αντισ τοίχισ ης είναι πολύ καλά ακόμα και σ τις εικόνες με πολύ έντονες φωτομετρικές παραμορφώσ εις, υπάρχουν ακόμα κάποια θεωρητικά και πρακτικά ζητήματα της εφαρμογής του αλγορίθμου που θα πρέπει να μελετηθούν περαιτέρω. Ενα γενικό πρόβλημα προς εξέτασ η είναι κατά πόσ ο θα μπορούσ αμε να προσ διορίσ ουμε μια εικόνα που δεν έχει, ή έχει ομοιόμορφες, φωτομετρικές παραμορφώσ εις, αφού σ ε αυτή την περίπτωσ η η διαδικασ ία μπορεί να απλοποιηθεί και άρα να επιταχυνθεί κατά πολύ. Επίσ ης χρειάζεται να γίνουν πειράματα με πιο σ υσ τηματικό τρόπο σ ε εικόνες προσ ώπων με έντονες φωτομετρικές παραμορφώσ εις, όπως και σ ε μια βάσ η δεδομένων με εικόνες που περιέχουν αποκλεισ μούς για να αποτυπωθεί η απόδοσ η του αλγορίθμου και σ ε αυτές τις περιπτώσ εις με μεγαλύτερη ακρίβεια. 60

71 ΠΕΙΡΑΜΑΤΑ Επίσ ης, μεγάλο ενδιαφέρον παρουσ ιάζει η διερεύνησ η των σ υνθηκών κατά από τις οποίες θα μπορούσ ε να εξασ φαλισ τεί σ ε κάθε περίπτωσ η η θετικότητα των παραμέτρων λ, που είναι απαραίτητη προϋπόθεσ η για τη σ ωσ τή επίλυσ η του γραμμικού σ υσ τήματος που χρησ ιμοποιούμε για την εκτίμησ η του γεωμετρικού μετασ χηματισ μού. Αν και υπάρχουν αλγόριθμοι που οδηγούν σ ε θετικές λύσ εις, όπως τα μη αρνητικά ελάχισ τα τετράγωνα (Non-Negative Least Squares-NNLS [23]), δεν μπορούμε να τους χρησ ιμοποιήσ ουμε αφού δεν έχουν καλή εφαρμογή σ το δικό μας ειδικό πρόβλημα. Ετσ ι θα πρέπει να βρεθεί είτε ένας κατάλληλος τρόπος επίλυσ ης του σ υσ τήματος είτε το πρόβλημα να αντιμετωπισ τεί με την επιλογή κατάλληλων σ ημείων όπως αναφέρθηκε.. Τέλος, βασ ικό ζήτημα είναι η σ υσ τηματική και ανεξάρτητη από την εφαρμογή εύρεσ η των σ ημείων που αποτελούν τα σ ύνολα P t, P q που ορίσ τηκαν σ το Κεφάλαιο 6. Οπως είδαμε η απόδοσ η του αλγορίθμου εξαρτάται άμεσ α από την αρχική επιλογή των σ ημείων αυτών, αφού αυτά επηρεάζουν άμεσ α και την θετικότητα των παραμέτρων λ, κάτι που κάνει ζωτικό τον σ ωσ τό προσ διορισ μό τους. Οι έντονες φωτομετρικές παραμορφώσ εις μεταφράζονται σ ε κάποιες περιπτώσ εις σ ε γεωμετρικές οδηγώντας σ την επιλογή σ ημείων που δεν είναι κατάλληλα και τελικά σ ε εκτίμησ η του λάθος γεωμετρικού μετασ χηματισ μού. Επομένως, θα πρέπει να αναζητήσ ουμε σ ημεία που δεν έχουν μολυνθεί με τέτοιο τρόπο και μπορούν να μας οδηγήσ ουν σ ε λανθασ μένες εκτιμήσ εις. 61

72 Παράρτημα Α Ο softassign αλγόριθμος του Προκρούστη Η μέθοδος του Προκρούσ τη [5] δημιουργήθηκε ως ένας τρόπος για υπέρθεσ η σ ημείων των οποίων η αντισ τοίχισ η είναι ήδη γνωσ τή. Θεωρούμε τα σ ύνολα σ ημείων X i R 2, i = 1,2,...,N 1 και Y j R 2, j = 1,2,...,N 2 μεγέθους N 1 και N 2 αντίσ τοιχα. Οταν N 1 = N 2 = N και οι αντισ τοιχίσ εις είναι γνωσ τές, τότε η απόσ τασ η που υπολογίζεται από τον Προκρούσ τη είναι: N 2 D P rocrustes (X,Y ) = X i R(θ)Y i i=1 (7.2) όπου: θ = arctan ( ) Ni=1 [X i (2)Y i (1) X i (1)Y i (2)] Ni=1 [X i (1)Y i (1) X i (2)Y i (2)] R(θ) το μητρώο περισ τροφής που προκύπτει και : X i = X i µ X, καιy i = Y i µ Y σ X σ Y Στην (7.2) τα µ X,µ Y είναι οι μέσ οι όροι των σ υνόλων των σ ημείων, και σ X,σ Y το άθροισ μα των τετραγωνικών αποσ τάσ εων των σ ημείων από το αντίσ τοιχο κέντρο, δηλαδή η διασ πορές τους. Οταν η αντισ τοίχισ η και ο μετασ χηματισ μός ομοιότητας που αντισ τοιχίζει τα δυο σ ύνολα σ ημείων είναι άγνωσ τος, μπορούμε να σ υνδυάσ ουμε την εκτίμησ η αυτών των παραμέτρων ως εξής: 62

73 Ο SOFTASSIGN ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ ΠΡΟΚΡΟΥΣΤΗ E(M,θ,t,s) = N 1 N 2 M ij s(xi µ X ) t R(θ) (Y i µ Y ) 2 a (7.3) σ i=1 j=1 X sσy N 1 subject to M ij 1, M ij 1,M ij {0,1} i=1 N 2 j=1 όπου R(θ) ο πίνακας περισ τροφής, t η μετατόπισ η, s η κλιμάκωσ η και οι μεταβλητές αντισ τοίχισ ης M ij που έχουν ορισ τεί ώσ τε 1 αν το σ ημείο X i αντισ τοιχεί σ το Y j M ij = 0 αλλιώς Οι περιορισ μοί των M ij επιβάλουν ένα προς ένα αντισ τοιχία των σ ημείων, καθώς και αποκλεισ μό των outliers αφού ένα σ ημείο σ την εικόνα μπορεί να μην αντισ τοιχίζεται σ ε κάποιο σ ημείο της άλλης, οπότε ουσ ιασ τικά απορρίπτεται. Η παράμετρος a > 0 ελέγχει την ευρωσ τία της διαδικασ ίας, όσ ο αυξάνεται το a τόσ ο λιγότερα σ ημεία απορρίπτονται ως outliers. Μπορούμε να απλοποιήσ ουμε την (7.3) παρατηρώντας ότι μπορούμε να υπολογίσ ουμε τις βέλτισ τες τιμές των t,s οι οποίες είναι t = 0 και s 2 = 1. Απλοποιώντας τη σ υνάρτησ η κόσ τους έχουμε: ( N1 min E(M,θ) = N 2 (X i µ X ) M ij R(θ) (Y ) i µ Y ) 2 M,θ σ a X i=1 j=1 N 1 N 2 σ Y subject to M ij 1, M ij 1,M ij {0,1} i=1 j=1 (7.4) Το πρόβλημα βελτισ τοποίησ ης της (7.4) μπορεί να θεωρηθεί ως δυο προβλήματα, την εκτίμησ η της περισ τροφής ανάμεσ α σ τα δυο σ ύνολα σ ημείων και την εκτίμησ η της αντισ τοίχισ ης των σ ημείων. Οταν οι αντισ τοιχίσ εις είναι γνωσ τές το μητρώο περισ τροφής μπορεί να εκτιμηθεί μέσ ω ελαχίσ των τετραγώνων. Οταν η περισ τροφή είναι γνωσ τή τότε έχουμε να λύσ ουμε ένα γραμμικό πρόβλημα για την εκτίμησ η των αντισ τοιχίσ εων. Η βασ ική δυσ κολία που υπάρχει σ το να λυθούν και τα δυο προβλήματα από κοινού είναι η διαφορετική φύσ η τους καθώς το ένα είναι σ υνεχές και το άλλο σ υνδυασ τικό. Αν αγνοήσ ουμε την επίδρασ η των outliers σ το μητρώο αντισ τοίχισ ης M, τότε αυτό γίνεται μητρώο μετάθεσ ης με δυαδικές εισ όδους και όλες τις γραμμές και τις σ τήλες να έχουν άθροισ μα ένα. Οι περιορισ μοί αυτοί μπορούν να επιβληθούν με χρήσ η πολλαπλασ ιασ τών Lagrange, για τον περιορισ μό γραμμών και σ τηλών, και μιας σ υνάρτησ ης φράγματος για τον περιορισ μό 63

74 Ο SOFTASSIGN ΑΛΓΟΡΙΘΜΟΣ ΤΟΥ ΠΡΟΚΡΟΥΣΤΗ προσ ήμου: ( N 1 N 2 (X i µ X ) F (M,θ,κ,λ) = M ij R(θ) (Y ) i µ Y ) 2 σ i=1 j=1 X σ a Y N 1 N 2 +1 N 2 N κ i M ij 1 + λ i M ij β i=1 j=1 j=1 i=1 N 1 +1 i=1 N 2 +1 j=1 (7.5) M ij logm ij όπου κ,λ οι πολλαπλασ ιασ τές Lagrange που επιβάλουν τους περιορισ μούς αθροίσ ματος γραμμής και σ τήλης αντίσ τοιχα, και β > 0 μια παράμετρος ελέγχου της σ υνάρτησ ης φράγματος. Η αναλυτική λύσ η για τον υπολογισ μό των M ij προκύπτει αν παραγωγίσ ουμε την (7.5) ως προς M και είναι: [ ( (X i µ X ) M ij = exp β R(θ) (Y ) ] j µ Y ) 2 σ X σ α + κ i + λ j 1 Y (7.6) Αντίσ τοιχα προκύπτει και ο κανόνας ενημέρωσ ης της γωνίας θ: θ = arctan ( N1 N2 i=1 N1 i=1 j=1 M ) ij[x i (2)Y j (1) X i (1)Y j (2)] N2 j=1 M ij[x i (1)Y j (1) X i (2)Y j (2)] (7.7) Για τον υπολογισ μό των τιμών των μέσ ων και των διασ πορών χρησ ιμοποιούμε τον τύπο του μέσ ου με βάρη και τον αντίσ τοιχο της διασ ποράς. Η απόρριψη των outliers σ υμβαίνει όταν β, ενώ για την εκτίμησ η των πολλαπλασ ιασ τών Lagrange χρησ ιμοποιείται το θεώρημα του Sinkhorn για τα διπλά σ τοχασ τικά μητρώα. Από όλα τα παραπάνω προκύπτει ο softassign αλγόριθμος του Προκρούσ τη για τον υπολογισ μό της γεωμετρικής αντισ τοίχισ ης δυο σ υνόλων σ ημείων. 64

75 Παράρτημα Β Principal Component Analysis (PCA) Η ανάλυσ η κύριων σ υνισ τωσ ών (PCA) [17] είναι μια σ τατισ τική διαδικασ ία που χρησ ιμοποιεί έναν ορθογώνιο μετασ χηματισ μό ώσ τε να μετατρέψει ένα σ ύνολο παρατηρήσ εων από πιθανά σ υσ χετισ μένες μεταβλητές, σ ε ένα σ ύνολο τιμών ασ υσ χέτισ των μεταβλητών, τις κύριες σ υνισ τώσ ες. Οι κύριες σ υνισ τώσ ες μπορεί να είναι λιγότερες ή ίσ ες σ ε αριθμό με τις αρχικές μεταβλητές. Σχήμα 7.7: Εφαρμογή PCA σ ε δισ διάσ τατα διανύσ ματα. p είναι ο βασ ικός άξονας. Κάθε σ ημείο x μπορεί να προσ εγγισ τεί από το πλησ ιέσ τερο σ ημείο σ τη γραμμή, x Η PCA είναι ένας τρόπος για να εντοπίσ ουμε μοτίβα σ τα δεδομένα και να τα εκφράσ ουμε με τέτοιο τρόπο ώσ τε να τονίζονται οι ομοιότητες και οι διαφορές τους. Το βασ ικό πλεονέκτημα της PCA είναι αφού έχουν βρεθεί αυτά τα μοτίβα, τα δεδομένα μπορούν να σ υμπιεσ τούν, πχ μειώνοντας τις διασ τάσ εις, χωρίς μεγάλη απώλεια πληροφορίας. Εσ τω: X = [x 1...x m ] t (7.8) ο πίνακας των m διανυσ μάτων n σ τοιχείων το κάθε ένα, και από τα οποία έχουμε αφαιρέσ ει την αντίσ τοιχη μέσ η τιμή. Το μητρώο σ υνδιασ ποράς είναι: 65

76 PRINCIPAL COMPONENT ANALYSIS (PCA) S X = 1 n 1 XXt (7.9) Ο σ τόχος είναι να βρεθεί ένα ορθοκανονικό μητρώο P όπου Y = PX έτσ ι ώσ τε το S Y = 1 n 1 YYt να είναι διαγωνιοποιημένο. Οι γραμμές του P είναι οι κύριες σ υνισ τώσ ες του X. Αν XX t τετραγωνικό, σ υμμετρικό n n μητρώο, η SVD διάσ πασ η του είναι XX t = V t ΣV όπου V το ορθοκανονικό μητρώο ιδιοδιανυσ μάτων και Σ το διαγώνιο μητρώο ιδιοτιμών του XX t. Αν επιλέξουμε P = V τότε: S Y = 1 n 1 (VX)(VX)t = 1 n 1 V(Vt ΣV)V t = 1 n 1 Σ (7.10) Είναι φανερό ότι αυτή η επιλογή του P διαγωνιοποιεί το S Y και άρα οι κύριες σ υνισ τώσ ες του X είναι τα ιδιοδιανύσ ματα του μητρώου σ υνδιασ ποράς του. Γενικευμένο Κριτήριο Διασποράς Αν J(h) = tr{s X } = h h G X h σ τόχος μας είναι να λύσ ουμε το ακόλουθο πρόβλημα βελτισ τοποίησ ης : max J(h) h H M Η λύσ η του παραπάνω προβλήματος, όπως είδαμε σ ε προηγούμενη παράγραφο, είναι το ιδιοδιάνυσ μα του μητρώου G X που αντισ τοιχεί σ τη μέγισ τη ιδιοτιμή. Σε περίπτωσ η που χρειαζόμασ τε περισ σ ότερες από μία σ υνισ τώσ ες τότε, για d σ υνισ τώσ ες θέλουμε να επιλύσ ουμε το ακόλουθο πρόβλημα βελτισ τοποίησ ης : max J(h) με σ υνθήκες h H M, d hh i h j = 0, i,j = 1,2,...,d, i j (7.11) και η λύσ η είναι τα d ιδιοδιανύσ ματα h 1, h 2,,h d που αντισ τοιχούν σ τις d μεγαλύτερες ιδιοτιμές του μητρώου G X 1. Η PCA εφαρμόζεται σ ε πολλά και διαφορετικά προβλήματα της επεξεργασ ίας σ ημάτων. 1 Εναλλακτικά μπορούμε να πούμε ότι σ τόχος είναι να ελαχισ τοποιήσ ουμε την ακόλουθη σ υνάρτησ η κόσ τους : E P CA (B) = d x i BB h x i 2 2 i=1 που εκφράζει το σ φάλμα ανακατασ κευής του X, ενώ ο B είναι ο πίνακας που περιέχει τα ιδιοδιανύσ ματα του X. 66

77 PRINCIPAL COMPONENT ANALYSIS (PCA) Eigenfaces Εσ τω c ένα διάνυσ μα διάσ τασ ης NM 1 που αποτελεί τη διανυσ ματική αναπαράσ τασ η μιας N M εικόνας I(n, m), n = 1,2,,N, m = 1,2,,M. Θέλουμε να αναπαρασ τήσ ουμε το διάνυσ μα c σ ε ένα χώρο μικρότερης διάσ τασ ης. Συγκεκριμένα, αν: v = c m c όπου m c η διανυσ ματική αναπαράσ τασ η της μέσ ης εικόνας τότε, όπως θα δούμε σ τη σ υνέχεια μία αποδοτική αναπαράσ τασ η είναι η ακόλουθη: k ĉ = m c + w i q i k NM (7.12) i=1 όπου w i, i = 1,2,,k προβολές του διανύσ ματος v σ ε ένα κατάλληλο χώρο ο οποίος περιγράφεται από τα διανύσ ματα q i, i = 1,2,,k. Transform-Invariant PCA (TIPCA) Σε σ υνέχεια των προηγούμενων, για ένα σ ύνολο K εικόνων εκπαίδευσ ης, η εκτίμησ η των m c και q i δίνεται από την ελαχισ τοποίησ η του μέσ ου τετραγωνικού σ φάλματος μεταξύ των εικόνων εισ όδου και των ανακατασ κευών τους ως ακολούθως: 1 arg min m c,q i N ( K k min w j ĉ m c + j=1 i=1 ) 2 w i q i (7.13) Ομως η PCA έχει ως βασ ική υπόθεσ η ότι οι εικόνες που χρησ ιμοποιούνται είναι κανονικοποιημένες έτσ ι ώσ τε τα χαρακτηρισ τικά που περιέχονται σ ε αυτές να βρίσ κονται περίπου σ το ίδιο σ ημείο. Επειδή όμως αυτή η υπόθεσ η δεν ισ χύει πάντα, παραμένει το ερώτημα για το πως μπορούμε να ευθυγραμμίσ ουμε τις εικόνες έτσ ι ώσ τε ο χώρος που προκύπτει να είναι όσ ο το δυνατόν πιο πυκνός. Θα θεωρήσ ουμε αρχικά ότι μια εικόνα έχει την ακόλουθη αναπαράσ τασ η: k ĉ(w(x;p)) = m c (x) + w i q i (x) + ɛ(x) (7.14) i=1 όπου ο μετασ χηματισ μός w(x;p) παίρνει ένα εικονοσ τοιχείο από τη βάσ η q i (x) και το αντισ τοιχίζει σ την εικόνα ĉ. Δεδομένου ενός σ υνόλου εικόνων ĉ i w(x;p i ) ) προς ευθυγράμμισ η, ( θεωρούμε ότι οι εικόνες αυτές βρίσ κονται σ ε ένα χαμηλής διάσ τασ ης χώρο και αναζητούμε το σ ύνολο εικόνων βάσ ης που θα ελαχισ τοποιήσ ει την απόσ τασ η του χώρου των εικόνων από 67

78 PRINCIPAL COMPONENT ANALYSIS (PCA) τις παραμορφωμένες εικόνες. Για αυτό το σ κοπό θα ελαχισ τοποιήσ ουμε το τροποποιημένο κριτήριο: 1 arg min m c,q i N ( ) K min [ɛ j (x)] 2 p j=1 j,w j x (7.15) όπου: [ ] ) k ɛ j (x) = ĉ j (w(x;p j ) m c (x) + w i q i (x) i=1 (7.16) Ο αλγόριθμος TIPCA [19] αποτελείται από τα παρακάτω βήματα τα οποία εφαρμόζονται εναλλάξ: 1. Ευθυγράμμισ η βασ ισ μένη σ τον ιδιοχώρο: σ ταθεροποιούμε τα m c, q i και βελτισ τοποιούμε τα p j, w j. Αν J(x) = [ q w p j,..., q w ] 1 p j,q 1 (x),...,q k (x) n (7.17) όπου q = m c + k i=1 w i q i (x). Σε κάθε βήμα υπολογίζεται η διόρθωσ η των παραμέτρων από την παρακάτω σ χέσ η: [ ] 1 p = J T (x)j(x) J T (x)ɛ i (x) (7.18) x x όπου ɛ(x) το τετραγωνικό σ φάλμα χρησ ιμοποιώντας την τρέχουσ α τιμή των παραμέτρων. 2. Ενημέρωσ η του ιδιοχώρου: σ ταθεροποιούμε τα p i και βελτισ τοποιούμε ως προς m c,q i. Αν το διάνυσ μα p i είναι γνωσ τό τότε μπορούμε να υπολογίσ ουμε το μετασ χηματισ μό w(x;p i ) για κάθε εικόνα. Στο παρακάτω σ χήμα φαίνονται τα αποτελέσ ματα της εφαρμογής της τεχνικής σ τη βάσ η δεδομένων FERET 68

79 PRINCIPAL COMPONENT ANALYSIS (PCA) Σχήμα 7.8: Το μέσ ο πρόσ ωπο και τα κυρίαρχα ιδιοπρόσ ωπα (a) κατά την αρχικοποίησ η και (b) μετά τη δεύτερη επανάληψη. Robust PCA Η PCA για τον υπολογισ μό των κύριων σ υνισ τωσ ών μιας εικόνας I ελαχισ τοποιεί τη σ υνάρτησ η: n E P CA (B) = x i BB T 2 x i 2 i=1 (7.19) Στην περίπτωσ η όπου υπάρχουν σ ημεία που δεν ακολουθούν τη γενική κατανομή (outliers), κάτι που σ υμβαίνει σ υχνά σ ε σ ύνολα εκπαίδευσ ης, τότε το κριτήριο αυτό δεν επαρκεί για την ευσ ταθή εκτίμησ η των κύριων σ υνισ τωσ ών. Για βελτίωσ η της ευσ τάθειας προτείνεται η ελαχισ τοποίησ η της σ υνάρτησ ης κόσ τους [18]: E RP CA (B,µ,σ) = n i=1 x i µ BB T x i 2 2 x i µ BB T x i σt σ (7.20) όπου µ το διάνυσ μα του μέσ ου όρου και σ = [σ 1 σ 2...σ d ] T μια παράμετρος κλιμάκωσ ης για κάθε εικονοσ τοιχείο. Ανάλυση Ανεξάρτητων Συνιστωσών - ICA Η PCA έχει πολύ καλά αποτελέσ ματα όταν τα δεδομένα ακολουθούν Gaussian κατανομή, είναι γραμμικά και σ τάσ ιμα. Στις περιπτώσ εις όπου τα δεδομένα δεν έχουν τις ιδιότητες αυτές ή είναι πολύ θορυβώδη χρησ ιμοποιούμε ICA. Το πρόβλημα που θέλουμε να λύσ ουμε είναι: Για δοσ μένο διάνυσ μα παρατηρήσ εων x, να βρεθούν οι ανεξάρτητες σ υνισ τώσ ες s και ο πίνακας A έτσ ι ώσ τε να ισ χύει: 69