R k = r k x r k y r k z

Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες Καλογήρου Χαρίλαος Ηλ. Ταχυδροµείο : harkal@cs.uoi.gr Πανεπιστήµιο Ιωαννίνων Τµήµα Πληροφορικής Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.1/

Εισαγωγή Ορισµός προβλήµατος οσµένης µιας σειράς ϕωτογραφιών ενός ανθρώπου, να δηµιουργηθεί µια τρισδιάστατη πολυεδρική αναπαράσταση του κεφαλιού του ανθρώπου αυτού. Εφαρµογές : Εύκολη µοντελοποίηση ανθρωπίνων κεφαλιών Αντικατάσταση ηθοποιών µε αναγνωρίσιµα 3D µοντέλα για οπτικά effects. εν χρειάζεται η χρήση ακριβού εξοπλισµού 3D scanning. Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.2/

Μέθοδος Πρόβληµα : Οι ϕωτογραφίες είναι αποτέλεσµα µη αντιστρέψιµης προοπτικής προβολής Οι ϱυθµίσεις της κάµερας δεν είναι γνωστές για κάθε ϕωτογραφία. (εστιακή απόσταση, ϑέση) q p C1... C2 C3 Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.3/

Μέθοδος Λύση : Μαθηµατική µοντελοποίηση του προβλήµατος Μετατροπή του προβλήµατος σε πρόβληµα ελαχιστοποίησης Υπολογισµός των χαρακτηριστικών λήψης κάθε ϕωτογραφίας Υπολογισµός ϑέσης των χαρακτηριστικών σηµείων στο χώρο Morphing γενικού κεφαλιού στο Ϲητούµενο Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.4/

Μοντελοποίηση Για κάθε ϕωτογραφία k ϑεωρούµε πως η κάµερα έχει τα εξής χαρακτηριστικά : R k = r k x r k y r k z : 3x3 πίνακας περιστροφής t k = [t k x, t k y, t k z] : ιάνυσµα µετατόπισης Για κάθε 3D χαρακτηριστικό σηµείο p i ϑεω- ϱούµε ότι οι συντεταγµένες του πάνω στην εικόνα k είναι οι (x k i, yk i ) Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.5/

Μοντελοποίηση Θεωρούµε ότι η αρχή του συστήµατος συντεταγµένων (x, y) των ϕωτογραφιών ϐρίσκεται στο κέντρο της ϕωτογραφίας. Οι εξισώσεις προοπτικής προβολής της κάµερας µε εστιακή απόσταση f k είναι : x k i Rk p i + t k, x k i = (x k i, y k i, f k ) Η διαφορετικά : x k i = f k r k x p i + t k x r k z p i + t k z y k i = f k r k y p i + t k y r k z p i + t k z Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.6/

Μοντελοποίηση Θέτουµε h k = 1/t k z και sk = f k h k και έχουµε : x k i = s k r k x p i + t k x 1 + h k r k z p i y k i = s k r k y p i + t k y 1 + h k r k z p i Θέτοντας τέλος wi k = 1/(1 + h k r k z p i ) παίρνουµε : ( wi k x k i + x k i h k r k z p i s k ( r ) x k p i + t k x) = 0 ( yi k + yi k h k r k z p i s k ( r ) y k p i + t k y) = 0 w k i Προσέγγιση των αγνώστων µε ελαχιστοποίηση τετραγώνων. Με τον αλγόριθµο των Levenberg-Marquardt. Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.7/

Υλοποίηση Κύριοι τοµείς Το γραφικό περιβάλλον µε το οποίο ο χρήστης ϑα µπορεί να επεξεργάζεται τις εικόνες και να επιβλέπει την διαδικασία δηµιουργίας του 3D µοντέλου Επιλυτής κάµερας και χαρακτηριστικών σηµείων Morphing από το γενικό κεφάλι στο συγκεκριµένο Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.8/

Το γραφικό περιβάλλον Υποστήριξη projects Φόρτωση εικόνων σε µορφή JPEG, PNG, GIF, TGA, BMP, TIFF ιαχείριση των χαρακτηριστικών σηµείων Αλληλεπίδραση µε τον επιλυτή κάµερας. Υλοποίηση σε γλώσσα Python Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.9/

Το γραφικό περιβάλλον Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.10/

Επ. κάµ. και χαρακτ. σηµείων Λειτουργία επίλυσης κάµερας Λειτουργία επίλυσης χαρακτηριστικών σηµείων έχοντας καθορίσει τις κάµερες Υλοποίηση σε γλώσσα C++ Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.11/

Morphing / Deforming Μορφοποίηση του γενικού κεφαλιού µε ϐάση τα χαρακτηριστικά σηµεία οσµένων µετατοπίσεων u i = p i p (0) i αρχικές ϑέσεις p (0) i σε κάθε κορυφή i που από τις αντιστοιχεί σε χαρακτηριστικό σηµείο, ϑέλουµε να ϕτιάξουµε µία συνάρτηση f που ϑα µας δίνει την µετατόπιση u j για τις κορυφές j που δεν αντιστοιχούν σε χαρακτηριστικό σηµείο. Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.12/

Morphing / Deforming Μορφοποίηση του γενικού κεφαλιού µε ϐάση τα χαρακτηριστικά σηµεία Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.13/

Morphing / Deforming Μεγάλο ϑέµα, πολλές διαφορετικές λύσεις Η τελική µέθοδος δεν είναι σαφής ακόµα Χρήση Radial Basis Functions Χρήση Free-form deformation (FFD) Υλοποίηση σε γλώσσα C++ Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.14/

Τι έχει υλοποιηθεί Ο χρήστης µπορεί να δηµιουργεί, αποθηκεύει ϕορτώνει projects Nα επιλέγει και να ϕορτώνει ϕωτογραφίες Να ϑέτει και να επεξεργάζεται χαρακτηριστικά σηµεία Επίλυση κάµερας Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.15/

Τι αποµένει Σύνδεση επιλυτή κάµερας µε γραφικό περιβάλλον Μορφοποίηση γενικού κεφαλιού µε ϐάση τα χαρακτηριστικά σηµεία Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.16/

Βιβλιογραφία Frédéric Pighin, Jamie Hecker, Dani Lischinski, Richard Szeliski, David H. Salesin. Synthesizing Realistic Facial Expressions from Photographs. Proceedings of SIGGRAPH 98, pp. 75 84, 1998 Seung-Yong Lee, Kyung-Yong Chwa, Sung Yong Shin, and George Wolberg. Image Metamorphosis Using Snakes and Free-Form Deformations. SIGGRAPH 95 Conference Proceedings, pp 439 448. ACM SIGGRAPH, August 1995. Seung-Yong Lee, George Wolberg, Kyung-Yong Chwa, Sung Yong Shin. Image Metamorphosis with Scattered Feature Constraints. IEEE Transactions on Visualization and Computer Graphics, 2(4), December 1996 Richard Szeliski and Sing Bing Kang. Recovering 3D Shape and Motion from Image Streams using Nonlinear Least Squares. Journal of Visual Communication and Image Representation, 5(1):10 28, March 1994 Κατασκευή 3D µοντέλων κεφαλιών από ϕωτογραφίες p.17/