ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ ΠΑΡΑΚΟΛΟΥΘΗΣΗΣ ΕΚΦΡΑΣΕΩΝ ΠΡΟΣΩΠΟΥ ΣΕ ΕΙΚΟΝΟΣΕΙΡΕΣ

Transcript

1 Αριστοτέλειο Πανεπιστήµιο Θεσσαλονίκης Τµήµα Πληροφορικής ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ ΠΑΡΑΚΟΛΟΥΘΗΣΗΣ ΕΚΦΡΑΣΕΩΝ ΠΡΟΣΩΠΟΥ ΣΕ ΕΙΚΟΝΟΣΕΙΡΕΣ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ ΠΟΥ ΕΚΠΟΝΗΘΗΚΕ ΑΠΟ ΤΗ: ΛΙΘΑΡΗ ΧΡΥΣΟΥΛΑ Α.Ε.Μ. 628 ΕΠΙΒΛΕΠΩΝ: Ν. ΝΙΚΟΛΑΪ ΗΣ ΘΕΣΣΑΛΟΝΙΚΗ, ΙΟΥΛΙΟΣ

2 Θα ήθελα να ευχαριστήσω τον κ. Ι. Πήτα, τον κ. Ν. Νικολαΐδη και όλα τα µέλη του εργαστηρίου Τεχνητής Νοηµοσύνης και Ανάλυσης Πληροφοριών για τη βοήθειά τους στα πλαίσια της πτυχιακής αυτής εργασίας. Λιθαρή Χρυσούλα 2

3 Περιεχόµενα Ευχαριστίες...2 Εισαγωγή... 3 Κεφάλαιο 1: Θεωρητικό υπόβαθρο Πρότυπο MPEG FDP FAP Πίνακας παρεµβολής FAP VRML format Αλγόριθµοι παρακολούθησης σηµείων Αλγόριθµοι παρακολούθησης εκφράσεων ανθρώπινου προσώπου Κεφάλαιο 2: Περιγραφή και υλοποίηση του αλγορίθµου Σύντοµη περιγραφή του αλγόρίθµου που χρησιµοποιήθηκε Πλέγµα που χρησιµοποιήθηκε Αρχική προσαρµογή του πλέγµατος στο πρόσωπο Παρακολούθηση σηµείων ιόρθωση των σηµείων του πλέγµατος Αρχεία Εξόδου..54 Κεφάλαιο 3: Πειραµατικά αποτελέσµατα Εικονοσειρές εισόδου Αποτελέσµατα Συµπεράσµατα και προτάσεις για περαιτέρω έρευνα 67 Βιβλιογραφία

4 Εισαγωγή Η ανάλυση και η σύνθεση σχεδιοκίνησης προσώπου είναι σηµαντικά ζητήµατα σε ό,τι αφορά τις ανθρωποκεντρικές εφαρµογές. Η ανάλυση συνίσταται στην εξαγωγή πληροφορίας σχετική µε τη θέση και την κίνηση στοιχείων του προσώπου, όπως την κίνηση των µατιών και του στόµατος και τη θέση του κεφαλιού σε εικονοσειρές. Η σύνθεση από την άλλη, αναφέρεται στην αντίστροφη διαδικασία του σχεδιασµού της κίνησης ενός µοντέλου προσώπου χρησιµοποιώντας ένα σύνολο παραµέτρων που ελέγχουν τη θέση, την έκφραση και το viseme 1. Η ανάλυση κίνησης του προσώπου είναι χρήσιµη σε διάφορες εφαρµογές όπως παρακολούθηση µατιών, αναγνώριση ανθρώπινων εκφράσεων, κατανόηση οµιλίας µε οπτική πληροφορία και στη µετάδοση πληροφορίας για την κίνηση ενός προσώπου σε µια εικονοσειρά. Στην τελευταία εφαρµογή, αντί να µεταδίδεται το βίντεο, µεταδίδεται ο τρόπος µε τον οποίο κινείται το πλέγµα που περιγράφει το πρόσωπο. Η σύνθεση βρίσκει εφαρµογή στη σχεδιοκίνηση πραγµατικών χαρακτήρων ή ψηφιακών ηθοποιών. Η σύνθεση ανθρώπινων εκφράσεων από µόνη της είναι ιδιαίτερα πολύπλοκο ζήτηµα. Περιλαµβάνει απαλές κινήσεις στοιχείων του προσώπου όπως τα µάτια, τα φρύδια, τα µάγουλα, το στόµα κ.τ.λ. που καθορίζονται από σύσπαση και χαλάρωση µυών. Επιπλέον, ο άνθρωπος έχει την ικανότητα να πετυχαίνει διαφορετική έκφραση ακόµα και µε µία µηδαµινή µετατόπιση κάποιου στοιχείου του προσώπου. Έτσι λοιπόν, είναι εξαιρετικά δύσκολη η σύνθεση ανθρώπινων εκφράσεων µόνο µε την προσοµοίωση του περίπλοκου µηχανισµού κίνησης του προσώπου. Όσον αφορά στην ανάλυση ανθρώπινων εκφράσεων, είναι και αυτή µε τη σειρά της µια σύνθετη διαδικασία. Οι απαιτήσεις σε ακρίβεια εξαρτώνται από τις συνθήκες της εκάστοτε εφαρµογής. Συνεπώς, η ανάλυση µπορεί να αναφέρεται σε εφαρµογές πραγµατικού χρόνου ή off line εφαρµογές, πλήρως αυτοµατοποιηµένες ή οδηγούµενες από τον άνθρωπο. Για παράδειγµα το βιντεοτηλέφωνο απαιτεί πλήρως αυτοµατοποιηµένη ανάλυση πραγµατικού χρόνου ενώ οι εφαρµογές αφήγησης ιστοριών απαιτούν off line ανάλυση µε την καθοδήγηση του ανθρώπου. Άλλες 1 το οπτικό ανάλογο του phoneme (φώνηµα), δηλαδή µια εικόνα του προσώπου που αντιστοιχεί σε ένα συγκεκριµένο φώνηµα 4

5 εφαρµογές όπως το οι εικονικοί χαρακτήρες στα παιχνίδια πιθανόν να µην απαιτούν καθόλου ανάλυση εφόσον δεν έχουν την πρόθεση να αναπαράγουν ένα πραγµατικό πρόσωπο αλλά απλά να δηµιουργήσουν ένα ψυχαγωγικό θέαµα µε τη βοήθεια λογισµικού που δηµιουργεί σχεδιοκίνηση προσώπου. Μια συνηθισµένη προσέγγιση για την τεχνική της ανάλυσης είναι αυτή µε τις παραµέτρους που σχετίζονται µε την κίνηση ενός συνόλου κόµβων ενός πλέγµατος τοποθετηµένου στο πρόσωπο (εικόνα 1.1). Είναι απαραίτητο όµως η αρχική τοποθέτηση του πλέγµατος στο πρόσωπο να γίνεται χειροκίνητα για κάθε µοντέλο µε διαφορετική δοµή, δηλαδή για κάθε διαφορετικό πρόσωπο. Γίνονται έρευνες σχετικά µε µεθόδους αυτόµατης προσαρµογής του πλέγµατος στο πρόσωπο. εικόνα 1.1 πλέγµα τοποθετηµένο σε πρόσωπο Η σχεδιοκίνηση είναι ένας τοµέας µε σηµαντική ανάπτυξη τελευταία ιδιαίτερα στο χώρο του κινηµατογράφου και των παιχνιδιών. Οι προσεγγίσεις που µπορούν να ακολουθηθούν είναι δύο: 1. ανεξάρτητη παραγωγή των τρισδιάστατων µοντέλων προσώπου βασισµένη στην ήδη υπάρχουσα γνώση του τρόπου µε τον οποίο κινούνται οι µύες του προσώπου (προσοµοίωση) 5

6 2. εξαγωγή των τρισδιάστατων µοντέλων βασισµένη στην ανάλυση ανθρώπινων εκφράσεων Όποια από τις δύο µεθόδους και να επιλεγεί, µια συνηθισµένη πρακτική είναι ο σχηµατισµός ανθρώπινων εκφράσεων σε σηµεία κλειδιά της εικονοσειράς για κάθε τρία ή πέντε καρρέ ώστε να επιτευχθεί καλύτερη ποιότητα. Μια άλλη ερευνητική περιοχή σχετική µε τη διπλωµατική αυτή εργασία είναι και η εύρεση της θέσης του κεφαλιού σε µια εικόνα και η παρακολούθηση της θέσης του σε µια εικονοσειρά (face detection and tracking). Μία εφαρµογή αυτών είναι στη µετάδοση βίντεο σε πραγµατικό χρόνο. Σε τέτοιες εφαρµογές τα σηµεία της εικόνας στα οποία βρίσκεται το κεφάλι είναι αυτά που θα µεταβληθεί η θέση τους κατά πολύ, ενώ τα υπόλοιπα είναι σηµεία του φόντου και πιθανότατα δε µας ενδιαφέρει η ενδεχόµενη µεταβολή τους. Οι εφαρµογές αυτές όµως δεν ασχολούνται µε την ακριβή θέση των σηµείων στο πρόσωπο και την κίνηση των µυών. Σκοπός της εργασίας αυτής είναι η δηµιουργία µιας εφαρµογής, στην οποία θα γίνεται παρακολούθηση των σηµείων του προσώπου σε µια εικονοσειρά και θα παίρνουµε ως έξοδο, πληροφορία σύµφωνα µε την οποία θα κινούµε ένα µοντέλο προσώπου. Για να το πετύχουµε αυτό χρησιµοποιήσαµε ένα πλέγµα σε µορφή VRML που προσαρµόσαµε στο πρόσωπο. Στην ενότητα 1.2 αναλυθεί αυτή η µορφή αρχείων. Το πλέγµα αυτό ακολουθεί την κίνηση του προσώπου στην εικόνα της εικονοσειράς και παίρνουµε έτσι πληροφορία για την κίνηση των στοιχείων του προσώπου. Ο αλγόριθµος που χρησιµοποιήθηκε γι αυτή τη διαδικασία περιγράφεται στην ενότητα 1.3 Όσον αφορά την έξοδο, πρόκειται για ένα αρχείο VRML και ένα αρχείο που περιγράφει τις κινήσεις του προσώπου σύµφωνα µε το πρότυπο MPEG- 4, το οποίο θα περιγραφεί στην ενότητα 1.1. Για να παρουσιάσουµε µια εποπτική εικόνα του θέµατος, θα κάνουµε λόγο και για την µέχρι τώρα έρευνα στον τοµέα της ανάλυσης ανθρώπινων εκφράσεων στην ενότητα 1.3. Επιπλέον, στα κεφάλαια 2 και 3 αναφέρονται στην υλοποίηση και περιγραφή του αλγορίθµου και στα πειραµατικά αποτελέσµατα αντίστοιχα. 6

7 Κεφάλαιο 1 Θεωρητικό υπόβαθρο 1.1 Πρότυπο ΜPEG - 4 Η ταχύτατη εξέλιξη της ψηφιακής τεχνολογίας την τελευταία δεκαετία άλλαξε ριζικά τον τρόπο µε τον οποίο η πληροφορία, κυρίως η οπτική, παράγεται, επεξεργάζεται, µεταφέρεται, αποθηκεύεται και παρουσιάζεται. Αναγνωρίζοντας το γεγονός ότι η οπτικοακουστική πληροφορία πρέπει να παρουσιάζεται σε ένα πλαίσιο ικανό να παρέχει στο χρήστη όσο το δυνατόν περισσότερες ρεαλιστικές δυνατότητες, η Moving Pictures Experts Group (MPEG) αποφάσισε το 1993 να προωθήσει ένα νέο πρότυπο, το MPEG-4 [Wa 95]. Είναι το πρώτο πρότυπο για οπτικοακουστική πληροφορία που µοντελοποιεί την οπτικοακουστική «σκηνή» ως σύνθεση οπτικοακουστικών αντικειµένων µε συγκεκριµένα χαρακτηριστικά και συµπεριφορά στο χώρο και το χρόνο. Το MPEG-4 οργανώνει τα δεδοµένα µε την έννοια κάποιων βασικών ροών, που πιθανόν να περιέχουν διαφορετικού τύπου πληροφορία: 1. κωδικοποιηµένα οπτικοακουστικά δεδοµένα όπως βίντεο, µουσική και οµιλία σε µορφή δισδιάστατων διανυσµάτων 2. δεδοµένα σχεδιοκίνησης προσώπου που σχετίζονται µε τρισδιάστατα αντικείµενα 3. πληροφορία για την περιγραφή της «σκηνής» τοποθετώντας στο χώρο και το χρόνο τα αντικείµενα καθώς επίσης και την διάδραση µε το χρήστη 4. αντικείµενα που περιέχουν πληροφορία σε µορφή κειµένου για τα γεγονότα της «σκηνής» και το κάθε αντικείµενο ξεχωριστά 5. περιγραφή του τύπου του περιεχοµένου σε κάθε βασική ροή Πιο συγκεκριµένα, τα αντικείµενα που µοντελοποιούν το πρόσωπο στο MPEG-4 είναι δοµηµένα µε τέτοιο τρόπο ώστε οι αλλαγές στην έκφραση του προσώπου κατά 7

8 την οµιλία να είναι κατανοητές, οι ανθρώπινες εκφράσεις να επιτρέπουν την αναγνώριση του συναισθήµατος του οµιλητή και την αναπαραγωγή ενός όσο το δυνατό πιο ρεαλιστικού οµιλητή. Για να επιτύχει αυτούς τους στόχους το MPEG-4 καθορίζει τρεις τύπους δεδοµένων προσώπου: 1. Facial Animation Parameters (FAPs): τα FAPs επιτρέπουν να κινήσουµε ένα τρισδιάστατο µοντέλο προσώπου που διαθέτουµε. Το πώς έχει παραχθεί αυτό το µοντέλο δε µας ενδιαφέρει. Τα FAPs επιτρέπουν τη σχεδιοκίνηση των σηµείων κλειδιών του µοντέλου ανεξάρτητα το ένα από το άλλο ή και σε σύνολα καθώς επίσης και την αναπαραγωγή viseme και εκφράσεων. 2. Facial Definition Parameters (FDPs): τα FDPs δίνουν τη δυνατότητα να διαµορφώσει κανείς ένα τρισδιάστατο µοντέλο προσώπου διαιρώντας τα σηµεία που το αποτελούν σε σύνολα και καθορίζοντας την ακριβή θέση του κάθε σηµείου. Το διαµορφωµένο µοντέλο µετά κινείται όπως ορίζουν τα FAPs. 3. Πίνακας παρεµβολής FAP: τα FAPs που παραλαµβάνονται από τον αποκωδικοποιητή δεν είναι αρκετά ή δεν είναι απόλυτα σωστά, και έτσι ο πίνακας αυτός ορίζει τους κανόνες παρεµβολής ανάµεσα στα FAPs τα οποία πρέπει να παρεµβληθούν από τον αποκωδικοποιητή. Στη συνέχεια το τρισδιάστατο µοντέλο κινείται σύµφωνα µε τα FAPs που παραλήφθηκαν αλλά και αυτά που παρεµβλήθηκαν µε τη βοήθεια του πίνακα αυτού. Παρακάτω θα αναφερθούµε µε περισσότερες λεπτοµέρειες στους τρεις αυτούς τύπους δεδοµένων του προτύπου MPEG 4. 8

9 1.1.1 FDP Απαραίτητη προϋπόθεση για καλά αποτελέσµατα στη σχεδιοκίνηση είναι ένα σύνολο από µοναδικά σηµεία τοποθετηµένα πάνω στο πρόσωπο όπως φαίνεται στην εικόνα 1.1. Κάθε υποσύνολο αυτών των στοιχείων, που γενικά ορίζεται ως κλειστός κύκλος υπόκειται σε κίνηση, µετατόπιση ή περιστροφή, από ένα FAP. Τα σηµεία που αποµένουν, ανοιχτοί κύκλοι, δεν κινούνται άµεσα αλλά καθορίζουν το γενικό σχήµα του προσώπου και ορίζουν τις σταθερές κανονικοποίησης των FAPs. Αυτά τα σταθερά σηµεία µπορούν να αποτελέσουν είσοδο σε ένα ευέλικτο µοντέλο ικανό να αλλάζει το γενικό του σχήµα ανεξάρτητα ή περιστασιακά σύµφωνα µε τη σχεδιοκίνησή του. Η µετατόπιση και η περιστροφή των σηµείων που δίνεται από το FAP είναι σε σχέση µε τις αντίστοιχες θέσεις των σηµείων στο ουδέτερο πρόσωπο. Τα πιο σηµαντικά χαρακτηριστικά ενός ουδέτερου προσώπου είναι: 1. το κλειστό στόµα 2. το κεφάλι στην όρθια θέση 3. το βλέµµα ευθεία µπροστά 4. τα βλέφαρα εφαπτόµενα στις ίριδες των µατιών. Το σχήµα του φρυδιού, η καµπύλη του κλειστού στόµατος, τα µάγουλα και το µέτωπο δεν ορίζονται σαφώς και πλήρως αλλά πρέπει να είναι αντίστοιχα µιας ουδέτερης έκφρασης. Στον πίνακα 1.1 φαίνονται τα κλειστά σύνολα των FDPs και από πόσα σηµεία αποτελείται το καθένα. Εκτός από αυτά υπάρχουν και κάποια άλλα σηµεία που δεν ανήκουν σε κλειστό κύκλο και δίνουν γενικά το σχήµα του προσώπου, όπως για παράδειγµα τα σηµεία στο περίγραµµα του µετώπου και στα µάγουλα. 9

10 Κλειστά σύνολα FDP Πλήθος σηµείων κόµβων µύτη 11 µάτια 12 γλώσσα 4 δόντια 4 εσωτερικά χείλη 8 εξωτερικά χείλη 10 φρύδια 6 αυτιά 10 Πίνακας 1.1 Κλειστά σύνολα FDPs εικόνα 1.2 το διάγραµµα των FDPs [Wa 95] 10

11 Ενώ η κίνηση του κάθε σηµείου είναι πλήρως ορισµένη, η ακριβής θέση των σηµείων εξαρτάται από το σχεδιαστή του κάθε µοντέλου. Η ιδανική θέση είναι ξεκάθαρη σε ένα ανθρώπινο πρόσωπο, όχι όµως και σε ένα πρόσωπο ζώου για παράδειγµα. Εκεί η τοποθέτηση θα πρέπει να γίνει µε γνώση των FAPs και της διαδικασίας κανονικοποίησης. Στους πίνακες 1.2 και 1,3 φαίνονται κάποια παραδείγµατα FDP. περιγραφή Προτεινόµενη σταθερά τοποθέτησης στο x Μεσαίο σηµείο ανάµεσα στα FDP 2.2 και 2.4στο περίγραµµα του εσωτερικού άνω χείλους (2.2x + 2.4x)/2 Πίνακας 1.2 Παράδειγµα FDP: #2.1 Η σταθερά τοποθέτησης σηµαίνει ότι το συγκεκριµένο FDP θα τοποθετηθεί στον άξονα των x µε βάση τις x συνιστώσες των FDPs 2.2 και 2.4. (το ήµισυ του αθροίσµατος αυτών). περιγραφή Κόκαλο αριστερού µάγουλου Προτεινόµενη σταθερά τοποθέτησης άξονας x >3.5.x και <3.7.x άξονας y >9.15.y και <9.12.y Πίνακας 1.3 Παράδειγµα FDP: #5.3 11

12 1.1.2 FAP Το πρότυπο MPEG-4 ορίζει το τρισδιάστατο µοντέλο για το πρόσωπο, θεωρώντας ότι τα FAPs µπορούν να δώσουν καλά αποτελέσµατα στη σχεδιοκίνηση µε οποιοδήποτε λογικό µοντέλο. Ωστόσο, όποτε αυτό κρίνεται απαραίτητο, τα µοντέλα προσώπου µπορούν να διαµορφωθούν µε τη χρήση των FDPs. Αυτή η ελευθερία σε ότι αφορά το τρισδιάστατο µοντέλο απάλλαξε τους δηµιουργούς του από το να επιλέξουν ένα µοναδικό µοντέλο και να περιορίσουν τις επιλογές των χρηστών σχετικά µε τον τύπο και την πολυπλοκότητα των µοντέλων που µπορούν να χρησιµοποιηθούν. Επίσης η χρωµατική απεικόνιση δεν είναι καθορισµένη και εξαρτάται από τους αλγόριθµους που διαθέτει ο χρήστης καθώς και τη διαθέσιµη υπολογιστική ισχύ. Τα FAPs βασίζονται στη µελέτη των ελάχιστων κινήσεων και είναι στενά συνδεδεµένα µε τις κινήσεις των µυών. Το επιλεγµένο σύνολο FAPs αντιπροσωπεύει ένα πλήρες σύνολο βασικών κινήσεων του προσώπου αναπαριστώντας έτσι τις περισσότερες φυσιολογικές εκφράσεις αλλά και µερικές υπερβολικές εκφράσεις όπως στα καρτούν. Υπάρχουν 68 FAPs, 66 χαµηλού επιπέδου παράµετροι που σχετίζονται µε τα χείλια, το σαγόνι, το στόµα, τα µάτια, τα µάγουλα, τη µύτη κ.τ.λ. και 2 υψηλού επιπέδου παράµετροι που σχετίζονται µε τις εκφράσεις και το viseme. Τα χαµηλού επιπέδου FAPs είναι υπεύθυνα για τις κινήσεις σηµαντικών τµηµάτων του προσώπου και περιγράφουν την κίνηση ενός στοιχείου του προσώπου και την περιστροφή του κεφαλιού και της κόρης των µατιών. Από την άλλη, τα υψηλού επιπέδου αναπαριστούν πιο σύνθετες κινήσεις και τυπικά περιγράφουν ένα σύνολο από FAPs. Όλα τα χαµηλού επιπέδου FAPs που περιγράφουν κίνηση εκφράζονται µε τη βοήθεια των µονάδων FAP (FAPUs). Αυτές οι µονάδες ορίζονται έτσι ώστε να µπορούν να ερµηνεύουν τα FAPs όλων των µοντέλων προσώπου µε συνέπεια παράγοντας λογικά αποτελέσµατα σχεδιοκίνησης. Τα FAPs αντιστοιχούν σε µέρος των αποστάσεων ανάµεσα σε κάποια σηµεία κλειδιά, όπως η απόσταση µεταξύ του στόµατος και της µύτης, η απόσταση του ενός µατιού από το άλλο, κ.τ.λ. Οι µονάδες µέτρησης της απόστασης που χρησιµοποιούνται στα διάφορα FAPs έχουν επιλεγεί έτσι ώστε να δίνουν αρκετή ακρίβεια στο αντίστοιχο FAP. 12

13 Επιπλέον στοιχεία που προσδιορίζουν ένα FAP είναι το αν είναι µονοκατευθυντικό ή έχει 2 κατευθύνσεις, προς τα πού ορίζεται η θετική κατεύθυνση, σε ποιο σύνολο των FAP και σε ποιο υποσύνολο των FDP ανήκει και ποιο είναι το προεπιλεγµένο βήµα κβαντισµού. Τέλος, το κάθε FAP προσδιορίζεται από ένα µοναδικό ακέραιο από 1 έως 68. ονοµασία open_jaw περιγραφή κάθετη µετατόπιση του σαγονιού (δεν επηρεάζει το άνοιγµα του στόµατος) FAPU κατεύθυνση MNS, Mouth Noise Separation µονοκατευθυντικό θετική κίνηση κάτω σύνολο 1 υποσύνολο FDP 1 προεπιλεγµένο βήµα κβαντισµού 4 Πίνακας 1.4 Παράδειγµα FAP #3 ονοµασία lower_t_lip_lm περιγραφή κάθετη µετατόπιση του µεσαίου σηµείου µεταξύ της αριστερής γωνίας και του µέσου του άνω εσωτερικού χείλους FAPU κατεύθυνση MNS, Mouth Noise Separation δικατευθυντικό 13

14 θετική κίνηση κάτω σύνολο 2 υποσύνολο FDP 6 προεπιλεγµένο βήµα κβαντισµού 2 Πίνακας 1.5 Παράδειγµα FAP #8 Τα faps χωρίζονται και αυτά σε υποσύνολα όπως φαίνεται στον πίνακα 1.6. υποσύνολο πλήθος faps visemes και εκφράσεις 2 σαγόνι, µάγουλα, εσωτερικό άνω χείλος, 16 γωνίες των χειλιών, µέση των χειλιών κόρες των µατιών, βλέφαρα 12 φρύδια 8 µάγουλα 4 γλώσσα 5 Περιστροφή κεφαλιού 3 Θέση των εξωτερικών χειλιών 10 µύτη 4 αυτιά 4 Πίνακας

15 1.1.3 Πίνακας παρεµβολής FAP Τα µοντέλα προσώπου που χρησιµοποιούνται ποικίλουν σε πολυπλοκότητα και µπορεί να είναι από ένα δυαδικής µορφής πρόσωπο (στόµα ανοιχτό ή κλειστό), µέχρι ένα µοντέλο βασισµένο σε πιο φυσικές κινήσεις µε ρεαλιστικό δέρµα και ρυτίδες. Κάθε ολοκληρωµένο σύνολο FAP είναι σχεδιασµένο να µπορεί να κινήσει ένα λογικό µοντέλο προσώπου και κάθε µοντέλο προσώπου θα πρέπει να µπορεί να ανταποκριθεί σωστά σε ένα σύνολο FAPs. Με τον όρο παρεµβολή FAP αναφερόµαστε στη διαδικασία που επιτελείται από τον αποκωδικοποιητή εκφράσεων, κατά την οποία υπολογίζονται αυτόνοµα οι τιµές των FAPs που δεν έχουν µεταδοθεί και κωδικοποιηθεί [La 01]. Με δεδοµένη τη γνώση ενός περιορισµένου αριθµού FAP, ο στόχος της παρεµβολής είναι να εκτιµήσουµε την τιµή αυτών που λείπουν. Εφόσον τα γνωστά και τα εκτιµώµενα FAP ανήκουν στο ίδιο καρρέ (πλαίσιο), η διαδικασία είναι ενδοπλαισιακή και όχι διαπλαισιακή, αφού δε λαµβάνεται υπ όψιν καµία πρόβλεψη ανάµεσα στα καρρέ. Μαζί µε τη µετάδοση κάθε συνόλου FAPs µεταδίδονται και δύο άλλα στοιχεία, το fap_mask_type και το fap_group_mask έτσι ώστε να επιλεγούν τα faps που θα µεταδοθούν. Το fap_mask_type παίρνει 4 δυνατές τιµές: 00 όταν κανένα fap από εκείνο το σύνολο δε µεταδίδεται, 11 όταν µεταδίδονται όλα τα faps και 01 ή 10 όταν ακολουθεί ένα fap_group_mask.οι µάσκες αυτές µεταδίδονται µόνο στην τελευταία περίπτωση και καθορίζουν ποια fap µεταδίδονται και ποια όχι καθώς επίσης και την κατάσταση του κάθε fap. Οι καταστάσεις των fap είναι 3: SET αν το fap έχει µεταδοθεί, LOCK αν δεν έχει µεταδοθεί και µένει το ίδιο όπως στο προηγούµενο καρρέ και INTERP όταν δεν έχει µεταδοθεί και ο αποκωδικοποιητής πρέπει να καθορίσει τη νέα του τιµή. Ένα παράδειγµα είναι όταν ένα fap µεταδίδεται στην αρχή και µετά παυει η µετάδοσή του. Αν ο αποκωδικοποιητής είναι ενεργοποιηµένος από την αρχή, όταν το fap ακόµη µεταδίδεται, και µόλις σταµατήσει η µετάδοση απενεργοποιηθεί, τότε η κατάσταση του fap είναι LOCK. Αν όµως ο αποκωδικοποιητής ενεργοποιηθεί µετά την παύση της µετάδοσης, τότε η κατάσταση του fap είναι INTERP. 15

16 Πολλές φορές θέλοντας να µειώσουµε τα δεδοµένα που πρέπει αν µεταφερθούν, δε δίνουµε όλα τα FAPs από τον κωδικοποιητή στον αποκωδικοποιητή. Αυτό µπορούµε να το κάνουµε π.χ. για το δεξί και το αριστερό τµήµα του στόµατος ή την εσωτερική και εξωτερική γραµµή των χειλιών, όπως αναφέρθηκε, γλιτώνοντας έτσι περίπου το µισό φόρτο δεδοµένων. Σε µια τέτοια περίπτωση τα κριτήρια για την παρεµβολή είναι 2, η αριστερά - δεξιά παρεµβολή και η παρεµβολή στο εσωτερικό εξωτερικό των χειλιών. Αυτό συµβαίνει για να εκµεταλλευτούν δύο χαρακτηριστικά του ανθρώπινου προσώπου: η κάθετη συµµετρία των κινήσεων του προσώπου και η δυνατή συσχέτιση των κινήσεων των εσωτερικών και εξωτερικών χειλιών. Έτσι, αν µεταδίδονται µόνο τα fap του αριστερού µέρους του προσώπου, ο αποκωδικοποιητής µπορεί να κινήσει και τη δεξιά µεριά µε τον ίδιο τρόπο και αντίστροφα. Επίσης, αν µόνο τα FAPs για τα εσωτερικά χείλη χρησιµοποιούνται για να κινήσουν ένα µοντέλο, τότε η κίνηση των γύρω επιφανειών και του σαγονιού θα πρέπει να εξαχθεί µε παρεµβολή από τα FAPs που είναι διαθέσιµα. 1.2 VRML format Το Virtual Reality Modelling Language είναι µία ανοιχτή, διαδεδοµένη γλώσσα περιγραφής τρισδιάστατων σκηνών ή κόσµων στο διαδίκτυο. Με το κατάλληλο λογισµικό µπορεί κανείς να δηµιουργήσει και να δει διαµοιραζόµενα, διαδραστικά, τρισδιάστατα γραφικά µε κείµενο, εικόνες, σχεδιοκίνηση, ήχο, µουσική και βίντεο. Η προσέγγιση που ακολουθείται στο συγκεκριµένο τύπο αρχείων είναι µια ιεραρχική διάταξη των κόµβων µε κάποια στοιχεία που περιγράφουν τη σκηνή. Στην ανάλυση ανθρώπινων εκφράσεων µπορεί κανείς να παρουσιάσει στατικά ή δυναµικά τα αποτελέσµατα σε ένα καθορισµένο µοντέλο. Στατικά, δείχνοντας το στατικό µοντέλο παραµορφωµένο κατάλληλα και δυναµικά προβάλλοντας ένα 16

17 στατικό µοντέλο για κάθε καρρέ του βίντεο που έγινε η παρακολούθηση. Στην εικόνα 1.3 φαίνονται 2 παραδείγµατα µε και χωρίς υφή. Εικόνα 1.3 Παραδείγµατα VRML 17

18 1.3 Αλγόριθµοι παρακολούθησης σηµείων Οι αλγόριθµοι παρακολούθησης σηµείων είναι υπερσύνολο αυτών για την παρακολούθηση µεµονωµένων σηµείων του προσώπου. Για να παρακολουθήσουµε δηλαδή τα σηµεία του προσώπου στα πλαίσια της ανάλυσης ανθρώπινων εκφράσεων, πρέπει να ξεκινήσουµε από την παρακολούθηση και εκτίµηση κίνησης σε εικονοσειρές. Για το λόγο αυτό παραθέτουµε περιληπτικά µερικούς αλγορίθµους παρακολούθησης σηµείων. Συνήθως, η παρακολούθηση σηµείων αφορά στον υπολογισµό του διανύσµατος που περιγράφει την µετατόπιση της προβολής ενός σηµείου από µια εικόνα στην επόµενη. Αυτό που µας ενδιαφέρει στην περίπτωσή µας είναι, γνωρίζοντας τη θέση ενός σηµείου του προσώπου σε µια εικόνα, να εντοπιστεί το ίδιο σηµείο στην επόµενη. Έτσι, αν (x1,y1) ένα χαρακτηριστικό σηµείο της πρώτης εικόνας και (x2,y2) το αντίστοιχο σηµείο στην επόµενη, το διάνυσµα µετατόπισης θα είναι (x2-x1, y2-y1). Ο πιο απλός τρόπος για να εντοπιστεί ένα σηµείο µιας εικόνας σε µια άλλη είναι να οριστεί ένα µπλοκ γύρω από το υπό αναζήτηση σηµείο. Στη συνέχεια, ορίζεται µια περιοχή στην δεύτερη εικόνα. Η περιοχή αυτή ονοµάζεται παράθυρο αναζήτησης (Search window). Το υπό αναζήτηση µπλοκ συγκρίνεται µε το µπλοκ που αντιστοιχεί σε κάθε εικονοστοιχείο της περιοχής αυτής. Χρησιµοποιώντας ένα µέτρο για την οµοιότητα δυο µπλοκ, επιλέγεται αυτό που εµφανίζει τη µεγαλύτερη οµοιότητα µε το αρχικό. Ο αλγόριθµος αυτός ονοµάζεται αλγόριθµος πλήρους ή εξαντλητικής αναζήτησης (full/exhaustive search) [Tek 95]. Αναφέρθηκε πως για τον εντοπισµό του καταλληλότερου µπλοκ χρειάζεται ένα µέτρο της οµοιότητας δυο µπλοκ. Τα µέτρα που εµφανίζονται πιο συχνά στη βιβλιογραφία είναι το µέσο τετραγωνικό σφάλµα (Mean Square Error, MSE), η µέση απόλυτη διαφορά (Mean Absolute Difference, MAD) και ο αριθµός των όµοιων εικονοστοιχείων (Matching Pixel Count, MPC). Το µέσο τετραγωνικό σφάλµα ορίζεται ως εξής: 1 MSE( d, d ) = I ( n, n ) I ( n + d, n + d ) 2 [ ] (1.1) N1N2 ( n1, n2 ) B 18

19 Όπου (d1,d2) ένα διάνυσµα µετατόπισης και Β ένα µπλοκ Ν1 Ν2. Με I1(n1,n2) περιγράφουµε τη φωτεινότητα του εικονοστοιχείου µε συντεταγµένες (n1,n2) στην πρώτη εικόνα και αντίστοιχα I2(n1,n2) είναι η φωτεινότητα του εικονοστοιχείου µε συντεταγµένες (n1,n2) στην δεύτερη εικόνα. Τελικά, επιλέγεται το διάνυσµα (d1,d2) που δίνει το ελάχιστο µέσο τετραγωνικό σφάλµα. Όµως, επειδή η ύψωση στο τετράγωνο κοστίζει σε πολυπλοκότητα, συχνά προτιµάται η µέση απόλυτη διαφορά: 1 MAD( d, d ) = I ( n, n ) I ( n + d, n + d ) (1.2) N1N2 ( n1, n2 ) B Όπως φαίνεται, η διαδικασία είναι η ίδια, µόνο που αντί για ύψωση στο τετράγωνο έχουµε απόλυτη τιµή. Το µέτρο αυτό είναι το πιο διαδεδοµένο δεδοµένου ότι η υλοποίηση του είναι ιδιαίτερα εύκολη. Και στην περίπτωση αυτή αναζητούµε το διάνυσµα που δίνει την ελάχιστη τιµή. Τέλος, για τον υπολογισµό του αριθµού των όµοιων εικονοστοιχείων συγκρίνονται τα εικονοστοιχεία κάθε υποψήφιου µπλοκ µε τα αντίστοιχα του αρχικού και τους ανατίθεται µια τιµή σύµφωνα µε τον τύπο: T ( n, n ; d, d ) , 1, if I1 ( n1, n2 ) I2 ( n1+ d1, n2+ d2 ) t = { else (1.3) Όπου t ένα προκαθορισµένο κατώφλι. Ο αριθµός των όµοιων εικονοστοιχείων ανά µπλοκ υπολογίζεται ως εξής: MPC( d, d ) = T( n, n ; d, d ) (1.4) ( n1, n2 ) B και επιλέγεται το µπλοκ µε το µεγαλύτερο MPC. 19

20 Οι Gharavi και Mills [Gha 90] παρουσιάζουν µια σύγκριση της ποιότητας των αποτελεσµάτων που προκύπτουν από τη σύγκριση των τριών αυτών µέτρων, καθώς και του υπολογιστικού κόστους της υλοποίησης καθενός από αυτά. Το συµπέρασµα στο οποίο φθάνουν ύστερα από πειραµατικές παρατηρήσεις είναι πως το µέσο τετραγωνικό σφάλµα δίνει τα καλύτερα αποτελέσµατα. Με σχετικά µικρή διαφορά ακολουθεί η µέτρηση των όµοιων εικονοστοιχείων, ενώ η µέση απόλυτη διαφορά δίνει σαφώς κατώτερης ποιότητας αποτελέσµατα. Από την άλλη, το υπολογιστικό κόστος της αρίθµησης των όµοιων εικονοστοιχείων είναι σαφώς µικρότερο από τις άλλες δυο µεθόδους. Οι συγγραφείς καταλήγουν στο συµπέρασµα πως ο αριθµός των όµοιων εικονοστοιχείων είναι το καλύτερο µέτρο για τη σύγκριση δυο µπλοκ. Ένα άλλο µέτρο οµοιότητας εκτός από τη µέση απόλυτη διαφορά θα µπορούσε να είναι ο λόγος της µέσης απόλυτης διαφοράς του αρχικού µπλοκ µε ένα άλλο, δια τη διασπορά του µπλοκ αυτού. Το κλάσµα αυτό είναι τόσο µικρότερο όσο µικρότερη είναι η µέση απόλυτη διαφορά και όσο µεγαλύτερη είναι η διασπορά του µπλοκ της δεύτερης εικόνας. Έτσι, θα είναι: BDM MAD( d1, d2) = var( x+ d, y+ d ) 1 2 (1.5) Όπου BDM το µέτρο της διαφορετικότητας δυο µπλοκ (Block Distance Measure), (x,y) το χαρακτηριστικό σηµείο της εικόνας αναφοράς και (d1,d2) ένα διάνυσµα µετατόπισης. Το κλάσµα αυτό ως µέτρο της οµοιότητας δυο µπλοκ έχει ένα µειονέκτηµα. Ενδέχεται να ελαχιστοποιηθεί για ένα µπλοκ πολύ υψηλής διασποράς το οποίο όµως έχει αρκετά διαφορετική µέση απόλυτη διαφορά και, σε τελική ανάλυση, δεν αντιστοιχεί στο ίδιο σηµείο του προσώπου. Για να αντιµετωπιστεί το ενδεχόµενο αυτό µια αποτελεσµατική λύση είναι να υψωθεί στο τετράγωνο ο αριθµητής. Έτσι, είναι σηµαντικότερο να ελαχιστοποιηθεί η µέση απόλυτη διαφορά, χωρίς όµως να αγνοείται η υψηλή διασπορά. Η τελική µορφή λοιπόν του παραπάνω τύπου είναι: BDM 2 MAD( d1, d2) = var( x+ d, y+ d ) 1 2 (1.6) 20

21 Η διαδικασία της σύγκρισης ενός µπλοκ µιας εικόνας µε κάθε δυνατό µπλοκ του παραθύρου αναζήτησης σε µια άλλη εικόνα µπορεί να είναι απλή στη σύλληψη, κοστίζει όµως πάρα πολύ σε υπολογισµούς. Ο αλγόριθµος αυτός προσφέρει τα καλύτερα δυνατά αποτελέσµατα αλλά στην πράξη χρησιµοποιείται πολύ σπάνια λόγω της υψηλής υπολογιστική ς πολυπλοκότητας του. Οι πιο διαδεδοµένοι αλγόριθµοι για αναζήτησης του καταλληλότερου µπλοκ είναι οι αλγόριθµοι που στηρίζονται σε µια συνάρτηση αναζήτησης. Αντί να αναζητούν το µπλοκ σε ολόκληρο το παράθυρο, συγκρίνουν το µπλοκ που µελετάµε µε έναν περιορισµένο αριθµό υποψηφίων µπλοκ της δεύτερης εικόνας, βάσει µιας υπόθεσης. Για τους περισσότερους αλγόριθµους της οµάδας αυτής, η υπόθεση είναι πως το σφάλµα της σύγκρισης του αρχικού µπλοκ µε τα υποψήφια µειώνεται µονοτονικά καθώς πλησιάζουµε στο βέλτιστο (Unimodal Error Surface Assumption,) [Gha 97]. Αυτό σηµαίνει πως, αν υπολογίσουµε το µέτρο της απόστασης κάθε µπλοκ από το επιθυµητό, κινούµενοι συνεχώς προς χαµηλότερες τιµές του µέτρου αυτού θα φθάσουµε κάποια στιγµή στο ολικό ελάχιστο, το οποίο θα αντιστοιχεί στο µπλοκ που αναζητούµε. Η πιο γνωστή υλοποίηση της υπόθεσης αυτής είναι ο αλγόριθµος Three-Step Search [Tek 95]. Ο τρόπος που λειτουργεί ο αλγόριθµος αυτός φαίνεται στην εικόνα 1.4. Έστω πως επιθυµούµε να υπολογίσουµε το διάνυσµα µετατόπισης ενός µπλοκ το οποίο στην πρώτη εικόνα έχει συντεταγµένες (x1, y1). Ξεκινούµε από αυτές τις συντεταγµένες στην δεύτερη εικόνα (η θέση που σηµειώνεται µε 0). Στο πρώτο βήµα του αλγόριθµου συγκρίνουµε το µπλοκ αυτό, καθώς και αυτά που σηµειώνονται µε 1 µε το µπλοκ προς αναζήτηση. Εάν το µπλοκ που µοιάζει περισσότερο µε το µπλοκ που αναζητείται είναι το µπλοκ 0, υποθέτουµε πως δεν υπάρχει κίνηση και ο αλγόριθµος τερµατίζει. Σε αντίθετη περίπτωση, έστω ότι το πιο κοντινό στο αναζητούµενο µπλοκ είναι το σκιασµένο 1. Στο δεύτερο βήµα συγκρίνουµε τα µπλοκ που σηµειώνονται µε 2 µε το επιθυµητό. Έστω ότι και πάλι το σκιασµένο είναι αυτό που «κερδίζει». Συγκρίνουµε τα µπλοκ που βρίσκονται γύρω του σηµειωµένα µε 3- και το µπλοκ που κερδίζει θεωρούµε πως είναι η κατάληξη του διανύσµατος µετατόπισης. 21

22 εικόνα 1.4 Ο αλγόριθµος three-step search. Με 0 σηµειώνεται το αρχικό σηµείο της αναζήτησης. Με 1,2,3 τα σηµεία που ελέγχονται κατά το πρώτο, δεύτερο και τρίτο βήµα αντίστοιχα. Με γκρίζο χρώµα σηµειώνονται τα καταλληλότερα µπλοκ κάθε βήµατος. Ο αλγόριθµος στηρίζεται στην υπόθεση της µονοτονικής µείωσης του σφάλµατος καθώς κινούµαστε προς το ολικό ελάχιστο, αφού σε κάθε βήµα ο αλγόριθµος εντοπίζει το µπλοκ που δίνει το µικρότερο σφάλµα και µετατοπίζει το κέντρο της αναζήτησης στις συντεταγµένες εκείνες. Η απόσταση των µπλοκ που ελέγχουµε γύρω από το κεντρικό µειώνεται σε κάθε βήµα για να φθάσουν στο ένα εικονοστοιχείο στο τρίτο βήµα. Πρέπει να σηµειώσουµε πως ο αλγόριθµος µπορεί να συνεχιστεί και µε περισσότερα βήµατα εάν επιθυµούµε να πετύχουµε ακρίβεια µικρότερη του ενός εκονοστοιχείου. Πάρα πολλές παραλλαγές του αλγορίθµου αυτού υπάρχουν στη βιβλιογραφία. Οι διαφορές τους από τον αρχικό three-step εντοπίζονται στο µοτίβο αναζήτησης, ποια µπλοκ δηλαδή θα συγκρίνονται, καθώς και στον αριθµό των βηµάτων. Ενδεικτικά αναφέρονται οι New Three-Step Search [Li 94], Four-Step Search [Po 96], και Diamond Search [Tha 98][Zhu 00]. 22

23 Ο τελευταίος αυτός αλγόριθµος, σε αντίθεση µε τους προηγούµενους, δεν έχει περιορισµό στον αριθµό των επαναλήψεων. Το κέντρο της αναζήτησης µετατοπίζεται συνεχώς στο µπλοκ µε την µεγαλύτερη οµοιότητα µε το αναζητούµενο. Η διαδικασία αυτή σταµατάει όταν το µπλοκ µε τη µεγαλύτερη οµοιότητα είναι ήδη το κεντρικό. Τότε εκτελείται µια τελευταία επανάληψη όπου ελέγχονται τα µπλοκ γύρω από το αρχικό. Το καταλληλότερο επιλέγεται ως κατάληξη του διανύσµατος µετατόπισης. Το µοτίβο αναζήτησης του Diamond Search φαίνεται στην εικόνα 1.5 εικόνα 1.5 Το µοτίβο αναζήτησης του αλγόριθµου Diamond Search. Στο πρώτο βήµα, το καλύτερο µπλοκ βρίσκεται στο σκιασµένο 1. Έτσι, τίθεται ως κέντρο της αναζήτησης, και συγκρίνεται µε τα µπλοκ που σηµειώνονται µε 2. Το σκιασµένο 2 είναι ο νικητής. Συγκρίνοντάς το µε τα µπλοκ που σηµειώνονται µε 3, και πάλι υπερέχει, οπότε συγκρίνεται µε τα µπλοκ 4. Το καταλληλότερο µπλοκ είναι το σκιασµένο 4. Στατιστικά, στις περισσότερες περιπτώσεις η κίνηση είναι πολύ µικρή. Η σχετικά µικρή απόσταση των σηµείων αναζήτησης από το κεντρικό στον αλγόριθµο αυτό εγγυάται ιδιαίτερα µεγάλη ακρίβεια στον εντοπισµό τέτοιων κινήσεων. Από την άλλη, ο αλγόριθµος δεν έχει περιορισµό στον αριθµό των επαναλήψεων της πρώτης φάσης. Έτσι είναι πολύ πιθανό να εντοπίσει κινήσεις και σε αρκετά µεγάλες αποστάσεις. Η πολυπλοκότητά του είναι ιδιαίτερα χαµηλή. Από την άλλη, όπως τονίζουν οι συγγραφείς, ο αλγόριθµος πιθανόν να µην αποδίδει τόσο καλά σε περίπτωση που η πλειοψηφία των διανυσµάτων κίνησης βρίσκονται πιο µακριά από 3 εικονοστοιχεία από το αρχικό σηµείο. Χαρακτηριστικό της υψηλής αξιοπιστίας του 23

24 αλγόριθµου Diamond Search είναι η υλοποίησή του στο πρότυπο συµπίεσης εικονοσειρών MPEG-4. Ολοκληρώνοντας την αναφορά στους αλγόριθµους της κατηγορίας αυτής, αναφέρουµε και την πρόταση των Lee et al [Lee 93] σύµφωνα µε την οποία, στον three-step search θα έπρεπε να λαµβάνεται υπόψη και το δεύτερο σε σειρά καταλληλότερο µπλοκ. Σε περίπτωση που αυτό είναι πολύ κοντά στο πρώτο, οι συγγραφείς προτείνουν να συµπεριλαµβάνεται και στη σύγκριση του επόµενου βήµατος για να του δίνεται µια δεύτερη ευκαιρία. Οι αλγόριθµοι της κατηγορίας αυτής είναι πολύ αποτελεσµατικοί όταν το διάνυσµα µετατόπισης είναι πολύ µικρό. Τότε, το καταλληλότερο µπλοκ βρίσκεται πολύ κοντά στο αρχικό και για τόσο µικρές αποστάσεις η αρχική υπόθεση ισχύει. Όµως στην περίπτωσή µας δεν µπορούµε να ξέρουµε εάν κάτι τέτοιο ισχύει. Ένα σηµείο της εικόνας αναφοράς, µπορεί να αντιστοιχεί σε ένα σηµείο των εικόνων της κίνησης µε οποιεσδήποτε συντεταγµένες. Έτσι, οι αλγόριθµοι που αναφέρθηκαν ως τώρα είναι ανεπαρκείς για να εντοπίσουν ένα σηµείο µε επιτυχία. Πιο κατάλληλοι για την περίπτωση της αναζήτησης σηµείων του προσώπου στα καρρέ µιας εικονοσειράς είναι οι αλγόριθµοι πυραµίδας ή ιεραρχικοί αλγόριθµοι (pyramid/hierarchical search) [Tek 95]. Η βασική αρχή τους συνίσταται στο σχηµατισµό µιας πυραµιδικής αναπαράστασης µιας εικόνας, όπως φαίνεται στην εικόνα 1.6 εικόνα

25 Η πυραµίδα αυτή σχηµατίζεται ως εξής: Το επίπεδο 1 (L1), είναι η αρχική εικόνα. Στη συνέχεια κατασκευάζουµε διαδοχικά εικόνες χαµηλότερης ευκρίνειας (L2, L3). Για να το πετύχουµε αυτό µπορούµε να αντικαταστήσουµε ένα µπλοκ 2 2 εικονοστοιχείων, στο χαµηλότερο επίπεδο, µε ένα µόνο εικονοστοιχείο, στο αµέσως υψηλότερο επίπεδο, µε φωτεινότητα ίση µε τη µέση τιµή των τεσσάρων εικονοστοιχείων του µπλοκ. Μπορούµε επίσης να αντικαθιστούµε ένα τέτοιο µπλοκ µε την τιµή φωτεινότητας ενός από τα τέσσερα εικονοστοιχεία, π.χ. του πάνω αριστερά Έτσι δηµιουργούµε εικόνες που αποτελούν λιγότερο λεπτοµερείς αναπαραστάσεις της αρχικής, µε µικρότερες διαστάσεις. Για να αναζητήσουµε ένα µπλοκ από µια εικόνα σε µια άλλη, αρχικά δηµιουργούµε την πυραµίδα ευκρίνειας για κάθε εικόνα. Στην συνέχεια γίνεται η αναζήτηση του µπλοκ στο χαµηλότερο επίπεδο ευκρίνειας L3 (όπου η εικόνα είναι µικρότερη) και το αποτέλεσµα της αναζήτησης ανάγεται στο επίπεδο της αµέσως υψηλότερης ευκρίνειας L2. Η αναζήτηση επαναλαµβάνεται σε αυτό το επίπεδο, ξεκινώντας όµως από την θέση που βρήκαµε στο προηγούµενο επίπεδο. Η διαδικασία αυτή επαναλαµβάνεται µέχρι να φτάσουµε στο αρχικό επίπεδο της εικόνας. Με αυτόν τον τρόπο µειώνεται σηµαντικά το υπολογιστικό κόστος, καθώς γίνεται µία εξοντωτική αναζήτηση στην µικρότερη εικόνα, ενώ σε όλες τις υπόλοιπες γίνονται τοπικές αναζητήσεις. Ένα ζήτηµα που προκύπτει στην περίπτωση αυτή, είναι το ενδεχόµενο ένα µπλοκ του υψηλότερου επιπέδου να µοιάζει µε κάποιο άλλο, λόγω της µείωσης της ευκρίνειας. Εάν το αναζητούµενο µπλοκ βρίσκεται σε ένα από τα όµοια αυτά µπλοκ, υπάρχει κίνδυνος να ξεκινήσουµε από λάθος σηµείο και στην περίπτωση αυτή κατά πάσα πιθανότητα θα καταλήξουµε σε λανθασµένα συµπεράσµατα. Στο [Nam 95] προτείνεται µια µέθοδος για την αντιµετώπιση του προβλήµατος αυτού. Αντί για τον εντοπισµό ενός µόνο µπλοκ στο ψηλότερο επίπεδο, προτείνεται ο παράλληλος εντοπισµός ενός αριθµού από µπλοκ. Επαναλαµβάνοντας τη διαδικασία αναζήτησης για καθένα από αυτά τα µπλοκ, καταλήγουµε σε µια σειρά από διανύσµατα µετατόπισης στο χαµηλότερο επίπεδο. Εκεί πλέον συγκρίνουµε τα διανύσµατα αυτά µεταξύ τους και επιλέγουµε το καταλληλότερο. Ένα παράδειγµα µε τρία υποψήφια διανύσµατα φαίνεται στην εικόνα

26 εικόνα 1.7 Αλγόριθµος πυραµίδας µε τρεις παράλληλες διαδροµές. Τέλος υπάρχει και µια ακόµη πρόταση για τους αλγόριθµους πυραµίδας από τους Shi και Xia στο [Shi 97]. Ας υποθέσουµε πως έχουµε έναν αριθµό από υποψήφια διανύσµατα µετατόπισης σε κάποιο υψηλό επίπεδο. Αντί να τα µεταφέρουµε στο αµέσως χαµηλότερο επίπεδο και να επαναλάβουµε την αναζήτηση ώστε να τα βελτιώσουµε, µπορούµε να τα µεταφέρουµε στο επίπεδο 1 της πραγµατικής εικόνας και εκεί να ελέγξουµε κατά πόσον τα διανύσµατα αυτά δίνουν ικανοποιητικά αποτελέσµατα χωρίς περαιτέρω τελειοποίηση. Με τον τρόπο αυτό πιθανόν να καταλήξουµε σε ένα ικανοποιητικό διάνυσµα µετατόπισης χωρίς να χρειαστεί να γίνουν οι ενδιάµεσες αναζητήσεις, και έτσι να χρειαστούν λιγότερες πράξεις. Μια ακόµα κατηγορία αλγορίθµων για την εκτίµηση κίνησης είναι αυτοί που στηρίζονται στις χωροχρονικές συσχετίσεις µεταξύ των διανυσµάτων κίνησης. Η υπόθεση στην οποία στηρίζονται οι αλγόριθµοι αυτοί είναι πως τα διανύσµατα κίνησης των µπλοκ µεταβάλλονται αργά καθώς µετακινούµαστε στο χώρο και στο χρόνο. Έτσι, κάθε διάνυσµα θα είναι πολύ όµοιο µε τα γειτονικά του, και επίσης τα διανύσµατα που αντιστοιχούν στις ίδιες συντεταγµένες για διαδοχικές εικόνες µιας εικονοσειράς θα είναι παρόµοια. Με τον τρόπο αυτό, υπολογίζοντας κάποια διανύσµατα σε µια εικόνα, τα υπόλοιπα µπορούν να υπολογιστούν βάσει των πρώτων µε µικρές διορθώσεις. Η τεχνική αυτή περιορίζει σηµαντικά το υπολογιστικό κόστος. Οι αλγόριθµοι όµως αυτοί δεν είναι αποτελεσµατικοί στην περίπτωση της παρακολούθησης σηµείων του προσώπου. Κι αυτό γιατί οι αλγόριθµοι χωροχρονικών συσχετίσεων είναι σχεδιασµένοι για τις περιπτώσεις όπου πρέπει να υπολογιστεί πυκνό πεδίο διανυσµάτων, δηλαδή ένα διάνυσµα για κάθε εικονοστοιχείο της 26

27 εικόνας. Στην ανάλυση ανθρώπινων εκφράσεων, χρειάζεται να υπολογιστούν τα διανύσµατα κίνησης για έναν περιορισµένο αριθµό σηµείων, αυτά στα οποία αντιστοιχίσθηκαν οι κόµβοι του πλέγµατος. 1.4 Αλγόριθµοι παρακολούθησης εκφράσεων ανθρώπινου προσώπου Στον τοµέα του ανθρώπινου προσώπου έχει γίνει έρευνα και οι αλγόριθµοι που µελετήθηκαν χωρίζονται γενικά σε δύο κατηγορίες. Στη µία κατηγορία αλγορίθµων έχουµε σηµεία πάνω στο πρόσωπο του οποίου την έκφραση µελετάµε που τα επιλέγει ο χρήστης ή γίνεται αυτόµατη αντιστοίχιση, και στη δεύτερη κατηγορία είναι οι αλγόριθµοι που χρησιµοποιούνε τρισδιάστατα σχήµατα για να δηµιουργήσουν αντιστοιχίες µε την πραγµατική γεωµετρία του προσώπου. Στο [Hu] προτείνεται ένας αλγόριθµος παρακολούθησης εκφράσεων που παρακολουθεί τις καθολικές εκφράσεις αλλά και τις επιµέρους λεπτοµέρειες. Χρησιµοποιείται ένα πλέγµα µε 1000 κόµβους. Η ανίχνευση γίνεται σε δύο επίπεδα: το λιγότερο λεπτοµερές που παρακολουθεί τη γενική έκφραση του προσώπου και το υψηλότερο επίπεδο που για κάθε καρρέ λαµβάνεται το πλέγµα που προκύπτει από τη χαµηλού επιπέδου παρακολούθηση και µε βάση αυτό αρχικοποιείται ένα υποδιαιρεµένο πλέγµα µε κόµβους. Το υποδιαιρεµένο πλέγµα καταχωρείται για κάθε καρρέ µε βάση την επέκταση ενός αλγορίθµου για καταγραφή εύκαµπτων σχηµάτων στις τρεις διαστάσεις. Ο αλγόριθµος αυτός χρησιµοποιεί τις κυβικές B καµπύλες (cubic B splines) και παράγει ένα λείο και συνεχές πλέγµα µε ένα προς ένα αντιστοιχία των κόµβων στο πραγµατικό πρόσωπο. 27

28 Επίσης, στο [Wan] παρουσιάζεται µια άλλη αυτόµατη µέθοδος για παρακολούθηση ανθρώπινων εκφράσεων σε τρισδιάστατα µοντέλα που έχουν ληφθεί από συσκευές εκτίµησης βάθους. Καθώς το βίντεο προχωράει παίρνουµε, υψηλής ποιότητας πληροφορία σχετικά µε τη γεωµετρία του προσώπου µε τη µορφή νέφους. Για να χρησιµοποιηθούν αυτά τα δεδοµένα στη µελέτη δυναµικών εκφράσεων και κινήσεων του προσώπου, χρειάστηκε ένας αποτελεσµατικός αλγόριθµος παρακολούθησης κίνησης εύκαµπτου τρισδιάστατου µοντέλου. Με τον αλγόριθµο αυτό καθορίζονται οι ενδοπλαισιακές αντιστοιχίες. Στο σύγγραµµα αυτό, για την τρισδιάστατη παρακολούθηση χρησιµοποιήθηκαν οι αρµονικοί πίνακες, ένα µαθηµατικό εργαλείο που βασίζεται στη σύµµορφη γεωµετρία. To πρόβληµα απλοποιείται από την παρακολούθηση τρισδιάστατων εύκαµπτων µοντέλων στο χώρο των 2 διαστάσεων µε τη θεωρία των αρµονικών πινάκων. Τα πρόσωπα αντιστοιχίζονται σε δισδιάστατους µοναδιαίους δίσκους όπως φαίνεται στην εικόνα 1.8. Οι αρχικοί δίσκοι (πάνω γραµµή) µε τη σχετική υφή και οι από κάτω έχουν πληροφορία για την κυρτότητα. Όσο πιο φωτεινά είναι τα χρώµατα, τόσο πιο µεγάλη κυρτότητα έχουµε στο συγκεκριµένο σηµείο. εικόνα

29 Τέλος, στο [Go] παρουσιάζεται ένας αλγόριθµός για παρακολούθηση σηµείων του προσώπου που λειτουργεί µε το άθροισµα των τετραγώνων των διαφορών (Sum Squared Differences, SSD) µετατόπισης κάθε σηµείου από το ένα καρρέ στο επόµενο. Ο αλγόριθµος αυτός χρησιµοποιεί την επιτάχυνση του κάθε σηµείου για να υπολογίσει τη µετατόπισή του στο επόµενο καρρέ. Πρώτα υπολογίζονται οι µέσες ταχύτητες v i, v f για τα χρονικά διαστήµατα [t-2, t-1] και [t-1, t]. Με αυτές υπολογίζεται η µέση επιτάχυνση a. Η µετατόπιση κάθε σηµείου d (από το καρρέ t στο t+1) υπολογίζεται µε την επιτάχυνση a, και την ταχύτητα v f (d= v f + ½ at 2 ). Στο τέλος η θέση του σηµείου στο καρρέ t και η µετατόπιση d χρησιµοποιούνται για να προβλεφθεί η νέα θέση του στο καρρέ (t+1). Στο καρρέ (t+1) το παράθυρο αναζήτησης κεντράρεται στην προβλεπόµενη θέση του σηµείου και ο αλγόριθµος SSD ξεκινάει την αναζήτηση. Ο SSD αλγόριθµος καθορίζει τη θέση του σηµείου στο καρρέ t υπολογίζοντας το άθροισµα των τετραγώνων των διαφορών ανάµεσα στα εικονοστοιχεία του καρρέ t και του t-1 γύρω από µια συγκεκριµένη περιοχή (παράθυρο αναζήτησης), επιστρέφοντας το ελάχιστο SSD ως το καλύτερο αποτέλεσµα. Στην εφαρµογή που υλοποιήθηκε στα πλαίσια της εργασίας αυτής επιλέχθηκε ο αλγόριθµος KLT πυραµιδικής αναπαράστασης, ο οποίος περιγράφεται στο επόµενο κεφάλαιο. 29

30 Κεφάλαιο 2 ο Περιγραφή και Υλοποίηση του Αλγορίθµου 2.1 Σύντοµη περιγραφή του αλγορίθµου που χρησιµοποιήθηκε Τα κίνητρα της ενασχόλησης µε το συγκεκριµένο θέµα ήταν η έλλειψη ενός συστήµατος αναγνώρισης εκφράσεων προσώπου, που να είναι σε θέση να εξάγει και να παρουσιάσει ανάλυση των ανθρώπινων εκφράσεων όπως είναι η µετάβαση από την ουδέτερη κατάσταση σε ένα απόλυτα εκφραστικό πρόσωπο, αλλά και η ανάγκη για σύνθεση ανθρώπινων εκφράσεων και γενικότερα κινήσεων του προσώπου. Για να γίνει αυτό, θα πρέπει να υπάρχει πληροφορία σχετικά µε την κίνηση των στοιχείων του προσώπου όταν για παράδειγµα το άτοµο µιλάει κ.α. Η ανάλυση των ανθρώπινων εκφράσεων προσφέρει τη δυνατότητα εξατοµίκευσης εκφράσεων, πέραν της απλής µεταφοράς µιας έκφρασης από ένα µοντέλο σε ένα άλλο. Επιπλέον, η διαδικασία αυτή είναι δυναµική και λαµβάνει υπ όψιν ολόκληρη την ακολουθία των εικόνων. Κάθε ένα καρρέ συµβάλλει στο τελικό αποτέλεσµα. Η ανάλυση στηρίζεται σε µετατοπίσεις διανυσµάτων. Τα αποτελέσµατα εξάγονται σε µορφή τέτοια ώστε να µπορούν να χρησιµοποιηθούν από κάθε MPEG-4 εφαρµογή. Σκοπός µας είναι να βρούµε και να παρακολουθήσουµε ένα ανθρώπινο πρόσωπο και τις κινήσεις του σε µια εικονοσειρά και να τις εφαρµόσουµε σε ένα µοντέλο για να συνθέσουµε εκφράσεις ή και οµιλία. Για να το πετύχουµε αυτό προσαρµόζουµε ένα µοντέλο προσώπου σε κάθε καρρέ της εικονοσειράς. Αυτό θα πρέπει να γίνει µε αρκετή ακρίβεια έτσι ώστε να µπορέσουµε στη συνέχεια να επιτύχουµε ρεαλιστική αναπαραγωγή των αποτελεσµάτων σε σχεδιοκίνηση. 30

31 Η πληροφορία που εξάγεται από την εφαρµογή του αλγορίθµου µπορεί να χρησιµοποιηθεί για τον υπολογισµό αντιπροσωπευτικών ή µέσων(average) δυναµικών ανθρώπινων εκφράσεων από άτοµα ενός συνόλου, π.χ. έθνος, φυλή, και τα οποία εκφράζονται µε παρόµοιο τρόπο. Συνεπώς, ο συγκεκριµένος αλγόριθµός µπορεί να χρησιµοποιηθεί για σύνθεση εξατοµικευµένων ανθρώπινων εκφράσεων µε δύο τρόπους: 1. εφαρµογή ανθρώπινων εκφράσεων που προέκυψαν από ένα άτοµο, σε ένα άλλο Π.χ. θα µπορούσαµε να κάνουµε κάποιον να χαµογελάει όπως ένας διάσηµος ηθοποιός 2. εφαρµογή ανθρώπινων εκφράσεων που προέκυψαν από µια οµάδα ατόµων, σε ένα άλλο άτοµο. Ο αλγόριθµος που εφαρµόστηκε αρχικά προσαρµόζει το πλέγµα στο πρόσωπο και στη συνέχεια παρακολουθεί την κίνηση των χαρακτηριστικών του προσώπου και µετακινεί το πλέγµα ανάλογα. Τα στοιχεία του προσώπου παρακολουθούνται στην ακολουθία των εικόνων µε µία παραλλαγή του KLT αλγορίθµου [Bi 97]. Αν από το ένα καρρέ στο επόµενο παρατηρηθεί µεταβολή, τότε το πλέγµα εµφανίζεται στη σωστή θέση στο νέο καρρέ παραµορφωµένο κατάλληλα. Αυτές οι συνεχείς παραµορφώσεις προσδίδουν ευρωστία και ακρίβεια στον αλγόριθµο για την παρακολούθηση των σηµείων του προσώπου. H συγκεκριµένη υλοποίηση είναι αυτή που περιγράφεται στο [Kr]. Στην εικόνα 2.1 φαίνεται το διάγραµµα ροής του συστήµατος: 31

32 εικόνα 2.1 ιάγραµµα του συστήµατος 32

33 2.2 Πλέγµα που χρησιµοποιήθηκε Το πλέγµα που χρησιµοποιείται είναι το candide [Ry 87]. Το πλέγµα αυτό δηµιουργήθηκε για να υπάρχει ένα σύνολο δεδοµένων που να δίνει µια πλήρη τρισδιάστατη περιγραφή του προσώπου καθώς και των παραµέτρων που ελέγχουν τις ανθρώπινες εκφράσεις. Το µέγεθός του επιλέχθηκε έτσι ώστε να επιτρέπει σχεδιοκίνηση πραγµατικού χρόνου µε την ανάλογη υποστήριξη σε υλικό. Το candide αποτελείται από µια λίστα µε τις συντεταγµένες των σηµείων που δηµιουργούν το πλέγµα. Τα σηµεία, στην ουσία, είναι τα χαρακτηριστικά του προσώπου. Οι συντεταγµένες είναι εκφρασµένες στους XYZ άξονες. Για παράδειγµα, το σηµείο 1 έχει συντεταγµένες (2, 6, 1). Εκτός από τη λίστα των σηµείων υπάρχει και η λίστα των επιφανειών, οι οποίες είναι τριγωνικές και σχηµατίζουν το πλέγµα. Αυτό επιτυγχάνεται καθορίζοντας ποια διανύσµατα συνθέτουν ένα τρίγωνο µε σειρά αντίστροφη από αυτή του ρολογιού, έτσι όπως φαίνεται η επιφάνεια απ έξω. Η λίστα επιφανειών περιέχει επίσης και κώδικα που ορίζει το χρώµα της κάθε επιφάνειας. Τέλος, υπάρχει και η λίστα που περιγράφει ποια διανύσµατα θα κινηθούν και κατά πόσο κατά τη διάρκεια µιας έκφρασης. Και εδώ ως έκφραση ορίζεται κάθε κίνηση των µυών του προσώπου που µπορεί να γίνει εµφανής µε γυµνό µάτι. Για παράδειγµα η κίνηση #1 θα αλλάξει το διάνυσµα 3 κατά 2 στον άξονα των x και κατά 4 στον άξονα των y, και το διάνυσµα 7 κατά 1 στον άξονα των x και κατά 2 στον άξονα των y. Σκοπός των ερευνητών που δηµιούργησαν το candide ήταν να επιτύχουν στατικό και δυναµικό ρεαλισµό, µε περίπου 100 τρίγωνα. Ο στατικός ρεαλισµός απαιτεί όταν το µοντέλο είναι σε ακινησία να φαίνεται ρεαλιστικό από όποια γωνία και αν το κοιτάξουµε, ενώ δυναµικός σηµαίνει κατά τη διάρκεια των κινήσεων του µοντέλου να πετύχουν κίνηση όσο το δυνατόν πιο κοντά στην ανθρώπινη. Ο περιορισµός ως προς τον αριθµό των τριγώνων, ανάγκασε τους µελετητές να σχεδιάσουν το µέτωπο και το πάνω µέρος του κεφαλιού µε λίγα τρίγωνα και να θυσιάσουν έτσι την κυκλική όψη του για να έχουν πιο πολλά τρίγωνα στο στόµα, και στα µάγουλα. Έτσι, µπορεί το κεφάλι να µη φαίνεται τελείως στρόγγυλο, αλλά πέτυχαν πιο ρεαλιστικά µάγουλα και στόµα. 33

34 Το αρχικό πλέγµα που προσαρµόζει ο χρήστης στο πρόσωπο, επιλέγοντας στην ουσία κατά πόσο θα ταλαντωθούν τα ευθύγραµµα τµήµατα, είναι αυτό του ουδέτερου προσώπου, όπως είναι και το πρόσωπο στο πρώτο πλαίσο καθεµιάς εικονοσειράς. Το ουδέτερο πρόσωπο είναι όπως ορίζεται στο πρότυπο MPEG το σύστηµα συντεταγµένων είναι δεξιόστροφο και οι άξονες του κεφαλιού είναι παράλληλοι µε τους άξονες του κόσµου 2. το βλέµµα είναι προς την κατεύθυνση του άξονα z 3. τα βλέφαρα εφάπτονται στις ίριδες των µατιών 4. το στόµα είναι κλειστό 5. όλοι οι µύες του προσώπου είναι χαλαροί 6. η κόρη του µατιού είναι το ένα τρίτο της διαµέτρου της ίριδας 7. η γραµµή των χειλιών είναι οριζόντια και στο ίδιο ύψος των γωνιών των χειλιών 8. η άνω οδοντοστοιχία εφάπτεται µε την κάτω 9. η γλώσσα είναι επίπεδη, οριζόντια και η άκρη της αγγίζει το όριο µεταξύ της άνω και της κάτω οδοντοστοιχίας Επιλέξαµε το δισδιάστατο candide µε 104 σηµεία χωρίς αυτό να περιορίζει τη χρήση οποιουδήποτε άλλου δισδιάστατου πλέγµατος σε µορφή VRML. Η τρίτη διάσταση, η z, αφαιρείται και προστίθεται στο τέλος όταν παράγονται τα fap αρχεία και η τιµή της είναι ίδια µε την αρχική αφού δε λαµβάνουµε υπ όψιν τη µετατόπιση ως προς αυτόν τον άξονα. Τα σηµεία για την κίνηση του πίσω µέρους του κεφαλιού δε συµµετέχουν στην εφαρµογή, µιας και µελετάµε εικονοσειρές που είναι δισδιάστατες. Το candide επιλέχθηκε γιατί είναι γενικά αποδεκτό από τους ερευνητές. Στην εικόνα 2.2 φαίνεται το candide από µπροστά και από το πλάι: 34

35 εικόνα 2.2 Μπροστινή και πλάγια όψη του candide 2.3 Αρχική Προσαρµογή του πλέγµατος στο πρόσωπο Στόχος µας είναι να βρούµε τις ιδανικές παραµέτρους µε τις οποίες θα επιτύχουµε καλή προσαρµογή του πλέγµατος, δηλαδή να ελαχιστοποιούν την απόσταση µεταξύ των κόµβων του πλέγµατος και των σηµείων του προσώπου στα οποία αυτά αντιστοιχούν. Για να προσαρµοστεί το πλέγµα στο πρόσωπο, επιλέχθηκε ένας ηµιαυτόµατος τρόπος στην προσπάθεια να συνδυαστούν η ταχύτητα, η αξιοπιστία και η ευρωστία της διαδικασίας. Αρχικά, το πλέγµα τοποθετείται τυχαία σε µια θέση στην εικόνα και βρίσκεται σε ουδέτερη κατάσταση όπως προαναφέρθηκε. Η προσαρµογή του πλέγµατος στο πρόσωπο είναι µια διαδικασία κατά την οποία το πλέγµα διαµορφώνεται ώστε να ταιριάζει στο συγκεκριµένο πρόσωπο της εικονοσειράς. Αυτή η διαδικασία µπορεί να χωριστεί σε δύο βήµατα, την καθολική προσαρµογή και την τοπική όπως φαίνεται και από το διάγραµµα ροής της διαδικασίας προσαρµογής του πλέγµατος στο πρόσωπο στο πρώτο καρρέ της εικονοσειράς. 35

36 εικόνα 2.3 διάγραµµα ροής της προσαρµογής του πλέγµατος στο πρόσωπο Στα πλαίσια της καθολικής προσαρµογής του πλέγµατος µπορεί να µετατοπιστεί ή / και να κλιµακωθεί όλο το πλέγµα ταυτόχρονα. Αν [x, y] είναι ένα σηµείο στο πλέγµα, S x S y είναι οι παράγοντες κλιµάκωσης, και [ Τ x T y ] είναι το διάνυσµα µετατόπισης, τότε: [ x y] = xsx ysy + Tx Ty (2.1) Αυτό στη συγκεκριµένη εφαρµογή γίνεται κρατώντας πατηµένο το πλήκτρο Τ για τη µετατόπιση (translation) ή το πλήκτρο S για την κλιµάκωση (scaling), και το αριστερό κουµπί του ποντικιού. Στην εικόνα 2.4 φαίνεται πάνω το πλέγµα τοποθετηµένο τυχαία κατά την αρχικοποίηση και κάτω κλιµακωµένο κατάλληλα και µετατοπισµένο καθολικά στο πρόσωπο. 36

37 εικόνα 2.4 (a) εικόνα 2.4 (b) 37

38 Για την τοπική προσαρµογή [Kr], αντιστοιχίζονται όσα σηµεία του πλέγµατος επιλέξει ο χρήστης στα αντίστοιχα στην εικόνα. Για να γίνει αυτό, κάποια από τα σηµεία που αποτελούν το πλέγµα ταλαντώνονται ανάλογα και παρασέρνουν και τα γειτονικά τους. Η ταλάντωση εξαρτάται από τη δύναµη που εφαρµόζει ο χρήστης σ αυτά, δηλαδή το πόσο µακριά τα µετακινεί ώστε να «πέσουν» στα σωστά σηµεία στην εικόνα. Στο εξής µε τον όρο εξωτερική δύναµη θα εννοούµε αυτή τη µετατόπιση που υφίστανται τα σηµεία του πλέγµατος. Για την παραπάνω διαδικασία επιλέγονται τα πιο σηµαντικά σηµεία και τα υπόλοιπα «παρασέρνονται» από αυτά. Η παραµόρφωση του πλέγµατος γίνεται µε ένα απλό γραµµικό µοντέλο πεπερασµένων στοιχείων (finite element model, FEM). Τα FEMs χρησιµοποιούνται για να περιγράψουν αντικείµενα που µπορούν να παραµορφωθούν µεταβάλλοντας τις ιδιότητες του περιγράµµατος αλλά και ολόκληρης της περιοχής. Εµείς περιοριζόµαστε σε ελαστικές παραµορφώσεις, υποθέτουµε δηλαδή ότι το αντικείµενο ανακτά το αρχικό του σχήµα µόλις πάψουν να ασκούνται πάνω του δυνάµεις. Τα FEMs χρησιµοποιούνται για να περιγραφούν πλέγµατα όπως αυτό που προαναφέρθηκε και φαίνεται στην εικόνα 2.5. Το συγκεκριµένο πλέγµα αποτελείται από ένα µεγάλο αριθµό δισδιάστατων διασυνδεδεµένων στοιχείων που βρίσκονται στο ίδιο επίπεδο. Θα αναλυθεί η περίπτωση του µονοδιάστατου πεπερασµένου στοιχείου αρχικά και στη συνέχεια του δισδιάστατου. Εναλλακτικά µε τη λέξη «στοιχείο» (element), χρησιµοποιείται και η λέξη «ελατήριο» (spring), αφού προσοµοιώνεται ακριβώς η λειτουργία του ελατηρίου. Πιο συγκεκριµένα ένα µονοδιάστατο στοιχείο είναι ένα πεπερασµένο στοιχείο µε µια γραµµική συνάρτηση βάσης. Άρα η συµπεριφορά του είναι παρόµοια µε αυτή του ελατηρίου. Αν υποθέσουµε ότι έχουµε ένα ελατήριο µε σταθερά (σκληρότητα) k, στο οποίο επιδρούν 2 δυνάµεις F 1 και F 2, η σχέση µεταξύ των δυνάµεων, των παραµορφώσεων και της σταθεράς k είναι: k k k u1 F1 k = u F 2 2 (2.2) 38

39 όπου u 1 και u 2 είναι οι παραµορφώσεις των κόµβων 1 και 2 στους οποίους είναι συνδεδεµένο το ευθύγραµµο τµήµα. Έτσι, αν οι δυνάµεις που επιδρούν σε ένα ελατήριο και η σταθερά είναι γνωστές, τότε µπορεί να υπολογιστεί η παραµόρφωση που θα δεχθεί λύνοντας το παραπάνω σύστηµα. Ας εξετάσουµε τώρα την περίπτωση που ένα µοντέλο µονοδιάστατο αποτελείται από περισσότερα του ενός ελατήρια. Τότε οι παραµορφώσεις µπορούν να υπολογισθούν επεκτείνοντας την παραπάνω εξίσωση στο ακόλουθο σύστηµα: Ku= f ext (2.3) Για να µπορέσουµε να συνθέσουµε τους πίνακες του συστήµατος για ένα σύνολο ελατηρίων που συνδέονται το ένα µε το άλλο, κάθε ένα από τα ελατήρια πρέπει να αποµονωθεί και να εξετασθεί ξεχωριστά. Σηµειώνουµε ότι ένα αποµονωµένο ευθύγραµµο τµήµα που συνδέεται στους κόµβους i και j του πλέγµατος, έχει να κάνει µε τις σταθερές k ii, k ij, k ji και k jj του πίνακα K, όπου u i και u j είναι οι παραµορφώσεις των κόµβων i και j, και f i, f j είναι οι εξωτερικές δυνάµεις που εφαρµόζονται σε αυτούς τους κόµβους όπως δείχνει η εικόνα 2.4(d). Το τελευταίο στάδιο είναι η αφαίρεση των γραµµών και των στηλών του πίνακα Κ, και κατά συνέπεια και των ευθύγραµµων τµηµάτων, που αντιστοιχούν στους σταθερούς (fixed) κόµβους, δηλαδή αυτούς που δεν κινούνται µε την παραµόρφωση. Πιο συγκεκριµένα αν ένας κόµβος i είναι σταθερός, η i-οστή στήλη και η i-οστή γραµµή του πίνακα αφαιρούνται. Έπειτα το σύστηµα είναι πλήρες και οι λύσεις του θα δώσουν τις παραµορφώσεις του µονοδιάστατου πλέγµατος. Σκοπός µας είναι να εξετάσουµε το δισδιάστατο πλέγµα. Η παραπάνω µεθοδολογία µπορεί να επεκταθεί και στις δύο διαστάσεις. Ας αναλύσουµε πρώτα την περίπτωση ενός δισδιάστατου ελατηρίου, δηλαδή ενός ελατηρίου που παραµορφώνεται κατά δύο διαστάσεις όπως φαίνεται στην εικόνα 2.4(c). 39

40 Εικόνα 2.4 Παραδείγµατα στοιχείων πλέγµατος: (a) πλέγµα δισδιάστατων στοιχείων (b) δισδιάστατο στοιχείο (c) µονοδιάστατο στοιχείο (d) πλέγµα µονοδιάστατων στοιχείων Χρησιµοποιούνται λοιπόν δύο συστήµατα συντεταγµένων, αυτό του κόσµου, Oxy, και το τοπικό σύστηµα Οx y του ελατηρίου. Το σύστηµα συντεταγµένων του κόσµου είναι σταθερά τοποθετηµένο. Οι πίνακες που δηµιουργούνται, η λύση και οι τελικές παραµορφώσεις αναφέρονται σε αυτό το σύστηµα. Έτσι, οι παραµορφώσεις του στοιχείου i έχουν την εξής διανυσµατική µορφή: i i i x y T u = u, u (2.4) µε τις δύο συνιστώσες στους άξονες x και y αντίστοιχα. Το ίδιο ισχύει και για τις δυνάµεις: i i i f = f, f (2.5) x y 40

41 Το τοπικό σύστηµα συντεταγµένων είναι ορισµένο µε τέτοιο τρόπο ώστε κάθε δισδιάστατο στοιχείο να µπορεί να θεωρηθεί ως µονοδιάστατο, όπως φαίνεται στην εικόνα 2.4(b). Συνεπώς τα δισδιάστατα ελατήρια επιδεικνύουν συµπεριφορά παρόµοια µε αυτή των µονοδιάστατων και οι εξισώσεις που προαναφέρθηκαν µπορούν να χρησιµοποιηθούν. Επιπλέον ένας συνδυασµός των συντεταγµένων του κόσµου και των τοπικών µας επιτρέπει να διαµορφώσουµε τη συµπεριφορά ενός δισδιάστατου ελατηρίου στο σύστηµα συντεταγµένων του κόσµου. Έτσι, έχουµε το παρακάτω σύστηµα εξισώσεων: l lm l lm u x f x lm m lm m u y f y k = l lm l lm u x f x lm m lm m u y f y (2.6) όπου k η σταθερά του ελατηρίου και l = cosθ, m = sinθ, οι παράµετροι περιστροφής που συσχετίζουν το τοπικό σύστηµα µε το σύστηµα του κόσµου. Οι παραµορφώσεις του µοντέλου µπορούν να υπολογιστούν επεκτείνοντας την εξίσωση (2.6), στο σύστηµα εξισώσεων (2.2) που προαναφέρθηκε, και του οποίου οι λύσεις αποτελούν τις παραµορφώσεις του δισδιάστατου πλέγµατος. Ο πίνακας του συστήµατος και τα διανύσµατα ορίζονται µε τρόπο παρόµοιο µε τη µονοδιάστατη περίπτωση. Για παράδειγµα, αν ένα στοιχείο ενός πλέγµατος συνδέει τους κόµβους 1 και 4 και όλα τα ελατήρια του πλέγµατος έχουν την ίδια σταθερά k, το σύστηµα εξισώσεων είναι το παρακάτω: l lm l lm K u x f x lm m lm m K u y f y K K K 0 = K l lm l lm K u x f x lm m lm m K u y f y M M M M M M M M O M M (2.7) 41

42 Και πάλι οι σταθεροί κόµβοι θα πρέπει να αφαιρεθούν, που σηµαίνει ότι θα αφαιρεθούν από τον πίνακα οι αντίστοιχες γραµµές και στήλες. Αν ο κόµβος i είναι σταθερός, θα πρέπει να αποµακρύνουµε τη (2i - 1)η στήλη και τη (2i)η γραµµή. Τέλος, αυτό το σύστηµα µπορεί να λυθεί και να προκύψουν οι παραµορφώσεις που πρέπει να εφαρµοστούν στο πλέγµα εφόσον οι δυνάµεις που ασκούνται στα ελατήρια και οι σταθερές των ελατηρίων είναι γνωστές. Ένα παράδειγµα του ορισµού της δύναµης που ασκείται σε κάποιο σηµείο του πλέγµατος φαίνεται στην εικόνα 2.5. εικόνα 2.5 Ορισµός της δύναµης του µοντέλου προσαρµογής Ας υποθέσουµε ότι i είναι ένας κόµβος του πλέγµατος και i είναι το αντίστοιχο σηµείο στην εικόνα. Η διεύθυνση της δύναµης που ασκείται στον κόµβο συµπίπτει µε το ευθύγραµµο τµήµα που ενώνει τον κόµβο i µε το σηµείο i, ενώ το µέτρο της δύναµης είναι ίσο µε την ευκλείδεια απόστασή τους. Οι δύο συνιστώσες της δύναµης f i στους άξονες αντίστοιχα είναι: f i x = f i cos θ f i y = f i sin θ (2.8) 42

43 όπου θ η γωνία µεταξύ των διανυσµάτων όπως φαίνεται στην εικόνα 2.5. Εκλαµβάνοντας το κάθε διάνυσµα του πλέγµατος ως ένα ελατήριο, µε σκληρότητα k που την έχουµε ορίσει, µπορούµε να υπολογίσουµε την παραµόρφωση του κόµβου λύνοντας την εξίσωση: Κu = f (2.9) Συνεπώς, ο αλγόριθµος διαµόρφωσης διαµορφώνει το πλέγµα και µετατοπίζει τους κόµβους στη σωστή τους θέση στην εικόνα. Σηµειωτέον ότι αρκούν 5 8 ζεύγη κόµβων σηµείων για να τοποθετήσουν το πλέγµα σε ικανοποιητική θέση σε µια εικόνα. Αν όµως ο παράγοντας κλιµάκωσης ανάµεσα στο πλέγµα και το πρόσωπο της εικόνας είναι µεγάλος, τότε ο αριθµός των απαιτούµενων ζευγαριών µεγαλώνει για να καλύψει τις ανάγκες της κλιµάκωσης. Για παράδειγµα, αν το πλέγµα χρειάζεται να µεγεθυνθεί κατά µιάµιση φορά σε σχέση µε το πρόσωπο της εικόνας, τότε χρειάζονται 15 ζεύγη κόµβων σηµείων για να διαµορφωθεί σωστά το πλέγµα. Αυτό το πρόβληµα λύθηκε µε µια αρχική κλιµάκωση, πριν από οποιαδήποτε προσαρµογή η οποία φέρνει το πλέγµα στο µέγεθος περίπου του προσώπου της εικόνας. Ένα παράδειγµα για τη διαµόρφωση του πλέγµατος και την προσαρµογή του στο πρόσωπο µιας εικόνας φαίνεται στην εικόνα 2.6. Αριστερά φαίνονται οι αντιστοιχίσεις των κόµβων µε τα σηµεία στην εικόνα. Με κόκκινο χρώµα απεικονίζονται οι κόµβοι του πλέγµατος και µε µπλε τα σηµεία της εικόνας. εξιά είναι το µοντέλο µετά την προσαρµογή όπου µε κόκκινο χρώµα απεικονίζονται οι κόµβοι που έχουν µετατοπιστεί στα αντίστοιχα σηµεία της εικόνας. Παρατηρούµε ότι τα σηµεία αντιστοιχίσθηκαν µε ακρίβεια και τα υπόλοιπα επίσης συνέπεσαν κοντά στις θέσεις όπου θα έπρεπε να βρίσκονται. Και πάλι αν κάποιος κόµβος δεν είναι τοποθετηµένος σωστά, µπορεί να διορθωθεί χειροκίνητα και πάλι. 43

44 εικόνα 2.6 καθολική προσαρµογή του πλέγµατος 2.4 Παρακολούθηση σηµείων Σε αυτό το σηµείο, παρουσιάζεται ο αλγόριθµος για την παρακολούθηση σηµείων του προσώπου σε µια εικονοσειρά. Η γενική ιδέα είναι να παρακολουθήσουµε ένα µεγάλο αριθµό προεπιλεγµένων σηµείων στην περιοχή που µας ενδιαφέρει. Παρόλο που τα σηµεία µπορούν αν επιλεγούν αυτόµατα, από τον αλγόριθµο, εδώ τα σηµεία αυτά είναι εκείνα που αντιστοιχίστηκαν στους κόµβους του πλέγµατος. Οι ακολουθίες που χρησιµοποιήθηκαν ξεκινούν από ένα ουδέτερο πρόσωπο που βαθµιαία µεταβάλλεται έτσι ώστε στο τέλος να παραχθεί µια ανθρώπινη έκφραση. Ο σκοπός της παρακολούθησης των σηµείων είναι να τοποθετούνται οι κόµβοι του πλέγµατος στο σωστό σηµείο στα ενδιάµεσα καρρέ. Τα σηµεία παρακολουθούνται χρησιµοποιώντας µια προσέγγιση πυραµίδας του γνωστού αλγόριθµου Kanade Lucas Tomasi (KLT) [Bi 97]. 44

45 Ο αλγόριθµος αυτός εκτιµά το διάνυσµα µετατόπισης d = [ d x d y ] ενός σηµείου x = [ x y ] T από το καρρέ I στο σηµείο v = x + d = [ x + d x y + d y ] T στο καρρέ J. To διάνυσµα µετατόπισης βρίσκεται ελαχιστοποιώντας το ακόλουθο σφάλµα: d d ε = W J ( x+ ) I( x ) w( x) dx 2 2 (2.10) όπου W είναι η περιοχή του παραθύρου που µας ενδιαφέρει και w(x) είναι η συνάρτηση βάρους που συνήθως είναι σταθερή και ίση µε 1. Τώρα η σειρά Taylor του J για ένα σηµείο a = a[a x, a y ] T µε γραµµικούς όρους είναι: 2 J J J ( ξ ) J ( a ) + ( ξx ax ) ( ) + ( ξ y ay ) ( ), x a y a (2.11) όπου ξ = [ ξ, ξ ] T. x y d Θέτοντας ξ = x+ και x= a, έχουµε: 2 d d x J d ( ) ( ) ( ) y J J x+ J x + x + ( x ) (2.12) 2 2 x 2 y Όµοια: d d x J d ( ) ( ) ( ) y J J x J x x ( x ) (2.13) 2 2 x 2 y Έτσι, d d J ( x+ ) I( x ) ε d d 2 ( ) ( ) 2 2 = J I ( ) d, W + ω 2 2 x x x x d d d 1 T J ( ) I( ) + g( ) ω( ) d W x x g d 2 x x x όπου (2.14) 45

46 ( I+ J ) x = ( I+ J ) y g (2.15) Για να βρούµε τη µετατόπιση d θέτουµε την παράγωγο ίση µε 0: ε J 1 ( ) I T = ( ) ( ) ( ) ω( ) 0 W + 2 d = x x g x d g x x x d (2.16) Εναλλάσσοντας τους όρους έχουµε: W 1 T J ( x) I( x) g( x) ω( x) dx= g ( x) dg( x) ω( x ), W 2 1 T = ( ) ( ) ( ). 2 g ω d x g x x x d (2.17) W [ ] Με άλλα λόγια για να πετύχουµε µια επανάληψη της διαδικασίας ελαχιστοποίησης πρέπει να λύσουµε την εξίσωση Zd = e, όπου Ζ = (2.18) g ( x ) g T ( x ) w ( x ) d x W [ ] (2.19) W e= 2 I ( x) J ( x) g ( x) w( x) dx και ( I+ J ) g = x ( I+ J ) y (2.20) Ας υποθέσουµε ότι η εικόνα Ι έχει µέγεθος Ν x x N y και Ι 0 = Ι είναι η εικόνα στο 0 0 επίπεδο 0. Το µέγεθος της εικόνας στο επίπεδο αυτό είναι Ν x = Ν x και Ν y = Ν y. Η πυραµίδα χτίζεται αναδροµικά. Κάθε επίπεδο L υπολογίζεται από το προηγούµενο L-1 όπως δείχνει η εικόνα 2.7 και ο παρακάτω τύπος: 46

47 L 1 L 1 I ( x, y) = I (2 x, 2 y) ( L 1 (2 1, 2 ) L 1 (2 1, 2 ) L 1 (2, 2 1) L 1 I x y I x y I x y I (2 x, 2 y 1)) 8 1 ( L 1 (2 1,2 1) L 1 (2 1,2 1) L 1 (2 1,2 1) L (2 + 1, 2 1)) I x y I x y I x y I x y (2.21) εικόνα 2.7 Πυραµιδική αναπαράσταση της εικόνας 47

48 Με την ίδια λογική, το πλάτος Ν x L και το ύψος Ν y L της εικόνας Ι L είναι οι µεγαλύτεροι ακέραιοι που ικανοποιούν τις δύο προϋποθέσεις: N L x N L 1 x + 2 1, N L y L 1 N y + 1 (2.22) 2 Επιπλέον, η θέση των στοιχείων x L στο επίπεδο L µπορεί να υπολογιστεί από τον τύπο: L x x =, x 0 = x (2.23) L 2 Ο αλγόριθµος αυτός δουλεύει ως εξής: αρχικά υπολογίζεται η µετατόπιση των σηµείων που παρακολουθούνται στο υψηλότερο επίπεδο της πυραµίδας L. Το αποτέλεσµα τροφοδοτείται στο επίπεδο L-1, ως µια αρχική εκτίµηση της µετατόπισης των σηµείων σε εκείνο το επίπεδο. εδοµένης της αρχικής αυτής εκτίµησης, υπολογίζεται η µετατόπιση στο επίπεδο L-1. Το αποτέλεσµα και πάλι διοχετεύεται στο χαµηλότερο επίπεδο µέχρι το επίπεδο 0, δηλαδή την εικόνα του προσώπου στην αρχική ανάλυση. Το πλεονέκτηµα αυτού του αλγορίθµου είναι ότι κάθε υπόλοιπο (residual) διάνυσµα µετατόπισης d L είναι δυνατόν να διατηρηθεί πολύ µικρό, ενώ υπολογίζονται οι συνολικές µετατοπίσεις των εικονοστοιχείων. Αν υποθέσουµε ότι κάθε στοιχειώδης µετατόπιση στο επίπεδο L χειρίζεται µετατοπίσεις το πολύ d max εικονοστοιχείων, τότε το πλήθος των εικονοστοιχείων που µπορεί να χειριστεί η πυραµίδα γίνεται: d = (2 L - 1)d max. (2.24) Για παράδειγµα, αν έχουµε µια πυραµίδα τριών επιπέδων L=3, τότε µπορούµε να χειριστούµε τη µετατόπιση το πολύ 7 d max εικονοστοιχείων. Αυτό το πλεονέκτηµα 48

49 δίνει τη δυνατότητα να χειριζόµαστε µεγάλο αριθµό εικονοστοιχείων, διατηρώντας συγχρόνως το µέγεθος του παραθύρου ολοκλήρωσης σχετικά µικρό. Ο KLT ορίζει ένα µέτρο της ανοµοιότητας που ποσοτικοποιεί τη µεταβολή της εµφάνισης ενός στοιχείου από το ένα καρρέ στο επόµενο, κατάλληλο για αφφινικούς µετασχηµατισµούς της εικόνας. Για αξιόπιστη και ταχεία προσέγγιση, η µέγιστη µετατόπιση των σηµείων ανάµεσα σε δύο διαδοχικά καρρέ είναι περιορισµένη, παρόλο που στην πραγµατικότητα µπορεί να είναι πολύ µεγάλη σε ορισµένες εφαρµογές. Καθώς ο αλγόριθµος υπολογίζει τις µετατοπίσεις των υπό παρακολούθηση σηµείων, εδώ των κόµβων του µοντέλου, παίρνουµε ως έξοδο τις νέες θέσεις των κόµβων και κατά συνέπεια τη διαµόρφωση του πλέγµατος. Οι µετατοπίσεις των κόµβων που δεν έχουν χαθεί υποτίθεται ότι αποτελούν τις κινητήριες δυνάµεις που ασκούνται στο πλέγµα προσφέροντας έτσι µία ακριβή και εύρωστη µέθοδο παρακολούθησης σηµείων στο πρόσωπο. Η ενσωµάτωση του βήµατος της διαµόρφωσης δίνει τη δυνατότητα για παρακολούθηση σηµείων που θα είχαν χαθεί αλλιώς. Ο αλγόριθµος παρακολούθησης παρέχει ένα δυναµικό µοντέλο ανθρώπινων εκφράσεων για κάθε καρρέ της εικονοσειράς. Επιπλέον υπάρχει η δυνατότητα να διαγραφεί ένα ζευγάρι κόµβου στο πλέγµα σηµείου στην εικόνα, σε κάθε ένα καρρέ. Έτσι, αν παρατηρηθεί ότι κάποιο σηµείο του πλέγµατος δεν αντιστοιχίζεται σωστά στο σηµείο της εικόνας που θα έπρεπε, µπορεί να σταµατήσει το παίξιµο του βίντεο και να διορθωθεί ένας ή και περισσότεροι κόµβοι και να συνεχίσει η παρακολούθηση από εκεί και µετά. Επειδή η παρακολούθηση των σηµείων του στόµατος είναι περίπλοκη υπόθεση, υπάρχει ξεχωριστή συνάρτηση που ασχολείται µε αυτό και λειτουργεί διαφορετικά. Υπολογίζεται η γωνία κλίσης των χειλιών εφόσον γνωρίζουµε τις x και y συντεταγµένες τους από τα σηµεία 2.1 και Στη συνέχεια, περιστρέφονται τα σηµεία αυτά κατά τη γωνία που βρήκαµε και υπολογίζεται η µεταξύ τους απόσταση. Ελέγχεται αν το σηµείο 2.10 είναι σωστά τοποθετηµένο σε σχέση µε τα 2.9 και Τα αριθµηµένα σηµεία φαίνονται στην εικόνα

50 και αν όχι περιστρέφεται κατά την αρχική γωνία theta που υπολογίστηκε. ιορθώνεται η x συντεταγµένη του σηµείου 3.4 µε παρεµβολή Lagrange µε τη βοήθεια των εξής 5 σηµείων: 2.2, 3.2, 3.3, 3.4, 3.5. Στη συνέχεια, αφού διορθωθούν τα σηµεία 2.3 και 2.7 µε τη βοήθεια των 2.2 και 3.2 αντίστοιχα, γίνεται και πάλι παρεµβολή Lagrange για να βρεθεί η σωστή θέση του σηµείου 2.4 µε τη συµβολή των 2.2, 2.5 και 3.2 καθώς και η σωστή θέση του σηµείου 2.13 µε τη συµβολή των σηµείων 2.2, 2.14 και 3.2. Ακριβώς η αντίστοιχη διαδικασία γίνεται και µε τα σηµεία 2.6 και 3.1 που υπολογίζονται µε παρεµβολή µε τη συµβολή των σηµείων 2.2, 2.5, 3.2 και 2.2, 2.14, 3.2 αντίστοιχα. Τέλος, ελέγχεται αν ο αλγόριθµος παρακολούθησης δούλεψε ικανοποιητικά και αν όχι τότε χρησιµοποιούµε τα σηµεία που µόλις εκτιµήθηκαν. Υπολογίζονται δηλαδή οι αποστάσεις των σηµείων που εκτιµήθηκαν µε τις διορθώσεις, από εκείνα που υπολογίστηκαν από τον KLT και αν είναι κάτω από ένα κατώφλι (αρκετά µικρές), τότε χρησιµοποιούµε τα σηµεία που υπολογίστηκαν από τον αλγόριθµο πυραµίδας KLΤ. Όσο για τα υπόλοιπα σηµεία, ο αλγόριθµος λειτουργεί ικανοποιητικά και δε χρειάζεται ιδιαίτερη αντιµετώπιση. 50

51 2.5 ιόρθωση σηµείων του πλέγµατος Στα πλαίσια της συγκεκριµένης διπλωµατικής εργασίας αντιµετωπίστηκε και το ζήτηµα της διόρθωσης των σηµείων του πλέγµατος. Κάποιες φορές µερικά σηµεία κατά την παρακολούθηση δε βρίσκονται την αντίστοιχη σωστή θέση της εικόνας και τοποθετούνται σε λάθος σηµείο οι κόµβοι του πλέγµατος. Υπάρχει λοιπόν η δυνατότητα, όπως προαναφέρθηκε, να διακοπεί το παίξιµο της εικονοσειράς και κατά συνέπεια και της παρακολούθησης. Υπάρχει επίσης η δυνατότητα να πάει προς τα πίσω το βίντεο και να σταµατήσει σε όποιο καρρέ θέλουµε. Και φυσικά εφόσον πήγε πίσω το βίντεο υπάρχει και η δυνατότητα να πάει και πάλι µπροστά. Αυτό προσφέρει καλύτερη εποπτεία της παρακολούθησης και της διόρθωσης των σηµείων που έχουν χαθεί. Μπορούν τότε να διαγραφούν κάποια ζεύγη που δεν παρακολουθούνται σωστά και να αντικατασταθούν από άλλα χειροκίνητα, µε τη διαδικασία της προσαρµογής όπως περιγράφηκε παραπάνω. Η παρακολούθηση µπορεί να συνεχιστεί κανονικά από το καρρέ στο οποίο έγινε η τελική προσαρµογή και πέρα. Αυτή η διαδικασία µπορεί να γίνει παραπάνω από µία φορές βελτιώνοντας έτσι την τελική έξοδο. Στην εικόνα 2.8 φαίνεται η δυνατότητα του χρήστη να σταµατήσει το βίντεο αφού αρχίσει η παρακολούθηση. 51

52 (a) πριν αρχίσει η παρακολούθηση (b) αφού έχει αρχίσει η παρακολούθηση εικόνα

53 Εάν επιλέξει ο χρήστης να σταµατήσει το βίντεο πατώντας το κουµπί stop, τότε ενεργοποιείται και η δυνατότητα να µεταβεί στο προηγούµενο καρρέ για καλύτερη εποπτεία της παρακολούθησης σε αργή κίνηση, όπως φαίνεται στην εικόνα 2.9. εικόνα 2.9 ενεργοποίηση του «back» Εάν ο χρήστης επιλέξει να µεταβεί σε προηγούµενο καρρέ, τότε ενεργοποιείται και το κουµπί forward για να πάει µπροστά και πάλι αν θέλει. 53

54 2.6 Αρχεία εξόδου Οι δυνατότητες για να παραχθούν αρχεία εξόδου είναι οι εξής: 1. στο πρώτο καρρέ αλλά και σε όποιο από τα επόµενα σταµατήσει το παίξιµο του βίντεο, µπορεί να σωθεί το τρέχον πλέγµα όπως αυτό διαµορφώθηκε µετά την τελευταία προσαρµογή. Το αρχείο εξόδου είναι ένα vrml αρχείο (κατάληξη.wrl). 2. σε κάθε καρρέ που σταµατάει το βίντεο καθώς και στο τελικό υπάρχει η δυνατότητα να σωθούν τα πλέγµατα που έχουν διαµορφωθεί ως εκείνο το καρρέ σε αρχείο vrml ή fap. Σε αυτήν την περίπτωση η έξοδος είναι σχεδιοκίνηση του προσώπου µε τις διαµορφώσεις του πλέγµατος σε κάθε καρρέ. Μπορούν να αναπαραχθούν από τους αντίστοιχους players όπως για παράδειγµα τον ISTface για fap και τον cosmoplayer για vrml. Ένα παράδειγµα ενός τέτοιου VRML αρχείου είναι το εξής: Group{ children[ Shape{ appearance Appearance{ material Material{ ambientintensity 0 diffusecolor specularcolor emissivecolor shininess 0.25 transparency 0 } geometry IndexedFaceSet{ solid FALSE coord DEF faceinit Coordinate{ 54

55 ] point[ , , //σηµεία του πλέγµατος coordindex[ //τριάδες σηµείων που σχηµατίζουν τρίγωνα 0, 10, 1, -1, 0, 1, 33, -1, ] DEF FrontView Viewpoint{ //µπροστινή όψη position orientation fieldofview description "Front View" } DEF InclinedView Viewpoint{ //επικλινής όψη position orientation fieldofview description "Inclined View" } DEF SideView Viewpoint{ //πλαϊνή όψη position orientation fieldofview description "Side View" } DEF TopView Viewpoint{ //κάτοψη position

56 orientation fieldofview description "Top View" } Background{ skycolor [ ] } PointLight{ location } Τέλος, εάν επιλεγεί έξοδος fap αρχείου, αυτόµατα παράγεται και ένα αρχείο κειµένου που περιέχει το πλήθος των σηµείων και τις συντεταγµένες τους. 56

57 Κεφάλαιο 3 Πειραµατικά Αποτελέσµατα 3.1 Εικονοσειρές Εισόδου Σε αυτό το κεφάλαιο θα παρουσιάσουµε τα αποτελέσµατα της µεθόδου ανάλυσης ανθρώπινων εκφράσεων. Χρησιµοποιήσαµε εικονοσειρές από τη βάση δεδοµένων Cohn-Kanade ως είσοδο στα πειράµατα. Οι εικονοσειρές έχουν περίπου 28 καρρέ η κάθε µια και είναι ασπρόµαυρες, χωρίς αυτό να αποτελεί περιορισµό. Μπορούν να χρησιµοποιηθούν και έγχρωµες. Οι εικονοσειρές που χρησιµοποιήθηκαν περιλαµβάνουν µεταβάσεις από την ουδέτερη κατάσταση σε µία από τις ανθρώπινες εκφράσεις που είναι: έκπληξη, θυµός, γέλιο, φόβος, αποστροφή και λύπη. Επιλέξαµε αυτήν τη βάση δεδοµένων γιατί είναι αρκετά γνωστή στους ερευνητές και γενικά αποδεκτή και επίσης το περιεχόµενό της είναι ακριβώς αυτό που µας ενδιαφέρει: η κάθε εικονοσειρά ξεκινάει µε ένα πρόσωπο µε ουδέτερη έκφραση, και καταλήγει στο τελευταίο καρρέ µε το πρόσωπο να δείχνει ένα συναίσθηµα σε πλήρη έκφραση. Τα συναισθήµατα είναι τα έξι βασικά ανθρώπινα συναισθήµατα: θυµός, χαρά, λύπη, ενθουσιασµός, φόβος και έκπληξη. Παρακάτω φαίνονται µερικά παραδείγµατα: 57

58 58

59 Εικόνα 3.1 πρώτο και τελευταίο πλαίσιο των εικονοσειρών 3.2 Αποτελέσµατα Μετά την καθολική και την τοπική προσαρµογή, ξεκινάει η παρακολούθηση των σηµείων για να πάρουµε τα ενδιάµεσα αποτελέσµατα και το τελικό στο τελευταίο καρρέ. Παρακάτω φαίνονται το πρώτο και το τελευταίο καρρέ µαζί µε το παραµορφωµένο πλέγµα. Στις εικόνες φαίνονται τα σηµεία του πλέγµατος µε κόκκινες κουκίδες που επιλέχθηκαν χειροκίνητα στο πρώτο καρρέ και σηµειώνουµε ότι δεν έγινε ενδιάµεση διόρθωση σε κάποιο από τα καρρέ ανάµεσα στο πρώτο και το τελευταίο. 59

60 60

61 Εικόνα 3.2 Παρακολούθηση σηµείων του προσώπου βασισµένη στο πλέγµα candide µε διάφορες εικονοσειρές που αντιστοιχούν σε ανθρώπινες εκφράσεις. Η αριστερή στήλη είναι το πρώτο καρρέ και η δεξιά το τελευταίο. Παρατηρούµε ότι γενικά η παρακολούθηση έχει καλά αποτελέσµατα στα µάτια και στα φρύδια και στο περίγραµµα του προσώπου. Στο στόµα όµως, παρόλο που στο [Kr] αντιµετωπίστηκε ξεχωριστά και µε µεγαλύτερη προσοχή, δεν είναι τόσο ακριβή τα αποτελέσµατα. Αυτό συµβαίνει γενικά στην περίπτωση που εµφανίζονται τα δόντια στα ενδιάµεσα καρρέ ενώ δεν υπήρχαν στα πρώτα που κάναµε την προσαρµογή. Επίσης, δεν είναι σηµαντικό να προσαρµόσουµε το πλέγµα στο περίγραµµα του προσώπου, αρκεί να επιλέξουµε τα σηµεία στις άκρες των µατιών, στο στόµα και στα φρύδια. Η µύτη, το µέτωπο και το περίγραµµα του προσώπου εκτός από το σαγόνι είναι σχεδόν σταθερά κατά τη διάρκεια του βίντεο. Επιπλέον, το αποτέλεσµα της παρακολούθησης εξαρτάται και από τα χαρακτηριστικά του κάθε προσώπου. Για παράδειγµα στο τρίτο ζευγάρι το χρώµα των φρυδιών δεν ξεχωρίζει καλά µε το χρώµα του προσώπου, όπως συµβαίνει στο τελευταίο ζευγάρι. Εκτελέσαµε την εφαρµογή µε την πρώτη εικονοσειρά ως είσοδο, η οποία απεικονίζει έκπληξη και πήραµε ως έξοδο το VRML αρχείο που φαίνεται στην εικόνα 3.3. Στην εικόνα παρουσιάζονται τρία στιγµιότυπα: το αρχικό πρόσωπο, ένα ενδιάµεσο και το τελικό. Στην πάνω γραµµή είναι τα καρρέ του βίντεο και στην κάτω τα αντίστοιχα καρρέ του VRML αρχείου. 61

62 (AVI) (VRML) Εικόνα 3.3 Στιγµιότυπα από το βίντεο και το VRML αρχείο εξόδου της πρώτης εικονοσειράς 62

63 Ως αποτέλεσµα στο πείραµά µας πήραµε και το fap αρχείο. Αυτό το θέτουµε ως είσοδο στον ISTFace και έχουµε τα αντίστοιχα 3 στιγµιότυπα και από εκεί: (FAP) Εικόνα 3.4 Επαναλάβαµε το πείραµα για την µια άλλη εικονοσειρά µε χαρά έχουµε το αρχικό βίντεο και ένα animation που συντέθηκε από το fap αρχείο που παράχθηκε. Φαίνονται 3 στιγµιότυπα και πάλι στα αντίστοιχα καρρέ: (AVI) Εικόνα

64 (FAP) Εικόνα 3.6 Παρατηρούµε ότι τα αποτελέσµατα είναι καλά στο ελαφρύ κλείσιµο των µατιών και στα χείλη, αλλά όχι και τόσο ικανοποιητικά στα δόντια. Επαναλάβαµε το πείραµα για µια άλλη εικονοσειρά και έχουµε το αρχικό βίντεο και ένα animation που συντέθηκε από το fap αρχείο που παράχθηκε. Φαίνονται 3 στιγµιότυπα και πάλι στα αντίστοιχα καρρέ: (AVI) Εικόνα