ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ. Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών. «Ηλεκτρονική και Επεξεργασία της Πληροφορίας» Τμήμα Φυσικής

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών «Ηλεκτρονική και Επεξεργασία της Πληροφορίας» Τμήμα Φυσικής Μεταπτυχιακή Διπλωματική Εργασία Αναγνώριση Ηλικίας με Τεχνικές Ψηφιακής Επεξεργασίας Εικόνας Μυλωνάς Παναγιώτης Α.Μ. : 155 Επιβλέπων: Φωτόπουλος Σπύρος, Καθηγητής Ιανουάριος 2017, Πάτρα Τριμελής Επιτροπή Φωτόπουλος Σπύρος, Καθηγητής Οικονόμου Γεώργιος, Αναπληρωτής Καθηγητής Μπακάλης Δημήτρης, Επίκουρος Καθηγητής

2 ΕΥΧΑΡΙΣΤΙΕΣ Η παρούσα εργασία επισφραγίζει την ολοκλήρωση των μεταπτυχιακών σπουδών μου και χρωστά την ύπαρξη της στην αμέριστη βοήθεια και υποστήριξη πολλών ανθρώπων. Πρώτα από όλα, θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή μου κ. Σπύρο Φωτόπουλο, για την πολύτιμη καθοδήγηση του κατά την εκπόνηση της διπλωματικής μου αλλά και για την εν γένει κατανόηση που επέδειξε καθ όλη την διάρκεια των σπουδών μου. Εξίσου σημαντική ήταν η παρότρυνση και η βοήθεια από τον επί σειρά ετών φίλο και υποψήφιο Διδάκτωρ του τμήματος Φυσικής του Πανεπιστημίου Πατρών, Δημήτρη Καστανιώτη. Θα ήθελα, επίσης, να ευχαριστήσω τα υπόλοιπα μέλη της τριμελούς επιτροπής κ. Γεώργιο Οικονόμου, Καθηγητή και κ. Δημήτρη Μπακάλη, Επίκουρο Καθηγητή για την πολύτιμη βοήθεια τους, καθώς επίσης και όλους τους καθηγητές μου για τις γνώσεις που μας μεταλαμπάδευσαν. Η συμπαράσταση όλων των συμφοιτητών μου ανεξαιρέτως ήταν σημαντική. Θα ήθελα συγκεκριμένα, όμως, να ευχαριστήσω την κα. Βασιλική Δάρρα και τους κ. Κωνσταντίνο Μοναχόπουλο και Σταύρο Νούσια, που με την εις βάθος γνώση του αντικειμένου σπουδών, παρείχαν και σε εμάς χρήσιμες συμβουλές στις όποιες δυσκολίες συναντήσαμε κατά την διάρκεια των σπουδών μας. Ευχαριστώ, επίσης, τους Νικόδημο και Παναγιώτη των οποίων η φιλία αποτελεί κινητήριο δύναμη και που με την στάση τους αποτελούν παράδειγμα προς μίμηση. Τέλος, ένα μεγάλο ευχαριστώ οφείλω στην οικογένεια μου, διότι είναι αυτονόητο ότι η αγάπη και η στήριξη που μου παρείχαν, ήταν καθοριστικής σημασίας για την ολοκλήρωση των σπουδών μου. Με εκτίμηση, Μυλωνάς Παναγιώτης Πανεπιστήμιο Πατρών 2

3 Abstract Αντικείμενο της συγκεκριμένης μεταπτυχιακής διπλωματικής εργασίας είναι το πρόβλημα της εκτίμησης της ηλικίας ενός ατόμου χρησιμοποιώντας την οπτική πληροφορία από την περιοχή του προσώπου. Για την εύρεση της περιοχής του προσώπου χρησιμοποιήθηκε ο ανιχνευτής Viola-Jones, o οποίος έχει χρησιμοποιηθεί εκτενώς στη βιβλιογραφία. Για τον υπολογισμό της ηλικίας θεωρήσαμε ότι έχουμε ένα πρόβλημα παλινδρόμησης και χρησιμοποιήσαμε διαφορετικές τεχνικές για την εξαγωγή οπτικών χαρακτηριστικών (LBP, GIST, HOG, SURF). Επίσης, προχωρήσαμε στη μείωση των διαστάσεων χρησιμοποιώντας Ανάλυση Κύριων Συνιστωσών (PCA). Από την αξιολόγηση και τη σύγκριση των διαφορετικών μεθόδων σε μια μεγάλη βάση με εικόνες διασήμων, διαπιστώνουμε την επιτυχία των μεθόδων LBP, GIST και HOG για το πρόβλημα της εκτίμησης ηλικίας. Επίσης, παρατηρούμε πως η μείωση των διαστάσεων οδηγεί σε καλύτερα αποτελέσματα για τις μεθόδους GIST και HOG. Τέλος, αναπτύχθηκε το προγραμματιστικό μέρος με την αντίστοιχη διεπαφή χρήστη για την εύκολη εφαρμογή της μεθόδου σε νέες εικόνες. 3

4 Abstract The scope of this master thesis is the problem of age estimation using the visual information acquired from a human s face. One of the most extensively used face detectors, Viola-Jones, is used to detect the face region on an image. We regard the age estimation problem as a regression problem and we use several digital image processing techniques such as LBP, GIST, HOG, SURF to extract the visual characteristics. In addition to that, we use Principal Component Analysis (PCA) to help us reduce the dimensionality of the characteristics. The evaluation and comparison of the above mentioned methods after being applied in an image database ascertain the success of LBP, GIST and HOG in the age estimation problem. Finally, the programming part was developed with a corresponding user interface through which the application of each method becomes easier for the user. 4

5 Περιεχόμενα 1. Εισαγωγή... Error! Bookmark not defined. 2. Βασικές Έννοιες της Αναγνώρισης Προτύπων... Error! Bookmark not defined. 3. Αναγνώριση προσώπου... Error! Bookmark not defined. 4. Σύστημα Αναγνώρισης Προσώπου... Error! Bookmark not defined. 5. Αναγνώριση προσώπων Βασικά προβλήματα... Error! Bookmark not defined. 6. Μέθοδοι Αναγνώρισης Προσώπου... Error! Bookmark not defined Μέθοδος Local binary patterns (LBP)... Error! Bookmark not defined Χρηση του LBP στην αναγνώριση προσώπου... Error! Bookmark not defined Επεκτάσεις και εφαρμογές... Error! Bookmark not defined Ο Αλγόριθμος SURF... Error! Bookmark not defined Ο Αλγόριθμος Viola Jones Face Detector... Error! Bookmark not defined Αλγόριθμος Εκπαίδευσης Adaboost Training... Error! Bookmark not defined Cascade Αρχιτεκτονική... Error! Bookmark not defined Παράδειγμα με κώδικα MATLAB... Error! Bookmark not defined SIFT (Scale Invariant Feature Transform)... Error! Bookmark not defined. 7. Ερευνητικό Μέρος - Υλοποίηση Συστήματος Εκτίμησης Ηλικίας σε Εικόνες Προσώπων... Error! Bookmark not defined Εντοπισμός της περιοχής του προσώπου... Error! Bookmark not defined Εκτίμηση της ηλικίας με χρήση LBP χαρακτηριστικών... Error! Bookmark not defined Εκτίμηση της ηλικίας με χρήση GIST χαρακτηριστικών.. Error! Bookmark not defined Εκτίμηση της ηλικίας με χρήση HOG χαρακτηριστικών. Error! Bookmark not defined Εκτίμηση της ηλικίας με χρήση SURF χαρακτηριστικών. Error! Bookmark not defined Ποσοτική αξιολόγηση των αλγορίθμων εξαγωγής χαρακτηριστικών. Error! Bookmark not defined Διεπαφή εφαρμογής των αλγορίθμων σε νέες πρωτότυπες εικόνες... Error! Bookmark not defined. 8. Βιβλιογραφία

6 Κατάλογος Εικόνων Εικόνα 1 - Βήματα της διαδικασίας που ακολουθεί ένα Σύστημα Αναγνώρισης Προσώπου Εικόνα 2 - Ελβετικό Ευρωπαϊκό Σύστημα Παρακολούθησης: Αναγνώριση προσώπου και οχημάτων, μοντέλου οχήματος, χρώματος και αριθού πινακίδων Εικόνα 3 - Παραδείγματα καθορισμού υφής και υπολογισμού του LBP Εικόνα 4 - Παραδείγματα καθορισμού υφής και υπολογισμού του LBP Εικόνα 5 - Μια αποδοτική περιγραφή του προσώπου σε τρία διαφορετικά επίπεδα τοπικότητας Εικόνα 6 - Σχήμα Χαρακτηριστικών τύπων που χρησιμοποιούνται από τους Viola και Jones Εικόνα 7 - Χαρακτηριστικό Haar - Συγκρίνει τις εντάσεις μεταξύ της περιοχής των ματιών και του επάνω μέρους της μύτης Εικόνα 8 - Χαρακτηριστικό Haar - Μετράει την διαφορά στην ένταση ανάμεσα στην περιοχή των ματιών και στην περιοχή των ζυγωματικών Εικόνα 9 - Τρίτο και τέταρτο είδος χαρακτηριστικούhaar Εικόνα 10 - Σχηματική αναπαράσταση της ακολουθίας ανίχνευσης Εικόνα 11 - Προβλήματα της αναγνώρισης προσώπου - Α Εικόνα 12 - Προβλήματα της αναγνώρισης προσώπου - Β Εικόνα 13 - Αποτελέσματα ανίχνευσης του προσώπου με χρήση του αλγορίθμου Viola-Jones Εικόνα 14 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας LBP χαρακτηριστικά και κρατώντας όλες τις διαστάσεις Εικόνα 15 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας LBP χαρακτηριστικά και κρατώντας όλες τις διαστάσεις

7 Εικόνα 16 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας LBP χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις Εικόνα 17 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας LBP χαρακτηριστικά και κρατώντας 26 διαστάσεις Εικόνα 18 - Απεικόνιση του συνόλου των εικόνων της βάσης στο 2Δ επιπέδο με βάση τα χαρακτηριστικά LBP Εικόνα 19 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας GIST χαρακτηριστικά και κρατώντας όλες τις διαστάσεις Εικόνα 20 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας GIST χαρακτηριστικά και κρατώντας όλες τις διαστάσεις Εικόνα 21 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας GIST χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις Εικόνα 22 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας GIST χαρακτηριστικά και κρατώντας 26 διαστάσεις Εικόνα 23 - Απεικόνιση του συνόλου των εικόνων της βάσης στο 2Δ επιπέδο με βάση τα χαρακτηριστικά GIST Εικόνα 24 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας HOG χαρακτηριστικά και κρατώντας όλες τις διαστάσεις Εικόνα 25 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας HOG χαρακτηριστικά και κρατώντας όλες τις διαστάσεις Εικόνα 26 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας HOG χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις Εικόνα 27 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας HOG χαρακτηριστικά και κρατώντας 26 διαστάσεις Εικόνα 28 - Απεικόνιση του συνόλου των εικόνων της βάσης στο 2Δ επιπέδο με βάση τα χαρακτηριστικά HOG Εικόνα 29 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας SURF χαρακτηριστικά και κρατώντας όλες τις διαστάσεις Εικόνα 30 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας SURF χαρακτηριστικά και κρατώντας όλες τις διαστάσεις

8 Εικόνα 31 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας SURF χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις Εικόνα 32 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας SURF χαρακτηριστικά και κρατώντας 26 διαστάσεις Εικόνα 33 - Απεικόνιση του συνόλου των εικόνων της βάσης στο 2Δ επιπέδο με βάση τα χαρακτηριστικά SURF Εικόνα 34 - Οπτικοποίηση του RMSE σφάλματος για τις διάφορες μεθόδους Εικόνα 35 - Διεπαφή για την εφαρμογή των αλγορίθμων εκτίμησης ηλικίας σε νέες εικόνες Εικόνα 36 - Αποτελέσματα από την εφαρμογή των αλγορίθμων σε παραδείγματα εικόνων

9 1. Εισαγωγή Όπως γνωρίζουμε όλοι, η διαδικασία της γήρανσης είναι μία διαδικασία μη αναστρέψιμη, η οποία προκαλεί αλλαγή στα χαρακτηριστικά του ανθρώπινου προσώπου με την πάροδο του χρόνου. Υπάρχουν ήδη αρκετές εργασίες σχετικά με την διαδικασία γήρανσης του ανθρώπινου προσώπου οι οποίες προέρχονται από τον τομέα της Ψυχολογίας και της Βιολογίας. Παρόλα αυτά, οι περισσότερες από αυτές στοχεύουν στην εξομοίωση της επίδρασης της γήρανσης στο ανθρώπινο πρόσωπο, δηλαδή στο να παρομοιάσουν πώς θα δείχνει ένα πρόσωπο σε μία συγκεκριμένη ηλικία (αυτή είναι η αντίστροφη διαδικασία της εκτίμησης ηλικίας). Επίσης, η εκτίμηση ηλικίας μπορεί να θεωρηθεί σαν πρόβλημα ταξινόμησης όταν κάθε ηλικία λαμβάνεται ως ετικέτα ταξινόμησης. Από την άλλη, μπορεί επίσης να θεωρηθεί σαν πρόβλημα παλινδρόμησης όπου κάθε ηλικία χρησιμοποιείται σαν τιμή παλινδρόμησης. Η αυτόματη εκτίμηση ηλικίας από εικόνες προσώπων μέσω υπολογιστή έχει αναδυθεί τα τελευταία χρόνια, σαν ένα ιδιαίτερα ενδιαφέρον θέμα εξαιτίας της ραγδαίας προόδου στους τομείς της υπολογιστικής όρασης, της αναγνώρισης προτύπων, αλλά και λόγω αρκετά σημαντικών εφαρμογών όπως η διαχείριση ηλεκτρονικών πελατών, ο έλεγχος ασφαλείας και η παρακολούθηση μέσω κάμερας, τα βιομετρικά χαρακτηριστικά αλλά και η διασκέδαση. Η αυτόματη εκτίμηση ηλικίας είναι χρήσιμη όταν δεν χρειάζεται να αναγνωρίσουμε συγκεκριμένα ένα άτομο, αλλά απλά θέλουμε να γνωρίζουμε την ηλικία του. Γενικά, η γήρανση έχει διαφορετικές μορφές στις διάφορες ηλικίες. Για παράδειγμα, από τη νηπιακή ηλικία έως την εφηβεία, η μεγαλύτερη αλλαγή είναι η μεγέθυνση του κρανίου. Αντιθέτως, από την ενηλικίωση μέχρι τα γηρατειά, η πιο αντιληπτή αλλαγή είναι η γήρανση του δέρματος. Το κρανίο συνεχίζει να μεταβάλλεται αλλά όχι τόσο δραματικά. Επίσης, 9

10 όπως γίνεται αντιληπτό, τα μοτίβα γήρανσης που αποτυπώνονται στις φωτογραφίες μπορεί να είναι διαφορετικά στους άνδρες και στις γυναίκες εξαιτίας των αξεσουάρ και των προϊόντων αισθητικής. Οι προσεγγίσεις όσον αφορά την εκτίμηση ηλικίας χωρίζονται σε δύο μεγάλες κατηγορίες, αυτές είναι: i) η ταξινόμηση σε ηλικιακές ομάδες (βρέφη, νέοι ενήλικες, ηλικιωμένοι ενήλικες) βάσει ενός ανθρωπομετρικού μοντέλου βασισμένου, για παράδειγμα, στην διαμόρφωση του κρανίου στο πέρασμα των χρόνων αλλά και στην ανάλυση των ρυτίδων και ii) η κατηγορία στην οποία η εκτίμηση ηλικίας θεωρείται ως ένα πρόβλημα παλινδρόμησης όπου τα χαρακτηριστικά του προσώπου εξάγονται από μοντέλα που περιέχουν πληροφορίες. Η εικόνα εισόδου αναπαρίσταται τότε από ένα σετ παραμέτρων και οι συνιστώσες παλινδρόμησης εκτιμώνται από δεδομένα εκπαίδευσης (training data) θεωρώντας ένα μοντέλο για την συνάρτηση παλινδρόμησης. Όμως, το πρόβλημα της εκτίμησης ηλικίας κρύβει ιδιαίτερες προκλήσεις διότι σε κάθε άνθρωπο ο ρυθμός γήρανσης είναι διαφορετικός και δεν εξαρτάται μόνο από τα γονίδια αλλά και από πολλούς παράγοντες, μερικοί από τους οποίους είναι οπτικοί και άλλοι μη οπτικοί όπως ο τρόπος ζωής, το εργασιακό περιβάλλον και η κατάσταση της υγείας. Ακόμα και τα οπτικά χαρακτηριστικά που μπορούν να βοηθήσουν στην εκτίμηση ηλικίας επηρεάζονται από την πόζα, τον φωτισμό και τις συνθήκες κάτω από τις οποίες τραβήχτηκε η φωτογραφία. Εξαιτίας, λοιπόν, των πολυάριθμων προκλήσεων, έχει γίνει σχετικά λίγη δουλειά μέχρι σήμερα στον τομέα της αυτόματης εκτίμησης ηλικίας, παρόλο τις εν 10

11 δυνάμει χρήσιμες εφαρμογές και η απόδοση των υπαρχόντων αλγορίθμων δεν είναι ακόμη αρκετά καλή για να έχουν πρακτική χρήση. Επίσης, ανοιχτό παραμένει το πρόβλημα της εξαγωγής γενικών διαχωριστικών χαρακτηριστικών για την εκτίμηση ηλικίας με ταυτόχρονη μείωση την αρνητικής επιρροής των ατομικών διαφορών των δύο φύλων. Η απόδοση της εκτίμησης ηλικίας μετράται με το μέσο απόλυτο σφάλμα (mean absolute error, MAE) και το αθροιστικό σκορ (cumulative score, CS). Το πρώτο ορίζεται ως ο μέσος όρος των απόλυτων τιμών των σφαλμάτων μεταξύ των εκτιμώμενων ηλικιών και των πραγματικών ηλικιών. Το αθροιστικό σκορ ορίζεται ως ο αριθμός των εικόνων test στις οποίες η εκτίμηση ηλικίας κάνει ένα απόλυτο σφάλμα μικρότερο των j χρόνων.επίσης, στην εκτίμηση ηλικίας ο αριθμός των bands και orientation πρέπει να είναι προσαρμοζόμενος στα δεδομένα και όχι να είναι προκαθορισμένος. Αυτό σημαίνει ότι για κάθε συγκεκριμένο πρόβλημα ο αριθμός αυτός πρέπει να καθορίζεται από τα δεδομένα ούτως ώστε να έχουμε καλύτερα αποτελέσματα. Η απλή μέθοδος της ανάλυσης σε βασικές συνιστώσες (PCA), η οποία είναι μια τεχνική γραμμικού μετασχηματισμού, μπορεί να δουλέψει αρκετά καλά και αποδοτικά για την μείωση της διαστατικότητας των βιομετρικών χαρακτηριστικών. Η αναγνώριση των περισσότερων εκφράσεων του προσώπου όπως η ταυτότητα η έκφραση και το φύλο έχουν μελετηθεί εκτενώς κατά το παρελθόν. Αντιθέτως, η αυτόματη εκτίμηση ηλικίας έχει μελετηθεί ελάχιστα. Με την πάροδο του χρόνου τα χαρακτηριστικά του προσώπου ενός ανθρώπου αλλάζουν. Αυτή η διαδικασία περιλαμβάνει τρία στάδια : Προ-επεξεργασία, Εξαγωγή Χαρακτηριστικών και Ταξινόμηση. 11

12 2. Βασικές Έννοιες της Αναγνώρισης Προτύπων Η ανάγκη για βελτιωμένα συστήματα πληροφοριών έχει ενταθεί, από τη στιγμή που οι πληροφορίες είναι ένα σημαντικό στοιχείο στη λήψη αποφάσεων. Ένα από τα σημαντικότερα προβλήματα στον σχεδιασμό των σύγχρονων πληροφοριακών συστημάτων είναι η αυτόματη αναγνώριση προτύπων (patterns). Η αναγνώριση θεωρείται ως ένα από τα βασικά χαρακτηριστικά της ανθρώπινης φύσης, καθώς και άλλων ζωντανών οργανισμών. Ένα πρότυπο είναι η περιγραφή ενός αντικειμένου. Ο άνθρωπος θεωρείται ένα πολύ εξελιγμένο πληροφοριακό σύστημα, λόγω της έμφυτης ικανότητας του στην αναγνώριση προτύπων. Τα πρότυπα μπορούν να χωριστούν στις δύο μεγάλες κατηγορίεςπου περιγράφονται παρακάτω. Σαφή πρότυπα (Recognition of concrete items). Περιλαμβάνει οπτική και ακουστική αναγνώριση προτύπων. Αυτή η διαδικασία αναγνώρισης περιλαμβάνει την αναγνώριση και ταξινόμηση των προτύπων στο χώρο (spatial) και στο χρόνο (temporal). Μερικά παραδείγματα χωρικών προτύπων είναι οι τυπωμένοι χαρακτήρες, τα δακτυλικά αποτυπώματα, τα φυσικά αντικείμενα, οι χάρτες καιρού και οι εικόνες. Τα χρονικά πρότυπα περιλαμβάνουν ακουστικές κυματομορφές, χρονοσειρές, ηλεκτροεγκεφαλογραφήματα και σήματα ραντάρ. Αφηρημένα πρότυπα (Recognition of abstract items). Από την άλλη πλευρά, ένα παλιό επιχείρημα ή μια λύση σε ένα πρόβλημα μπορεί να αναγνωρίζεται. Αυτή η διαδικασία περιλαμβάνει την αναγνώριση αφηρημένων προτύπων και μπορεί να ονομαστεί εννοιολογική αναγνώριση. Η αναγνώριση των συγκεκριμένων προτύπων από τον άνθρωπο μπορεί να θεωρηθεί ως ένα ψυχοφυσιολογικό πρόβλημα, το οποίο περιλαμβάνει τη σχέση μεταξύ ενός ατόμου και ενός φυσικού 12

13 ερεθίσματος. Η ανθρώπινη αναγνώριση στην πραγματικότητα είναι ο υπολογισμός των σχετικών πιθανοτήτων ότι τα δεδομένα εισόδου μπορούν να συσχετιστούν με ένα σύνολο από στατιστικά γνωστών ατόμων που εξαρτώνται από την εμπειρία του παρελθόντος μας και τα οποία θα σχηματίσουν τις ενδείξεις και τις πληροφορίες για την αναγνώριση. Οπότε, το πρόβλημα της αναγνώριση προτύπων είναι η διαδικασία διαχώρισης των δεδομένων εισόδου μεταξύ των πληθυσμών με χρήση της αναζήτησης χαρακτηριστικών ή αμετάβλητων χαρακτηριστικών μεταξύ των μελών ενός πληθυσμού. 3. Αναγνώριση προσώπου Η ανίχνευση προσώπου θεωρείται ως ένα πρόβλημα ταξινόμησης (classification) δύο κλάσεων, όπου μία περιοχή μιας εικόνας ταξινομείται ως «πρόσωπο» ή «μη-πρόσωπο». Με την ανίχνευση προσώπου εντοπίζουμε ανθρώπινα πρόσωπα σε μια εικόνα ανεξαρτήτως: της θέσης τους του μεγέθους τους (κλίμακας) του προσανατολισμού τους (στροφή στο επίπεδο της εικόνας) της στάσης/πόζας τους (στροφή εκτός επιπέδου εικόνας) της έκφρασής τους (ύπαρξη μορφασμών) της ύπαρξης άλλων δομικών στοιχείων (μούσια, μουστάκια, γυαλιά) του περιεχομένου της εικόνας (ύπαρξη εμποδίων ή άλλων προσώπων) και του φωτισμού και των συνθηκών αποτύπωσης της εικόνας (ευαισθησία κάμερας, ανάλυση) Όλα τα παραπάνω αποτελούν τις κύριες αιτίες της μεγάλης δυσκολίας που εμφανίζει το πρόβλημα της ανίχνευσης ενός προσώπου. 13

14 Οι παραλλαγές αυτές στην εμφάνιση του προσώπου, στη στάση, στην έκφραση και τον φωτισμό κάνουν πολύπλοκο το πολύπτυχο (manifold) του χώρου των προσώπων και δυσδιάκριτα τα όρια προσώπων / μηπροσώπων. Για να είναι εφικτή η διαχείριση αυτής της πολύπλοκης κατάστασης απαιτείται ένας μη γραμμικός ταξινομητής, καθώς επίσης και ένα μεγάλο σύνολο δειγμάτων εκπαίδευσης, τα οποία θα εμπεριέχουν αυτήν την ποικιλότητα στην εμφάνιση των προσώπων. Ένα επίσης σημαντικό θέμα, είναι η ταχύτητα για την απόδοση του συστήματος σε πραγματικό χρόνο. Έχει γίνει σημαντική ερευνητική προσπάθεια για την δημιουργία σύνθετων και γρήγορων ταξινομητών και από τη δεκαετία του 90 έχει γίνει σημαντική πρόοδος στο θέμα αυτό. Υπάρχουν έξι κύρια στάδια σε ένα σύστημα αναγνώρισης προσώπου 1. Είσοδος εικόνας με πρόσωπο (the acquisition module). Αυτό είναι το σημείο εισόδου της διαδικασίας της αναγνώρισης προσώπου. Είναι το στάδιο όπου ο χρήστης παρουσιάζει μια εικόνα με πρόσωπο στο σύστημα. Η εικόνα προσώπου μπορεί να είναι ένα αρχείο εικόνας που βρίσκεται σε σκληρό δίσκο, από κάμερα ή από σαρωτή. 2. Προ-επεξεργασία (the pre-processing module). Η προ-επεξεργασία με κανονικοποίηση της έντασης των εικονοστοιχείων (pixels) βοηθάει στην διόρθωση των αποκλίσεων των παραμέτρων αποτύπωσης των εικόνων μέσω των καμερών, όπως επίσης και των παραλλαγών στις συνθήκες φωτισμού. Μερικά βήματα που μπορούν να εφαρμοστούν στην διαδικασία της προ-επεξεργασίας είναι: 14

15 Τροποποίηση μεγέθους εικόνας (image size normalization): Τροποποίηση όλων των προτύπων προσώπων σε ένα συγκεκριμένο μέγεθος (π.χ. σε pixels). Εξισορρόπηση Ιστογράμματος (histogram equalization): αντισταθμίζει τις επιδράσεις φωτισμού εξαιτίας διαφορετικών συνθηκών φωτισμού και διαφορετικών καμπύλων απόκρισης της κάθε κάμερας λήψης. Φίλτρο μεσαίας τιμής (median filter): Για την εξομάλυνση (smoothing) των ακμών και μείωση του θορύβου μιας εικόνας που έχει αποκτηθεί με χρήση κάμερας, μπορεί να χρησιμοποιηθεί το φίλτρο ενδιάμεσης τιμής. Υψηπερατό φίλτρο (high-pass filtering): Η ανάδειξη και ο τονισμός των λεπτομερειών μιας εικόνας μπορεί να γίνει με τη χρήση υψηπερατών φίλτρων. Αυτό μπορεί να επιτευχθεί εύκολα αν από την αρχική εικόνα αφαιρέσουμε μια εξομαλυμένη έκδοση της (για παράδειγμα μετά από την εφαρμογή μιας μάσκας μέσης τιμής ή καλύτερα ενός φίλτρου Gauss). Το υψηπερατό φιλτράρισμα (high pass filtering) στο πεδίο του χώρου μπορεί να γίνει με την χρησιμοποίηση μασκών που αποτελούνται από ένα μείγμα θετικών και αρνητικών συντελεστών. Όπως είναι φανερό, τα υψηπερατά φίλτρα τονίζουν τις λεπτομέρειες της εικόνας, όπως είναι οι ακμές. Ένα υψηπερατό φίλτρο πρέπει να έχει παρόμοια απόκριση ανεξάρτητα από την διεύθυνση μεταβολής της φωτεινότητας. Για το σκοπό αυτό, οι συντελεστές κατανέμονται συμμετρικά ως προς το κέντρο της μάσκας. Επίσης, πρέπει να έχει θετικούς συντελεστές στο κέντρο της μάσκας και αρνητικούς στην περιφέρεια. 15

16 Αφαίρεση φόντου (background removal): Περιορισμός των μη επιθυμητών δομών του υποβάθρου (θόρυβος) κοντά στα όρια του πλαισίου ενός προτύπου προσώπου. Επιδιόρθωση διαβαθμισμένου φωτισμού (illumination normalization): Ανεύρεση μιας γραμμικής συνάρτησης η οποία να ταιριάζει στην διαβάθμιση των τιμών έντασης του παραθύρου του προσώπου και της οποίας οι τιμές αφού αφαιρεθούν, επιδιορθώνουν ακραίες διαβαθμίσεις φωτισμού (σκιές που δημιουργούνται από ακραίες γωνίες φωτισμού). 3. Εξαγωγή χαρακτηριστικών (the feature extraction module). Μετά την εκτέλεση της διαδικασίας προ-επεξεργασίας (αν είναι απαραίτητη), η κανονικοποιημένη/ομαλοποιημένη (normalized) εικόνα προσώπου παρουσιάζεται στο στάδιο της εξαγωγής χαρακτηριστικών για να βρεθούν τα βασικά χαρακτηριστικά που πρόκειται να χρησιμοποιηθούν για την ταξινόμηση. Αυτό το στάδιο είναι υπεύθυνο για τη σύνθεση ενός διανύσματος χαρακτηριστικών γνωρισμάτων που είναι αρκετά σαφές ώστε να εκπροσωπήσει την εικόνα του προσώπου. 4. Ταξινόμηση. Με τη βοήθεια ενός ταξινομητή προτύπου, τα εξαγόμενα χαρακτηριστικά της εικόνας προσώπου συγκρίνονται με αυτά που είναι αποθηκευμένα σε μια βιβλιοθήκη με αποθηκευμένα πρόσωπα (ή βάση δεδομένων). Μετά τη σύγκριση, η εικόνα προσώπου θα ταξινομηθεί ως γνωστή (known) ή άγνωστη (unknown). 16

17 5. Σύνολο εκπαίδευσης (training set). Τα πρότυπα που χρησιμοποιούνται για την εκπαίδευση του ταξινομητή αποτελούν το σύνολο εκπαίδευσης. 6. Βιβλιοθήκη προσώπων ή βάση δεδομένων προσώπων (face library or face database). Από τη στιγμή που ταξινομούνται οι εικόνες προσώπου ως άγνωστες, μπορούν να προστεθούν σε μια βιβλιοθήκη (ή σε μια βάση δεδομένων) μαζί με το διάνυσμα τωνχαρακτηριστικών γνωρισμάτων (featurevector) για να χρησιμοποιηθούν σε συγκρίσεις. Το στάδιο ταξινόμησης κάνει άμεση χρήση της βιβλιοθήκης προσώπων. 17

18 4. Σύστημα Αναγνώρισης Προσώπου Ένα Σύστημα Αναγνώρισης Προσώπου είναι μια εφαρμογή των Συστημάτων Αναγνώρισης Προτύπων, που χρησιμοποιείται για αυτοματοποιημένη αναγνώριση ή επιβεβαίωση της ταυτότητας ενός ατόμου από μία ψηφιακή εικόνα ή ένα καρέ από βίντεο. Ένας τρόπος για να γίνει αυτό, είναι η σύγκριση χαρακτηριστικών προσώπου μεταξύ της εισόδου στο σύστημα (στατική εικόνα) και μιας βάσης δεδομένων χαρακτηριστικών. Συνηθίζεται να χρησιμοποιείται σε συστήματα ασφαλείας και μπορεί να συγκριθεί με άλλες βιομετρικές μεθόδους όπως η αναγνώριση δαχτυλικών αποτυπωμάτωνή η αναγνώριση αμφιβληστροειδούς χιτώνα. Τα Συστήματα Αναγνώρισης Προτύπων, μεταξύ των οποίων και το Σύστημα Αναγνώρισης Προσώπου, ακολουθεί μια τυπική αρχιτεκτονική που περιλαμβάνει τέσσερα βασικά στάδια επεξεργασίας: Εικόνα 1 - Βήματα της διαδικασίας που ακολουθεί ένα Σύστημα Αναγνώρισης Προσώπου. 1. Λήψη μετρήσεων για κάποιες από τις ιδιότητες του αντικειμένου που μας αφορούν 2. Προεπεξεργασία των μετρήσεων για τη μείωση θορύβου και/ή κανονικοποίηση των μετρήσεων 18

19 3. Εξαγωγή χαρακτηριστικών με τα οποία γίνεται η διάκριση των προτύπων 4. Ταξινόμηση, που περιλαμβάνει τη σύγκριση των χαρακτηριστικών του αντικειμένου με κάποια χαρακτηριστικά που το σύστημα ήδη γνωρίζει που ανήκουν, ώστε να το αντιστοιχίσει σε κάποια κλάση. Υπάρχουν δύο βασικές διαδεδομένες μέθοδοι για την αναγνώριση προσώπου, η γεωμετρική, που στηρίζεται σε χαρακτηριστικά του προσώπου, και η φωτομετρική που στηρίζεται στην όψη του.στο παραπάνω σχήμα φαίνεται η διαδικασία που ακολουθεί συγκεκριμένα ένα σύστημα αναγνώρισης προσώπου, και τα βήματα από τη στιγμή που θα δεχθεί κάποιο στιγμιότυπο - εικόνα ως είσοδο, μέχρι την απάντηση για την ταυτότητα του προσώπου. Κάποιοι αλγόριθμοι αναγνώρισης προσώπου, αναγνωρίζουν τα πρόσωπα εξάγωντας χαρακτηριστικά από την εικόνα του προσώπου του ατόμου. Η εταιρία Identix που εδρεύει στη Μινεσότα, είναι μια από τις πολυάριθμες εταιρίες που ασχολούνται στο χώρο και το λογισμικό της (Facelt ) μπορεί να αποτυπώσει το πρόσωπο κάποιου ατόμου από ένα πλήθος, να το αποκόψει και στη συνέχεια να διασταυρώσει συγκεκριμένα χαρακτηριστικά που έχει στη βάση δεδομένων του. Κάθε πρόσωπο έχει πολυάριθμα ξεχωριστά διακριτικά στοιχεία από άλλα, με διαφορετικές κορυφές και κοιλάδες, που μπορούν να αποτελέσουν χαρακτηριστικά για το συγκεκριμένο πρόσωπο. Τέτοια μπορεί να είναι: Η απόσταση μεταξύ ματιών. Το πλάτος της μύτης. Το βάθος των ματιών. Το σχήμα των ζυγωματικών. Το μήκος του σαγονιού. 19

20 Το ανθρώπινο πρόσωπο έχει περίπου 80 τέτοια χαρακτηριστικά, που καθορίζουν τις διαφορές μεταξύ προσώπουν και αποκαλούνται κομβικά σημεία (nodal points). Άλλου είδους αλγόριθμοι, κανονικοποιούν (normalize) μια σειρά δεδομένων που απαιτούν για την αναγνώριση προσώπου από ένα σύνολο προσώπων και στη συνέχεια συμπιέζουν τα χαρακτηριστικά που απαιτούν, καταλήγοντας στην πιο μικρή ικανοποιητική διάσταση διανύσματος χαρακτηριστικών. Η μέθοδος αυτή χρησιμοποιεί τον αλγόριθμο PCA (Principal Components Analysis) και πρωτοπόρος της ήταν οι Kirby και Sirivich το 1988 (η μέθοδος αυτή πολλές φορές αποκαλείται σαν χρήση eigenfaces). Μια άλλη πολύ διαδεδομένη μέθοδος, συμπεριλαμβάνει την κατηγοριοποίηση προσώπων κατά την εκπαίδευση του συστήματος και στη συνέχεια τη χρήση του αλγόριθμου LDA (Linear Discriminant Analysis), ώστε να μεγιστοποιηθεί η πυκνότητα ομοίων στοιχείων εντός της ίδιας κλάσης (ίδιο πρόσωπο) και παράλληλα να αυξηθούν οι διαφορές που έχουν οι ίδιες οι κλάσεις. Άλλοι παρόμοιοι αλγόριθμοι είναι οι Elastic Bunch Graph Matching που χρησιμοποιεί τον αλγόριθμο Fisherface, ο Hidden Markov Μodel και ο νευρωνικός Dynamic Link Matching.Η τρισδιάστατη μέθοδος αναγνώρισης προσώπου αποτελεί μια παραλλαγή της κλασικής δισδιάστατης αναγνώρισης, όπου χρησιμοποιείται η τρισδιάστατη γεωμετρική αναπαράσταση του ανθρώπινου προσώπου. Είναι γνωστό ότι η τρισδιάστατη αναγνώριση προσώπου μπορεί να επιτύχει σαφέστατα καλύτερα αποτελέσματα από τη δισδιάστατη, πλησιάζοντας την ταυτοποίηση δαχτυλικού αποτυπώματος. Στην τρισδιάστατη μέθοδο, επιτυγχάνονται καλύτερα αποτελέσματα εξετάζοντας τη γεωμετρία συμπαγών στοιχείων του προσώπου. Έτσι αποφεύγονται προβλήματα που προέκυπταν με τη δισδιάστατη μελέτη 20

21 και αφορούσαν αλλαγές στο φωτισμό, αλλαγές στην έκφραση των προσώπων, make up, διαφοροποίηση στον προσανατολισμό του προσώπου κατά τη λήψη του στιγμιότυπου κλπ. Το σημαντικότερο μειονέκτημα της τρισδιάστατης αναγνώρισης προσώπων, είναι η ανάγκη για τρισδιάστατα μοντέλα, που απαιτούν τη χρήση συστημάτων λήψης ειδικού τύπου. Βέβαια, εξίσου ικανοποιητικές είναι πλέον πολλαπλές λήψεις του ίδιου αντικειμένου από διαφορετικές οπτικές γωνίες, που με κατάλληλη επεξεργασία, μπορεί να αποδώσει τις μεταβλητές που ενδιαφέρουν το σύστημα. Εικόνα 2 - Ελβετικό Ευρωπαϊκό Σύστημα Παρακολούθησης: Αναγνώριση προσώπου και οχημάτων, μοντέλου οχήματος, χρώματος και αριθμού πινακίδων. Η έρευνα στον τομέα της τρισδιάστατης αναγνώρισης προσώπου, ενισχύεται από την ανάπτυξη αισθητήρων που μπορούν να κάνουν καλύτερη δουλειά από τις απλές 3D μηχανές λήψης. Οι αισθητήρες αυτοί λειτουργούν προβάλλοντας δομημένο φως στο υπό εξέταση πρόσωπο, ενώ μπορούν να συνδεθούν παράλληλα περίπου 12 πάνω σε ένα CMOS Chip, καθένας λαμβάνοντας διαφορετικό τμήμα του οπτικού φάσματος. Άλλες μέθοδοι, συμπεριλαμβάνουν τη χρήση αόρατων δομών φωτός για 21

22 τη λήψη των δεδομένων, καθώς δεν θα απαιτούσαν την ύπαρξη (ή όχι) φωτός στο χώρο που βρίσκεται το πρόσωπο. 22

23 5. Αναγνώριση προσώπων Βασικά προβλήματα Το πρόσωπο είναι ένα μοναδικό χαρακτηριστικό για τα ανθρώπινα όντα. Ακόμα και τα πρόσωπα δύο ομοζυγωτικών διδύμων διαφέρουν. Εντοπίζουμε, αναγνωρίζουμε και διακρίνουμε τα πρόσωπα με χαρακτηριστική ευκολία και απλή παρατήρηση. Η ευκολία αναγνώρισης των προσώπων από τον άνθρωπό ήταν ένας από τους λόγους για την επιλογή γραμματοσήμων το οποία περιλάμβαναν πρόσωπα: ήταν πολύ δυσκολότερο να γίνουν πλαστογραφίες γραμματοσήμων γιατί αυτές γίνονταν εύκολα αντιληπτές. Η μοναδικότητα των προσώπων είναι επίσης ο βασικός λόγος για την ευρεία χρήση του σε εφαρμογές όπου η ταυτοποίηση ανθρώπων είναι ιδιαίτερα σημαντική.η ανάπτυξη ενός υπολογιστικού μοντέλου αναγνώρισης προσώπων είναι μια πρόκληση για την ανθρώπινη εφευρετικότητα και φιλοδοξία. Οι πιθανές εφαρμογές ενός τέτοιου μοντέλου, ενδεχομένως σε μελλοντικό χρόνο, χρησιμοποιούμενου για ασφάλεια κτιρίων και σταθμών εργασίας, αναγνώριση κακοποιών, επαλήθευση πιστωτικών καρτών, βελτίωσης της επικοινωνίας ανθρώπου-μηχανής κοκ, το καθιστούν ιδιαίτερα σημαντικό. Το πρόβλημα χονδρικά τίθεται ως εξής: Δοθέντων φωτογραφιών ή ακολουθιών βίντεο από μια σκηνή, αναγνώρισε ένα ή περισσότερα άτομα χρησιμοποιώντας μια υπάρχουσα βάση δεδομένων από πρόσωπα. Συμπληρωματικές πληροφορίες, όπως ηλικία, φύλο, φυλή, μπορεί να είναι διαθέσιμες για κάθε αποθηκευμένο στη βάση πρόσωπο, ούτως ώστε να περιορίζεται η έρευνα. Διάφορα υπο-προβλήματα πηγάζουν για την αυτοματοποίηση της παραπάνω διαδικασίας, αυτά είναι: 1. Απομόνωση και κατάτμηση του προσώπου μέσα από ένα γενικά- θορυβώδες περιβάλλον. 23

24 2. Εξαγωγή ευσταθών χαρακτηριστικών από την περιοχή του προσώπου. Ευσταθή χαρακτηριστικά είναι εκείνα, τα οποία δεν επηρεάζονται από την κλίμακα, τον φωτισμό, την κλίση-στροφή του προσώπου, την αμφίεση και τη γήρανση. 3. Χρήση χαρακτηριστικών ή άλλων παρόμοιων τεχνικών με σκοπό τη μείωση της διάστασης του προβλήματος και τη δημιουργία προτύπων. Το πρόβλημα τελικά ανάγεται στην αναγνώριση προτύπων και τη χρήση κατάλληλων μετρικών για ταυτοποίησηκατηγοριοποίηση. Επιπλέον το πρόβλημα μπορεί να διαχωριστεί σε δύο κατηγορίες με βάση τη πηγή πληροφορίας, αν δηλαδή αναφέρεται σε σταθερές ή κινούμενες εικόνες. Η αναγνώριση προσώπου από σταθερές εικόνες έχει πλεονεκτήματα και μειονεκτήματα σε σχέση με την αναγνώριση από ακολουθίες βίντεο, ως εκ τούτου οι χρησιμοποιούμενες τεχνικές στις δύο αυτές κατηγορίες ποικίλουν. Η αναπαράσταση των προσώπων είναι ιδιαίτερα σημαντική στην αναγνώριση. Όλα τα γνωστά πρόσωπα πρέπει να αναπαριστώνται σε κάποια μορφή. Τα νέα εντοπισμένα πρόσωπα πρέπει επίσης να αναπαριστώνται σε κατάλληλη μορφή ώστε η διαδικασία ταύτισης να είναι αφενός εφικτή και αφετέρου αποτελεσματική. Ένα πρόσωπο είναι δύσκολο να αναπαρασταθεί πλήρως από τα μεμονωμένα χαρακτηριστικά του, π.χ. από το αν έχει μακριά μύτη, σκούρα μαλλιά και οβάλ σχήμα. Αυτός είναι και ο λόγος για τον οποίο οι αστυνομικές αρχές δημιουργούν σκίτσα με βάση τις περιγραφές των αυτόπτων μαρτύρων που περιγράφουν το πρόσωπο με βάση επιμέρους χαρακτηριστικά. Η αναπαράσταση των προσώπων πρέπει να είναι συμπαγής, αλλά χωρίς την απώλεια σημαντικής πληροφορίας. Για παράδειγμα, αναπαράσταση 24

25 σε ανάλυση 512x512, με βάθος χρώματος 6 bpp, μπορεί να είναι επαρκής συγκρινόμενη με 8 bpp. Ομοίως φωτογραφίες με ανάλυση μικρότερη από 512x512 μπορεί να είναι ικανοποιητικές τόσο για τον εντοπισμό όσο και για την ταυτοποίηση. Ο τρόπος αναπαράστασης των προσώπων επηρεάζεται αλλά και επηρεάζει το σχήμα ταύτισης το οποίο χρησιμοποιείται για την αναγνώριση. Πριν την ταυτοποίηση ενός προσώπου πρέπει πρώτα αυτό να εντοπιστεί. Η ανίχνευση και ο εντοπισμός προσώπων είναι το πρώτο στάδιο της αναγνώρισης προσώπων. Το επόμενο στάδιο είναι η ανάπτυξη μηχανισμών ταυτοποίησης του προσώπου με βάση γνωστές πληροφορίες. Ένα σχετιζόμενο πρόβλημα είναι η αποτελεσματική αναπαράσταση του προσώπου, π.χ. μέσω ενός δισδιάστατου πίνακα τιμών ή ενός συνόλου από χαρακτηριστικά. Προβλήματα αντίστοιχα με την αναγνώριση προσώπων είναι και αυτά της αναγνώρισης του φύλου ή της φυλής. Η αναπαράσταση των προσώπων είναι ιδιαίτερα σημαντική στην αναγνώριση. Όλα τα γνωστά πρόσωπα πρέπει να αναπαριστώνται σε κάποια μορφή. Τα νέα εντοπισμένα πρόσωπα πρέπει επίσης να αναπαριστώνται σε κατάλληλη μορφή ώστε η διαδικασία ταύτισης να είναι αφενός εφικτή και αφετέρου αποτελεσματική. Ένα πρόσωπο είναι δύσκολο να αναπαρασταθεί πλήρως από τα μεμονωμένα χαρακτηριστικά του, π.χ. από το αν έχει μακριά μύτη, σκούρα μαλλιά και οβάλ σχήμα. Αυτός είναι και ο λόγος για τον οποίο οι αστυνομικές αρχές δημιουργούν σκίτσα με βάση τις περιγραφές των αυτόπτων μαρτύρων που περιγράφουν το πρόσωπο με βάση επιμέρους χαρακτηριστικά. Η αναπαράσταση των προσώπων πρέπει να είναι συμπαγής, αλλά χωρίς την απώλεια σημαντικής πληροφορίας. Για παράδειγμα, αναπαράσταση σε ανάλυση 512x512, με βάθος χρώματος 6 bpp, μπορεί να είναι επαρκής 25

26 συγκρινόμενη με 8 bpp. Ομοίως φωτογραφίες με ανάλυση μικρότερη από 512x512 μπορεί να είναι ικανοποιητικές τόσο για τον εντοπισμό όσο και για την ταυτοποίηση. Ο τρόπος αναπαράστασης των προσώπων επηρεάζεται αλλά και επηρεάζει το σχήμα ταύτισης το οποίο χρησιμοποιείται για την αναγνώριση. Σε πολλές περιπτώσεις οι συνθήκες κάτω από τις οποίες έχει ληφθεί η φωτογραφία είναι ελεγχόμενες, όπως π.χ. σε φωτογραφίσεις που πραγματοποιούνται από τις αστυνομικές αρχές. Ο εντοπισμός της ακριβούς θέσης του προσώπου στις φωτογραφίες αυτές είναι σχετικά εύκολος και σε αρκετές περιπτώσεις δεν είναι καν απαραίτητος. Στις περισσότερες περιπτώσεις εντούτοις, το εάν σε μια φωτογραφία υπάρχουν πρόσωπο, ή πρόσωπα, δεν είναι εκ των προτέρων γνωστό πολύ περισσότερο δε, δεν είναι γνωστή η ακριβής θέση του. Διάφοροι παράγοντες, όπως η παρουσία μαλλιών που καλύπτουν μέρος του προσώπου, η ύπαρξη γενειάδας, το βάψιμο, η μερική επικάλυψη από άλλα αντικείμενα κλπ, επηρεάζουν τη διαδικασία εντοπισμού του πρόσωπου σε μια εικόνα γιατί καλύπτουν μερικά από τα βασικά χαρακτηριστικά του. Ένας άλλος ουσιαστικός παράγοντας είναι η κλίμακα και η γωνία κλίσης του προσώπου στις φωτογραφίες. Το πρόβλημα της κλίμακας και του προσανατολισμού αποτρέπει τον εντοπισμό μέσω ενός απλού προτύπου. 6. Μέθοδοι Αναγνώρισης Προσώπου 6.1. Μέθοδος Local binary patterns (LBP) Ο Local Binary Patterns (LBP) είναι ένας οπτικός περιγραφέας που χρησιμοποιείται για ταξινόμηση στην υπολογιστική όραση. Είναι ένας operator που ορίζεται σαν ένας αμετάβλητος gray-scale μετρητής υφής, 26

27 παραγόμενος από έναν γενικό ορισμό υφής σε μία τοπική περιοχή. Περιγράφηκε πρώτη φορά το 1994 και είναι η συγκεκριμένη περίπτωση του μοντέλου Texture Spectrum που προτάθηκε το Είναι ένας απλός και πολύ αποδοτικός τελεστής για ταξινόμηση υφής που εξαιτίας της υπολογιστικής απλότητας του και της ισχύς του, είναι μια πολύ δημοφιλής προσέγγιση σε πληθώρα εφαρμογών. Στην ουσία συγκρίνει την σχέση που υπάρχει μεταξύ ενός pixel και των γειτονικών του και κωδικοποιεί αυτή τη σχέση σε μια δυαδική λέξη. Αυτό επιτρέπει την ανίχνευση των pattern/features, ενώ ταυτοχρόνως παραμένει σταθερός σε αλλαγές της αντίθεσης. Μπορεί να θεωρηθεί ως μία ενοποιημένη προσέγγιση των παραδοσιακών στατιστικών και δομικών μοντέλων ανάλυσης υφής. Ίσως η πιο σημαντική ιδιότητα του LBP σε real-world εφαρμογές είναι η ευστάθεια του σε μονότονες gray-scale αλλαγές που προκαλούνται, για παράδειγμα, από εναλλαγές στην φωτεινότητα. Μια άλλη σημαντική ιδιότητα είναι ότι είναι υπολογιστικά απλός, κάτι που τον καθιστά ικανό να αναλύσει εικόνες σε απαιτητικές real-time εφαρμογές. Επίσης έχει παρατηρηθεί ότι όταν συνδυαστεί με τον περιγραφέα Histogram of Oriented Gradients (HOG) βελτιώνει αισθητά την απόδοση ανίχνευσης σε μερικά σετ δεδομένων. Το διάνυσμα χαρακτηριστικών του LBP, στην απλούστερη του μορφή, δημιουργείται με τον ακόλουθο τρόπο : Χώρισε το εξεταζόμενο παράθυρο σε κελιά (π.χ. 16x16 pixel για κάθε κελί). Για κάθε pixel στο κελί, σύγκρινε το pixel αυτό με κάθε ένα από τα 8 γειτονικά του(επάνω αριστερό, μεσαίο αριστερό, κάτω αριστερό, επάνω δεξί, κοκ) και ακολούθησε τα pixel κατά μήκος ενός κύκλου, ήτοι όπως οι δείκτες του ρολογιού ή αντίθετα της φοράς των δεικτών του ρολογιού. 27

28 Όπου η τιμή του κεντρικού pixel είναι μεγαλύτερη από τη τιμή του γειτονικού pixel, γράψε τη τιμή 0. Αλλιώς, γράψε 1. Αυτό μας παρέχει έναν δυαδικό αριθμό 8 ψηφίων που συνήθως, για διευκόλυνσή μας, μετατρέπεται σε δεκαδικό. Υπολόγισε το ιστόγραμμα για κάθε κελί, της συχνότητας εμφάνισης κάθε αριθμού (κάθε συνδυασμό αυτών τωνpixel που είναι μικρότερα και αυτών που είναι μεγαλύτερα από το κεντρικό). Αυτό το ιστόγραμμα μπορεί να ερμηνευτεί σαν ένα διάνυσμα χαρακτηριστικών 256 διαστάσεων. Κανονικοποίηση του ιστογράμματος (επιλεκτικά). Ένωσε τα κανονικοποιημένα ιστογράμματα όλων των κελιών. Αυτό μας δίνει ένα διάνυσμα χαρακτηριστικών για ολόκληρο το παράθυρο. Εικόνα 3 - Παραδείγματα καθορισμού υφής και υπολογισμού του LBP - 1 Εικόνα 4 - Παραδείγματα καθορισμού υφής και υπολογισμού του LBP - 2 Το διάνυσμα χαρακτηριστικών μπορεί πλέον να επεξεργαστεί χρησιμοποιώντας την Support Vector Machine ή κάποιον άλλον Machine Learning αλγόριθμο για να ταξινομήσει τις εικόνες. Τέτοιου είδους 28

29 ταξινομητές μπορούν να χρησιμοποιηθούν για αναγνώριση προσώπου ή ανάλυση υφής Χρήση του LBP στην αναγνώριση προσώπου Στην προσέγγιση LBP για ταξινόμηση υφής, οι εμφανίσεις των κωδικών LBP μιας εικόνας συλλέγονται σε ένα ιστόγραμμα. Έπειτα γίνεται η ταξινόμηση υπολογίζοντας απλές ομοιότητες στο ιστόγραμμα. Παρόλα αυτά, αν θεωρήσουμε μια παρόμοια προσέγγιση για αναπαράσταση εικόνας προσώπου θα καταλήξουμε σε απώλεια χωρικής πληροφορίας και με αυτό τον τρόπο μπορεί κανείς να κωδικοποιήσει την πληροφορία υφής ενώ παράλληλα διατηρεί επίσης την τοποθεσία τους. Ένας τρόπος να το πετύχουμε αυτό, είναι να χρησιμοποιήσουμε τους LBP περιγραφείς υφής για να χτίσουμε αρκετές τοπικές περιγραφές του προσώπου και να τις συνδυάσουμε σε μία global περιγραφή. Τέτοιου είδους τοπικές περιγραφές κερδίζουν, τελευταία ολοένα κ περισσότερο ενδιαφέρον λόγω των περιορισμών που εισάγουν οι ολιστικές αναπαραστάσεις. Οι μέθοδοι που είναι βασισμένες σε τοπικά χαρακτηριστικά είναι πιο ευσταθείς από τις ολιστικές μεθόδους σε περιπτώσεις μεταβολής της θέσης του προσώπου ή του φωτισμού. Η βασική μεθοδολογία για LBP περιγραφή προσώπου προτάθηκε από τον Ahonen (2006) και είναι όπως περιγράφεται παρακάτω:η εικόνα προσώπου χωρίζεται σε τοπικές περιοχές και οι LBP περιγραφείς υφής εξάγονται ανεξάρτητα από κάθε περιοχή. Στη συνέχεια, αυτοί οι περιγραφείς τοποθετούνται στη σειρά για να σχηματίσουν έναν global περιγραφέα προσώπου, όπως φαίνεται στο παρακάτω σχήμα. 29

30 Εικόνα 5 - Μια αποδοτική περιγραφή του προσώπου σε τρία διαφορετικά επίπεδα τοπικότητας To παραπάνω έχει μια αποδοτική περιγραφή του προσώπου σε τρία διαφορετικά επίπεδα τοπικότητας: τα LBP labels για το ιστόγραμμα περιέχουν πληροφορίες για τα patterns σε τοπικό επίπεδο, τα label αθροίζονται σε μία μικρή περιοχή για να παραγάγουν σε τοπικό επίπεδο και τα τοπικά ιστογράμματα συνενώνονται για να δημιουργήσουν μια συνολική περιγραφή του προσώπου. Πρέπει να σημειωθεί ότι όταν χρησιμοποιούμε μεθόδους βασισμένες σε ιστογράμματα, οι περιοχές δεν χρειάζεται να είναι ορθογώνιες και του ίδιου μεγέθους ή σχήματος. Επίσης δεν χρειάζεται απαραίτητα να επικαλύπτουν ολόκληρη την εικόνα. Είναι, τέλος, πιθανό να υπάρχουν μερικώς επικαλυπτόμενες περιοχές.η δισδιάστατη μέθοδος περιγραφής προσώπου επεκτάθηκε στον spatiotemporal domain από τους Zhao and Pietikäinen (2007) οι οποίοι με αυτήν την προσέγγιση επέτυχαν άριστα αποτελέσματα στην αναγνώριση εκφράσεων προσώπου. Από την δημοσίευση της περιγραφής προσώπου LBP, αυτή η μεθοδολογία έχει ήδη καθιερωθεί σε καλή θέση σε έρευνες κ εφαρμογές ανάλυσης προσώπου. Ένα αξιοσημείωτο παράδειγμα είναι το illumination-invariant σύστημα αναγνώρισης προσώπου που προτάθηκε από τον Li (2007), το οποίο συνδυάζει NIR imaging με LBP χαρακτηριστικά και Adaboost learning. O Zhang (2005) πρότεινε την εξαγωγή LBP χαρακτηριστικών από 30

31 εικόνες προσώπου που προέρχονται από το φιλτράρισμα τους με 40 φίλτρα Gabor διαφορετικής κλίμακας και προσανατολισμού και τα αποτελέσματα του ήταν εξαιρετικά. Οι Hadid και Pietikäinen (2009) χρησιμοποίησαν spatiotemporal LBPs για αναγνώριση προσώπου και γένους από ακολουθία video, ενώ ο Zhao (2009) προσάρμοσε την προσέγγιση LBP στην αναγνώριση visual ομιλίας και κατάφερε απόδοση αιχμής με κατάτμηση των κινούμενων χειλιών η οποία δεν ήταν επιρρεπής στα λάθη Επεκτάσεις και εφαρμογές Η μεθοδολογία LBP έχει οδηγήσει σε σημαντική πρόοδο στην ανάλυση υφής. Χρησιμοποιείται ευρέως ανά τον κόσμο τόσο στην έρευνα όσο και για εφαρμογές. Εξαιτίας της ισχύς της και της υπολογιστικής απλότητας της, αυτή η μέθοδος έχει γίνει πολύ επιτυχής σε προβλήματα υπολογιστικής όρασης που προηγουμένως δεν τα θεωρούσαμε καν προβλήματα υφής, όπως η ανάλυση προσώπου και κίνησης (Pietikäinen et al. 2011). Για να αυξήσουμε το εύρος εφαρμογής του LBP, έχουν προταθεί πολλές επεκτάσεις κ τροποποιήσεις του. Για παράδειγμα ο Liao (2009) πρότεινε το dominant local binary patterns οι οποίοι κάνουν χρήση των πιο συχνά εμφανιζόμενων patterns του LBP για να βελτιώσουν την ακρίβεια αναγνώρισης. Η χρήση περιγραφέων περιοχής ενδιαφέροντος (όπως ο SIFT) σε πολλά προβλήματα υπολογιστικής όρασης έχει αρχίσει να απασχολεί πολλούς. Γι αυτό το λόγο προτάθηκε από τον Heikkilä (2009) ένας novel περιγραφέας που συνδυάζει τα δυνατά σημεία των SIFT και LBP στον οποίο κέντρο-συμμετρικά LBP (CS-LBP) χρησιμοποιήθηκαν για να αντικαταστήσουν τον gradient τελεστή που χρησιμοποιεί ο αλγόριθμος SIFT. Οι Mäenpää and Pietikäinen (2004) πρότειναν έναν LBP αντίθετου χρώματος και διερεύνησαν την ενοποιημένη και την ξεχωριστή χρήση του 31

32 χρώματος και της υφής κατά την ταξινόμηση. Ο συνδυασμός των χαρακτηριστικών του LBP και των Gabor διερευνήθει από τους Τan (2007) και Wang (2009). Η πρώτη βασισμένη σε υφή μέθοδος για αφαίρεση του background προτάθηκε από τους Heikkilä and Pietikäinen (2006). Κάθε pixel μοντελοποιείται ως μια ομάδα προσαρμοζόμενων LBP ιστογραμμάτων τα οποία υπολογίζονται για μια κυκλική περιοχή γύρω από το pixel. Τα αποτελέσματα έδειξαν να είναι ανεκτικά σε μεταβολές φωτισμού και την είσοδο ή αφαίρεση αντικειμένων από το φόντο. Επιπλέον, αυτή η μέθοδος είναι ικανή για real-time επεξεργασία. Ένας preprocessing αλγόριθμος βασισμένος στoν LBP αναπτύχθηκε για να διαχειρίζεται μεταβολές στο φωτισμό σε ένα σύστημα πιστοποίησης προσώπου (Heusch, 2006). Η χρήση των LBP για την αναγνώριση των δράσεων εξετάσθηκε από τον Kellokumpu (2010). Η χρήση LBPs στην ταξινόμηση ηλικίας έχει διερευνηθεί από τον Wang (2009). Μια χρήσιμη επέκταση του αρχικού τελεστή είναι ο επονομαζόμενος uniform pattern, που μπορεί να χρησιμοποιηθεί για την μείωση του μήκους του διανύσματος χαρακτηριστικών και υλοποιεί έναν simple rotation invariant περιγραφέα. Η ιδέα προέρχεται από το γεγονός ότι κάποια δυαδικά patterns προκύπτουν συχνότερα από κάποια άλλα σε εικόνες υφής. Ένα local binary pattern ονομάζεται uniform όταν το δυαδικό pattern περιέχει το πολύ δύο μεταβάσεις 0-1 ή 1-0. Για παράδειγμα, το δυαδικό pattern (2 μεταβάσεις) είναι uniform. Αντιθέτως, το (6 μεταβάσεις) δεν είναι uniform. Στον υπολογισμό του ιστογράμματος LBP, το ιστόγραμμα έχει ένα ξεχωριστό bin για κάθε uniform pattern και όλα τα non-uniform patterns ανατίθενται σε ένα μονό bin. Χρησιμοποιώντας uniform patterns, τo μήκος του διανύσματος χαρακτηριστικών για ένα κελί μειώνεται από 256 σε

33 Εκτός από την αναγνώριση προσώπων και εκφράσεων, ο LBP έχει επίσης χρησιμοποιηθεί σε πολλές άλλες εφαρμογές όπως στα βιομετρικά χαρακτηριστικά, συμπεριλαμβανομένου του εντοπισμού ματιού, και της αναγνώρισης της ίριδας του ματιού, του δακτυλικού αποτυπώματος, του βαδίσματος και της ταξινόμησης της ηλικίας Αλγόριθμος SURF Ο αλγόριθμος SURF (Speeded-Up Robust Features) υλοποιεί όπως και ο SIFT, έναν ανιχνευτή για τον προσδιορισμό σημείων ενδιαφέροντος σε μία εικόνα. Επίσης αναπτύσσει μια νέα μέθοδο για την δημιουργία ενός περιγραφέα. Στο πρώτο βήμα, γίνεται η εύρεση σημείων ενδιαφέροντος μέσα σε μια εικόνα. Τα σημεία μοναδικότητας παραμένουν αμετάβλητα σε μεταβολές όπως η αλλαγή κλίμακας μεγέθους, η περιστροφή, η αλλαγή φωτισμού ή ο θόρυβος εικόνας. Έπειτα, η γειτονιά κάθε ενδιαφέροντος σημείου αναπαρίσταται από ένα χαρακτηριστικό διάνυσμα. Κάθε χαρακτηριστικό διάνυσμα χρησιμοποιείται στην διαδικασία ταύτισης κοινών σημείων ανάμεσα σε δύο εικόνες. Στο επόμενο βήμα, τα χαρακτηριστικά διανύσματα μια εικόνας συγκρίνονται με αυτά μιας άλλης ώστε να βρεθούν κοινά σημεία ενδιαφέροντος. Ταυτίζοντας τα κοινά στοιχεία ανάμεσα σε δύο ή περισσότερες εικόνες μπορεί να υλοποιηθεί αναγνώριση και ταξινόμηση αντικειμένων. Στην αρχή, ο ανιχνευτής σημείων ενδιαφέροντος χρησιμοποιεί τον Γρήγορο Εσσιανό πίνακα (Fast Hessian matrix), ο οποίος βασίζεται στους υπολογισμούς του Εσσιανού πίνακα για κάθε ένα σημείο. Επιπλέον, από τον πίνακα εξάγεται η τοποθεσία και ο χώρος κλιμάκωσης. Έπειτα δημιουργούνται τετραγωνικά φίλτρα μεγέθους 9x9, τα οποία 33

34 προσεγγίζουν την δευτέρας τάξης παράγωγο της συνάρτησης Gauss και αναπαριστούν την χαμηλότερη κλίμακα μεγέθους. Η δημιουργία του περιγραφέα υλοποιείται σε δύο βήματα. Το πρώτο περιγράφεται από την εύρεση ενός αποτελεσματικού προσανατολισμού βασισμένο στην γύρω περιοχή του ενδιαφέροντος σημείου. Ο ιδανικός προσανατολισμός υπολογίζεται από τη σύγκριση των αθροισμάτων των αποκρίσεων που περιγράφονται από παράθυρα. Το μεγαλύτερο άθροισμα από τις συγκρινόμενες αντιστοιχίες δίνει τον προσανατολισμό του στο σημείο ενδιαφέροντος. Στη συνέχεια, για την εξαγωγή του κατασκευάζεται μια τετραγωνική περιοχή (γύρω από την περιοχή των σημείων ενδιαφέροντος) και ευθυγραμμίζεται με τον προσανατολισμό που έχει επιλεχθεί στο προηγούμενο βήμα. Τελικά, παράγεται το διάνυσμα του περιγραφέα το οποίο αποτελείται από έναν πίνακα 64 στοιχείων ΟΑλγόριθμοςViola Jones Face Detector Το 2001 οι Paul Viola και Michael Jones δημοσίευσανέναάρθρομετίτλο Robust Real-Time Object Detection. Η μέθοδος αυτή ήταν η πρώτη η οποία κατάφερε να παρέχει σε πραγματικό χρόνο ανταγωνιστικά αποτελέσματα όσον αφορά την ανίχνευση αντικειμένων και ήταν τόσο επιτυχής ώστε σήμερα να θεωρείται το πρότυπο για την επίλυση διεργασιών ανίχνευσης προσώπου και να είναι ευρέως διαδεδομένη. Αυτό οφείλεται στη σχετική απλότητα του αλγορίθμου, στο ότι επιτυγχάνει ταχεία ανίχνευση και στην αξιοθαύμαστη απόδοση του. Όμως η εκπαίδευση είναι χρονοβόρα. Παρόλο που μπορεί να εκπαιδευτεί για να ανιχνεύει μια πληθώρα κλάσεων από αντικείμενα, ο κύριος λόγος πίσω από την δημιουργία του ήταν το πρόβλημα της ανίχνευσης προσώπου. Προϋπόθεση ήταν τα πρόσωπα να αντικρίζουν ευθεία την κάμερα. Το 34

35 2003 παρουσιάστηκε μια παραλλαγή του που ανίχνευε επίσης πρόσωπα με κλίση είτε προφίλ. Τελικά, το 2004 οι Viola και Jones δημοσίευσαντοάρθρομετίτλο Robust Real-Time Face Detection στο International Journal of Computer Vision. Το πρόβλημα προς επίλυση είναι η ανίχνευση προσώπων σε μία εικόνα. Ένας άνθρωπος μπορεί να το κάνει αυτό πανεύκολα, αλλά ο υπολογιστής χρειάζεται ακριβείς εντολές και περιορισμούς. Για να γίνει η διεργασία πιο εύκολη στη διαχείριση της, ο αλγόριθμος Viola-Jones απαιτεί φωτογραφίες προσώπων πλήρης θέασης, απεικονιζόμενα σε όρθια θέση. Για τον λόγο αυτό και προκειμένου να ανιχνευτεί το πρόσωπο, πρέπει αυτό να κοιτάζει ευθεία προς την φωτογραφική μηχανή και να μην υπάρχει κλίση προς οποιαδήποτε πλευρά. Παρόλο που ίσως θεωρηθεί ότι αυτοί οι περιορισμοί μπορούν να ελαττώσουν κατά κάποιο τρόπο την χρησιμότητα του αλγορίθμου, γιατί το βήμα ανίχνευσης τις περισσότερες φορές ακολουθείται από το βήμα αναγνώρισης, στη πράξη αυτοί οι περιορισμοί στην πόζα του προσώπου είναι αρκετά αποδεκτοί. Η βασική αρχή του αλγόριθμου Viola Jones είναι να σαρώσει μια εικόνα εισόδου με ένα υπό-παράθυρο ικανό να ανιχνεύει πρόσωπα. Η συνήθης προσέγγιση επεξεργασίας εικόνας θα ήταν να γίνει αλλαγή της κλίμακας της εικόνας σε διάφορα μεγέθη και μετά να εφαρμοστεί ο συγκεκριμένου μεγέθους ανιχνευτής σε αυτές. Όπως είναι αναμενόμενο, αυτή η προσέγγιση είναι χρονοβόρα εξαιτίας του υπολογισμού των εικόνων διαφορετικού μεγέθους. Σε αντίθεση, λοιπόν, με την παραπάνω προσέγγιση, στον αλγόριθμο αυτό γίνεται rescale στον ανιχνευτή αντί για την εικόνα εισόδου και έπειτα αυτός εφαρμόζεται πολλές φορές στην εικόνα, κάθε φορά με διαφορετικό μέγεθος. Αρχικά, κάποιος μπορεί να υποθέσει ότι και οι δύο προσεγγίσεις χρειάζονται τον ίδιο χρόνο, αλλά οι Viola Jones ανέπτυξαν έναν ανιχνευτή ο οποίος είναι αμετάβλητος στις 35

36 μεταβολές τις κλίμακας και απαιτεί τον ίδιο αριθμό υπολογισμών ανεξαρτήτως μεγέθους. Ο ανιχνευτής κατασκευάζεται χρησιμοποιώντας την επονομαζόμενη integral image και μερικά απλά ορθογώνια χαρακτηριστικά που μοιάζουν με τα Haar wavelets. Τα χαρακτηριστικά τα οποία κάνουν αυτόν τον αλγόριθμο καλό όσον αφορά την ανίχνευση προσώπων είναι : Robust (ευστάθεια) πάντα έχει πολύ υψηλό ποσοστό ανίχνευσης (true-positive rate) και πολύ χαμηλό false-positive rate. Real time Για πρακτικές εφαρμογές, πρέπει να επεξεργαστούν τουλάχιστον 2 frames ανά δευτερόλεπτο. Face Detection only (όχι recognition) Σκοπός είναι να διαχωρίσουμε τα πρόσωπα από τα μη πρόσωπα (η ανίχνευση προσώπου είναι από τα πρώτα βήματα στην διαδικασία της αναγνώρισης). Ο αλγόριθμος έχει 4 στάδια : 1. Haar Feature Selection 2. Creating an Integral Image 3. Adaboost Training 4. Cascading Classifiers Τα χαρακτηριστικά που ζητούνται από το framework ανίχνευσης συνολικά περιλαμβάνουν ταpixel της εικόνας τα οποία βρίσκονται μέσα σε ορθογώνιες περιοχές.ως τέτοια, φέρουν μια ομοιότητα με τις Haar basis functions, οι οποίες έχουν χρησιμοποιηθεί πρωτύτερα στο τομέα της ανίχνευσης αντικειμένων βασισμένων σε εικόνα. Παρόλα αυτά, επειδή όλα τα χαρακτηριστικά που χρησιμοποιούνται από τον αλγόριθμο Viola Jones βασίζονται σε περισσότερες από μία ορθογώνιες περιοχές, είναι 36

37 γενικά πιο σύνθετα. Το παρακάτω σχήμα δείχνει τους τέσσερις διαφορετικούς τύπους χαρακτηριστικών που χρησιμοποιούνται στη δομή αυτή. Η αξία κάθε δοθέντος χαρακτηριστικού είναι το άθροισμα των pixel μέσα στα άσπρα ορθογώνια που έχουν αφαιρεθεί από το άθροισμα των pixel μέσα στα σκιασμένα ορθογώνια. Στο παρακάτω σχήμα βλέπουμε χαρακτηριστικά two-rectangle στα Α, Β και three-rectangle, four-rectangle στα C και D αντίστοιχα. Εικόνα 6 - Σχήμα χαρακτηριστικών τύπων που χρησιμοποιούνται από τους Viola και Jones Τα ορθογώνια χαρακτηριστικά αυτού του είδους θεωρούνται παρωχημένα όταν συγκρίνονται με εναλλακτικές όπως τα steerable filters (Freeman, Adelson, 1991 και Greenspan, 1994). Τα Steerable φίλτρα είναι άριστα για την λεπτομερή ανάλυση των ορίων, την συμπίεση εικόνας και την ανάλυση υφής. Τα ορθογώνια φίλτρα είναι επίσης ευαίσθητα στην παρουσία ακμών και σε εικόνες απλής δομής, αλλά σε αντίθεση με τα 37

38 προηγούμενα είναι ευαίσθητα μόνο σε προσανατολισμό κάθετο, οριζόντιο και διαγώνιο και το feedback που δίνουν είναι αρκετά τραχύ σε υφή. 1. Haar Features Όλα τα ανθρώπινα πρόσωπα μοιράζονται κάποιες κοινές ιδιότητες. Αυτό το γεγονός ότι υπάρχει μια κανονικότητα μπορεί να ταιριαστεί χρησιμοποιώντας τα Haar Features. Μερικές ιδιότητες κοινές σε ανθρώπινα πρόσωπα : Η περιοχή των ματιών είναι πιο μαύρη από αυτήν του επάνω μέρους των ζυγωματικών. Η περιοχή του επάνω μέρους της μύτης είναι πιο φωτεινή από τα μάτια. προσώπου: Σύνθεση ιδιοτήτων που σχηματίζουν ταιριαστά χαρακτηριστικά Τοποθεσία και μέγεθος: μάτια, στόμα, μύτη. Τιμή: oriented gradients της έντασης των pixel. Τα 4 χαρακτηριστικά που αντιπαραβάλλονται από αυτόν τον αλγόριθμο, αναζητούνται έπειτα στην εικόνα ενός προσώπου. Εικόνα 7 - Χαρακτηριστικό Haar - Συγκρίνει τις εντάσεις μεταξύ της περιοχής των ματιών και του επάνω μέρους της μύτης. 38

39 Εικόνα 8 - Χαρακτηριστικό Haar - Μετράει την διαφορά στην ένταση ανάμεσα στην περιοχή των ματιών και στην περιοχή των ζυγωματικών. Εικόνα 9 - Τρίτο και τέταρτο είδος χαρακτηριστικού Haar. Ορθογώνια χαρακτηριστικά : περιοχή) Value = Σ (pixels στην μαύρη περιοχή) Σ (pixels στην άσπρη 3 ων τύπων : δύο-, τρία-, τέσσερα-ορθογώνια. Ο αλγόριθμος Viola-Jones χρησιμοποίησε 2 ορθογώνια χαρακτηριστικά. Για παράδειγμα : η διαφορά στην φωτεινότητα μεταξύ των άσπρων-μαύρων ορθογωνίων σε μια συγκεκριμένη περιοχή. Κάθε στοιχείο σχετίζεται σε μία ειδική περιοχή στο υποπαράθυρο. 2. Μια ενδιάμεση αναπαράσταση εικόνας που καλείται IntergralImage υπολογίζει μία τιμή σε κάθε pixel (x,y) η οποία είναι το άθροισμα της τιμής των pixels επάνω και στα αριστερά του (x,y), συμπεριλαμβανομένου και του σημείου αυτού. Αυτή μας 39

40 βοηθά στον υπολογισμό των ορθογώνιων χαρακτηριστικών. Ο υπολογισμός γίνεται σε πραγματικό χρόνο με ένα πέρασμα επάνω από την εικόνα και δίνει ένα σημαντικό πλεονέκτημα όσον αφορά την ταχύτητα έναντι άλλων πιο σύνθετων χαρακτηριστικών, γιατί επιτρέπει στα χαρακτηριστικά που χρησιμοποιούνται από τον ανιχνευτή μας να υπολογιστούν πολύ γρήγορα σε πολλές κλίμακες. ii(x, y) = i(x, y ) x x,y y, όπου ii(x,y) είναι η Integral Image και i(x,y) η αρχική εικόνα. Χρησιμοποιώντας τις παρακάτω επαναλήψεις: s(x, y) = s(x, y 1) + i(x, y) (1) ii(x, y) = ii(x-1, y) + s(x,y) (2) όπου s(x, y) είναι το άθροισμα της σειράς, s(x, 1) = 0 και ii( 1, y) = 0. Χρησιμοποιώντας την Integral Image κάθε άθροισμα μπορεί να υπολογιστεί σε σχέσεις 4 σειρών. Επειδή η ορθογώνια περιοχή κάθε χαρακτηριστικού είναι πάντα προσκείμενη σε τουλάχιστον ένα άλλο ορθογώνιο, συνεπάγεται ότι κάθε two-rectangle χαρακτηριστικό μπορεί να υπολογιστεί σε six array references, κάθε three-rectangle χαρακτηριστικό σε 8, και κάθε four-rectangle σε 9. Από μία εικόνα μπορούμε να υπολογίσουμε την Integral Image της μόνο με μερικές πράξεις ανά pixel και αφότου υπολογιστούν αρχικά αυτά τα χαρακτηριστικά που μοιάζουν με τα Haar, μπορούν έπειτα να υπολογιστούν για οποιαδήποτε κλίμακα ή τοποθεσία σε συνεχές χρόνο. Το άθροισμα των pixels στο ορθογώνιο D μπορεί να υπολογιστεί με 4- array references. Η τιμή της Integral Image στο σημείο 1 είναι το άθροισμα των pixels στο ορθογώνιο Α. Η τιμή στο σημείο 2 είναι το άθροισμα των 40

41 Α,Β, στο σημείο 3 το άθροισμα των Α,C και στο σημείο 4 το άθροισμα των Α,Β,C,D. Το άθροισμα μέσα στο D υπολογίζεται ως εξής: (2 + 3). Ο υπολογισμός του αθροίσματος μέσα στο ορθογώνιο γίνεται ως ακολούθως: Έστω ότι Α,Β,C,D οι τιμές της Integral Image στις γωνίες του ορθογωνίου. Τότε το άθροισμα των αρχικών τιμών της εικόνας μέσα στο ορθογώνιο μπορεί να υπολογιστεί ως: Sum = A B C + D Μόνο 3 προσθήκες απαιτούνται για κάθε μεγέθους ορθογώνιο.αξίζει να σημειωθεί ότι η Integral Image είναι παρόμοια με τη μέθοδο Summed Area Table που προτάθηκε από τον Crow, 1984, και χρησιμοποιείται στα γραφικά υπολογιστών. Επίσης, μία άλλη εναλλακτική για την Integral Image προέρχεται από την δουλειά του Simard για τα boxlets (1999) Αλγόριθμος Εκπαίδευσης Adaboost Training Στην κλασσική του μορφή ο αλγόριθμος μάθησης AdaBoost χρησιμοποιείται για να ενισχύσει την απόδοση της ταξινόμησης ενός απλού αλγορίθμου μάθησης (π.χ. μπορεί να χρησιμοποιηθεί για να βελτιώσει την απόδοση ενός απλού perceptron). Αυτός ο αλγόριθμος δημιουργεί έναν δυνατό ταξινομητή ως γραμμικό συνδυασμό απλών weak συναρτήσεων ταξινόμησης και είναι μια αποδοτική διαδικασία αναζήτησης ενός μικρού αριθμού χρήσιμων χαρακτηριστικών που έχουν, ωστόσο, σημαντικές διαφορές. Η πρόκληση έγκειται στο γεγονός της συσχέτισης ενός μεγάλου βάρους με κάθε καλή συνάρτηση ταξινόμησης και ενός μικρότερου βάρους με πιο φτωχές σε απόδοση συναρτήσεις ταξινόμησης. Στο τομέα του boosting, ο απλός αλγόριθμος μάθησης 41

42 καλείται weak learner γιατί δεν αναμένουμε καλή ταξινόμηση των δεδομένων εκπαίδευσης ακόμα και από την καλύτερη συνάρτηση ταξινόμησης. Πιο συγκεκριμένα, για ένα δοθέν πρόβλημα το καλύτερο perceptron μπορεί να κάνει σωστή ταξινόμηση των δεδομένων εκπαίδευσης κατά 51%. Οπότε για παράδειγμα, ο perceptron αλγόριθμος μάθησης ερευνά το σετ των πιθανών perceptron και επιστρέφει αυτό με το μικρότερο σφάλμα ταξινόμησης. Για να ενισχυθεί ο weak learner, πρέπει να λύσει μια ακολουθία από προβλήματα μάθησης. Μετά την πρώτη διαδικασία μάθησης, τα παραδείγματα σε ανακατανομή των βαρών για να δοθεί έμφαση σε αυτά που λανθασμένα ταξινομήθηκαν από τον προηγούμενο weak ταξινομητή. Ο τελικός ισχυρός ταξινομητής παίρνει την μορφή ενός perceptron, δηλαδή ενός σταθμισμένου συνδυασμού από πιο αδύναμους ταξινομητές, ακολουθούμενους από ένα κατώφλι. Στη πράξη κανένα μονό χαρακτηριστικό δεν μπορεί να υλοποιήσει την διαδικασία ταξινόμησης με χαμηλό σφάλμα. Τα χαρακτηριστικά που επιλέγονται στην αρχή της διαδικασία έχουν λόγο σφάλματος από Όσα επιλέγονται αργότερα, καθώς η διεργασία γίνεται δυσκολότερη, έχουν λόγο σφάλματος από Το σημαντικότερο πλεονέκτημα του AdaBoost ως μηχανισμός επιλογής χαρακτηριστικών, έναντι άλλων μεθόδων, είναι η ταχύτητα μάθησης. Η ταχύτητα με την οποία εκτιμώνται τα χαρακτηριστικά δεν αποζημιώνει επαρκώς για τον αριθμό τους. Για παράδειγμα, σε ένα υπό-παράθυρο 24x24 pixel, υπάρχει ένα σύνολο Μ = πιθανών χαρακτηριστικών και θα ήταν απαγορευτικά ακριβό να γίνει υπολογισμός όλων όταν τεστάρουμε μια εικόνα. Κατά αυτό τον τρόπο, η δομή ανίχνευσης προσώπου χρησιμοποιεί μια παραλλαγή του αλγόριθμου μάθησης Adaboost (Freund and Schapire, 1995) τόσο για να επιλέξει τα πιο σημαντικά χαρακτηριστικά από ένα πολύ μεγάλο σετ χαρακτηριστικών 42

43 όσο και για να εκπαιδεύσει ταξινομητές που χρησιμοποιούν τα χαρακτηριστικά αυτά. Για να είναι ένας ανιχνευτής προσώπου αποδοτικός σε χρήσιμες εφαρμογές, το false positive rate πρέπει να είναι κοντά στο 1: Όσον αφορά την ανίχνευση προσώπου, τα αρχικά ορθογώνια χαρακτηριστικά που επιλέγονται από τον AdaBoost μπορούν να ερμηνευθούν εύκολα. Τα πρώτα χαρακτηριστικά που επιλέγονται εστιάζουν στην ιδιότητα ότι η περιοχή των ματιών είναι συχνά πιο σκούρα από ότι αυτή της μύτης και από την περιοχή των ζυγωματικών. Αυτό το χαρακτηριστικό είναι σχετικά μεγάλο σε σύγκριση με το υπό-παράθυρο ανίχνευσης και πρέπει να μην είναι ευαίσθητο στο μέγεθος και στη θέση του προσώπου. Το 2 ο χαρακτηριστικό βασίζεται στην ιδιότητα ότι τα μάτια είναι πιο σκούρα από την περιοχή της μύτης που βρίσκεται ανάμεσα σε αυτά. Δυστυχώς, η πιο άμεση τεχνική για την βελτίωση της απόδοσης της ανίχνευσης είναι η προσθήκη χαρακτηριστικών στον ταξινομητή, όμως αυτό αυξάνει τον χρόνο υπολογισμού. M h(x) = sign a j h j (x) j=1 Κάθε απλός ταξινομητής είναι μια συνάρτηση κατωφλίου που βασίζεται στο χαρακτηριστικό f j. h j (x) = { s j, if f j < θ j s j, otherwise Η τιμή κατωφλίου θ j και η πόλωση s j ±1 καθορίζονται από την εκπαίδευση καθώς και από τις συνιστώσες α j. Εδώ παρουσιάζεται μια απλοποιημένη έκδοση του αλγόριθμου μάθησης. 43

44 Είσοδος: Ένα σετ από Ν θετικές και αρνητικές εικόνες εκπαίδευσης μαζί τα labels τους x i, y i. Εάν η εικόνα i είναι πρόσωπο τότε y i = 1, εάν όχι τότε y i = Αρχικοποίηση : ανέθεσε ένα βάρος w 1 i = 1 N σε κάθε εικόνα i. 2. Για κάθε χαρακτηριστικό f j με j = 1,, M i. Κάνε ξανά κανονικοποίηση των βαρών ούτως ώστε το άθροισμα τους να είναι ένα. ii. Εφάρμοσε τα χαρακτηριστικά σε κάθε εικόνα στο σετ εκπαίδευσης, τότε βρες το βέλτιστο κατώφλι και την βέλτιστη πόλωση θ j, s j που ελαχιστοποιεί το weighted σφάλμα ταξινόμησης. Οπότε, θ j, s j = argmin N w j i i ε j θ,s όπου : ε j i = { 0, if yi = h j (x i, θ j, s j ) 1 otherwise i=1, iii. Ανάθεσε ένα βάρος α j στο h j το οποίο είναι αντιστρόφως ανάλογο του ρυθμού σφάλματος. Κατά αυτό τον τρόπο, λαμβάνονται περισσότερουπόψη οι καλύτεροι ταξινομητές. iv. i Τα βάρη για την επόμενη επανάληψη, δηλαδή w j+1, μειώνονται για τις εικόνες που ταξινομήθηκαν σωστά. M 3. Θέσε τον τελικό ταξινομητή ως h(x) = sign( j=1 α j h j (x)) 44

45 Cascade Αρχιτεκτονική Αυτή είναι μια μέθοδος όπου συνδυάζονται μικροί και ως εκ τούτου πιο αποδοτικοί ταξινομητές σε μία ακολουθία που απορρίπτει το τμήμα της εικόνας που δεν είναι πρόσωπο (background) αφιερώνοντας περισσότερο υπολογιστικό χρόνο σε τμήματα της εικόνας που ομοιάζουν πιο πολύ στο ανθρώπινο πρόσωπο. Με αυτό τον τρόπο επιτυγχάνεται αυξημένη απόδοση όσον αφορά την ανίχνευση αλλά και μειωμένος υπολογιστικός χρόνος. Σε αυτή την αρχιτεκτονική, κάθε στάδιο αποτελείται από έναν μικρό αλλά ισχυρό ταξινομητή. Οπότε όλα χαρακτηριστικά συλλέγονται σε μερικά επίπεδα, όπου κάθε επίπεδο έχει συγκεκριμένο αριθμό χαρακτηριστικών. Αρχικά, απλούστεροι ταξινομητές απορρίπτουν την πλειοψηφία των υπό-παραθύρων προτού οι ισχυρότεροι ταξινομητές αναλάβουν να πετύχουν χαμηλούς false positive λόγους. H σημασία του κάθε επιπέδου είναι να καθορίσει εάν ένα δοθέν υπόπαράθυρο σίγουρα δεν είναι πρόσωπο ή πιθανώς να είναι πρόσωπο. Το υπό-παράθυρο αυτό απορρίπτεται άμεσα εάν αποτύχει σε οποιοδήποτε στάδιο με την αιτιολογία ότι δεν είναι πρόσωπο. Τα επίπεδα της ακολουθίας κατασκευάζονται εκπαιδεύοντας τους ταξινομητές με τη χρήση του αλγορίθμου AdaBoost. Ξεκινώντας με έναν ισχυρό ταξινομητή δύο χαρακτηριστικών, ένα αποδοτικό φίλτρο προσώπου μπορεί να αποκτηθεί προσαρμόζοντας το κατώφλι του ταξινομητή αυτού να ελαχιστοποιεί τα false negatives. Το αρχικό κατώφλι του AdaBoost 1 T a 2 t=1 1 είναι σχεδιασμένο να παράγει ένα μικρό λόγο σφάλματος στα δεδομένα εκπαίδευσης. Ένα χαμηλότερο κατώφλι παράγει υψηλότερους λόγους ανίχνευσης και υψηλότερους λόγους false positive. Βασιζόμενοι στην απόδοση που έχει μετρηθεί χρησιμοποιώντας ένα σετ εκπαίδευσης έγκρισης, ο ταξινομητής δύο στοιχείων μπορεί να προσαρμοστεί για να 45

46 ανιχνεύει το 100% προσώπων με ένα false positive rate της τάξεως του 50%. Η απόδοση ανίχνευσης του ταξινομητή αυτού είναι κάθε άλλο παρά αποδεκτή σαν σύστημα ανίχνευσης προσώπων. Παρόλα αυτά ο ταξινομητής μπορεί να μειώσει σημαντικά τον αριθμό των υπόπαραθύρων που χρειάζονται περαιτέρω επεξεργασία με πολύ λίγες διεργασίες. Πιο συγκεκριμένα: 1. Εκτίμησε τα ορθογώνια χαρακτηριστικά (απαιτούνται 6 έως 9 array references ανά χαρακτηριστικό). 2. Υπολόγισε τον αδύναμο ταξινομητή για κάθε χαρακτηριστικό (απαιτείται μία διεργασία κατωφλίου ανά χαρακτηριστικό). 3. Συνδύασε τους αδύναμους ταξινομητές (απαιτεί έναν πολλαπλασιασμό ανά χαρακτηριστικό, μία πρόσθεση και τέλος ένα κατώφλι). Ένας ταξινομητής αυτού του είδους ισοδυναμεί περίπου με 60 εντολές μικροεπεξεργαστή. Είναι δύσκολο να θεωρήσουμε ότι κάποιο απλούστερο φίλτρο θα κατάφερνε υψηλότερους λόγους απόρριψης. Συγκριτικά, η σάρωση μιας απλής εικόνας θα απαιτούσε τουλάχιστον 20 φορές παραπάνω διεργασίες ανά υπό-παράθυρο. Κατά μέσο όρο μόνο το 0.01% από όλα τα υπό-παράθυρα είναι θετικά (πρόσωπα). Ο χρόνος υπολογισμού είναι ίδιος για όλα τα υπό-παράθυρα. Μόνο σε εν δυνάμει θετικά υπό-παράθυρα πρέπει να αφιερωθεί περισσότερος χρόνος. Ο ταξινομητής μπορεί να λειτουργήσει σαν ένα πρώτο επίπεδο μιας σειράς που φιλτράρει τα πιο αρνητικά παράθυρα. 46

47 Το 2 ο επίπεδο με 10 χαρακτηριστικά μπορεί να διαχειριστεί τα αρνητικά παράθυρα που πέρασαν από το πρώτο επίπεδο κοκ. Μια ακολουθία από σταδιακά πιο σύνθετους ταξινομητές επιτυγχάνει ακόμα καλύτερους ρυθμούς ανίχνευσης. Η εκτίμηση των ισχυρών ταξινομητών που δημιουργείται από την διαδικασία μάθησης μπορεί να γίνει γρήγορα, αλλά δεν είναι αρκετά γρήγορη για να τρέξει σε πραγματικό χρόνο. Για το λόγο αυτό, οι ισχυροί ταξινομητές τοποθετούνται σε μια ακολουθία με βάση την πολυπλοκότητα τους, όπου κάθε επόμενος ταξινομητής εκπαιδεύεται μόνο με τα επιλεγμένα δείγματα που πέρασαν τους προηγούμενους ταξινομητές. Εάν σε οποιοδήποτε στάδιο της ακολουθίας, ο ταξινομητής απορρίψει το υπό-παράθυρο, τότε δεν γίνεται περαιτέρω επεξεργασία και απλά συνεχίζει την έρευνα για το επόμενο υπό-παράθυρο. Η ακολουθία για αυτό το λόγο έχει την μορφή ενός degenerate decision δέντρου, αυτό που καλούμε Cascade (Quinlan,1986) και για το λόγο αυτό σχετίζεται με την δουλειά των Fleuret Geman (2001) και Amit Geman (1999). Το σημείο κλειδί αυτής της προσέγγισης είναι η false negative rate της attentional διαδικασίας. Πιο συγκεκριμένα, στη περίπτωση των προσώπων, ο πρώτος ταξινομητής στην ακολουθία -ο οποίος καλείται attentional operator, χρησιμοποιεί μόνο δύο χαρακτηριστικά για να επιτύχει μια false negative αναλογία περίπου γύρω στα 0% και μια false positive αναλογία γύρω στα 40%. Η επίδραση αυτού του απλού ταξινομητή είναι να μειώσει σχεδόν στο μισό τον αριθμό των φορών που υπολογίζεται ολόκληρη η ακολουθία. 47

48 Ένα απλό παράδειγμα για cascade εκπαίδευση δίνεται παρακάτω: Ο χρήστης επιλέγει τιμές για το f, τον μέγιστο αποδεκτό false positive λόγο ανά επίπεδο και το d, τον ελάχιστο αποδεκτό λόγο ανίχνευσης ανά επίπεδο. Ο χρήστης επιλέγει το Ftarget, δηλαδή τον τελικό false positive λόγο. P = σετ θετικών παραδειγμάτων. Ν = σετ αρνητικών παραδειγμάτων. F 0 = 1, D 0 = 1 i = 0 while F i > F target o -i <- i + 1 o -n i = 0,F i = F i 1 o -while F i f F i 1 Στην πράξη ένα πολύ απλό framework χρησιμοποιείται για να παραγάγει έναν ταξινομητή που είναι υψηλά αποδοτικός. Ο χρήστης επιλέγει τον μέγιστο αποδεκτό λόγο για το F i και τον ελάχιστα αποδεκτό λόγο για το D i. Κάθε επίπεδο της ακολουθίας εκπαιδεύεται από τον αλγόριθμο Adaboost με τον αριθμό των χαρακτηριστικών που χρησιμοποιούνται να αυξάνεται μέχρι οι στόχοι που έχουν τεθεί για την ανίχνευση και οι ρυθμοί false positive να φτάσουν τα επιθυμητά ποσοστά για το επίπεδο αυτό. Οι ρυθμοί αποφασίζονται δοκιμάζοντας τον τωρινό ανιχνευτή σε ένα σετ έγκρισης. Εάν ο τελικός στόχος για το λόγο false positive δεν έχει ακόμα επιτευχθεί, τότε προστίθεται ένα ακόμα επίπεδο στην ακολουθία. Το αρνητικό σετ για την εκπαίδευση των επόμενων επιπέδων αποκτάται συλλέγοντας όλες τις λανθασμένες ανιχνεύσεις που βρέθηκαν 48

49 εφαρμόζοντας τον τωρινό εκπαιδευτή σε ένα σετ εικόνων που δεν περιέχουν πρόσωπα. Ούτως ώστε να ερευνηθεί η ακολουθίατης προσέγγισης, εκπαιδεύονται δύο απλοί ανιχνευτές, ένας μονός ταξινομητής 200 χαρακτηριστικών και μια ακολουθία από 10 ταξινομητές 20 χαρακτηριστικών. Ο ταξινομητής πρώτου επιπέδου της ακολουθίας εκπαιδεύτηκε χρησιμοποιώντας 5000 πρόσωπα και υπό-παράθυρα μη προσώπων, τυχαία επιλεγμένα από εικόνες που δεν περιείχαν πρόσωπα. Ο ταξινομητής δευτέρου επιπέδου εκπαιδεύτηκε με τα ίδια 5000 πρόσωπα και με τα 5000 false positive από τον πρώτο ταξινομητή. Αυτή η διαδικασία συνεχίστηκε έτσι ώστε τα ακόλουθα επίπεδα εκπαιδεύτηκαν χρησιμοποιώντας τα false positive των προηγούμενων επιπέδων. Ο μονολιθικός ταξινομητής 200 χαρακτηριστικών εκπαιδεύτηκε στην ένωση όλων των παραδειγμάτων που χρησιμοποιήθηκαν για να εκπαιδεύσουν όλα τα επίπεδα του ακολουθιακού ταξινομητή. Να σημειωθεί ότι χωρίς αναφορά στον ακολουθιακό ταξινομητή, θα ήταν δύσκολο να επιλέξουμε ένα σετ από non-face παραδείγματα για την εκπαίδευση του μονολιθικού ταξινομητή. Θα μπορούσαν φυσικά να χρησιμοποιηθούν όλα τα πιθανά υπό-παράθυρα από όλες τις non-face εικόνες, αλλά αυτό θα έκανε το χρόνο εκπαίδευσης πολύ μεγάλο. Ο ακολουθιακός τρόπος με τον οποίο ο συνολικός ταξινομητής εκπαιδεύεται αποδοτικά, μειώνει το σετ εκπαίδευσης με τις non-face εικόνες απορρίπτοντας τα εύκολα παραδείγματα και εστιάζοντας στα πιο απαιτητικά. Η διαδικασία σχεδίασης της ακολουθίας γίνεται με βάση τους στόχους όσον αφορά την ανίχνευση και την απόδοση. Για την διεργασία ανίχνευσης προσώπου, τα παλιά συστήματα κατάφεραν ποσοστό 49

50 ανίχνευσης 85% - 95% και εξαιρετικά χαμηλό λόγο false positive (της τάξεως του 10 5 ή 10 6 ). Η cascade αρχιτεκτονική δίνει ενδιαφέρουσα συμπεράσματα για την απόδοση των ατομικών ταξινομητών. Επειδή η ενεργοποίηση του κάθε ταξινομητή εξαρτάται εξ ολοκλήρου από την συμπεριφορά του προηγούμενου, ο false positive λόγος για όλη την αρχιτεκτονική cascade δίνεται από τον τύπο: F = K i=1 f i, όπου K ο αριθμός των ταξινομητών και f i ο ρυθμός ανίχνευσης του i ου ταξινομητή με βάση τα παραδείγματα που περνούν μέσα από αυτόν. Παρομοίως, ο λόγος ανίχνευσης είναι: D = K i=1 d i. όπου Κ ο αριθμός των ταξινομητών και d i ο ρυθμός ανίχνευσης του i ου ταξινομητή με βάση τα παραδείγματα που περνούν μέσα από αυτόν. Δοθέντων των στόχων για τους συνολικούς λόγους false positive και ανίχνευσης, το εύρος των στόχων μπορεί να καθοριστεί για κάθε στάδιο κατά την διαδικασία της ακολουθίας. Για παράδειγμα ένας λόγος ανίχνευσης 0.9 μπορεί να επιτευχθεί με έναν ταξινομητή 10 επιπέδων εάν κάθε επίπεδο έχει λόγο ανίχνευσης 0.99 (διότι ). Ενώ μπορεί αρχικά η επίτευξη αυτού του στόχου να φαίνεται σαν πολύ δύσκολη διαδικασία, γίνεται ευκολότερη από το γεγονός ότι κάθε στάδιο πρέπει μόνο να κατορθώσει έναν false positive λόγο της τάξης του 30% ( ). Έτσι, για να φτάσει τους λόγους false positive που τυπικά επιτυγχάνουν οι άλλοι ανιχνευτές, κάθε ταξινομητής μπορεί να επιτελέσει το έργο του έχοντας απροσδόκητα φτωχή απόδοση. Για παράδειγμα, μια cascade αρχιτεκτονική 32-επιπέδων για να επιτύχει false positive rate της τάξης 10 6, κάθε ταξινομητής πρέπει να επιτύχει false 50

51 positive rate περίπου 65%. Παρόλα αυτά, πρέπει ταυτοχρόνως ο κάθε ταξινομητής να είναι σε μεγάλο βαθμό ικανός για να μπορεί να δώσει επαρκείς λόγους ανίχνευσης. Λόγου χάριν για να καταφέρει λόγο ανίχνευσης περίπου 90%, κάθε ταξινομητής της προαναφερθείσας αρχιτεκτονικής πρέπει να αποδίδει περίπου στο 99.7% όσον αφορά τον λόγο ανίχνευσης. Ο αριθμός των χαρακτηριστικών που εκτιμώνται όταν γίνεται σάρωση σε πραγματικές εικόνες, είναι απαραίτητα μια διαδικασία πιθανοτήτων. Κάθε δοθέν υπό-παράθυρο θα διαβεί την ακολουθία, έναν ταξινομητή την φορά, μέχρι να βρεθεί ότι κάποιο υπό-παράθυρο είναι αρνητικό ή σε πολύ σπάνιες περιπτώσεις, το παράθυρο επιτυγχάνει σε κάθε δοκιμή και χαρακτηρίζεται θετικό. Η αναμενόμενη συμπεριφορά αυτής της διαδικασίας καθορίζεται από την διανομή των παραθύρων εικόνας σε ένα τυπικό σετ δοκιμής. Το μέτρο κλειδί του κάθε ταξινομητή είναι ο θετικός ρυθμός, η δηλαδή η αναλογία των παραθύρων που χαρακτηρίζονται ως πιθανά να περιέχουν ένα πρόσωπο. Ο αναμενόμενος αριθμός χαρακτηριστικών που εκτιμώνται δίνεται από τον παρακάτω τύπο: Ν = n 0 + K (ni Pj i=1 j<1 ) όπου Ν είναι ο αναμενόμενος αριθμός των χαρακτηριστικών που υπολογίζονται, Κ ο αριθμός των ταξινομητών, p i είναι ο θετικός ρυθμός του i ου ταξινομητή και n i ο αριθμός των χαρακτηριστικών στον i ο ταξινομητή. Ενδιαφέρον αποτελεί το γεγονός ότι παρόλο που οι φορές που προκύπτει πρόσωπο είναι πολύ σπάνιες, ο θετικός ρυθμός είναι αποδοτικά ίσος με τον ρυθμό false positive. Η διαδικασία μέσω της οποίας κάθε στοιχείο της ακολουθίας εκπαιδεύεται, απαιτεί ιδιαίτερη προσοχή. Η διαδικασία μάθησης Adaboost η οποία παρουσιάστηκε παραπάνω προσπαθεί μόνο να ελαχιστοποιήσει το σφάλμα και δεν είναι ειδικώς 51

52 σχεδιασμένη να πετύχει υψηλό λόγο ανίχνευσης με κόστος μεγάλων false positive λόγων. Ένας απλός και πολύ συμβατικός τρόπος για να απαλλαγούμε από αυτά τα σφάλματα είναι να προσαρμόσουμε το κατώφλι του perceptron που παράγεται από τον αλγόριθμο Adaboost. Τα υψηλότερα κατώφλια αποφέρουν ταξινομητές με λιγότερα false positive και χαμηλότερο ρυθμό ανίχνευσης. Αντιστρόφως, τα χαμηλότερα κατώφλια αποφέρουν ταξινομητές με περισσότερα false positive και υψηλότερο ρυθμό ανίχνευσης. Δεν είναι ξεκάθαρο σε αυτό το σημείο εάν η προσαρμογή του κατωφλίου κατά αυτό τον τρόπο διατηρεί τις εγγυήσεις εκπαίδευσης και τις γενικεύσεις που παρέχονται από τον Adaboost. Η γενικότερη διαδικασία εκπαίδευσης περιλαμβάνει δύο επιλογές. Στις περισσότερες περιπτώσεις ταξινομητές με περισσότερα χαρακτηριστικά θα κατορθώσουν υψηλότερους λόγους ανίχνευσης και χαμηλότερους false positive λόγους. Την ίδια στιγμή, ταξινομητές με περισσότερα χαρακτηριστικά απαιτούν περισσότερο χρόνο υπολογισμού. Καταρχάς, κάποιος θα μπορούσε να ορίσει ένα πλαίσιο βελτιστοποίησης όπου ο αριθμός των επιπέδων του ταξινομητή, ο αριθμός των χαρακτηριστικών n i του κάθε επιπέδου και το κατώφλι του κάθε επιπέδου συνυπολογίζονται ούτως ώστε να ελαχιστοποιηθεί ο αναμενόμενος αριθμός των χαρακτηριστικών Ν, δοθέντος ενός στόχου για τα F και D. Δυστυχώς, η εύρεση αυτού του βέλτιστου είναι ένα τρομερά δύσκολο πρόβλημα. Στο παρακάτω σχήμα βλέπουμε μια σειρά από ταξινομητές που εφαρμόζονται σε κάθε υπό-παράθυρο. Ένα θετικό αποτέλεσμα από το πρώτο ταξινομητή ενεργοποιεί την αξιολόγηση ενός δεύτερου ταξινομητή ο οποίος έχει επίσης πολύ υψηλό λόγο ανίχνευσης. Ταυτοτρόπως, ένα θετικό αποτέλεσμα στον δεύτερο ταξινομητή ενεργοποιεί έναν τρίτο κοκ. Ο αρχικός ταξινομητής απορρίπτει έναν μεγάλο αριθμό αρνητικών 52

53 παραδειγμάτων με λίγη επεξεργασία. Τα επόμενα επίπεδα απορρίπτουν με την σειρά τους τα εναπομείναντα αρνητικά υπό-παράθυρα, αλλά απαιτείται επιπλέον υπολογιστικός χρόνος. Μετά από πολλά στάδια επεξεργασίας ο αριθμός των υπό-παραθύρων μειώνεται δραστικά. Η δομή της ακολουθίας αντικατοπτρίζει το γεγονός ότι μέσα σε κάθε εικόνα ένα αρκετά μεγάλο ποσοστό των υπό-παραθύρων είναι αρνητικά. Έτσι η ακολουθία επιχειρεί να απορρίψει όσο δυνατόν περισσότερα αρνητικά υπό-παράθυρα σε όσο το δυνατόν πιο σύντομα στάδιο. Ένα θετικό υπό-παράθυρο θα ενεργοποιούσε όλους τους ταξινομητές της ακολουθίας, αλλά αυτό είναι ένα σπάνιο γεγονός. Όπως και στα decision trees, οι μεταγενέστεροι ταξινομητές εκπαιδεύονται χρησιμοποιώντας αυτά τα παραδείγματα που έχουν περάσει όλα τα προηγούμενα στάδια. Αυτό έχει σαν αποτέλεσμα ο δεύτερος ταξινομητής να έχει να επιτελέσει ένα πιο δύσκολο έργο από ότι ο πρώτος. Τα παραδείγματα που περνούν επιτυχώς τα πρώτα στάδια είναι δυσκολότερα από τα τυπικά παραδείγματα και σπρώχνουν την καμπύλη ROC (ReceiverOperatingCharacteristic) προς τα κάτω. Για ένα δεδομένο λόγο ανίχνευσης, οι μετέπειτα ταξινομητές έχουν αντίστοιχα υψηλότερους λόγους false positive. 53

54 Εικόνα 10 - Σχηματική αναπαράσταση της ακολουθίας ανίχνευσης Παράδειγμα με κώδικα MATLAB function[ ] =Viola_Jones_img( Img ) %Viola_Jones_img( Img ) % Img - input image % Example how to call function: %Viola_Jones_img(imread('name_of_the_picture.jpg')) facedetector=vision.cascadeobjectdetector; bboxes=step(facedetector,img); figure,imshow(img),title('detected faces');holdon fori=1:size(bboxes,1) rectangle('position',bboxes(i,:),'linewidth',2,'edgecolor','y'); end end 54

55 Κάποια ακόμα προβλήματα προς επίλυση όσον αφορά τον τομέα του Face Detection είναι τα παρακάτω Face Tasks: 1. Facial Feature Localization Εικόνα 11 - Προβλήματα της αναγνώρισης προσώπου Α 2. Profile Detection Εικόνα 12 - Προβλήματα της αναγνώρισης προσώπου - Β 55

56 Αξίζει να σημειωθεί ότι μια άλλη μέθοδος παρόμοια με αυτήν των Viola- Jones η οποία, όμως, μπορεί να πραγματοποιήσει καλύτερη ανίχνευση και παρακολούθηση προσώπων που έχουν υποστεί κάποια κλίση ή περιστροφή, είναι ο αλγόριθμος KLT (Kanade-Lucas-Tomasi). Σε αυτόν πρώτα γίνεται scanning στο πρόσωπο και συλλέγονται πολυάριθμα σημεία χαρακτηριστικών τα οποία μπορούν έπειτα να ανιχνευθούν ακόμα και αν το πρόσωπο έχει περιστραφεί ή απομακρυνθεί από την κάμερα, κάτι το οποίο ο αλγόριθμος Viola-Jones δεν μπορεί να υλοποιήσει τόσο εύκολα λόγω της εξάρτησης του από τα ορθογώνια (rectangles) SIFT (Scale Invariant Feature Transform) Ο αλγόριθμος SIFT (Lowe, 2004), αποτελείται από έναν ανιχνευτή χαρακτηριστικών γνωρισμάτων και από έναν περιγραφέα (descriptor). Αρχικά, ο ανιχνευτής γνωρισμάτων εντοπίζει σημεία που φέρουν διακριτή πληροφορία, ανεξάρτητη από πιθανές μεταβολές της εικόνας (π.χ. περιστροφή, αλλαγή φωτισμού κ.ά.). Με τη χρήση μιας γκαουσιανής κατανομής, η εικόνα μετασχηματίζεται από το χρωματικό χώρο στο χώρο κλιμάκωσης που προτάθηκε από τον Lindeberg (1994). Στη συνέχεια, η συνάρτηση διαφοράς του Gauss (DoG) συνδυαζόμενη με μια παρεμβολή στο χώρο κλιμάκωσης, παράγει τα σημεία ενδιαφέροντος. Ο περιγραφέας είναι άμεσα συνδεδεμένος με τη διαδικασία ανάθεσης ενός προσανατολισμού, σε κάθε σημείο ενδιαφέροντος, όπως αυτό έχει προκύψει από τον ανιχνευτή γνωρισμάτων. Συγκεκριμένα, ο περιγραφέας είναι ένα διάνυσμα, το μέτρο και η διεύθυνση του οποίου, υπολογίζονται από πληροφορίες της γειτονιάς του εκάστοτε σημείου ενδιαφέροντος. Τα καλύτερα αποτελέσματα προκύπτουν όταν λαμβάνεται πληροφορία από μια γειτονιά εικονοστοιχείων 4x4. Η διεύθυνση του διανύσματος τυποποιείται έτσι 56

57 ώστε να λαμβάνει προσανατολισμούς ανά 45 ο. Με αυτό το τρόπο, τοπικές πληροφορίες ενός αντικειμένου προσδιορίζονται με έναν και μοναδικό τρόπο, γεγονός που εξασφαλίζει τη μοναδικότητα κάθε χαρακτηριστικού σημείου ενός αντικειμένου. Η αποδοτικότητα του περιγραφέα ελέγχεται κατά τη διαδικασία της σύγκρισης της αρχικής εικόνας με τη τελική. Η τελευταία μπορεί να προκύψει είτε από περιστροφή είτε από μετατόπιση της αρχικής σε οποιοδήποτε άξονα. Κατά τη διάρκεια της παραπάνω διαδικασίας, τα διανύσματα των περιγραφέων των δύο εικόνων ελέγχονται για τυχόν ομοιότητες. Το γεγονός ότι η ευρωστία που παρουσιάζεται είναι αξιοσημείωτη (Mikolajczyk, 2005), καθιστά τον SIFT έναν από τους καλύτερους αλγορίθμους ανίχνευσης χαρακτηριστικών γνωρισμάτων που έχουν προταθεί στη διεθνή βιβλιογραφία. 57

58 7. Ερευνητικό Μέρος - Υλοποίηση Συστήματος Εκτίμησης Ηλικίας σε Εικόνες Προσώπων 7.1. Εντοπισμός της περιοχής του προσώπου Το πρώτο βήμα του αλγορίθμου περιλαμβάνει τον εντοπισμό της περιοχής του προσώπου στις εικόνες της βάσης UPCVAgeDatabase, που περιλαμβάνει φωτογραφίες διασήμων σε διάφορες ηλικίες. Η διαδικασία αυτή είναι απαραίτητη μιας και οι εικόνες της βάσης έχουν ληφθεί από διαφορετικές αποστάσεις και οπτικές γωνίες και στις περισσότερες περιπτώσεις στην εικόνα περιέχεται και ο κορμός του εικονιζόμενου. Για το σκοπό αυτό χρησιμοποιήθηκε ο αλγόριθμος Viola-Jonesγια την ανίχνευση του προσώπου και στη συνέχεια έγινε αποκοπή της περιοχής που αντιστοιχεί στην περιοχή του προσώπου. Στη συνέχεια παραθέτουμε κάποια ενδεικτικά αποτελέσματα από την ανίχνευση του προσώπου. 58

59 (α) 59

60 (β) 60

61 (γ) 61

62 (δ) 62

63 (ε) 63

64 (στ) 64

65 (ζ) Εικόνα 13 - Αποτελέσματα ανίχνευσης του προσώπου με χρήση του αλγορίθμου Viola-Jones Παρατηρούμε ότι σε όλες σχεδόν τις περιπτώσεις το πρόσωπο εντοπίζεται με απόλυτη επιτυχία. Επίσης, βλέπουμε ότι υπάρχει μεγάλη μεταβλητότητα στην πόζα του προσώπου, π.χ. διαφορετικά προφίλ, γεγονός που δυσκολεύει τη διαδικασία της εκτίμησης της ηλικίας Εκτίμηση της ηλικίας με χρήση LBP χαρακτηριστικών Το πρώτο βήμα για την εκτίμηση της ηλικίας των προσώπων είναι η εξαγωγή ενός διανύσματος χαρακτηριστικών που θα περιγράφει το περιεχόμενο σε μια συμπαγή μορφή. Η πρώτη μέθοδος χαρακτηριστικών που θα εξεταστεί είναι η χρήση των LBP, η οποία μας δίνει ένα διάνυσμα 59 διαστάσεων. 65

66 Age Στη συνέχεια χωρίζουμε το σύνολο των εικόνων σε ένα training υποσύνολο και σε ένα test υποσύνολο. Για κάθε εικόνα έχουμε επίσης μια υποσημείωση σχετικά με την ηλικία του προσώπου που απεικονίζεται (ground truth). Άρα τελικά έχουμε ένα πρόβλημα παλινδρόμησης (regression) το οποίο μπορεί να επιλυθεί αποδοτικά με τη χρήση ενός Γενικευμένου Γραμμικού Μοντέλου (General Linear Model - GLM). Οι συντελεστές του μοντέλου υπολογίζονται από το υποσύνολο εκπαίδευσης και στη συνέχεια το μοντέλο εφαρμόζεται στις εικόνες του test υποσυνόλου προκειμένου να πάρουμε την εκτίμηση της ηλικίας. Παρακάτω παρουσιάζονται οι εκτιμήσεις του μοντέλου μαζί με το ground truth καθώς και το απόλυτο σφάλμα της εκτίμησης All Dimensions Predicted Ground Truth Video Index Εικόνα 14 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας LBP χαρακτηριστικά και κρατώντας όλες τις διαστάσεις. 66

67 Age 70 All Dimensions Error Video Index Εικόνα 15 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας LBP χαρακτηριστικά και κρατώντας όλες τις διαστάσεις. Παρατηρούμε ότι παρόλο που τα σφάλματα είναι μικρά, δηλαδή κάτω της 5-ετίας, υπάρχουν περιπτώσεις όπου έχουμε πολύ μεγάλα σφάλματα κάτι που αποδεικνύει και τη μεγάλη δυσκολία του προβλήματος. Στη συνέχεια, επαναλαμβάνουμε τη διαδικασία κρατώντας μόνο 26 διαστάσεις χαρακτηριστικών όπως αυτές προκύπτουν μετά από την εφαρμογή της μεθόδου SVD για dimensionality reduction. Τα αποτελέσματα που προκύπτουν φαίνονται παρακάτω: 67

68 Age Dimensionality Reduction (d=26) Predicted Ground Truth Video Index Εικόνα 16 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας LBP χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις. 68

69 Age 60 Dimensionality Reduction (d=26) Error Video Index Εικόνα 17 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας LBP χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις. Παρατηρούμε πως παρόλο τη μείωση των διαστάσεων το αποτέλεσμα παραμένει σχεδόν το ίδιο, γεγονός που καταδεικνύει την καταλληλότητα της SVD μεθόδου για τη μείωση των διαστάσεων. Τέλος, απεικονίζουμε το σύνολο των εικόνων της βάσης στο 2Δ επίπεδο με βάση τα χαρακτηριστικά LBP και μείωση διαστάσεων μέσω SVD σε δύο. 69

70 d2 0.5 Features Projection in 2 Dimensions d1 Εικόνα 18 - Απεικόνιση του συνόλου των εικόνων της βάσης στο 2Δ επίπεδο με βάση τα χαρακτηριστικά LBP. Παρατηρούμε τη μεγάλη συγκέντρωση σε μια περιοχή του επιπέδου, γεγονός που κάνει τον διαχωρισμό (ή πρόβλεψη) των ηλικιών πιο δύσκολο. 70

71 Age 7.3. Εκτίμηση της ηλικίας με χρήση GIST χαρακτηριστικών Επαναλαμβάνουμε την όλη διαδικασία για την εκτίμηση της ηλικίας χρησιμοποιώνταςgistχαρακτηριστικά. Τα GIST χαρακτηριστικά βασίζονται στην εφαρμογή 2D Gabor φίλτρων σε διάφορες κλίμακες και κατευθύνσεις για τον υπολογισμό των χαρακτηριστικών. Συγκεκριμένα, χρησιμοποιήθηκαν 4 κλίμακες και 8 κατευθύνσεις σε ένα πλαίσιο 4x4, το οποίο μας δίνει ένα διάνυσμα 512 διαστάσεων. Τα αποτελέσματα φαίνονται παρακάτω τόσο για τις πλήρεις διαστάσεις όσο και για τις μειωμένες (26Δ) All Dimensions Predicted Ground Truth Video Index Εικόνα 19 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας GIST χαρακτηριστικά και κρατώντας όλες τις διαστάσεις. 71

72 Age All Dimensions Error Video Index Εικόνα 20 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας GIST χαρακτηριστικά και κρατώντας όλες τις διαστάσεις. 72

73 Age Dimensionality Reduction (d=26) Predicted Ground Truth Video Index Εικόνα 21 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας GIST χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις. 73

74 Age 70 Dimensionality Reduction (d=26) Error Video Index Εικόνα 22 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας GIST χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις. Παρατηρούμε πως παρόλο τη μεγάλη μείωση των διαστάσεων το αποτέλεσμα παραμένει το ίδιο και μάλιστα σε πολλές περιπτώσεις είναι και καλύτερο. Το γεγονός αυτό οφείλεται στο ότι με τη μέθοδοsvd καταφέρνουμε να συμπυκνώσουμε τη χρήσιμη πληροφορία σε λίγες διαστάσεις και παράλληλα αφαιρούμε οποιαδήποτε πλεονάζουσα πληροφορία που εμφανίζει μικρή μεταβλητότητα, π.χ. θόρυβος. Τέλος, απεικονίζουμε το σύνολο των εικόνων της βάσης στο 2Dεπίπεδο με βάση τα χαρακτηριστικά GIST και μείωση διαστάσεων μέσω SVD σε δύο. 74

75 d Features Projection in 2 Dimensions d1 Εικόνα 23 - Απεικόνιση του συνόλου των εικόνων της βάσης στο 2Δ επίπεδο με βάση τα χαρακτηριστικά GIST. Παρατηρούμε μεγαλύτερη εξάπλωση των χαρακτηριστικών στο 2Δ επίπεδο γεγονός που κάνει το πρόβλημα της ταξινόμησης-εκτίμησης των ηλικιών πιο εύκολο. 75

76 Age 7.4. Εκτίμηση της ηλικίας με χρήση HOG χαρακτηριστικών Επαναλαμβάνουμε την όλη διαδικασία για την εκτίμηση της ηλικίας χρησιμοποιώντας HOG χαρακτηριστικά. Συγκεκριμένα, εξαγάγαμε τους περιγραφείς HOG για διάσταση κελιού 32x32 pixels, παίρνοντας ένα διάνυσμα 324 διαστάσεων. Τα αποτελέσματα φαίνονται παρακάτω τόσο για τις πλήρεις διαστάσεις (324Δ) όσο και για τις μειωμένες (26Δ) All Dimensions Predicted Ground Truth Video Index Εικόνα 24 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας HOG χαρακτηριστικά και κρατώντας όλες τις διαστάσεις. 76

77 Age 60 All Dimensions Error Video Index Εικόνα 25 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας HOG χαρακτηριστικά και κρατώντας όλες τις διαστάσεις. 77

78 Age Dimensionality Reduction (d=26) Predicted Ground Truth Video Index Εικόνα 26 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας HOG χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις. 78

79 Age Dimensionality Reduction (d=26) Error Video Index Εικόνα 27 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας HOG χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις. Παρατηρούμε και πάλι πως παρόλη τη μείωση των διαστάσεων το αποτέλεσμα παραμένει το ίδιο ή ακόμα και βελτιώνεται. Επίσης, παρατηρούμε ότι επειδή τα HOG λαμβάνουν υπ όψιν την τοπική πληροφορία της εικόνας λειτουργούν σε γενικές γραμμές καλύτερα και εμφανίζουν στα περισσότερα παραδείγματα μικρότερα σφάλματα. Τέλος, απεικονίζουμε το σύνολο των εικόνων της βάσης στο 2Δ επίπεδο με βάση τα χαρακτηριστικά HOG και μείωση διαστάσεων μέσω SVD σε δύο. 79

80 d Features Projection in 2 Dimensions d1 Εικόνα 28 - Απεικόνιση του συνόλου των εικόνων της βάσης στο 2Δ επίπεδο με βάση τα χαρακτηριστικά HOG. Παρατηρούμε και εδώ, όπως και στα GIST χαρακτηριστικά, μεγαλύτερη εξάπλωση των χαρακτηριστικών στο 2Δ επίπεδο γεγονός που κάνει το πρόβλημα της εκτίμησης των ηλικιών πιο εύκολο. 80

81 7.5. Εκτίμηση της ηλικίας με χρήση SURF χαρακτηριστικών Επαναλαμβάνουμε την όλη διαδικασία για την εκτίμηση της ηλικίας χρησιμοποιώντας SURF χαρακτηριστικά. Συγκεκριμένα, εξάγουμε περιγραφείς γύρω από τοπικά σημεία ενδιαφέροντος (local descriptors) τα οποία υπολογίζονται επίσης με τη μέθοδο SURF. Επειδή ο αριθμός των σημείων δεν είναι σταθερός για κάθε εικόνα και θέλοντας να έχουμε μια συνολική περιγραφή της κάθε εικόνας (global representation) με ένα διάνυσμα σταθερής διάστασης εφαρμόζουμε την τεχνική Bag-of-Words (ή αλλιώς Bag-of-Features). Με την τεχνική αυτή αρχικά υπολογίζουμε τα κέντρα συσσώρευσης των χαρακτηριστικών χρησιμοποιώντας την τεχνική k-means. Στη συνέχεια υπολογίζονται τα ιστογράμματα των χαρακτηριστικών με βάση την ευκλείδειααπόσταση των χαρακτηριστικών SURF από τα κέντρα των κλάσεων. Η διάσταση του τελικού ιστογράμματος-διανύσματος εξαρτάται από τον αριθμό των κέντρων ο οποίος στην συγκεκριμένη περίπτωση επιλέχτηκε, ύστερα από δοκιμές, να είναι 256. Τα αποτελέσματα φαίνονται παρακάτω τόσο για τις πλήρεις διαστάσεις (256Δ) όσο και για τις μειωμένες (26Δ). 81

82 Age All Dimensions Predicted Ground Truth Video Index Εικόνα 29 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας SURF χαρακτηριστικά και κρατώντας όλες τις διαστάσεις. 82

83 Age 120 All Dimensions Error Video Index Εικόνα 30 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας SURF χαρακτηριστικά και κρατώντας όλες τις διαστάσεις. 83

84 Age Dimensionality Reduction (d=26) Predicted Ground Truth Video Index Εικόνα 31 - Εκτίμηση της ηλικίας μαζί με ground truth για το test υποσύνολο χρησιμοποιώντας SURF χαρακτηριστικά και κρατώντας μόνο 26 διαστάσεις. 84

85 Age 120 Dimensionality Reduction (d=26) Error Video Index Εικόνα 32 - Απόλυτο σφάλμα εκτίμησης για το test υποσύνολο χρησιμοποιώντας SURF χαρακτηριστικά και κρατώντας μόνο 26διαστάσεις. Παρατηρούμε πως η χρήση των SURF οδηγεί σε πολύ χειρότερα αποτελέσματα και εμφανίζει αρκετά μεγάλα σφάλματα στην εκτίμηση των ηλικιών. Επίσης, παρατηρούμε ότι σε μερικές περιπτώσεις προκύπτει και αρνητική ηλικία!! Αυτό οφείλεται στο γεγονός ότι η προσέγγιση με SURFχαρακτηριστικά αξιοποιεί αποκλειστικά και μόνο τοπική πληροφορία της εικόνας ενώ οποιαδήποτε χωρική πληροφορία για τη διάταξη των σημείων ενδιαφέροντος εξαφανίζεται με τη χρήση των Bagof-Word ιστογραμμάτων. Τέλος, απεικονίζουμε το σύνολο των εικόνων της βάσης στο 2Dεπίπεδο με βάση τα χαρακτηριστικά SURF και μείωση διαστάσεων μέσω SVD σε δύο. 85

86 d2 1 Features Projection in 2 Dimensions d1 Εικόνα 33 - Απεικόνιση του συνόλου των εικόνων της βάσης στο 2Δ επίπεδο με βάση τα χαρακτηριστικά SURF. Παρατηρούμε πολύ μεγάλη συγκέντρωση των χαρακτηριστικών σε μια μικρή περιοχή του 2Δ επιπέδου γεγονός που επιβεβαιώνει τη μη ικανοποιητική απόδοσή τους στο πρόβλημα της εκτίμησης ηλικιών. 86

87 7.6. Ποσοτική αξιολόγηση των αλγορίθμων εξαγωγής χαρακτηριστικών Στο σημείο αυτό θα προχωρήσουμε σε μια συνολική ποσοτική αξιολόγηση των μεθόδων που χρησιμοποιήθηκαν στις προηγούμενες ενότητες. Για το σκοπό αυτό θα χρησιμοποιηθεί το ποσοστιαίο Root Mean Square Error (RMSE) υπολογισμένο στο σύνολο ελέγχου (test set). Τα αποτελέσματα τόσο για τις πλήρεις όσο και τις μειωμένες διαστάσεις για κάθε τύπο περιγραφέα παρουσιάζονται στον επόμενο πίνακα καθώς και σε διάγραμμα. Χαρακτηριστικά Σύνολο Διαστάσεων Μειωμένες Διστάσεις (d=26) LBP (d=59) 30,025 29,899 GIST (d=512) 34,627 28,824 HOG (d=324) 30,234 27,859 SURF (d=256) 39,477 37,132 Πίνακας 1: Αξιολόγηση των μεθόδων με τη χρήση του RMSE σφάλματος. 87

88 0,045 0,040 0,035 0,030 0,025 0,020 0,015 All Dimensions Dimensionality Reduction (d=26) 0,010 0,005 0,000 LBP (d=59) GIST (d=512) HOG (d=324) SURF (d=256) Εικόνα 34 - Οπτικοποίηση του RMSE σφάλματος για τις διάφορες μεθόδους. Παρατηρούμε, όπως και προηγουμένως, την επιτυχία των μεθόδων LBP, GIST και HOG για το πρόβλημα της εκτίμησης ηλικίας καθώς και το γεγονός πως η μέθοδος που χρησιμοποιεί SURF χαρακτηριστικά δεν λειτουργεί ικανοποιητικά και εμφανίζει μεγάλα σφάλματα. Επίσης, παρατηρούμε πως η μείωση των διαστάσεων οδηγεί σε καλύτερα αποτελέσματα για τις μεθόδους GIST και HOG, κάτι που είχαμε ήδη επισημάνει και προηγουμένως. Τέλος, θα πρέπει να αναφερθεί το γεγονός πως ιδιαίτερα η μέθοδος GIST εμφανίζει αυξημένη υπολογιστική πολυπλοκότητα και χρόνο εκτέλεσης σε σύγκριση με την LBP μέθοδο που είναι η πιο απλή και γρήγορη. 88

89 7.7. Διεπαφή εφαρμογής των αλγορίθμων σε νέες πρωτότυπες εικόνες Τέλος, αναπτύχθηκε μια διεπαφή (GUI) μέσω της οποίας ο χρήστης θα μπορεί να επιλέγει μία από τις παραπάνω μεθόδους και να την εφαρμόζει σε μια νέα πρωτότυπη εικόνα που θα εισάγει. Χρησιμοποιήθηκαν οι εκδόσεις των περιγραφητών με τις μειωμένες διαστάσεις τόσο για λόγους ταχύτητας αλλά και επειδή γενικά εμφάνισαν καλύτερα αποτελέσματα. Παρακάτω φαίνονται τα screenshots της απλής διεπαφής που σχεδιάστηκε. 89

90 Εικόνα 35 - Διεπαφή για την εφαρμογή των αλγορίθμων εκτίμησης ηλικίας σε νέες εικόνες. 90

91 Τέλος, παρουσιάζουμε κάποια ποιοτικά αποτελέσματα από την εφαρμογή των αλγορίθμων σε παραδείγματα εικόνων. (α) (β) (γ) (δ) Εικόνα 36 - Αποτελέσματα από την εφαρμογή των αλγορίθμων σε παραδείγματα εικόνων: (α) Ground Truth: 52, LBP: 47, GIST: 53, HOG: 57, SURF: 42, (β) Ground Truth: 30, LBP: 36, GIST: 39, HOG: 35, SURF: 49, (γ) Ground Truth: 24, LBP: 26, GIST: 36, HOG: 34, SURF: 44 91