Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας

Πανεπιστήμιο Πατρών ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΦΥΣΙΚΗΣ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΕΡΓΑΣΤΗΡΙΟ ΗΛΕΚΤΡΟΝΙΚΗΣ Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας ΔΙΔΑΚΤΟΡΙΚΗ ΔΙΑΤΡΙΒΗ του ΙΩΑΝΝΗ ΡΗΓΑ Πτυχιούχου Τμ. Φυσικής, Παν. Πατρών M.Sc. Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών Σεπτέμβριος 2013

Πανεπιστήμιο Πατρών ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΦΥΣΙΚΗΣ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΕΡΓΑΣΤΗΡΙΟ ΗΛΕΚΤΡΟΝΙΚΗΣ Ανθρωποκεντρική Επεξεργασία και Ανάλυση Οπτικής Πληροφορίας ΔΙΔΑΚΤΟΡΙΚΗ ΔΙΑΤΡΙΒΗ του ΙΩΑΝΝΗ ΡΗΓΑ Πτυχιούχου Τμ. Φυσικής, Παν. Πατρών M.Sc. Ηλεκτρονικής και Η/Υ, Τμ. Φυσικής, Παν. Πατρών Συμβουλευτική Επιτροπή: Γεώργιος Οικονόμου Καθηγητής Σπυρίδων Φωτόπουλος Καθηγητής Απόστολος Υφαντής Καθηγητής Εγκρίθηκε από την επταμελή εξεταστική επιτροπή την......... Β. Αναστασόπουλος Κ. Μπερμπερίδης Α. Σκόδρας Καθηγητής Π.Π. Καθηγητής Π.Π. Καθηγητής Π. Π.... Ε. Δερματάς Αναπλ. Καθηγητής Π.Π.......... Γεώργιος Οικονόμου Σπυρίδων Φωτόπουλος Απόστολος Υφαντής Καθηγητής Π.Π. Καθηγητής Π.Π. Καθηγητής Α.Τ.Ε.Ι. Π. Σεπτέμβριος 2013

H παρούσα έρευνα έχει συγχρηματοδοτηθεί από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο - ΕΚΤ) και από εθνικούς πόρους μέσω του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» του Εθνικού Στρατηγικού Πλαισίου Αναφοράς (ΕΣΠΑ) Ερευνητικό Χρηματοδοτούμενο Έργο: Ηράκλειτος ΙΙ. Επένδυση στην κοινωνία της γνώσης μέσω του Ευρωπαϊκού Κοινωνικού Ταμείου. MIS:346791, Φ.Κ.: D.276.001.089 Copyright by Ioannis Rigas, September 2013 Με επιφύλαξη παντός δικαιώματος. All rights reserved. No part of the material protected by this copyright notice may be reproduced or utilized in any form or by any means electronic or mechanical including photocopying recording or by any information storage and retrieval system without permission from the author.

Στους γονείς μου Νίκο και Αθηνά και στην αδερφή μου Φρόσω

Περίληψη Το αντικείμενο της παρούσας διδακτορικής διατριβής περιλαμβάνει την μελέτη και ανάλυση της πληροφορίας οπτικών δεδομένων που μπορεί να πραγματοποιηθεί με την αξιοποίηση μηχανισμών επεξεργασίας ανθρωποκεντρικής φύσης. Λαμβάνοντας υπόψιν την αποδεδειγμένη ανωτερότητα του συστήματος όρασης του ανθρώπινου εγκέφαλου στην ανάλυση των οπτικών ερεθισμάτων, τα ευρήματα που μπορεί να προκύψουν από την μελέτη και προσομοίωση των μηχανισμών του είναι δυνατόν να ενσωματωθούν στα σύγχρονα συστήματα υπολογιστικής όρασης, με σκοπό την επεξεργασία της οπτικής πληροφορίας με τρόπο σύμφωνο προς την ανθρώπινη αντίληψη. Το πρώτο μέρος της έρευνας που διεξήχθη εστίασε στην ανάπτυξη και αξιολόγηση μοντέλων αναπαράστασης του οπτικού ενδιαφέροντος σε δεδομένα εικόνας με βάση αλγόριθμους βιολογικής έμπνευσης, καθώς και στην δυνατότητα αξιοποίησή τους σε εφαρμογές της υπολογιστικής όρασης. Τα αποτελέσματα που προέκυψαν κατά την πειραματική εφαρμογή των μοντέλων σε βάσεις δεδομένων με εικόνες γενικού περιεχομένου ανέδειξαν την αξιόλογη συμπεριφορά των αλγορίθμων που υλοποιήθηκαν σε ποικιλία οπτικών συνθηκών αλλά και την δυνατότητα χρήσης τους σε πιο εξειδικευμένους τομείς, όπως αυτός της αεροφωτογραφίας. Το δεύτερο μέρος της έρευνας αφορούσε την μελέτη και ανάπτυξη αλγορίθμων για την εξαγωγή και σύγκριση χαρακτηριστικών από το σύστημα κίνησης των οφθαλμών, με σκοπό την αξιοποίησή τους στο πεδίο έρευνας της βιομετρικής αναγνώρισης με βάση τις οφθαλμικές κινήσεις. Οι μέθοδοι που υλοποιήθηκαν αφορούσαν χαρακτηριστικά που μπορούν να εξαχθούν τόσο στο πεδίο του χώρου του οπτικού ερεθίσματος όσο και στο πεδίο του χρόνου και τα πειραματικά αποτελέσματα τα οποία προέκυψαν κατά την αξιολόγησή των αλγορίθμων σε βάσεις δεδομένων οφθαλμικής κίνησης ποικίλου ερεθίσματος, επέδειξαν την δυναμική που υπάρχει στον συγκεκριμένο νεοσύστατο τομέα έρευνας. i

Abstract The subject of this doctoral thesis is related with the research of visual information processing under the influence of anthropocentric mechanisms. Given the superiority of the visual system of the brain in the analysis of visual stimuli, the findings that could emerge from the exploration and simulation of its operations could be incorporated in modern computer vision systems, with the purpose of developing processing schemes that are consistent with human perception. The first part of the conducted research focused on the development and evaluation of models for the bio-inspired representation of interesting regions in images, and also on their exploitation in computer vision applications. The experimental results suggest that the developed methods present remarkable behavior on general purpose natural images under a variety of visual conditions, and also imply the possibility of their utilization in applications that concern images of specific type, as for example aerial imagery. The second part of the research concerned the development of algorithms for the extraction and comparison of characteristics from the human oculomotor system, with the purpose of using them in the field of biometric identification based on the eye movements. The implemented methods included the utilization both of spatial and temporal features that can be extracted from the eye movements and the obtained results during the evaluation process showed the existence of promising momentum on this recently established field of research. ii

Ευχαριστίες Θα ήθελα να αφιερώσω λίγα λόγια για να ευχαριστήσω τα άτομα τα οποία με τον τρόπο τους ο καθένας υπήρξαν αρωγοί της προσπάθειάς μου καθ όλη την διάρκεια της εκπόνησης της παρούσας διδακτορικής διατριβής. Πρώτα από όλα επιθυμώ να ευχαριστήσω βαθύτατα, τον επιβλέποντα αυτής της διατριβής, Καθηγητή του Τμ. Φυσικής κ. Γεώργιο Οικονόμου. Με την καθοδήγηση, την υπομονή αλλά κυρίως την εμπιστοσύνη που μου έδειξε όλα αυτά τα χρόνια της συνεργασίας μας, από το προπτυχιακό επίπεδο μέχρι και την διδακτορική έρευνα, δημιούργησε την υποδομή για την επίτευξη των στόχων μου και ανέδειξε την επιστημονική μου προσωπικότητα με τον καλύτερο δυνατό τρόπο. Θα ήθελα επίσης να ευχαριστήσω τον Καθηγητή του Τμ. Φυσικής κ. Σπ. Φωτόπουλο, μέλος της τριμελούς συμβουλευτικής μου επιτροπής, για την αγαστή συνεργασία μας κατά την εκπόνηση της διδακτορικής μου διατριβής, τις συμβουλές του πάνω σε θέματα επιστημονικής έρευνας αλλά και την εξαιρετική του συμπεριφορά απέναντι στο πρόσωπό μου. Επίσης ευχαριστώ τον κ. Απ. Υφαντή, Καθηγητή του Τμ. Ηλεκτρολογίας, Α.Τ.Ε.Ι. Πατρών που με τίμησε με την συμμετοχή του στην τριμελή συμβουλευτική μου επιτροπή, καθώς και τους κ.κ. Β. Αναστασόπουλο, Καθηγητή του Τμ. Φυσικής, Παν. Πατρών, Κων. Μπερμπερίδη, Καθηγητή του Τμ. Μηχανικών Η/Υ & Πληροφορικής, Παν. Πατρών, Α. Σκόδρα, Καθηγητή του Τμ. Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών, Παν. Πατρών και Ε. Δερματά, Αναπλ. Καθηγητή του Τμ. Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών, Παν. Πατρών, που μου έκαναν την τιμή να συμμετάσχουν στην επταμελή εξεταστική επιτροπή της διδακτορικής διατριβής. Θέλω ακόμα να εκφράσω τις θερμές μου ευχαριστίες στους καθηγητές μου, κ. Ευ. Ζυγούρη, Καθηγητή του Τμ. Φυσικής, κ. Κων. Ψυχαλίνο, Αναπλ. Καθηγητή του Τμ. Φυσικής, κ. Σπ. Βλάσση, Επικ. Καθηγητή του Τμ. Φυσικής, κ. Δημ. Μπακάλη, Επικ. Καθηγητή του Τμ. Φυσικής καθώς και στον κ. Γ. Σουλιώτη Ε.Τ.Ε.Π. του Τμ. Φυσικής, γιατί υπήρξαν εξαιρετικοί δάσκαλοι και γιατί επέδειξαν ιδιαίτερα θετική στάση απέναντί μου. Ένα μεγάλο ευχαριστώ στους συνεργάτες και φίλους μου Δρ. Ευ. Βασσάλο, Δρ. Κων. Λαουδιά, Δρ. Γ. Ράικο και Δρ. Χρ. Κασίμη, γιατί υπήρξαν οι καλύτεροι συνοδοιπόροι που θα μπορούσα να έχω στο καθημερινό τοπίο της ερευνητικής μου εργασίας. Θα ήθελα να εκφράσω τις ευχαριστίες μου στους κ.κ. O. Komogortsev, Ass. Prof., του Texas State Univ., San Marcos, U.S. και P. Kasprowski, Dr., του Silesian Univ. of Technology, Poland για την συνεργασία μας στον τομέα της βιομετρικής αναγνώρισης με βάση τις οφθαλμικές κινήσεις. Επιπλέον, ένα θερμό ευχαριστώ αξίζει σε όλα τα άτομα τα οποία συμμετείχαν εθελοντικά στα πειράματα καταγραφής οφθαλμικών κινήσεων τα οποία διεξήχθησαν στα πλαίσια της έρευνας της διδακτορικής μου διατριβής. Θα επιθυμούσα ακόμη να εκφράσω τις ευχαριστίες μου στον Υπ. Διδ. Ηλ. Θεωδορακόπουλο για την συνεργασία μας στον τομεά των αναπαραστάσεων αραιής κωδικοποίησης. iii

Τέλος, θα ήθελα να εκφράσω το μεγαλύτερο ευχαριστώ στους γονείς μου Νίκο και Αθηνά και στην αδερφή μου Φρόσω, οι οποίοι υπήρξαν θερμοί υποστηρικτές της προσπάθειάς μου όλα αυτά τα χρόνια, και που με κάνουν δυνατότερο με την εμπιστοσύνη που επιδεικνύουν στις ικανότητές μου και με την αγάπη τους. Ιωάννης Ρήγας Πάτρα, Σεπτέμβριος 2013 iv

Περιεχόμενα Κεφάλαιο 1 Εισαγωγή... 1 1.1 Αντικείμενο της Διδακτορικής Διατριβής... 1 1.2 Γενική Επισκόπηση της Διδακτορικής Διατριβής... 3 1.3 Διάρθρωση της Διδακτορικής Διατριβής... 5 1.4 Δημοσιεύσεις της Διδακτορικής Διατριβής... 7 Κεφάλαιο 2 Ανθρωποκεντρική Αναπαράσταση της Οπτικής Πληροφορίας και Μοντελοποίηση του Οπτικού Ενδιαφέροντος... 11 2.1 Η Αραιή Κωδικοποίηση ως ένας Μηχανισμός για την Αναπαράσταση της Οπτικής Πληροφορίας... 12 2.1.1 Αναπαράσταση της Πληροφορίας στον Οπτικό Φλοιό του Εγκεφάλου... 12 2.1.2 Υπολογιστική Μοντελοποίηση των Στοιχειωδών Χαρακτηριστικών Αναπαράστασης στον Πρωτοταγή Οπτικό Φλοιό... 14 2.2 Υπολογιστική Μοντελοποίηση του Οπτικού Ενδιαφέροντος... 18 2.2.1 Ο Χάρτης Οπτικού Ενδιαφέροντος... 18 2.2.2 Βασικές Προσεγγίσεις για την Δημιουργία Χαρτών Μοντελοποίησης του Οπτικού Ενδιαφέροντος... 20 2.3 Συμπεράσματα Κεφαλαίου... 26 Κεφάλαιο 3 Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Καθολική Σύγκριση Αναπαραστάσεων Τοπικής Αραιής Κωδικοποίησης... 29 3.1 Εισαγωγή... 29 3.2 Εκπαίδευση Υπερπλήρους Οπτικού Λεξικού με την Χρήση Φυσικών Εικόνων... 30 3.2.1 Ο Αλγόριθμος Εκπαίδευσης Υπερπλήρων Λεξικών Generalized Sparse Coding Neural Gas (GSCNG)... 31 3.2.2 Παράμετροι Εκπαίδευσης του Αλγόριθμου Κατασκευής του Οπτικού Λεξικού. 32 3.3 Διαδικασία Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος με την Καθολική Σύγκριση Αναπαραστάσεων Τοπικής Αραιής Κωδικοποίησης... 33 3.3.1 Συνοπτική Παρουσίαση των Βημάτων του Αλγόριθμου Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος... 33 3.3.2 Επεξήγηση των Βημάτων του Αλγόριθμου Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος και Λεπτομέρειες Υλοποίησης... 35 3.3.2.1 Εξαγωγή Χαρακτηριστικών Αραιής Αναπαράστασης... 35 3.3.2.2 Καθολική Σύγκριση των Χαρακτηριστικών Αραιής Αναπαράστασης... 36 3.3.2.3 Διαδικασία Φιλτραρίσματος για την Κατασκευή του Τελικού Χάρτη Οπτικού Ενδιαφέροντος... 38 3.3.3 Υπολογιστική Απόδοση του Προτεινόμενου Αλγόριθμου... 39 v

3.4 Πειραματικά Αποτελέσματα Αξιολόγησης των Χαρτών Οπτικού Ενδιαφέροντος με Ποσοτικά Κριτήρια... 40 3.4.1 Σύγκριση των Χαρτών Οπτικού Ενδιαφέροντος με Δεδομένα Ανθρωποκεντρικής Προέλευσης... 40 3.4.1.1 Χαρακτηριστικές Καμπύλες Λειτουργίας Συστήματος (ROC curves) και Υπολογισμός του Μέτρου του Εμβαδού Κάτω από την Καμπύλη (AUC score) 40 3.4.1.2 Υπολογισμός Κανονικοποιημένου AUC score για την Αντιμετώπιση των Φαινομένων Τάσης προς το Κέντρο (Center Bias Effects)... 41 3.4.2 Αξιολόγηση Αποτελεσμάτων στην Βάση Δεδομένων Toronto... 41 3.4.2.1 Σύγκριση των Αποτελεσμάτων Προηγούμενων Μεθόδων Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος με τον Προτεινόμενο Αλγόριθμο... 41 3.4.2.2 Σύγκριση των Αποτελεσμάτων που Προκύπτουν με Την Χρήση Διαφορετικών Προσεγγίσεων κατά την Φάση Εκπαίδευσης του Υπερπλήρους Λεξικού 43 3.4.3 Αξιολόγηση Αποτελεσμάτων στην Βάση Δεδομένων McGill ImgSal... 44 3.5 Πειραματικά Αποτελέσματα Αξιολόγησης των Χαρτών Οπτικού Ενδιαφέροντος με Ποιοτικά Κριτήρια... 48 3.5.1 Τεχνητές Εικόνες Ψυχοφυσικού Ερεθίσματος... 48 3.5.2 Τεχνητές Εικόνες με Συμπαγή Σχήματα... 49 3.5.3 Φυσικές Εικόνες Γενικού Περιεχομένου... 50 3.6 Συμπεράσματα Κεφαλαίου... 53 Κεφάλαιο 4 Κατασκευή Χαρτών Οπτικού Ενδιαφέροντος με Αξιοποίηση του Σφάλματος Τοπικής Αραιής Κωδικοποίησης... 55 4.1 Εισαγωγή... 55 4.2 Εκπαίδευση Υπερπλήρων Οπτικών Λεξικών με την Χρήση Φυσικών Εικόνων... 57 4.2.1 Εκπαίδευση Λεξικών για το κάθε Χρωματικό Κανάλι... 57 4.2.2 Παράμετροι Εκπαίδευσης του Αλγόριθμου Κατασκευής Οπτικών Λεξικών... 58 4.3 Διαδικασία Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος με την Αξιοποίηση του Σφάλματος Τοπικής Αραιής Κωδικοποίησης... 58 4.3.1 Συνοπτική Παρουσίαση των Βημάτων του Αλγόριθμου Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος... 58 4.3.2 Επεξήγηση των Βημάτων του Αλγόριθμου Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος και Λεπτομέρειες Υλοποίησης... 59 4.3.2.1 Εξαγωγή Χαρακτηριστικών Αραιής Κωδικοποίησης... 59 4.3.2.2 Κατασκευή Ενδιάμεσων (Χρωματικών) Χαρτών Ενδιαφέροντος... 61 4.3.2.3 Διαδικασία Συνδυασμού των Ενδιαμέσων Χαρτών και Φιλτράρισμα για την Δημιουργία του Τελικού Χάρτη Οπτικού Ενδιαφέροντος... 62 4.4 Δημιουργία Βάσης Δεδομένων Αεροφωτογραφίας και Μασκών Κατάδειξης Περιοχών Ενδιαφέροντος... 63 vi

4.5 Πειραματικά Αποτελέσματα Αξιολόγησης των Χαρτών Οπτικού Ενδιαφέροντος σε Δεδομένα Αεροφωτογραφίας με Ποσοτικά Κριτήρια... 64 4.5.1 Παρουσίαση Αποτελεσμάτων Συγκριτικής Μελέτης Μεθόδων Κατασκευής Χαρτών Οπτικού Ενδιαφέροντος και του Προτεινόμενου Αλγόριθμου... 65 4.5.2 Παρουσίαση Αποτελεσμάτων Παραμετρικής Ανάλυσης για τον Προτεινόμενο Αλγόριθμο... 66 4.6 Πειραματικά Αποτελέσματα Αξιολόγησης των Χαρτών Οπτικού Ενδιαφέροντος σε Δεδομένα Αεροφωτογραφίας με Ποιοτικά Κριτήρια... 68 4.7 Συμπεράσματα Κεφαλαίου... 70 Κεφάλαιο 5 Αξιοποίηση της Πληροφορίας των Χαρτών Οπτικού Ενδιαφέροντος για την Κατηγοριοποίηση Εικόνων με Βάση το Περιεχόμενο... 73 5.1 Εισαγωγή... 73 5.2 Διαδικασία Εξαγωγής του Τροποποιημένου Ιστογράμματος Οπτικού Ενδιαφέροντος... 74 5.2.1 Συνοπτική Παρουσίαση των Βημάτων του Αλγόριθμου για τον Υπολογισμό του Τροποποιημένου Ιστογράμματος Οπτικού Ενδιαφέροντος... 74 5.2.2 Επεξήγηση των Βημάτων του Αλγόριθμου για τον Υπολογισμό του Διαμορφωμένου Ιστογράμματος Ενδιαφέροντος... 75 5.3 Πειραματική Αξιολόγηση του Προτεινόμενου Χαρακτηριστικού στην Κατηγοριοποίηση Εικόνων Αεροφωτογραφίας... 78 5.3.1 Βάση Δεδομένων Εικόνων Αεροφωτογραφίας... 78 5.3.2 Στατιστικά Χαρακτηριστικά που Εμφανίζουν οι Χάρτες Ενδιαφέροντος από Εικόνες Διαφορετικών Κατηγοριών... 79 5.3.3 Αποτελέσματα Κατηγοριοποίησης Εικόνων Αεροφωτογραφίας με την Χρήση του Τροποποιημένου Ιστογράμματος Ενδιαφέροντος... 81 5.4 Συμπεράσματα Κεφαλαίου... 84 Κεφάλαιο 6 Η Διαδικασία Οπτικής Παρατήρησης ως Πηγή Βιομετρικών Χαρακτηριστικών... 89 6.1 Εισαγωγή... 89 6.2 Βασικά Χαρακτηριστικά του Συστήματος Οφθαλμικής Κίνησης... 90 6.3 Οι Οφθαλμικές Κινήσεις ως Πηγή Βιομετρικών Χαρακτηριστικών... 92 6.4 Προηγούμενες Προσεγγίσεις στον Τομέα της Βιομετρικής Αναγνώρισης με Βάση τις Οφθαλμικές Κινήσεις... 94 Κεφάλαιο 7 Βιομετρική Αναγνώριση Μέσω των Οφθαλμικών Κινήσεων με την Χρήση Τεχνικών Γράφων... 97 7.1 Μελέτη Χαρακτηριστικών Οφθαλμικής Κίνησης με την Χρήση Τεχνικών Γράφων στο Πεδίο του Χώρου... 98 7.1.1 Συνοπτική Παρουσίαση των Βημάτων του Αλγόριθμου για την Επεξεργασία και Σύγκριση των Δειγμάτων Οφθαλμικής Κίνησης στο Πεδίο του Χώρου... 98 7.1.2 Επεξήγηση των Βημάτων του Αλγόριθμου Επεξεργασίας και Σύγκρισης των Δειγμάτων Οφθαλμικής Κίνησης και Λεπτομέρειες Υλοποίησης... 100 vii

7.1.2.1 Εξαγωγή Βιομετρικών Προτύπων από τις Οφθαλμικές Κινήσεις... 100 7.1.2.2 Σύγκριση Βιομετρικών Προτύπων με το Wald-Wolfowitz test... 102 7.1.3 Δημιουργία Βάσης Δεδομένων Καταγραφής Οφθαλμικών Κινήσεων κατά την Παρατήρηση Εικόνων Προσώπου... 105 7.1.3.1 Οπτικό Ερέθισμα του Πειράματος Καταγραφής Οφθαλμικών Κινήσεων 105 7.1.3.2 Διαδικασία του Πειράματος Καταγραφής Οφθαλμικών Κινήσεων... 105 7.1.4 Πειραματικά Αποτελέσματα Αξιολόγησης της Μεθόδου Βιομετρικής Αναγνώρισης με Βάση τις Οφθαλμικές Κινήσεις στο Πεδίο του Χώρου... 106 7.2 Μελέτη Χαρακτηριστικών Οφθαλμικής Κίνησης με την Χρήση Τεχνικών Γράφων στο Πεδίο του Χρόνου... 108 7.2.1 Συνοπτική Παρουσίαση των Βημάτων του Αλγόριθμου για την Επεξεργασία και Σύγκριση των Δειγμάτων Οφθαλμικής Κίνησης στο Πεδίο του Χρόνου... 109 7.2.2 Επεξήγηση των Βημάτων του Αλγόριθμου Επεξεργασίας και Σύγκρισης των Δειγμάτων Οφθαλμικής Κίνησης και Λεπτομέρειες Υλοποίησης... 110 7.2.2.1 Εξαγωγή Βιομετρικών Προτύπων από τις Οφθαλμικές Κινήσεις... 110 7.2.2.2 Σύγκριση Βιομετρικών Προτύπων με το Wald-Wolfowitz test... 111 7.2.3 Πειραματικά Αποτελέσματα Αξιολόγησης της Μεθόδου Βιομετρικής Αναγνώρισης με Βάση τις Οφθαλμικές Κινήσεις στο Πεδίο του Χρόνου... 113 7.2.3.1 Βάση Δεδομένων Οφθαλμικής Κίνησης EMVIC 2012... 113 7.2.3.2 Παρουσίαση Αποτελεσμάτων για τον Προτεινόμενο Αλγόριθμο στα Δεδομένα Γνωστής Ταυτότητας του Διαγωνισμού EMVIC 2012... 113 7.2.3.3 Παρουσίαση Αποτελεσμάτων Παραμετρικής Ανάλυσης για τον Προτεινόμενο Αλγόριθμο... 115 7.2.3.4 Παρουσίαση Αποτελεσμάτων για τον Προτεινόμενο Αλγόριθμο στα Δεδομένα Άγνωστης Ταυτότητας του Διαγωνισμού EMVIC 2012... 116 7.3 Συμπεράσματα Κεφαλαίου... 117 Κεφάλαιο 8 Βιομετρική Αναγνώριση με την Αξιοποίηση Χαρτών Ενδιαφέροντος από Οφθαλμικές Κινήσεις... 121 8.1 Διαδικασία Κατασκευής και Σύγκρισης Χαρτών Ενδιαφέροντος Οφθαλμικών Κινήσεων με Σκοπό την Βιομετρική Αναγνώριση... 122 8.1.1 Συνοπτική Παρουσίαση των Βημάτων του Αλγόριθμου για την Επεξεργασία και Σύγκριση των Δειγμάτων Οφθαλμικής Κίνησης... 122 8.1.2 Επεξήγηση των Βημάτων του Αλγόριθμου Επεξεργασίας και Σύγκρισης των Δειγμάτων Οφθαλμικής Κίνησης και Λεπτομέρειες Υλοποίησης... 123 8.1.2.1 Εξαγωγή Βιομετρικών Προτύπων από τις Οφθαλμικές Κινήσεις... 123 8.1.2.2 Σύγκριση Βιομετρικών Προτύπων Οφθαλμικής Κίνησης... 125 8.2 Διαδικασία Αξιολόγησης των Αποτελεσμάτων της Μεθόδου Βιομετρικής Αναγνώρισης με Χάρτες Ενδιαφέροντος από Οφθαλμικές Κινήσεις... 128 8.2.1 Διαδικασία Ταξινόμησης Βιομετρικών Προτύπων... 128 8.2.2 Βάσεις Δεδομένων Οφθαλμικών Κινήσεων... 128 viii

8.2.3 Πειραματική Αξιολόγηση Αποτελεσμάτων για τον Προτεινόμενο Αλγόριθμο 130 8.3 Συμπεράσματα Κεφαλαίου... 135 Κεφάλαιο 9 Επίλογος... 137 9.1 Σύνοψη Ερευνητικών Αποτελεσμάτων της Διδακτορικής Διατριβής... 137 9.2 Μελλοντικές Κατευθύνσεις Έρευνας... 140 Βιβλιογραφία 143 ix

x

Κατάλογος Σχημάτων Σχήμα 2.1 Σχήμα 2.2 Σχήμα 2.3 Σχήμα 2.4 Σχήμα 2.5 Σχήμα 2.6 Σχήμα 2.7 Σχήμα 2.8 Σχήμα 2.9 Σχήμα 3.1 Σχήμα 3.2 Σχήμα 3.3 Σχήμα 3.4 (α) Οι περιοχές του εγκεφάλου στις οποίες πραγματοποιείται η ιεραρχική επεξεργασία της οπτικής πληροφορίας. (β) Διαδρομές που μπορεί να ακολουθήσει η οπτική πληροφορία για την δημιουργία αναπαραστάσεων που σχετίζονται με το τι και το που στο οπτικό πεδίο.....12 Το μοντέλο HMAX για την περιγραφή της ιεραρχικής διαδικασίας οπτικής επεξεργασίας της πληροφορίας (από [RP99]).... 14 Συναρτήσεις βάσεως που δημιουργούνται από φυσικές εικόνες (α) με την μέθοδο PCA και (β) μέσω μιας διαδικασίας αραιής κωδικοποίησης.... 16 (α) Οπτικό ερέθισμα εισόδου (εικόνα), (β) χάρτης οπτικού ενδιαφέροντος (saliency map), και (γ) υπέρθεση του χάρτη στην εικόνα εισόδου υπό μορφή χάρτη θερμικής ενεργοποίησης (heatmap).... 19 Γραφική παρουσίαση των σταδίων επεξεργασίας του μοντέλου των Itti και Koch [IKN98].... 20 Το σχήμα που ακολουθείται στην προσέγγιση της μεθόδου [HKP07] για την κατασκευή χαρτών οπτικού ενδιαφέροντος με την χρήση μοντέλων γράφων κατά την αναπαράσταση των χαρακτηριστικών.... 22 (α) Επίδειξη του συσχετισμού που υπάρχει μεταξύ της φάσης του μετασχηματισμού Fourier και των τοπικών χαρακτηριστικών μιας εικόνας. (β) Ανάδειξη χαρακτηριστικών ενδιαφέροντος στοιχειώδους επιπέδου μέσω του υπολογισμού του αντίστροφου μετασχηματισμού Fourier της φάσης μιας εικόνας.... 24 Δημιουργία χάρτη οπτικού ενδιαφέροντος με την μέθοδο [LZXYY09], και απεικόνιση των διαφορών στην αναπαράσταση με την χρήση των L1-norm και L2- norm (από [LZXYY09]).... 25 Επισκόπηση των βημάτων της μεθόδου [YZLL10] για την ανάδειξη τμημάτων ενδιαφέροντος σε μια εικόνα μέσω της ανάκτησης του πίνακα αραιότητας S από των πίνακα αποκρίσεων R (από [YZLL10]).... 25 (α) Παραδείγματα από τις φυσικές εικόνες που χρησιμοποιήθηκαν για την εκπαίδευση του υπερπλήρους λεξικού, (β) παραδείγματα από τις οπτικές κωδικολέξεις που δημιουργήθηκαν με την χρήση του αλγόριθμου GSCNG.... 33 Παράδειγμα σύγκρισης αναπαραστάσεων αραιής κωδικοποίησης με την χρήση της απόστασης Hamming.... 37 Σύγκριση υπολογιστικής απόδοσης του προτεινόμενου αλγόριθμου σε σχέση τους αλγόριθμους που στηρίζονται επίσης σε αρχές αραιής κωδικοποίησης [LZXYY09] και [HZD11].... 39 Αποτελέσματα της αξιολόγησης των μεθόδων κατασκευής χαρτών ενδιαφέροντος για την βάση δεδομένων του Toronto.... 42 xi

Σχήμα 3.5 Σχήμα 3.6 Σχήμα 3.7 Σχήμα 3.8 Αξιολόγηση των ποσοστών επιτυχίας του προτεινόμενου αλγόριθμου με την χρησιμοποίηση υπερπλήρων λεξικών αραιής κωδικοποίησης που έχουν κατασκευαστεί με διαφορετικές προσεγγίσεις.... 44 (α)-(στ) Αποτελέσματα για την αξιολόγηση των μεθόδων κατασκευής χαρτών ενδιαφέροντος για τα σετ C1-C6 της βάσης δεδομένων McGill ImgSal.... 47 Χάρτες οπτικού ενδιαφέροντος σε τεχνητές εικόνες ψυχοφυσικού ερεθίσματος. (α) Στοιχεία με διαφορά στο χρώμα, (β) στοιχεία με διαφορά στον προσανατολισμό, (γ) στοιχεία με διαφορά στην πυκνότητα.... 49 Χάρτες οπτικού ενδιαφέροντος σε τεχνητές εικόνες με συμπαγή σχήματα. (α) Αρχική εικόνα, (β) τα αποτελέσματα της μεθόδου ImgSig, (γ) τα αποτελέσματα της προτεινόμενης μεθόδου.... 49 Σχήμα 3.9 Χάρτες οπτικού ενδιαφέροντος σε φυσικές εικόνες.... 52 Σχήμα 4.1 Σχήμα 4.2 Σχήμα 4.3 Σχήμα 4.4 Σχήμα 4.5 Σχήμα 4.6 Σχήμα 5.1 Σχήμα 5.2 Σχήμα 5.3 Σχήμα 5.4 Σχήμα 5.5 Σχήμα 6.1 Παράδειγμα υπολογισμού σφάλματος αραιής κωδικοποίησης για τμήματα πολύπλοκης και απλούστερης δομής σε μια αεροφωτογραφία.... 61 Κατασκευή ενδιαμέσων χρωματικών χαρτών (α) χωρίς κανονικοποίηση, (β) με κανονικοποίηση.... 63 Παραδείγματα (α) κατάλληλης και (β) μη-κατάλληλης εικόνας για την αξιολόγηση μιας μεθόδου κατασκευής χαρτών οπτικού ενδιαφέροντος.... 64 Συγκριτική αξιολόγηση της επιτυχίας ανίχνευσης περιοχών ενδιαφέροντος για τον προτεινόμενο αλγόριθμο και άλλες σημαντικές μεθόδους του πεδίου.... 65 Επίδραση του μεγέθους του στοιχειώδους τμήματος αναπαράστασης στην επίδοση του αλγορίθμου.... 67 Παραδείγματα εφαρμογής της μεθόδου κατασκευής χαρτών ενδιαφέροντος σε εικόνες αεροφωτογραφίας.... 70 Διαδικασία κατασκευής ιστογράμματος με την χρησιμοποίηση των συνιστωσών αραιής κωδικοποίησης... 77 Τροποποίηση του απλού ιστογράμματος συνιστωσών αραιής κωδικοποίησης με την χρήση της πληροφορίας από τον χάρτη ενδιαφέροντος.... 78 (α) Μέση τιμή ενεργοποίησης και (β) διακύμανση τιμών ενεργοποίησης, για τους χάρτες οπτικού ενδιαφέροντος των πρώτων 1000 εικόνων της βάσης δεδομένων UC Merced LULC.... 79 Ποσοστά επιτυχούς ταξινόμησης για τις κατηγορίες εικόνων της βάσης δεδομένων UC Merced LULC.... 82 Απεικόνιση χαρακτηριστικών εικόνων για κάποιες από τις κατηγορίες της βάσης UC Merced LULC καθώς και των χαρτών ενδιαφέροντος που τους αντιστοιχούν. (α) dense residential, (β) sparse residential, (γ) harbor, (δ) parking lot.... 83 (α) Κεντρικό πεδίο όρασης - κεντρικό βοθρίο (central fovea). (β) Οι μύες του οφθαλμοκινητικού συστήματος (extraocular muscles).... 90 xii

Σχήμα 6.2 Σχήμα 7.1 Σχήμα 7.2 Σχήμα 7.3 Σχήμα 7.4 Σχήμα 7.5 Σχήμα 7.6 Σχήμα 7.7 Σχήμα 7.8 Σχήμα 8.1 Σχήμα 8.2 Σχήμα 8.3 Σχήμα 8.4 Σχήμα 8.5 Επίδραση νοητικής εργασίας στον σχηματισμό οπτικών μονοπατιών (α) Αρχική εικόνα. (β) Μονοπάτι που προκύπτει από ελεύθερη παρατήρηση. (γ) Μονοπάτι που προκύπτει κατά την διαπραγμάτευση του ερωτήματος εκτιμήστε την περιουσιακή κατάσταση της οικογένειας. (Έγχρωμη αναπαράσταση των αποτελεσμάτων από [Yar67])... 92 Κατανομή των οφθαλμικών κινήσεων πάνω σε οπτικό ερέθισμα εικόνας προσώπου.... 99 Απομάκρυνση των δειγμάτων ακραίων τιμών (κυκλωμένα δείγματα) μέσω της χρήσης μιας δομής ΕΔΔ δύο-σταδίων.... 102 Παραδείγματα εφαρμογής του Wald-Wolfowitz test σε πρότυπα οφθαλμικής κίνησης (α) που προέρχονται από το ίδιο άτομο, (β) που προέρχονται από διαφορετικά άτομα.... 104 Καμπύλη ROC και υπολογισμός EER για την προτεινόμενη μέθοδο βιομετρικής αναγνώρισης με βάση χαρακτηριστικά της οφθαλμικής κίνησης στο πεδίο του χώρου.... 108 Τμηματοποίηση ενός χρονικού σήματος οφθαλμικής κίνησης μέσω της ανίχνευσης των σακκαδικών κινήσεων.... 110 Κατασκευή του χώρου των χαρακτηριστικών με την χρήση των δειγμάτων ταχύτητας και επιτάχυνσης του σήματος οφθαλμικής κίνησης....111 Κατασκευή κοινού ΕΔΔ και υπολογισμός R και W(a) για την περίπτωση δειγμάτων που προέρχονται από το ίδιο άτομο, (β) για την περίπτωση δειγμάτων που προέρχονται από διαφορετικά άτομα.... 112 Επίδραση της χρήση παραγώγων υψηλότερης τάξης κατά την εξαγωγή χαρακτηριστικών στα ποσοστά αναγνώρισης.... 115 Μετατροπή μιας ακατέργαστης καταγραφής οφθαλμικής κίνησης σε ένα χάρτη διακριτών σημείων προσήλωσης.... 124 Επίδραση της παραμέτρου σ του Gaussian φίλτρου στον τελικό χάρτη ενδιαφέροντος οφθαλμικών κινήσεων. (α) σ = 0.008, (β) σ = 0.016, (γ) σ = 0.032 and (δ) σ = 0.064 (σ κανονικοποιημένο στο πλάτος του χάρτη).... 125 Σύγκριση χαρτών ενδιαφέροντος οφθαλμικών κινήσεων με την χρήση του Μέτρου Ομοιότητας (α) για την περίπτωση δειγμάτων που προέρχονται από το ίδιο άτομο και (β) για την περίπτωση δειγμάτων που προέρχονται από διαφορετικά άτομα.... 127 Καμπύλες Χαρακτηριστικών Λειτουργίας Συστήματος (ROC curves) για το μέτρο: Βαθμός Ομοιότητας (Similarity Score).... 133 Καμπύλες Χαρακτιριστικών Λειτουργίας Συστήματος (ROC curves) για το μέτρο: Απόκλιση Kullback-Leibler (KL-Divergence).... 134 xiii

xiv

Κατάλογος Πινάκων Πίνακας 3.1 Πίνακας 4.1 Πίνακας 4.2 Πίνακας 7.1 Πίνακας 7.2 Πίνακας 7.3 Πίνακας 7.4 Πίνακας 8.1 Πίνακας 8.2 Πίνακας 8.3 Πίνακας 8.4 Βέλτιστες τιμές AUC score για τις μεθόδους κατασκευής χαρτών ενδιαφέροντος στο σετ δεδομένων του Toronto, στα σετ C1-C6 McGill ImgSal και υπολογισμός μέσου όρου από όλα τα σετ δεδομένων....47 Σύγκριση επιδόσεων των εξεταζόμενων μεθόδων για την βάση δεδομένων αεροφωτογραφίας... 66 Σύγκριση των ποσοστών επιτυχούς ανίχνευσης περιοχών ενδιαφέροντος που προκύπτουν με την χρήση εναλλακτικών προσεγγίσεων για την κατασκευή των υπερπλήρων λεξικών... 67 Ποσοστά επιτυχούς αναγνώρισης για την προτεινόμενη μέθοδο σε σύγκριση με άλλα χαρακτηριστικά/μεθόδους... 107 Ακρίβεια Αναγνώρισης 1ου Βαθμού (Rank-1 Identification Accuracy) για τα σετ δεδομένων Α και Β... 114 Εξέταση της επίδρασης της χρήσης πληροφορίας που προέρχεται από τους δύο οφθαλμούς στα ποσοστά αναγνώρισης του αλγορίθμου... 116 Ακρίβεια Αναγνώρισης 1ου Βαθμού (Rank-1 Identification Accuracy) για τα δείγματα άγνωστης ταυτότητας από τα σετ δεδομένων Α και Β του διαγωνισμού EMVIC 2012... 117 Ακρίβεια Αναγνώρισης 1 ου Βαθμού (Rank-1 Identification Accuracy) για το μέτρο Βαθμός Ομοιότητας και για διαφορετικές τιμές της παραμέτρου σ του Gaussian πυρήνα... 131 Ακρίβεια Αναγνώρισης 1ου Βαθμού (Rank-1 Identification Accuracy) για το μέτρο Απόκλιση Kullback-Leibler και για διαφορετικές τιμές της παραμέτρου σ του Gaussian πυρήνα... 131 Ακρίβεια Αναγνώρισης 1ου Βαθμού (Rank-1 Identification Accuracy) για το μέτρο Βαθμός Ομοιότητας και για διαφορετικό πλήθος χρησιμοποιούμενων συνιστωσών PCA... 132 Ακρίβεια Αναγνώρισης 1ου Βαθμού (Rank-1 Identification Accuracy) για το μέτρο Απόκλιση Kullback-Leibler και για διαφορετικό πλήθος χρησιμοποιούμενων συνιστωσών PCA... 132 xv

xvi

Κατάλογος Συντμήσεων 1. PCA : Principal Component Analysis 2. GSCNG : Generalized Sparse Coding Neural Gas 3. DCT : Discete Cosine Transform 4. OMP : Orthogonal Matching Pursuit 5. ICOPP : Intensity Color Opponent 6. AUC : Area Under Curve 7. LULC : Land Use-Land Cover 8. ΕΔΔ : Ελάχιστο Διασυνδετικό Δένδρο 9. MST : Minimum Spanning Tree 10. OFC : Outlier Factor of Clusters 11. FAR : False Acceptance Rate 12. FRR : False Rejection Rate 13. EER : Equal Error Rate 14. EMVIC : Eye Movements Verification and Identification Contest 15. ACC1 : Rank-1 Accuracy xvii

xviii

Κατάλογος Απόδοσης Όρων 1. ανθρωποκεντρική : anthropocentric 2. βιολογικά-πιθανός : bio-plausible 3. βιολογικής-έμπνευσης : bio-inspired 4. υποδεκτικά πεδία : receptive fields 5. Ανάλυση Κυρίαρχων Συνιστωσών : Principal Component Analysis 6. αραιή αναπαράσταση : sparse representation 7. υπερπλήρες λεξικό : overcomplete dictionary 8. χάρτης οπτικού ενδιαφέροντος : saliency map 9. μηχανισμός κεντρικής-περιβάλλουσας : center-surround mechanism 10. προσέγγιση χαλαρού-ανταγωνισμού : soft-competitive approach 11. Χαρακτηριστική καμπύλη Συστήματος : Receiver Operating Characteristic curve 12. Εμβαδό Κάτω από την Καμπύλη : Area Under Curve 13. φαινόμενα τάσης προς το κέντρο : center bias effects 14. εικόνες χρήσης γης-κάλυψης γης : Land Use-Land Cover images 15. οφθαλμοκινητικό σύστημα : oculomotor system 16. κινήσεις προσήλωσης : fixations 17. σακκαδικές κινήσεις : saccades 18. συσκευή καταγραφής οφθαλμικών κινήσεων : eye tracker 19. συμπεριφορικά χαρακτηριστικά : behavioral characteristics 20. Θεωρία Οπτικών Μονοπατιών : Scanpath Theory 21. μηχανισμοί από-κάτω-προς-τα-πάνω : bottom-up mechanisms 22. μηχανισμοί από-πάνω-προς-τα-κάτω : top-down mechanisms 23. Ελάχιστο Διασυνδετικό Δένδρο : Minimum Spanning Tree 24. φαινόμενα εκμάθησης : learning effects 25. Ποσοστό Εσφαλμένης Αποδοχής : False Acceptance Rate 26. Ποσοστό Εσφαλμένης Απόρριψης : False Rejection Rate 27. Ποσοστό Ίσου Σφάλματος : Equal Error Rate 28. ακρίβεια αναγνώρισης 1 ου Βαθμού : Rank-1 identification accuracy 29. φαινόμενο κυριαρχίας δεξιού οφθαλμού : right ocular dominance 30. Βαθμός Ομοιότητας : Similarity Score xix

xx

Κεφάλαιο 1 Εισαγωγή Κεφάλαιο 1 Εισαγωγή 1.1 Αντικείμενο της Διδακτορικής Διατριβής Τα εκατομμύρια χρόνια εξελικτικής πορείας και το δαιδαλώδες περιβάλλον το οποίο αντιμετωπίζει με επιτυχία καθημερινά ο ανθρώπινος εγκέφαλος τον έχουν μετατρέψει στο τελειότερο σύστημα επεξεργασίας της οπτικής πληροφορίας. Δεν προκαλεί έκπληξη λοιπόν το γεγονός ότι η επιστημονική έρευνα στον τομέα της υπολογιστικής όρασης έχει στραφεί τα τελευταία χρόνια προς μια προσέγγιση η οποία αντί να αντιλαμβάνεται το περιεχόμενο μιας εικόνας μόνο υπό το πρίσμα μαθηματικών και γεωμετρικών εννοιών, αξιοποιεί τα ευρήματα από επιστήμες όπως η νευροφυσιολογία και η νευροψυχολογία για την ανάπτυξη και την βελτίωση μοντέλων αναπαράστασης της οπτικής πληροφορίας. Οι μελέτες που έχουν γίνει στο σύστημα όρασης του ανθρώπου και γενικότερα των πρωτευόντων έχουν αποκαλύψει χρήσιμα δεδομένα σχετικά με τον τρόπο με τον οποίο πραγματοποιείται η κωδικοποίηση των στοιχειωδών χαρακτηριστικών που απαρτίζουν το περιεχόμενο μιας εικόνας. Πάνω σε αυτό το πλαίσιο έχει προταθεί η υπόθεση ότι η αραιή αναπαράσταση (sparse representation) με την χρησιμοποίηση ενός υπερπλήρους συνόλου οπτικών στοιχείων μοιάζει ως ένας βιολογικά-πιθανός (bio-plausible) μηχανισμός για την κωδικοποίηση της οπτικής πληροφορίας κατά τα πρωταρχικά στάδια επεξεργασίας του

2 Ενότητα 1.1 εγκεφάλου [OF97]. Σε αυτήν την υπόθεση φαίνεται να συνηγορούν δύο σημαντικά στοιχεία: α) ο τρόπος με τον οποίο εκτελείται η επεξεργασία από τα νευρικά δίκτυα στον οπτικό φλοιό του εγκεφάλου, με την ύπαρξη εξαιρετικά μεγάλου πλήθους λειτουργικών μονάδων αλλά την ενεργοποίηση μόνο λιγοστών από αυτές κάθε φορά για την αναπαράσταση ενός οπτικού προτύπου και β) τα αποτελέσματα πειραμάτων σε πρωτεύοντα μέσω των οποίων έχει αποδειχθεί ότι τα χρησιμοποιούμενα πρότυπα κατά την διαδικασία ανάλυσης του οπτικού περιβάλλοντος ομοιάζουν σε μεγάλο βαθμό με αυτά τα οποία μπορούν να δημιουργηθούν υπολογιστικά μέσω της εφαρμογής διαδικασιών αραιής κωδικοποίησης σε δεδομένα φυσικών εικόνων. Πέραν της ανάλυσης των βιολογικών μηχανισμών που υλοποιούνται για την αναπαράσταση των στοιχειωδών οπτικών χαρακτηριστικών, πολύ σημαντικό ρόλο σε μια ανθρωποκεντρική θεώρηση για την ανάλυση της οπτικής πληροφορίας διαδραματίζει επίσης και η καταγραφή, ανάλυση και εξομοίωση των μηχανισμών μέσω των οποίων ο άνθρωπος επεξεργάζεται το οπτικό περιεχόμενο. Πάνω σε αυτό το πεδίο έρευνας έχουν αναπτυχθεί τα τελευταία χρόνια υπολογιστικά μοντέλα τα οποία αποσκοπούν στην προσομοίωση των διαδικασιών οπτικής προσοχής και στην δημιουργία αναπαραστάσεων για την ανάδειξη περιοχών ενδιαφέροντος σε οπτικά δεδομένα, με τρόπο που να συμβαδίζει με την ανθρώπινη αντίληψη [BI13]. Η αξιολόγηση της ομοιότητας των αναπαραστάσεων που προκύπτουν από αυτές τις προσεγγίσεις με τα δεδομένα της ανθρώπινης αντίληψης είναι δυνατόν να πραγματοποιηθεί είτε με την χειροκίνητη κατάδειξη των σημαντικών οπτικών στοιχείων από ανθρώπινα υποκείμενα είτε με την αυτόματη καταγραφή της οπτικής συμπεριφοράς ενός παρατηρητή χρησιμοποιώντας μια συσκευή καταγραφής οφθαλμικών κινήσεων (eye tracker). Η ανάπτυξη μοντέλων αναπαράστασης του οπτικού ενδιαφέροντος μπορεί να ωφελήσει πολλαπλώς τους αλγόριθμους υπολογιστικής όρασης καθώς είναι δυνατόν να αξιοποιηθεί για την απομόνωση των σημαντικών χαρακτηριστικών μιας εικόνας, βελτιώνοντας τις δυνατότητες ανάλυσης του περιεχομένου μιας οπτικής πηγής και ελαττώνοντας ταυτόχρονα το υπολογιστικό κόστος που συνεπάγεται η επεξεργασία ολόκληρης της οπτικής πληροφορίας. Εξετάζοντας την μελέτη των ανθρωποκεντρικών μηχανισμών επεξεργασίας της οπτικής πληροφορίας από μια συμπληρωματική σκοπιά, πέραν της αξιοποίησης της καταγραφής των δεδομένων της ανθρώπινης αντίληψης με σκοπό την εξαγωγή συμπερασμάτων σχετικά με το περιεχόμενο του οπτικού περιβάλλοντος, είναι επίσης δυνατή η ανάλυση του σήματος της οπτικής παρατήρησης καθαυτού, με σκοπό την εξαγωγή χαρακτηριστικών που σχετίζονται με την δομή του οπτικού συστήματος παρατήρησης αλλά και με την συμπεριφορά ενός παρατηρητή. Πάνω σε αυτό το πλαίσιο, έχει μελετηθεί τα τελευταία χρόνια η δυνατότητα εξαγωγής ιδιοσυγκρασιακών χαρακτηριστικών από το ανθρώπινο σύστημα οφθαλμικής κίνησης και η αξιοποίησή τους με σκοπό την βιομετρική αναγνώριση [KKK12]. Με δεδομένο ότι οι οφθαλμικές κινήσεις κατά την παρατήρηση κάποιου οπτικού ερεθίσματος ενσωματώνουν με δυναμικό τρόπο χαρακτηριστικά που σχετίζονται τόσο με την δομή του συστήματος όρασης (physical characteristics) όσο και με την λειτουργία του εγκεφάλου (behavioral characteristics), η μελέτη τους στον τομέα της βιομετρικής αναγνώρισης παρουσιάζει ιδιαίτερο ενδιαφέρον εάν ληφθεί υπόψιν η σύγχρονη αναγκαιότητα για δυναμικά συστήματα που μπορούν να προσφέρουν ενισχυμένη ασφάλεια.

Κεφάλαιο 1 3 Η έρευνα που διεξήχθη στην παρούσα διδακτορική διατριβή κινήθηκε σε δύο άξονες, αντιμετωπίζοντας την ανθρωποκεντρική επεξεργασία και ανάλυση της οπτικής πληροφορίας και από τις δύο συμπληρωματικές σκοπιές που αναφέρθηκαν παραπάνω. Στο πρώτο σκέλος της έρευνας μελετήθηκαν και αναπτύχθηκαν μέθοδοι με σκοπό την αξιοποίηση των βιολογικά-πιθανών μηχανισμών αραιής κωδικοποίησης για την κατασκευή χαρτών ανάδειξης του οπτικού ενδιαφέροντος (saliency maps) σε δεδομένα εικόνας αλλά και για την αξιοποίηση των χαρτών σε εφαρμοσμένα προβλήματα υπολογιστικής όρασης. Στο δεύτερο σκέλος της έρευνας μελετήθηκαν και υλοποιήθηκαν αλγοριθμικά σχήματα με αντικείμενο την εξαγωγή χωρικών και χρονικών χαρακτηριστικών από τις οφθαλμικές κινήσεις κατά την διαδικασία παρατήρησης ενός οπτικού ερεθίσματος και την αξιοποίησή τους στον τομέα της βιομετρικής αναγνώρισης. 1.2 Γενική Επισκόπηση της Διδακτορικής Διατριβής Όσον αφορά τον πρώτο άξονα πάνω στον οποίο διεξήχθη η έρευνα της παρούσας διδακτορικής διατριβής, με αντικείμενο την ανάπτυξη και αξιοποίηση μοντέλων αναπαράστασης του οπτικού ενδιαφέροντος με την χρήση χαρακτηριστικών αραιής κωδικοποίησης, προέκυψαν και αντιμετωπίστηκαν πολλά ενδιαφέροντα ερευνητικά ερωτήματα όπως: Με ποιόν τρόπο μπορούν να συνδυαστούν αποδοτικά οι συνιστώσες αραιής κωδικοποίησης που προκύπτουν από την αναπαράσταση των τμημάτων μιας εικόνας έτσι ώστε να δημιουργηθεί ένας χάρτης στον οποίο να καταδεικνύονται οι περιοχές που παρουσιάζουν σχετικό ενδιαφέρον με βάση το καθολικό περιεχόμενο της εικόνας; Πως μπορεί να αξιοποιηθεί το σφάλμα κωδικοποίησης που προκύπτει από την διαδικασία τοπικής αραιής αναπαράστασης για την ανάπτυξη μιας μεθόδου δημιουργίας χαρτών τοπικού οπτικού ενδιαφέροντος από εικόνες; Ποιες είναι οι δυνατότητες αυτής της προσέγγισης στην εξειδικευμένη περίπτωση εφαρμογής της σε δεδομένα τύπου αεροφωτογραφίας; Είναι δυνατή η αξιοποίηση των αναπτυχθέντων αλγορίθμων κατασκευής χαρτών οπτικού ενδιαφέροντος για την βελτίωση των αποτελεσμάτων ταξινόμησης σε μια εφαρμογή κατηγοριοποίησης εικόνων και αν ναι υπό ποιες συνθήκες; Στα πλαίσια της ανάπτυξης τεχνικών για την αξιοποίηση των αναπαραστάσεων τοπικής αραιής κωδικοποίησης στον τομέα της μοντελοποίησης της οπτικής προσοχής προτάθηκε μια διαδικασία μέσω της οποίας είναι δυνατή η ανάδειξη της σπανιότητας των οπτικών λέξεων που χρησιμοποιούνται για την περιγραφή των τμημάτων μιας εικόνας, υιοθετώντας την απόσταση Hamming για την σύγκριση των ενεργοποιήσεων των συνιστωσών αραιής κωδικοποίησης. Ο μηχανισμός αυτός χρησιμοποιήθηκε στην συνέχεια σαν βάση για την αξιολόγηση της σημαντικότητας του κάθε τμήματος της εικόνας και την κατασκευή χαρτών οπτικού ενδιαφέροντος. Θεωρώντας το σφάλμα αραιής κωδικοποίησης ως ένα μέτρο της ελλιπούς αναπαράστασης πολύπλοκων τμημάτων μιας εικόνας με την χρήση περιορισμένων πόρων -

4 Ενότητα 1.2 αραιές συνιστώσες - αναπτύχθηκε ένα σχήμα επεξεργασίας για την αξιοποίησή του στην κατάδειξη περιοχών ενδιαφέροντος παράλληλα με μια μελέτη των δυνατοτήτων του σχήματος που υλοποιήθηκε να ανιχνεύει σημαντικές δομές σε εικόνες αεροφωτογραφίας. Με δεδομένο ότι ο απώτερος σκοπός μια μεθόδου κατασκευής χαρτών οπτικού ενδιαφέροντος είναι συνήθως η αξιοποίησή της στο πεδίο ενός εφαρμοσμένου προβλήματος υπολογιστικής όρασης, μελετήθηκε η δυνατότητα τροποποίησης ενός ιστογράμματος περιεχομένου, το οποίο μπορεί να κατασκευαστεί από τις συνιστώσες αραιής αναπαράστασης, με την ενσωμάτωση πληροφορίας σχετικής με το τοπικό ενδιαφέρον και αξιολογήθηκε η συμπεριφορά του τροποποιημένου χαρακτηριστικού στον τομέα της κατηγοριοποίησης δεδομένων αεροφωτογραφίας. Όσον αφορά τον δεύτερο άξονα έρευνας, ο οποίος είχε ως αντικείμενο την εξαγωγή και σύγκριση χαρακτηριστικών από σήματα οφθαλμικής κίνησης με σκοπό την υλοποίηση βιομετρικής αναγνώρισης, τα σημαντικότερα ερευνητικά ερωτήματα τα οποία αντιμετωπίστηκαν μπορούν να συνοψιστούν ως εξής: Ποια μπορεί να είναι η επιτυχία ενός πλαισίου αναπαράστασης και σύγκρισης που βασίζεται στους γράφους, στον τομέα της βιομετρικής αναγνώρισης με την χρήση χωρικών και χρονικών χαρακτηριστικών που μπορούν να εξαχθούν από τις οφθαλμικές κινήσεις; Με ποιον τρόπο μπορεί να αξιοποιηθεί μια αναπαράσταση μορφής χάρτη ενδιαφέροντος για την αποτύπωση των χαρακτηριστικών της κατανομής των οφθαλμικών κινήσεων στο επίπεδο του οπτικού ερεθίσματος, με απώτερο στόχο την χρησιμοποίησή της στον τομέα της βιομετρικής αναγνώρισης; Ποιον ρόλο διαδραματίζει η επιλογή του οπτικού ερεθίσματος κατά την εξαγωγή χαρακτηριστικών από τις οφθαλμικές κινήσεις και τι επιρροή έχει στα ποσοστά βιομετρικής αναγνώρισης; Με δεδομένη την ικανότητα των γράφων στην αναπαράσταση των σχέσεων που υπάρχουν ανάμεσα στα δεδομένα σε ένα χώρο χαρακτηριστικών, εξετάστηκε η δυνατότητα χρησιμοποίησης ενός πλαισίου επεξεργασίας που στηρίζεται σε μαθηματικά αντικείμενα αυτού του τύπου για την σύγκριση των πολυδιάστατων κατανομών που σχηματίζουν τα χαρακτηριστικά οφθαλμικής κίνησης που μπορούν να εξαχθούν τόσο από το πεδίο του χώρου όσο και από το πεδίο του χρόνου. Εξετάστηκε επίσης η δυνατότητα κατασκευής μιας αναπαράστασης χάρτη ενδιαφέροντος που μπορεί να υλοποιηθεί με την απευθείας χρήση των οφθαλμικών κινήσεων, και στην συνέχεια αξιολογήθηκαν τα αποτελέσματα που προκύπτουν από την χρησιμοποίηση εναλλακτικών τεχνικών για την σύγκριση των κατασκευασμένων χαρτών ενδιαφέροντος οφθαλμικών κινήσεων. Κατά την διάρκεια των πειραμάτων αξιολόγησης των αλγορίθμων που αναπτύχθηκαν, μελετήθηκε η επίδραση που έχει η χρησιμοποίηση διαφορετικού τύπου οπτικού ερεθίσματος στην διαδικασία εξαγωγής χαρακτηριστικών οφθαλμικής κίνησης (εξαγωγή σωματικών, συμπεριφορικών χαρακτηριστικών) και στα ποσοστά βιομετρικής αναγνώρισης

Κεφάλαιο 1 5 που μπορούν να επιτευχθούν. Οι διαφορετικοί τύποι οπτικού ερεθίσματος οι οποίοι εξετάστηκαν περιλάμβαναν: απλό ερέθισμα κινούμενου σημείου, εικόνες προσώπων (σε ένα πρωτότυπο πείραμα που διεξήχθη στα πλαίσια της παρούσας διατριβής), ακολουθίες βίντεο και αποσπάσματα κειμένων. 1.3 Διάρθρωση της Διδακτορικής Διατριβής Η αποτύπωση των αποτελεσμάτων της έρευνας η οποία διεξήχθη στην παρούσα διδακτορική διατριβή πραγματοποιήθηκε σε δύο μέρη τα οποία αντικατοπτρίζουν τους βασικούς άξονες πάνω στους οποίους κινήθηκε η ανθρωποκεντρική αντιμετώπιση για την επεξεργασία και ανάλυση της οπτικής πληροφορίας: το Μέρος Α, το οποίο περιλαμβάνει τα Κεφάλαια 2, 3, 4, 5, αφορά το τμήμα της έρευνας στο οποίο μελετήθηκε η μοντελοποίηση της οπτικής προσοχής και η ενσωμάτωση της πληροφορίας από τους χάρτες οπτικού ενδιαφέροντος σε προβλήματα υπολογιστικής όρασης. Το Μέρος Β, το οποίο περιλαμβάνει τα Κεφάλαια 6, 7, 8, αφορά την έρευνα που πραγματοποιήθηκε με αντικείμενο την εξαγωγή χαρακτηριστικών από την διαδικασία της ανθρώπινης οπτικής παρατήρησης και την αξιοποίησή τους στον τομέα της βιομετρικής αναγνώρισης. Το Κεφάλαιο 2 περιλαμβάνει μια εισαγωγική παρουσίαση πάνω σε βασικές έννοιες που αφορούν τα πεδία έρευνας στα οποία βασίστηκε η ανάπτυξη των μεθόδων που θα παρουσιαστούν στα Κεφάλαια 3, 4, 5. Το πρώτο πεδίο αφορά την υπολογιστική αντιμετώπιση των διαδικασιών αναπαράστασης της στοιχειώδους πληροφορίας στα πρώιμα στάδια οπτικής επεξεργασίας του εγκεφάλου και ιδιαίτερα τις διαδικασίες αραιής αναπαράστασης (sparse representation), οι οποίες έχει αποδειχθεί ότι είναι δυνατόν να υλοποιήσουν μοντέλα που είναι συμβατά με τους βιολογικούς μηχανισμούς όρασης. Το δεύτερο πεδίο αφορά τον τομέα της μοντελοποίησης της οπτικής προσοχής και της κατασκευής χαρτών οπτικού ενδιαφέροντος, που ήταν και το βασικό αντικείμενο που μελετήθηκε, υλοποιήθηκε και αξιολογήθηκε στα Κεφάλαια 3, 4, 5. Στο Κεφάλαιο 3 παρουσιάζεται και αξιολογείται η μέθοδος η οποία αναπτύχθηκε για την δημιουργία χαρτών οπτικού ενδιαφέροντος από δεδομένα εικόνας με την καθολική σύγκριση των συνιστωσών αναπαράστασης που προκύπτουν από την τοπική αραιή κωδικοποίηση στα τμήματα μιας εικόνας. Το σχήμα επεξεργασίας δομήθηκε με τέτοιο τρόπο ώστε να αναδεικνύει δυναμικά την πληροφορία ενδιαφέροντος στο συνολικό περιεχόμενο της εικόνας και κατά την ανάπτυξη της μεθόδου αντλήθηκαν στοιχεία ανθρωποκεντρικής προσέγγισης, τα οποία αξιοποιήθηκαν τόσο για την βελτίωση των διαδικασιών ανάλυσης της πληροφορίας όσο και για την αξιολόγηση της συμβατότητας του αλγόριθμου που υλοποιήθηκε με τα δεδομένα της ανθρώπινης αντίληψης. Το Κεφάλαιο 4 περιλαμβάνει την παρουσίαση του αλγοριθμικού σχήματος για την δημιουργία χαρτών ενδιαφέροντος που στηρίζεται στην αξιοποίηση του σφάλματος κωδικοποίησης της τοπικής αραιής αναπαράστασης μιας εικόνας και τον συσχετισμό του με την δυσκολία πιστής αναπαράστασης δομών σχετικής πολυπλοκότητας. Η ανάπτυξη της μεθόδου υλοποιήθηκε παράλληλα με την διεξαγωγή μιας πρωτότυπης έρευνας σχετικά με την ικανότητα των χαρτών οπτικού ενδιαφέροντος να ανιχνεύουν σημαντικά στοιχεία σε

6 Ενότητα 1.3 δεδομένα τύπου αεροφωτογραφίας, δίνοντας την δυνατότητα αξιολόγησης της προτεινόμενης μεθόδου αλλά και άλλων σημαντικών αλγορίθμων κατασκευής χαρτών ενδιαφέροντος, στο συγκεκριμένο πεδίο. Στο Κεφάλαιο 5 θα παρουσιαστεί μια μέθοδος που αναπτύχθηκε για την προέκταση των ευρημάτων των δύο προηγούμενων κεφαλαίων στον τομέα της κατηγοριοποίησης εικόνων. Το χαρακτηριστικό αναπαράστασης που προτάθηκε περιλαμβάνει την τροποποίηση του ιστογράμματος περιεχομένου, που μπορεί να κατασκευαστεί από τις συνιστώσες τοπικής αραιής κωδικοποίησης, με την ενσωμάτωση της πληροφορίας τοπικού ενδιαφέροντος που μπορεί να εξαχθεί από έναν χάρτη μοντελοποίησης της οπτικής προσοχής. Το προτεινόμενο σχήμα επεξεργασίας αξιολογήθηκε με την χρήση μιας βάσης δεδομένων εικόνων αεροφωτογραφίας κατηγοριών χρήσης γης-κάλυψης γης, το οποίο έδωσε την ευκαιρία διερεύνησης της επίδρασης που μπορεί να έχει η εισαγωγή της πληροφορίας ενδιαφέροντος σε σχέση με τα ιδιαίτερα χαρακτηριστικά του περιεχομένου της κάθε κατηγορίας. Στο Κεφάλαιο 6 θα γίνει μια εισαγωγική παρουσίαση στην οποία περιγράφεται το σύστημα οφθαλμικής κίνησης καθώς και τα στοιχεία τα οποία ενέπνευσαν τον τομέα έρευνας της βιομετρικής αναγνώρισης με χαρακτηριστικά που μπορούν να εξαχθούν από τις οφθαλμικές κινήσεις. Επιπλέον, παρουσιάζονται οι προσεγγίσεις επεξεργασίας που έχουν παρουσιαστεί έως τώρα σε αυτόν το νεοσύστατο τομέα έρευνας και τα διαφορετικά χαρακτηριστικά που έχουν προταθεί για την εξαγωγή πληροφορίας βιομετρικής φύσης από την κίνηση των οφθαλμών. Στο Κεφάλαιο 7 παρουσιάζονται δύο μέθοδοι βιομετρικής αναγνώρισης των οποίων η υλοποίηση στηρίχθηκε στην αναπαράσταση με γράφους για την εξαγωγή και σύγκριση χαρακτηριστικών από τις οφθαλμικές κινήσεις, για χαρακτηριστικά του πεδίου του χώρου (κατανομές θέσης οφθαλμικής κίνησης) και του χρόνου (ταχύτητα/επιτάχυνση). Η διαδικασία της αξιολόγησης των αλγορίθμων περιλαμβάνει για τα μεν στοιχεία του χώρου την χρησιμοποίηση οφθαλμικών κινήσεων που έχουν καταγραφεί κατά την παρατήρηση ερεθίσματος εικόνων προσώπου, για τα δε στοιχεία του χρόνου έναν μεγάλο όγκο δεδομένων οφθαλμικής κίνησης που έχουν προέλθει από καταγραφές με ερέθισμα απλού κινούμενου σημείου. Στο Κεφάλαιο 8 παρουσιάζεται ένας αλγόριθμος βιομετρικής αναγνώρισης που περιλαμβάνει την δημιουργία μιας αναπαράστασης με την μορφή χάρτη ενδιαφέροντος από τις οφθαλμικές κινήσεις στο πεδίο του χώρου του οπτικού ερεθίσματος και τα εναλλακτικά σχήματα σύγκρισης που μπορούν να χρησιμοποιηθούν για τον δυναμικό έλεγχο της ομοιότητας των χαρτών που προέρχονται από διαφορετικά άτομα. Η αξιολόγηση της μεθόδου πραγματοποιήθηκε με την χρησιμοποίηση βάσεων δεδομένων καταγραφής οφθαλμικών κινήσεων για ερεθίσματα διαφορετικού τύπου (εικόνες προσώπων, ακολουθίες βίντεο, κείμενα) δίνοντας την ευκαιρία διερεύνησης των δυνατοτήτων βιομετρικής αναγνώρισης μέσω των οφθαλμικών κινήσεων για τους συγκεκριμένους τύπους ερεθίσματος. Στο Κεφάλαιο 9 γίνεται ο επίλογος στον οποίο συνοψίζονται τα αποτελέσματα που προέκυψαν από την έρευνα που διεξήχθη και προτείνονται ιδέες για μελλοντικές επεκτάσεις στα πεδία μελέτης της παρούσας διδακτορικής διατριβής.

Κεφάλαιο 1 7 1.4 Δημοσιεύσεις της Διδακτορικής Διατριβής Στα πλαίσια της διδακτορικής διατριβής προέκυψαν οι παρακάτω δημοσιεύσεις σε διεθνή περιοδικά και σε διεθνή συνέδρια με κριτές: Δημοσιεύσεις σε Διεθνή Περιοδικά [J.1] I. Rigas, G. Economou, and Sp. Fotopoulos, Biometric identification based on the eye movements and graph matching techniques, Pattern Recognition Letters (PRL), 33 (6), pp. 786-792, (2012) (5 αναφορές) [J.2] I. Rigas, G. Economou, and Sp. Fotopoulos, Low-Level Visual Saliency with Application on Aerial Imagery, IEEE Geoscience and Remote Sensing Letters, no.99, pp.1-5 (early access), (2013) [J.3] I. Rigas, G. Economou, and Sp. Fotopoulos, Bio-inspired Visual Saliency based on Sparse Coding and the Hamming Distance, Elsevier, Journal of Computer Vision and Image Understanding, (2013) (υπό κρίση) Δημοσιεύσεις σε Διεθνή Συνέδρια με Κριτές [C.1] I. Theodorakopoulos, I. Rigas, G. Economou, and S. Fotopoulos, Face Recognition via Local Sparse Coding, IEEE International Conference on Computer Vision (ICCV), pp. 1647-1652, (2011) [C.2] I. Rigas, G. Economou, and Sp. Fotopoulos, Human eye movements as a trait for biometrical identification, IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS), pp. 217-222, (2012) [C.3] P. Kasprowski, and I. Rigas, The influence of dataset quality on the results of behavioral experiments, International Conference of the Biometrics Special Interest Group (BIOSIG), (2013) [C.4] I. Rigas, O. Komogortsev, Biometric Identification via Fixation-generated Saliency Maps, ACM Symposium on Eye Tracking Research and Applications ETRA 2014 (υπό κρίση).

Μέρος Α

Κεφάλαιο 2 Ανθρωποκεντρική Αναπαράσταση της Οπτικής Πληροφορίας και Μοντελοποίηση του Οπτικού Ενδιαφέροντος Κεφάλαιο 2 Ανθρωποκεντρική Αναπαράσταση της Οπτικής Πληροφορίας και Μοντελοποίηση του Οπτικού Ενδιαφέροντος Σε αυτό το κεφάλαιο θα πραγματοποιηθεί μια εισαγωγική παρουσίαση πάνω στα πεδία έρευνας τα οποία αποτέλεσαν την βάση για την μελέτη και υλοποίηση των μεθόδων που θα παρουσιαστούν στα Κεφάλαια 3, 4 και 5. Ο σκοπός της πρώτης ενότητας του κεφαλαίου είναι να εξηγηθούν τα επιστημονικά κίνητρα τα οποία οδήγησαν στην επιλογή της αραιής κωδικοποίησης ως ενός μηχανισμού αναπαράστασης ο οποίος μπορεί να χρησιμοποιηθεί για την επεξεργασία και ανάλυση της οπτικής πληροφορίας με βάση την ανθρώπινη αντίληψη. Η παρουσίαση που θα γίνει θα εστιάσει κυρίως στα πρωταρχικά στάδια επεξεργασίας του οπτικού φλοιού κατά την διάρκεια των οποίων δημιουργούνται τα στοιχειώδη πρότυπα αναπαράστασης των οπτικών δεδομένων εισόδου. Τα πρότυπα αυτά λειτουργούν σαν βάση για την υλοποίηση πιο σύνθετων δομών και για την διεξαγωγή πιο πολύπλοκων λειτουργιών οπτικής επεξεργασίας, όπως για παράδειγμα η αναγνώριση αντικειμένων και η κατανόηση του περιεχομένου μιας σκηνής.

12 Ενότητα 2.1 Στην δεύτερη ενότητα του κεφαλαίου θα παρουσιαστούν τα βασικά χαρακτηριστικά του ερευνητικού πεδίου που αφορά την υπολογιστική μοντελοποίηση της οπτικής προσοχής. Μέσα από μια συνοπτική παρουσίαση των κυρίαρχων προσεγγίσεων που έχουν προταθεί για την δημιουργία αναπαραστάσεων των σημείων ενδιαφέροντος σε οπτικά δεδομένα, θα μελετηθούν τα διαφορετικά χαρακτηριστικά που μπορούν να εξαχθούν από μία εικόνα αλλά και οι εναλλακτικοί τρόποι με τους οποίους αυτά μπορούν να συνδυαστούν για την κατασκευή χαρτών που απεικονίζουν τις περιοχές οι οποίες είναι πιο πιθανό να τραβήξουν την προσοχή ενός ατόμου. 2.1 Η Αραιή Κωδικοποίηση ως ένας Μηχανισμός για την Αναπαράσταση της Οπτικής Πληροφορίας 2.1.1 Αναπαράσταση της Πληροφορίας στον Οπτικό Φλοιό του Εγκεφάλου Οι μελέτες της επιστήμης της νευροφυσιολογίας που εξερευνούν τους μηχανισμούς για την αναπαράσταση της πληροφορίας στον οπτικό φλοιό του εγκεφάλου, έχουν υποδείξει την ύπαρξη ενός συστήματος ιεραρχικής οργάνωσης σύμφωνα με το οποίο τα δεδομένα εισόδου διέρχονται διαδοχικά από ένα σύνολο σταδίων οπτικής επεξεργασίας με ολοένα και αυξανόμενη πολυπλοκότητα. Τα στάδια αυτά υλοποιούνται σε ένα σύνολο από διαφορετικές περιοχές του εγκεφάλου, όπως δεικνύεται στο Σχήμα 2.1 (a). Κατά το πρώτο επίπεδο επεξεργασίας (περιοχή πρωτοταγούς οπτικού φλοιού V1 - primary visual cortex) υλοποιείται η ανάλυση της οπτικής εισόδου με την χρησιμοποίηση χαρακτηριστικών αναπαράστασης χαμηλού επιπέδου με σκοπό την διεξαγωγή στοιχειωδών μορφών επεξεργασίας, όπως για παράδειγμα η εξαγωγή προτύπων και η τμηματοποίηση των περιοχών του περιβάλλοντος. Τα οπτικά χαρακτηριστικά διοχετεύονται στην συνέχεια, ακολουθώντας διαφορετικές νευρωνικές διαδρομές, σε περιοχές πολυπλοκότερης επεξεργασίας, στις οποίες δημιουργούνται αναπαραστάσεις που μπορεί να σχετίζονται με το τι υπάρχει στο οπτικό πεδίο (κοιλιακή οδός - κυρίως στις περιοχές V2, V4) αλλά και με το που βρίσκεται το κάθε τι στο οπτικό πεδίο (ραχιαία οδός - κυρίως στις περιοχές V2, MT/V5 και στον οπίσθιο βρεγματικό φλοιό) (Σχήμα 2.1 (b)). V3Α V3 κοιλιακή οδός τι V2 V5 V4 V1 V2 V3 V3Α ραχιαία οδός που (α) Σχήμα 2.1: (α) Οι περιοχές του εγκεφάλου στις οποίες πραγματοποιείται η ιεραρχική επεξεργασία της οπτικής πληροφορίας. (β) Διαδρομές που μπορεί να ακολουθήσει η οπτική πληροφορία για την δημιουργία αναπαραστάσεων που σχετίζονται με το τι και το που στο οπτικό πεδίο. (β)