Ανάκτηση Εικόνας βάσει Υφής με χρήση Eye Tracker

Ειδική Ερευνητική Εργασία Ανάκτηση Εικόνας βάσει Υφής με χρήση Eye Tracker ΚΑΡΑΔΗΜΑΣ ΗΛΙΑΣ Α.Μ. 323 Επιβλέπων: Σ. Φωτόπουλος Καθηγητής, Μεταπτυχιακό Πρόγραμμα «Ηλεκτρονική και Υπολογιστές», Τμήμα Φυσικής, Πανεπιστήμιο Πατρών Οκτώβριος 2010

Επιβλέποντες Σ. Φωτόπουλος, Καθηγητής, Τμήμα Φυσικής, Παν. Πατρών Γ. Οικονόμου, Αναπληρωτής Καθηγητής, Τμήμα Φυσικής, Παν. Πατρών Ε. Ζυγούρης, Αναπληρωτής Καθηγητής, Τμήμα Φυσικής, Παν. Πατρών

i Περίληψη Η ραγδαία αύξηση των εικόνων, σε συνδυασμό με την αδυναμία των συστημάτων ανάκτησης εικόνας βάσει περιεχομένου να εξάγουν σημασιολογικά χαρακτηριστικά, οδήγησαν στην εισαγωγή του ανθρώπινου παράγοντα στην πειραματική διαδικασία. Ένας πολύ συνηθισμένος και επιτυχημένος τρόπος χρησιμοποίησης του ανθρώπινου συστήματος όρασης είναι μέσω της καταγραφής των οφθαλμικών κινήσεων. Στο σύστημα ανάκτησης το οποίο προτείνεται στην παρούσα εργασία γίνεται καταγραφή των σημείων εστίασης που προέκυψαν κατά την παρατήρηση των εικόνων βάσεως. Από τα σημεία αυτά, γίνεται εξαγωγή χαρακτηριστικών υφής με δύο μεθόδους, τα φίλτρα Gabor και το διακριτό μετασχηματισμό συνημιτόνου (DCT), παράγοντας πολυδιάστατα διανύσματα. Τα διανύσματα αυτά συγκρίνονται ανά δύο μέσω του μη παραμετρικού WW test, δημιουργώντας έναν πίνακα αποστάσεων. Με την εισαγωγή μιας ζητούμενης εικόνας στο σύστημα, τα χαρακτηριστικά υφής της συγκρίνονται με αυτά της βάσης προσθέτοντας μια επιπλέον διάσταση στον πίνακα απόστασης. Η απεικόνιση της σχέσης μεταξύ όλων των εικόνων (συμπεριλαμβανομένης και της αιτούμενης) γίνεται σε ένα χάρτη τριών διαστάσεων μέσω πολυδιάστατης κλιμάκωσης (MDS αλγόριθμος). Τα αποτελέσματα τα οποία προέρχονται από τα φίλτρα Gabor παρουσιάζουν μεγαλύτερη αξιοπιστία, κάνοντας εφικτή την επέκταση του συστήματος με χρήση μίας μεγαλύτερης βάσης εικόνων.

Εισαγωγή iii Abstract The rapid increase of images, combined with the weakness of the Content Based Image Retrieval (CBIR) systems to extract semantic features, led to the introduction of the human factor into the experimental procedure. A very common and successful way of using the human vision system is through the record of eye movements. In the retrieval system which is proposed in the present thesis, the fixation points that arose from viewing the database images are recorded. From these points, the texture features are extracted using two methods, Gabor filters and Discrete Cosine Transform (DCT), producing multidimensional vectors. These vectors are compared through the non parametric WW test, creating a distance matrix. By producing a query image in the system, its texture features are compared to those of the database, adding an extra dimension to the distance matrix. The visual representation of the relation among all the images (query image included), is depicted in a three dimensional map using multidimensional scaling (MDS algorithm). The results obtained from Gabor filters are characterized by higher robustness, making the expansion of the system possible, by using a bigger image database.

v ΠΕΡΙΕΧΟΜΕΝΑ Περίληψη Abstract ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ 1 Εισαγωγή 1.1 Η ανάγκη για νέες τεχνικές ανάκτησης εικόνας 1.2 Ανάκτηση εικόνας βάσει περιεχομένου (CBIR) 1.2.1 Περιγραφή CBIR συστήματος 1.2.2 Εξαγωγή χαρακτηριστικών 1.2.2.1 Χαρακτηριστικά χρώματος 1.2.2.2 Χαρακτηριστικά υφής 1.2.2.3 Χαρακτηριστικά σχήματος 1.2.3 Συστήματα ανάκτησης εικόνας 1.3 Ανάκτηση εικόνας βάσει οπτικής πληροφορίας (VBIR) i iii v 1 1 3 3 5 5 6 6 7 9 ΚΕΦΑΛΑΙΟ Σύστημα όρασης και Eye Tracker (Οφθαλμικός Ιχνηλάτης) 2.1 Εισαγωγή 2.2 Σύστημα όρασης 2.2.1 Ο ανθρώπινος οφθαλμός 2.2.2 Φωτοϋποδοχείς αμφιβληστροειδούς 2.2.3 Πεδίο όρασης 2.2.4 Οφθαλμοκινητικοί μύες 2.2.5 Οφθαλμικές κινήσεις 2.3 Eye Tracker (Οφθαλμικός Ιχνηλάτης) 2.3.1 Τεχνικές καταγραφής οφθαλμικών κινήσεων 2.3.1.1 Καταγραφή κίνησης της κόρης (pupil tracking) 2.3.1.2 Καταγραφή κίνησης της ίριδας 2.3.1.3 Καταγραφή σχετικής θέσης κερατοειδή-κόρης 2.3.1.4 Καταγραφή με χρήση ηλεκτρο-οφθαλμογραφήματος 11 11 11 11 13 14 16 17 24 26 27 28 28

vi (electrooculography) 2.3.1.5 Τεχνολογία μέλλοντος 2.3.2 Εξοπλισμός καταγραφής και διαθέσιμο λογισμικό 2.3.3 Βαθμονόμηση Συστήματος 29 29 29 33 ΚΕΦΑΛΑΙΟ 3 Εργαλεία ανάλυσης 3.1 Εισαγωγή 3.2 Φίλτρα Gabor 3.2.1 Ανθρώπινο σύστημα όρασης και θεώρημα Gabor 3.2.2 Συναρτήσεις Gabor 3.2.3 Σχεδίαση φίλτρων Gabor 3.2.4 Ανεξαρτησία ως προς την περιστροφή 3.3 Διακριτός μετασχηματισμός συνημιτόνου (DCT) 3.4 Το πολυδιάστατο Wald-Wolfowitz test (WW test) 3.4.1 Δέντρο ελάχιστου μήκους (MST) 3.4.2 Περιγραφή του WW test 3.5 Πολυδιάστατη κλιμάκωση (MDS) 37 37 37 38 39 42 45 46 49 50 53 55 ΚΕΦΑΛΑΙΟ 4 Σχεδίαση και εκτέλεση πειράματος 4.1 Εισαγωγή 4.2 Μέθοδοι Ανάλυσης 4.2.1 Ανάλυση με χρήση Gabor φίλτρων 4.2.2 Ανάλυση με χρήση διακριτού μετασχηματισμού συνημιτόνου 4.2.3 Μέτρο (αν)ομοιότητας 4.2.4 Διαδικασία αξιολόγησης του συστήματος ανάκτησης 4.2.5 Οργάνωση βάσης εικόνων 4.3 Πειραματική Διαδικασία 4.3.1 Εκτέλεση πειράματος 4.3.2 Πειραματικά αποτελέσματα 4.3.3 Αξιολόγηση συστήματος 4.3.3.2 Ανάκτηση εικόνας με χρήση διακριτού 59 59 59 60 62 63 64 67 70 71 73 76

vii μετασχηματισμού συνημιτόνου 4.3.3.1 Ανάκτηση εικόνας με χρήση Gabor φίλτρων 77 81 ΣΥΜΠΕΡΑΣΜΑΤΑ ΑΝΑΦΟΡΕΣ 83 85

Εισαγωγή 1 ΚΕΦΑΛΑΙΟ 1 Εισαγωγή 1.1 Η ανάγκη για νέες τεχνικές ανάκτησης εικόνας Η ραγδαία ανάπτυξη της τεχνολογίας τα τελευταία χρόνια, παρέχει μεγάλες δυνατότητες στην πρόσβαση μεγάλου όγκου πληροφοριών σε ελάχιστο χρόνο. Οι υψηλές ταχύτητες πρόσβασης στο internet, καθώς και το μικρό κόστος αγοράς αποθηκευτικών μέσων, έχουν οδηγήσει στον καθημερινά αυξανόμενο αριθμό των προσιτών ψηφιακών εικόνων και πολυμέσων. Η ανάκτηση εικόνας υφίσταται ως κλάδος της επιστήμης από το 1970, στα πλαίσια εφαρμογών διαχείρισης Βάσεων Δεδομένων και Υπολογιστικής Όρασης (Computer Vision). Παρότι η κατηγοριοποίηση και ανάκτηση αρχείων κειμένων υλοποιείται με μεγάλη επιτυχία, η ανάκτηση εικόνων με βάση το περιεχόμενό τους παραμένει ακόμα πρόκληση για την ερεύνα στην επεξεργασία εικόνας. Η επιτυχία της παραπάνου μεθόδου ανάκτησης, ενέπνευσε την εφαρμογή αντίστοιχων τεχνικών ανάκτησης εικόνας βάσει κειμένου TBIR [1] (Texture Based Image Retrieval). Αντίστοιχες εφαρμογές χρησιμοποιούνται σε προγράμματα αναζήτησης όπως για παράδειγμα σε καταστήματα ηλεκτρονικού εμπορίου, σε βιβλιοθήκες, νοσοκομεία και άλλους οργανισμούς. Το βασικότερο μειονέκτημα των τεχνικών αυτών, βρίσκεται στο γεγονός ότι στηρίζονται στην περιγραφή της εικόνας από τον άνθρωπο με λέξεις. Όμως, η αντικειμενικότητα της ανθρώπινης αντίληψης δεν είναι δεδομένη, όπως επίσης είναι εύλογο ότι για το διαρκώς αυξανόμενο μέγεθος των συλλογών δεδομένων, η περιγραφή και επίβλεψή τους είναι μια επίπονη και χρονοβόρα διαδικασία. Τα παραπάνω οδήγησαν στο συμπέρασμα ότι στην ανάκτηση εικόνας κρίνεται επιτακτική η ανάγκη ανάπτυξης καινούριων και πιο πολύπλοκων τεχνικών, οι οποίες θα διέφεραν από τις ήδη υπάρχουσες. Ως εκ τούτου, έκαναν την εμφάνισή τους

2 Κεφάλαιο 1 συστήματα ανάκτησης εικόνας βάσει περιεχομένου CBIR (Content Based Image Retrieval). Στα CBIR συστήματα εξάγονται χαρακτηριστικά από κάθε εικόνα (χρώμα, σχήμα, υφή κ.α.), τα οποία την αντιπροσωπεύουν σε ένα πολυδιάστατο χώρο χαρακτηριστικών με ένα διάνυσμα. Τα διανύσματα αυτά, συγκρίνονται μέσω μέτρων απόστασης με όλες τις διαθέσιμες εικόνες της βάσης, παράγοντας έναν πίνακα ανομοιότητας. Στις περισσότερες περιπτώσεις, εισάγεται μία αιτούμενη εικόνα (query) στο σύστημα και σαν αποτέλεσμα επιστρέφονται οι περισσότερο όμοιες προς αυτή. Παρότι τα CBIR συστήματα κάνουν χρήση χαρακτηριστικών χαμηλού επιπέδου για την ανάκτηση, όπως έχει αποδειχθεί, οι άνθρωποι αλληλεπιδρούν με το περιεχόμενο της εικόνας σημασιολογικά. Δεδομένου ότι η σημασιολογική αντίληψη του ανθρώπου δε μπορεί να περιγραφεί αλγοριθμικά, τα σύγχρονα CBIR συστήματα προσπαθούν να εντάξουν το χρήστη στη διαδικασία, κάνοντάς την πιο ανθρωποκεντρική. Η ένταξη του ανθρώπινου παράγοντα στην πειραματική διαδικασία έχει επιχειρηθεί με διαφορετικούς τρόπους, με πιο απλό και συνηθισμένο, την βαθμολόγηση των αποτελεσμάτων ανάκτησης. Με αυτόν τον τρόπο εισάγεται σχετική ανάδραση από τον χρήστη (user-relevance feedback), με σκοπό την εκπαίδευση του συστήματος. Επίσης, αξίζει να σημειωθεί ότι διαφορετικά άτομα πιθανόν να αντιλαμβάνονται το ίδιο οπτικό περιεχόμενο με διαφορετικό τρόπο, κάνοντας αναγκαία την εύρεση όσο το δυνατόν περισσότερο αντικειμενικών προτύπων. Ένας άλλος τρόπος για την εισαγωγή του χρήστη στο σύστημα, υλοποιείται με τη χρήση του πληκτρολογίου ή του mouse, αξιολογώντας την ανάκτηση με βαθμολογία, ή με την οριοθέτηση περιοχών ενδιαφέροντος αντίστοιχα. Το πρόβλημα στις τεχνικές αυτές βρίσκεται στην έλλειψη άμεσης, φυσικής επικοινωνίας ανάμεσα στο χρήστη και το σύστημα, με αποτέλεσμα να μη μπορεί να εφαρμοστεί για μεγάλο χρονικό διάστημα. Όλα τα παραπάνω οδήγησαν στο συμπέρασμα ότι για την παροχή εύκολων στη χρήση ανθρωποκεντρικών συστημάτων, είναι αναγκαία η εισαγωγή συσκευών καταγραφής της ανθρώπινης όρασης όπως ο Eye Tracker. Ο Eye Tracker (οφθαλμικός ιχνηλάτης), είναι μία συσκευή η οποία μετρά και καταγράφει τις κινήσεις των οφθαλμών. Τα CBIR συστήματα τα οποία εντάσσουν την οπτική ανάδραση στις μετρήσεις τους χωρίς να επηρεάζουν το χρήστη, περιγράφονται με τον γενικότερο όρο, ανάκτηση εικόνας βάσει οπτικής πληροφορίας VBIR [2] (Vision Based Image Retrieval). Σε εφαρμογές ανάκτησης εικόνας, ο Eye Tracker μπορεί να χρησιμεύσει καταγράφοντας τις περιοχές με το μεγαλύτερο ενδιαφέρον (ROIs

Εισαγωγή 3 Regions Of Interest), ή ακόμα ως εργαλείο περιήγησης σε μεγάλες βάσεις εικόνων [3], [4]. Για να γίνει καλύτερα αντιληπτή η σύνδεση μεταξύ CBIR και Eye Tracker, καθώς και η σχέση ανάμεσα στις CBIR με τις VBIR τεχνικές, γίνεται μια εκτενής αναφορά τους στις επόμενες υποενότητες. 1.2 Ανάκτηση εικόνας βάσει περιεχομένου (CBIR) Ο όρος CBIR πρωτοεμφανίστηκε το 1992 από μία ομάδα ερευνητών, θέλοντας να περιγράψουν τα πειράματά ανάκτησης βάσει σχήματος και χρώματος τα οποία υλοποίησαν. Έκτοτε, ο όρος αυτός εδραιώθηκε στην ερευνητική κοινότητα από τον οργανισμό USNSF (US National Science Foundation). Στην παρούσα ενότητα, επιχειρείται η περιγραφή των βασικών χαρακτηριστικών που εξάγονται σε CBIR συστήματα, η επισκόπηση των γνωστών μεθόδων καθώς και οι προκλήσεις στην ανάκτηση εικόνας βάσει περιεχομένου. 1.2.1 Περιγραφή CBIR συστήματος Παρότι υπάρχουν πολλά διαφορετικά CBIR συστήματα, τα περισσότερα από αυτά ακολουθούν περίπου την ίδια διαδικασία. Η μεθοδολογία των CBIR συστημάτων βασίζεται στην εξαγωγή χαρακτηριστικών, τα οποία συγκρίνονται υπό μορφή πινάκων όπως και οι λέξεις σε ένα TBIR σύστημα. Η διαδικασία αυτή υλοποιείται στα ακόλουθα βήματα: Εξαγωγή χαρακτηριστικών: Αφού επιλεχθούν τα χαρακτηριστικά σύμφωνα με τα οποία θα γίνει η σύγκριση, εξάγονται τα διανύσματα-πίνακες μέσω μεθόδων επεξεργασίας εικόνας για κάθε εικόνα της βάσης. Αίτηση: Σε αυτό το στάδιο γίνεται η περιγραφή των επιθυμητών ανακτώμενων εικόνων από το σύστημα. Η αίτηση μπορεί να γίνει με πολλούς τρόπους. Ο πιο συνηθισμένος είναι η αίτηση μέσω παραδείγματος (query by example), κατά την οποία εισάγεται μία εικόνα στο σύστημα ζητώντας στην έξοδο όμοιες προς αυτή. Ταίριασμα: Σε αυτό το στάδιο συγκρίνονται τα διανύσματα των εικόνων βάσης με τα επιθυμητά χαρακτηριστικά του διανύσματος. Στην περίπτωση όπου το αίτημα είναι μία εικόνα, η σύγκριση γίνεται μέσω του πίνακα

4 Κεφάλαιο 1 χαρακτηριστικών της. Ο τρόπος με τον οποίο γίνεται η σύγκριση, εξαρτάται από το μέτρο (αν)ομοιότητας που χρησιμοποιείται. Ανάκτηση: Κατά τη διάρκεια του ταιριάσματος δημιουργείται ένας πίνακας αποστάσεων μεταξύ όλων των χαρακτηριστικών διανυσμάτων, από τον οποίο μπορεί να γίνει άμεση κατάταξη των εικόνων που μοιάζουν περισσότερο με τη ζητούμενη. Ο τρόπος απεικόνισης, μπορεί να γίνει σε μία διάσταση υπό μορφή λίστας, ή σε δύο έως τρείς διαστάσεις σε ένα χάρτη [5]. Η σχηματική απεικόνιση της παραπάνω διαδικασίας παρατίθεται στο σχήμα 1.1. Σχήμα 1.1 Γενική δομή ενός CBIR συστήματος Η αποτελεσματικότητα ενός CBIR συστήματος κρίνεται συνήθως με βάση το πλήθος των ανακτώμενων εικόνων που σχετίζονται με τη ζητούμενη. Τα πιο συνηθισμένα μέτρα αξιολόγησης των αποτελεσμάτων, είναι οι ποσότητες ακρίβειας (Precision) και ανάκλησης (Recall), των οποίων η αναλυτική περιγραφή βρίσκεται στην ενότητα 4.2. Οι δύο αυτές μεταβλητές μπορούν να χρησιμοποιηθούν ταυτόχρονα σε μία γραφική παράσταση ακρίβειας-ανάκλησης. Ένας άλλος τρόπος αξιολόγησης προϋποθέτει τη σύγκριση των αποτελεσμάτων με αυτά που προκύπτουν από προηγούμενα επιτυχημένα συστήματα. Το πρόβλημα σε αυτή την περίπτωση είναι η εύρεση των κατάλληλων εικόνων που θα μπορέσουν να καλύψουν ολόκληρη τη βάση. Μια άλλη προσέγγιση (η οποία υλοποιήθηκε στην παρούσα εργασία) προϋποθέτει τη χρήση μιας μικρότερης ενδεικτικής βάσης εικόνων με μικρό αριθμό κατηγοριών. Σε αυτή την υλοποίηση, επιλέγονται αντιπροσωπευτικές εικόνες με τις

Εισαγωγή 5 οποίες θα μπορεί να γίνει όσο το δυνατόν πιο αντικειμενική η προσομοίωση του συστήματος με την αυθεντική βάση. 1.2.2 Εξαγωγή χαρακτηριστικών Τα χαρακτηριστικά τα οποία εξάγονται από τις εικόνες μπορούν να χωριστούν σε βασικά και σημασιολογικά. Τα πρώτα, είναι χαμηλού επιπέδου χαρακτηριστικά, όπως η περίμετρος αντικειμένων και το χρωματικό ιστόγραμμα. Τα σημασιολογικά χαρακτηριστικά αναφέρονται σε εννοιολογικής φύσεως πληροφορίας, όπως η αναγνώριση ενός προσώπου σε μία μεγάλη βάση. Στις υποενότητες που ακολουθούν, γίνεται μια σύντομη περιγραφή των τριών πιο συνηθισμένων χαρακτηριστικών (χρώματος, υφής και σχήματος). 1.2.2.1 Χαρακτηριστικά χρώματος Τα χαρακτηριστικά χρώματος είναι ευρέως διαδεδομένα στην ανάκτηση εικόνας, δεδομένου ότι το χρώμα είναι άμεσα αντιληπτό από τον άνθρωπο κατά την παρατήρηση μίας εικόνας. Είναι ανεξάρτητα από τον θόρυβο, το μέγεθος και τη γωνία της εικόνας, αλλά μπορεί να επηρεαστεί από την υφή, τη φωτεινότητα και τα φαινόμενα σκίασης. Η αντιμετώπιση αυτών των χρωματικών μεταβολών, είναι εξαιρετικά δύσκολή, καθώς δεν εξάγεται πληροφορία για το περιεχόμενο της εικόνας. Τα συστήματα ανάκτησης βάσει χρώματος διαφέρουν ως προς τις ιδιότητές τους, καθιστώντας κάθε ένα από αυτά κατάλληλο για συγκεκριμένες εφαρμογές. Είναι πολύ σημαντικό ότι οι αποστάσεις των χρωμάτων στο χρωματικό σύστημα να αντιστοιχούν σε αυτές του συστήματος όρασης. Πολλά επιτυχημένα CBIR συστήματα βασίζονται σε έγχρωμα ιστογράμματα. Γενικά, το έγχρωμο ιστόγραμμα παρέχει χρήσιμα στοιχεία για τη μετέπειτα έκφραση της ομοιότητας μεταξύ δύο εικόνων, εξαιτίας της βέλτιστης απόδοσής του σε περίπλοκα φόντα των εικόνων και τις παραμορφώσεις αντικειμένων. Η αναπαράστασή τους προκύπτει από την καταμέτρηση των εικονοστοιχείων (pixels) κάθε χρώματος. Τα συστήματα τα οποία χρησιμοποιούν ιστογράμματα, επιδεικνύουν σημαντικά γρήγορη ταχύτητα ανάκτησης η οποία κάνει τις υλοποιήσεις πραγματικού χρόνου ευκολότερες. Το ολικό ιστόγραμμα [6] υπολογίζει την κοινή πιθανότητα των εντάσεων των χρωματικών καναλιών, περιγράφοντας την ολική κατανομή του χρώματος. Συνήθως, προτιμώνται για χρωματικές κατανομές υψηλών διαστάσεων.

6 Κεφάλαιο 1 1.2.2.2 Χαρακτηριστικά υφής Η υφή είναι μια γνωστή έννοια χωρίς όμως σαφή ορισμό. Τα χαρακτηριστικά τα οποία μπορούν να την περιγράψουν είναι τρία: Η τοπική επαναληπτικότητα η οποία εμφανίζεται σε μία μεγάλη περιοχή της εικόνας. Η μη τυχαιότητα της επαναληπτικής δομής. Τα δομικά στοιχεία τα οποία χαρακτηρίζουν τις περιοχές με μία υφή, είναι μονάδες με ομοιόμορφη κατανομή που έχουν τις ίδιες διαστάσεις. Τα δομικά αυτά στοιχεία πήραν την ονομασία textons το 1981. Οι υφές περιγράφονται κατά κύριο λόγο από τη χωρική τους συχνότητα και από τη διεύθυνσή τους. Επίσης, έχουν τη δυνατότητα να διαχωρίζουν περιοχές με το ίδιο χρώμα. Σε συνδυασμό με χρωματικά χαρακτηριστικά, η υφή μπορεί να αποτελέσει μέτρο ανίχνευσης αντικειμένων. Η περιγραφή τους μπορεί να γίνει μέσω στατιστικών, δομικών, στοχαστικών και συχνοτικών προσεγγίσεων. Οι στατιστικές προσεγγίσεις, χρησιμοποιούν μια ομάδα από χαρακτηριστικά όπως η αντίθεση και η εντροπία, για να αντιπροσωπεύσουν εικόνες υφής. Οι δομικές, χρησιμοποιούν δυσδιάστατα πρότυπα, όπως παράλληλες γραμμές, κύκλοι και περιοδικά σημεία. Οι στοχαστικές προσεγγίσεις, βασίζονται σε στοχαστικές διαδικασίες οι οποίες μπορούν να χρησιμοποιηθούν για την εξαγωγή χαρακτηριστικών σε τμηματοποίηση και κατηγοριοποίηση υφής. Τέλος, οι συχνοτικές προσεγγίσεις, στηρίζονται στην ανάλυση συναρτήσεων φασματικής κατανομής στο πεδίο των συχνοτήτων (spectral density functions). Συνήθως, χρησιμοποιούνται για την ανίχνευση περιοδικότητας σε μία εικόνα εντοπίζοντας στενές περιοχές με υψηλή ενέργεια (spikes) στο φάσμα. 1.2.2.3 Χαρακτηριστικά σχήματος Έρευνες [7] έχουν δείξει ότι στις περισσότερες περιπτώσεις, ο άνθρωπος εξάγει χαρακτηριστικά σχήματος, παρά χρώματος ή υφής. Ο ανθρώπινος εγκέφαλος έχει τη δυνατότητα αναγνώρισης ενός αντικειμένου μέσα από ασαφή σχήματα τα οποία μπορούν να το περιγράψουν. Αντιθέτως, η ανάκτηση εικόνας βάσει σχήματος παραμένει ακόμα πρόκληση για τα CBIR συστήματα. Γενικά, οι σχηματικές αναπαραστάσεις μπορούν να ταξινομηθούν σε τρείς κύριες κατηγορίες [8]. Η επιλογή της κατηγορίας εξαρτάται από τις ανάγκες της εφαρμογής, όπως για παράδειγμα η

Εισαγωγή 7 αντιμετώπιση του θορύβου. Στην πραγματικότητα, υπάρχουν πολλές περισσότερες μέθοδοι στην υπολογιστική όραση για την για τον υπολογισμό χαρακτηριστικών σχήματος, με αρκετές από αυτές να παρατίθενται στην εργασία [9]. 1.2.3 Συστήματα ανάκτησης εικόνας Η ερευνητική προσπάθεια, καθώς και οι ανάγκες της αγοράς για αξιόπιστα συστήματα ανάκτησης, οδήγησαν στην υλοποίηση αρκετών CBIR συστημάτων με αξιόλογες επιδόσεις. Η συνδυαστική χρήση όλων των ήδη γνωστών τεχνικών στις οποίες βασίζονται, δίνει τη δυνατότητα εφαρμογής τους σε ένα ευρύ πεδίο εφαρμογών. Παρακάτω γίνεται μια σύντομη περιγραφή των πιο γνωστών από αυτά. Το QBIC (Query By Image Content) αποτελεί το πρώτο εμπορικό ολοκληρωμένο σύστημα ανάκτησης εικόνας, το οποίο δημιουργήθηκε το 1995 από την ΙΒΜ. Το QBIC με την εισαγωγή πρωτότυπων τεχνικών είχε μια ισχυρή επιρροή στο σχεδιασμό των μετέπειτα αρχιτεκτονικών των CBIR συστημάτων. Το σύστημα επιτρέπει την αίτηση εικόνων (ή μέρος αυτών) και βίντεο. Προσφέρει ανάκτηση με οποιοδήποτε συνδυασμό χαρακτηριστικών χρώματος, σχήματος και υφής. Τα ερωτήματα μπορούν να διαμορφωθούν με επιλογή από ένα δειγματολόγιο χρωμάτων, προτύπων υφής, με ορισμό εικόνας ως παράδειγμα ή με τη σχεδίαση ενός σχήματος στην οθόνη, ενώ τα αποτελέσματα εκτίθενται με φθίνουσα σειρά ομοιότητας. Επίσης, κάθε ανακτώμενη εικόνα μπορεί να χρησιμεύσει ως παράδειγμα για ανατροφοδότηση. Τα χαρακτηριστικά χρώματος προκύπτουν από ιστογράμματα σε διάφορα χρωματικά συστήματα, τα χαρακτηριστικά υφής προκύπτουν από τα τροποποιημένα χαρακτηριστικά Tamura [10] και τα χαρακτηριστικά σχήματος από ανεξάρτητες αλγεβρικές ροπές, όπως το εμβαδόν, η περιστροφή, η εκκεντρότητα και άλλες. Το QBIC ήταν πρωτοπόρο στην εφαρμογή τεχνικών πολυδιάστατης κλιμάκωσης για τη βελτιστοποίηση της διαδικασίας. Τα χαρακτηριστικά τριών διαστάσεων τα οποία προκύπτουν συγκρίνονται μέσω της Ευκλείδειας απόστασής τους. Το βασικό μειονέκτημα του συστήματος αυτού βρίσκεται στην έλλειψη ανατροφοδότησης (feedback), με αποτέλεσμα να μην υπάρχει η δυνατότητα αυτόματης προσαρμογής στα δεδομένα του χρήστη. Το MARS (Multimedia Analysis and Retrieval System) [11], δημιουργήθηκε στο Πανεπιστήμιο του Illinois και αναπτύχθηκε περαιτέρω στο Πανεπιστήμιο της California. Το MARS χρησιμοποιεί σχετική ανατροφοδότηση (relevance feedback) επιστρέφοντας διαδραστική ανάκτηση. Τα αιτήματα εισάγονται μέσω εικόνας, μέσω

8 Κεφάλαιο 1 χαρακτηριστικών (επιλέγοντας χρώμα ή πρότυπο υφής από βάση), και μέσω κειμένου που σχετίζεται με την εικόνα. Για τον υπολογισμό των χαρακτηριστικών χρώματος και υφής, η εικόνα τμηματοποιείται σε 25 (5 5 block) τμήματα. Τα χαρακτηριστικά του χρώματος προκύπτουν από τις H και S συνιστώσες του HSV χώρου, ενώ της υφής από το συνδυασμό δύο ιστογραμμάτων (αντιπροσωπεύοντας τραχύτητα και κατευθυντικότητα) με μία τιμή αντίθεσης. Η τμηματοποίηση των αντικείμενων συντελείται σε δύο στάδια. Αρχικά, εφαρμόζεται ένας αλγόριθμος ομαδοποίησης k- means και ακολούθως οι περιοχές των τμημάτων που εξάγονται, οριοθετούνται με χρήση τροποποιημένων Fourier descriptors. Η ομοιότητα των εικόνων με βάση το χρώμα και την υφή υπολογίζεται μέσω ιστογραμμάτων, ενώ για τη μέτρηση της ομοιότητας των σχημάτων χρησιμοποιείται η Ευκλείδεια απόσταση. Το μειονέκτημα του MARS είναι ότι δεν επιτρέπει σχετική ανατροφοδότηση σε περιοχές εικόνων, μη επιτρέποντας στον χρήστη να αναγνωρίσει τη λεπτομέρεια της εικόνας που είναι σημαντική για τις ανάγκες του. Το SIMPLIcity (Semantics-sensitive Integrated Matching for Picture LIbraries) [12], αναπτύχθηκε από ερευνητική ομάδα στο Πανεπιστήμιο του Stanford. Σε αυτό το σύστημα οι εικόνες αναπαριστώνται ως ένα σύνολο από περιοχές χωρίζοντάς τες σε 4 4 τμήματα, από τα οποία εξάγονται χαρακτηριστικά. Το σύστημα ομαδοποιεί τις εικόνες σε υψηλής κλίμακας κατηγορίες, περιορίζοντας το χώρο αναζήτησης και επιτρέποντας σημασιολογικά ευπροσάρμοστες μεθόδους αναζήτησης. Μέσω μιας μεθόδου βασισμένης σε κυματίδια (wavelets), τα αντικείμενα χαρακτηρίζονται από χρώμα, υφή, σχήμα και θέση. Μια σημαντική πρόοδος σε σχέση με τα προηγούμενα συστήματα, βρίσκεται στην προσέγγιση IRM (Integrated Region Matching), κατά την οποία κάθε περιοχή της αιτούμενης εικόνας ταιριάζεται με όλες τις περιοχές στην βάση εικόνων, κάνοντας τον αλγόριθμο πολύ ανθεκτικότερο σε λάθη. Το PicSOM [13] αναπτύχθηκε στο Helsinki University of Technology, με την ονομασία του να προέρχεται από τα συνθετικά «picture» και το νευρωνικό αλγόριθμο «SOM» (self-organizing map, SOM). Σε αυτό το σύστημα, οι εικόνες οργανώνονται σε ένα πλέγμα τριών διαστάσεων, όπου οι όμοιες εικόνες βρίσκονται σε γειτονικές θέσεις, δίνοντας τη δυνατότητα οπτικής περιήγησης και αναζήτησης από το χρήστη. Για κάθε ένα από τα χαρακτηριστικά χρώματος, υφής και σχήματος κατασκευάζεται ένα ξεχωριστό SOM. Επίσης, χρησιμοποιείται σχετική ανατροφοδότηση αυτοεκπαιδεύοντας τα νευρωνικά δίκτυα και προσαρμόζοντας τα τις ανάγκες του

Εισαγωγή 9 εκάστοτε χρήστη. Οι εικόνες με επιθυμητή ανατροφοδότηση αποκτούν μια θετικές τιμές ενώ οι υπόλοιπες αρνητικές, και συνεπώς περιοχές εικόνων με υψηλές τιμές οδηγούν σε υψηλή πιθανότητα ορθής ανάκτησης. Πέρα από τα συστήματα τα οποία παρουσιάστηκαν παραπάνω, έχει αναπτυχθεί μια πληθώρα από άλλα με αντίστοιχα αξιόλογες επιδόσεις. Το Blobworld είναι ένα σύστημα ανάκτησης εικόνας που αναπτύχθηκε στο UC Berkeley, το οποίο χρησιμοποιεί τον αλγόριθμο Expectation Maximization (EM) ταυτόχρονα στο χρώμα και την υφή, για να εφαρμόσει μια τμηματοποίηση εικόνας και επιπλέον μια νέα αναπαράστασή της. Το VisualSeek είναι μια μηχανή αναζήτησης οπτικών χαρακτηριστικών και το WebSeek είναι ένα σύστημα ανάκτησης εικόνας / κειμένου του World-Wide-Web. Τέλος, το MPEG-7 είναι ένα πρότυπο το οποίο παρέχει τη δυνατότητα χρήσης σε διαφορετικές εφαρμογές, χρησιμοποιώντας οπτικούς περιγραφείς (visual descriptors). 1.3 Ανάκτηση εικόνας βάσει οπτικής πληροφορίας (VBIR) Η χρήση Eye Tracker σε ένα CBIR σύστημα, δίνει τη δυνατότητα εισαγωγής των αναγκών του χρήστη από την καταγραφή των οφθαλμικών κινήσεων. Μέσω της οπτικής ανάδρασης, το σύστημα εκπαιδεύεται και προσαρμόζεται στις διαφορετικές ανάγκες του εκάστοτε ατόμου. Μία από τις πρώτες ολοκληρωμένες εργασίες ανάκτησης εικόνας βάσει οπτικής πληροφορίας δημοσιεύτηκε το 2007 [2]. Εκτελώντας ένα πείραμα συγκριτικής οπτικής αναζήτησης, ο χρήστης καλείται να ανακαλύψει διαφορές ανάμεσα στις εικόνες βάσης σε μια ζητούμενη εικόνα. Τα χαρακτηριστικά τα οποία εξάγονται από περιοχές που παρουσιάζουν πολλά σημεία εστίασης, έχουν μεγαλύτερη βαρύτητα σε σχέση με αυτά τα οποία δεν παρατηρούνται. Ο Eye Tracker εκμεταλλεύεται την ικανότητα του ανθρώπινου εγκεφάλου να λαμβάνει στιγμιαίες αποφάσεις για την αναγνώριση και κατηγοριοποίηση αντικειμένων από το οπτικό ερέθισμα το οποίο δέχεται. Επιπλέον, τα σημεία εστίασης πάνω σε μία εικόνα αποκαλύπτουν τις σημασιολογικά σημαντικές περιοχές από τις οποίες μπορεί να γίνει πιο αξιόπιστο το σύστημα ανάκτησης. Η αλγοριθμική εύρεση περιοχών ενδιαφέροντος έχει προσελκύσει το ερευνητικό ενδιαφέρον τις τελευταίες δεκαετίες. Στην αντίστοιχη εργασία [14], παρουσιάζεται μια συγκριτική μελέτη των μέχρι τότε τεχνικών (1997). Τα τελευταία

10 Κεφάλαιο 1 χρόνια, έχουν αναπτυχθεί κι άλλοι αλγόριθμοι εύρεσης με κυριότερους τον SIFT [15] (Scale Invariant Feature Transform) και τον [16].

Σύστημα όρασης και Eye-Tracker 11 ΚΕΦΑΛΑΙΟ 2 Σύστημα όρασης και Eye Tracker 2.1 Εισαγωγή Στο παρών κεφάλαιο, παρουσιάζεται μια αναλυτική περιγραφή της συμπεριφοράς του συστήματος όρασης, καθώς και της μεθόδου καταγραφής των οφθαλμικών κινήσεων με χρήση Eye Tracker. Η γνώση των βαθμών ελευθερίας κίνησης των οφθαλμών, όπως επίσης και η ροή της πληροφορίας μέσω των κυτταρικών επιπέδων είναι απαραίτητη για την κατανόηση της συμπεριφοράς του οφθαλμοκινητικού συστήματος. Στο δεύτερο μέρος του κεφαλαίου, αναλύονται όλοι οι υπάρχοντες τρόποι καταγραφής οφθαλμικών κινήσεων και στο τέλος παρουσιάζεται ο εξοπλισμός ο οποίος χρησιμοποιήθηκε κατά την πειραματική διαδικασία μαζί με το λογισμικό υποστήριξης. 2.2 Σύστημα όρασης Ο τρόπος με τον οποίο αντιλαμβάνεται ο άνθρωπος το περιβάλλον του καθορίζεται κατά πολύ μεγάλο ποσοστό από την οπτική πληροφορία την οποία δέχεται. Το σύστημα όρασής του, είναι τόσο πολύπλοκο, ώστε για την κατανόησή του κρίνεται απαραίτητη η γνώση της ανατομίας όλων των μελών που το απαρτίζουν. Στις παρακάτω υποενότητες, γίνεται μια προσπάθεια ανάλυσης και κατανόησης του συστήματος αυτού. 2.2.1 Ο ανθρώπινος οφθαλμός Ο ανθρώπινος οφθαλμός, είναι το όργανο το οποίο μετατρέπει την ηλεκτρο-μαγνητική ακτινοβολία του ορατού φάσματος, σε ηλεκτρικό σήμα, τέτοιο ώστε να μπορεί να επεξεργαστεί από τον εγκέφαλο και να δώσει στον άνθρωπο την αντίληψη του γύρω κόσμου του. Έχει πλάτος περίπου 25 χιλιοστά και όμως βοηθά τον εγκέφαλο να συλλέγει καθημερινά χιλιάδες πληροφορίες, εντυπώσεις, χρώματα και σχήματα. Η ανατομία του βρίσκεται στο κάτωθι σχήμα 2.1.

12 Κεφάλαιο 2 Σχήμα 2.1 Σχηματική αναπαράσταση του ανθρώπινου ματιού [49] Παρακάτω παρουσιάζεται μια σύντομη περίληψη από τις δομές που συμβάλλουν περισσότερο στην οπτική ανάλυση. Κερατοειδής χιτώνας: Αποτελεί το εξωτερικό περίβλημα του ματιού, με βασική λειτουργία του να το προστατεύει. Επίσης, λειτουργεί και σαν φακός,, καθώς το υλικό από το οποίο αποτελείται,, έχει τη δυνατότητα να διαθλά το φώς. Κόρη: Η σκούρα οπή στο κέντρο της χρωματιστής ίριδας, η οποία προσαρμόζοντας το μέγεθός της, ελέγχει την ποσότητα της ακτινοβολίας που εισέρχεται στο μάτι. Ίριδα: Είναι το τμήμα του ματιού που είναι υπεύθυνο για το χρώμα του ματιού του κάθε ανθρώπου. Μεταβάλλει το διάφραγμα της κόρης, κάνοντάς την να λειτουργεί σαν το διάφραγμα μιας φωτογραφικής μηχανής. Φακός: Βρίσκεται ακριβώς πίσω από την ίριδα και προκαλεί τον ακριβή εστιασμό των ακτίνων στον αμφιβληστροειδή, αναστρέφοντας το είδωλο. Αμφιβληστροειδής χιτώνας: Η μεμβράνη που περιβάλλει το πίσω μέρος του ματιού και περιέχει τους φωτοϋποδοχείς που αντιδρούν στην παρουσία φωτός, στέλνοντας το ερέθισμα στον εγκέφαλο. Ωχρή κηλίδα: Το τμήμα του αμφιβληστροειδούς που είναι πιο ευαίσθητο και υπεύθυνο για την κεντρική όραση. Η περιοχή αυτή είναι, επίσης, υπεύθυνη και για την έγχρωμη όραση. Κεντρικό βοθρίο: Το σημείο του αμφιβληστροειδούς με τη μεγαλύτερη ανάλυση.

Σύστημα όρασης και Eye-Tracker 13 Οπτικό νεύρο: Μια δέσμη αποτελούμενη από περίπου ένα εκατομμύριο νευρικών ινών, οι οποίες μεταφέρουν τα ηλεκτρικά σήματα από τον αμφιβληστροειδή στον εγκέφαλο. Οπτικός δίσκος: Βρίσκεται στο πίσω μέρος του ματιού, όπου τα νεύρα, μαζί με την αρτηρία και τη φλέβα, εισέρχονται στο μάτι. Αυτό το σημείο εισόδου αντιστοιχεί στο «τυφλό σημείο», καθώς δεν υπάρχουν κωνία ή ραβδία σε αυτή την περιοχή. Κανονικά, ένα άτομο δεν αντιλαμβάνεται αυτό το τυφλό σημείο, καθώς οι γρήγορες κινήσεις του ματιού βοηθούν στο να λαμβάνει ο εγκέφαλος ερεθίσματα από άλλα σημεία του αμφιβληστροειδούς γύρω από την τυφλή κηλίδα, τα οποία καλύπτουν το «κενό». 2.2.2 Φωτοϋποδοχείς αμφιβληστροειδούς Δεδομένου ότι το σύνολο της ηλεκτρομαγνητικής ακτινοβολίας το οποίο εισέρχεται στον οφθαλμό συγκεντρώνεται στον αμφιβληστροειδή, είναι εύλογο ότι στην επιφάνειά του θα πρέπει να βρίσκεται ικανός αριθμός φωτοϋποδοχέων, ώστε να μπορεί να αναπαραστήσει αξιόπιστα το εξωτερικό περιβάλλον. Οι φωτοϋποδοχείς χωρίζονται σε δύο κατηγορίες, τα ραβδία και τα κωνία. Τα ραβδία αριθμούν περίπου τα 120 εκατομμύρια και κατανέμονται με ανομοιόμορφο τρόπο, κυρίως γύρω από την περιοχή της ωχράς κηλίδας. Χαρακτηριστικό τους είναι, η ευαισθησία τους στο φώς χαμηλής έντασης (σκοτοπική όραση) και στην κίνηση (περιφερειακή όραση), θυσιάζοντας ποσοστό των λεπτομερειών και του χρώματος των αντικειμένων. Τα κωνία, είναι πολύ λιγότερα σε αριθμό, περίπου έξι εκατομμύρια και βρίσκονται συγκεντρωμένα στην ωχρή κηλίδα. Είναι ευαίσθητα στο λαμπρό φώς και εμφανίζουν διαφορετικά φάσματα απορρόφησης, με κορυφές στα 450 (μπλε), 525 (πράσινο) και 555 nm (κόκκινο), που σχετίζονται με την τριχρωματική θεωρία της έγχρωμης όρασης. Τη στιγμή που το φως εστιάζεται στον αμφιβληστροειδή, τα 125 εκατομμύρια φωτοϋποδοχέων στην επιφάνεια του, αντιδρούν στο φως που τους χτυπάει, παράγοντας μικροσκοπικά ηλεκτρικά δυναμικά. Αυτά τα σήματα, περνούν μέσω συνάψεων σε ένα δίκτυο κυττάρων στον αμφιβληστροειδή και στη συνέχεια ενεργοποιούν γαγγλιακά κύτταρα. Αναλυτικότερα, η λειτουργικότητα και η διάταξη των κυττάρων του αμφιβληστροειδούς γίνεται αντιληπτή από το σχήμα 2.2. Ο αμφιβληστροειδής αποτελεί μία πολυεπίπεδη δομή [17], περιέχοντας τρία επίπεδα νευρώνων και δύο επίπεδα για τις μεταξύ τους διασυνδέσεις. Παραδόξως, οι φωτουποδοχείς βρίσκονται στο πίσω μέρος και συνεπώς το φώς αναγκαστικά ταξιδεύει μια διαδρομή προτού απορροφηθεί από τα

14 Κεφάλαιο 2 ραβδία και κωνία. Στο εσωτερικό, συναντώνται διάφοροι τύποι κυττάρων, τα οριζόντια, τα διπολικά και τα αμακρινικά, τα οποία έχουν την ικανότητα να επεξεργάζονται την οπτική πληροφορία. Μόλις το φώς μετατραπεί σε ηλεκτρικό σήμα από τους περίπου 126 εκατομμύρια φωτουποδοχείς, διέρχεται από τα κύτταρα του εσωτερικού και τέλος εξέρχεται από τις καταφύσεις των περίπου ενός εκατομμυρίου γαγγλιακών κυττάρων προς το οπτικό νεύρο. Με όρους καθαρά ηλεκτρονικών, ο αμφιβληστροειδής μπορεί να χαρακτηριστεί ως ένα σύστημα με 126 εκατομμύρια εισόδους και ένα εκατομμύριο εξόδους. Δέχεται φώς ως αναλογικό σήμα εισόδου, μετατρέποντάς το σε ηλεκτρικό και με την κατάλληλη επεξεργασία εξάγει ηλεκτρικούς παλμούς. Σχήμα 2.2 Τα τρία κυτταρικά επίπεδα του αμφιβληστροειδούς. Δεξιά φαίνεται με ψευδοχρωματισμό η χρονική εξέλιξη του οπτικού σήματος. 2.2.3 Πεδίο όρασης Θα ακουγόταν λογικό, ότι το ανθρώπινο οπτικό πεδίο έχει μεγάλο εύρος και παρέχει υψηλή διακριτική ικανότητα, έτσι ώστε το περιβάλλον να μπορεί να γίνει καλύτερα αντιληπτό. Όμως, στην πραγματικότητα κάτι τέτοιο δεν ισχύει, αφού το οπτικό πεδίο είναι στενό (λίγο μικρότερο από 2º) και ανισοτροπικό.

Σύστημα όρασης και Eye-Tracker 15 Στην προηγούμενη υποενότητα περιγράφηκε το πώς 126 εκατομμύρια φωτουποδοχείς του αμφιβληστροειδούς, συγκλίνουν σε ένα εκατομμύριο γαγγλιακά κύτταρα. Αυτό σημαίνει, ότι ένα αρκετά μεγάλο ποσοστό της οπτικής πληροφορίας δε φτάνει στον εγκέφαλο και συνεπώς δε γίνεται αντιληπτό. Επίσης, η οπτική ευαισθησία του αμφιβληστροειδούς δεν είναι ομοιόμορφη, καθώς περιορίζεται στην περιοχή του βοθρίου. Τα παραπάνω οδηγούν στο συμπέρασμα ότι η όραση του ανθρώπου είναι αυστηρά κεντρική. Στην περιφερειακή όραση κυρίαρχο ρόλο παίζουν τα ραβδία, τα οποία είναι πιο ευαίσθητα στην κίνηση. Έτσι, μπορεί περιφερειακά να μην υπάρχει καλή αντίληψη του περιβάλλοντος, αλλά εν δυνάμει, οποιαδήποτε κίνηση ή μεταβολή είναι ικανή να προκαλέσει την προσοχή. Στο σχήμα 2.3 (β) απεικονίζεται το οπτικό πεδίο παρατήρησης κατά την εστίαση στο μάτι του προσώπου 2.3 (α). Εστιάζοντας στο κέντρο του οπτικού πεδίου (δεξί μάτι απεικονιζόμενου προσώπου), εύκολα κάποιος παρατηρεί ότι μετά από κάποιο χρονικό διάστημα η έλλειψη της περιφερειακής πληροφορίας δεν είναι αισθητή. (α) (β) Σχήμα 2.3 Οπτική αναπαράσταση από (α) ένα ιδανικό οπτικό σύστημα, (β) ανθρώπινο σύστημα όρασης Η αιτία για την οποία εμφανίζεται μια τόσο μεγάλη απώλεια πληροφορίας στην περιφερειακή όραση, μπορεί να γίνει αντιληπτή με παρομοιάζοντας τον ανθρώπινο εγκέφαλο με ένα υπολογιστικό σύστημα το οποίο επεξεργάζεται διαδοχικές εικόνες. Στην ιδανική περίπτωση όπου δε γινόταν φιλτράρισμα στο οπτικό σήμα, τότε ο ανθρώπινος εγκέφαλος θα είχε να επεξεργαστεί πάνω από ένα δισεκατομμύριο οπτικά σήματα από τους φωτουποδοχείς και μάλιστα σε συνθήκες πραγματικού χρόνου. Είναι

16 Κεφάλαιο 2 κατανοητό ότι επεξεργαστική ισχύς για μια τέτοια διαδικασία είναι τεράστια και χρονοβόρα, πράγμα που θα είχε επιπτώσεις στην επιβίωση του ανθρώπου. Έτσι, για να αποφευχθεί αυτό, στο οπτικό σύστημα αναπτύχθηκε ένα μοντέλο στο οποίο περιλαμβάνονται γρήγορες οφθαλμικές κινήσεις, τέτοιες ώστε να δίνουν στον άνθρωπο τη δυνατότητα να ερευνά άμεσα το χώρο γύρω του. Οι κινήσεις αυτές, πραγματοποιούνται με τέτοιο τρόπο ώστε να δημιουργούν αλληλουχίες από κομμάτια του οπτικού πεδίου, συνθέτοντας ένα μωσαϊκό [18]. Οπτική αναπαράσταση του παραπάνω μοντέλου παρατίθεται στο σχήμα 2.4, όπου είναι εμφανής η σταδιακή δημιουργία του ειδώλου στο πρόσωπο του Einstein. Οι κινήσεις αυτές, η αναγκαιότητά τους και η λειτουργία τους αναλύονται διεξοδικά στην υποενότητα 2.1.5. Σχήμα 2.4 Ο τρόπος σύνθεσης του μωσαϊκού στον ανθρώπινο εγκέφαλο [18] 2.2.4 Οφθαλμοκινητικοί μύες Η όραση είναι προϊόν εξέλιξης χιλιάδων ετών σχεδόν σε όλα τα ζώα που κατοικούν τον πλανήτη. Έτσι και ο προϊστορικός άνθρωπος, για να επιβιώσει στο επικίνδυνο περιβάλλον του, έπρεπε να εξελίξει τα μάτια του έτσι ώστε να αντιλαμβάνεται γρήγορα τους κινδύνους και να βρίσκει εύκολα τροφή. Συνεπώς, απαραίτητη προϋπόθεση είναι οι κινήσεις των ματιών να είναι συντονισμένες, άμεσες και με ακρίβεια. Όπως είναι αντιληπτό, για να συμβαίνουν όλα τα παραπάνω, θα πρέπει το ανθρώπινο μάτι να υποστηρίζεται από ένα αντίστοιχο μυϊκό σύστημα, το οποίο θα του δίνει τη δυνατότητα να κινείται με χαρακτηριστική ευκολία σε σφαιρικές συντεταγμένες. Στο ανθρώπινο μάτι καταφύονται έξι μύες (σχήμα 2.5) οι οποίοι είναι έτσι διατεταγμένοι ώστε να λειτουργούν ανταγωνιστικά ανά ζεύγη [50]. Οι βαθμοί ελευθερίας που έχει το μάτι είναι τρείς και επιτρέπουν την κίνηση στο οριζόντιο επίπεδο, στο κάθετο και περιστροφικά. Οι οφθαλμοκινητικοί μύες είναι οι άνω ορθός,

17 Σχήμα 2.5 Οι οφθαλμικοί μύες Σύστημα όρασης και Eye-Trackeκάτω ορθός, έσω ορθός, έξω ορθός, άνω λοξός και κάτω λοξός. Είναι προφανές ότι από τους έξι μύες οι τέσσερις είναι ορθοί και οι δύο λοξοί και με εξαίρεση τον κάτω λοξό, όλοι οι μύες εκφύονται από την κορυφή του κόγχου. Επίσης, οι καταφύσεις των ανταγωνιστικών μυών βρίσκονται σε σχεδόν αντιδιαμετρικά σημεία, έτσι ώστε να μπορούν να κινήσουν το μάτι προς αντίθετες κατευθύνσεις. Η χρήση τους είναι πιο συχνή από οποιουδήποτε άλλου μυ του ανθρώπινου σώματος. Οι οφθαλμικές κινήσεις καθορίζονται κυρίως από τους ορθούς μύες, οι οποίοι είναι και υπεύθυνοι για τις οριζόντιες και κάθετες κινήσεις του ματιού. Οι λοξοί, συμβάλλουν κυρίως στην περιστροφή των οφθαλμών (πίνακας 2.1). Μύες Άνω ορθός Κάτω ορθός Έσω ορθός Έξω ορθός Άνω λοξός Κάτω λοξός Δράση Άνω στροφή προσαγωγή Κάτω στροφή προσαγωγή Προσαγωγή ρινικά Απαγωγή κροταφικά Κάτω στροφή απαγωγή Άνω στροφή απαγωγή Πίνακας 2.1 Δράση οφθαλμοκινητικών μυών [50] 2.2.5 Οφθαλμικές κινήσεις Το πλήθος των οφθαλμικών κινήσεων που κάνει ο άνθρωπος μέσα σε μια τυπική του ημέρα μπορεί να ξεπεράσει ακόμα και τις εκατό χιλιάδες. Ακόμη και όταν κοιμόμαστε

18 Κεφάλαιο 2 τα μάτια μας δε μένουν ακίνητα, στην πραγματικότητα, είναι σχεδόν ακατόρθωτο να ακινητοποιηθούν. Στην παρούσα ενότητα, παρουσιάζονται οι κατηγορίες των οφθαλμικών κινήσεων, η λειτουργία και η αναγκαιότητά τους. Οι οφθαλμικές κινήσεις κατηγοριοποιούνται σε τρία υποσυστήματα. Το πρώτο υποσύστημα, διατηρεί τον στόχο εντός του κεντρικού βοθρίου, το δεύτερο διατηρεί τους οφθαλμούς ακίνητους (σύστημα προσήλωσης) και το τρίτο συγχρονίζει το κεφάλι με τις κινήσεις του ματιού. Στο πρώτο υποσύστημα, περιέχονται οι σακκαδικές κινήσεις (saccades), οι ομαλές κινήσεις παρακολούθησης (smooth pursuit movements) και οι κινήσεις σύγκλισης απόκλισης (Vergence movements). Στο σύστημα προσήλωσης εμφανίζονται οι κινήσεις διολίσθησης (drifts), το τρέμουλο (tremor) και οι μικροσακκαδικές (microsaccades). Το τελευταίο σύστημα περιγράφει το οφθαλμο-αιθουσαίο (vestibular-ocular) ανακλαστικό και τον οπτοκινητικό νυσταγμό. Παρακάτω, περιγράφονται αναλυτικά όλες οι παραπάνω οφθαλμικές κινήσεις. Σακκαδικές κινήσεις: Αποτελούν εκούσιες κινήσεις του ματιού, οι οποίες συμβάλλουν στην δημιουργία μιας ευρείας εικόνας του περιβάλλοντος στον εγκέφαλο. Είναι οι πιο γρήγορες, συντονισμένες κινήσεις που μπορεί να κάνει το ανθρώπινο σώμα. Η ανάπτυξη πρωτοκόλλων για την αξιόπιστη εύρεση σακκαδικών κινήσεων και σημείων προσήλωσης από δεδομένα Eye Tracker, είχε αποτελέσει για πολλά αντικείμενο έρευνας [19]. Η παρατήρηση αντικειμένων από έναν άνθρωπο γίνεται μέσω ενός αυτοματοποιημένου μηχανισμού, στον οποίο κυρίαρχο ρόλο έχουν οι σακκαδικές κινήσεις. Δεδομένου ότι το πεδίο της κεντρικής όρασης καλύπτει μια περιοχή μόνο 2, είναι εύλογο ότι για να γίνει συνολική σάρωση ενός αντικειμένου, θα πρέπει η κίνηση των οφθαλμών να είναι διαρκής και με μεγάλη ταχύτητα. Οι ταχύτητες των σακκαδικών κινήσεων αγγίζουν τις 700 / sec και η μέση διάρκειά τους κυμαίνεται γύρω στα 50msec. Η ταχύτατα των κινήσεων αυτών είναι τόσο μεγάλη, που η αναγνώρισή τους μέσω υπολογιστή οδήγησε στην ανάπτυξη πολυσύνθετων αλγορίθμων [19]. Η κατεύθυνση και το πλάτος των σακκαδικών κινήσεων είναι εκούσιες, ενώ η ταχύτητά τους ακούσια, καθώς καθορίζεται από την εκκεντρότητα του στόχου. Κατά τη παρατήρηση ενός αντικειμένου, γίνεται διερεύνηση μέσω των σακκαδικών κινήσεων για σημεία ενδιαφέροντος, από τα οποία θα δοθεί η δυνατότητα για εξαγωγή χαρακτηριστικών, ικανών για την στην ταυτοποίησή του. Τα σημεία αυτά στα οποία εστιάζεται η προσοχή ονομάζονται σημεία προσήλωσης (fixation points).

Σύστημα όρασης και Eye-Tracker 19 Είναι προφανές, ότι το ενδιαφέρον θα είναι λιγότερο εστιασμένο στις σακκαδικές κινήσεις και περισσότερο στα σημεία αυτά. Αυτό, εύκολα διακρίνεται στο διάγραμμα του σχήματος 2.6, όπου φαίνεται ότι κατά τη διάρκεια μιας σακκαδικής κίνησης η οπτική ευαισθησία μειώνεται χαρακτηριστικά (χωρίς όμως να μηδενίζεται.). Σχήμα 2.6 Οπτική ευαισθησία συναρτήσει του χρόνου, πριν και μετά την σακκαδική κίνηση. Τα παραπάνω, οδηγούν στο συμπέρασμα ότι κατά τη διάρκεια αυτών των κινήσεων η εικόνα κινείται στον αμφιβληστροειδή, αλλά δεν επεξεργάζεται από τον εγκέφαλο, και έτσι γίνεται αντιληπτή ως στάσιμη. Η μόνη πληροφορία που εξάγεται από αυτή τη διαδικασία, αφορά την αρχική και τελική θέση, για την διατήρηση της αίσθησης του χώρου. Λόγω της υψηλής ταχύτητας των σακκαδικών κινήσεων, γίνεται πολύ πιο εύκολη η αναπαράσταση του οπτικού πεδίου του παρατηρητή. Όλα τα σημεία μεταξύ των σακκαδικών, συγκεντρώνονται με τη σειρά σαν ένα χρονικό μονοπάτι (scanpath), δημιουργώντας ένα puzzle, ικανό να απεικονίσει δυναμικά το οπτικό πεδίο. Σχήμα 2.7 Καταγραφή οφθαλμικών κινήσεων για ένα λεπτό από παρατηρητή [20]

20 Κεφάλαιο 2 Ένα τέτοιο μονοπάτι φαίνεται στο σχήμα 2.7, όπου η δεδομένη εικόνα εξετάστηκε για ένα λεπτό από τον παρατηρητή. Τα σημεία στα οποία το πάχος της γραμμής είναι μεγάλο, αποτελούν προσωρινά σημεία προσήλωσης. Εύκολα παρατηρήθηκε, ότι τα περισσότερα σημεία βρίσκονται στην περιοχή του στόματος και της μύτης, ενώ λίγα βρίσκονται στο περίγραμμα του προσώπου. Αυτό, έδωσε το έναυσμα σε μεταγενέστερες έρευνες, στις οποίες μελετήθηκε η εξαγωγή χαρακτηριστικών, κωδικοποίηση, βιομετρία και άλλα. Ομαλές κινήσεις παρακολούθησης (smooth pursuit movements): Συνθέτουν τις κινήσεις τις οποίες επιτρέπουν την παρακολούθηση ενός κινούμενου αντικειμένου [49]. Η ταχύτητά τους εξαρτάται απόλυτα από την ταχύτητα του στόχου και μπορεί να φτάσει έως τις 100º/sec. Όταν ο στόχος είναι τόσο γρήγορος, ώστε η ταχύτητα της κίνησης να ξεπερνά τις 30º/sec, τότε εμφανίζονται διορθωτικές σακκαδικές κινήσεις οι οποίες επαναφέρουν το βλέμμα πάνω στο αντικείμενο. Οι ομαλές κινήσεις παρακολούθησης είναι ασύμμετρες ως προς τη διεύθυνση κίνησης, καθώς οι περισσότεροι άνθρωποι τείνουν να είναι πολύ καλύτεροι στην οριζόντια παρακολούθηση, παρά στην κάθετη. Επίσης, η παρακολούθηση προς τα κάτω, γίνεται πιο εύκολα απ ότι προς τα πάνω. Οι ομαλές κινήσεις παρακολούθησης μπορούν να χωριστούν σε δύο στάδια. Στο πρώτο στάδιο, περιλαμβάνεται η πρώτη απόκριση στην ταχύτητα για τον προς παρακολούθηση στόχο. Είναι μια διαδικασία προσεγγιστική, διαρκώντας μόλις 100msec. Μέσα σε αυτόν το χρόνο, το οπτικό σήμα ταξιδεύει στις εγκεφαλικές περιοχές που ελέγχουν το οπτικό σύστημα και πλέον έχει τη δυνατότητα να δώσει συγκεκριμένες συντεταγμένες στο μάτι για την περεταίρω παρακολούθησή του. Το δεύτερο στάδιο διαρκεί από τα 100msec μέχρι το πέρας της παρακολούθησης του στόχου. Το στάδιο αυτό χαρακτηρίζεται από συνεχείς και άμεσες διορθωτικές κινήσεις της ταχύτητας παρακολούθησης, έτσι ώστε να μπορούν να αντισταθμιστούν αξιόπιστα τα σφάλματα. Οι ομαλές κινήσεις είναι επιρρεπείς σε διαφόρων τύπων διαταραχές, καθώς απαιτούν το συντονισμό πολλών εγκεφαλικών περιοχών απομακρυσμένων μεταξύ τους. Τέλος, μελέτες έχουν δείξει ότι η ακρίβειά τους επηρεάζεται από το αλκοόλ, την κούραση και την απόσπαση της προσοχής. Κινήσεις σύγκλισης/απόκλισης (Vergence movements): Σε αυτές τις κινήσεις, οι οφθαλμοί κινούνται σε διαφορετικές κατευθύνσεις, συγκλίνοντας ή αποκλίνοντας.

Σύστημα όρασης και Eye-Tracker 21 Είναι υπεύθυνες για την αντίληψη του βάθους και λαμβάνουν χώρα όταν το αντικείμενο πλησιάζει ή απομακρύνεται από τους οφθαλμούς (προσαρμογή - αποπροσαρμογή). Η σύγκλιση/απόκλιση αυτή εξηγείται γεωμετρικά, αφού για παράδειγμα η εστίαση σε ένα σημείο το οποίο πλησιάζει μπορεί να επιτευχθεί μόνο αν στην περίπτωση όπου και οι δύο οφθαλμοί κινηθούν ρινικά. Τέλος, η ταχύτητα των κινήσεων αυτών είναι αρκετά μικρή, περίπου στις 25 º/sec. Κινήσεις διολίσθησης (drifts): Είναι καμπυλοειδείς κινήσεις [21] οι οποίες κάνουν την εμφάνισή τους μεταξύ των σακκαδικών κινήσεων ταυτόχρονα με το τρέμουλο. Ανακαλύφθηκαν και περιγράφτηκαν για πρώτη φορά από τον Dodge το 1907. Η ταχύτητά τους είναι αρκετά μικρή, γύρω στο 1 min/sec και διακόπτονται πάντα από μια σακκαδική. Σε αυτές τις κινήσεις, ο στόχος μετατοπίζεται εντός του αμφιβληστροειδούς, στην απόσταση που ορίζουν περίπου 10-12 φωτουποδοχείς. Έχει αποδειχθεί ότι συμβάλουν σημαντικά στην προσήλωση ή και σε περιπτώσεις όπου η αντιστάθμιση από τις σακκαδικές είναι ανεπαρκής. Τρέμουλο (tremor): Αποτελεί μια διαρκή ταλαντωτική κίνηση των οφθαλμών [49], με σχετικά μεγάλη περίοδο, που φτάνει μέχρι τα 80Hz και μικρό πλάτος, που κυμαίνεται γύρω από τα 200 nm. Ο λόγος ύπαρξής τους είναι ακόμα απροσδιόριστος, αλλά πιθανολογείται ότι χρησιμεύουν στη διατήρηση της δραστηριότητας του οπτικού συστήματος, που μπορεί να οδηγήσουν σε καλύτερη οπτική αντίληψη. Συχνά αποκαλείται και ως φυσιολογικός νυσταγμός [21]. Ένα χαρακτηριστικό σήμα που προκύπτει από το τρέμουλο βρίσκεται στο παρακάτω σχήμα. Σχήμα 2.8 Χρονική εξέλιξη τρέμουλου συναρτήσει του πλάτους Το πλάτος τους δεν ξεπερνά τη διάμετρο ενός κωνίου στην περιοχή του βοθρίου, πράγμα που σημαίνει ότι δεν μπορούν να γίνουν αντιληπτές ως ερεθίσματα. Επίσης, η συχνότητάς τους είναι πολύ μεγαλύτερη από αυτή που μπορεί να αντιληφθεί σαν οπτικό σήμα και συνήθως εντάσσεται στην περιοχή του θορύβου. Τέλος, έχει

22 Κεφάλαιο 2 αποδειχθεί ότι οι κινήσεις αυτές είναι ανεξάρτητες στους δύο οφθαλμούς, δηλαδή η κίνηση του ενός οφθαλμού δεν επηρεάζει την κίνηση στον άλλο. Τρέμουλο δεν εμφανίζεται μόνο στους μύες των ματιών, αλλά και σε πολλούς άλλους όπως στα χέρια και στα πόδια. Όλα τα παραπάνω οδηγούν στο συμπέρασμα ότι οι κινήσεις αυτές είναι πολύ πιθανό να μην επηρεάζουν τις ανθρώπινες αισθήσεις, αλλά να αποτελούν μια ιδιότητα της φυσιολογίας των μυών. Μικροσακκαδικές κινήσεις: Είναι μικρές, ακούσιες διορθωτικές κινήσεις οι οποίες κάνουν την εμφάνισή τους κατά τη διάρκεια τη προσήλωσης [21]. Η πρώτη εμπειρική ένδειξη ύπαρξής τους δόθηκε από τον Robert Darwin, πατέρα του γνωστού Charles Darwin. Η λειτουργία τους είναι όμοια με αυτή των σακκαδικών, με βασική διαφορά ότι γίνονται σε πολύ μικρότερο χώρο. Όταν το μάτι προσηλώνεται σε κάποιο σημείο, το είδωλο δε σχηματίζεται με ακρίβεια στον αμφιβληστροειδή. Η ακριβής θέση του ειδώλου επηρεάζεται από παράγοντες όπως οι διολισθήσεις και η ταχύτητα του ματιού. Η συχνότητά τους κυμαίνεται από 0,1-5 Hz και διαρκούν περίπου 25 ms. Πιθανότατα μοιράζονται τον ίδιο μηχανισμό ελέγχου με τις σακκαδικές κινήσεις. Ρόλος τους είναι η διόρθωση της θέσης του ματιού ώστε το είδωλο να τοποθετηθεί στο οπτικό κέντρο του αμφιβληστροειδούς. Η πιθανότητα εμφάνισης μιας μικροσακκαδικής εξαρτάται αυστηρά από την εμφάνιση διολίσθησης, ενώ η κατεύθυνσή της από την μετατόπιση που επέφερε η διολίσθηση. Για παράδειγμα, αν μια διολίσθηση μετακινήσει το είδωλο μακριά από το κεντρικό βοθρίο, τότε μία ή περισσότερες μικροσακκαδικές θα τείνουν να το επαναφέρουν. Στο παρακάτω σχήμα 2.9 απεικονίζονται με χαρακτηριστικό τρόπο οι κινήσεις του συστήματος προσήλωσης στο κεντρικό βοθρίο του αμφιβληστροειδούς. Οι κυψέλες που φαίνονται, αντιπροσωπεύουν τα κωνία. Οι παχιές καμπυλοειδείς γραμμές απεικονίζουν τις κινήσεις διολίσθησης, ενώ η κυμάτωση πάνω σε αυτές συντελεί το τρέμουλο. Είναι προφανές ότι το τρέμουλο δεν καταλαμβάνει χώρο μεγαλύτερο από αυτόν ενός κωνίου και γι αυτό δε γίνεται αντιληπτό. Η εμφάνισή των μικροσακκαδικών γίνεται πάντα μεταξύ δύο διαδοχικών διολισθήσεων. Ο διορθωτικός τους ρόλος φαίνεται πολύ καθαρά, αφού πάντα μετακινούν το είδωλο προς το κέντρο του βοθρίου.

Σύστημα όρασης και Eye-Tracker 23 Σχήμα 2.9 Οφθαλμικές κινήσεις στο κεντρικό βοθρίο [50] Στο διάγραμμα του σχήματος 2.10 απεικονίζονται τα σημεία που προέκυψαν από έναν eye tracker κατά την προσήλωση σε στόχο. Ο eye tracker έχει πολύ καλή διακριτική ικανότητα, και επομένως οι υψηλές συχνότητες που εμφανίζονται οφείλονται στο τρέμουλο του ματιού. Αγνοώντας τες (π.χ. με ένα βαθυπερατό φίλτρο), μπορούν εύκολα να διακριθούν οι κινήσεις διολίσθησης και οι αντίστοιχες διορθωτικές μικροσακκαδικές. Σχήμα 2.10 Καταγραφή κινήσεων προσήλωσης [50] Οπτοκινητικός νυσταγμός: (Optokinetic Nystagmus - OKN): Αποτελείται από μια σειρά οφθαλμικών κινήσεων, οι οποίες είναι υπεύθυνες για την παρακολούθηση αντικειμένων κινούμενων ως προς τον παρατηρητή [49]. Αυτό περιλαμβάνει παρακολούθηση στόχων κινούμενων, με ακίνητο παρατηρητή και ακίνητους στόχους, με κινούμενο παρατηρητή. Οι κινήσεις αυτές περιλαμβάνουν δύο φάσεις, την αργή και

24 Κεφάλαιο 2 τη γρήγορη. Η γρήγορη φάση αποτελείται από διαδοχικές σακκαδικές κινήσεις, λειτουργία των οποίων είναι η άμεση τοποθέτηση του κινούμενου στόχου κοντά στην περιοχή του κεντριού βοθρίου. Στην αργή φάση κάνουν την εμφάνισή τους αργές κινήσεις παρακολούθησης αντίθετης κατεύθυνσης, οι οποίες σταθεροποιούν το είδωλο εντός του βοθρίου. Η οριζόντια ταχύτητά τους μπορεί να φτάσει έως και τις 100º/sec. Ο οριζόντιος νυσταγμός είναι πολύ πιο συχνός από τον κάθετο. Τέλος, έχει αποδειχθεί ότι ο οπτοκινητικός νυσταγμός αναπτύσσεται στον άνθρωπο από την ηλικία των έξι μηνών [22]. Οφθαλμο-αιθουσαίο ανακλαστικό (Vestibular reflex): Συντελεί μια ανακλαστική οφθαλμική κίνηση [49], κατά την οποία σταθεροποιείται το είδωλο στον αμφιβληστροειδή κατά τη διάρκεια της κίνησης της κεφαλής. Καθοδηγείται από τον αιθουσαίο μηχανισμό (vestibular), ο οποίος αποτελείται από τρείς ημισφαιρικούς σωλήνες με υγρό, διατεταγμένους έτσι ώστε να δίνουν στον εγκέφαλο την αίσθηση του προσανατολισμού στον χώρο. Οι κινήσεις αυτές είναι πάντα αντίθετες σε σχέση με αυτές της κεφαλής. Η διατήρηση της εικόνας στον αμφιβληστροειδή είναι αρκετά πολύπλοκη διαδικασία, καθώς η κίνηση της κεφαλής είναι συνεχής και με πολλούς βαθμούς ελευθερίας. Αυτό σημαίνει, ότι οι οφθαλμικές κινήσεις θα πρέπει να είναι ακριβείς σε όλες τις διευθύνσεις (οριζόντιες, κάθετες και περιστροφικές). Όταν για παράδειγμα ένας άνθρωπος τρέχει, οι απότομες κινήσεις του μπορούν να αντισταθμιστούν μόνο με αυτές τις αντίθετες οφθαλμικές κινήσεις. Είναι παραπάνω από σαφές, ότι για να είναι αποτελεσματικές, η ταχύτητά τους θα πρέπει να είναι μεγαλύτερη από αυτή της κεφαλής. Τέλος, το οφθαλμο-αιθουσαίο ανακλαστικό δεν εξαρτάται από το οπτικό σήμα, καθώς ακόμα και σε συνθήκες πλήρους συσκότισης λειτουργούν με την ίδια ακριβώς ευκολία. Επομένως, μια κίνηση παρατήρησης αποτελείται αρχικά από μία σακκαδική κίνηση, ακολουθούμενη από κίνηση της κεφαλής και στη συνέχεια ένα ανακλαστικό [50]. 2.3 Eye Tracker (Οφθαλμικός Ιχνηλάτης) Η διαδικασία παρακολούθησης των οφθαλμικών κινήσεων (eye tracking), περιλαμβάνει την καταγραφή της διεύθυνσης του ανθρώπινου οπτικού πεδίου, ή της κίνησης των ματιών σε σχέση με το κεφάλι. Ο οφθαλμικός ιχνηλάτης (Eye Tracker),

Σύστημα όρασης και Eye-Tracker 25 είναι η συσκευή η οποία μετρά οφθαλμικές θέσεις και κινήσεις [49]. Οι οφθαλμικοί ιχνηλάτες χρησιμοποιούνται κυρίως για επιστημονικούς σκοπούς σε διάφορους τομείς της επιστήμης, όπως την έρευνα για το οπτικό σύστημα, την ψυχολογία, τη βιοιατρική και τη λογοθεραπεία. Οι πρώτες καταγραφές οφθαλμικών κινήσεων αναφέρονται στον 19 ο αιώνα. Πιο συγκεκριμένα, ο Yarbus στην εργασία του [20], αναφέρει την πρώτη απόπειρα από τον Javal (1879), στην οποία γινόταν καταγραφή των οφθαλμικών κινήσεων πίσω από τον παρατηρητή, με χρήση καθρεπτών. Στη δική του εργασία (1967), είχε κατασκευάσει μια διάταξη βασιζόμενη σε δύο φωτεινές πηγές (Σχήμα 2.11). Οι πρώτες αυτές τεχνικές, αποσκοπούσαν στην εξερεύνηση της συμπεριφοράς του οφθαλμοκινητικού συστήματος. Έκτοτε, με την εξέλιξη της τεχνολογίας αναπτύχθηκαν νέες τεχνικές καταγραφής, με πολύ μεγαλύτερη ακρίβεια και συχνότητα, δίνοντας τη δυνατότητα ανάπτυξης εφαρμογών σε επιπλέον κλάδους της επιστήμης. Η χρήση των Eye Trackers, Σχήμα 2.11 Η πρώτη ολοκληρωμένη διάταξη καταγραφής οφθαλμικών κινήσεων έχει επεκταθεί σε εφαρμογές για την εξερεύνηση του τρόπου με τον οποίο γίνεται η ανάγνωση κειμένων είτε σε βιβλία [23], είτε σε ιστοσελίδες [24], [25] εξάγοντας αξιόλογα αποτελέσματα. Επίσης, τα τελευταία χρόνια ερευνητική προσπάθεια έχει στραφεί προς την εύρεση βιομετρικών χαρακτηριστικών από οφθαλμικές κινήσεις [26].

26 Κεφάλαιο 2 2.3.1 Τεχνικές καταγραφής οφθαλμικών κινήσεων Η καταγραφή των οφθαλμικών κινήσεων μπορεί να γίνει με διάφορους τρόπους. Στο εμπόριο, έχουν αναπτυχθεί αρκετοί τύποι Eye Tracker με διαφορετικά χαρακτηριστικά κατασκευής. Οι τρείς κυριότεροι εξ αυτών (σχήμα 2.12), είναι οι απομακρυσμένοι (remote), οι στηριζόμενοι σε τραπέζι (table-mounted) και οι στηριζόμενοι στο κεφάλι (head-mounted). Η αρχή λειτουργίας τους βασίζεται στην υπέρυθρη ακτινοβολία, όπου είτε μέσω ανακλάσεων από φωτεινές πηγές, είτε μέσω χρήσης κάμερας καταγράφεται και αναλύεται η δυναμική θέση των ματιών. Ο λόγος για τον οποίο χρησιμοποιείται ακτινοβολία εκτός του ορατού φάσματος, βασίζεται στην ανάγκη για μηδενική οπτική αλληλεπίδραση του συστήματος καταγραφής με τον παρατηρητή. (α) (β) (γ) Σχήμα 2.12 Eye Tracker (α) Απομακρυσμένος, (β) Στηριζόμενος σε τραπέζι, (γ) Στηριζόμενος σε κεφάλι Οι απομακρυσμένοι Eye Trackers δεν παρεμβάλλονται στο οπτικό πεδίο, καθώς είναι συνήθως τοποθετημένοι κάτω ή δίπλα από την οθόνη. Το βασικότερο μειονέκτημά τους βρίσκεται στο γεγονός ότι δεν επιτρέπουν την κίνηση του παρατηρητή, λόγω της αδυναμίας διαδραστικής βαθμονόμησης. Ο περιορισμός αυτός προκαλεί δυσκολίες κατά την εκτέλεση της πειραματικής διαδικασίας, μη επιτρέποντας την καταγραφή αξιόπιστων μετρήσεων. Τέτοιες συσκευές βρίσκουν χρήση σε εφαρμογές στις οποίες δεν είναι αναγκαία η υψηλή ακρίβεια των μετρήσεων (π.χ. περιήγηση στον ιστό). Οι στηριζόμενες στο τραπέζι συσκευές δίνουν τη δυνατότητα στήριξης του κεφαλιού σε μία σταθερή και ακίνητη βάση, διευκολύνοντας την ακινησία του εξεταζόμενου. Με αυτόν τον τρόπο λαμβάνονται πιο αξιόπιστες μετρήσεις, δίνοντας τη δυνατότητα χρήσης τους σε πιο απαιτητικές εφαρμογές (π.χ. έρευνα). Τέλος, σε κάποιες περιπτώσεις στις οποίες είναι απαραίτητη η κίνηση του παρατηρητή