ΜΕΘΟΔΟΙ ΚΑΙ ΕΡΓΑΛΕΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΕΥΧΡΗΣΤΙΑΣ ΦΟΡΗΤΩΝ ΕΦΑΡΜΟΓΩΝ ΓΕΩΡΓΙΟΣ Δ. ΦΙΩΤΑΚΗΣ

Transcript

1 ΜΕΘΟΔΟΙ ΚΑΙ ΕΡΓΑΛΕΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΕΥΧΡΗΣΤΙΑΣ ΦΟΡΗΤΩΝ ΕΦΑΡΜΟΓΩΝ ΔΙΔΑΚΤΟΡΙΚΗ ΔΙΑΤΡΙΒΗ ΓΕΩΡΓΙΟΣ Δ. ΦΙΩΤΑΚΗΣ ΔΙΠΛΩΜΑΤΟΥΧΟΣ ΗΛΕΚΤΡΟΛΟΓΟΣ ΜΗΧΑΝΙΚΟΣ ΚΑΙ ΜΗΧΑΝΙΚΟΣ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΑΡΙΘΜΟΣ ΔΙΑΤΡΙΒΗΣ: 213 ΜΑΡΤΙΟΣ 2009

2

3 Πρόλογος - Ευχαριστίες Η παρούσα διατριβή εκπονήθηκε στο Εργαστήριο της Ερευνητικής Ομάδας Αλληλεπίδρασης Ανθρώπου Υπολογιστή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών. Αισθάνομαι την ανάγκη να εκφράσω τις ευχαριστίες μου σε όλους όσους συνετέλεσαν στην ολοκλήρωση της διατριβής. Καταρχήν θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή Νικόλαο Αβούρη για την πολύτιμη καθοδήγηση και την πρόθυμη βοήθεια που μου παρείχε σε όλη την πορεία αυτής της προσπάθειας. Παράλληλα, οφείλω ιδιαίτερες ευχαριστίες στο συνεπιβλέποντα καθηγητή Βασίλειο Κόμη του οποίου η συμβολή ήταν άκρως σημαντική καθώς και στον καθηγητή Ιωάννη Μουρτζόπουλο που επίσης ως μέλος της τριμελούς συμβουλευτικής επιτροπής παρείχε αξιόλογη υποστήριξη. Θερμές ευχαριστίες οφείλω και σε όλους τους φίλους και συνεργάτες που στελεχώνουν την ομάδα Αλληλεπίδρασης Ανθρώπου Υπολογιστή και πιο συγκεκριμένα στους: Λέκτορα Νίκο Τσέλιο, Ελένη Βογιατζάκη, Adrian Stoica, Δημήτρη Ράπτη, Γιώργο Καχριμάνη, Λευτέρη Παπαχρήστο, Χρήστο Κατσάνο, Ειρήνη Χούντα, Νίκη Πολυχρονοπούλου, Χρήστο Σιντόρη, Φοίβη Ροντήρη και Νώντα Ροντογιάννη. Η εκτίμησή τους αποτέλεσε πολύτιμο αρωγό της προσπάθειάς μου. Ευχαριστώ επίσης θερμά τον καθηγητή Χρήστο Παπαθεοδώρου και τους συνεργάτες του και πλέον προσωπικούς μου φίλους: Γιάννη Τσάκωνα, Κυριακή Ζούτσου, Λεωνίδα Παπαχριστόπουλο και Άγγελο Μητρέλη για την εμπιστοσύνη τους καθώς και την πολύτιμη βοήθειά τους. Ιδιαίτερες ευχαριστίες στους επιστήθιους φίλους Αντώνη Τζινευράκη, Μαριολένη Παρίση, Ιώ Παπαδημητρίου, Ανδρομάχη Φιλιππίδη, Θοδωρή Βασιλόπουλο, Doina Stoica, Κώστα Λαβίδα, Βαγγέλη Λυτσιούλη, Κώστα Μπακούλια, Ευέλθονα Προδρόμου, Κώστα Μπίρκο, Θανάση Κεχαγιόγλου, Γιάννη Σαρηγιάννη, Γιώργο Γούλα και Ειρήνη Γκούσκου για το ειλικρινές τους ενδιαφέρον. Τέλος, ευχαριστώ θερμά τους γονείς μου Δημήτρη και Μαρία καθώς και τον αδερφό μου Χαράλαμπο, για την αμέριστη στήριξη και συμπαράσταση που μου παρείχαν τόσο κατά τη διάρκεια αυτής της επίπονης προσπάθειας αλλά και σε κάθε άλλο μου βήμα και εγχείρημα. Πάτρα, Οκτώβριος 2008 Γεώργιος Δ. Φιωτάκης Διδακτορική διατριβή 3

4 4 Διδακτορική διατριβή

5 Πίνακας Περιεχομένων Πίνακας Περιεχομένων Περίληψη Κεφάλαιο 1. Εισαγωγή Εισαγωγή Περιγραφή του ερευνητικού προβλήματος Συμβολή της διατριβής Διάρθρωση της διατριβής Δημοσιευθείσες εργασίες Κεφάλαιο 2. Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές Εισαγωγή Το υπόβαθρό της Τεχνολογίας Ευχρηστίας Μέθοδοι και πρότυπα ευχρηστίας Αξιολόγηση Ευχρηστίας Υπολογιστικών Συστημάτων Το πρόβλημα της αξιολόγησης ευχρηστίας Μέθοδοι αξιολόγησης ευχρηστίας Φορητές εφαρμογές Η διείσδυση των φορητών εφαρμογών και η έννοια του πλαισίου χρήσης Χαρακτηριστικά των φορητών εφαρμογών Το περιβάλλον χρήσης των εφαρμογών Πληρότητα, καταλληλότητα και συνδεσιμότητα των επιμέρους συσκευών Χρήση πολλών καναλιών επικοινωνίας μεταξύ χρήστη - συστήματος Τα χαρακτηριστικά των φορητών συσκευών Ζητήματα που αφορούν την αξιολόγηση ευχρηστίας των φορητών εφαρμογών Διερεύνηση καταλληλότητας μεθόδων αξιολόγησης ευχρηστίας στις φορητές εφαρμογές Η συμβολή της Θεωρίας Δραστηριότητας και Εθνογραφικών προσεγγίσεων στη μελέτη της χρήσης υπολογιστικών συστημάτων Η Θεωρία Δραστηριότητας ως θεωρητικό πλαίσιο ανάλυσης ευχρηστίας Εθνογραφικές προσεγγίσεις στην αξιολόγηση ευχρηστίας Μεθοδολογίες αξιολόγησης εμπνευσμένες από τη Θεωρία Δραστηριότητας και Εθνογραφία σε φορητές εφαρμογές Κεφάλαιο 3. Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών Εισαγωγή Διδακτορική διατριβή 5

6 Πίνακας Περιεχομένων 3.2 Μελέτες αξιολόγησης της χρήσης των φορητών εφαρμογών - Επισκόπηση βιβλιογραφίας Η επιλογή του χώρου αξιολόγησης Η συλλογή των δεδομένων αξιολόγησης Ζητήματα ανάλυσης δεδομένων αξιολόγησης Εργαλεία ανάλυσης δεδομένων παρατήρησης Το εργαλείο NVivo Το εργαλείο Observer XT Το εργαλείο HyperResearch Το εργαλείο Transana Το εργαλείο Replayer Το εργαλείο Morae Συγκριτική αξιολόγηση των εργαλείων ανάλυσης Συμπεράσματα Κεφάλαιο 4. Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC Εισαγωγή Περιγραφή της μεθοδολογίας αξιολόγησης MOBELIC Συστηματοποίηση της συλλογής δεδομένων της μεθοδολογίας MOBELIC Προετοιμασία και προγραμματισμός της μελέτης Διεξαγωγή και καταγραφή της δραστηριότητας Απευθείας παρατήρηση Ηλεκτρονική καταγραφή της δραστηριότητας (α) Καταγραφή της οθόνης των χρησιμοποιούμενων συσκευών (β) Καταγραφή της συνομιλίας των υποκειμένων (γ) Εποπτική καταγραφή της συνολικής δραστηριότητας των υποκειμένων Συμπλήρωση ερωτηματολογίων και διενέργεια συνεντεύξεων Συσχέτιση μεθόδων καταγραφής με τα χαρακτηριστικά των αξιολογούμενων συστημάτων και το περιβάλλον χρήσης τους Ανάλυση των δεδομένων Απαιτήσεις για υποστήριξη της διαδικασίας ανάλυσης δεδομένων μέσω κατάλληλου λογισμικού εργαλείου Κεφάλαιο 5. Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων Εισαγωγή ActivityLens - ένα εργαλείο ανάλυσης δραστηριοτήτων Διδακτορική διατριβή

7 Πίνακας Περιεχομένων Χειρισμός ετερογενών πηγών δεδομένων Οργάνωση δεδομένων παρατήρησης Συγχρονισμός δεδομένων παρατήρησης Ανάλυση δεδομένων παρατήρησης μέσω ActivityLens Προετοιμασία ανάλυσης δεδομένων παρατήρησης Ορισμός των συμμετεχόντων Ορισμός των χρησιμοποιούμενων εργαλείων Παρατήρηση και ταξινόμηση των δεδομένων παρατήρησης Παρατήρηση δεδομένων Επισημείωση δεδομένων παρατήρησης Κωδικοποίηση Ομαδοποίηση συμβάντων σε εργασίες και στόχους Επεξεργασία επισημειωμένων δεδομένων παρατήρησης Φιλτράρισμα των επισημειωμένων δεδομένων Οπτικοποίηση των δεδομένων Στατιστική ανάλυση δεδομένων παρατήρησης Σύγκριση προβλημάτων ευχρηστίας σε διαφορετικές φάσεις ανάπτυξης της εφαρμογής Παρουσίαση δεδομένων παρατήρησης Ακολουθιακή ανάλυση ενεργειών χρηστών Αποτελέσματα ανάλυσης μέσω ActivityLens Συμπεράσματα Κεφάλαιο 6. Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens Εισαγωγή Εφαρμογή μεθοδολογίας MOBELIC στην αξιολόγηση ευχρηστίας της φορητής εφαρμογής Inheritance Περιγραφή της μελέτης περίπτωσης Στόχος της μελέτης Περιγραφή της φορητής εφαρμογής Inheritance Η φορητή εφαρμογή Inheritance v Περιγραφή του χώρου Περιγραφή των συσκευών λειτουργίας Σενάριο χρήσης εφαρμογής Inheritance Διδακτορική διατριβή 7

8 Πίνακας Περιεχομένων Διενέργεια πειραμάτων αξιολόγησης της φορητής εφαρμογής Inheritance Πείραμα 1 ο Επισκόπηση της εφαρμογής Inheritance από ειδικούς Πείραμα 2 ο Παρατήρηση χρηστών σε εργαστηριακό περιβάλλον Πείραμα 3 ο Παρατήρηση πολυμεσικών πηγών δεδομένων που περιέχουν την αλληλεπίδραση χρηστών με την εφαρμογή Inheritance στο Μουσείο Σολωμού Διαδικασία ταξινόμησης των προβλημάτων ευχρηστίας Ανάλυση δεδομένων αξιολόγησης Προβλήματα που εντοπίστηκαν αμιγώς από κάθε μέθοδο Αξιοπιστία Δεδομένων Αξιολόγησης Αξιολόγηση πειραμάτων - αποτελεσματικότητα και αποδοτικότητα των μεθόδων που χρησιμοποιήθηκαν Μετανάλυση δεδομένων Μέτρηση επίτευξης στόχων Inheritance Συνεισφορά εργαλείου ανάλυσης ActivityLens Συμπεράσματα Κεφάλαιο 7. Συμπεράσματα και μελλοντικές κατευθύνσεις Βιβλιογραφία Παραρτήματα Παράρτημα Α Παράρτημα Β Παράρτημα Γ Παράρτημα Δ Διδακτορική διατριβή

9 Περίληψη Abstract This thesis deals with the problem of effective usability evaluation of mobile applications. The term mobile applications describes the electronic services that are designed to operate under mobile devices in order to meet the everyday needs of people. There are special characteristics of mobile applications, compared to established desktop applications. Thus, the dynamic context of use and the small size of mediating mobile devices differentiate their use and increase the complexity of their usability evaluation. There are various established methods that have been extensively used in traditional human-computer interaction research in order to evaluate the use of desktop applications. This thesis, firstly examines the suitability of such methods in usability evaluation of mobile applications. The survey indicated that all these methods can be effective. However their application produces different types of data and requires different amount and kind of resources. In the frame of this thesis, MOBELIC, a new methodology for the usability evaluation of mobile applications, is proposed. The goal of MOBELIC is the optimization of evaluation process due to the short life-cycle of mobile applications. It is an effective combination of selected established methods supporting the redesign of a mobile application during its development life-cycle. The main characteristic of this methodology is that it proposes the iterative application of each evaluation method, depending on certain factors, such as the mobile application implementation phase, the quality of the expected method results and the required resources. Subsequently, the design and the implementation of a usability evaluation tool, the ActivityLens, that support the proposed methodology, are described in this thesis. ActivityLens integrates and synchronizes multiple heterogeneous data that describe the interaction of real users with mobile applications. Furthermore, the tool incorporates especially designed mechanisms for annotation and analysis of collected data in order to facilitate usability experts to extract meaningful information. The applicability of the proposed methodology and the effectiveness of the ActivityLens are examined through an extended case study in which the usability of an educational mobile application is evaluated. The case study consists of three discrete experiments including the use of different evaluation methods according to the proposed methodology. Διδακτορική διατριβή 9

10 Περίληψη 10 Διδακτορική διατριβή

11 Περίληψη Περίληψη Η παρούσα διατριβή πραγματεύεται το πρόβλημα της αποτελεσματικής αξιολόγησης ευχρηστίας φορητών εφαρμογών. Με τον όρο φορητές εφαρμογές περιγράφονται οι ηλεκτρονικές υπηρεσίες που είναι σχεδιασμένες να παρέχονται μέσω φορητών συσκευών και έχουν ως στόχο να βοηθήσουν τον άνθρωπο στις καθημερινές του προσωπικές ή επαγγελματικές δραστηριότητες. Η αλληλεπίδραση ενός χρήστη με μία τέτοια ηλεκτρονική υπηρεσία είναι μια διαδικασία πολύπλοκη που δεν υποστηρίζεται από μία μεμονωμένη εφαρμογή και δεν περιορίζεται πλέον στα στενά όρια ενός γραφείου. Αντίθετα, επιτυγχάνεται με διαμεσολάβηση σύγχρονων και συχνά πολυχρηστικών υπολογιστικών μονάδων (φορητές συσκευές, υπολογιστές) και επιμέρους συσκευών και λαμβάνει χώρα σε διάφορα φυσικά περιβάλλοντα. Σε πολλές περιπτώσεις εμπλέκει περισσότερους από έναν χρήστες οι οποίοι μπορεί να συνεργάζονται είτε εκ του σύνεγγυς είτε εξ αποστάσεως προκειμένου να εκτελέσουν μια εργασία. Η μελέτη αυτής της αλληλεπίδρασης μπορεί να δώσει πολύτιμα συμπεράσματα τόσο για την ευκολία χρήσης των σύγχρονων υπολογιστικών συστημάτων όσο και για τη χρησιμότητά τους και αποτελεί μια σημαντική ερευνητική πρόκληση του επιστημονικού πεδίου Αλληλεπίδρασης Ανθρώπου Υπολογιστή και ιδιαίτερα της Τεχνολογίας Ευχρηστίας. Οι κλασσικές μέθοδοι ευχρηστίας καλούνται να αντιμετωπίσουν την πρόκληση της επιτυχούς αξιολόγησης των φορητών εφαρμογών, δηλαδή της αποτίμησης των χαρακτηριστικών ποιότητάς τους που επηρεάζουν την εμπειρία χρήσης τους. Τόσο τα χαρακτηριστικά των χρησιμοποιούμενων συσκευών όσο και το περιβάλλον χρήσης των εφαρμογών αυτών, τις διαφοροποιούν κατά πολύ από τις εφαρμογές επιτραπέζιου υπολογιστή. Καθώς η διείσδυσή τους στις καθημερινές δραστηριότητες του ανθρώπου είναι ολοένα και αυξανόμενη, η ανάγκη για μεθοδολογίες και εργαλεία που μπορούν να βοηθήσουν την αξιολόγηση της χρήσης τους κρίνεται επιτακτική. Στην παρούσα εργασία καταρχήν περιγράφονται οι κλασσικές μέθοδοι αξιολόγησης υπολογιστικών συστημάτων και στη συνέχεια αξιολογούνται ως προς την επάρκεια των δεδομένων που μπορούν να συλλέξουν και την πληρότητα των αποτελεσμάτων που μπορούν να δώσουν στην περίπτωση χρήσης τους για αξιολόγηση ευχρηστίας φορητών εφαρμογών. Παράλληλα γίνεται επισκόπηση της βιβλιογραφίας που Διδακτορική διατριβή 11

12 Περίληψη αφορά την αξιολόγηση ευχρηστίας των φορητών εφαρμογών και εξετάζονται τα κυριότερα ζητήματα της μεθόδου αξιολόγησης, περιλαμβάνοντας μεταξύ άλλων την επιλογή του χώρου αξιολόγησης και τα δεδομένα που πρέπει να συλλεγούν και αναλυθούν. Στη συνέχεια προτείνεται η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC (MOBile Evaluation Life Cycle methodology). Η MOBELIC υποστηρίζει την αξιολόγηση ευχρηστίας μιας φορητής εφαρμογής σε όλο τον κύκλο ανάπτυξής της. Αποτελεί συνδυασμό από υπάρχουσες μεθόδους αξιολόγησης λαμβάνοντας όμως υπόψη τη φάση ανάπτυξης στην οποία βρίσκεται η υπό αξιολόγηση φορητή εφαρμογή, την ποιότητα των αποτελεσμάτων που προκύπτουν από κάθε μέθοδο, το χρόνο και τους πόρους που απαιτούνται για τη διεξαγωγή καθεμιάς από αυτές, καθώς και το χρόνο για την ανάλυση των δεδομένων τους και την εξαγωγή πολύτιμων συμπερασμάτων. Η συνεισφορά της μεθοδολογίας MOBELIC έγκειται στο γεγονός ότι βελτιστοποιεί τη διαδικασία αξιολόγησης μιας φορητής εφαρμογής υποστηρίζοντάς την από τις αρχικές φάσεις ανάπτυξης μέχρι τα τελευταία στάδια ολοκλήρωσής της. Προκειμένου να υποστηριχθεί η μεθοδολογία ΜOBELIC, σχεδιάστηκε και αναπτύχθηκε το εργαλείο ActivityLens. Αποτελεί ένα εργαλείο παρατήρησης και ανάλυσης των δεδομένων που συλλέγονται κατά τη διάρκεια μελετών της αλληλεπίδρασης χρηστών με φορητές εφαρμογές. Το εργαλείο παρέχει τη δυνατότητα παρακολούθησης των διακριτών φάσεων ανάπτυξης μιας φορητής εφαρμογής και επιτρέπει τη σύγκριση των προβλημάτων ευχρηστίας που παρατηρούνται σε αυτές, χρησιμοποιώντας κοινό σχήμα κωδικοποίησης των προβλημάτων. Παράλληλα, ενσωματώνοντας κατάλληλα σχεδιασμένες λειτουργίες, βοηθάει τον αναλυτή να απομονώσει συγκεκριμένους τύπους δράσεων που υποδεικνύουν πρόβλημα στη χρήση των εξεταζόμενων εφαρμογών. Τέλος στα πλαίσια της παρούσας διατριβής, εξετάζεται η εφαρμοσιμότητα της προτεινόμενης μεθοδολογίας καθώς και η αποτελεσματικότητα του εργαλείου ανάλυσης, μέσα από μία μελέτη περίπτωσης που περιλαμβάνει τη διενέργεια 3 διακριτών πειραμάτων. Η αξιολόγηση αφορά μία συνεργατική εκπαιδευτική φορητή εφαρμογή προορισμένη να πληροφορεί μαθητές για τα εκθέματα ενός Μουσείου. 12 Διδακτορική διατριβή

13 Κεφάλαιο 1 Κεφάλαιο 1. Εισαγωγή Στο εισαγωγικό αυτό κεφάλαιο περιγράφεται το αντικείμενο της παρούσας διατριβής. Πιο αναλυτικά, παρουσιάζονται οι κύριοι στόχοι της εργασίας, τα κύρια επιτεύγματα καθώς και η συμβολή της στο πεδίο της αξιολόγησης της χρήσης των φορητών εφαρμογών. Τέλος παρουσιάζεται η δομή της διατριβής. Διδακτορική διατριβή 13

14 Εισαγωγή 1.1 Εισαγωγή Η ευρεία διάδοση και χρήση των υπολογιστών διαδραματίζει σημαντικό ρόλο στη ζωή των πολιτών στις σύγχρονες κοινωνίες, υποστηρίζοντας πολλές από τις καθημερινές τους δραστηριότητες (Jaimes, 2006). Ο υπολογιστής δεν είναι πια η τυπική συσκευή που χρησιμοποιείται κύρια στο χώρο ενός γραφείου αλλά λαμβάνει πολλαπλές μορφές και εμπλέκεται σε πολλές ανθρώπινες δραστηριότητες. Η διαρκής ανάπτυξη της ασύρματης επικοινωνίας καθώς και η εκτεταμένη χρήση φορητών συσκευών με μεγάλες δυνατότητες (κινητά τηλέφωνα, PDAs, palms, pocket PCs) έχει οδηγήσει στην αυξανόμενη εμφάνιση σύγχρονων ηλεκτρονικών εφαρμογών και υπηρεσιών που έχουν ως στόχο να διευκολύνουν την ασύρματη επικοινωνία και να παρέχουν στους χρήστες τους ανά πάσα στιγμή πρόσβαση σε πολλά είδη πληροφορίας (Li & Liao, 2000). Η νέα αυτή πραγματικότητα έχει οδηγήσει στη δημιουργία φορητών εφαρμογών, δηλαδή ηλεκτρονικών υπηρεσιών που είναι σχεδιασμένες να παρέχονται κύρια μέσω φορητών συσκευών (Zhang & Adipat, 2005). Η μετάβαση όμως από τις εφαρμογές επιτραπέζιων υπολογιστικών συστημάτων στις φορητές εφαρμογές δεν είναι απαλλαγμένη από προβλήματα. Οι χρήστες συχνά αντιμετωπίζουν προβλήματα που οφείλονται τόσο στα εγγενή χαρακτηριστικά των χρησιμοποιούμενων συσκευών και του ευρύτερου τεχνολογικού εξοπλισμού, όσο και του χώρου στον οποίο τις χρησιμοποιούν. Έτσι σε πολλές περιπτώσεις οι χρήστες καλούνται να επιτύχουν πρόσβαση στην πληροφορία που επιθυμούν αλληλεπιδρώντας με συσκευές που έχουν μικροσκοπικές και δυσανάγνωστες οθόνες καθώς και περιορισμένες δυνατότητες εισαγωγής δεδομένων (π.χ. μικροσκοπικά πληκτρολόγια) (Sadeh, 2002). Σε όλα αυτά προστίθενται και άλλοι παράγοντες που δυσχεραίνουν τη χρήση των φορητών εφαρμογών και συναρτώνται με τα χαρακτηριστικά του χώρου στον οποίο χρησιμοποιούνται (Gong & Tarasewich, 2004). Για παράδειγμα, συχνά παρατηρούνται προβλήματα που σχετίζονται τόσο με περιβαλλοντικούς παράγοντες όπως είναι ο ακατάλληλος φωτισμός και η θερμοκρασία, ο θόρυβος που μπορεί να υπάρχει σε ένα χώρο αλλά και η συνεχής κίνηση του χρήστη μέσα σε αυτόν. Παράλληλα, οι χρήστες συχνά βιώνουν προβλήματα διακοπής των χρησιμοποιούμενων δικτύων και προσβασιμότητας σε δεδομένα, γεγονός που 14 Διδακτορική διατριβή

15 Κεφάλαιο 1 οφείλεται σε ανεπάρκεια της κάλυψης που παρέχουν τα υπάρχοντα δίκτυα και η τεχνολογική υποδομή (Sadeh, 2002). Η αναμφισβήτητη χρησιμότητα των φορητών εφαρμογών επιβάλλει την επίλυση των προβλημάτων που παρουσιάζονται κατά τη χρήση τους έτσι ώστε η πρόσβαση σε πληροφορίες και υπηρεσίες να γίνεται χωρίς δυσκολία. Η αξιολόγηση της χρήσης καθώς και η βελτίωση των νέων αυτών υπηρεσιών αποτελεί πρόκληση για τους ερευνητές του επιστημονικού πεδίου της Σχεδίασης Διαδραστικών Συστημάτων, μιας και παρουσιάζουν σύνθετα χαρακτηριστικά που τις διαφοροποιούν από τις εφαρμογές επιτραπέζιων υπολογιστών. Η ανάγκη για την ανάπτυξη ή προσαρμογή μεθόδων που μπορούν να μετρήσουν την ευχρηστία των φορητών εφαρμογών γίνεται στα πλαίσια αυτά, επιτακτική. 1.2 Περιγραφή του ερευνητικού προβλήματος Στα πλαίσια του επιστημονικού πεδίου της Αλληλεπίδρασης Ανθρώπου Υπολογιστή έχουν προταθεί μία πληθώρα από τεχνικές και μεθοδολογίες αξιολόγησης ευχρηστίας για εφαρμογές προορισμένες για επιτραπέζιους υπολογιστές (Nielsen 1993; Shneiderman 1998, Card et al. 1983). Ανάμεσα σε αυτές περιέχονται μέθοδοι αξιολόγησης από ειδικούς όπως είναι η ευρετική αξιολόγηση (Nielsen & Molich, 1990), και το γνωσιακό περιδιάβασμα (Lewis et al. 1990; Wharton et al. 1992), μέθοδοι που εμπλέκουν πραγματικούς χρήστες σε φυσικούς ή εργαστηριακούς χώρους, καθώς και αναλυτικές μέθοδοι που βασίζονται σε εφαρμογή θεωρητικών μοντέλων όπως η ανάλυση πληκτρολογήσεων (Card et al. 1980). Παράλληλα, αναγνωρίζοντας τη σημασία του χώρου στον οποίο ένα σύστημα πρόκειται να χρησιμοποιηθεί, έχουν προταθεί και μέθοδοι αξιολόγησης που προέρχονται από την Κοινωνική Ψυχολογία και την Κοινωνιολογία (βλέπε Kaptelinin, από Nardi 1996). Οι μέθοδοι αυτές επιχειρούν να εξηγήσουν τις καθημερινές πρακτικές που ακολουθούν οι άνθρωποι συσχετίζοντάς τις με το κοινωνικό, ιστορικό και πολιτισμικό περιβάλλον στο οποίο λαμβάνουν χώρα. Ενώ η αξιολόγηση της χρήσης των εφαρμογών επιτραπέζιων συστημάτων μπορεί να θεωρηθεί πλέον σε μεγάλο βαθμό τυποποιημένη, η διαδικασία αξιολόγησης της χρήσης των φορητών εφαρμογών αποτελεί ακόμα ερευνητική πρόκληση λόγω των ιδιαίτερων χαρακτηριστικών τους. Οι υπάρχουσες μεθοδολογίες πρέπει να επανεξεταστούν προκειμένου να γίνει σαφές αν μπορούν να εφαρμοστούν Διδακτορική διατριβή 15

16 Εισαγωγή προκειμένου να μετρηθεί η ευχρηστία των φορητών εφαρμογών ή αν τελικά υπάρχει η ανάγκη για νέες προσεγγίσεις που θα είναι ικανές να αποτυπώσουν τα ιδιαίτερα χαρακτηριστικά τους (Kjeldskov & Stage, 2004). Οι μελέτες που περιγράφονται στη βιβλιογραφία και αφορούν την αξιολόγηση ευχρηστίας των φορητών εφαρμογών μέχρι σήμερα, εξετάζουν κυρίως ζητήματα που αφορούν την επιλογή της μεθόδου αξιολόγησης, την επιλογή του χώρου αξιολόγησης και των δεδομένων που πρέπει να συλλεχθούν. Εστιάζουν κυρίως στα θετικά και αρνητικά σημεία κάθε μεθόδου καθώς και στα πλεονεκτήματα και μειονεκτήματα που παρουσιάζει η αξιολόγηση των φορητών εφαρμογών στο εργαστήριο ή στο πεδίο. Παράλληλα δίνουν έμφαση σε νέες τεχνικές συλλογής δεδομένων, ικανές να καταγράψουν την αλληλεπίδραση χρήστη συστήματος, ιδιαίτερα όταν η αξιολόγηση γίνεται κάτω από πραγματικές συνθήκες χρήσης στο πεδίο. Επιπροσθέτως είναι ανάγκη να εξετασθούν ζητήματα που αφορούν την καταλληλότητα της εφαρμογής κάθε μεθόδου σε διαφορετικό στάδιο ανάπτυξης μιας φορητής εφαρμογής. Ενώ για παράδειγμα οι μελέτες που εμπλέκουν πραγματικούς χρήστες, αποκαλύπτουν ένα μεγάλο πλήθος προβλημάτων και μπορούν να επαληθεύσουν συγκεκριμένες υποθέσεις, δεν παύουν να είναι δαπανηρές και χρονοβόρες. Αντίθετα οι μελέτες που βασίζονται σε ειδικούς ευχρηστίας είναι πιο σύντομες και οδηγούν σε εντοπισμό μεγάλου αριθμού προβλημάτων της υπό εξέταση εφαρμογής σε πρώιμα στάδια. Θα πρέπει να παρατηρηθεί ότι η αυξανόμενη ανάπτυξη της τεχνολογίας σε θέματα φορητότητας και συνδεσιμότητας, έχει δημιουργήσει την απαίτηση για σύντομο κύκλο ζωής των φορητών εφαρμογών με αποτέλεσμα η αξιολόγηση ευχρηστίας τους να οφείλει να είναι αποτελεσματική και σύντομη, ώστε να συμβάλει στην επιτάχυνση της ανάπτυξής τους. Κατά συνέπεια υπάρχει η ανάγκη για βελτιστοποίηση της διαδικασίας αξιολόγησης. Αυτό σημαίνει ότι πρέπει να δοθεί βαρύτητα σε ζητήματα που αφορούν την καταλληλότητα κάθε μεθόδου σχετικά με την απόδοσή της αλλά και την ποιότητα των αποτελεσμάτων της, συναρτήσει της φάσης ανάπτυξης στην οποία βρίσκεται η αξιολογούμενη εφαρμογή. Διαφαίνεται η ανάγκη για βέλτιστη και συστηματική αξιολόγηση των φορητών εφαρμογών σε διακριτές φάσεις του κύκλου ανάπτυξής τους ώστε να προκύπτουν συμπεράσματα ικανά να οδηγούν έγκαιρα τον βέλτιστο επανασχεδιασμό τους. 16 Διδακτορική διατριβή

17 Κεφάλαιο 1 Το ερευνητικό ερώτημα της διατριβής, με βάση τα παραπάνω, είναι: Ποια μέθοδος αξιολόγησης είναι καταλληλότερη να εφαρμοστεί προκειμένου να αξιολογήσει την ευχρηστία και να κατευθύνει τον επανασχεδιασμό μιας φορητής εφαρμογής κατά τις διαφορετικές φάσεις του κύκλου ανάπτυξής της και πώς αυτή μπορεί να υποστηριχτεί από εργαλεία; 1.3 Συμβολή της διατριβής Η παρούσα διατριβή, καταρχήν εξετάζει τα εγγενή χαρακτηριστικά καθώς και τα χαρακτηριστικά χρήσης των φορητών εφαρμογών που τις διαφοροποιούν από τις κλασσικές εφαρμογές επιτραπέζιων συστημάτων. Στη συνέχεια, γίνεται επισκόπηση της βιβλιογραφίας και εξετάζονται τα κυριότερα ζητήματα που είναι η επιλογή της μεθόδου αξιολόγησης, η επιλογή του χώρου αξιολόγησης και το είδος των δεδομένων που πρέπει να συλλεχθούν. Προκειμένου να απαντηθεί το ερευνητικό ερώτημα, εξετάζεται αρχικά η καταλληλότητα των ήδη υπαρχόντων μεθόδων αξιολόγησης και τεχνικών συλλογής δεδομένων σε διαφορετικά στάδια της ανάπτυξης μιας φορητής εφαρμογής. Η κεντρική ιδέα είναι να προταθεί μία μεθοδολογία αξιολόγησης, ικανή να οδηγήσει τον επανασχεδιασμό των εξεταζόμενων φορητών εφαρμογών σε διάφορα στάδια της ανάπτυξής τους. Για το λόγο αυτό στη συνέχεια προτείνεται η μεθοδολογία MOBELIC που υποστηρίζει την αξιολόγηση ευχρηστίας μιας φορητής εφαρμογής σε όλο τον κύκλο ανάπτυξής της. Η MOBELIC αποτελεί συνδυασμό διαδοχικής εφαρμογής υφισταμένων ήδη μεθόδων αξιολόγησης, λαμβάνοντας όμως υπόψη τη φάση ανάπτυξης στην οποία βρίσκεται η φορητή εφαρμογή, την ποιότητα των αποτελεσμάτων που προκύπτουν από κάθε μέθοδο, το χρόνο και τους πόρους που απαιτούνται κατά την εφαρμογή καθεμιάς από αυτές, καθώς και το χρόνο για την ανάλυση των δεδομένων τους και την εξαγωγή πολύτιμων συμπερασμάτων. Η συνεισφορά της μεθοδολογίας MOBELIC έγκειται στο γεγονός ότι μπορεί να εφαρμοστεί σε κάθε περίπτωση αξιολόγησης ευχρηστίας μιας φορητής εφαρμογής υποστηρίζοντάς την από τις αρχικές φάσεις ανάπτυξης μέχρι τα τελευταία στάδια ολοκλήρωσής της, επιτυγχάνοντας έτσι ευελιξία και βελτιστοποίηση της διαδικασίας αξιολόγησης. Οι φάσεις ανάπτυξης της εφαρμογής, που υποστηρίζονται είναι: Διδακτορική διατριβή 17

18 Εισαγωγή 1) Αρχική φάση, κατά την οποία η εφαρμογή είναι σε κατάσταση πρώιμου πρωτότυπου. Η υπόθεση είναι ότι μεγάλο πλήθος των προβλημάτων σχεδιασμού της διεπιφάνειας του συστήματος μπορεί να βρεθεί από ειδικούς με ελάχιστο κόστος και σε σύντομο χρονικό διάστημα. Προτείνεται η εφαρμογή της μεθόδου του Ευρετικού Περιδιαβάσματος ως υβριδική μέθοδος επισκόπησης από ειδικούς συνδυάζοντας τις τεχνικές της ευρετικής αξιολόγησης και του γνωσιακού περιδιαβάσματος. 2) Φάση σχεδίασης κατά την οποία έχει αναπτυχθεί πρωτότυπο που υποστηρίζει τις βασικές λειτουργίες. Στη φάση αυτή ενδιαφέρει να μελετηθεί η αλληλεπίδραση χρήστη εφαρμογής. Η υπόθεση είναι ότι το περιβάλλον του εργαστηρίου παρέχει πληρέστερο έλεγχο της δραστηριότητας και πιο αξιοποιήσιμα δεδομένα. Κατά συνέπεια προτείνεται η χρήση της εφαρμογής από πραγματικούς χρήστες σε εργαστηριακό περιβάλλον και η καταγραφή της δραστηριότητας από ειδικό καταγραφικό εξοπλισμό προκειμένου να γίνει περαιτέρω ανάλυσή της. 3) Φάση προχωρημένης σχεδίασης, κατά την οποία η εφαρμογή βρίσκεται σε σημαντικό βαθμό ολοκλήρωσης και υποστηρίζει τις περισσότερες λειτουργίες (ώριμο σύστημα). Στη φάση αυτή ενδιαφέρει να μελετηθεί τόσο η αλληλεπίδραση χρήστη εφαρμογής όσο και να μελετηθούν τυχόν προβλήματα που σχετίζονται με τον τυπικό χώρο χρήσης της εφαρμογής. Προτείνεται η χρήση της εφαρμογής από πραγματικούς χρήστες στο πεδίο και η καταγραφή της δραστηριότητας από ειδικό καταγραφικό εξοπλισμό προκειμένου να γίνει περαιτέρω ανάλυση. Η υπόθεση είναι ότι οι μελέτες πεδίου με πραγματικούς χρήστες δεν χρειάζεται να γίνονται σε πρόωρες φάσεις ανάπτυξης αφού δεν εντοπίζουν περισσότερα προβλήματα όσον αφορά τη διεπιφάνεια χρήσης των συσκευών από τις εργαστηριακές μελέτες και έχουν υψηλό κόστος διεξαγωγής. Αντίθετα η συνεισφορά τους έγκειται κυρίως στο ότι είναι οι μόνες που μπορούν να εντοπίσουν τα προβλήματα εκείνα που σχετίζονται με το χώρο στον οποίο πρόκειται να χρησιμοποιηθεί η εφαρμογή. Με βάση το παραπάνω μεθοδολογικό πλαίσιο, στα πλαίσια της διατριβής σχεδιάστηκε και υλοποιήθηκε ένα πρωτότυπο εργαλείο ανάλυσης προκειμένου να καλύψει τις απαιτήσεις για ανάλυση των δεδομένων που προέρχονται από τις 18 Διδακτορική διατριβή

19 Κεφάλαιο 1 μελέτες που εμπλέκουν τυπικούς χρήστες. Το εργαλείο αυτό ονομάζεται ActivityLens και επιτρέπει την ενσωμάτωση πολλαπλών ετερογενών πηγών δεδομένων παρατήρησης που προέρχονται από διαφορετικές μελέτες αξιολόγησης που διενεργούνται σε διακριτές φάσεις κατά τον κύκλο ανάπτυξης μιας φορητής εφαρμογής. Το εργαλείο, ενσωματώνοντας κατάλληλα σχεδιασμένες λειτουργίες, όπως οπτικοποίηση και φιλτράρισμα των δεδομένων, βοηθάει τον αναλυτή να απομονώσει και να εστιάσει σε συγκεκριμένους τύπους ενεργειών που υποδεικνύουν πρόβλημα στη χρήση των εξεταζόμενων εφαρμογών. Παράλληλα, το ActivityLens επιτρέπει τη σύγκριση των προβλημάτων ευχρηστίας που παρατηρούνται σε διακριτές φάσεις ανάπτυξης της εφαρμογής, χρησιμοποιώντας κοινό σχήμα κωδικοποίησης των προβλημάτων. Τέλος, προκειμένου να εξεταστεί η εφαρμοσιμότητα της μεθοδολογίας MOBELIC και η χρησιμότητα του εργαλείου ActivityLens που τη συνοδεύει, πραγματοποιήθηκε μία μελέτη αξιολόγησης αποτελούμενη από 3 διακριτές φάσεις. Η αξιολόγηση αφορά μία συνεργατική εκπαιδευτική φορητή εφαρμογή προορισμένη να πληροφορεί μαθητές Δημοτικού για τα εκθέματα ενός Ιστορικού Λαογραφικού Μουσείου. 1.4 Διάρθρωση της διατριβής Η διατριβή διαρθρώνεται σε 7 κεφάλαια. Το περιεχόμενό τους έχει ως εξής: Στο παρόν κεφάλαιο 1, περιγράφονται το ερευνητικό πρόβλημα, η συνεισφορά της διατριβής σε αυτό, η διάρθρωσή της και τέλος οι εργασίες που δημοσιεύθηκαν κατά την εκπόνησή της. Στο κεφάλαιο 2, εισάγονται οι βασικές αρχές της επιστημονικής περιοχής της Αλληλεπίδρασης Ανθρώπου Υπολογιστή και περιγράφονται οι κλασσικές μεθοδολογίες αξιολόγησης ευχρηστίας υπολογιστικών συστημάτων. Στη συνέχεια περιγράφονται τα χαρακτηριστικά των φορητών εφαρμογών και ακολουθεί κριτική των υπαρχόντων μεθόδων αξιολόγησης ως προς την ικανότητά τους να αποτυπώσουν επαρκώς τα ιδιαίτερα χαρακτηριστικά αυτών των συστημάτων και να αξιολογήσουν επαρκώς τη χρήση τους. Παράλληλα εξετάζεται η συνεισφορά της Θεωρίας Δραστηριότητας και εθνογραφικών προσεγγίσεων στην αξιολόγηση ευχρηστίας των φορητών εφαρμογών. Διδακτορική διατριβή 19

20 Εισαγωγή Στο κεφάλαιο 3 γίνεται επισκόπηση της βιβλιογραφίας που αφορά την αξιολόγηση ευχρηστίας φορητών εφαρμογών. Παράλληλα συζητούνται ζητήματα που αφορούν την επιλογή του χώρου αξιολόγησης και περιγράφονται οι γνωστότερες τεχνικές συλλογής δεδομένων και τα εργαλεία που υποστηρίζουν την ανάλυσή τους στα πλαίσια μελετών που εμπλέκουν πραγματικούς χρήστες. Στο κεφάλαιο 4 περιγράφεται η προτεινόμενη μεθοδολογία MOBELIC και ο τρόπος με τον οποίο υποστηρίζει την αξιολόγηση μιας φορητής εφαρμογής σε διαφορετικές φάσης ανάπτυξής της. Τέλος περιγράφονται οι απαιτήσεις για την ανάπτυξη ενός νέου πρωτότυπου εργαλείου που μπορεί να υποστηρίξει την ανάλυση των δεδομένων που προέρχονται από μελέτες ευχρηστίας που εμπλέκουν πραγματικούς χρήστες. Στο κεφάλαιο 5 περιγράφονται τα χαρακτηριστικά του εργαλείου ανάλυσης ActivityLens και ο τρόπος με τον οποίο υποστηρίζει τη μεθοδολογία MOBELIC. Στο κεφάλαιο 6 παρουσιάζεται μία ενδεικτική μελέτη αξιολόγησης της ευχρηστίας φορητής εφαρμογής με χρήση της μεθόδου MOBELIC. Σχετικά, η πρώτη φάση αφορά την αξιολόγηση μιας εκπαιδευτικής φορητής εφαρμογής από ειδικούς, ενώ η δεύτερη και η τρίτη αφορούν την αλληλεπίδραση πραγματικών χρηστών με την ίδια εφαρμογή στο εργαστήριο και στο πεδίο αντίστοιχα. Μέσα από τη διενέργεια των αξιολογήσεων αυτών προκύπτουν τα είδη των προβλημάτων που μπορεί να εντοπίσει κάθε μία από τις μεθόδους αξιολόγησης καθώς και οι πόροι που απαιτούνται. Το κεφάλαιο κλείνει με τα αποτελέσματα που προέκυψαν από τις παραπάνω μελέτες τα οποία επιβεβαιώνουν τις υποθέσεις της μεθοδολογίας MOBELIC. Τέλος περιγράφεται η χρησιμότητα του εργαλείου ActivityLens στο πλαίσιο αυτό. Τέλος, στο κεφάλαιο 7, παρατίθενται τα συμπεράσματα της παρούσας διατριβής και περιγράφονται οι μελλοντικές προοπτικές που μπορούν να βελτιώσουν τη μεθοδολογία MOBELIC και να επεκτείνουν τη λειτουργικότητα του εργαλείου ανάλυσης ActivityLens. 20 Διδακτορική διατριβή

21 Κεφάλαιο Δημοσιευθείσες εργασίες Δημοσιεύσεις σε περιοδικά/ κεφάλαια βιβλίων [J2] Avouris, N., Fiotakis, G., Kahrimanis, G., Margaritis, M., Komis, V. (2007). Beyond logging of fingertip actions: analysis of collaborative learning using multiple sources of data, to appear in Journal of Interactive Learning Research JILR, vol. 18(2) -Special Issue: Usage Analysis in Learning Systems : Existing Approaches and Scientific Issues. April, [J1] Avouris, N., Komis, V., Margaritis, M., Fiotakis, G. (2004). An environment for studying collaborative learning activities, Journal of International Forum of Educational Technology & Society, Special Issue on Technology Enhanced Learning, 7 (2), pp , April [B1] Stoica, A., Fiotakis, G., Raptis, D., Papadimitriou, I., Komis, V., Avouris, N. (2007). Field evaluation of collaborative mobile applications, in J. Lumsden (ed.), Handbook of Research on User Interface Design and Evaluation for Mobile Technology, Idea Group Publishers Δημοσιεύσεις σε συνέδρια με κρίση [C15] Avouris, N., Fiotakis, G., Raptis, D. (2008). On measuring usability of mobile applications, Proceedings of COST294-MAUSE Workshop Valid Useful User Experience Measurement (VUUM 2008), Reykjavik, Iceland, June [C14] Diziol, D., Rummel, N., Kahrimanis, G., Guevara, G., Holz, J., Spada, H., Fiotakis, G. (2008). Using contrasting cases to better understand the relationship between students' interactions and their learning outcome. Submitted as part of the symposioum "Using contrasted cases to relate collaborative processes and outcomes in CSCL" (Nikol Rummel and Cindy Hmelo-Silver), ICLS 2008, Utrecht, June [C13] Fiotakis, G., Fidas, C., Avouris, N. (2007). Comparative usability evaluation of web systems through ActivityLens, Proc. PCI 2007, May 2007, Patras, Greece [C12] Fiotakis, G., Avouris, N. (2006). Developing observation and behavior analysis skills using video, Proceedings 5th ETPE Conference, Thessaloniki, 4-8 October 2006 (in GREEK). [C11] Papadimitriou, I., Fiotakis, G., Stoica, A., Komis, V., Avouris, N. (2006). Bridging the Gap between Physical and Abstract Worlds: Capturing Observed Phenomena in Abstract Models through MODELLINGSPACE, Proc. ICALT The 6th IEEE International Conference on Advanced Learning Technologies. July 5-7, 2006 Kerkrade, Netherlands, pp Διδακτορική διατριβή 21

22 Εισαγωγή [C10] Avouris, N., Tselios, N., Kahrimanis G., Fiotakis G. (2005). From Patterns of Use to Design Patterns: A Method for producing new design patterns from user activities, Conference Workshop on HCI design patterns: Mapping User Needs into Interaction Design Solutions, Interact 2005, Rome, September [C9] Simarro Cabrera J., Muñoz Frutos H., Stoica A., Avouris N., Dimitriadis Y., Fiotakis G., Demeti Liveri K. (2005). Mystery in the Museum: Collaborative Learning Activities using Handheld Devices, Proc Mobile HCI 2005, Salzburg, September, [C8] Stoica A., Fiotakis G., Simarro Cabrera J., Muñoz Frutos H., Avouris N., Dimitriadis Y. (2005). Usability evaluation of handheld devices: A case study for a museum application, PCI2005, Volos, November [C7] Avouris N., Komis V., Fiotakis G., Margaritis M., Voyiatzaki E. (2005). Logging of fingertip actions is not enough for analysis of learning activities, Proc. Workshop Usage Analysis in learning systems, AIED 2005, Amsterdam, July 2005 ( [C6] Avouris N., Komis V., Fiotakis G., Dimitracopoulou A., Margaritis M. (2004). Methods and Tools for analysis of collaborative problem-solving activities, Proceedings of ATIT2004, First International Workshop on Activity Theory Based Practical Methods for IT Design, Copenhagen, pp. 5-16, Denmark, September [C5] Fiotakis, G., Avouris, N., Komis, V., Tselios, N. (2004). Qualitative Data Analysis Tools in the frame of Activity Theory: The case of CoLAT, Proceedings 4th ETPE Conf., Athens, October 2004 (in GREEK). [C4] Avouris, N., Komis, V., Fiotakis, G., Margaritis, M. (2003). On tools for analysis of collaborative problem solving, Proc. of 3rd IEEE Intern. Conf. on Advanced Learning Technology (ICALT), pp , Athens, July * Best short paper award * [C3] Avouris N., Fiotakis G., Tselios N., Komis V. (2003). Tools for task-based interaction and collaboration analysis, in J.Jacko and C. Stephanidis (ed.) Human-Computer Interaction, vol 1, Proc. HCII 2003, pp , Lawrence Erlbaum Assoc., Mahwah, NJ, [C2] Avouris, N., Komis, V., Margaritis, M., Fiotakis, G. (2003). Tools to support interaction and collaboration analysis, Proc. of CSCL2003 Community events, pp , June 14-18, Bergen, [C1] Avouris N., Komis V., Fiotakis G., Margaritis M., Tselios N. (2003), A Tool to support Interaction and Collaboration Analysis of learning activities, CBLIS 2003, Nicosia Διδακτορική διατριβή

23 Κεφάλαιο 2 Κεφάλαιο 2. Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές Στο κεφάλαιο αυτό γίνεται εισαγωγή στο επιστημονικό πεδίο της Αλληλεπίδρασης Ανθρώπου Υπολογιστή. Παράλληλα, γίνεται περιγραφή της τρέχουσας κατάστασης της ανάπτυξης, διείσδυσης και χρήσης των φορητών εφαρμογών στις καθημερινές δραστηριότητες του ανθρώπου. Τέλος εξετάζεται η εφαρμοσιμότητα των κλασσικών μεθόδων της Τεχνολογίας Ευχρηστίας στην αποτίμηση της ευχρηστίας των φορητών εφαρμογών. Διδακτορική διατριβή 23

24 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές 2.1 Εισαγωγή Τα τελευταία χρόνια παρατηρείται αυξανόμενη χρήση φορητών συσκευών, μέσω των οποίων οι χρήστες έρχονται σε επαφή με σύγχρονες ηλεκτρονικές υπηρεσίες. Η αλληλεπίδραση με τις συσκευές αυτές γίνεται στα πλαίσια καθημερινών δραστηριοτήτων που μπορεί να εμπλέκουν επικοινωνία από απόσταση με διάφορες μορφές, υποστήριξη πλοήγησης, παροχή πληροφοριών σχετικών με τον τόπο, καθώς και πολλές άλλες υπηρεσίες. Πέρα από τη χρήση υπηρεσιών σε ατομικό επίπεδο, οι νέες αυτές τεχνολογίες έχουν επίσης επηρεάσει τον τρόπο με τον οποίο λειτουργούν διάφορες ομάδες και συλλογικότητες. Παραδείγματα συναντώνται σε τομείς όπως η εκπαίδευση, οι επιχειρήσεις και η βιομηχανία, οι τηλεπικοινωνίες και η Ιατρική. Κατά συνέπεια η χρήση των τεχνολογιών αυτών έχει άμεσες κοινωνικές αλλά και οικονομικές επιπτώσεις. Στις συνθήκες αυτές αποκτά ιδιαίτερη σημασία η ανάγκη για σχεδιασμό συστημάτων που χαρακτηρίζονται από ευκολία χρήσης. Αυτό γιατί αφενός οι χρήστες είναι από όλες σχεδόν τις κατηγορίες του πληθυσμού, οι δραστηριότητες που υποστηρίζονται είναι πολυσχιδείς ενώ συχνά παρατηρείται ότι δύσχρηστα συστήματα μπορεί να έχουν πολύ σοβαρές συνέπειες σε ατομικό και συλλογικό επίπεδο (εργατικά ατυχήματα, ιατρικά λάθη). Ο Norman (Norman 1993) υποστηρίζει ότι τέτοιου τύπου συνέπειες θα αποφευχθούν μονάχα αν το πέρασμα στην ψηφιακή εποχή (κατά άλλους στην κοινωνία της πληροφορίας) οδηγηθεί από τις πραγματικές ανάγκες και τις δυνατότητες των ανθρώπων και όχι από την ίδια την εξέλιξη της τεχνολογίας. Οι χρήστες των υπολογιστικών συστημάτων αλληλεπιδρούν με τις διεπιφάνειές τους (interfaces) που ουσιαστικά αποτελούν τον αγωγό επικοινωνίας των συστημάτων αυτών με τους χρήστες τους. Είναι γενικά αποδεκτό ότι ο καλός σχεδιασμός της διεπιφάνειας χρήσης των σύγχρονων υπολογιστών αποτελεί βασική προϋπόθεση για την επιτυχή ενσωμάτωσή τους σε παραγωγικές διαδικασίες και την αποδοχή τους από τους χρήστες (Αβούρης 2000). Η αυξανόμενη ανάγκη για ανάπτυξη τεχνικών και μεθόδων σχεδίασης εύχρηστων υπολογιστικών συσκευών και συστημάτων οδήγησε στην ανάπτυξη της περιοχής της Τεχνολογίας Ευχρηστίας (Usability Engineering). Η περιοχή αυτή αποτελεί κλάδο 24 Διδακτορική διατριβή

25 Κεφάλαιο 2 έρευνας και πρακτικής του γνωστικού πεδίου της Αλληλεπίδρασης Ανθρώπου - Υπολογιστή (Human-Computer Interaction), (Dix et al. 2001, Shneiderman et al., 2003). Η διαρκώς αυξανόμενη σύζευξη των υπολογιστών με τις τηλεπικοινωνίες προάγει τη φορητότητα και δυνατότητα επικοινωνίας των σύγχρονων συστημάτων με αποτέλεσμα το πρόβλημα της αποτελεσματικής τους σχεδίασης όσο και της αξιολόγησης χρήσης τους να αποκτά νέες διαστάσεις (Tselios, 2002). Στη συνέχεια του κεφαλαίου αυτού γίνεται εισαγωγή στις βασικές έννοιες της Τεχνολογίας Ευχρηστίας. Παράλληλα γίνεται αναφορά στα ιδιαίτερα εγγενή χαρακτηριστικά και χαρακτηριστικά χρήσης των φορητών εφαρμογών που τα διαφοροποιούν από τα κλασσικά επιτραπέζια συστήματα και θέτουν νέες απαιτήσεις στον ορισμό και στη μέτρηση της ευχρηστίας τους. Στη συνέχεια ακολουθεί κριτική παρουσίαση ενδεικτικών κλασσικών μεθόδων της Τεχνολογίας Ευχρηστίας ως προς την δυνατότητά τους να χρησιμοποιηθούν για την αξιολόγηση της ευχρηστίας φορητών εφαρμογών. 2.2 Το υπόβαθρό της Τεχνολογίας Ευχρηστίας Όπως προαναφέρθηκε, η χρήση των υπολογιστών διαφόρων μορφών επεκτείνεται και υπεισέρχεται ολοένα και πιο έντονα σε νέες πτυχές της ζωής των ανεπτυγμένων κοινωνιών. Η ανάγκη για μελέτη των φαινομένων που σχετίζονται με την αλληλεπίδραση των χρηστών με τις σύγχρονες υπολογιστικές συσκευές είναι μείζονος σημασίας μιας και μπορεί να οδηγήσει σε πιο εύχρηστα συστήματα προσαρμοσμένα στις ανάγκες και τις απαιτήσεις των χρηστών τους. Η μελέτη αυτή αποτελεί και το αντικείμενο της επιστημονικής περιοχής που έχει καθιερωθεί με το όνομα Αλληλεπίδραση Ανθρώπου Υπολογιστή (Human Computer Interaction, HCI), η οποία επικεντρώνεται στο σχεδιασμό, την ανάπτυξη και την αξιολόγηση διαδραστικών υπολογιστικών συστημάτων (interactive computer systems), δηλαδή συστημάτων που αλληλεπιδρούν σε μεγάλο βαθμό με τους χρήστες τους (ACM SIGCHI 1992). Το πεδίο αυτό, το οποίο δημιουργήθηκε κατά τη διάρκεια της δεκαετίας του 70 όταν εμφανίστηκε ο πρώτος προσωπικός υπολογιστής αλλά άρχισε να αναπτύσσεται και να γνωρίζει μεγαλύτερη αποδοχή στις αρχές της δεκαετίας του 80 με την ευρεία διάδοση των υπολογιστών, σήμερα έχει ιδιαίτερη σημασία, και θεωρείται ένα από τα αντικείμενα κορμού της επιστήμης των υπολογιστών (ACM curriculum, 2001), ενώ θεωρείται ιδιαίτερα σημαντική στη θεμελίωσή του η συνεισφορά άλλων επιστημονικών πεδίων, όπως η γνωστική Διδακτορική διατριβή 25

26 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές ψυχολογία και η κοινωνιολογία. Το πεδίο όσον αφορά τη θεωρητική του διάσταση χαρακτηρίζεται ανέκαθεν από διεπιστημονική προσέγγιση, δεδομένης της διαφορετικής υπόστασης των δύο αλληλεπιδρώντων μερών, του ανθρώπου, που χαρακτηρίζεται από ικανότητα λήψης αποφάσεων και σχεδιασμού σύνθετων ενεργειών, της δε υπολογιστικής μηχανής που υπερέχει στην γρήγορη εκτέλεση σύνθετων πράξεων, επεξεργασία πληροφορίας και μάλιστα επαναλαμβανόμενων τέτοιων λειτουργιών (Shneiderman, 1998). Μάλιστα, τα τελευταία χρόνια η συνεχής ανάπτυξη των χαρακτηριστικών του υλικού και λογισμικού των υπολογιστών που οδήγησε αφενός στη συρρίκνωσή τους και στην αύξηση των δυνατοτήτων τους, αφετέρου δε στην διασύνδεσή τους με άλλους υπολογιστές και συσκευές όπως αισθητήρες κλπ, καθώς και η εμφάνιση νέων συσκευών εισόδου/εξόδου, έχουν οδηγήσει το πεδίο σε νέες κατευθύνσεις, όπως τη μελέτη της αλληλεπίδρασης μεταξύ ομάδων χρηστών μέσω των υπολογιστών (Αβούρης, 2000). Στα πλαίσια αυτά, δεδομένου του στόχου της γνωστικής περιοχής να αναπτύξει μεθόδους και εργαλεία για τη σχεδίαση εύχρηστων υπολογιστικών συστημάτων, ένα σημαντικό αντικείμενο μελέτης της Αλληλεπίδρασης Ανθρώπου Υπολογιστή αποτελεί η σχεδίαση και αξιολόγηση της διεπιφάνειας χρήσης του υπολογιστή, αλλά και η μελέτη της εμπειρίας που έχουν οι χρήστες όταν αλληλεπιδρούν με την διεπιφάνεια χρήσης αυτή. Η διεπιφάνεια χρήσης είναι το τμήμα εκείνο του υπολογιστικού συστήματος με το οποίο ο χρήστης έρχεται σε απευθείας επαφή. Η ανάπτυξη μεθόδων και εργαλείων που επιτρέπουν τη σχεδίαση εύχρηστων διεπιφανειών χρήσης και της αξιολόγησης της ευχρηστίας υπολογιστικών συστημάτων και εφαρμογών οι οποίες βρίσκονται είτε στην φάση της ανάπτυξης είτε σε λειτουργία, αποτελούν το αντικείμενο του κλάδου της επιστήμης αλληλεπίδρασης ανθρώπου-υπολογιστή που έχει ονομαστεί Τεχνολογία Ευχρηστίας (Usability Engineering). 2.3 Μέθοδοι και πρότυπα ευχρηστίας Μια θεμελιώδης έννοια η οποία πρέπει να οριστεί στα πλαίσια της Τεχνολογίας Ευχρηστίας είναι η ευχρηστία (usability). Η ευχρηστία ενός συστήματος έχει παραδοσιακά συσχετιστεί με την ευκολία χρήσης και την ευκολία εκμάθησής του καθώς και το βαθμό βοήθειας που δίνει στους χρήστες του κατά τη διάρκεια αλληλεπίδρασής τους με αυτό (Dix et al. 2003; Shneiderman & Plaisant, 2004). 26 Διδακτορική διατριβή

27 Κεφάλαιο 2 Ένας ευρέως αποδεκτός ορισμός της έννοιας της ευχρηστίας είναι αυτός που περιέχεται στο σχετικό πρότυπο ISO , ο οποίος περιγράφει την ευχρηστία ενός συστήματος ως την ικανότητα του συστήματος να εκπληρώνει τις προσδοκίες του χρήστη. Συγκεκριμένα σύμφωνα με το παραπάνω πρότυπο, η ευχρηστία ενός υπολογιστικού συστήματος ορίζεται ως: ο βαθμός στον οποίο μπορεί το σύστημα να χρησιμοποιηθεί από συγκεκριμένους χρήστες προκειμένου να φέρουν εις πέρας συγκεκριμένες εργασίες με αποτελεσματικότητα, αποδοτικότητα και υποκειμενική ικανοποίηση σε συγκεκριμένα πλαίσια χρήσης. Η αποτελεσματικότητα μετριέται με βάση την πληρότητα εκτέλεσης των παραπάνω εργασιών, η αποδοτικότητα με βάση το ποσοστό εκπλήρωσης των εργασιών συναρτήσει των δαπανηθέντων πόρων (κυρίως του απαιτούμενου χρόνου) και η υποκειμενική ικανοποίηση με βάση την αποδοχή και ευχαρίστηση από τους χρήστες κατά την εκτέλεση των εργασιών τους. Σύμφωνα με τον παραπάνω ορισμό η ευχρηστία ενός συστήματος δεν αποτελεί εγγενές χαρακτηριστικό - γνώρισμα του συστήματος. Αποτελεί ένα χαρακτηριστικό της αλληλεπίδρασης του χρήστη με το σύστημα σε συγκεκριμένα πλαίσια χρήσης (Karat 1997). Η ευχρηστία είναι συνάρτηση πολλών επιμέρους διακριτών στοιχείων που συνιστούν ένα ευρύτερο σύστημα περιβάλλον στο οποίο οι χρήστες αλληλεπιδρούν με ένα υπολογιστικό σύστημα. Το ευρύτερο αυτό σύστημα, σύμφωνα με το ISO 9241, αποτελείται από την εξεταζόμενη εφαρμογή, τον εξοπλισμό μέσω του οποίου διευκολύνεται και τελικά επιτυγχάνεται η αλληλεπίδραση με το χρήστη, το χρήστη, το περιβάλλον (φυσικό περιβάλλον αλλά και οργανωτικό, κοινωνικό, αλλά και ευρύτερα πολιτισμικό περιβάλλον) στο οποίο εκτελεί τις εργασίες, αλλά και τις ίδιες τις εργασίες ή καθήκοντά του (tasks). Τα επιμέρους αυτά στοιχεία του όλου συστήματος περιγράφονται μέσα στο ISO 9241 με τον όρο πλαίσιο χρήσης (context of use). Όταν αλλάζει ένα από τα παραπάνω στοιχεία, η ευχρηστία του εξεταζόμενου υπολογιστικού συστήματος πρέπει να επανεξεταστεί και να μελετηθεί εάν μεταβάλλεται. Κατά συνέπεια, μία εφαρμογή μπορεί να είναι περισσότερο ή λιγότερο εύχρηστη όταν για παράδειγμα χρησιμοποιείται από διαφορετικές ομάδες χρηστών ή όταν χρησιμοποιείται σε διαφορετικό περιβάλλον. Για το λόγο αυτό, όταν οι μηχανικοί ευχρηστίας επιχειρούν να αποτιμήσουν την ευχρηστία ενός συστήματος, πρέπει πριν να καθορίζουν με σαφήνεια το πλαίσιο χρήσης της που αφορά τα χαρακτηριστικά της ομάδας χρηστών, τις εργασίες που εκτελούνται, το περιβάλλον χρήσης, και το Διδακτορική διατριβή 27

28 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές χρησιμοποιούμενο εξοπλισμό. Στην εικόνα που ακολουθεί φαίνεται σχηματικά η περιγραφή του ευρύτερου συστήματος έτσι όπως καθορίζεται από τον ορισμό της ευχρηστίας υπολογιστικών συστημάτων κατά το ISO Εικόνα 2.1. ορισμός ευχρηστίας κατά ISO 9241 Προκειμένου να αποτιμηθεί η ευχρηστία ενός υπολογιστικού συστήματος είναι απαραίτητο να καθοριστούν τα πλαίσια χρήσης του αλλά και να αναλυθούν τα βασικά χαρακτηριστικά της ευχρηστίας (αποτελεσματικότητα, αποδοτικότητα, υποκειμενική ικανοποίηση) σε επιμέρους χαρακτηριστικά έως ότου αυτά να είναι παρατηρήσιμα και μετρήσιμα από την αλληλεπίδραση των χρηστών με το υπολογιστικό σύστημα (Shneiderman 1998). Εκτός από το ISO 9241, πολλοί άλλοι ορισμοί έχουν προταθεί προκειμένου να περιγράψουν τον όρο της ευχρηστίας. Το πρότυπο ποιότητας λογισμικού ISO 9126 αναφέρει ότι η ποιότητα ενός λογισμικού καθορίζεται από έξι κύρια χαρακτηριστικά: (α) τη λειτουργικότητα, (β) την αποδοτικότητα, (γ) την αξιοπιστία, (δ) την ευχρηστία, (ε) τη διατηρησιμότητα και (ζ) τη μεταφερσιμότητα του συστήματος. Τα παραπάνω αυτά χαρακτηριστικά αναλύονται σε περαιτέρω επιμέρους χαρακτηριστικά προκειμένου να καθοριστούν με σαφήνεια. Σύμφωνα με το πρότυπο αυτό, η ευχρηστία ενός συστήματος, που είναι ένα από τα κύρια χαρακτηριστικά αναλύεται περαιτέρω στα εξής: (α) ευκολία εκμάθησης 28 Διδακτορική διατριβή

29 Κεφάλαιο 2 (learnability), (β) ευκολία κατανόησης (understandability) και (γ) ευκολία λειτουργίας του (operability). Ο ορισμός αυτός σε αντίθεση με τον ορισμό που δίνει το ISO 9241 είναι προσανατολισμένος περισσότερο στα ίδια τα χαρακτηριστικά του λογισμικού παρά στις ανάγκες του χρήστη και το ευρύτερο σύστημα μέσα στο οποίο το χρησιμοποιεί, για αυτό και η ευχρηστία ορίζεται ως ένα από τα πολλά επιμέρους χαρακτηριστικά που καθορίζουν την ποιότητα του λογισμικού. Για τον λόγο αυτό ο ορισμός που δίνεται από το ISO 9126 προτιμάται ως κριτήριο ελέγχου της ποιότητας ενός συστήματος από τους κατασκευαστές λογισμικού ενώ ο ορισμός που δίνεται από το ISO 9241 προτιμάται περισσότερο από τους ειδικούς του επιστημονικού πεδίου της Αλληλεπίδρασης Ανθρώπου Υπολογιστή ως καταλληλότερος να αποτιμήσει το τι αποκομίζει ο ίδιος χρήστης αλληλεπιδρώντας με ένα σύστημα και συνυπολογίζοντας το πλαίσιο που τον περιβάλλει. 2.4 Αξιολόγηση Ευχρηστίας Υπολογιστικών Συστημάτων Στην ενότητα αυτή, πριν περιγραφούν τα ειδικότερα προβλήματα αξιολόγησης της ευχρηστίας των φορητών εφαρμογών που αποτελεί το αντικείμενο εστίασης της διατριβής, δίνεται μία σύντομη περιγραφή των πιο καθιερωμένων μεθόδων αξιολόγησης ευχρηστίας λογισμικού που έχουν προταθεί στα πλαίσια της τεχνολογίας ευχρηστίας Το πρόβλημα της αξιολόγησης ευχρηστίας Η αξιολόγηση ευχρηστίας είναι μία επαναληπτική διαδικασία που γίνεται κατά την ανάπτυξη ενός συστήματος προκειμένου να γίνει εκτίμηση του βαθμού κατά τον οποίο το σύστημα μπορεί να χρησιμοποιηθεί αποτελεσματικά από τους τυπικούς του χρήστες (Hornbæk & Stage 2006). Κύριος στόχος της αξιολόγησης ενός συστήματος είναι να προκύψουν υποδείξεις και προτάσεις ικανές να οδηγήσουν στη βελτίωση του σχεδιασμού του ή και να μετρηθεί η ποιότητά του έναντι άλλων ανταγωνιστικών συστημάτων. Οι μέθοδοι για την αξιολόγηση της ευχρηστίας, οι οποίες έχουν προταθεί, διακρίνονται σε μεθόδους που εμπλέκουν τη συμμετοχή τυπικών χρηστών (user testing methods) και σε μεθόδους επιθεώρησης από ειδικούς, οι οποίες οδηγούν στη μέτρηση της ευχρηστίας, και οι οποίες δεν απαιτούν τη συμμετοχή χρηστών. Παράλληλα έχουν προταθεί και μέθοδοι αξιολόγησης που δεν εμπλέκουν καθόλου χρήστες αλλά Διδακτορική διατριβή 29

30 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές στηρίζονται στην εφαρμογή θεωρητικών μοντέλων και κανόνων από ειδικούς. Ανάλογα με τη φάση ανάπτυξης του συστήματος στην οποία οι μέθοδοι αυτές εφαρμόζονται, εξυπηρετούν σκοπούς είτε α) διαμορφωτικής αξιολόγησης (formative evaluation), η οποία έχει ως στόχο τη διαμόρφωση του συστήματος και γίνεται κατά τη φάση ανάπτυξής του είτε β) συμπερασματικής αξιολόγησης (summative evaluation) η οποία αφορά ένα ολοκληρωμένο σύστημα και έχει ως στόχο τη μέτρηση της ευχρηστίας του σε σχέση με αντίστοιχα ανταγωνιστικά συστήματα. Στη συνέχεια της ενότητας παρατίθενται οι κύριες τεχνικές αξιολόγησης και επιχειρείται συζήτηση σχετικά με την εφαρμοσιμότητά τους στην αξιολόγηση της χρήσης φορητών εφαρμογών Μέθοδοι αξιολόγησης ευχρηστίας Όπως αναφέρθηκε οι μέθοδοι αξιολόγησης ευχρηστίας μπορούν να διακριθούν σε αναλυτικές, σε μεθόδους επισκόπησης από ειδικούς και σε εμπειρικές μεθόδους. Οι εμπειρικές μέθοδοι χωρίζονται περαιτέρω σε πειραματικές και διερευνητικές. Οι αναλυτικές μέθοδοι αξιολόγησης στηρίζονται σε θεωρητικά μοντέλα τα οποία προσομοιώνουν τη συμπεριφορά του χρήστη ή πρότυπα και αναλυτικούς κανόνες (Αβούρης 2000). Για το λόγο αυτό μπορούν να χρησιμοποιηθούν στο εργαστήριο, συχνά ακόμη και πριν από την κατασκευή πρωτοτύπων χωρίς να απαιτούν τη συμμετοχή υποκειμένων χρηστών. Οι μέθοδοι επισκόπησης από ειδικούς εξετάζουν κατά πόσο η διεπιφάνεια συμμορφώνεται με γνωστούς εμπειρικούς κανόνες σχεδιασμού. Οι εμπειρικές μέθοδοι στηρίζονται στην αξιολόγηση της συμπεριφοράς ή των χαρακτηριστικών ενός πρωτοτύπου ή ολοκληρωμένου συστήματος καθώς αυτό τίθεται σε πραγματική χρήση. Η χρήση τους μπορεί να γίνει στο εργαστήριο ή στο χώρο λειτουργίας του συστήματος με τη συμμετοχή αντιπροσωπευτικών χρηστών και ειδικών ευχρηστίας λογισμικού. Πιο αναλυτικά, οι κυριότερες μέθοδοι αξιολόγησης ευχρηστίας, είναι οι εξής: 1) Αναλυτικές μέθοδοι: α) Προβλεπτικά μοντέλα που στηρίζονται στο μοντέλο του ανθρώπινου επεξεργαστή (Human Information Processing, Card, Moran Newell, 1983) όπως το GOMS (John, Kieras, 1996) ή το μοντέλο πληκτρολογήσεων KLM, ή εμπειρικά προβλεπτικά μοντέλα, όπως ο Νόμος 30 Διδακτορική διατριβή

31 Κεφάλαιο 2 Fitts, καθώς και άλλα μοντέλα που περιγράφουν τη συμπεριφορά των χρηστών σε ειδικές περιπτώσεις, όπως το μοντέλο SNIF-ACT που περιγράφει την αλληλεπίδραση των χρηστών με συστήματα κατά την αναζήτηση πληροφορίας ή το μοντέλο MESA (Method for Evaluating Site Architectures) που περιγράφει την αλληλεπίδραση ενός χρήστη με ένα ιστότοπο με ιεραρχική οργάνωση των ιστοσελίδων (Miller Remington, 2004). 2) Μέθοδοι επισκόπησης από ειδικούς (στο εργαστήριο με συμμετοχή ειδικών): Οι μέθοδοι αυτές στηρίζονται στην ύπαρξη εμπειρικής γνώσης υπό μορφή κανόνων, checklists, όπως η ευρετική αξιολόγηση με βάση τους δέκα ευρετικούς κανόνες που έχουν προταθεί από τους (Nielsen, Molich, 1990) ή με διαδικασίες που προσομοιώνουν τις γνωστικές διεργασίες ενός τυπικού χρήστη σε ένα τυπικό σενάριο αλληλεπίδρασης με το σύστημα, μέθοδος cognitive walkthrough - γνωστικό περιδιάβασμα, (Wharton et al. 1992). 3) Εμπειρικές μέθοδοι (με συμμετοχή χρηστών) - Πειραματικές μέθοδοι στο εργαστήριο ευχρηστίας, όπως η ελεγχόμενη ποσοτική εκτίμηση της συμπεριφοράς των χρηστών με βάση δείκτες όπως ο χρόνος επίτευξης ενός στόχου, ο αριθμός εσφαλμένων ενεργειών, η αποτύπωση της ακολουθίας ενεργειών, συχνά με την καταγραφή της περιγραφής των γνωστικών λειτουργιών και των απόψεων των χρηστών μέσω χρήσης πρωτόκολλων ομιλούντων υποκειμένων (think aloud protocols). - Διερευνητικές μέθοδοι εκτός εργαστηρίου, όπως η συλλογή των απόψεων των χρηστών με χρήση συνεντεύξεων τυπικών χρηστών, με χρήση ερωτηματολογίων, με συνεργατική αξιολόγηση κατά την οποία οι χρήστες εκτελούν μια εργασία μαζί με ένα ειδικό ευχρηστίας, με χρήση ομάδων εστίασης (focus groups) ενώ ιδιαίτερη σημασία έχουν οι τεχνικές παρατήρησης πεδίου, δηλαδή η παρατήρηση των υποκειμένων στο φυσικό τους χώρο ενώ εκτελούν τυπικές εργασίες με χρήση του υπολογιστικού συστήματος. Πριν προχωρήσουμε σε πιο λεπτομερή συζήτηση της εφαρμοσιμότητας των τεχνικών αυτών στην περίπτωση αξιολόγησης της ευχρηστίας μιας φορητής εφαρμογής, είναι σκόπιμο να εξετάσουμε τα ιδιαίτερα χαρακτηριστικά των εφαρμογών αυτών που τις διαχωρίζουν από τις πιο συνήθεις εφαρμογές που Διδακτορική διατριβή 31

32 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές συναντώνται σε επιτραπέζιους υπολογιστές. Για το λόγο αυτό στην επόμενη ενότητα 2.5 επιχειρείται επισκόπηση των φορητών εφαρμογών. 2.5 Φορητές εφαρμογές Στο παρελθόν η χρήση του υπολογιστή ήταν συνυφασμένη με τον εσωτερικό χώρο ενός γραφείου, σπίτι ή εργασιακό περιβάλλον. Την τελευταία δεκαετία το φαινόμενο αυτό τείνει να αλλάξει. Η διαρκής ανάπτυξη της ασύρματης τεχνολογίας καθώς και η εκτεταμένη χρήση σύγχρονων φορητών συσκευών (κινητά τηλέφωνα, PDAs, palms, pocket PCs) έχει οδηγήσει στην αυξανόμενη εμφάνιση σύγχρονων ηλεκτρονικών εφαρμογών που έχουν ειδικά σχεδιαστεί για υπολογιστικό περιβάλλον με αυξημένη φορητότητα, δηλαδή υπηρεσιών που έχουν ως στόχο να διευκολύνουν με χρήση ασύρματης επικοινωνίας τους χρήστες, παρέχοντάς τους ανά πάσα στιγμή πρόσβαση σε διάφορες χρήσιμες πληροφορίες (Li & Liao, 2000). Η μετάβαση αυτή από τον επιτραπέζιο υπολογιστή στα σύγχρονα υπολογιστικά συστήματα έχει οδηγήσει στην έννοια του πανταχού παρόντα υπολογιστή (Weiser, 1991; Greenfield, 2006; Hansmann, 2003) που αποτελεί το μέσο με το οποίο οι φορητές εφαρμογές μπορούν να είναι προσβάσιμες ανά πάσα στιγμή (Zhang & Adipat, 2005) Η διείσδυση των φορητών εφαρμογών και η έννοια του πλαισίου χρήσης Οι τεχνολογίες ενσωματωμένων συστημάτων (embedded systems) έχουν επιτρέψει τη δημιουργία πληθώρας νέων συσκευών που εμπεριέχουν υπολογιστικά στοιχεία. Οι συσκευές αυτές χαρακτηρίζονται από σταδιακά μικρότερο μέγεθος αλλά και μειωμένο βάρος με συνέπεια την αύξηση της φορητότητάς τους. Παράλληλα το χαμηλό τους πλέον κόστος έχει αυξήσει σε πολύ μεγάλο βαθμό τη δυνατότητα απόκτησής τους από το μέσο χρήστη (Jaimes, 2006). Μάλιστα η ύπαρξη των ασύρματων δικτύων έχει οδηγήσει στην ολοένα και αυξανόμενη χρήση αυτών των συσκευών σε διαφορετικούς χώρους, ή ενώ οι χρήστες τους είναι σε κίνηση. Οι συσκευές αυτές είναι σχεδιασμένες να εξυπηρετούν καθημερινές ανάγκες των χρηστών. Έτσι ένας υπολογιστής παλάμης (PDA) μπορεί να χρησιμοποιηθεί ως τηλέφωνο, ως φωτογραφική μηχανή, ραδιόφωνο, προσωπική ηλεκτρονική ατζέντα, ενώ συγχρόνως να παρέχει πρόσβαση σε υπηρεσίες που καλύπτουν ανάγκες που 32 Διδακτορική διατριβή

33 Κεφάλαιο 2 αφορούν τόσο την εργασία όσο και την ψυχαγωγία. Οι φορητές εφαρμογές χρησιμοποιούνται επίσης σε δημόσιους χώρους, παρέχοντας υπηρεσίες σε ομάδες ανθρώπων, οργανώνοντας τις δραστηριότητές τους με πρωτότυπους τρόπους. Χαρακτηριστικά παραδείγματα πρωτότυπων φορητών εφαρμογών μπορούν να βρεθούν στην εκπαίδευση (Markett et al. 2006, Trinder et al. 2005), σε χώρους υγείας (Forjuoh et al. 2007, Muñoz et al. 2003), ως ξεναγούς σε τουριστικούς τόπους ή σε δημόσιους χώρους (βιβλιοθήκες, μουσεία) (Laurillau & Paternò 2004, Santoro et al. 2007, Stoica et al. 2007, Veronikis et al. 2006). Οι φορητές εφαρμογές μπορεί να συνδυάζουν πολλαπλά μέσα και τεχνολογίες, όπως για παράδειγμα οθόνες πλοήγησης και οθόνες αφής παροχής πληροφοριών, συνεργασία επιμέρους συσκευών όπως κάμερες, αισθητήρες κίνησης και συσκευές ανάγνωσης barcodes, RFID κλπ. Τα συστήματα αυτά αλληλεπιδρούν με τον άνθρωπο ικανοποιώντας σύνθετες ανάγκες επικοινωνίας, απόκτησης πληροφορίας και ανταλλαγής δεδομένων. Η επικοινωνία μεταξύ των χρηστών και μεταξύ των συσκευών επιτυγχάνεται με πολλαπλούς τρόπους χρησιμοποιώντας διαφορετικά μέσα (Moran & Dourish, 2001). Αν και οι φορητές εφαρμογές έχουν ως κύριο στοιχείο τους ότι οι χρήστες φέρουν φορητές συσκευές τις οποίες χρησιμοποιούν ως συσκευές πρόσβασης στις υποστηριζόμενες υπηρεσίες, μια επέκταση της έννοιας αυτής είναι αυτή του πανταχού παρόντος υπολογιστή που υποδηλώνει έναν κόσμο στον οποίο τα ευρέως χρησιμοποιούμενα αντικείμενα διαθέτουν υπολογιστική ισχύ, είναι ασύρματα συνδεδεμένα σε ένα δίκτυο και έχουν τη δυνατότητα να ανταλλάσουν πληροφορία τόσο μεταξύ τους όσο και με τους χρήστες που τα χρησιμοποιούν (Persson et al. 2000). Αυτή η προοπτική θα πρέπει να θεωρηθεί ως μια επέκταση της τρέχουσας κατάστασης και μια γενικευμένη και ευφυής χρήση των φορητών εφαρμογών που σύντομα φαίνεται ότι δεν θα αποτελεί πια όραμα αλλά θα είναι πραγματικότητα (Streitz, Kameas & Mavrommati, 2007). Μια από τις τρέχουσες τάσεις στην περιοχή των φορητών εφαρμογών, αφορά την προσπάθεια για δημιουργία και ανάπτυξη συστημάτων που παρουσιάζουν αντίληψη του πλαισίου χρήσης (context awareness), δηλαδή την ικανότητα ανά πάσα στιγμή να αντιληφθούν τις συνθήκες μέσα στις οποίες βρίσκονται και χρησιμοποιούνται (context aware systems). Με την έννοια του πλαισίου χρήσης υποδηλώνεται το περιβάλλον και οι συνθήκες μέσα στις οποίες λαμβάνει χώρα η Διδακτορική διατριβή 33

34 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές αλληλεπίδραση με τις φορητές εφαρμογές. Προκειμένου να αποσαφηνιστεί η έννοια του πλαισίου χρήσης των φορητών εφαρμογών, παρέχονται διάφορες διαστάσεις. Ο Schilit et al. (1994) διακρίνουν το πλαίσιο στις εξής κατηγορίες: - Τεχνολογικό πλαίσιο, περιλαμβάνοντας τις επιμέρους συσκευές που υποστηρίζουν τη λειτουργία των φορητών εφαρμογών (servers, PDA s, συσκευές ανάγνωσης πληροφορίας κλπ) και τη συνδεσιμότητα των παρεχόμενων δικτύων. - Κοινωνικο πολιτισμικό πλαίσιο, περιλαμβάνοντας τα χαρακτηριστικά και το προφίλ των χρηστών, τα χαρακτηριστικά και τις ιδιότητες του χώρου και τους παρευρισκόμενους ανθρώπους. - Φυσικό πλαίσιο, περιλαμβάνοντας ιδιότητες όπως τα φυσικά όρια μέσα στα οποία συντελείται η αλληλεπίδραση με τις φορητές εφαρμογές, και χαρακτηριστικά του χώρου όπως η φωτεινότητα, ο θόρυβος, η θερμοκρασία κλπ. Στόχος των συστημάτων που παρουσιάζουν προσαρμοστικότητα του πλαισίου χρήσης είναι να χρησιμοποιούν την προσλαμβανόμενη πληροφορία πλαισίου κατά τέτοιο τρόπο ώστε να παρέχουν τις κατάλληλες υπηρεσίες σε συγκεκριμένο χρόνο, σε συγκεκριμένη ομάδα ανθρώπων που δραστηριοποιούνται σε συγκεκριμένο χώρο. Ένα τέτοιο υπολογιστικό σύστημα μπορεί για παράδειγμα να ελέγξει τη χρήση μιας σύγχρονης συσκευής τηλεφώνου στο χώρο μιας μουσικής εκδήλωσης ώστε αυτό να μην θορυβεί αλλά να δονείται, γνωρίζοντας την θέση στην οποία βρίσκεται η συσκευή αλλά και το πρόγραμμα της εκδήλωσης (Moran & Dourish, 2001). Παρόλα αυτά, τα συστήματα αυτά δεν είναι ευρέως διαδεδομένα και η χρήση τους περιορίζεται σε συγκεκριμένους χώρους και περιορισμένο εύρος συσκευών. Η τάση που φαίνεται όμως να υπάρχει οδηγεί στη σύντομη ανάπτυξή τους ώστε η προσαρμοστικότητα πλαισίου χρήσης να αποτελεί γνώρισμα πολλών μελλοντικών φορητών εφαρμογών Χαρακτηριστικά των φορητών εφαρμογών Οι φορητές εφαρμογές διαφέρουν σε σημαντικό βαθμό από τις εφαρμογές των επιτραπέζιων υπολογιστικών συστημάτων. Οι διαφορές αυτές οφείλονται τόσο στα ιδιαίτερα χαρακτηριστικά των φορητών συσκευών, στα χαρακτηριστικά χρήσης τους καθώς και στα χαρακτηριστικά του χώρου μέσα στον οποίο χρησιμοποιούνται. Τα χαρακτηριστικά αυτά είναι: 34 Διδακτορική διατριβή

35 Κεφάλαιο 2 - Το περιβάλλον χρήσης των εφαρμογών Το περιβάλλον χρήσης των εφαρμογών αυτών προσδιορίζεται από πολλά επιμέρους στοιχεία. Έτσι το περιβάλλον χρήσης τους μπορεί να προσδιοριστεί από την αλληλεπίδραση μεταξύ χρηστών, τις εξεταζόμενες εφαρμογές, τον χρησιμοποιούμενο εξοπλισμό και τον περιβάλλοντα χώρο (Dey et al. 2001). Στην πληροφορία αυτή συμπεριλαμβάνεται ο χώρος χρήσης, άλλοι άνθρωποι που περιβάλλουν τους χρήστες (μπορεί να είναι συνεργάτες ή απλά παρευρισκόμενοι), καθώς επίσης και παράγοντες που επηρεάζουν το χρήστη και αποσπούν την προσοχή του, συμπεριλαμβάνοντας ηχητικά ερεθίσματα (θόρυβο) και οπτικά ερεθίσματα (φωτεινότητα ή μη επαρκής φωτισμός). Το περιβάλλον χρήσης επηρεάζει σε πολύ μεγάλο βαθμό την αλληλεπίδραση των χρηστών με τις φορητές εφαρμογές. Ο τρόπος με τον οποίο οι χρήστες αλληλεπιδρούν με τις εφαρμογές αυτές διαφέρει σημαντικά σε σχέση με τον τρόπο με τον οποίο χρησιμοποιούν τις εφαρμογές ενός επιτραπέζιου υπολογιστή. Κατά τη χρήση μίας τυπικής εφαρμογής, που προορίζεται για χρήση σε επιτραπέζιο υπολογιστή, ο χρήστης συνήθως εστιάζει την προσοχή του κύρια στην εφαρμογή που χρησιμοποιεί. Αντιθέτως οι χρήστες των φορητών εφαρμογών μπορεί να βρίσκονται σε διάφορες συνθήκες, πχ. να κάθονται, να στέκονται, να περπατούν, να οδηγούν (χρησιμοποιώντας σύγχρονες συσκευές κινητών τηλεφώνων με τεχνολογία Bluetooth) ή ακόμα και να τρέχουν (χρησιμοποιώντας μία συσκευή ραδιοφώνου ή mp3 player με την οποία αλληλεπιδρούν με ηχητικά μηνύματα). Κατά συνέπεια, η προσοχή τους μπορεί να διασπάται, αφού υπάρχουν παράλληλες δραστηριότητες σε εξέλιξη και τα αισθητήριά τους δέχονται πολλαπλά ερεθίσματα. Σε πολλές μάλιστα περιπτώσεις τα ερεθίσματα του περιβάλλοντα χώρου είναι τόσο έντονα που αναγκάζονται να αλληλεπιδρούν με τα συστήματα αυτά χωρίς να κοιτούν την οθόνη των χρησιμοποιούμενων συσκευών (Bach et al. 2008). Περιγράφοντας το περιβάλλον χρήσης των φορητών εφαρμογών, αξίζει να γίνει αναφορά και στην επίδραση που υπάρχει από φυσικούς παράγοντες όπως ακατάλληλη θερμοκρασία (Wobbrock, 2006), αυξημένη υγρασία αλλά και έντονη ηλιοφάνεια (Hoyoung, 2002; Goodman et al. 2004). Ο Wobbrock (Wobbrock, 2006) αναφέρει περιπτώσεις στις οποίες η θερμοκρασία επηρεάζει την αλληλεπίδραση του χρήστη με μία φορητή εφαρμογή. Χαρακτηριστικό παράδειγμα είναι η δυσκολία χρήσης των συσκευών Διδακτορική διατριβή 35

36 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές εισόδου (χειρισμός πληκτρολογίου ή stylus pen) ενός τέτοιου συστήματος σε περιπτώσεις πολύ χαμηλής θερμοκρασίας όπου ο χρήστης φοράει γάντια. - Πληρότητα, καταλληλότητα και συνδεσιμότητα των επιμέρους συσκευών Κύριο χαρακτηριστικό των φορητών εφαρμογών είναι η συνύπαρξη και συνεργασία πολλών επιμέρους συσκευών προκειμένου να επιτευχθεί η μεταξύ τους σύνδεση και να εξασφαλιστεί η άρτια χρήση τους. Έτσι συχνά πρέπει να εξασφαλιστεί η καλή λειτουργία τόσο μεμονωμένα των ίδιων των συσκευών όσο και του υπολογιστικού συστήματος που συγκροτούν στο σύνολό τους. Οι συσκευές αυτές παρουσιάζουν ετερογενή χαρακτηριστικά και ποικίλουν από απλούς αισθητήρες κίνησης και κάρτες ανάγνωσης μέχρι κάμερες καταγραφής και κεντρικούς servers που διαχειρίζονται το σύστημα. Η συμβατότητα αυτών των συσκευών μεταξύ τους είναι ένα πρόβλημα που ανακύπτει σε πολλές περιπτώσεις όπου εξετάζεται η λειτουργία τέτοιων συστημάτων. Ένα συχνό εμπόδιο της άρτιας λειτουργίας των φορητών συστημάτων αποτελεί η ποιότητα σύνδεσής τους. Πολλές φορές η σύνδεση διακόπτεται ή είναι αναξιόπιστη (Longoria, 2001). Η ισχύς του σήματος και η ταχύτητα μεταφοράς δεδομένων σε ένα ασύρματο δίκτυο μεταβάλλονται με το χρόνο αλλά και με τη θέση των χρηστών οι οποίοι συνεχώς κινούνται επιτείνοντας το πρόβλημα αυτό (Sears & Jacko, 2000). Το πρόβλημα αυτό επηρεάζει την αλληλεπίδραση του χρήστη με το σύστημα, καθώς συνεπάγεται καθυστέρηση μεταφοράς δεδομένων και απόκρισης από το σύστημα προς το χρήστη. Ειδικά σε περιπτώσεις όπου απαιτείται το κατέβασμα και η αναπαραγωγή μεγάλων αρχείων όπως αρχείων πολυμέσων (streaming media) που καθοδηγούν το χρήστη, η αλληλεπίδραση καθίσταται δυσχερής. - Χρήση πολλών καναλιών επικοινωνίας μεταξύ χρήστη - συστήματος Ένα χαρακτηριστικό των φορητών εφαρμογών είναι συχνά η χρήση, σε εκτεταμένο βαθμό, διαφορετικών αισθητήριων του χρήστη. Παρατηρείται συνεπώς ότι πολλαπλά κανάλια επικοινωνίας επιτρέπουν νέους τρόπους αλληλεπίδρασης με τους χρήστες. Βεβαίως ως κύριο κανάλι επικοινωνίας παραμένει όπως και στα κλασσικά συστήματα το οπτικό κανάλι το οποίο μέσω πολλαπλών οθονών ή άλλων φωτεινών ενδείξεων παρέχει πληροφορία στους χρήστες. Επίσης αλληλεπίδραση επιτυγχάνεται μέσω ηχητικών μηνυμάτων αλλά και μέσω της δυνατότητας 36 Διδακτορική διατριβή

37 Κεφάλαιο 2 εισαγωγής δεδομένων από το χρήστη χρησιμοποιώντας πληκτρολόγιο. Το ιδιαίτερο χαρακτηριστικό των συστημάτων αυτών είναι ότι επιτρέπουν τον συνδυασμό των παραπάνω αισθήσεων με άλλες που δεν χρησιμοποιούνταν στον ίδιο βαθμό μέχρι σήμερα. Έτσι έχουν κάνει την εμφάνισή τους υπηρεσίες που χρησιμοποιούν τόσο τη λειτουργία της δόνησης των συσκευών όσο και την αναγνώριση ομιλίας και αυτόματης εκτέλεσης εντολών. Μάλιστα η επικοινωνία μέσω φωνητικών εντολών είναι ιδιαίτερα χρήσιμη σε περιπτώσεις που η αλληλεπίδραση αφορά άτομα με ειδικές ανάγκες ή σε περιπτώσεις που τα χέρια του χρήστη είναι απασχολημένα σε παράλληλες δραστηριότητες (π.χ. οδήγηση, ταυτόχρονη χρήση άλλων συσκευών κλπ.) (Cohen & Oviatt, 1995). Ο συνδυασμός των παραπάνω τρόπων επικοινωνίας με φορητές εφαρμογές χρησιμοποιείται ευρέως παρέχοντας νέες δυνατότητες στους χρήστες τους. - Τα χαρακτηριστικά των φορητών συσκευών Οι φορητές συσκευές που χρησιμοποιούνται για τη λειτουργία των φορητών εφαρμογών έχουν ιδιαίτερα χαρακτηριστικά που επηρεάζουν την αλληλεπίδραση των χρηστών με αυτές, ιδιαίτερα, οι διαστάσεις της οθόνης, οι περιορισμοί στην υπολογιστική ισχύ και στην αυτονομία, καθώς και τα χαρακτηριστικά των χειριστηρίων εισαγωγής πληροφορίας επηρεάζουν την αλληλεπίδραση των χρηστών με αυτές. Μια συζήτηση του τρόπου που επηρεάζεται η αλληλεπίδραση των χρηστών από τα χαρακτηριστικά των συσκευών επιχειρείται στη συνέχεια. Διαστάσεις οθόνης Το περιορισμένο μέγεθος των σύγχρονων φορητών συσκευών έχει ως άμεσο επακόλουθο τη χρήση μικρών οθονών απεικόνισης της πληροφορίας που μπορεί να επηρεάσει σε μεγάλο βαθμό την ευχρηστία των συστημάτων στα οποία χρησιμοποιούνται (Jones et al., 1999, Kim & Albers, 2001). Οι οθόνες αυτές έχουν χαμηλή ανάλυση, δηλαδή μικρότερο αριθμό εικονοστοιχείων, σε σχέση με τις οθόνες των κλασσικών συστημάτων. Η χαμηλή ανάλυση σε πολλές περιπτώσεις έχει ως αποτέλεσμα την μειωμένη ποιότητα παρουσίασης πληροφορίας. Ειδικά σε περιπτώσεις όπου απαιτείται η παρουσίαση πληροφορίας πολυμέσων το πρόβλημα αυτό γίνεται πιο έντονο. Για παράδειγμα η παρουσίαση του περιεχομένου ιστοσελίδων και η πρόσβαση σε στοιχεία τους, όπως φόρμες κλπ μπορεί να γίνει εξαιρετικά δύσκολη ενώ έχουν παρατηρηθεί Διδακτορική διατριβή 37

38 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές προβλήματα, όπως μειωμένη αναγνωσιμότητα (Bickmore & Schilit, 1997) ιστοσελίδων κειμένου και αρχείων κειμένου γενικότερα. Μειωμένη υπολογιστική ισχύς Η υπολογιστική ισχύς αλλά και η μνήμη των σύγχρονων φορητών συσκευών αυξάνουν μεν συνεχώς, αλλά παρόλα αυτά υστερούν σε σχέση με εκείνες των επιτραπέζιων υπολογιστών (Zhang & Adipat, 2005). Έτσι πολλές εφαρμογές που απαιτούν αρκετή μνήμη και γρήγορο επεξεργαστή, όπως είναι οι εφαρμογές πλοήγησης με χρήση τρισδιάστατων χαρτών (με τεχνολογία GPS) μπορεί να μην είναι δυνατό να λειτουργήσουν σε αρκετές από τις φορητές συσκευές (Rakkolainen & Vainio, 2001). Αυτονομία χρόνου λειτουργίας Ένα άλλο σημαντικό πρόβλημα των συσκευών αυτών είναι η περιορισμένη τους αυτονομία. Όσο περισσότερες λειτουργίες χρησιμοποιούνται, τόσο πιο γρήγορα καταναλώνεται η μπαταρία τους. Παράλληλα η ασύρματη μεταφορά δεδομένων που είναι κύριο χαρακτηριστικό των σύγχρονων συσκευών καταναλώνει πολύ ενέργεια (Schiller, 2000). Έτσι η αυτονομία τους στις περισσότερες περιπτώσεις περιορίζεται σε μερικές μόνο ώρες, γεγονός το οποίο προκαλεί προβλήματα σε περιπτώσεις όπου οι απαιτούμενες από τους χρήστες εργασίες είναι μακροσκελείς. Χειριστήρια εισαγωγής δεδομένων Το μικρό μέγεθος των συσκευών έχει ως συνέπεια και τη μείωση του μεγέθους των χειριστηρίων με τα οποία επιτυγχάνεται η εισαγωγή δεδομένων. Έτσι οι περισσότερες από τις συσκευές αυτές έχουν πληκτρολόγια περιορισμένου μεγέθους και αριθμού πλήκτρων τα οποία σε πολλές περιπτώσεις εκτελούν πολλαπλές λειτουργίες ανάλογα με τον χρόνο που παραμένουν πατημένα. Τα μικρά πλήκτρα αυξάνουν την πιθανότητα σφαλμάτων πληκτρολόγησης και μειώνουν την ταχύτητα εισαγωγής δεδομένων περιορίζοντας έτσι την αποτελεσματικότητα και αποδοτικότητα των χρηστών κατά την αλληλεπίδρασή τους με το σύστημα. Η χρήση διαφορετικών μεθόδων εισαγωγής δεδομένων μπορεί να επηρεάσει σε πολύ μεγάλο βαθμό την αλληλεπίδραση χρήστη - 38 Διδακτορική διατριβή

39 Κεφάλαιο 2 συστήματος (MacKenzie & Zhang, 1999; Soukoreff & MacKenzie, 1995). Παράλληλα η εισαγωγή δεδομένων δυσχεραίνεται περαιτέρω σε περιπτώσεις κατά τις οποίες ο χρήστης βρίσκεται σε κίνηση. 2.6 Ζητήματα που αφορούν την αξιολόγηση ευχρηστίας των φορητών εφαρμογών Όπως συζητήθηκε στην ενότητα 2.3, η ευχρηστία ενός υπολογιστικού συστήματος σύμφωνα με το πρότυπο 9241 είναι συνάρτηση πολλών παραγόντων. Οι παράγοντες αυτοί είναι τα επιμέρους στοιχεία που συγκροτούν το πλαίσιο χρήσης του υπολογιστικού συστήματος και συνιστούν το περιβάλλον στο οποίο χρησιμοποιείται το σύστημα, τον χρησιμοποιούμενο εξοπλισμό, τους τυπικούς χρήστες, αλλά και τις εργασίες που οι ίδιοι εκτελούν κατά την αλληλεπίδρασή τους με το σύστημα. Στην περίπτωση που η αξιολόγηση ευχρηστίας αφορά ένα κλασσικό σύστημα επιτραπέζιου υπολογιστή, το ενδιαφέρον των ειδικών ευχρηστίας εστιάζεται κυρίως στην αλληλεπίδραση μεταξύ χρήστη και συστήματος. Η επίδραση από το περιβάλλον φαίνεται να μην επηρεάζει ιδιαίτερα το χρήστη αφού η προσοχή του δεν αποσπάται συνήθως από άλλους παράγοντες. Παράλληλα, προβλήματα που αφορούν τη συνδεσιμότητα των επιμέρους συσκευών δεν επηρεάζουν την εμπειρία χρήσης μιας και χρησιμοποιούνται κατά κανόνα αξιόπιστα δίκτυα με γνωστή από πριν ταχύτητα σύνδεσης. Αντίθετα στην περίπτωση των φορητών εφαρμογών το πλαίσιο χρήσης παρουσιάζει χαρακτηριστικά τα οποία μεταβάλλονται συνεχώς κατά την αλληλεπίδραση με τις συσκευές. Τόσο παράγοντες που αφορούν το περιβάλλον χρήσης (κίνηση, μεταβαλλόμενος θόρυβος, απρόβλεπτα εξωτερικά ερεθίσματα κλπ.) όσο και παράγοντες που αφορούν τη λειτουργία των συσκευών (π.χ. στάθμη ισχύος ασύρματου δικτύου) μεταβάλλονται συνεχώς με αποτέλεσμα να επηρεάζουν την εμπειρία χρήσης και την ευχρηστία. Παράλληλα συχνά εμπλέκονται πολλαπλά μέσα επικοινωνίας ενώ τα χαρακτηριστικά των συσκευών που αναφέρθηκαν επηρεάζουν την αλληλεπίδραση χρήστη-συστήματος, αυξάνοντας την συνθετότητα του προβλήματος αξιολόγησης της χρήσης των φορητών εφαρμογών. Διδακτορική διατριβή 39

40 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές Στόχος της αξιολόγησης ευχρηστίας των συστημάτων αυτών είναι η συστηματική καταγραφή των προβλημάτων που παρατηρούνται και επηρεάζουν την εμπειρία χρήσης, ώστε να προταθούν λύσεις, με στόχο να αυξηθεί η αποτελεσματικότητα, η απόδοση και η ικανοποίηση του χρήστη από την εμπειρία αλληλεπίδρασης. Για τη συστηματική μελέτη των χαρακτηριστικών αυτών των φορητών εφαρμογών απαιτούνται μέθοδοι καταγραφής και ανάλυσής τους που θα βοηθούν τους ειδικούς ευχρηστίας να απομονώσουν συγκεκριμένους τύπους προβλημάτων που σχετίζονται με κάθε ένα από αυτά, ώστε να προτείνουν λύσεις αντιμετώπισής τους. Το προσδοκώμενο αποτέλεσμα της αξιολόγησης ευχρηστίας είναι όχι μόνο η ποσοτική μέτρησή της με βάση διαστάσεις και μετρήσιμα χαρακτηριστικά αλλά και να προσδιορίσει τις αιτίες χαμηλής ευχρηστίας και να κάνει προτάσεις για επανασχεδιασμό της εφαρμογής. Δηλαδή θα πρέπει να καθοριστεί με σαφήνεια αν η υπαιτιότητα για την αδυναμία χρήσης των φορητών εφαρμογών οφείλεται στα χαρακτηριστικά των χρησιμοποιούμενων συσκευών, στα χαρακτηριστικά του περιβάλλοντος στο οποίο χρησιμοποιούνται, στα χαρακτηριστικά της ομάδας των χρηστών ή στο σχεδιασμό και τον χαρακτήρα των ίδιων των εργασιών που εκτελούν οι χρήστες. Τα ερωτήματα που ανακύπτουν στο πλαίσιο αυτό είναι: Ποια η εφαρμοσιμότητα των υφιστάμενων μεθόδων αξιολόγησης ευχρηστίας στην περίπτωση των φορητών εφαρμογών; Πόσο αυτές θα πρέπει να προσαρμοστούν ώστε να ικανοποιήσουν τις απαιτήσεις των εφαρμογών αυτών; Ποια είναι η ποιότητα των αποτελεσμάτων που παρέχουν, και οι πόσοι πόροι απαιτούνται; Τα ερωτήματα αυτά αποτελούν αντικείμενο της επόμενης ενότητας. 2.7 Διερεύνηση καταλληλότητας μεθόδων αξιολόγησης ευχρηστίας στις φορητές εφαρμογές Η ενότητα αυτή έχει ως στόχο να εξετάσει την καταλληλότητα των μεθόδων αξιολόγησης ευχρηστίας, που περιγράφηκαν ήδη στην ενότητα 2.4 στην περίπτωση της χρήσης φορητών εφαρμογών. Η επιλογή της μεθόδου και του τρόπου με τον οποίο αξιολογείται ένα σύστημα πρέπει να γίνεται με κριτήρια το είδος του συστήματος, τη φάση ανάπτυξης στην 40 Διδακτορική διατριβή

41 Κεφάλαιο 2 οποία βρίσκεται, καθώς και τα χαρακτηριστικά του εκείνα τα οποία ενδιαφέρει να μελετηθούν (Zhang & Adipat, 2005). Παράλληλα κάθε μελέτη αξιολόγησης της χρήσης ενός συστήματος απαιτεί τόσο προσεκτικό σχεδιασμό όσο και διατύπωση των επιθυμητών στόχων που πρέπει να πληροί (Rubin 1994). Σχετικά με τις αναλυτικές μεθόδους που περιγράφηκαν στην ενότητα 2.4.2, αυτές είναι κατάλληλες σε περιπτώσεις που η φορητή εφαρμογή βρίσκεται σε φάση πρωτότυπου ή σε περιπτώσεις όπου το αντικείμενο μελέτης είναι η σχεδίαση των οθονών και των λειτουργιών του συστήματος. Τυπικό παράδειγμα τέτοιας αξιολόγησης αποτελεί η ανάγκη για επιβεβαίωση σωστής σχεδίασης των μενού του συστήματος. Στην εικόνα 2.2 φαίνεται ένα παράδειγμα σχεδιασμού μενού δύο επιπέδων σε μια φορητή εφαρμογή σε περιβάλλον Mobile Windows. Σε ένα τέτοιο παράδειγμα μπορεί να χρησιμοποιηθεί ένα αναλυτικό μοντέλο, όπως το KLM για την πρόβλεψη του χρόνου εκτέλεσης μιας τυπικής εργασίας. Η εφαρμογή τέτοιων αναλυτικών μεθόδων μπορεί να οδηγήσει στον υπολογισμό του χρόνου που απαιτείται για να πλοηγηθούν οι χρήστες στις βασικές οθόνες του συστήματος ώστε να γίνει δυνατή η επιλογή μεταξύ εναλλακτικών σχεδιάσεων με κριτήριο την απόδοση. Το κύριο μειονέκτημα σε αυτή την περίπτωση είναι ότι, αφενός τα μοντέλα αυτά κάνουν υποθέσεις για ιδανικό και αλάνθαστο χρήστη, ενώ δεν μπορούν να εντοπίσουν περαιτέρω προβλήματα σχεδιασμού. Εικόνα 2.2 Διεπιφάνεια φορητής εφαρμογής στην οποία μελετάται η σχεδίαση των μενού Διδακτορική διατριβή 41

42 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές Σχετικά με τις μεθόδους επισκόπησης από ειδικούς, τυπικές μέθοδοι που ανήκουν σε αυτή την κατηγορία, είναι η ευρετική αξιολόγηση (Nielsen & Molich 1990) σύμφωνα με την οποία εξετάζονται αν εφαρμόζονται τυπικοί εμπειρικοί κανόνες καλής σχεδίασης και το γνωστικό περιδιάβασμα (Wharton et al. 1992), σύμφωνα με το οποίο ο ειδικός προσομοιώνει την ακολουθία τυπικών εργασιών θέτοντας ερωτήματα που αποκαλύπτουν γνωστικά αδιέξοδα και προβλήματα του χρήστη. Σύμφωνα με τις μεθόδους αυτές, οι ειδικοί που είναι γνώστες κανόνων και πρακτικών καλού σχεδιασμού, επιθεωρούν τη διεπιφάνεια του εξεταζόμενου συστήματος προκειμένου να ανακαλύψουν ενδεχόμενα προβλήματα ευχρηστίας βασιζόμενοι στην εμπειρία τους, και να προτείνουν λύσεις για την εξάλειψή τους. Το βασικό πλεονέκτημα των μεθόδων επισκόπησης είναι ότι μπορούν να ολοκληρωθούν σε σχετικά σύντομο χρονικό διάστημα με συγκριτικά χαμηλό κόστος μιας και δεν απαιτούν ιδιαίτερο εργαστηριακό εξοπλισμό (Nielsen 1993). Ωστόσο η συμμετοχή ειδικών και όχι πραγματικών χρηστών έχει ως αποτέλεσμα να παραβλέπονται τυχόν δυσκολίες τις οποίες θα μπορούσαν να έχουν τυπικοί χρήστες. Παρά το γεγονός ότι οι ειδικοί έχουν περισσότερη γνώση σχετικά με την καλή σχεδίαση της διεπιφάνειας χρήσης ενός συστήματος, οι πραγματικοί χρήστες είναι εκείνοι που προσδιορίζουν τα κύρια χαρακτηριστικά του περιβάλλοντος αλληλεπίδρασης (Nielsen 1993). Παράλληλα μια αδυναμία των μεθόδων επισκόπησης από ειδικούς είναι ότι δεν μπορούν να εντοπίσουν προβλήματα που σχετίζονται με το περιβάλλον χρήσης της εφαρμογής μιας και δεν μπορούν να συμπεριλάβουν την επίδραση του χώρου για τον οποίο προορίζεται η εφαρμογή (Po et al. 2004). Οι κανόνες που χρησιμοποιούνται στα πλαίσια των μεθόδων αυτών, εξετάζουν μονάχα κατά πόσο συμμορφώνονται με αυτούς οι διεπιφάνειες του συστήματος και παραβλέπουν το περιβάλλον διεξαγωγής της δραστηριότητας. Για να αντιμετωπιστεί το πρόβλημα αυτό, έχουν προταθεί τροποποιημένες ευρετικές μέθοδοι που προσπαθούν να συμπεριλάβουν και χαρακτηριστικά του πλαισίου χρήσης της εφαρμογής (Korhonen & Koivisto, 2006; Vetere et al. 2003). Όμως οι μέθοδοι αυτές δεν έχουν συχνά το επιθυμητό αποτέλεσμα καθώς επιχειρώντας να καταγράψουν τα χαρακτηριστικά του πλαισίου χρήσης, παύουν να έχουν τα πλεονεκτήματα που προαναφέρθηκαν καθώς γίνονται χρονοβόρες αλλά σε πολλές περιπτώσεις και πολυδάπανες. Παράδειγμα τέτοιας τροποποιημένης μεθόδου επισκόπησης από ειδικούς, αποτελεί η πρόταση των Bertini et al. (2006), οι οποίοι 42 Διδακτορική διατριβή

43 Κεφάλαιο 2 επαναδιατύπωσαν κατάλληλα τους γνωστούς δέκα ευρετικούς κανόνες που προτάθηκαν από το Nielsen (Nielsen 1994) προκειμένου να μελετήσουν την επίδραση του χώρου στη χρήση φορητών εφαρμογών. Σε σχέση όμως με την κλασσική ευρετική αξιολόγηση, η μέθοδος των Bertini et al. απαιτεί επισκόπηση στο πεδίο, μεγαλύτερο χρόνο εκπαίδευσης και εξοικείωσης των ειδικών με τους κανόνες καθώς και σημαντικά μεγαλύτερο χρόνο αξιολόγησης. Αποτέλεσμα είναι να μην παρουσιάζει τα θετικά των μεθόδων επισκόπησης και να μην τύχει τελικά ευρύτερης αποδοχής. Παράλληλα, οι μέθοδοι επισκόπησης από ειδικούς έχουν δεχθεί κριτική που σχετίζεται και με τον εντοπισμό χαμηλού αριθμού προβλημάτων ευχρηστίας έναντι του συνολικού πλήθους αυτών. Τέλος, στις μεθόδους επισκόπησης αποδίδεται ο εντοπισμός μη κρίσιμων προβλημάτων ευχρηστίας (Karat et al. 1992). Λόγω των χαμηλών πόρων που απαιτούν, οι μέθοδοι επισκόπησης μπορούν να εφαρμοστούν σε διάφορες φάσεις του κύκλου ανάπτυξης ενός συστήματος. Ωστόσο η χρήση τους προτιμάται κυρίως σε αρχικές φάσεις ανάπτυξης όπου το σύστημα εξετάζεται σε πρωτότυπη μορφή μιας και δίνουν ανάδραση για άμεση διόρθωσή του. Αντίθετα δεν είναι κατάλληλες στην περίπτωση αξιολόγησης φορητών εφαρμογών στις οποίες η επίδραση από το περιβάλλον διαδραματίζει καθοριστικό ρόλο στη χρήση τους. Γενικότερα οι μέθοδοι επισκόπησης από ειδικούς δεν μπορούν να εφαρμοστούν στην περίπτωση όπου χρειάζεται να δοθεί βαρύτητα στα χαρακτηριστικά του χρήστη ή στα χαρακτηριστικά του χώρου για τον οποίο σχεδιάστηκε η εφαρμογή. Μόλις το σύστημα περάσει σε πιο ώριμη φάση ανάπτυξης, τότε η αξιολόγηση με πραγματικούς χρήστες είναι προτιμότερη μιας και όταν λαμβάνεται υπόψη η πραγματική εμπειρία των χρηστών είναι δυνατόν να επαληθευθούν συγκεκριμένες υποθέσεις (Costabile 2001). Στις περιπτώσεις αυτές μπορούν να χρησιμοποιηθούν οι πειραματικές καθώς και οι διερευνητικές μέθοδοι στις οποίες η εξεταζόμενη εφαρμογή τίθεται σε χρήση από πραγματικούς χρήστες σε τεχνητά ή πραγματικά περιβάλλοντα αντίστοιχα. Ανάλογα με τις τεχνικές που εφαρμόζονται μπορούν να αποτυπωθούν καλύτερα είτε τα προβλήματα των χρηστών με την εξεταζόμενη εφαρμογή είτε αυτά που σχετίζονται με το περιβάλλον χρήσης της. Στην ιδανική περίπτωση, η αξιολόγηση της χρήσης των φορητών εφαρμογών θα πρέπει να είναι Διδακτορική διατριβή 43

44 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές προσεκτικά σχεδιασμένη ώστε να καλύπτει όλες τις πιθανές καταστάσεις ενός δυναμικού περιβάλλοντος χρήσης (Kim et al. 2002). Στην πραγματικότητα όμως αυτό είναι πολύ δύσκολο καθώς έχουν να αντιμετωπιστούν πάρα πολλές προκλήσεις. Έτσι για παράδειγμα οι ειδικοί δεν πρέπει να παραβλέψουν καταστάσεις που σχετίζονται με συνθήκες πραγματικής χρήσης καθώς οι χρήστες μιας φορητής εφαρμογής είναι συχνά ενταγμένοι σε ένα συνεχώς μεταβαλλόμενο χώρο. Έχουν ήδη γίνει πολυάριθμες μελέτες αξιολόγησης ευχρηστίας φορητών εφαρμογών τόσο χρησιμοποιώντας πειραματικές μεθόδους όσο και διερευνητικές εμπλέκοντας πραγματικούς χρήστες που δρουν σε εξομοιωμένους εργαστηριακούς χώρους και σε πραγματικά φυσικά περιβάλλοντα αντίστοιχα. Η πιο δημοφιλής τεχνική που ανήκει στις πειραματικές μεθόδους είναι η ελεγχόμενη ποσοτική εκτίμηση παραμέτρων ευχρηστίας (lab testing). Κατά τη διάρκεια αυτών των μελετών τα υποκείμενα υποβάλλονται σε παρατήρηση σε ένα καθ όλα ελεγχόμενο περιβάλλον καθώς τους έχει ζητηθεί να φέρουν εις πέρας συγκεκριμένες εργασίες χρησιμοποιώντας το προς εξέταση υπολογιστικό σύστημα. Πρόκειται για μία κλασσική τεχνική αξιολόγησης λογισμικού η οποία παρέχει ποσοτικές μετρήσεις της απόδοσης του συστήματος όταν οι χρήστες εκτελούν προκαθορισμένες εργασίες (Αβούρης 2000), γι αυτό είναι γνωστή και ως μέτρηση της απόδοσης (Dumas & Redish 1993, Lindegaard, 1994, Rubin, 1994). Κατά τη διάρκεια της πειραματικής διαδικασίας και ενώ οι χρήστες αλληλεπιδρούν με το σύστημα, καλούνται να εκφράσουν μεγαλόφωνα τις σκέψεις, απόψεις και τα συναισθήματά τους. H τεχνική αυτή είναι γνωστή ως πρωτόκολλο ομιλούντος υποκειμένου (thinking aloud protocol) και μπορεί να δώσει πολλά ποιοτικά στοιχεία στους ειδικούς ευχρηστίας, σχετικά με την ικανοποίησή των χρηστών και την αποτελεσματικότητα του συστήματος. Η εφαρμογή της τεχνικής αυτής απαιτεί σχετικά λίγους πόρους, έχει δε αποδειχθεί ιδιαίτερα αποτελεσματική (Jeffries et al. 1991; Savage, 1996) Από την άλλη πλευρά κατά τη διάρκεια των μελετών σε φυσικά περιβάλλοντα οι χρήστες χρησιμοποιούν το υπολογιστικό σύστημα σε πραγματικές συνθήκες, οπότε είναι δυνατή η παρατήρηση αυθεντικών προβλημάτων που σχετίζονται με το τυπικό περιβάλλον χρήσης του συστήματος. Τόσο οι εργαστηριακές μελέτες όσο και οι μελέτες σε φυσικά περιβάλλοντα παρουσιάζουν πλεονεκτήματα και μειονεκτήματα που συζητούνται στη συνέχεια. 44 Διδακτορική διατριβή

45 Κεφάλαιο 2 - Εργαστηριακές μελέτες Οι εργαστηριακές μελέτες λαμβάνουν χώρα σε ελεγχόμενα περιβάλλοντα τα οποία έχουν κατάλληλα διαμορφωθεί για τους σκοπούς της έρευνας. Αυτό σημαίνει ότι δεν πραγματοποιούνται κατά αποκλειστικότητα σε χώρους εξ ολοκλήρου εργαστηριακούς αλλά μπορεί να συμβαίνουν σε κατάλληλα τροποποιημένα χώρους, όπως γραφεία (Cheverst, 2001), διαδρόμους (Bohnenberger, 2002) ή σε χώρους προσομοίωσης (Brewster, 2002). Οι εργαστηριακές μελέτες παρουσιάζουν πάρα πολλά πλεονεκτήματα για την αξιολόγηση φορητών εφαρμογών (Buchanan et al., 2001; Buyukkokten et al., 2002). Καταρχήν δίνουν στους ειδικούς ευχρηστίας τη δυνατότητα να έχουν τον πλήρη έλεγχο. Αυτό σημαίνει ότι μπορούν ανά πάσα στιγμή να αντιληφθούν εύκολα αν οι χρήστες ακολουθούν τις οδηγίες τους ή αν έχουν παρεκκλίνει από την εργασία που τους έχει ανατεθεί καθώς μπορούν να παρακολουθούν χωρίς μεγάλη προσπάθεια την αλληλεπίδρασή τους με την υπό εξέταση εφαρμογή. Δεύτερο σημαντικό πλεονέκτημα των εργαστηριακών μελετών είναι ότι επιτρέπουν στους ειδικούς να περιορίσουν άλλους άσχετους εξωγενείς παράγοντες και να εστιάσουν σε συγκεκριμένα προβλήματα που αφορούν την αλληλεπίδραση του χρήστη με το σύστημα. Τέλος στα θετικά θα πρέπει να συμπεριληφθεί και το γεγονός ότι επιτρέπουν την εύκολη και αξιόπιστη καταγραφή της δραστηριότητας μέσα από σταθερά μέσα χωρίς να απαιτούν το «κυνήγι» του χρήστη από άτομα που χειρίζονται καταγραφικές ή άλλου είδους συσκευές συλλογής δεδομένων και παρατηρήσεων. Το σημαντικότερο μειονέκτημα των εργαστηριακών μελετών, από την άλλη πλευρά, είναι ότι παραβλέπουν το δυναμικό και συνεχώς μεταβαλλόμενο πλαίσιο χρήσης των φορητών εφαρμογών καθώς απρόβλεπτες καταστάσεις, όπως για παράδειγμα, η κυμαινόμενη αξιοπιστία της σύνδεσης ενός ασύρματου δικτύου (Zhang & Adipat 2005). Έτσι πιθανότατα μία τέτοια εφαρμογή όταν χρησιμοποιηθεί σε αυθεντικές συνθήκες μπορεί να παρουσιάζει πολλά προβλήματα τα οποία δεν μπόρεσαν ποτέ να αποτυπωθούν και να καταγραφούν κατά τη διάρκεια αξιολόγησής της με τη μέθοδο των εργαστηριακών μελετών. Βασικό επίσης μειονέκτημα αυτού του είδους της αξιολόγησης είναι η αδυναμία γενίκευσης των αποτελεσμάτων χρήσης του συστήματος σε συνθήκες μη εργαστηριακές (Kjeldskov & Graham, 2003). Διδακτορική διατριβή 45

46 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές Γίνεται φανερό ότι η χρήση εργαστηριακών μελετών για την αξιολόγηση ευχρηστίας των φορητών εφαρμογών δεν είναι η πλέον ενδεδειγμένη σε περιπτώσεις όπου χρειάζεται να δοθεί βαρύτητα στα χαρακτηριστικά του περιβάλλοντα χώρου. Παρόλα αυτά, η χρήση των μελετών αυτών θα μπορούσε να είναι πολύτιμη σε αρχικά στάδια αξιολόγησης πρωτοτύπων στα οποία τυχόν επεμβατικοί περιβαλλοντικοί παράγοντες δεν αποτελούν ακόμη αντικείμενο μελέτης. - Μελέτες Πεδίου Αυτό που διαχωρίζει τις μελέτες πεδίου από τις εργαστηριακές μελέτες είναι ότι λαμβάνουν χώρα στον πραγματικό κόσμο. Οι μελέτες πεδίου μπορεί να γίνονται είτε για την ανάλυση των συνθηκών στις οποίες θα ενταχθεί η υπό ανάπτυξη εφαρμογή (μελέτες ανάλυσης πεδίου), είτε συχνά σε περιπτώσεις κατά τις οποίες η εξεταζόμενη εφαρμογή βρίσκεται σε προχωρημένη φάση ανάπτυξης και έχει ξεπεράσει τη φάση του πρώιμου πρωτότυπου (μελέτες αξιολόγησης πεδίου). Το σημαντικότερο πλεονέκτημα των μελετών πεδίου για την αξιολόγηση ευχρηστίας των φορητών εφαρμογών είναι ότι στις μελέτες αυτές είναι δυνατόν να ληφθεί υπόψη το δυναμικό και μεταβαλλόμενο περιβάλλον χρήσης τους, κάτι που δεν μπορεί να εξομοιωθεί εύκολα σε ένα εργαστηριακό περιβάλλον. Με τις μελέτες πεδίου, η αξιολόγηση ευχρηστίας των φορητών εφαρμογών βασίζεται στην αυθεντική και όχι προσομοιωμένη εμπειρία των χρηστών οι οποίοι δρουν σε ένα περιβάλλον πιο ρεαλιστικό και πιο αξιόπιστο (Kjeldskov & Stage, 2004; Palen & Salzman,2002; Sharples et al. 2002). Η αξιολόγηση ευχρηστίας των εφαρμογών αυτών δεν είναι μία απλή διαδικασία, ιδιαίτερα όταν λαμβάνει χώρα σε ένα αυθεντικό φυσικό περιβάλλον. Πέρα από την έλλειψη επαρκούς ελέγχου των χρηστών και της όλης δραστηριότητας υπάρχουν πολλές άλλες δυσκολίες (Beck et al. 2003; Kjeldskov & Graham, 2003). Έτσι η συνεχής κίνηση των χρηστών σε ένα περιβάλλον που διαρκώς μεταβάλλεται δημιουργεί δυσκολίες στην παρατήρηση και καταγραφή της δραστηριότητας, η οποία πρέπει ταυτόχρονα να γίνει κατά τέτοιο τρόπο ώστε να μην επηρεάσει το ίδιο το φαινόμενο. Παράλληλα οι κλασσικές μέθοδοι της Τεχνολογίας Ευχρηστίας που έχουν αναπτυχθεί και εφαρμόζονται κατά την αξιολόγηση των εφαρμογών επιτραπέζιων υπολογιστών, δεν μπορούν να εφαρμοστούν με την ίδια επιτυχία, 46 Διδακτορική διατριβή

47 Κεφάλαιο 2 λόγω της φύσης των εφαρμογών και του περιβάλλοντος χρήσης τους. Έτσι για παράδειγμα το πρωτόκολλο του ομιλούντος υποκειμένου είναι σε αρκετές περιπτώσεις δύσκολο να εφαρμοστεί μιας και η προσοχή των χρηστών διαρκώς αποσπάται ενώ παράλληλα δυσκολίες υπάρχουν και στην καταγραφή του. Γίνεται φανερό ότι οι μελέτες πεδίου μπορούν να δώσουν μία πιο ολοκληρωμένη εικόνα της αλληλεπίδρασης χρήστη υπολογιστικού συστήματος στην περίπτωση της αξιολόγησης φορητών εφαρμογών μιας και καλύπτουν και εξωγενείς παράγοντες που προέρχονται από το πραγματικό περιβάλλον χρήσης τους και οι οποίοι δεν μπορούν να προβλεφθούν σε πειραματικές μελέτες. Παρ'όλα αυτά η εφαρμογή τους είναι μια διαδικασία ιδιαίτερα επίπονη που απαιτεί διακριτικότητα και σεβασμό κυρίως στον τρόπο και στα μέσα με τα οποία θα γίνει η παρατήρηση και η συλλογή των δεδομένων. Διαφαίνεται η ανάγκη για μεθόδους και τεχνικές συλλογής δεδομένων παρατήρησης που δεν θα επηρεάσουν τη συμπεριφορά των χρηστών και δεν θα αλλοιώσουν τα συμπεράσματα σχετικά με την ευχρηστία των υπό εξέταση εφαρμογών. Οι ειδικοί της Τεχνολογίας Ευχρηστίας, αναγνωρίζοντας τη σημασία του περιβάλλοντος χώρου στον οποίο προορίζεται να χρησιμοποιηθεί μία εφαρμογή, οδηγήθηκαν στην αναζήτηση επιπρόσθετης βοήθειας και από άλλες μεθόδους που έχουν τις ρίζες τους στην Ψυχολογία και στην Κοινωνιολογία (βλέπε Kaptelinin, από Nardi 1996). Η συνεισφορά αυτών των μεθόδων έγκειται στην απόκτηση μιας βαθύτερης κατανόησης του τρόπου που οι άνθρωποι χρησιμοποιούν τις εφαρμογές στα πλαίσια των δραστηριοτήτων τους. Τυπικές μεθοδολογίες αυτής της κατεύθυνσης είναι η Θεωρία Δραστηριότητας και οι εθνογραφικές προσεγγίσεις. Η εφαρμογή τέτοιων μεθόδων μπορεί να αναλύσει και να καταγράψει με μεγάλη λεπτομέρεια τον τρόπο με τον οποίο οι άνθρωποι χρησιμοποιούν τις φορητές εφαρμογές σε ένα ευρύτερο πλαίσιο δραστηριοτήτων. Στην ενότητα 2.8 που ακολουθεί γίνεται μια εισαγωγική συζήτηση στο θέμα της συνεισφοράς των προσεγγίσεων αυτών στη μέτρηση της ευχρηστίας υπολογιστικών συστημάτων και παράλληλα εξετάζεται η καταλληλότητά τους στην αξιολόγηση ευχρηστίας φορητών εφαρμογών. Διδακτορική διατριβή 47

48 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές 2.8 Η συμβολή της Θεωρίας Δραστηριότητας και Εθνογραφικών προσεγγίσεων στη μελέτη της χρήσης υπολογιστικών συστημάτων Οι ειδικοί της Τεχνολογίας Ευχρηστίας προκειμένου να κατανοήσουν τη χρήση των εφαρμογών μέσα στο ευρύτερο σύστημα στο οποίο αυτές χρησιμοποιούνται, αναγκάστηκαν να στραφούν πέρα από τις κλασσικές μεθοδολογίες και σε άλλες που προέρχονται από επιστημονικούς κλάδους, όπως η Ανθρωπολογία και η Κοινωνική Ψυχολογία. Τυπικές μεθοδολογίες αυτής της κατηγορίας είναι η Θεωρία της Δραστηριότητας και οι εθνογραφικές προσεγγίσεις. Το βασικό τους πλεονέκτημα συνίσταται στο γεγονός ότι μελετούν ευρύτερες διαστάσεις από αυτές της αλληλεπίδρασης ανθρώπου-συσκευής (Hasan 1999, Genzuk 2003) και ακολουθούν τον κανόνα ότι καμία οντότητα του παρατηρούμενου συστήματος δεν μπορεί να κατανοηθεί πλήρως αν μελετηθεί ξεχωριστά από τις υπόλοιπες οντότητες που το απαρτίζουν Η Θεωρία Δραστηριότητας ως θεωρητικό πλαίσιο ανάλυσης ευχρηστίας Η Θεωρία της Δραστηριότητας (ΘΔ) είναι ένας όρος που έχει καθιερωθεί ως μία σύντομη μορφή του θεωρητικού πλαισίου περιγραφής της ανθρώπινης συμπεριφοράς που είναι γνωστό ως Ιστορικό Πολιτισμική θεωρία της δραστηριότητας. Η θεωρία της Δραστηριότητας προήλθε από τους Ρώσους ψυχολόγους Vygotsky, Leont'ev και Luria (Engestrom, 1999). Η Θεωρία Δραστηριότητας αποτελεί μία περιγραφική και όχι μία προβλεπτική θεωρία (Nardi, 1995). Επιχειρεί να εξηγήσει τις πρακτικές που ακολουθούν οι άνθρωποι συσχετίζοντάς τις με το κοινωνικό, ιστορικό και πολιτισμικό περιβάλλον στο οποίο αυτές λαμβάνουν χώρα. Η βασική μονάδα ανάλυσης της Θεωρίας Δραστηριότητας είναι η ανθρώπινη δραστηριότητα έτσι όπως αυτή προέκυψε ως προϊόν ατομικής ή και συλλογικής δράσης. Η δραστηριότητα αυτή συντελείται από ένα (subject) ή πολλά υποκείμενα (community) έχοντας συγκεκριμένο στόχο (outcome) ή κίνητρο και διαμεσολαβείται από συγκεκριμένα μέσα (Tools). Παράλληλα η δραστηριότητα διέπεται από συγκεκριμένους κοινωνικοπολιτισμικούς κανόνες (rules) αλλά και κανόνες που υποδεικνύουν τον καταμερισμό της εργασίας (division of labor) μεταξύ των υποκειμένων στην περίπτωση μιας ολόκληρης κοινότητας (Kaptelinin, Nardi, Macaulay, 1999). 48 Διδακτορική διατριβή

49 Κεφάλαιο 2 Τις τελευταίες δεκαετίες οι ειδικοί της Αλληλεπίδρασης Ανθρώπου Υπολογιστή έχουν στραφεί στη Θεωρία Δραστηριότητας προκειμένου να βρουν ένα θεωρητικό πλαίσιο περιγραφής της ανθρώπινης δραστηριότητας που σχετίζεται με υπολογιστικά συστήματα. Τόσο η συνεργατική δραστηριότητα των χρηστών όσο και η ανάγκη για κατανόηση των εργαλείων που αυτοί χρησιμοποιούν ήταν οι κύριοι λόγοι που οδήγησαν στη Θεωρία Δραστηριότητας. Φάνηκε ότι η μέθοδος αυτή θα μπορούσε να βοηθήσει στην κατανόηση του τρόπου με τον οποίο οι άνθρωποι μοιράζουν και εκτελούν τις εργασίες τους καθώς και στην κατανόηση του τρόπου που χρησιμοποιούν φυσικά ή νοητικά εργαλεία για να τις ολοκληρώσουν. Τα εργαλεία, μέσα από το πρίσμα της Θεωρίας Δραστηριότητας, δεν είναι απλώς τα αντικείμενα αλλά τα μέσα τα οποία διαμεσολαβούν αλλά και διαμορφώνουν την αλληλεπίδραση με τα υπολογιστικά συστήματα. Οι αρχές της Θεωρίας Δραστηριότητας σχετικά με την ιεραρχική δομή της δραστηριότητας, της εσωτερίκευσης και εξωτερίκευσης καθώς και της διαμεσολάβησης αποτέλεσαν θεωρητικά εργαλεία για την περιγραφή και περαιτέρω κατανόηση της αλληλεπίδρασης χρήστη - συστήματος. Η εφαρμογή της Θεωρίας Δραστηριότητας στην Αλληλεπίδραση Ανθρώπου Υπολογιστή είναι μία διαδικασία ιδιαίτερα χρονοβόρα και πολύπλοκη αφού προϋποθέτει την προσεκτική μελέτη των δραστηριοτήτων των χρηστών και την ανάλυσή τους σύμφωνα με τις θεωρητικές της αρχές. Μέχρι σήμερα η Θεωρία Δραστηριότητας έχει χρησιμοποιηθεί κυρίως ως ένα πλαίσιο κατανόησης των ανθρώπινων δραστηριοτήτων με στόχο τη σχεδίαση νέων υπολογιστικών συστημάτων και όχι τόσο την αξιολόγηση ήδη υπαρχόντων. Η πραγματικότητα αυτή μπορεί να αποδοθεί στο γεγονός ότι η φάση της σχεδίασης είναι αυτή που απαιτεί κυρίως την κατανόηση των ρόλων μεταξύ των χρηστών αλλά και του τρόπου με τον οποίο εκτελούν τις καθημερινές τους εργασίες. Οι γνωστότερες μεθοδολογίες σχεδίασης που έχουν βασιστεί στην επεξήγηση των ανθρώπινων δραστηριοτήτων σύμφωνα με τις αρχές της Θεωρίας Δραστηριότητας, είναι το Activity Checklist (Kaptelinin et al. 1999), το AODM (Mwanza 2002, Mwanza 2001), το ActAD (Korpela et al., 2000) και το focus shift analysis (Bødker 1996) καθώς και οι μεθοδολογίες που έχουν προταθεί από τους Jonassen (Jonassen & Rohrer-Murphy, 1999) και Martins (Martins & Daltrini, 1999). Διδακτορική διατριβή 49

50 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές Όσο αφορά τη φάση της αξιολόγησης, μόνο το Activity Checklist και το ActAD έχουν προταθεί ως εργαλεία που στηρίζονται στις θεωρητικές αρχές της Θεωρίας Δραστηριότητας και που μπορούν να βοηθήσουν τους ειδικούς της ευχρηστίας σε επανασχεδιασμό ενός συστήματος. Το Activity Checklist έχει προταθεί ως ένα εργαλείο που μπορεί να βοηθήσει τους αξιολογητές να οργανώσουν και να χρησιμοποιήσουν την πληροφορία που σχετίζεται με το πλαίσιο χρήσης του εξεταζόμενου συστήματος. Δίνει ιδιαίτερη έμφαση στον κανόνα της διαμεσολάβησης (mediation) (Kaptelinin et al. 1999) μιας και είναι προορισμένο να αναλύσει τον τρόπο με τον οποίο ο άνθρωπος χρησιμοποιεί (φάση αξιολόγησης) ή πρόκειται να χρησιμοποιήσει (φάση σχεδίασης) ένα υπολογιστικό σύστημα ως εργαλείο για να πραγματοποιήσει συγκεκριμένους στόχους. Ουσιαστικά το Activity Checklist δεν είναι τίποτα άλλο από φόρμες στις οποίες παρατίθενται, μέσα σε πίνακες, απλές ερωτήσεις που βοηθούν τον ερευνητή να καταγράψει εκείνους τους παράγοντες που αφορούν κυρίως το πλαίσιο χρήσης του εξεταζόμενου συστήματος και που μπορούν να επηρεάσουν τη χρήση του συστήματος σε πραγματικές συνθήκες. Με άλλα λόγια το Activity Checklist παρέχει ένα πλαίσιο που υποστηρίζει τον ερευνητή να συγκεντρώσει τα δεδομένα για την περαιτέρω μελέτη της ανθρώπινης δραστηριότητας. Οι φόρμες που παρέχει υπάρχουν σε δύο διαφορετικές εκδόσεις ώστε να ανταποκρίνονται τόσο στις ανάγκες των ερευνητών που θέλουν ένα εργαλείο για σκοπούς σχεδίασης όσο και αυτών που θέλουν να εστιάσουν στην αξιολόγηση ενός υπάρχοντος συστήματος. Ένα παράδειγμα της χρήσης του Activity Checklist ως εργαλείο αξιολόγησης συστημάτων περιγράφεται από τον Fjeld (Fjeld et al. 2004). Στην περίπτωση αυτή το Activity Checklist χρησιμοποιείται προκειμένου να αξιολογήσει τη χρήση του συστήματος BUILD-IT, που αποτελεί μία πλατφόρμα δημιουργίας συνεργατικών πλάνων από χρήστες που κάθονται γύρω από το ίδιο τραπέζι. Στην εικόνα 2.3 φαίνεται τμήμα από το φύλλο αξιολόγησης του Activity Checklist. Το Activity Checklist όπως ισχυρίζονται και οι δημιουργοί του είναι ένα εργαλείο προορισμένο όχι να υποκαταστήσει τις υπάρχουσες μεθοδολογίες αξιολόγησης αλλά ο ρόλος του είναι συμπληρωματικός. Οι δημιουργοί του συνιστούν η χρήση του να γίνεται σε συνδυασμό με άλλες τεχνικές αξιολόγησης και υπάρχοντα εργαλεία, ώστε να οδηγήσει σε ικανοποιητικά αποτελέσματα. 50 Διδακτορική διατριβή

51 Κεφάλαιο 2 Εικόνα 2.3 Φύλλο αξιολόγησης του Activity Checklist (Kaptelinin et al. 1999) Στην εικόνα 2.4 που ακολουθεί φαίνεται η συνεισφορά, κάθε μίας από τις μεθοδολογίες που προαναφέρθηκαν στην ανάπτυξη ενός υπολογιστικού συστήματος (Quek & Shah, 2004). Εικόνα 2.4. Μεθοδολογίες εφαρμογής Θεωρίας Δραστηριότητας στην ανάπτυξη υπολογιστικών συστημάτων και φάση στην οποία μπορούν να συνεισφέρουν Διδακτορική διατριβή 51

52 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές Όπως φαίνεται από το σχήμα 2.4, οι περισσότερες τεχνικές συνεισφέρουν κυρίως σε αρχικές φάσεις σχεδίασης όπου αυτό που ενδιαφέρει είναι κυρίως η κατανόηση των χαρακτηριστικών του πεδίου και η κατανόηση των ρόλων των χρηστών. Αυτό σημαίνει ότι οι υπάρχουσες μεθοδολογίες βοηθούν κυρίως στη φάση της συλλογής των απαιτήσεων, όπου ακόμα δεν υπάρχει έτοιμη εφαρμογή, και λιγότερο στη φάση αξιολόγησης. Παρόλο που οι τεχνικές Activity Checklist και ActAD παρέχουν εργαλεία για τη φάση αξιολόγησης ενός συστήματος, δεν έχουν τύχει ιδιαίτερης αποδοχής από τους ειδικούς ευχρηστίας καθώς δεν υπάρχει καθιερωμένη μέθοδος εφαρμογής τους (Collins, 2002). Οι ειδικοί που θα αποφασίσουν να τις εφαρμόσουν θα πρέπει πρώτα να εμβαθύνουν στις θεμελιώδεις αρχές της Θεωρίας Δραστηριότητας, γεγονός που είναι ιδιαίτερα χρονοβόρο και έχει σαν αποτέλεσμα να τους αποθαρρύνει. Παράλληλα οι μεθοδολογίες αυτές παρόλο που παρέχουν εργαλεία για τη συλλογή των δεδομένων δεν κάνουν σαφή τον τρόπο με τον οποίο η ανάλυση των δεδομένων αυτών μπορεί να συσχετιστεί με τις θεμελιώδεις αρχές της Θεωρίας Δραστηριότητας (Mwanza 2002). Κατά συνέπεια απαιτείται αρκετή επιπλέον προσπάθεια από τους ειδικούς ευχρηστίας προκειμένου να συσχετίσουν τα δεδομένα με τις αρχές της Θεωρίας Δραστηριότητας και να τα ερμηνεύσουν για τους σκοπούς της αξιολόγησης Εθνογραφικές προσεγγίσεις στην αξιολόγηση ευχρηστίας Σύμφωνα με τους Harris & Johnson (Harris & Johnson, 2000), Η Εθνογραφία παρέχει το πορτρέτο ενός πληθυσμού. Μία εθνογραφική μελέτη είναι μία γραπτή περιγραφή της ξεχωριστής κουλτούρας των συνηθειών, των πεποιθήσεων, και συμπεριφοράς βασισμένη σε πληροφορίες που προήλθαν από μελέτη στο φυσικό περιβάλλον του πληθυσμού αυτού. Η ραγδαία ανάπτυξη και εξάπλωση των υπολογιστικών συστημάτων οδήγησε στην ανάγκη αναζήτησης μεθόδων καταγραφής της αλληλεπίδρασης των ανθρώπων με αυτά. Οι πρώτες προσπάθειες να υιοθετηθούν οι εθνογραφικές μέθοδοι από την επιστήμη της Αλληλεπίδρασης Ανθρώπου Υπολογιστή ξεκίνησαν στην δεκαετία του 1980 όταν οι ειδικοί του χώρου συνειδητοποίησαν ότι η αλληλεπίδραση μεταξύ χρήστη και υπολογιστικού συστήματος έχει και κοινωνικοπολιτισμικό χαρακτήρα 52 Διδακτορική διατριβή

53 Κεφάλαιο 2 (Suchman, 1987). Οι ερευνητές της Αλληλεπίδρασης Ανθρώπου Υπολογιστή είχαν αρχίσει να καταλαβαίνουν ότι παρόλο που η ανάλυση της αλληλεπίδρασης μεταξύ χρήστη και υπολογιστή αποτελεί μία σημαντική πηγή για την κατανόηση των φαινομένων, από μόνη της δεν αρκεί. Επιπλέον είχε αρχίσει να γίνεται κατανοητό ότι οι ανθρώπινοι μηχανισμοί επεξεργασίας της πληροφορίας επηρεάζονται εκτός από γνωστικούς παράγοντες, ακόμη τόσο από τους κοινωνικούς όσο και από τους πολιτισμικούς παράγοντες του περιβάλλοντος στο οποίο λαμβάνει χώρα η χρήση των υπολογιστικών συστημάτων (Monk and Gilbert 1995). Για τους λόγους αυτούς θεωρήθηκε ότι οι εθνογραφικές προσεγγίσεις μπορεί να προσφέρουν στους ειδικούς Αλληλεπίδρασης Ανθρώπου Υπολογιστή μια πιο ισχυρή εικόνα της αλληλεπίδρασης χρήστη συστήματος συμπεριλαμβάνοντας και τα κοινωνικοπολιτισμικά χαρακτηριστικά του περιβάλλοντος χρήσης. Οι εθνογραφικές προσεγγίσεις έχουν χρησιμοποιηθεί μέχρι σήμερα κυρίως στα πρώιμα στάδια ανάπτυξης ενός προϊόντος όπου συλλέγονται οι απαιτήσεις για το ποιες είναι οι ανάγκες και τα κίνητρα των χρηστών προκειμένου να χρησιμοποιήσουν ένα νέο σύστημα. Η βιβλιογραφία περιέχει αρκετές περιπτώσεις εθνογραφικών μελετών. Παράδειγμα χρήσης της εθνογραφίας αποτελεί η 18μηνη μελέτη σε ένα κέντρο ελέγχου εναέριας κυκλοφορίας του Λονδίνου προκειμένου να σχεδιαστεί ένα νέο ηλεκτρονικό σύστημα (Hughes et al. 1995, Bentley et al. 1992). Οι εθνογράφοι παρατήρησαν για καιρό τον τρόπο με τον οποίο οι χειριστές εκτελούσαν τις εργασίες που αφορούσαν την καταχώρηση των πτήσεων αλλά και την ασύρματη επικοινωνία με τους συναδέλφους τους. Η πολύμηνη παρατήρηση, είχε στόχο να ληφθούν σχεδιαστικές αποφάσεις τέτοιες, ώστε να αποτραπούν κίνδυνοι στην εναέρια κυκλοφορία. Τελικά, στο σύστημα το οποίο ανέπτυξαν υποστηρίχθηκε η αυτοματοποίηση ενός μόνο μέρους των εργασιών του κέντρου εναέριας κυκλοφορίας ενώ άλλες συνέχισαν να γίνονται μηχανικά για λόγους ασφαλείας. Άλλο παράδειγμα εθνογραφικής μελέτης περιγράφεται στην εργασία των Nardi και Miller (Nardi & Miller, 1990). Η μελέτη αυτή αφορά την παρατήρηση του τρόπου με τον οποίο οι εργαζόμενοι μιας εταιρίας συνεργάζονταν ασύγχρονα προκειμένου να δημιουργήσουν για τους σκοπούς της εργασίας τους κάποια λογιστικά φύλλα. Το αντικείμενο της μελέτης ήταν τόσο η συνεργασία αλλά και τα χαρακτηριστικά των χρηστών, οι οποίοι παρουσίαζαν μεγάλες διαφορές ως προς τις γνώσεις τους αλλά και τις προγραμματιστικές τους ικανότητες. Διδακτορική διατριβή 53

54 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές Η εθνογραφία, ως μέθοδος παρατήρησης δραστηριοτήτων που αφορούν υπολογιστικά συστήματα, εμπλέκει τη συνεργασία ανθρώπων που προέρχονται από διαφορετικά επιστημονικά πεδία. Έτσι από την μία εμπλέκει ανθρωπολόγους και κοινωνιολόγους οι οποίοι είναι ειδικοί να κατανοήσουν την ανθρώπινη συμπεριφορά, και από την άλλη σχεδιαστές συστημάτων οι οποίοι, σχεδιάζοντας νέα συστήματα, υποστηρίζουν αυτή τη συμπεριφορά (Blomberg et al. 1993). Αυτό δημιουργεί πρακτικά προβλήματα καθώς η επικοινωνία των διαφορετικών ειδικοτήτων καθίσταται δυσχερής λόγω της διαφορετικής ορολογίας που χρησιμοποιούν (Randall et al. 2007). Βασικό επίσης χαρακτηριστικό της εθνογραφίας είναι ότι δεν εστιάζει εκ των προτέρων σε συγκεκριμένα χαρακτηριστικά ή τύπους δράσεων. Οι εθνογράφοι δεν γνωρίζουν τι πρόκειται να συναντήσουν ή να βρουν, και αυτό τους οδηγεί να καταγράφουν με αρκετή λεπτομέρεια οτιδήποτε συμβαίνει, με αποτέλεσμα η εθνογραφία να αποτελεί μία μεθοδολογία ιδιαίτερα χρονοβόρα (Randall et al. 2007). Έτσι, οι εθνογράφοι στην προσπάθειά τους να συλλέξουν την απαραίτητη πληροφορία που αφορά το περιβάλλον, τις ανάγκες αλλά και τις εργασιακές πρακτικές των χρηστών χρειάζεται να αφιερώσουν πολλούς μήνες ή ακόμα σε πολλές περιπτώσεις και χρόνια. Συγκεκριμένα οι Doheny Farina και Odell (1985) αναφέρουν ότι λόγω του εύρους του αντικειμένου της, η εθνογραφική έρευνα διαρκεί συνήθως το λιγότερο από 6 μήνες έως και ολόκληρο χρόνο. Παράλληλα η διαδικασία της ερμηνείας των δεδομένων που έχουν συλλέξει, προκειμένου να ενημερώσουν τους σχεδιαστές των συστημάτων επιμηκύνει ακόμη περισσότερο την διαδικασία της εθνογραφικής μελέτης. Ο λόγος για τον οποίο συμβαίνει αυτό είναι ότι τα συλλεχθέντα δεδομένα είναι περισσότερο περιγραφικά παρά κατευθυντήρια (Iqbal, Gatward & James, 2005). Παράλληλα, οι σχεδιαστές των υπολογιστικών συστημάτων δεν έχουν κατορθώσει να επωφεληθούν ιδιαίτερα από αυτές τις μελέτες με κύρια αιτία την έλλειψη ξεκάθαρων μεθόδων για συστηματική ανάλυση των δεδομένων συλλογής τους (Rose et al 1995, Hughes et al 1995, Dourish 2006). Αυτός είναι και ο κυριότερος λόγος για τον οποίο η βιβλιογραφία δεν περιέχει τόσα πολλά παραδείγματα της εθνογραφίας ως μεθοδολογίας αξιολόγησης αλλά αντίθετα αυτή χρησιμοποιείται κυρίως ως μεθοδολογία καθορισμού των απαιτήσεων του υπό σχεδίαση συστήματος. Παρόλα αυτά, στην περίπτωση της αξιολόγησης, έχουν αρχίσει να χρησιμοποιούνται μεθοδολογίες που είναι καθαρά 54 Διδακτορική διατριβή

55 Κεφάλαιο 2 βασισμένες σε αυτή και έχουν ως κύριο χαρακτηριστικό την βραχυχρόνια διάρκειά τους. Για παράδειγμα οι Hughes et al. (1994) πρότειναν την evaluative ethnography ως μία μεθοδολογία εθνογραφικής μελέτης που μπορεί να ελέγξει την αποτελεσματικότητα ήδη σχεδιασμένων συστημάτων σε σύντομο χρονικό διάστημα. Επίσης οι McDonald et al. (2006) πρότειναν την μεθοδολογία αξιολόγησης RCE (Rapid Contextual Evaluation). Η μεθοδολογία αυτή έχει βασιστεί στην μεθοδολογία σχεδίασης συστημάτων RCD (Rapid Contextual Design) (Holtzblatt et al. 2005). Οι μελέτες που βασίζονται στις μεθοδολογίες που προαναφέρθηκαν χαρακτηρίζονται και ως μικρο-εθνογραφικές μελέτες καθώς επιχειρούν να καταλήξουν σε συμπεράσματα μέσα σε σύντομα χρονικά διαστήματα και αποτελούν πολύτιμη συνεισφορά στην κατηγορία μεθοδολογιών αξιολόγησης που έχουν κατηγοριοποιηθεί ως μελέτες πεδίου Μεθοδολογίες αξιολόγησης εμπνευσμένες από τη Θεωρία Δραστηριότητας και Εθνογραφία σε φορητές εφαρμογές Η ενότητα αυτή έχει ως στόχο να διερευνήσει την καταλληλότητα των μεθόδων που περιγράφτηκαν στην προηγούμενη ενότητα για την αξιολόγηση της χρήσης των φορητών εφαρμογών. Μια διάσταση που πρέπει να λάβουμε υπόψη είναι αφενός ο αναμενόμενος χρόνος ζωής ανάπτυξης μιας τυπικής φορητής εφαρμογής και αφετέρου ο απαιτούμενος χρόνος για τις μεθοδολογίες που είναι εμπνευσμένες από τη θεωρία δραστηριότητας και την εθνογραφία. Όπως ήδη περιγράφηκε, παρατηρείται συνεχής και ραγδαία ανάπτυξη της τεχνολογίας σε θέματα φορητών συσκευών και συνδεσιμότητας. Κατά συνέπεια, η τεχνολογία υλικού και λογισμικού που αποτελεί το υπόβαθρο των εφαρμογών αυτών απαξιώνεται πολύ γρήγορα και άρα ο κύκλος ζωής των φορητών εφαρμογών είναι ανάγκη να είναι σχετικά μικρής διάρκειας. Η αξιολόγησή τους συνεπώς επιβάλλεται να γίνεται με ταχύτητα προκειμένου τα συστήματα αυτά να κατορθώσουν να καλύψουν τις ανάγκες των χρηστών τους οι οποίοι λόγω του αυξημένου ανταγωνισμού γίνονται ολοένα και πιο απαιτητικοί. Η μεθοδολογία που στηρίζεται στη Θεωρία Δραστηριότητας για να μπορέσει να καταγράψει τους παράγοντες που αφορούν το περιβάλλον χρήσης αυτών των συστημάτων απαιτεί αρκετά μεγάλο χρονικό διάστημα τόσο για την συλλογή των Διδακτορική διατριβή 55

56 Το πρόβλημα της αλληλεπίδρασης χρηστών με φορητές εφαρμογές δεδομένων παρατήρησης όσο και για την ανάλυσή τους. Τα δεδομένα πρέπει να μελετηθούν σε βάθος και να ερμηνευτούν σύμφωνα με τις θεωρητικές αρχές της, γεγονός που προϋποθέτει ένα μεγάλο χρονικό διάστημα εξοικείωσης των ειδικών ευχρηστίας με αυτές. Σε πολλές όμως περιπτώσεις οι ερευνητές με τεχνολογικό υπόβαθρο όπως είναι οι δημιουργοί των συστημάτων αποθαρρύνονται από την δύσκολη προς αυτούς ορολογία της Θεωρίας Δραστηριότητας (Collins, 2002). Από τη μία λοιπόν η ανάγκη για εκπαίδευση των ειδικών επάνω στις θεωρητικές αρχές της Θεωρίας Δραστηριότητας και από την άλλη η μεγάλη διάρκειά της αποτελεί ανασταλτικό παράγοντα χρήσης της για την αξιολόγηση των συστημάτων αυτών. Ένα άλλο μειονέκτημα της Θεωρίας Δραστηριότητας είναι ότι δεν καθορίζει με σαφή τρόπο πώς η ανάλυση και κατανόηση των δραστηριοτήτων σύμφωνα με τις αρχές της μπορούν να οδηγήσουν την σχεδίαση ενός συστήματος. Με άλλα λόγια δεν παρέχει χειροπιαστά εργαλεία που μπορούν να βοηθήσουν τους ειδικούς της Αλληλεπίδρασης Ανθρώπου Υπολογιστή. Παρόλα αυτά η Θεωρία Δραστηριότητας δεν παύει να είναι ένα πολύ καλό θεωρητικό πλαίσιο για την κατανόηση των ρόλων μεταξύ των χρηστών καθώς και του τρόπου που χρησιμοποιούν διάφορα μέσα για να εκπληρώσουν τις ανάγκες τους. Για το λόγο αυτό θα μπορούσε να εφαρμοστεί με επιτυχία στα αρχικά στάδια ανάπτυξης μιας φορητής εφαρμογής όπου το ζητούμενο είναι αν μπορεί να χρησιμοποιηθεί το σύστημα αυτό σε συγκεκριμένο πλαίσιο και αν ανταποκρίνεται στις ανάγκες των συγκεκριμένων χρηστών βάσει των ρόλων τους και των καθηκόντων τους. Όσο αφορά την εθνογραφία, αποτελεί μία μέθοδο που μπορεί να συλλέξει πάρα πολλά ποιοτικά και ποσοτικά στοιχεία. Όπως έχει ήδη αναφερθεί στην περίπτωση της αξιολόγησης της χρήσης των φορητών εφαρμογών, πρέπει να καταγραφεί ένα μεγάλο πλήθος από παράγοντες που τυχόν επηρεάζουν τη χρήση τους. Η εθνογραφία είναι μία ολιστική μέθοδος παρατήρησης που μπορεί να καταγράψει με λεπτομέρεια τόσο τα προβλήματα που εμφανίζονται κατά την αλληλεπίδραση χρήστη - συστήματος όσο και αυτά που σχετίζονται με το ευρύτερο περιβάλλον χρήσης. Ωστόσο όπως έχει ήδη αναφερθεί η αξιολόγηση των φορητών εφαρμογών πρέπει να δίνει απτά αποτελέσματα σε σχετικά σύντομο χρονικό διάστημα υποδεικνύοντας στους σχεδιαστές τους, ποιες είναι οι αιτίες που καθιστούν προβληματική τη χρήση τους και ποιες μπορεί να είναι οι πιθανές λύσεις. 56 Διδακτορική διατριβή

57 Κεφάλαιο 2 Η εφαρμογή μεθόδων εθνογραφικού χαρακτήρα, έτσι όπως περιγράφηκε στις προηγούμενες ενότητες, φαίνεται ότι είναι ιδιαίτερα χρονοβόρα, γεγονός που αποτελεί ανασταλτικό παράγοντα για την επιλογή της στην αξιολόγηση της χρήσης των φορητών εφαρμογών. Οι σχεδιαστές επιθυμούν σε πολύ μικρό χρονικό διάστημα να ελέγξουν την ορθότητα των σχεδιαστικών τους αποφάσεων, και να προχωρήσουν στις διορθώσεις που πρέπει να γίνουν ώστε να επιτευχθεί βελτιστοποίηση της χρήσης των συστημάτων για συγκεκριμένη ομάδα χρηστών και σε συγκεκριμένο περιβάλλον χρήσης. Γίνεται λοιπόν φανερή η ανάγκη για μελέτες οι οποίες θα μπορούν να τροφοδοτήσουν τον επανασχεδιασμό σε σύντομο χρονικό διάστημα. Όπως περιγράφεται στο επόμενο κεφάλαιο, έχουν προταθεί από πολλούς ερευνητές, μελέτες που εμπλέκουν πραγματικούς χρήστες για την αξιολόγηση της χρήσης φορητών εφαρμογών. Οι μελέτες αυτές σε πολλές περιπτώσεις εμφανίζουν στοιχεία εθνογραφικής προσέγγισης αλλά είναι συνήθως περισσότερο εστιασμένες. Αυτό έχει ως συνέπεια ότι τόσο η διεξαγωγή τους όσο και η ανάλυση των δεδομένων που συλλέγονται κατά τη διάρκειά τους δεν απαιτούν μεγάλα χρονικά διαστήματα, γεγονός που τις καθιστά κατάλληλες για την αξιολόγηση φορητών εφαρμογών. Στο επόμενο κεφάλαιο γίνεται επισκόπηση αυτών των προσεγγίσεων και συζητούνται επιμέρους ζητήματα όπως είναι η επιλογή του χώρου αξιολόγησης, η συλλογή των δεδομένων αξιολόγησης και η ανάλυσή τους. Διδακτορική διατριβή 57

58 58 Διδακτορική διατριβή

59 Κεφάλαιο 3 Κεφάλαιο 3. Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών Στο κεφάλαιο αυτό γίνεται επισκόπηση των πρακτικών που έχουν προταθεί για την αξιολόγηση ευχρηστίας φορητών εφαρμογών. Παράλληλα εξετάζονται κύρια ζητήματα που αφορούν μεταξύ άλλων, την επιλογή του χώρου αξιολόγησης της χρήσης των φορητών εφαρμογών καθώς και τις τεχνικές συλλογής και ανάλυσης των δεδομένων που σχετίζονται με τη χρήση τους. Διδακτορική διατριβή 59

60 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών 3.1 Εισαγωγή Στο προηγούμενο κεφάλαιο παρουσιάστηκαν τυπικές μεθοδολογίες παρατήρησης δραστηριοτήτων που εμπλέκουν φορητές εφαρμογές στο φυσικό χώρο χρήσης τους. Όπως προέκυψε από τη σχετική συζήτηση, παρόλο που οι μεθοδολογίες αυτές μπορούν να συνεισφέρουν αποτελεσματικά στη συλλογή απαιτήσεων για τη σχεδίαση νέων συστημάτων, παρουσιάζουν περιορισμούς, όσον αφορά την απαίτηση να δώσουν ικανοποιητικά αποτελέσματα, σε σχετικά σύντομο χρονικό διάστημα, στην περίπτωση της αξιολόγησης της χρήσης ήδη υπαρχόντων συστημάτων. Η διαδικασία της αξιολόγησης είναι καλό να παράγει σε εύλογο χρόνο προτάσεις προς τους σχεδιαστές των συστημάτων οι οποίοι απαιτούν γρήγορη πληροφόρηση για τυχόν ανάγκες επανασχεδιασμού (Randall et al. 2007). Η συνεχής πρόοδος της τεχνολογίας σε θέματα υπολογιστικής ισχύος, φορητότητας και συνδεσιμότητας οδηγεί στην εμφάνιση διαρκώς νέων συσκευών που υποστηρίζουν ολοένα και περισσότερες εφαρμογές και υπηρεσίες (Berg et al. 2003). Έτσι η ανάγκη για γρήγορη και αποτελεσματική αξιολόγηση γίνεται μεγαλύτερη. Κατά συνέπεια υπάρχει απαίτηση για τεχνικές που εμπλέκουν βραχύβιες και εστιασμένες μελέτες. Στο κεφάλαιο αυτό, γίνεται επισκόπηση της βιβλιογραφίας που αφορά μελέτες αξιολόγησης ευχρηστίας φορητών εφαρμογών και εξετάζονται ζητήματα που σχετίζονται με την επιλογή του χώρου αξιολόγησης καθώς και τη συλλογή των δεδομένων αξιολόγησης. Τέλος αφού συζητούνται οι δυσκολίες ανάλυσης των δεδομένων, περιγράφονται ενδεικτικά εργαλεία ανάλυσης. 3.2 Μελέτες αξιολόγησης της χρήσης των φορητών εφαρμογών - Επισκόπηση βιβλιογραφίας Η πρόσφατη βιβλιογραφία, που αφορά την αξιολόγηση των φορητών εφαρμογών, εστιάζει αφενός στα εγγενή χαρακτηριστικά τους αλλά και χαρακτηριστικά χρήσης τους που σχετίζονται με τη φορητότητα, την κίνηση και τη συνδεσιμότητα (Kjeldskov & Stage 2004; Sá et al. 2008). Παρά το γεγονός ότι υπάρχουν ευρέως αποδεκτές οδηγίες για την αξιολόγηση ευχρηστίας επιτραπέζιων συστημάτων, αυτές δεν είναι άμεσα εφαρμόσιμες στην περίπτωση που μελετάται η χρήση φορητών εφαρμογών (Rogers et al. 2007; Hagen et al. 2006; Zhang & Adipat 2005; Jones 1999; Kjeldskov & Stage 2004). Επισημαίνεται ότι η αξιολόγηση της χρήσης τους πρέπει να καλύπτει όλες τις πιθανές καταστάσεις που θα μπορούσαν να προκύψουν στο φυσικό χώρο 60 Διδακτορική διατριβή

61 Κεφάλαιο 3 εφαρμογής τους (Kim et al. 2002; Kjeldskov & Stage 2004), κάτι που δεν είναι εύκολο να γίνει σε σύντομο χρόνο. Τα κύρια ζητήματα που συζητούνται στην πρόσφατη βιβλιογραφία σχετικά με την αξιολόγηση φορητών εφαρμογών είναι: Η επιλογή του χώρου αξιολόγησης Η συλλογή και ανάλυση των δεδομένων αξιολόγησης Η επιλογή του χώρου αξιολόγησης Τα ιδιαίτερα χαρακτηριστικά των φορητών εφαρμογών έχουν οδηγήσει τα τελευταία χρόνια σε μία ζωηρή αντιπαράθεση μεταξύ των μηχανικών ευχρηστίας, σχετικά με το πού πρέπει να γίνεται η αξιολόγηση της χρήσης τους. Άλλοι υποστηρίζουν ότι τέτοιου είδους μελέτες πρέπει να γίνονται κύρια στο πεδίο, ενώ άλλοι ισχυρίζονται ότι το εργαστήριο είναι επαρκές για μια επιτυχή αξιολόγηση. Οι Zhang και Adipat (Zhang & Adipat, 2005) υποστηρίζουν ότι σε πραγματικές συνθήκες χρήσης, οι χρήστες μπορεί να στέκονται η ακόμα και να κινούνται. Παράλληλα μπορεί να διασχίζουν πολυσύχναστους δρόμους με αρκετό θόρυβο και ακατάλληλες συνθήκες φωτισμού. Όλες αυτές οι δυσκολίες που συναντώνται σε αυθεντικές συνθήκες χρήσης μίας φορητής εφαρμογής δεν μπορούν να παραβλεφθούν κατά τη διαδικασία αξιολόγησής της (Zhang & Adipat, 2005). Με βάση τέτοια επιχειρήματα, πολλοί ερευνητές υποστηρίζουν ότι η αξιολόγηση της χρήσης των φορητών εφαρμογών πρέπει να γίνεται κυρίως στο πεδίο και όχι στο εργαστήριο (Rogers et al. 2007; Nielsen et al. 2006; Brewster 2002). Ο λόγος είναι ότι μόνο οι μελέτες αυτές είναι σε θέση να καταγράψουν τον τρόπο με τον οποίο οι νέες τεχνολογίες χρησιμοποιούνται σε πραγματικά περιβάλλοντα. Παραδείγματα τέτοιων μελετών πεδίου εξετάζουν τον τρόπο με τον οποίο οι επισκέπτες ενός μουσείου αλληλεπιδρούν μέσω φορητών εφαρμογών με τα εκθέματα (Hull et al. 2002), τον τρόπο με τον οποίο οι χρήστες παίζουν ηλεκτρονικά online παιχνίδια καθώς κινούνται σε δημόσιους χώρους ή δρόμους (Bell et al. 2006; Benford et al. 2004), αλλά και τον τρόπο με τον οποίο μια ομάδα βιολόγων καταγράφει και αναλύει περιβαλλοντικά στοιχεία σχετικά με την έρευνά της (Yeh et al. 2006). Διδακτορική διατριβή 61

62 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών Ο Kjeldskov (Kjeldskov & Graham, 2003) κάνοντας εκτεταμένη επισκόπηση των μελετών που εμπλέκουν τη χρήση φορητών εφαρμογών από πραγματικούς χρήστες και που δημοσιεύτηκαν από το 2000 έως το 2002, καταλήγει ότι το 71% αυτών των μελετών πραγματοποιήθηκαν σε εργαστηριακές συνθήκες και μόλις το 19% στο πραγματικό περιβάλλον για το οποίο προορίζονταν οι εφαρμογές. Μία πιο σύγχρονη επισκόπηση αυτών των μελετών βασιζόμενη στις μελέτες που δημοσιεύθηκαν στο Συνέδριο CHI 2008 φαίνεται στον πίνακα 3.1. Ο πίνακας αυτός δείχνει μια πιο μικτή εικόνα στην οποία τόσο οι μελέτες πεδίου όσο και οι εργαστηριακές μελέτες φαίνεται να αποτελούν σημαντική πηγή για την εξαγωγή πολύτιμων συμπερασμάτων σχετικά με την ευχρηστία των φορητών εφαρμογών. Πηγή Σύστημα Τεχνική Αξιολόγησης Bach et al 2008 in-vehicle music player system Εργαστήριο- Πεδίο Bellotti et al 2008 Magitti, city guide application Πεδίο Costabile et al 2008 Riegelsberger et al 2008 Explore, m-learning system that supports middle school students during a visit to an archaeological park use of Google maps in mobile devices Πεδίο Πεδίο Κanis et al 2008 PosiPost Me, mobile application for text messages sharing Πεδίο Wyche et al 2008 Sun Dial, an application that supports Muslims prayer practices. Πεδίο Ghiani et al 2008 location-aware museum guide for blind users Εργαστήριο Jokela et al 2008 Mobile Multimedia presentation Editor Εργαστήριο-Πεδίο Guo et al 2008 interface for control of robot dog Εργαστήριο Leshed et al 2008 in-car GPS navigation system Πεδίο Graf et al 2008 in-vehicle information system Εργαστήριο Chen et al 2008 E-Book Reader system Εργαστήριο 62 Διδακτορική διατριβή

63 Κεφάλαιο 3 Sánchez et al 2008 AudioNature, a pocket pc device for science learning for blind people Εργαστήριο Πίνακας 3.1 Πρόσφατες μελέτες αξιολόγησης ευχρηστίας φορητών εφαρμογών με πραγματικούς χρήστες (CHI 2008) Ωστόσο οι Kjelskov et al. (2004) ισχυρίζονται ότι οι μελέτες πεδίου παρέχουν ελάχιστη επιπλέον αξία στην αξιολόγηση των φορητών εφαρμογών, δεδομένου μάλιστα του κόστους που απαιτείται για την πραγματοποίησή τους. Η συγκεκριμένη μελέτη έχει δεχθεί πολλές κριτικές σχετικά με τον τρόπο που καταλήγει στα παραπάνω αποτελέσματα. Συγκεκριμένα ο Jambon (Jambon 2006) αμφισβητεί τα αποτελέσματα της παραπάνω μελέτης ισχυριζόμενος ότι οι συνθήκες κάτω από τις οποίες έγινε δεν μπορούν να θεωρηθούν οικολογικές λόγω του πολλαπλού εξοπλισμού συλλογής δεδομένων. Παράλληλα οι Nielsen και Rogers (Nielsen et al. 2006; Rogers et al. 2007), στην προσπάθεια να απαντήσουν στο ερώτημα του Kjeldskov, οποίος αναρωτιέται αν αξίζει τον κόπο να βγούμε από το εργαστήριο; (is it worth the hassle?), πραγματοποίησαν συγκριτικές μελέτες πεδίου εργαστηρίου από τις οποίες φαίνεται ότι οι μελέτες πεδίου μπορούν να δώσουν χρήσιμα συμπεράσματα. Παρά το επιπλέον όφελος από τις μελέτες πεδίου, το κόστος τους σε πολλές περιπτώσεις κρίνεται απαγορευτικό (Kjeldskov et al. 2004; Po et al. 2004; Hagen et al. 2006). Επιπλέον ο χρόνος που απαιτείται για την διεξαγωγή τους είναι πολύ μεγάλος, που οφείλεται στο γεγονός ότι σε πολλές περιπτώσεις έγιναν διακοπές που δεν ήταν αναμενόμενες λόγω απρόσμενων συμβάντων (Kaikkonen et al. 2005). Παράλληλα οι τεχνικές συλλογής δεδομένων που χρησιμοποιούνται στο εργαστήριο σε πολλές περιπτώσεις δεν αρκούν εξαιτίας της διαρκούς κίνησης των χρηστών σε ένα περιβάλλον με δυναμικά και μεταβαλλόμενα χαρακτηριστικά. Τέλος, αναφέρονται και περιπτώσεις στις οποίες οι μελέτες λαμβάνουν χώρα σε εργαστηριακούς χώρους που έχουν διαμορφωθεί κατά τέτοιο τρόπο ώστε να προσομοιώνουν τα χαρακτηριστικά του χώρου στον οποίο πρόκειται να χρησιμοποιηθεί η εξεταζόμενη εφαρμογή (π.χ. Beck et al. 2003). Πρόκειται για μια υβριδική τεχνική που προσπαθεί να συνδυάσει τον βέλτιστο έλεγχο και το χαμηλό κόστος που επιτυγχάνεται μέσω των εργαστηριακών μελετών όσο και τον ρεαλισμό που εξασφαλίζεται από τις μελέτες πεδίου. Για παράδειγμα, οι Intille et Διδακτορική διατριβή 63

64 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών al. (2005) περιγράφουν ένα ειδικά τροποποιημένο εργαστήριο με το όνομα Placelab που προσομοιώνει τους χώρους ενός τυπικού σπιτιού και προορίζεται για αξιολόγηση φορητών εφαρμογών που χρησιμοποιούνται σε οικιακά περιβάλλοντα. Παρόμοιες μελέτες με εξομοιωμένους χώρους περιγράφουν οι Baber (Baber & Westmancott 2004) και Koskela (Koskela et al. 2004) Η συλλογή των δεδομένων αξιολόγησης Πολλοί ερευνητές που δραστηριοποιούνται στην αξιολόγηση φορητών εφαρμογών υποδεικνύουν ότι είναι χρήσιμη η αναζήτηση αποτελεσματικών και καινοτόμων τεχνικών συλλογής δεδομένων (Hagen et al. 2006; Isomursu et al. 2004; Kjeldskov & Stage 2004). Τόσο τα δυναμικά χαρακτηριστικά του περιβάλλοντα χώρου όσο και η διαρκής κίνηση των χρηστών θέτουν νέες απαιτήσεις στη συλλογή επαρκούς πληροφορίας σχετικά με τη χρήση των φορητών εφαρμογών (Kjeldskov & Stage 2004; Sá et al. 2008). Σύμφωνα με τις Arhippainen & Tahti (2003) για να αξιολογηθεί η χρήση μιας φορητής εφαρμογής πρέπει να καταγραφούν παράγοντες που σχετίζονται τόσο με τα χαρακτηριστικά των χρηστών και της εφαρμογής όσο και του χώρου, στον οποίο τίθεται σε χρήση. Στην εικόνα 3.1, (από Arhippainen & Tahti 2003), τα χαρακτηριστικά αυτά φαίνονται αναλυτικότερα: ο χρήστης, κοινωνικές παράμετροι, πολιτισμικοί παράμετροι, το πλαίσιο χρήσης, η συσκευή/σύστημα. Η καταγραφή αυτών των επί μέρους χαρακτηριστικών απαιτεί συνδυασμό πολλαπλών τεχνικών συλλογής δεδομένων. Κατά συνέπεια, η παρατήρηση της αλληλεπίδρασης των χρηστών με τις φορητές εφαρμογές, κατά τη διάρκεια μιας μελέτης, είναι μία διαδικασία που χρήζει ιδιαίτερης προσοχής. Απαιτείται ταυτόχρονη και μεθοδική παρατήρηση όλων των οντοτήτων που συγκροτούν το σύστημα στο οποίο διεξάγεται η μελέτη. Αυτό σημαίνει ότι πρέπει να παρατηρούνται ταυτόχρονα οι χρήστες και οι εκφράσεις τους, οι κινήσεις που κάνουν χρησιμοποιώντας το σύστημα, καθώς και ο χώρος στον οποίο κινούνται. Ενώ από τη μία, ένας μικρός αριθμός παρατηρητών δεν είναι αρκετός για να καταγράψει όλα τα παραπάνω, από την άλλη μια μεγάλη ομάδα παρατηρητών μπορεί να επηρεάσει τη συμπεριφορά των χρηστών αλλοιώνοντας το ίδιο το παρατηρούμενο φαινόμενο (Cabrera et al., 2005; Stoica et al., 2005). Συνεπώς, η ανάγκη για κατάλληλα μέσα, τα οποία μπορούν να βοηθήσουν τη συλλογή των δεδομένων προκύπτει επιτακτική. 64 Διδακτορική διατριβή

65 Κεφάλαιο 3 Εικόνα 3.1 Παράγοντες που επηρεάζουν την αξιολόγηση φορητών εφαρμογών σύμφωνα με τους Arhippainen & Tahti (2003) Ο Erickson (Erickson, 1997) υπογραμμίζει ότι η χρήση της τεχνολογίας είναι σημαντική για τη συλλογή πρωτογενών δεδομένων κατά τη διάρκεια μελετών με πραγματικούς χρήστες. Τα σύγχρονα μέσα καταγραφής έχουν οδηγήσει σε πολλαπλασιασμό των μορφών δεδομένων που μπορούν να συλλεχθούν σε μελέτες πεδίου. Για παράδειγμα πληροφορίες παρατήρησης των υποκειμένων (Couper et al ) καθώς αλληλεπιδρούν με φορητές εφαρμογές μπορεί να προέλθει από: - Βιντεοσκόπηση των υποκειμένων. Σε πολλές περιπτώσεις η βιντεοσκόπηση των υποκειμένων παρέχει πληροφορία αρκετά χρήσιμη, αφού ο παρατηρητής μπορεί να δει τις κινήσεις τους καθώς και τις εκφράσεις του προσώπου τους κατά τη διάρκεια αλληλεπίδρασής τους με μία σύγχρονη εφαρμογή. Παράλληλα η βιντεοσκόπηση παρέχει πολύ σημαντική πληροφορία για το χώρο στον οποίο διεξάγεται η μελέτη και πώς αυτός επηρεάζει την αλληλεπίδραση των υποκειμένων με την εφαρμογή. - Ηχογράφηση των υποκειμένων. Η μέθοδος αυτή πραγματοποιείται με πολύ πιο απλά και φτηνά μέσα από τη βιντεοσκόπηση και συνήθως προτιμάται σε περιπτώσεις όπου η βιντεοσκόπηση είναι αδύνατη ή σε περιπτώσεις που η βιντεοσκόπηση θα επηρεάσει τη συμπεριφορά των υποκειμένων. - Φωτογράφηση των υποκειμένων. Σε πολλές περιπτώσεις εκτός από τις παραπάνω μεθόδους καταγραφή των συνθηκών γίνεται με απλή φωτογράφηση των υποκειμένων. Η πληροφορία που προέρχεται από τη μελέτη του φωτογραφικού Διδακτορική διατριβή 65

66 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών υλικού μπορεί να χρησιμοποιηθεί είτε ως κύρια πηγή παρατήρησης αν δεν υπάρχουν άλλα μέσα καταγραφής, είτε ως βοηθητική. - Καταγραφή χειρισμών των υποκειμένων μέσω προγράμματος καταγραφής συμβάντων (log file). Η καταγραφή γίνεται από κατάλληλο λογισμικό που έχει τη δυνατότητα να παράγει δομημένα αρχεία συμβάντων. Τα αρχεία αυτά περιγράφουν σε σειριακή μορφή τις πληκτρολογήσεις και τις επιλογές των υποκειμένων όταν αλληλεπιδρούν με μία εφαρμογή, ταξινομημένες χρονικά. - Καταγραφή της οθόνης του χρήστη είτε μέσω εξωτερικής κάμερας είτε μέσω προγράμματος που αποθηκεύει απευθείας στη χρησιμοποιούμενη συσκευή (screen capture). Πέραν των τεχνικών αυτών συλλογής δεδομένων, οι οποίες στηρίζονται στη μεσολάβηση κάποιου καταγραφικού μέσου, έχουν προταθεί τεχνικές συλλογής για περιπτώσεις κατά τις οποίες η χρήση αυτών των μέσων είναι μη εφαρμόσιμη λόγω φυσικών περιορισμών (στενότητα χώρου) ή κανονισμών που διέπουν τη λειτουργία του χώρου χρήσης (μη επιτρεπτή είσοδος σε παρατηρητές, απαγόρευση χρήσης καταγραφικού εξοπλισμού κλπ). Στις περιπτώσεις αυτές προτείνεται η χρήση μεθόδων σύνταξης αναφορών από τους ίδιους τους χρήστες, όπως είναι τα ημερολόγια χρήσης των εφαρμογών (diaries). Οι Hagen et al. (2006) διακρίνουν τις εξής 3 κατηγορίες μεθόδων συλλογής δεδομένων: - Καταγραφή εκ μέρους των χρηστών (Do it) : Στις τεχνικές που συμπεριλαμβάνονται σε αυτή την κατηγορία δεν υπάρχει παρατηρητής αλλά ο χρήστης αναλαμβάνει να συλλέξει ο ίδιος τα δεδομένα. Για το λόγο αυτό ονομάζονται και τεχνικές αυτοκαταγραφής. Κυριότερη από αυτές τις τεχνικές είναι τα ημερολόγια. Η τεχνική της αυτοκαταγραφής μέσα από ημερολόγια χρήσης έχει χρησιμοποιηθεί τόσο για να συμπληρώσει (Kankainen & Oulasvirta 2002) ή και να υποκαταστήσει την απευθείας παρατήρηση (Grinter & Eldridge 2001). Ωστόσο οι τεχνικές αυτοκαταγραφής αποφεύγονται και χρησιμοποιούνται μονάχα σε περιπτώσεις όπου οι ιδιαιτερότητες του χώρου το απαιτούν. Ο βασικότερος λόγος είναι ότι οι χρήστες δεν αντιλαμβάνονται σε 66 Διδακτορική διατριβή

67 Κεφάλαιο 3 πολλές περιπτώσεις την ύπαρξη ενός προβλήματος και τα δεδομένα τα οποία καταγράφουν είναι αυστηρώς υποκειμενικά και μη αξιόπιστα καθώς λείπει η ματιά του ειδικού ευχρηστίας (Intille et al. 2003; Mark et al. 2001). Παράλληλα ο Jambon (Jambon 2006) ασκώντας κριτική στις τεχνικές αυτοκαταγραφής επισημαίνει ότι στερούνται αυστηρής δομής της καταγραφής των προβλημάτων και κατά συνέπεια δεν μπορούν να χρησιμοποιηθούν για περαιτέρω στατιστική ανάλυση. Τέλος, υπογραμμίζει ότι οι χρήστες σε πολλές περιπτώσεις έχουν ξεχάσει πολλά από τα προβλήματα που συνάντησαν κατά τη χρήση της εφαρμογής στο τέλος της ημέρας που καλούνται να τα καταγράψουν. Παρόλα αυτά οι τεχνικές αυτοκαταγραφής είναι κατάλληλες σε περιπτώσεις κατά τις οποίες δεν επιτρέπεται η συλλογή άλλου τύπου δεδομένων λόγω κανονισμών του χώρου στον οποίο διεξάγεται η μελέτη ή σε περιπτώσεις που η καταγραφή με άλλου είδους μέσα κρίνεται ότι θα επηρεάσει τη συμπεριφορά των χρηστών. - Καταγραφή των συμβάντων χρήσης (Use it): Στις τεχνικές που συμπεριλαμβάνονται σε αυτή την κατηγορία δεν υπάρχει παρατηρητής αλλά τα δεδομένα συλλέγονται μέσω της ίδιας της τεχνολογίας που χρησιμοποιείται. Έτσι βασίζονται σε πολύ μεγάλο βαθμό στη χρησιμοποιούμενη συσκευή που καταγράφει τα συμβάντα σε αρχεία πληκτρολογήσεων (logfiles). Οι τεχνικές αυτού του είδους βοηθούν στην εξαγωγή στατιστικών στοιχείων και στον εντοπισμό επαναλαμβανόμενων δράσεων ενώ ταυτόχρονα δίνουν πολύτιμη πληροφορία για τη συχνότητα και τη διάρκεια τυπικών εργασιών που ενδιαφέρει να μελετηθούν περαιτέρω. Ωστόσο στερούνται ποιοτικής πληροφορίας καθώς δεν μπορούν να ερμηνεύσουν τους λόγους για τους οποίους έγινε ένα συμβάν (Jambon 2006). - Καταγραφή μέσω εξοπλισμού που φέρουν οι χρήστες (Wear it): Στις τεχνικές που συμπεριλαμβάνονται σε αυτή την κατηγορία o χρήστης φέρει ειδικό εξοπλισμό προκειμένου να καταγράψει τη δραστηριότητα. Ο εξοπλισμός περιλαμβάνει μικρόφωνα, μικροσκοπικές κάμερες, ειδικά προσαρμοσμένα καπέλα κλπ. Πρόκειται για τεχνικές οι οποίες κάνουν εκτεταμένη χρήση των βίντεο πηγών παρατήρησης, καταγράφοντας την οθόνη των συσκευών αλλά και το περιβάλλον χρήσης τους. Η χρήση των πηγών αυτών δεδομένων επιτρέπει τη Διδακτορική διατριβή 67

68 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών μελέτη της δραστηριότητας των χρηστών ακριβώς όπως αυτή συνέβη ενώ ταυτόχρονα περιέχει πλούσια ποιοτικά αλλά κα ποσοτικά χαρακτηριστικά της χρήσης των φορητών εφαρμογών. Ο Jambon (Jambon 2006) υποστηρίζει ότι χωρίς βίντεο είναι σχεδόν αδύνατο να κατανοηθεί η συμπεριφορά του χρήστη μιας και λείπει η συνολική εικόνα της δραστηριότητας. Ενδεικτικά αναφέρει ότι μπορούμε να εξηγήσουμε τι και πότε συνέβη κάτι, βασιζόμενοι σε αρχεία καταγραφής συμβάντων, αλλά δεν μπορούμε να απαντήσουμε στο «γιατί συνέβη», κατά συνέπεια δεν μπορούμε να κατανοήσουμε την αλληλεπίδραση χρήστη - συστήματος. Τέλος, η χρήση βίντεο επιτρέπει την επαναληπτική και σχολαστική μελέτη της δραστηριότητας από πολλούς αναλυτές με διαφορετικό επίπεδο εμπειρίας. Η καταγραφή της οθόνης του συστήματος είναι μία ιδιαίτερα σημαντική πηγή δεδομένων και μπορεί να αποκαλύψει πολλά από τα προβλήματα που σχετίζονται με την ευχρηστία του συστήματος. Η βιβλιογραφία περιγράφει αρκετές τεχνικές για την καταγραφή της οθόνης μίας φορητής συσκευής. Οι Kim et al. (2003) κατηγοριοποιούν τις τεχνικές που σχετίζονται με την καταγραφή της οθόνης ανάλογα με το ποιος φέρει τον καταγραφικό εξοπλισμό. Οι κατηγορίες στις οποίες διακρίνουν τις τεχνικές συλλογής δεδομένων παρατήρησης με χρήση βίντεο είναι οι εξής: Εξοπλισμός καταγραφής σταθερός στο χώρο δράσης Σε αυτού του είδους τις τεχνικές ο χρήστης καλείται να κινείται σε συγκεκριμένη περιοχή του χώρου προκειμένου να μην βγει εκτός του πεδίου λήψης της καταγραφικής συσκευής μιας και αυτή είναι σταθερά τοποθετημένη στο χώρο. Οι τεχνικές αυτού του είδους στερούν από τον χρήστη τη δυνατότητα ανεμπόδιστης κίνησης στο χώρο και αδυνατούν να καταγράψουν την υπό κανονικές συνθήκες χρήση των φορητών εφαρμογών. Στην εικόνα 3.2 που ακολουθεί φαίνεται ένα παράδειγμα των οπτικών γωνιών παρατήρησης με σταθερό εξοπλισμό χώρου από την πηγή (Kim et al. 2003). 68 Διδακτορική διατριβή

69 Κεφάλαιο 3 Εικόνα 3.2 Καταγραφή της οθόνης μέσω σταθερού εξοπλισμού του χώρου (Kim et al. 2003) Εξοπλισμός καταγραφής προσαρτημένος στη φορητή συσκευή Σε αυτή την περίπτωση η καταγραφή της οθόνης του συστήματος γίνεται από εξοπλισμό που είναι προσαρτημένος στην ίδια τη συσκευή. Στην εικόνα 3.3.Α φαίνεται ένα παράδειγμα της εφαρμογής τεχνικής αυτού του είδους. Η καταγραφή γίνεται από ασύρματη κάμερα η οποία είναι προσαρτημένη με ειδικό βραχίονα επάνω στη φορητή συσκευή (Betiol, 2005). H εφαρμογή των τεχνικών αυτού του είδους παρουσιάζει προβλήματα σε περιπτώσεις κατά τις οποίες απαιτείται η επικοινωνία της συσκευής με εξωτερικές συσκευές ή αισθητήρες (π.χ. Bluetooth, infrared). Στις περιπτώσεις αυτές απαιτείται η σύνδεση εξωτερικών μονάδων ανάγνωσης (π.χ. RFID readers) που όμως εμποδίζεται από τον εξοπλισμό που φέρει την ασύρματη κάμερα. Στην εικόνα 3.3.Β φαίνεται μία άλλη περίπτωση τεχνικής καταγραφής αυτού του είδους (Kaikkonen et al. 2005), κατά την οποία η καταγραφή γίνεται όπως και στην προηγούμενη περίπτωση, από κάμερα που φέρεται με ειδικό εξοπλισμό στην ίδια τη φορητή συσκευή. Η διαφορά είναι ότι η κάμερα δεν είναι ασύρματη με αποτέλεσμα ο χρήστης να είναι υποχρεωμένος να μεταφέρει, μέσα σε ένα σακίδιο που τοποθετείται στην πλάτη του, και τον καταγραφικό εξοπλισμό. Η τεχνική αυτή εκτός από τα μειονεκτήματα της τεχνικής της εικόνας 3.3.Α έχει επιπλέον το μειονέκτημα του επιπρόσθετου Διδακτορική διατριβή 69

70 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών βάρους που μεταφέρει ο χρήστης, με αποτέλεσμα να επηρεάζεται η φυσική χρήση του συστήματος. Εικόνα 3.3 Α) Καταγραφή της οθόνης μέσω ασύρματης κάμερας προσαρτημένης στη συσκευή (Betiol 2005). Β) καταγραφή της οθόνης μέσω ενσύρματης κάμερας προσαρτημένης στη συσκευή (Kaikkonen et al. 2005). Εξοπλισμός καταγραφής φερόμενος από το χρήστη Σε αυτού του είδους τις τεχνικές η καταγραφή της οθόνης του συστήματος γίνεται από εξοπλισμό που φέρει ο ίδιος ο χρήστης της φορητής συσκευής. Ο εξοπλισμός αυτός συνήθως αποτελείται από ειδικά καπέλα ή γυαλιά που φοράει ο χρήστης καθώς χρησιμοποιεί το σύστημα. Αυτού του είδους οι τεχνικές παρουσιάζουν το μειονέκτημα ότι όταν ο χρήστης εστιάζει σε άλλα αντικείμενα του χώρου, εκτός της φορητής συσκευής, χάνεται η πληροφορία σχετικά με την κατάσταση της φορητής εφαρμογής. Συχνά οι χρήστες των φορητών εφαρμογών στρέφουν την προσοχή τους στο χώρο τον οποίο κινούνται ενώ ταυτόχρονα αλληλεπιδρούν με αυτές. Κατά συνέπεια η εφαρμογή των τεχνικών αυτών δεν μπορεί να καταγράψει πλήρως την αλληλεπίδραση με το σύστημα. Παράλληλα ο εξοπλισμός τον οποίο καλούνται οι χρήστες να φορέσουν είναι σε πολλές περιπτώσεις βαρύς και ενοχλητικός. Ένα πλεονέκτημα της τεχνικής αυτής όμως είναι ότι καταγράφεται το πεδίο παρατήρησης του χρήστη, κάτι που συχνά έχει 70 Διδακτορική διατριβή

71 Κεφάλαιο 3 ενδιαφέρον για την αλληλεπίδραση χρήστη-χώρου. Στην εικόνα 3.4 φαίνονται στιγμιότυπα μελετών που χρησιμοποιούν την τεχνική που μόλις περιγράφηκε. Εικόνα 3.4 Καταγραφή της οθόνης μέσω κάμερας προσαρτημένης στο χρήστη Α) (Kim et al. 2003) Β) (Jameson 2002) Για την καταγραφή της οθόνης του συστήματος κατά τη διάρκεια μικροεθνογραφικών μελετών, οι Kjeldskov και Stage σε αντίθεση με τις προηγούμενες τεχνικές, προτείνουν την τεχνική του κατά πόδας παρατηρητή (shadowing technique) (Kjeldskov & Stage, 2004) στην οποία ο παρατηρητής ακολουθεί στενά τον χρήστη προκειμένου να καταγράψει την οθόνη της συσκευής που χρησιμοποιεί. Στιγμιότυπο από την εφαρμογή αυτής της τεχνικής φαίνεται στην εικόνα 3.5. Η τεχνική αυτή παρουσιάζει αρκετά προβλήματα ιδιαίτερα σε περιπτώσεις όπου απαιτείται η συνεργασία πολλών χρηστών οι οποίοι περιορίζουν το οπτικό πεδίο της καταγραφικής συσκευής. Παρόμοιο πρόβλημα επίσης παρουσιάζεται και σε περιπτώσεις όπου υπάρχει διαρκής κίνηση με αποτέλεσμα οι χρήστες να κρύβουν την οθόνη είτε με τα χέρια είτε με το σώμα τους. Τέλος στα αρνητικά αυτής της τεχνικής πρέπει να προστεθεί και η σκιώδης παρουσία του παρατηρητή ο οποίος στην προσπάθεια του να μην χάσει κανένα στιγμιότυπο της οθόνης μπορεί να παρεμποδίσει τόσο την κίνηση του χρήστη αλλά και να αποσπάσει την προσοχή του. Διδακτορική διατριβή 71

72 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών Εικόνα 3.5 Κατά πόδας τεχνική καταγραφής οθόνης (Kjeldskov & Stage, 2004). Οι τεχνικές που περιγράφηκαν, όσον αφορά την καταγραφή της κατάστασης της διεπιφάνειας χρήσης του συστήματος, παρουσιάζουν επίσης αδυναμία να καταγράψουν την αλληλεπίδραση με την εφαρμογή σε περιπτώσεις όπου η χρήση των φορητών εφαρμογών γίνεται σε χώρους με έντονη φωτεινότητα. Η ανάκλαση του φωτός στις οθόνες των συσκευών εμποδίζει την καταγραφή της διεπιφάνειας του συστήματος με συνέπεια την απώλεια σημαντικής πληροφορίας της χρήσης του συστήματος. Παράλληλα το πρόβλημα στην καταγραφή της οθόνης των φορητών εφαρμογών επιτείνεται λόγω της μικρής γωνίας θέασης που έχουν οι περισσότερες φορητές συσκευές (Εικόνα 3.6). Εικόνα 3.6 Στιγμιότυπα μελέτης πεδίου Αδυναμία ανάγνωσης της οθόνης της φορητής συσκευής λόγω Α) φωτεινότητας περιβάλλοντος Β) μικρής γωνίας θέασης οθόνης (Stott 2006) 72 Διδακτορική διατριβή

73 Κεφάλαιο 3 Κάθε μία από τις τεχνικές καταγραφής δεδομένων συλλέγει διαφορετικού είδους πληροφορία συχνά συμπληρωματική και πολύτιμη για την κατανόηση της χρήσης ενός συστήματος σε φυσικό περιβάλλον. Ωστόσο όπως φάνηκε δεν είναι απαλλαγμένες από προβλήματα μιας και παρουσιάζουν πολλές αδυναμίες. 3.3 Ζητήματα ανάλυσης δεδομένων αξιολόγησης Οι τεχνικές καταγραφής που περιγράφηκαν στην ενότητα 3.2 έχουν ως αποτέλεσμα την παραγωγή μεγάλου όγκου συχνά ετερογενών δεδομένων. Έτσι μετά το πέρας της διεξαγωγής μελετών πεδίου, ο αναλυτής έχει στη διάθεσή του ένα μεγάλο όγκο αρχείων δομημένης και μη πληροφορίας. Αρχεία δομημένης πληροφορίας o Αρχεία καταγραφής συμβάντων (logfiles) Μη δομημένα αρχεία o Αρχεία βίντεο o Αρχεία εικόνων o Αρχεία κειμένου Όλα τα δεδομένα που προέρχονται από την παρατήρηση πρέπει να μελετηθούν σε βάθος από τους ερευνητές έτσι ώστε να εξάγουν πολύτιμα συμπεράσματα για τη συμπεριφορά των εμπλεκόμενων υποκειμένων, να εντοπίσουν τυχόν προβλήματα ευχρηστίας των εφαρμογών και χρήσης των υπολογιστικών συσκευών και να προτείνουν λύσεις ή επανασχεδιασμό των προσεγγίσεων που έχουν ακολουθηθεί. Η διαδικασία της μελέτης και ανάλυσης των δεδομένων που προέρχονται από μελέτες πεδίου είναι αρκετά επίπονη και κουραστική δεδομένου του μεγάλου όγκου των στοιχείων που πρέπει να επεξεργαστούν και να συσχετιστούν μεταξύ τους (Fiotakis et al. 2004). Οι ερευνητές χρειάζεται να αφιερώσουν πολύ μεγάλο χρόνο μπροστά από πολλαπλές οθόνες και τεράστιες στοίβες σημειώσεων προκειμένου να μελετήσουν τα δεδομένα που έχουν συλλέξει. Παρόλα αυτά διατρέχουν τον κίνδυνο να αγνοήσουν στοιχεία τα οποία κρύβουν χρήσιμες πληροφορίες και γνώση. Προϋπόθεση για την επιτυχή ανάλυση του συλλεγμένου υλικού είναι η αποτελεσματική διαχείριση των δεδομένων (Ιωσηφίδης 2003). Σύμφωνα με τους Miles και Huberman (1994) η διαχείριση περιλαμβάνει τη συστηματική και συνεπή Διδακτορική διατριβή 73

74 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών διαδικασία της συλλογής, αποθήκευσης (storage) και ανάκτησης (retrieval) του υλικού που προέρχεται από την παρατήρηση. Παράλληλα πέρα από την αποτελεσματική διαχείριση, η ανάλυση των δεδομένων είναι μία δραστηριότητα η οποία περιλαμβάνει τις διαδικασίες επιλογής, κατηγοριοποίησης, νοηματοδότησης και ερμηνείας τους προκειμένου να προκύψουν συμπεράσματα σχετικά με την χρήση των υπό εξέταση συστημάτων και εφαρμογών. Στο σημείο αυτό αρχίζει να διαφαίνεται η ανάγκη για ανάπτυξη εργαλείων που υποστηρίζουν τη διαδικασία της ανάλυσης δεδομένων που προέρχονται από μελέτες αξιολόγησης ευχρηστίας που εμπλέκουν παρατήρηση υποκειμένων. 3.4 Εργαλεία ανάλυσης δεδομένων παρατήρησης Οι απαιτήσεις επεξεργασίας και ανάλυσης των δεδομένων που προέρχονται από μελέτες αξιολόγησης ευχρηστίας έχουν οδηγήσει στη δημιουργία πολλών σχετικών εργαλείων ανάλυσης. Πολλά από αυτά υποστηρίζουν την ανάλυση της αλληλεπίδρασης και της συνεργασίας (Campbell 1997) μεταξύ των μελών της εξεταζόμενης κοινότητας σύμφωνα με τις εθνογραφικές και τις φαινομενολογικές παραδόσεις. Τα εργαλεία αυτά χειρίζονται αποτελεσματικά τα αρχεία βίντεο και ήχου συγχρονίζοντάς τα με τα αρχεία κειμένου που περιέχουν τις χειρόγραφες σημειώσεις του παρατηρητή (Fiotakis et al. 2004; Stoica et al. 2007). Ο συνδυασμός αυτός των πηγών δημιουργεί ένα πλούσιο σε πληροφορία σύνολο δεδομένων που περιέχει ποσοτικές αλλά και ποιοτικές περιγραφές της παρατηρούμενης δραστηριότητας. Η χρήση των εργαλείων αυτών επιτρέπει την παρατήρηση των συνδυασμένων δεδομένων από διαφορετικούς αναλυτές με διαφορετικό βαθμό εμπειρίας, αυξάνοντας έτσι την αξιοπιστία των αποτελεσμάτων της ανάλυσης. Στις παραγράφους που ακολουθούν περιγράφονται ενδεικτικά τέτοια εργαλεία ανάλυσης. Το εργαλείο NVivo To εργαλείο NVivo 1 (QSR, 2006; Rich & Patashnick, 2002; Welsh, 2002) αποτελεί ένα σύνθετο υπολογιστικό περιβάλλον, ιδιαίτερα χρήσιμο στην ανάλυση ποιοτικών δεδομένων όπως για παράδειγμα προϊόντων εθνογραφικής παρατήρησης, Διδακτορική διατριβή

75 Κεφάλαιο 3 συνεντεύξεων, διαλόγων και γραπτών κειμένων. Η χρησιμότητά του έγκειται στο ότι παρέχει στον ερευνητή μία σειρά από πρακτικά εργαλεία για τη διαχείριση της πολυπλοκότητας των ποιοτικών δεδομένων. Συγκεκριμένα, υποστηρίζει τον ερευνητή (α) στην κωδικοποίηση των δεδομένων του, υποστηρίζοντας τη δημιουργία δυναμικού σχήματος κωδικοποίησης, (β) στην οργάνωσή τους, επιτρέποντας τη δημιουργία χαρακτηριστικών, ομάδων και συνδέσεων, (γ) στη δημιουργία μοντέλων που προκύπτουν από την ανάλυση, τα οποία μπορούν να λάβουν διάφορες μορφές και (δ) στη διατύπωση απαντήσεων σε συγκεκριμένα, επιμέρους ερωτήματα και πιθανώς στην ανάδυση νέων ερωτημάτων μέσα από τις απαντήσεις αυτές ( αναζητήσεις ). Το Nvivo χρησιμοποιείται κυρίως για ποιοτική ανάλυση που βασίζεται σε σημειώσεις και αρχεία κειμένου. Ωστόσο μπορεί να χρησιμοποιηθεί και για την οργάνωση και τη διαχείριση πολυμεσικού υλικού, χωρίς όμως δυνατότητα άμεσου χειρισμού του. Τα πολυμεσικά αρχεία απλά αποτελούν εξωτερικές συνδέσεις σε ολόκληρα τμήματα κειμένου και δεν είναι δυνατός ο χειρισμός τους από το περιβάλλον του Nvivo. Εικόνα 3.7. Στιγμιότυπο από το περιβάλλον ανάλυσης NVivo Συνοπτικά το NVivo μπορεί να χρησιμοποιηθεί για: Εισαγωγή, δημιουργία και επεξεργασία αρχείων κειμένου (πχ. διαλόγων μεταξύ υποκειμένων, συνεντεύξεων, σχολίων χρηστών όταν χρησιμοποιούνται πρωτόκολλα ομιλούντων υποκειμένων, σχολίων παρατηρητών κλπ). Διδακτορική διατριβή 75

76 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών Κωδικοποίηση, επισημείωση (annotation) και σχολιασμό των κειμένων αυτών. Συσχέτιση κειμένων με εξωτερικά αντικείμενα παρατήρησης όπως εικόνες, ολόκληρα αρχεία βίντεο αλλά και σχετικές ιστοσελίδες. Προβολή και αναζήτηση, ώστε να διαπιστωθούν και να δημιουργηθούν σχέσεις μεταξύ τμημάτων του κειμένου. Δημιουργία γραφικών μοντέλων συσχέτισης εννοιών που προκύπτων και τα οποία τυχόν να θέλει να δημιουργήσει ο ερευνητής κατά την ανάλυσή του. Στην εικόνα 3.7 φαίνεται ένα στιγμιότυπο από την χρήση του περιβάλλοντος του εργαλείου ΝVivo για την αποτύπωση σχολείων σε εικόνες παρατήρησης. Το εργαλείο Observer XT Το εργαλείο ανάλυσης Observer XT 2 (Noldus, 2006) αποτελεί ένα περιβάλλον που επιτρέπει όχι μόνο την ανάλυση των δεδομένων παρατήρησης πεδίου, αλλά και την ίδια τη συλλογή τους, παρέχοντας τη δυνατότητα καταγραφής της συμπεριφοράς και των κινήσεων των υποκειμένων. Το Observer κάνει εκτεταμένη χρήση πολυμεσικών αρχείων τα οποία συγχρονίζονται με αρχεία καταγραφής συμβάντων. Το γεγονός, που αποτελεί ένα από τα μεγαλύτερα πλεονεκτήματα του, είναι το ότι επιτρέπει την εισαγωγή πολλών πολυμεσικών πηγών παρατήρησης για κάθε αντικείμενο μελέτης. Παράλληλα είναι το μοναδικό εργαλείο που επιτρέπει την ανάλυση της αλληλεπίδρασης χρήστη συστήματος βασιζόμενο σε δεδομένα που αφορούν τα συναισθήματα και τις σωματικές λειτουργίες του χρήστη, όπως είναι οι καρδιακοί του παλμοί. Εικόνα 3.8. Είδη πολυμεσικών πηγών παρατήρησης που υποστηρίζονται από το Observer Παράλληλα υποστηρίζει τη δημιουργία πολυεπίπεδου σχήματος κωδικοποίησης που επιτρέπει την αναλυτική κατηγοριοποίηση των ενεργειών των υποκειμένων και Διδακτορική διατριβή

77 Κεφάλαιο 3 την άμεση πρόσβαση σε αυτές για περαιτέρω μελέτη. Τέλος το Observer παρέχει τη δυνατότητα στατιστικής ανάλυσης, επιτρέποντας στον αναλυτή να παράγει γραφική απεικόνιση των παρατηρήσεων που αφορούν τη συμπεριφορά των υποκειμένων. Έτσι για παράδειγμα ο αναλυτής μπορεί να αναζητήσει με πολύ εύκολο τρόπο και να εντοπίσει τα σημεία που ο χρήστης παρουσιάζει μία επαναλαμβανόμενη συμπεριφορά, όπως το πού κάνει λάθη, το που εμφανίζονται παρανοήσεις και πολλά άλλα αντίστοιχα συμβάντα. Στην εικόνα 3.9 που ακολουθεί φαίνεται ένα στιγμιότυπο ανάλυσης δεδομένων καταγραφής και βίντεο, χρησιμοποιώντας το εργαλείο Observer XT. Εικόνα 3.9. Στιγμιότυπο ανάλυσης με χρήση του Observer Το εργαλείο HyperResearch Το HyperResearch 3 (Hesse-Biber, Dupuis, & Kinder, 1991; ResearchWare, 2006) είναι ένα εργαλείο ποιοτικής ανάλυσης δεδομένων, σχεδιασμένο κύρια για την ανάλυση μη δομημένων δεδομένων πολλαπλών τύπων για την κατανόηση των παρατηρούμενων δραστηριοτήτων. Σε αντίθεση με το εργαλείο Observer, το HyperResearch δεν υποστηρίζει τη δυνατότητα καταγραφής κατά τη διάρκεια της παρατήρησης, αλλά υποστηρίζει μόνο τη δυνατότητα της ανάλυσης μετά το πέρας της παρατήρησης. Για το λόγο αυτό η εγγραφή των βίντεο και ήχων απαιτεί τη χρήση άλλων συσκευών προς αυτό το σκοπό. Ο αναλυτής μπορεί χρησιμοποιώντας το HyperResearch να εισάγει αρχεία κειμένου, ήχου, βίντεο και εικόνων και να 3 Διδακτορική διατριβή 77

78 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών προχωρήσει σε ανάλυσή τους. Μία από τις αδυναμίες του HyperResearch είναι ότι δεν επιτρέπει την ενσωμάτωση πολλών διαφορετικών πολυμεσικών πηγών σε ένα συγκεκριμένο αντικείμενο μελέτης. Αυτό προκαλεί δυσκολίες στην ανάλυση σε περιπτώσεις όπου η παρατήρηση επιβάλει τη χρήση πολλών διαφορετικών μέσων καταγραφής για πληρέστερη περιγραφή της δραστηριότητας των χρηστών με τις εξεταζόμενες εφαρμογές. Το HyperResearch επιτρέπει τη δημιουργία ενός επίπεδου σχήματος κωδικοποίησης. Οι αναλυτές μπορούν να συσχετίσουν ολόκληρα κομμάτια κειμένου, ήχου και βίντεο με διάφορα είδη κατηγοριών τις οποίες έχουν ορίσει. Στην εικόνα που ακολουθεί φαίνεται ένα παράδειγμα από μία λίστα κατηγοριών έτσι όπως ορίζονται στο περιβάλλον του HyperResearch. Εικόνα Code List Editor. Τέλος το HyperResearch επιτρέπει τη δημιουργία γραφικών αναπαραστάσεων που απεικονίζουν τυχόν συσχετίσεις μεταξύ των κατηγοριών καθώς και την εξαγωγή στατιστικών αποτελεσμάτων της συχνότητας εμφάνισης τους. Το εργαλείο Transana Το Transana 4 είναι ένα εργαλείο ποιοτικής ανάλυσης που αναπτύχθηκε από το Wisconsin Center for Education Research με στόχο να βοηθήσει τους ερευνητές να οργανώσουν τα δεδομένα παρατήρησης σε ξεχωριστές συλλογές. Το ιδιαίτερο χαρακτηριστικό του είναι ότι δεν έχει τη δυνατότητα να χειρίζεται δομημένα αρχεία Διδακτορική διατριβή

79 Κεφάλαιο 3 παρατήρησης (π.χ logfile), αλλά επιτρέπει την οργάνωση και συσχέτιση πηγών βίντεο, ήχου και αρχείων κειμένου με καταγεγραμμένες παρατηρήσεις των αναλυτών. Ο αναλυτής μπορεί να συσχετίσει συγκεκριμένα τμήματα κειμένου που αφορούν δικές του παρατηρήσεις ή τμήμα διαλόγου των υποκειμένων με συγκεκριμένα κομμάτια του βίντεο και να τα αναπαράγει. Είναι ένα εργαλείο που δεν παρέχει τη δυνατότητα καταγραφής της παρατηρούμενης δραστηριότητας αλλά μόνο ανάλυσης αυτής μέσω των συσχετίσεων που προαναφέρθηκαν. Παράλληλα υποστηρίζει τη δημιουργία ενός επίπεδου σχήματος κωδικοποίησης. Εικόνα Στιγμιότυπο ανάλυσης με χρήση του Transana Τέλος, σε αντίθεση με τα προηγούμενα εργαλεία ανάλυσης παρέχει περιορισμένες δυνατότητες εξαγωγής στατιστικών στοιχείων και γραφικών απεικονίσεων της παρατηρούμενης δραστηριότητας. Το Transana όμως σε σχέση με τα εργαλεία που προαναφέρθηκαν υποστηρίζει την ταυτόχρονη ανάλυση από πολλούς αναλυτές. Στην εικόνα 3.11 φαίνεται ένα στιγμιότυπο της χρήσης του Transana. Το εργαλείο Replayer Το Replayer (Tennent & Chalmers, 2005) σε αντίθεση με τα προηγούμενα εργαλεία είναι ένα πειραματικό πρωτότυπο και όχι ένα προϊόν. Αποτελεί μια πλατφόρμα τόσο για τη συλλογή των δεδομένων κατά τη διάρκεια της παρατήρησης όσο και για την ανάλυσή τους. Υποστηρίζει την ποιοτική και ποσοτική ανάλυση τόσο δομημένων (Log files) όσο και μη δομημένων δεδομένων (αρχεία βίντεο και ήχου). Παράλληλα υποστηρίζει την ενσωμάτωση και ταυτόχρονη προβολή πολλών Διδακτορική διατριβή 79

80 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών πολυμεσικών αρχείων γεγονός που είναι χρήσιμο σε περιπτώσεις όπου απαιτείται χρήση πολλαπλών πηγών παρατήρησης. Η κατηγοριοποίηση των δεδομένων γίνεται σύμφωνα με ένα δυναμικό σχήμα ανάλυσης που ορίζεται κατά περίπτωση από τους αναλυτές της παρατηρούμενης δραστηριότητας. Το σχήμα ανάλυσης είναι επίπεδο και δεν υποστηρίζεται η περαιτέρω ταξινόμηση σε υποκατηγορίες των αρχικών κατηγοριών. Το χαρακτηριστικό που διαφοροποιεί το Replayer έναντι των άλλων εργαλείων είναι ότι δίνει ιδιαίτερη βαρύτητα στη θέση που έχουν οι χρήστες καθώς αλληλεπιδρούν με μία συσκευή. Μέσω ειδικών πομπών και δεκτών τεχνολογίας GPS καταγράφεται η θέση του χρήστη και σχηματίζεται η πορεία που ακολούθησε στο χρόνο της πειραματικής διαδικασίας. Εικόνα Στιγμιότυπο ανάλυσης με χρήση του Replayer Τέλος το Replayer υποστηρίζει και γραφικά την ανάλυση της δραστηριότητας μέσω πολλαπλών οπτικών αναπαραστάσεων. Στην εικόνα 3.12 φαίνεται ένα στιγμιότυπο ανάλυσης χρησιμοποιώντας το εργαλείο Replayer. Το εργαλείο Morae Το εργαλείο Morae 5 της εταιρίας Techsmith είναι σήμερα, ίσως το πιο διαδεδομένο εργαλείο ανάλυσης ευχρηστίας. Περιλαμβάνει τρία επί μέρους υποσυστήματα: το Recorder που είναι υπεύθυνο για την καταγραφή της συμπεριφοράς των χρηστών σε μελέτες αξιολόγησης, το Observer που είναι υπεύθυνο για την παρακολούθηση Διδακτορική διατριβή

81 Κεφάλαιο 3 και επισημείωση δεδομένων παρατήρησης σε πραγματικό χρόνο και το υποσύστημα Manager που είναι το εργαλείο ανάλυσης των δεδομένων παρατήρησης. Στην εικόνα 3.13 φαίνεται μια τυπική όψη του εργαλείου ανάλυσης Morae Manager. Εικόνα Στιγμιότυπο του εργαλείου ανάλυσης με Morae Μέσω του timeline που φαίνεται στην εικόνα 3.13 είναι δυνατή η επισημείωση ενός βίντεο καταγραφής και ορισμού της αρχής και του τέλους μιας εργασίας (task). Στην εικόνα 3.14 φαίνεται μεγέθυνση του πάνελ αναζήτησης μεταξύ των αρχείων καταγραφής και των εργασιών που έχουν ορισθεί με διάφορα κριτήρια. Εικόνα 3.14 Search panel: Αναζήτηση μεταξύ των εργασιών και των αρχείων καταγραφής Επιπροσθέτως είναι δυνατή η δημιουργία γραφημάτων με βάση τις εργασίες, και τη μέση διάρκειά τους για ένα πλήθος χρηστών. Επίσης με χρήση των φίλτρων της Διδακτορική διατριβή 81

82 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών εικόνας 3.14 είναι δυνατή η εξαγωγή των κύριων στιγμιότυπων μιας μελέτης σε μορφοποίηση βίντεο, αρχείου παρουσίασης PowerPoint κλπ. Συγκριτική αξιολόγηση των εργαλείων ανάλυσης Στις προηγούμενες ενότητες περιγράφηκαν τα κύρια χαρακτηριστικά τυπικών εργαλείων ανάλυσης δεδομένων παρατήρησης χρηστών. Οι Weitzman και Miles (από Berkowitz 1997) επισημαίνουν ότι κριτήρια για την επιλογή του καταλληλότερου εργαλείου ανάλυσης αποτελούν ο όγκος και ο τύπος των δεδομένων καθώς και οι υποστηριζόμενες από το εργαλείο λειτουργίες παρουσίασης και ανάλυσης αυτών. Στην περίπτωση της αξιολόγησης των φορητών εφαρμογών, τα ιδιαίτερα χαρακτηριστικά τόσο των συσκευών όσο και του μεταβαλλόμενου περιβάλλοντος μέσα στο οποίο αυτές χρησιμοποιούνται, επιβάλλουν την εκτεταμένη μελέτη των πολυμεσικών αρχείων που αποτυπώνουν τη συνολική δραστηριότητα. Υπάρχει λοιπόν η ανάγκη τα εργαλεία ανάλυσης να ενοποιούν και να συνδυάζουν τα συλλεχθέντα δεδομένα κατά τέτοιο τρόπο ώστε ο αναλυτής να μπορεί να πλοηγηθεί στην καταγεγραμμένη δραστηριότητα από πολλές οπτικές γωνίες. Αυτό σημαίνει ότι ο αναλυτής θα πρέπει να μπορεί να έχει ταυτόχρονη και ευέλικτη πρόσβαση τόσο στην αλληλεπίδραση χρήστη συστήματος όσο και στην αλληλεπίδραση του χρήστη με τον περιβάλλοντα χώρο. Η ανάγκη αυτή επιβάλλει την απαίτηση για ταυτόχρονη προβολή πολλαπλών πηγών δεδομένων που αντιπροσωπεύουν διαφορετικές οπτικές γωνίες παρατήρησης από τα εργαλεία ανάλυσης. Παράλληλα υπάρχει απαίτηση για τη δυνατότητα κωδικοποίησης της παρατηρούμενης πληροφορίας καθώς και εξαγωγής συγκεντρωτικών αποτελεσμάτων από πολλαπλές διαφορετικές παρατηρήσεις που αφορούν το ίδιο αντικείμενο μελέτης. Ο τεράστιος όγκος των δεδομένων που προέρχονται από την παρατήρηση της χρήσης των φορητών εφαρμογών οδηγεί και στην ανάγκη της τμηματοποίησης της παρατηρούμενης δραστηριότητας. Συγκεκριμένα υπάρχει ανάγκη για την κατάτμηση και ταξινόμηση της πηγαίας πληροφορίας σε επιμέρους επεισόδια τα οποία σχετίζονται είτε με τους στόχους που τίθενται από τους χρήστες είτε με τα τμήματα της δραστηριότητας στα οποία πρέπει να δοθεί περισσότερη έμφαση από τους αναλυτές. 82 Διδακτορική διατριβή

83 Κεφάλαιο 3 Από τα εργαλεία που περιγράφηκαν στις προηγούμενες παραγράφους, όλα, εκτός από το Nvivo, κάνουν εκτεταμένη χρήση των αρχείων βίντεο. Παράλληλα μόνο το Replayer, Morae και Observer XT υποστηρίζουν τον συγχρονισμό και την ταυτόχρονη προβολή πολλαπλών πολυμεσικών πηγών παρατήρησης. Το Nvivo χρησιμοποιεί κυρίως αρχεία κειμένου επιτρέποντας στους αναλυτές να συνδέσουν τμήματα του κειμένου με εξωτερικά αρχεία βίντεο. Αυτό αποτελεί ένα μειονέκτημα καθώς δεν δίνεται η δυνατότητα άμεσου χειρισμού και πλοήγησης στην παρατηρούμενη δραστηριότητα. Από την άλλη πλευρά τα εργαλεία HyperResearch και Transana, παρά το γεγονός ότι επιτρέπουν απευθείας χειρισμό του βίντεο δεν δίνουν τη δυνατότητα συγχρονισμού και ταυτόχρονης προβολής πολλαπλών τέτοιων πηγών. Αυτό έχει το μειονέκτημα ότι οι ερευνητές δε μπορούν να δουν ταυτόχρονα την αλληλεπίδραση χρήστη συστήματος σε συνδυασμό με τις επιδράσεις από τον περιβάλλοντα χώρο. Λόγω των παραπάνω τα εργαλεία Nvivo, HyperResearch και Transana δεν μπορούν να ανταποκριθούν πλήρως στις απαιτήσεις μελέτης της χρήσης φορητών εφαρμογών. Το εργαλείο Replayer επιτρέπει την ταυτόχρονη προβολή πολλαπλών πηγών βίντεο καθώς και την οπτικοποίηση των ήδη σχολιασμένων δεδομένων μέσα από διαφορετικές γραφικές απεικονίσεις. Υστερεί όμως στο ότι δεν επιτρέπει την ανάλυση δεδομένων που προέρχονται από πολλαπλές ομάδες χρηστών. Αυτό έχει σαν αποτέλεσμα να μην μπορεί να βοηθήσει τους αναλυτές να οδηγηθούν σε συγκεντρωτικά αποτελέσματα που θα επέτρεπαν τη γενίκευση των συμπερασμάτων για τη χρήση ενός συστήματος. Τα εργαλεία Observer ΧΤ και Morae επιτρέπουν την ταυτόχρονη προβολή πολλαπλών πηγών δεδομένων, τη γραφική τους αναπαράσταση, καθώς και την εξαγωγή συγκεντρωτικών αποτελεσμάτων από μελέτες που εμπλέκουν πολυάριθμους χρήστες. Παρόλα αυτά η μεγάλη τους αδυναμία, που αποτελεί επίσης και αδυναμία όλων των άλλων εργαλείων, έγκειται στο γεγονός ότι δεν παρέχουν τη δυνατότητα παρακολούθησης και ανάλυσης της πληροφορίας ανά επεισόδια (τμηματοποιημένη ανάλυση) στα οποία μπορούν να μελετηθούν περαιτέρω οι αδυναμίες του συστήματος και τα προβλήματα που συναντούν οι χρήστες. Στον πίνακα που ακολουθεί συνοψίζονται τα χαρακτηριστικά των εργαλείων ανάλυσης. Διδακτορική διατριβή 83

84 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών Πολλαπλές πηγές πολυμεσικών δεδομένων Υποστήριξη αρχείων δομημένων δεδομένων Κατηγορική ταξινόμηση (κωδικοποίηση) Εξαγωγή συγκεντρωτικών αποτελεσμάτων Δυνατότητα ανάλυσης ανά επεισόδια Δυνατότητα σύγχρονης συνεργατικής ανάλυσης Nvivo Observer HyperResearch Transana Replayer Morae 3.5 Συμπεράσματα Πίνακας 3.2 Χαρακτηριστικά εργαλείων ανάλυσης Στο κεφάλαιο αυτό έγινε επισκόπηση προτεινόμενων μεθόδων για αξιολόγηση ευχρηστίας των φορητών εφαρμογών. Όπως προκύπτει από τη συζήτηση, τα ιδιαίτερα χαρακτηριστικά των φορητών συσκευών αλλά και τα χαρακτηριστικά χρήσης των φορητών εφαρμογών έχουν εγείρει νέα ζητήματα πέραν αυτών των επιτραπέζιων συστημάτων. Τα ζητήματα αυτά περιγράφηκαν εκτενώς και αφορούν την επιλογή του χώρου αξιολόγησης καθώς και την επιλογή των δεδομένων καταγραφής. Όπως αναφέρθηκε, τόσο οι εργαστηριακές μελέτες όσο και οι μελέτες πεδίου παρουσιάζουν χαρακτηριστικά που τις καθιστούν πολύτιμες στην αξιολόγηση των φορητών εφαρμογών. Συγκεντρώνουν πολλαπλά δεδομένα των οποίων η περαιτέρω ανάλυση και μελέτη μπορεί να οδηγήσει σε προτάσεις για καλύτερη σχεδίαση των αξιολογούμενων εφαρμογών. Ωστόσο οι πόροι και ο χρόνος που απαιτείται κατά τη διεξαγωγή τους διαφέρουν σημαντικά. Παράλληλα διαφορές εντοπίζονται και στην ποιότητα των αποτελεσμάτων τους και που σχετίζονται κυρίως με τις απαιτήσεις για συστηματική και επιτυχή καταγραφή της δραστηριότητας των χρηστών καθώς αλληλεπιδρούν με τις εφαρμογές, ειδικά στην 84 Διδακτορική διατριβή

85 Κεφάλαιο 3 περίπτωση των μελετών πεδίου. Οι απαιτήσεις αυτές όπως έγινε φανερό έχουν προκαλέσει την αναζήτηση εναλλακτικών μεθόδων καταγραφής ώστε να επιτυγχάνεται επαρκής έλεγχος και να εξασφαλίζεται υψηλότερη ποιότητα δεδομένων. Ωστόσο οι μέθοδοι συλλογής των δεδομένων φάνηκε ότι παρουσιάζουν πολλές αδυναμίες. Η καταγραφή της οθόνης της φορητής συσκευής που αποτελεί και την κυριότερη πηγή δεδομένων στην περίπτωση της χρήσης φορητών συσκευών, παρουσιάζει πολλά προβλήματα όπως συζητήθηκε στην ενότητα 3.2.2, λόγω τόσο της διαρκούς κίνησης του χρήστη όσο και της υπάρχουσας υποστηρικτικής τεχνολογίας. Από την παρουσίαση των προτάσεων στην πρόσφατη βιβλιογραφία, προκύπτει ότι απαιτείται περισσότερη εμπειρική έρευνα για να προκύψουν συστηματικές προδιαγραφές και τυποποίηση των μελετών αξιολόγησης ευχρηστίας φορητών εφαρμογών, κάτι που ήδη υπάρχει στην αξιολόγηση εφαρμογών επιτραπέζιων συστημάτων. Προκύπτει ακόμη η ανάγκη για την ύπαρξη μίας συστηματικής μεθοδολογίας αξιολόγησης της ευχρηστίας των φορητών εφαρμογών, που να μπορεί να οδηγήσει με επιτυχία τον επανασχεδιασμό τους. Παράλληλα υπάρχει ανάγκη για τη δημιουργία εργαλείων που αναλύουν δεδομένα από μελέτες που εμπλέκουν πραγματικούς χρήστες. Όπως φάνηκε, οι ερευνητές που διεξάγουν τέτοιες μελέτες βρίσκονται μπροστά από πολλά δεδομένα που στερούνται τυποποίησης και δυσχεραίνουν το έργο της ανάλυσης. Τα υπάρχοντα εργαλεία που περιγράφηκαν στην ενότητα 3.4 δεν μπορούν να υποστηρίξουν με επάρκεια τη διαδικασία της ανάλυσης των δεδομένων που προέρχονται από τη μελέτη φορητών εφαρμογών λόγω της αδυναμίας τους να συνδυάσουν τα πολυάριθμα ετερογενή δεδομένα και να εξάγουν συγκεντρωτικά ποσοτικά και ποιοτικά συμπεράσματα χρήσης των συστημάτων. Στο πλαίσιο αυτό, στο επόμενο κεφάλαιο προτείνεται η μεθοδολογία MOBELIC (MOBile Evaluation Life Cycle methodology) που υποστηρίζει την αξιολόγηση ευχρηστίας μιας φορητής εφαρμογής σε όλο τον κύκλο ανάπτυξής της, από αρχικά στάδια μέχρι τα τελικά στάδια ολοκλήρωσής της. Παράλληλα προτείνεται ο σχεδιασμός ενός νέου πρωτότυπου εργαλείου ανάλυσης προκειμένου να Διδακτορική διατριβή 85

86 Επισκόπηση τεχνικών αξιολόγησης ευχρηστίας φορητών εφαρμογών υποστηρίξει την ανάλυση των δεδομένων που προέρχονται από πολλαπλές μελέτες σε διακριτές φάσεις ανάπτυξης της εφαρμογής. 86 Διδακτορική διατριβή

87 Κεφάλαιο 4 Κεφάλαιο 4. Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC Στο κεφάλαιο αυτό προτείνεται μια νέα ολοκληρωμένη μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών, η MOBELIC (MOBile Evaluation LIfe Cycle methodology). Πιο συγκεκριμένα, περιγράφονται τα βήματα της μεθοδολογίας και ο τρόπος με τον οποίο υποστηρίζει την αξιολόγηση μιας φορητής εφαρμογής σε όλο τον κύκλο ανάπτυξής της. Παράλληλα περιγράφονται οι απαιτήσεις που προκύπτουν για τη δημιουργία κατάλληλου εργαλείου λογισμικού που μπορεί να βοηθήσει κυρίως στη φάση της ανάλυσης των δεδομένων που συλλέγονται από μελέτες με πραγματικούς χρήστες, όπως αυτές που προτείνονται από την MOBELIC. Διδακτορική διατριβή 87

88 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC 4.1 Εισαγωγή Στο προηγούμενο κεφάλαιο έγινε επισκόπηση των μεθόδων που προτείνονται στη βιβλιογραφία και σχετίζονται με την αξιολόγηση ευχρηστίας των φορητών εφαρμογών. Έγινε φανερό ότι οι υπάρχουσες μεθοδολογίες στερούνται τυποποίησης μιας και ζητήματα που αφορούν τόσο την επιλογή της μεθόδου, την επιλογή του χώρου αλλά και τη συλλογή των δεδομένων βρίσκονται υπό εξέταση. Παράλληλα ζητήματα που αφορούν την ποιότητα των αποτελεσμάτων κάθε μεθόδου συναρτήσει των δαπανηθέντων πόρων, παρόλο που εξετάζονται, φαίνεται να μην λαμβάνονται υπόψη ώστε να επιτυγχάνεται βέλτιστη απόδοση κατά τη διαδικασία της αξιολόγησης. Στα πλαίσια του κεφαλαίου αυτού προτείνεται μια νέα ολοκληρωμένη μεθοδολογία αξιολόγησης φορητών εφαρμογών, ενταγμένη στον κύκλο ανάπτυξης των εφαρμογών αυτών. Η προτεινόμενη μεθοδολογία ονομάστηκε MOBELIC (MOBile Evaluation Life Cycle methodology). Η MOBELIC έχει ως αντικείμενο τη συστηματοποίηση της αξιολόγησης ευχρηστίας των φορητών εφαρμογών. Στόχος της είναι αφενός να ενταχθούν διαφορετικές μεθοδολογίες αξιολόγησης της εφαρμογής σε κάθε φάση ανάπτυξής της, αφετέρου δε, να γίνει βέλτιστη χρήση των διαθέσιμων πόρων, ώστε να επιλεγεί η μέθοδος που αποδίδει καλύτερα σε κάθε φάση. Υπόθεση της μεθοδολογίας αυτής είναι ότι ακολουθείται χρηστο-κεντρική ανάπτυξη της εφαρμογής (user centered design, UCD), Gould and Lewis (1985). Σύμφωνα με τη χρηστο-κεντρική προσέγγιση, ακολουθούμε επαναληπτική διαδικασία σχεδίασης, εστιάζουμε στους χρήστες του συστήματος και τις εργασίες που επιτελούν με αυτό, από τις αρχικές φάσεις σχεδιασμού, ενώ σημαντικό στοιχείο είναι ότι σε όλες τις φάσεις σχεδιασμού μετράμε την αντίδραση των χρηστών με χρήση πρότυπων διεπιφανειών, εγχειριδίων, προσομοιωτών κλπ. Στα πλαίσια του κεφαλαίου αυτού, γίνεται περιγραφή της μεθοδολογίας MOBELIC, ενώ παράλληλα συζητούνται οι ανάγκες ανάλυσης των δεδομένων που προέρχονται από μελέτες με πραγματικούς χρήστες που περιέχονται στην MOBELIC. Παράλληλα περιγράφονται οι απαιτήσεις για τη δημιουργία ενός εργαλείου κατάλληλου να μπορεί να υποστηρίξει τη διαδικασία της ανάλυσης. Στο κεφάλαιο 5 της διατριβής, γίνεται περιγραφή ενός τέτοιου εργαλείου που αναπτύχθηκε, του ActivityLens, ενώ 88 Διδακτορική διατριβή

89 Κεφάλαιο 4 στο κεφάλαιο 6 γίνεται περιγραφή ενός παραδείγματος εφαρμογής της μεθόδου MOBELIC. 4.2 Περιγραφή της μεθοδολογίας αξιολόγησης MOBELIC Η ραγδαία ανάπτυξη της τεχνολογίας σε θέματα φορητότητας και συνδεσιμότητας, έχει οδηγήσει στον σύντομο κύκλο ζωής των φορητών εφαρμογών με αποτέλεσμα η αξιολόγηση ευχρηστίας τους να οφείλει να δίνει αποτελέσματα σε σύντομα χρονικά διαστήματα. Κατά συνέπεια υπάρχει η ανάγκη για βελτιστοποίηση της διαδικασίας αξιολόγησης. Η παρούσα διατριβή προτείνει την εφαρμογή της μεθοδολογίας MOBELIC ως κατάλληλης για τη συστηματική και βέλτιστη αξιολόγηση ευχρηστίας μιας φορητής εφαρμογής σε όλο τον κύκλο ανάπτυξής της. Η MOBELIC αποτελεί συνδυασμό από υπάρχουσες μεθόδους αξιολόγησης λαμβάνοντας όμως υπόψη τη φάση ανάπτυξης στην οποία βρίσκεται η υπό αξιολόγηση φορητή εφαρμογή, την ποιότητα των αποτελεσμάτων που προκύπτουν από κάθε μέθοδο, το χρόνο και τους πόρους που απαιτούνται για τη διεξαγωγή καθεμιάς από αυτές, καθώς και το χρόνο για την ανάλυση των δεδομένων τους και την εξαγωγή πολύτιμων συμπερασμάτων. Η μεθοδολογία που προτείνεται έχει προκύψει μέσω μιας εξελικτικής διαδικασίας που ενέπλεξε αφενός θεωρητική αναζήτηση, των χαρακτηριστικών και των απαιτούμενων πόρων των διαφόρων μεθόδων και τεχνικών αξιολόγησης ευχρηστίας και της εφαρμοσιμότητάς τους στην αξιολόγηση φορητών εφαρμογών, όπως αυτές περιγράφτηκαν στα κεφάλαια 2 και 3, αφετέρου δε στην διεξαγωγή εμπειρικών μελετών αξιολόγησης διαφόρων πρωτοτύπων φορητών εφαρμογών που αναπτύχθηκαν τα τελευταία χρόνια στα πλαίσια του εργαστηρίου μας (π.χ. Simarro Cabrera et al., 2005, Stoica et al., 2005). Η κεντρική ιδέα της μεθοδολογίας MOBELIC είναι ότι το μεγαλύτερο πλήθος των προβλημάτων μιας φορητής εφαρμογής οφείλει να εντοπίζεται σε αρχικά στάδια ανάπτυξης χρησιμοποιώντας ταυτόχρονα τους λιγότερους δυνατούς πόρους σε χρόνο και κόστος. Η συνεισφορά της μεθοδολογίας MOBELIC έγκειται στο γεγονός ότι είναι δυνατόν να εφαρμοστεί σε διαφορετικές φάσεις αξιολόγησης ευχρηστίας μιας φορητής Διδακτορική διατριβή 89

90 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC εφαρμογής, υποστηρίζοντάς την από αρχικές φάσεις ανάπτυξης μέχρι τα τελευταία στάδια ολοκλήρωσής της, επιτυγχάνοντας ταυτόχρονα βελτιστοποίηση της διαδικασίας αξιολόγησης. Οι φάσεις που αφορούν την επισκόπηση του χώρου στον οποίο πρόκειται να χρησιμοποιηθεί η εφαρμογή καθώς και τη συλλογή των απαιτήσεων που καθορίζουν τις υποστηριζόμενες λειτουργίες της εφαρμογής θεωρούνται ότι έχουν ήδη προηγηθεί και δεν αποτελούν αντικείμενο μελέτης της παρούσας μεθοδολογίας. Στην εικόνα 4.1 αναπαρίστανται σχηματικά οι κύριες φάσεις ανάπτυξης μιας φορητής εφαρμογής και οι μέθοδοι αξιολόγησης που προτείνονται σε καθεμία από αυτές στα πλαίσια της μεθοδολογίας MOBELIC. Σε κάθε φάση προτείνεται διαφορετική μέθοδος αξιολόγησης έτσι ώστε να επιτυγχάνεται βελτιστοποίηση της διαδικασίας της ανάλυσης. Οι διακριτές φάσεις οι οποίες υποστηρίζονται είναι 1) η αξιολόγηση της εφαρμογής όταν βρίσκεται σε πρωτότυπη μορφή, 2) η αξιολόγηση της εφαρμογής όταν έχει μερικώς υλοποιηθεί και μπορεί να υποστηρίξει πολλές από τις βασικές ανάγκες των χρηστών, και 3) η αξιολόγηση της εφαρμογής όταν βρίσκεται σε ώριμη φάση και ενσωματώνει τις κύριες λειτουργίες για τις οποίες σχεδιάστηκε. Εικόνα 4.1. Μέθοδοι αξιολόγησης ανά φάση ανάπτυξης σύμφωνα με την μεθοδολογία MOBELIC 90 Διδακτορική διατριβή

91 Κεφάλαιο 4 Στη συνέχεια περιγράφονται αναλυτικά καθεμία από τις φάσεις αυτές. 1) Εφαρμογή σε πρωτότυπη μορφή Εικόνα 4.2. Μεθοδολογία MOBELIC εφαρμογή σε πρωτότυπη μορφή Στη φάση αυτή η εφαρμογή βρίσκεται σε αρχικά στάδια υλοποίησης. Η υπόθεση της μεθοδολογίας MOBELIC είναι ότι το μεγαλύτερο τμήμα των προβλημάτων σχεδιασμού της διεπιφάνειας του συστήματος μπορεί να βρεθεί από ειδικούς με ελάχιστο κόστος και σε σύντομο χρονικό διάστημα. Σε αυτή τη φάση αξιολόγησης, προτείνεται η εφαρμογή του Ευρετικού Περιδιαβάσματος (Heuristic Walkthrough) (Po et al. 2004) ως υβριδική μέθοδος επισκόπησης από ειδικούς συνδυάζοντας τις τεχνικές της ευρετικής αξιολόγησης (Heuristic Evaluation) και του γνωσιακού περιδιαβάσματος (Cognitive Walkthrough). Το ευρετικό περιδιάβασμα περιλαμβάνει την επιθεώρηση της εφαρμογής από ειδικούς που εκτελούν προκαθορισμένο σενάριο χρήσης προκειμένου να εξεταστούν συγκεκριμένα τμήματα της διεπιφάνειας του συστήματος και συγκεκριμένες υπηρεσίες. 2) Εφαρμογή με βασικές λειτουργίες Στη φάση αυτή η εφαρμογή δεν βρίσκεται πια σε πρώιμη μορφή αλλά έχει μερικώς υλοποιηθεί ενσωματώνοντας πολλές από τις λειτουργίες για τις Διδακτορική διατριβή 91

92 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC οποίες σχεδιάστηκε. Πέρα από τη σχεδίαση των οθονών, στη φάση αυτή ενδιαφέρει να μελετηθεί η αλληλεπίδραση χρήστη εφαρμογής προκειμένου να κατανοηθεί ο τρόπος με τον οποίο οι χρήστες αντιλαμβάνονται τις λειτουργίες του συστήματος. Η υπόθεση είναι ότι το περιβάλλον του εργαστηρίου παρέχει πληρέστερο έλεγχο της δραστηριότητας και πιο αξιόπιστα δεδομένα σε σχέση με το φυσικό περιβάλλον χρήσης. Οι περισσότερες από τις τεχνικές συλλογής δεδομένων μπορούν να εφαρμοστούν με μεγαλύτερη επιτυχία στο εργαστήριο. Σαν παράδειγμα το πρωτόκολλο του ομιλούντος υποκειμένου (βλέπε ενότητα 2.7), που αποτελεί μια από τις κύριες πηγές πληροφορίας σχετικά με τις γνωστικές διεργασίες που λαμβάνουν χώρα κατά την αλληλεπίδραση ανθρώπου εφαρμογής, δεν δίνει εξίσου καλά αποτελέσματα όταν εφαρμόζεται σε συνθήκες μη εργαστηριακές μιας και η προσοχή των χρηστών διαρκώς αποσπάται ενώ παράλληλα υπάρχουν και δυσκολίες στην καταγραφή. Παράλληλα η διεξαγωγή της μελέτης στο εργαστήριο απαιτεί λιγότερο χρόνο από την αντίστοιχη μελέτη στο πεδίο. Εικόνα 4.3. Μεθοδολογία MOBELIC εφαρμογή με βασικές λειτουργίες Για την συγκεκριμένη φάση ανάπτυξης μιας φορητής εφαρμογής, η μεθοδολογία MOBELIC προτείνει τη χρήση της εφαρμογής από πραγματικούς χρήστες σε εργαστηριακό περιβάλλον και την καταγραφή της δραστηριότητας με χρήση βίντεο/ήχου προκειμένου να γίνει περαιτέρω ανάλυση. 92 Διδακτορική διατριβή

93 Κεφάλαιο 4 3) Εφαρμογή με ολοκληρωμένες λειτουργίες (ώριμο σύστημα) Εικόνα 4.4. Μεθοδολογία MOBELIC εφαρμογή με ολοκληρωμένες λειτουργίες Όταν η εφαρμογή βρίσκεται σε προχωρημένο στάδιο ανάπτυξης ενσωματώνοντας όλες τις βασικές λειτουργίες για τις οποίες σχεδιάστηκε, ενδιαφέρει να μελετηθεί τόσο η αλληλεπίδραση χρήστη εφαρμογής όσο και να μελετηθούν τυχόν προβλήματα που σχετίζονται με το φυσικό χώρο χρήσης της εφαρμογής. Προτείνεται η χρήση της εφαρμογής από πραγματικούς χρήστες στο πεδίο (μικροεθνογραφικές μελέτες) και η καταγραφή της δραστηριότητας προκειμένου να γίνει περαιτέρω ανάλυση. Η υπόθεση είναι ότι οι μελέτες πεδίου με πραγματικούς χρήστες δεν χρειάζεται να γίνονται σε πρόωρες φάσεις ανάπτυξης αφού δεν εντοπίζουν περισσότερα προβλήματα (αφορώντας τη διεπιφάνεια) από τις εργαστηριακές μελέτες και έχουν υψηλό κόστος διεξαγωγής. Παράλληλα λόγω του συνεχώς μεταβαλλόμενου και σύνθετου περιβάλλοντος στο οποίο εκτελούνται παράγουν δεδομένα τα οποία απαιτούν υψηλούς χρόνους ανάλυσης. Αντίθετα η συνεισφορά τους έγκειται κυρίως στο ότι είναι οι μόνες που μπορούν να εντοπίσουν τα προβλήματα εκείνα που σχετίζονται με το χώρο στον οποίο πρόκειται να χρησιμοποιηθεί η εφαρμογή. Κατά συνέπεια η διεξαγωγή τους σύμφωνα με τη μεθοδολογία MOBELIC προτείνεται σε αυτά τα τελικά στάδια ανάπτυξης της αξιολογούμενης φορητής εφαρμογής. Διδακτορική διατριβή 93

94 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC 4.3 Συστηματοποίηση της συλλογής δεδομένων της μεθοδολογίας MOBELIC Οι μέθοδοι αξιολόγησης που προτείνονται μέσω της μεθοδολογίας MOBELIC εμπλέκουν σε μεγάλο βαθμό την αλληλεπίδραση πραγματικών χρηστών με την εφαρμογή σε εργαστηριακούς ή φυσικούς χώρους. Η μεθοδολογία MOBELIC συστηματοποιεί την διαδικασία αξιολόγησης στην περίπτωση που απαιτείται παρατήρηση πραγματικών χρηστών προτείνοντας συγκεκριμένα βήματα. Τα βήματα αυτά που αφορούν την προετοιμασία της μελέτης αξιολόγησης, την διεξαγωγή της μελέτης και την ανάλυση των δεδομένων καταγραφής της, περιγράφονται στη συνέχεια Προετοιμασία και προγραμματισμός της μελέτης Η φάση της προετοιμασίας είναι ιδιαίτερα σημαντική για την επιτυχία της μελέτης καθώς και την ποιότητα των αποτελεσμάτων της. Η φάση αυτή περιλαμβάνει: - Εξοικείωση των παρατηρητών με το αξιολογούμενο σύστημα Το βήμα αυτό επιβάλλεται να γίνει πριν από τη διεξαγωγή κάθε μελέτης παρατήρησης προκειμένου να εξασφαλιστεί ότι οι παρατηρητές θα μπορούν να αντιλαμβάνονται τις δυσκολίες που συναντούν οι χρήστες και ότι θα εστιάζουν την προσοχή τους κυρίως σε αυτές. Παράλληλα η εξοικείωση των παρατηρητών με το σύστημα επιβάλλεται για να επιτευχθεί η σύνταξη εύστοχων ερωτήσεων στα ερωτηματολόγια που συμπληρώνουν οι χρήστες. - Εξασφάλιση άδειας παρατήρησης και καταγραφής Το βήμα αυτό απαιτείται στις περιπτώσεις κατά τις οποίες η μελέτη αξιολόγησης διεξάγεται στο πεδίο. Περιλαμβάνει την εξασφάλιση της απαιτούμενης άδειας για παρατήρηση ή/και καταγραφή της δραστηριότητας τόσο από τους πραγματικούς χρήστες του συστήματος όσο και από τους υπεύθυνους του χώρου στον οποίο το σύστημα πρόκειται να χρησιμοποιηθεί (δημόσιοι χώροι, διαμοιραζόμενοι εργασιακοί χώροι, εκθεσιακοί χώροι κλπ). - Προετοιμασία των ερωτηματολογίων καθώς και των φορμών περιγραφής των εμπλεκόμενων οντοτήτων 94 Διδακτορική διατριβή

95 Κεφάλαιο 4 Το βήμα αυτό περιλαμβάνει τη δημιουργία των ερωτήσεων που θα τεθούν στους χρήστες μέσω της βοήθειας ερωτηματολογίων. Οι περιεχόμενες μέσα στο ερωτηματολόγιο ερωτήσεις πρέπει να είναι με τέτοιο τρόπο διατυπωμένες ώστε να αποσπούν από το χρήστη πολύτιμη πληροφορία και να φαίνεται η πραγματική τους άποψη για τις υπηρεσίες του συστήματος. Πέρα από τα ερωτηματολόγια το βήμα αυτό περιλαμβάνει και τη δημιουργία φορμών στις οποίες συμπληρώνονται στοιχεία που αφορούν τα βασικά χαρακτηριστικά των εμπλεκόμενων οντοτήτων, συμπεριλαμβάνοντας τους χρήστες, τον χρησιμοποιούμενο εξοπλισμό, την εξεταζόμενη εφαρμογή καθώς και το περιβάλλον χρήσης. Τα στοιχεία αυτά μπορούν να βοηθήσουν τους ειδικούς που θα κάνουν την ανάλυση στο να συσχετίσουν συγκεκριμένους τύπους προβλημάτων με τυχόν χαρακτηριστικά των χρηστών ή του περιβάλλοντος στο οποίο το σύστημα τέθηκε σε εφαρμογή. Στη συνέχεια φαίνονται ενδεικτικά χαρακτηριστικά των εμπλεκόμενων οντοτήτων που μπορεί να καταγραφούν στα πλαίσια της μεθοδολογίας MOBELIC: του χώρου, των φορητών συσκευών, της εφαρμογής και των χρηστών. Χώρος (περιβάλλον διεξαγωγής δραστηριότητας) o Φυσικός Φυσικά όρια χώρου (οριοθέτηση του φυσικού χώρου στον οποίο διεξάγεται η δραστηριότητα χρήσης των φορητών εφαρμογών) Φυσικές συνθήκες χώρου Θερμοκρασία, Φωτεινότητα, Υγρασία, κλπ o Κοινωνικός Συνευρισκόμενοι στο χώρο (επισκέπτες, εργαζόμενοι κλπ) Παρεμβολές από παράλληλες δραστηριότητες o Τεχνολογικός Δυνατότητα μεταφοράς δεδομένων Εύρος ζώνης Ρυθμός μεταφοράς δεδομένων (bandwidth) Άμεσα χρησιμοποιούμενες συσκευές o Φυσικές διαστάσεις μήκος x πλάτος x ύψος βάρος o Τεχνικά χαρακτηριστικά υπολογιστική ισχύς (τεχνικά χαρακτηριστικά επεξεργαστή) Αυτονομία χρήσης (ενεργειακή) Διδακτορική διατριβή 95

96 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC Μέγεθος και ανάλυση οθόνης, υποστήριξη χρωμάτων Διαφορετικές δυνατότητες εισαγωγής δεδομένων Φορητή εφαρμογή o Τύπος εφαρμογής (π.χ. εκπαιδευτική, Β2Β) o Γλώσσα o Ορολογία συστήματος o Παροχή βοήθειας Τυπικοί Χρήστες/ ανά κατηγορία χρήστη o Φυσικά χαρακτηριστικά Ηλικία, Φύλο, Αισθητήριες ιδιαιτερότητες (προβλήματα όρασης, ακοής, εκφοράς λόγου, κινητήριες δυσκολίες, κλπ) o Πολιτισμικά χαρακτηριστικά Καταγωγή, Γλώσσα, Θρήσκευμα κλπ o Γνώσεις Χρήση ή μη τεχνολογίας Εμπειρία χρήσης παρόμοιων συστημάτων Εκπαιδευτικό/γνωστικό υπόβαθρο Διεξαγωγή και καταγραφή της δραστηριότητας Η φάση αυτή περιλαμβάνει την διεξαγωγή των μελετών που εμπλέκουν τυπικούς χρήστες. Η μεθοδολογία MOBELIC προτείνει η διεξαγωγή μιας τέτοιας μελέτης να γίνεται όσο το δυνατόν πιο διακριτικά προκειμένου να μην επηρεάζονται οι χρηστές από την παρέμβαση των παρατηρητών (συνθήκες μικρο-εθνογραφικής παρατήρησης, βλέπε επίσης ενότητα 2.8). Για το λόγο αυτό στη φάση αυτή προτείνει την ανάμειξη όσο το δυνατόν λιγότερων παρατηρητών. Για παράδειγμα, 2-3 παρατηρητές αρκούν για να καταγράψουν την δραστηριότητα. Οι μέθοδοι συλλογής τόσο ποιοτικών όσο και ποσοτικών δεδομένων, κατά τη διάρκεια των μικροεθνογραφικών μελετών που προτείνονται είναι οι εξής: Απευθείας Παρατήρηση Ηλεκτρονική καταγραφή της δραστηριότητας Αποτύπωση της άποψης των χρηστών μέσω συνεντεύξεων και συμπλήρωσης ερωτηματολογίων Στη συνέχεια ακολουθούν σχόλια για κάθε μία από τις μεθόδους αυτές. 96 Διδακτορική διατριβή

97 Κεφάλαιο Απευθείας παρατήρηση Η μέθοδος της απευθείας παρατήρησης ουσιαστικά αποτελεί την χειρόγραφη καταγραφή των παρατηρήσεων και σχολίων του παρατηρητή για την αλληλεπίδραση χρήστη συστήματος και τη δραστηριότητα γενικότερα. Ο παρατηρητής μπορεί να καταγράψει τόσο τις θετικές όσο και τις αρνητικές αντιδράσεις των χρηστών καθώς αυτοί χρησιμοποιούν το σύστημα. Η μεθοδολογία MOBELIC προτείνει την απευθείας παρατήρηση της δραστηριότητας από έναν παρατηρητή ο οποίος ακολουθεί διακριτικά και από απόσταση τους χρήστες χωρίς να διακόπτει την δραστηριότητα ζητώντας περισσότερες εξηγήσεις. Σε πολλές περιπτώσεις μελετών πεδίου η απευθείας παρατήρηση αποτελεί την κύρια πηγή συλλογής πληροφορίας, μιας και με τη μέθοδο αυτή, μπορεί να καταγραφούν πλήθος ποιοτικών αλλά και ποσοτικών χαρακτηριστικών, όπως περιγράφεται στην επισκόπηση του πεδίου, στο κεφάλαιο 3. Η μεθοδολογία MOBELIC προτείνει την εφαρμογή της σε συνδυασμό και με άλλες τεχνικές συλλογής πληροφορίας, οι οποίες περιγράφονται στη συνέχεια Ηλεκτρονική καταγραφή της δραστηριότητας Για την πλήρη καταγραφή της αλληλεπίδρασης των χρηστών με μία φορητή εφαρμογή απαιτείται η χρήση σύγχρονων μέσων καταγραφής της δραστηριότητας. Αναγκαία προϋπόθεση για τη επιτυχή διεξαγωγή των μικροεθνογραφικών μελετών καθώς και για την ποιότητα του περιεχομένου των δεδομένων που συλλέγονται είναι η ελάχιστη και όσο το δυνατόν διακριτικότερη παρέμβαση από τους παρατηρητές. Η μεθοδολογία MOBELIC προτείνει ένα καινοτόμο συνδυασμό από υπάρχουσες τεχνικές ηλεκτρονικής συλλογής δεδομένων ώστε να επιτευχθεί το παραπάνω προσδοκώμενο αποτέλεσμα. Οι τεχνικές αυτές περιλαμβάνουν α) την παρακολούθηση μέσω ασύρματου δικτύου και καταγραφή της οθόνης των χρησιμοποιούμενων φορητών συσκευών, β) την καταγραφή της συνομιλίας των υποκειμένων κατά τη διάρκεια της αλληλεπίδρασης, γ) την καταγραφή της συνολικής δραστηριότητας των υποκειμένων καθώς αλληλεπιδρούν με το σύστημα από κατάλληλη απόσταση, και την αποτύπωση των απόψεων των χρηστών σχετικά με το σύστημα μέσα από κατάλληλα ερωτηματολόγια και προσωπικές ή ομαδικές συνεντεύξεις. Διδακτορική διατριβή 97

98 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC Εικόνα 4.5. Προτεινόμενες τεχνικές συλλογής δεδομένων κατά τη διεξαγωγή μικροεθνογραφικών μελετών (α) Καταγραφή της οθόνης των χρησιμοποιούμενων συσκευών Μία από τις τεχνικές καταγραφής και συλλογής δεδομένων, που προτείνεται στα πλαίσια της μεθοδολογίας MOBELIC, είναι η καταγραφή της οθόνης των χρησιμοποιούμενων συσκευών κατά τη διάρκεια της αλληλεπίδρασης του χρήστη με το υπό εξέταση σύστημα. Η οθόνη των συσκευών μπορεί να δώσει χρήσιμη και επαρκή πληροφορία σχετικά με τις κινήσεις του χρήστη καθώς χρησιμοποιεί τις υπηρεσίες του συστήματος, και να αποκαλύψει σημεία τα οποία στάθηκαν εμπόδιο στη χρήση των υπηρεσιών αυτών. Σε αντίθεση με τις τεχνικές καταγραφής της οθόνης ενός συστήματος που περιγράφηκαν στην ενότητα 3.2.2, η εργασία αυτή προτείνει την αποτύπωση της οθόνης μίας συσκευής με χρήση της ίδιας της συσκευής ως καταγραφικού μέσου. Η τεχνική που προτείνεται αφορά στη δημιουργία στιγμιότυπων της οθόνης σε τακτά χρονικά διαστήματα που μπορούν να καθοριστούν εκ των προτέρων. Στη συνέχεια οι απεικονίσεις της οθόνης αποθηκεύονται τοπικά, και μεταφέρονται τακτικά μέσω ασύρματου δικτύου σε ένα κεντρικό υπολογιστή (server) ο οποίος αναλαμβάνει την αποθήκευση και περαιτέρω επεξεργασία τους. Με τον τρόπο αυτό δεν επιβαρύνονται οι χρησιμοποιούμενες φορητές συσκευές των οποίων σε πολλές περιπτώσεις οι μονάδες αποθήκευσης δεν διαθέτουν μεγάλη χωρητικότητα. Τα στιγμιότυπα αυτά μπορούν στη συνέχεια είτε να μελετηθούν ως έχουν είτε να 98 Διδακτορική διατριβή

99 Κεφάλαιο 4 μετατραπούν με τη βοήθεια κατάλληλου λογισμικού σε βίντεο προκειμένου να αναπαρασταθεί η αλληλεπίδραση χρήστη-συστήματος με πιο ρεαλιστικό τρόπο. Ο μόνος περιορισμός που υπάρχει στην εφαρμογή της τεχνικής αυτής είναι ότι οι χρησιμοποιούμενες συσκευές πρέπει να διαθέτουν λειτουργικό σύστημα που επιτρέπει την παράλληλη λειτουργία περισσοτέρων της μίας εφαρμογής ταυτόχρονα, ώστε να καταστεί εφικτό να χρησιμοποιείται η υπό εξέταση εφαρμογή και παράλληλα η εφαρμογή που αναλαμβάνει την καταγραφή της οθόνης. Η τεχνική που αυτή πέραν της δυνατότητας που παρέχει στους ειδικούς ευχρηστίας να αναπαράγουν και να μελετήσουν τη δραστηριότητα των υποκειμένων με ένα υπολογιστικό σύστημα χαρακτηρίζεται από τη διάφανη και μη επεμβατική προς τους χρήστες εφαρμογή της με αποτέλεσμα να εξασφαλίζεται η φυσικότητα της δράσης τους. (β) Καταγραφή της συνομιλίας των υποκειμένων Η καταγραφή της συνομιλίας των υποκειμένων, κυρίως σε περιπτώσεις συνεργατικών εφαρμογών, ή σε περιπτώσεις εφαρμογής συνεργατικών πρωτοκόλλων αξιολόγησης, μπορεί να παράσχει πολύτιμη πληροφορία και να αποκαλύψει την άποψη των χρηστών σχετικά με το υπολογιστικό σύστημα που χρησιμοποιούν. Μπορεί να αποτυπώσει πληροφορία που περιέχεται για παράδειγμα, στο πρωτόκολλο ομιλούντων υποκειμένων και να καταγράψει σημαντικούς διαλόγους που λαμβάνουν χώρα σε περιπτώσεις όπου η συνεργασία μεταξύ των υποκειμένων είναι απαραίτητη. Παράλληλα μπορεί να βοηθήσει τους ειδικούς ευχρηστίας να ανακαλύψουν προβλήματα, τα οποία οι χρήστες δεν αναδεικνύουν μέσω των ερωτηματολογίων και των συνεντεύξεων. Από τεχνικής απόψεως, η προσπάθεια καταγραφής του ήχου κατά την αξιολόγηση φορητών εφαρμογών, μπορεί να συναντήσει κάποια προβλήματα: Σε πολλές περιπτώσεις τα ενσωματωμένα μικρόφωνα που διαθέτουν οι σύγχρονες κάμερες δεν μπορούν να καταγράψουν με ευκρίνεια τη συνομιλία κατά τη διάρκεια μίας δραστηριότητας που λαμβάνει χώρα σε πραγματικό περιβάλλον, μιας και παράγοντες όπως ο αυξημένος θόρυβος, η συνεχής κίνηση, αλλά και η μεγάλη απόσταση που απαιτείται αλλοιώνουν σε μεγάλο βαθμό την καταγεγραμμένη πληροφορία. Η ιδανική περίπτωση θα ήταν να μπορούσε να χρησιμοποιηθεί η ίδια Διδακτορική διατριβή 99

100 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC η φορητή συσκευή ως μέσο καταγραφής ήχου, γεγονός το οποίο όμως συναντάει τα εξής προβλήματα: Ο χρόνος απόκρισης των χρησιμοποιούμενων συσκευών αυξάνεται κατακόρυφα στην περίπτωση που είναι ενεργές πολλές πρόσθετες εφαρμογές πέραν της εξεταζόμενης εφαρμογής. Έτσι στην περίπτωση που έχουμε και καταγραφή εικόνας αλλά και ήχου μέσω της ίδιας συσκευής, η απόδοσή της μειώνεται σημαντικά επηρεάζοντας την αλληλεπίδραση χρήστη συστήματος. Τα μηνύματα ήχου που παράγονται από την ίδια τη συσκευή σε πολλές περιπτώσεις καλύπτουν την φωνή των υποκειμένων (για παράδειγμα μία αφήγηση που παράγεται από τη συσκευή δεν επιτρέπει την καταγραφή της συνομιλίας μεταξύ των χρηστών). Η αποθήκευση μεγάλων αρχείων ήχου απαιτεί πολύ μεγάλη χωρητικότητα κάτι το οποίο αποτελεί ακόμα ένα αδύνατο σημείο των σύγχρονων φορητών συσκευών. Η τεχνική που προτείνεται στα πλαίσια της μεθοδολογίας MOBELIC σχετικά με την καταγραφή της συνομιλίας των υποκειμένων αφορά τη χρήση σύγχρονων μικρών φορητών συσκευών καταγραφής ήχου (sound recorders). Ανάμεσα στα θετικά χαρακτηριστικά αυτών των συσκευών είναι το ιδιαίτερα μικρό βάρος τους (συνήθως < 50 γραμμάρια), η πολύ καλή ποιότητα καταγραφής ήχου που επιτυγχάνουν, καθώς και η δυνατότητα αποθήκευσης μεγάλης διάρκειας καταγεγραμμένου ήχου. Οι συσκευές αυτές μπορούν να προσαρμοστούν με μεγάλη ευκολία στους χρήστες (μπορούν να φορεθούν στο λαιμό ή να τοποθετηθούν σε μία τσέπη) και να καταγράψουν με ευκρίνεια κάθε πολύτιμη ηχητική πληροφορία που σχετίζεται με τη χρήση των φορητών εφαρμογών. (γ) Εποπτική καταγραφή της συνολικής δραστηριότητας των υποκειμένων Η καταγραφή της δραστηριότητας των υποκειμένων καθώς αλληλεπιδρούν με τις φορητές εφαρμογές μπορεί να δώσει πολύτιμη πληροφορία η οποία δεν ήταν δυνατόν να συμπεριληφθεί τόσο στις αποτυπωμένες οθόνες των χρησιμοποιούμενων συσκευών όσο και στις καταγεγραμμένες συνομιλίες των χρηστών. Έτσι, παράγοντες όπως το κοινωνικό περιβάλλον στο οποίο διεξάγεται η 100 Διδακτορική διατριβή

101 Κεφάλαιο 4 δραστηριότητα μπορούν να αποτυπωθούν μόνο με εποπτική καταγραφή του χώρου. Επίσης άλλοι εξωτερικοί παράγοντες που δρουν καταλυτικά στη χρήση των φορητών εφαρμογών όπως ο θόρυβος, η διαρκής κίνηση των χρηστών σε έναν χώρο, η επίδραση από το φυσικό περιβάλλον (π.χ. αμυδρός ή υπερβολικός φωτισμός, ακατάλληλη θερμοκρασία κλπ) επιβάλλεται να ληφθούν υπόψη σε μία τέτοια μελέτη. Παράλληλα περιπτώσεις στις οποίες οι χρήστες συνεργάζονται, δεν μπορούν να καταγραφούν με χρήση άλλων καταγραφικών μέσων. Για πληρέστερη καταγραφή της συνολικής δραστηριότητας, τις περισσότερες φορές απαιτείται η λήψη εικόνας από πολλές διαφορετικές οπτικές γωνίες οι οποίες εστιάζουν σε διαφορετικά ενδιαφέροντα γεγονότα που λαμβάνουν ταυτόχρονα χώρα κατά τη διάρκεια της αλληλεπίδρασης χρηστών συστήματος. Η χρήση καμερών σταθερά τοποθετημένων προτείνεται στις περιπτώσεις κατά τις οποίες η μελέτη αξιολόγησης διεξάγεται σε ελεγχόμενο εργαστηριακό χώρο μιας και οι χρήστες κινούνται σε περιορισμένο χώρο. Αντίθετα στην περίπτωση που η μελέτη λαμβάνει χώρα στο πεδίο οι σταθερές κάμερες δεν μπορούν να καταγράψουν τα δυναμικά χαρακτηριστικά χρήσης και τη διαρκή κίνηση των χρηστών. Σε αυτή την περίπτωση, προτείνεται ως καταλληλότερη τεχνική παρακολούθησης της συνολικής δραστηριότητας, η καταγραφή της μέσω κάμερας η οποία όμως είναι χειριζόμενη από ειδικό εικονολήπτη ο οποίος ακολουθεί διακριτικά από κατάλληλη απόσταση τα υποκείμενα της εκάστοτε δραστηριότητας έτσι ώστε να μην τα επηρεάζει, παρόμοια με την «κατά πόδας» καταγραφή που περιγράφτηκε στην ενότητα 3.2. Με τον τρόπο αυτό επιτυγχάνεται και η επιζητούμενη καταγραφή της δράσης των υποκειμένων ενώ ταυτόχρονα εξασφαλίζεται και η φυσικότητα της συμπεριφοράς τους Συμπλήρωση ερωτηματολογίων και διενέργεια συνεντεύξεων Πέραν της παρατήρησης και καταγραφής της δραστηριότητας των υποκειμένων, καθώς αυτά αλληλεπιδρούν με ένα υπολογιστικό σύστημα, υπάρχει ανάγκη για πηγές που θα μπορέσουν να πληροφορήσουν τους ερευνητές σχετικά με την υποκειμενική ικανοποίηση των χρηστών από τη χρήση του συστήματος. Για το λόγο αυτό εκτός των τεχνικών που συζητήθηκαν στην προηγούμενη ενότητα, η μεθοδολογία MOBELIC προτείνει επίσης τη συμπλήρωση ερωτηματολογίων και διενέργεια συνεντεύξεων μετά το πέρας της χρήσης του υπό εξέταση συστήματος Διδακτορική διατριβή 101

102 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC από τους χρήστες που συμμετείχαν στις μελέτες πεδίου. Τόσο τα ερωτηματολόγια όσο και οι συνεντεύξεις μπορούν να βοηθήσουν τους ερευνητές να συσχετίσουν παρατηρούμενα προβλήματα στη χρήση των συστημάτων με τη γνώμη των χρηστών σχετικά με τη βαρύτητα των προβλημάτων αυτών και την επίδρασή τους στην αλληλεπίδραση με τα συστήματα. Όσον αφορά το περιεχόμενο των ερωτηματολογίων και των συνεντεύξεων, αυτό δεν είναι αυστηρά καθορισμένο από τη μεθοδολογία, όμως σε αυτά εν γένει περιλαμβάνονται ερωτήσεις που αφορούν την εμπειρία των χρηστών για τη δραστηριότητα, τις συσκευές, τις εφαρμογές, τη διάθεσή τους να ξαναχρησιμοποιήσουν την υπηρεσία αυτή, προτάσεις για καλύτερη λειτουργία και βελτίωσή της Συσχέτιση μεθόδων καταγραφής με τα χαρακτηριστικά των αξιολογούμενων συστημάτων και το περιβάλλον χρήσης τους Κάθε μία από τις τεχνικές που μόλις περιγράφηκαν μπορεί να καταγράψει ένα υποσύνολο από χαρακτηριστικά που αφορούν τόσο τις χρησιμοποιούμενες συσκευές και τα εξεταζόμενα συστήματα αλλά και τον τρόπο με τον οποίο αυτά χρησιμοποιούνται από ένα σύνολο τυπικών χρηστών με παρόμοια χαρακτηριστικά. Η μελέτη των δεδομένων που προέρχονται από τις παραπάνω τεχνικές μπορεί να δώσει στους ειδικούς ευχρηστίας μία ολοκληρωμένη εικόνα ως προς τη δυνατότητα χρήσης των υπό εξέταση συστημάτων και να τους βοηθήσει να προτείνουν λύσεις σε τυχόν αδυναμίες που αυτά παρουσιάζουν. Στον πίνακα 4.1 φαίνεται με περισσότερη λεπτομέρεια η συσχέτιση μεταξύ της εκάστοτε τεχνικής και της πληροφορίας που μπορεί αυτή καλύτερα να καταγράψει. Ο πίνακας αυτός συσχετίζει τα ιδιαίτερα χαρακτηριστικά των φορητών εφαρμογών που περιγράφηκαν στο κεφάλαιο 2, δηλαδή την επίδραση του περιβάλλοντος χρήσης, των προβλημάτων σύνδεσης με εξυπηρετητές, τα πολλαπλά κανάλια επικοινωνίας χρήστη-συστήματος, τα τεχνικά χαρακτηριστικά των φορητών συσκευών (μικρή οθόνη, μειωμένη ισχύς, αυτονομία, τρόποι εισαγωγής δεδομένων), καθώς και τα ιδιαίτερα χαρακτηριστικά της εφαρμογής που αξιολογείται, με τις τεχνικές αξιολόγησης που είναι σε θέση να τα αποτυπώσουν και να τα περιγράψουν πιο αποτελεσματικά. Όπως φαίνεται ο πίνακας είναι αρκετά 102 Διδακτορική διατριβή

103 Κεφάλαιο 4 πυκνός, ένδειξη ότι το ίδιο χαρακτηριστικό μπορεί να μελετηθεί από διαφορετικές πηγές δεδομένων, τα οποία είναι ανάγκη να συνδυαστούν κατά τη φάση της ανάλυσης. Δυναμικό περιβάλλον χρήσης Συνδεσιμότητα συσκευών και δικτύων Πολλαπλοί τρόποι αλληλεπίδρασης (Multimodality) Χαρακτηριστικά συσκευών Χαρακτηριστικά εξεταζόμενης εφαρμογής Καταγραφή οθόνης Καταγραφή ήχου Καταγραφή συνολικής δραστηριότητας Ερωτηματολόγια, συνεντεύξεις Πίνακας 4.1. Πίνακας συσχέτισης χαρακτηριστικών των φορητών εφαρμογών με τις προτεινόμενες τεχνικές καταγραφής τους Ανάλυση των δεδομένων Κατά τις αξιολογήσεις ευχρηστίας που εμπλέκουν πραγματικούς χρήστες, όπως αυτές που περιγράφτηκαν στις προηγούμενες ενότητες, και στις οποίες χρησιμοποιούνται οι διάφορες τεχνικές καταγραφής που περιγράφτηκαν, παράγεται μεγάλος όγκος πληροφορίας με τη μορφή χειρόγραφων σημειώσεων, αρχείων πολυμέσων, αρχείων καταγραφής πληκτρολογήσεων, συμπληρωμένων ερωτηματολόγιων, απομαγνητοφωνημένων συνεντεύξεων κλπ. Τα δεδομένα τα οποία συλλέγονται κατά τη διάρκεια αυτών των μελετών περιέχουν πλούσια πληροφορία σχετικά με την αλληλεπίδραση των υποκειμένων με τις φορητές εφαρμογές, όμως η ανάλυσή τους είναι επίπονη διαδικασία. Οι αναλυτές δεν έχουν μόνο να εστιάσουν στο υπό εξέταση σύστημα και στις χρησιμοποιούμενες συσκευές, όπως θα έκαναν στην περίπτωση ενός κλασσικού επιτραπέζιου υπολογιστή, αλλά έχουν να λάβουν υπόψη τους και άλλα πιο ζητήματα όπως είναι η διαρκής κίνηση των χρηστών και ο χώρος γενικότερα, η συνεργασία μεταξύ τους και Διδακτορική διατριβή 103

104 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC η κοινωνική δυναμική που αναπτύσσεται, καθώς και η επίδραση από τον περιβάλλοντα χώρο στον οποίο διεξάγεται η δραστηριότητα. Τα δεδομένα που προέρχονται από τις μελέτες με πραγματικούς χρήστες είναι δύσκολο να οδηγήσουν σε άμεσα συμπεράσματα για την ευχρηστία της εφαρμογής. Είναι ανάγκη να αναλυθούν ώστε να απομονωθούν συμβάντα που σχετίζονται με προβλήματα ευχρηστίας τα οποία στη συνέχεια να αναχθούν στη σχεδίαση της φορητής εφαρμογής. Τα συμβάντα αυτά θα πρέπει να αναζητηθούν σε συνεχή μέσα (βίντεο, αρχεία ήχου), σε μη δομημένα αρχεία όπως αρχεία κειμένου ή σε αρχεία συμβάντων (logfiles), τα οποία αφορούν σε χαμηλού επιπέδου ενέργειες (πάτημα ενός πλήκτρου) οι οποίες δεν φέρουν αυτοτελές νόημα, αν δεν ενταχθούν σε ένα πλαίσιο γνωστικών στόχων. Υπάρχει συνεπώς η ανάγκη για κωδικοποίηση των δεδομένων αυτών, ώστε να αποκαλυφθούν αποκλίσεις από τις συμπεριφορές που αναμένονται, ή να συσχετιστούν σε σχόλια των ίδιων των χρηστών. Οι Fisher και Sanderson (Fisher & Sanderson, 1996) κατηγοριοποιούν τα δεδομένα παρατήρησης χρηστών σε δεδομένα συστήματος (ρυθμίσεις συστήματος, απόκριση συστήματος), δεδομένα περιβάλλοντος (διακοπές, φόρτωση δικτύου, συνθήκες χρήσης, θόρυβος, φωτεινότητα) και δεδομένα συμπεριφοράς (κινήσεις ματιών, γκριμάτσες, διάλογοι, κινήσεις σώματος κλπ). Μια αντίστοιχη προσπάθεια έχει γίνει στα πλαίσια της μεθοδολογίας MOBELIC ώστε να κατηγοριοποιηθεί η προέλευση των διαφόρων παρατηρούμενων σφαλμάτων. Συγκεκριμένα προτείνει ένα, βασισμένο στην παρατηρούμενη δραστηριότητα, μοντέλο κωδικοποίησης των συμβάντων. Το προτεινόμενο μοντέλο, αναλύει την παρατηρούμενη δραστηριότητα ως μέρος ενός ευρύτερου συστήματος στο οποίο λαμβάνουν χώρα πολλαπλές αλληλεπιδράσεις μεταξύ των οντοτήτων του και δίνει ιδιαίτερη έμφαση τόσο στα χαρακτηριστικά των φορητών εφαρμογών όσο και στο χώρο στον οποίο αυτές χρησιμοποιούνται. Με άλλα λόγια η δραστηριότητα περιγράφεται ως ένα σύνολο οντοτήτων που συνιστούν ένα σύστημα. Οι οντότητες αυτές είναι ο χώρος και ο χρόνος στον οποίο συμβαίνει η δραστηριότητα, τα υποκείμενα που συμμετέχουν σε αυτή, η εξεταζόμενη φορητή εφαρμογή καθώς και ο χρησιμοποιούμενος εξοπλισμός, όπως συσκευές, εξυπηρετητές, δίκτυα κλπ. Η βασική συνεισφορά του προτεινόμενου μοντέλου είναι ότι οργανώνει τα παρατηρούμενα ενδιαφέροντα συμβάντα σε βασικούς άξονες οι οποίοι 104 Διδακτορική διατριβή

105 Κεφάλαιο 4 ανταποκρίνονται στους τύπους των βασικών αλληλεπιδράσεων μεταξύ των οντοτήτων που απαρτίζουν το σύστημα. Στην εικόνα που ακολουθεί φαίνονται σχηματικά οι οντότητες καθώς και οι τύποι των αλληλεπιδράσεων που λαμβάνουν χώρα μεταξύ τους, κατά τη διάρκεια της χρήσης μιας τυπικής φορητής εφαρμογής: Γεγονότα που σχετίζονται με (Α) αλληλεπιδράσεις Χρήστη-εφαρμογής, (Β) χρήστηφορητής συσκευής, (Γ) αλληλεπιδράσεις μεταξύ χρηστών και υποστηρικτικού προσωπικού, (Δ) αλληλεπιδράσεις χρηστών με τον περιβάλλοντα χώρο, (Ε) αλληλεπιδράσεις φορητής συσκευής- εφαρμογής, (Ζ) αλληλεπιδράσεις φορητής συσκευής-περιβάλλοντος. [ Ζ ] [ Γ ] [ Ε ] [ Β ] [ Α ] [ Δ ] Εικόνα 4.6 Τύποι αλληλεπίδρασης κατά τη διάρκεια χρήσης μίας φορητής εφαρμογής Κάθε ένας από τους άξονες του παραπάνω μοντέλου αναλύεται σε τύπους προβλημάτων, που οφείλονται στην αλληλεπίδραση των επιμέρους οντοτήτων, έως ότου αυτοί να είναι παρατηρήσιμοι και μετρήσιμοι από τα δεδομένα παρατήρησης των μικροεθνογραφικών μελετών. Με τον τρόπο αυτό διευκολύνεται το έργο των ειδικών ευχρηστίας οι οποίοι μπορούν να συσχετίσουν την παρατηρούμενη δραστηριότητα με συγκεκριμένους τύπους προβλημάτων. Η κωδικοποίηση αυτή δίνει τη δυνατότητα στον αναλυτή να εστιάσει στα προβλήματα αυτά και να βγάλει συμπεράσματα για το αν και πώς σχετίζονται με τα χαρακτηριστικά των οντοτήτων του συστήματος. Διδακτορική διατριβή 105

106 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC Στη συνέχεια δίνονται παραδείγματα προβλημάτων των βασικών αξόνων του προτεινόμενου μοντέλου κωδικοποίησης. [Α] Αλληλεπίδραση χρήστη-εφαρμογής Στην κατηγορία αυτή συμπεριλαμβάνονται τα προβλήματα που οφείλονται στην αλληλεπίδραση του χρήστη με το λογισμικό που χρησιμοποιεί προκειμένου να επιτύχει τους στόχους του. Τα προβλήματα αυτά είναι πιο άμεσα συσχετίσιμα με επιλογές του σχεδιαστή της εφαρμογής. Ενδεικτικά τέτοια προβλήματα και αιτίες τους, τα οποία είναι γνωστά συχνά και από εφαρμογές σε περιβάλλον επιφάνειας γραφείου, παρατίθενται στη συνέχεια. - Λάθη από μη διατήρηση συνέπειας Τα λάθη αυτά οφείλονται σε λειτουργίες του συστήματος που δεν εκτελούνται κατά το συνήθη τρόπο όπως γίνεται σε άλλα παρόμοια συστήματα ή και σε άλλες υπηρεσίες του ίδιου συστήματος. - Λάθη από μη κατάλληλη ανάδραση του συστήματος Τα λάθη αυτά αφορούν περιπτώσεις όπου το σύστημα δεν ενημερώνει επαρκώς τον χρήστη για ενέργειες που έχουν ήδη συμβεί. - Λάθη από μη κατάλληλη ή ανεπαρκή πλοηγησιμότητα του συστήματος Τα λάθη αυτά αφορούν αδυναμίες του συστήματος σχετικά με την δυνατότητα πλοήγησης που παρέχει μεταξύ των υπηρεσιών του - Λάθη από αδυναμία κατανόησης και αντίληψης εννοιών Τα λάθη αυτά αφορούν εννοιολογικές παρανοήσεις που οφείλονται σε ακατάλληλη σχεδίαση της διαθέσιμης πληροφορίας του συστήματος (conceptual problems) - Λάθη από μη κατάλληλη ορολογία εφαρμογής Τα λάθη αυτά αφορούν περιπτώσεις όπου η ορολογία χρησιμοποιείται στις υπηρεσίες της εξεταζόμενης εφαρμογής δεν είναι σαφής με αποτέλεσμα να προκαλεί σύγχυση στους χρήστες της (terminology problems). - Λάθη από ανεπαρκή υποστήριξη της εφαρμογής 106 Διδακτορική διατριβή

107 Κεφάλαιο 4 Τα λάθη αυτά αφορούν περιπτώσεις κατά τις οποίες το σύστημα δεν παρέχει επαρκή βοήθεια στους χρήστες του με αποτέλεσμα να μην μπορούν να ανακάμψουν εύκολα από αυτά. - Λάθη από ανεπαρκή διαισθητικότητα χρήσης Τα λάθη αυτά αφορούν περιπτώσεις κατά τις οποίες τα αντικείμενα του συστήματος δεν είναι κατάλληλα σχεδιασμένα έτσι ώστε να υπονοούν την χρήση τους (Affordance problems). - Λάθη από μη επαρκή ορατότητα επισκεψιμότητα αντικειμένων ή υπηρεσιών Τα λάθη αυτά αφορούν περιπτώσεις κατά τις οποίες τα αντικείμενα ή οι λειτουργίες του συστήματος δεν είναι διαθέσιμες - προσβάσιμες ή αμέσως ορατές τις στιγμές που τις χρειάζονται οι χρήστες (Visibility problems). [Β] Αλληλεπίδραση χρήστη-φορητής συσκευής Τα σφάλματα αυτά αφορούν προβλήματα εργονομικής σχεδίασης των φορητών συσκευών, καθώς και προβλήματα που οφείλονται στο λειτουργικό σύστημα, η στην όλη σχεδίαση της συσκευής, ανεξάρτητα της συγκεκριμένης εφαρμογής που αξιολογείται. Υπάρχει πλούσια βιβλιογραφία στην περιοχή αυτή για αναζήτηση καλών πρακτικών και συσχέτισης συμπεριφοράς του χρήστη στη σχεδίαση με τα χαρακτηριστικά της συσκευής που χρησιμοποιεί. Παραδείγματα προβλημάτων που μπορεί να παρατηρηθούν, αυτά που μπορεί να οφείλονται σε λανθασμένο χειρισμό πλήκτρων λόγω μη κατάλληλης τοποθέτησής τους ή λόγω μη υπονοούμενης χρήσης τους. Στην ίδια κατηγορία συμπεριλαμβάνονται τα προβλήματα που οφείλονται στους εναλλακτικούς τρόπους εισαγωγής δεδομένων των φορητών συσκευών (π.χ. δυσκολία χρήσης γραφίδας) καθώς και αυτά που οφείλονται στη χρήση πολλαπλών καναλιών επικοινωνίας (π.χ. αδυναμία αναγνώρισης φωνής κατά τη διάρκεια εκτέλεσης φωνητικών εντολών). [Γ] Αλληλεπίδραση χρηστών και -προσωπικού υποστήριξης χρηστών Διδακτορική διατριβή 107

108 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC Στην κατηγορία αυτή κατατάσσονται προβλήματα που παρατηρούνται στην οργάνωση της ομαδικής δραστηριότητας καθώς και στην συνεργασία και αλληλεπίδραση των μελών μιας ομάδας μέσω των ίδιων των συσκευών και των εφαρμογών. - Προβλήματα συνεργασίας μεταξύ των συμμετεχόντων Τα προβλήματα αυτά αφορούν τις περιπτώσεις κατά τις οποίες οι λειτουργίες ενός συνεργατικού συστήματος προκαλούν σύγχυση μεταξύ των συνεργαζόμενων μελών με αποτέλεσμα να μην επιτυγχάνεται η προσδοκώμενη συνεργασία. - Παρεμβάσεις προσωπικού υποστήριξης Συχνά η παρέμβαση των προσωπικού υποστήριξης (είτε κατόπιν πρόσκλησης, είτε με τη δική τους πρωτοβουλία) είναι ένδειξη σύγχυσης ή δυσλειτουργίας και μπορεί να συσχετιστεί με συγκεκριμένα προβλήματα ευχρηστίας. [Δ] Αλληλεπίδραση χρήστη-περιβάλλοντα χώρου Στην κατηγορία αυτή συμπεριλαμβάνονται κάθε τύπου προβλήματα που οφείλονται στον ίδιο τον περιβάλλοντα χώρο, ο οποίος δυσχεραίνει τη δραστηριότητα των χρηστών. Για παράδειγμα τέτοιου είδους προβλήματα αποτελούν ο θόρυβος, η δυσκολία κίνησης λόγω ακατάλληλης χωροταξικής διάρθρωσης του χώρου στον οποίο διεξάγεται η δραστηριότητα, επίδραση από άλλες δραστηριότητες που συνυπάρχουν και δραστηριοποιούνται στον ίδιο χώρο (επισκέπτες, παρατηρητές κλπ). [Ε] Αλληλεπίδραση συσκευής-εφαρμογής Τα προβλήματα αυτά αφορούν περιπτώσεις κατά τις οποίες εμφανίζεται πρόβλημα που οφείλεται σε λανθασμένη επιλογή των χρησιμοποιούμενων συσκευών. Παραδείγματα τέτοιων προβλημάτων μπορεί να είναι η μικρή ανάλυση απεικόνισης καθώς και ο περιορισμένος αριθμός χρωμάτων μίας συσκευής με αποτέλεσμα να μην μπορεί να λειτουργήσει ικανοποιητικά μια εφαρμογή που κάνει εκτεταμένη χρήση γραφικών όπως είναι σύγχρονες 108 Διδακτορική διατριβή

109 Κεφάλαιο 4 εφαρμογές πλοήγησης με τρισδιάστατους χάρτες. Άλλο παράδειγμα προβλήματος που ανήκει στην ίδια κατηγορία είναι η επιλογή συσκευών με μικρή αυτονομία ηλεκτρικής ενέργειας σε περιπτώσεις όπου η ολοκλήρωση τυπικών εργασιών κατά τη χρήση της αξιολογούμενης εφαρμογής απαιτεί αρκετό χρόνο. [Ζ] Αλληλεπίδραση συσκευής-περιβάλλοντα χώρου - Προβλήματα με φυσικό περιβάλλοντα χώρο Τα προβλήματα αυτά αφορούν κυρίως την επίδραση των φυσικών συνθηκών επάνω στις χρησιμοποιούμενες συσκευές. Παράδειγμα τέτοιων προβλημάτων αποτελεί ο ακατάλληλος φωτισμός (υπερβολικός ή ανεπαρκής), η ακατάλληλη θερμοκρασία, η υγρασία κλπ. - Προβλήματα αλληλεπίδρασης με τεχνολογικό εξοπλισμό Τα προβλήματα αυτά αφορούν δυσλειτουργίες στη χρήση των φορητών εφαρμογών που οφείλονται σε κακή συνεργασία των συσκευών με τον υπόλοιπο τεχνολογικό εξοπλισμό, όπως είναι αδυναμία σύνδεσης με server, μη αξιόπιστα ασύρματα δίκτυα, αδυναμία ανάγνωσης ψηφιακών καρτών κλπ. Οι άξονες του παραπάνω σχήματος κωδικοποίησης των προβλημάτων που παρατηρούνται έχουν οριστεί κατά τέτοιο τρόπο ώστε να είναι σε θέση να καλύψουν διάφορες περιπτώσεις αξιολόγησης χρήσης μίας τυπικής φορητής εφαρμογής. Ωστόσο, όλα τα συστήματα δεν είναι ίδια αλλά καθένα από αυτά διαφοροποιείται σε μικρό ή μεγαλύτερο βαθμό τόσο όσον αφορά τα εγγενή του χαρακτηριστικά αλλά και όσο αφορά το πλαίσιο χρήσης του. Είναι φανερό ότι σε πολλές περιπτώσεις το παραπάνω μοντέλο να πρέπει να διαφοροποιηθεί, ώστε να μπορεί να συσχετίσει με επιτυχία την παρατηρούμενη δραστηριότητα με τυχόν σφάλματα και αδυναμίες χρήσης του συστήματος. Η εφαρμογή του προτεινόμενου μοντέλου κωδικοποίησης των δεδομένων παρατήρησης των μικροεθνογραφικών μελετών μπορεί να βοηθήσει τους ειδικούς Διδακτορική διατριβή 109

110 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC ευχρηστίας να απομονώσουν συγκεκριμένους τύπους προβλημάτων και να μελετήσουν την επίδρασή τους στη χρήση της εξεταζόμενης εφαρμογής. Αυτό σημαίνει ότι ο ειδικός ευχρηστίας θα μπορεί να εστιάσει σε προβλήματα που αφορούν για παράδειγμα μόνο την αλληλεπίδραση χρήστη εφαρμογής ή σε προβλήματα που αφορούν τον περιβάλλοντα χώρο, να τα κατανοήσει καλύτερα και να προτείνει λύσεις επανασχεδιασμού. Παράλληλα η εμφάνιση των προβλημάτων αυτών μπορεί να ερμηνευτεί εστιάζοντας σε συγκεκριμένα χαρακτηριστικά των εμπλεκόμενων οντοτήτων. Για παράδειγμα, ο ειδικός ευχρηστίας μπορεί να μελετήσει την αλληλεπίδραση χρήστη συστήματος που εμπλέκει ηλικιωμένους χρήστες, ή την αλληλεπίδραση χρήστη συστήματος που διεξάγεται σε σκοτεινό τμήμα του χώρου και να εντοπίσει διαφορές που υπάρχουν όταν οι συνθήκες είναι διαφορετικές. Στη συνέχεια, και λαμβάνοντας υπόψη τα χαρακτηριστικά της μεθοδολογίας αξιολόγησης που προτάθηκε στα πλαίσια του κεφαλαίου αυτού, θα επιχειρηθεί να γίνει μια περιγραφή των χαρακτηριστικών ενός κατάλληλου εργαλείου που υποστηρίζει αυτή τη διαδικασία, και ειδικότερα τη φάση ανάλυσης των δεδομένων παρατήρησης. 4.4 Απαιτήσεις για υποστήριξη της διαδικασίας ανάλυσης δεδομένων μέσω κατάλληλου λογισμικού εργαλείου Η φάση της ανάλυσης δεδομένων είναι ιδιαίτερης σημασίας στον εντοπισμό προβλημάτων που αφορούν τη χρήση ενός υπολογιστικού συστήματος και απαιτεί την επαναληπτική και σχολαστική μελέτη των δεδομένων παρατήρησης. Στην περίπτωση της αξιολόγησης των φορητών εφαρμογών, η φάση της ανάλυσης αποτελεί μια διαδικασία ακόμη πιο σύνθετη. Όπως περιγράφηκε και στον πίνακα 4.1, για την επιτυχή καταγραφή της χρήσης τους, απαιτούνται πολυάριθμες τεχνικές συλλογής δεδομένων προκειμένου να καλυφθεί κάθε δυνατή λεπτομέρεια σχετικά με τα χαρακτηριστικά τους, τα χαρακτηριστικά των χρηστών, του χρησιμοποιούμενου εξοπλισμού, του χώρου αλλά και του πλαισίου διεξαγωγής της δραστηριότητας. Επίσης όπως αναφέρθηκε στην ενότητα 4.3, είναι σκόπιμο να εφαρμοστεί ένα μοντέλο κωδικοποίησης και κατηγοριοποίησης των ενδιαφερόντων 110 Διδακτορική διατριβή

111 Κεφάλαιο 4 συμβάντων, κάτι που απαιτεί μέσα επισημείωσης (annotation) τμημάτων συνεχών μέσων, όπως βίντεο και ήχος. Από τα ανωτέρω, προκύπτει η ανάγκη για εργαλεία που θα βοηθήσουν το έργο της ανάλυσης των δεδομένων αυτών, δηλαδή να βοηθήσουν τους ειδικούς ευχρηστίας να απομονώσουν συγκεκριμένους τύπους προβλημάτων τα οποία αποτελούν κρίσιμα σημεία της αλληλεπίδρασης με την εφαρμογή και τα οποία μπορούν περαιτέρω να μελετηθούν προκειμένου να καθοριστεί η συχνότητα και η κατανομή τους μεταξύ των χρηστών και να διασαφηνιστεί κατά πόσο επηρεάζουν τη χρήση του εξεταζόμενου υπολογιστικού συστήματος. Οι Hvannberg & Law (2007) υποστηρίζουν ότι η διαδικασία της ανάλυσης δεδομένων πρέπει να υποβοηθηθεί από μέσα τα οποία να παρέχουν: δυνατότητα μελέτης συγκεκριμένου τύπου προβλήματος με άμεση πρόσβαση σε πολλαπλά στιγμιότυπα της εμφάνισής του δυνατότητα εύκολης αναζήτησης, επισκόπησης και διόρθωσης των ήδη καταχωρημένων προβλημάτων (Gladwell, 2002). επιτάχυνση της διαδικασίας εντοπισμού και εισαγωγής προβλημάτων ώστε να μην είναι χρονοβόρα. δυνατότητα συγχώνευσης των αναλύσεων από πολλαπλούς διαφορετικούς αναλυτές με αποτέλεσμα την μελέτη ενός ενιαίου συνόλου προβλημάτων μέτρηση της αξιοπιστίας των μετρήσεων που σχετίζονται με τον εντοπισμό προβλημάτων (πόσοι αξιολογητές βρήκαν κάθε πρόβλημα). Προκειμένου να ολοκληρωθεί η διαδικασία της ανάλυσης με επιτυχία, απαιτούνται πολλά βήματα τα οποία περιλαμβάνουν την οργάνωση των πηγών παρατήρησης, την προσεκτική παρατήρηση της δραστηριότητας, την δομημένη οργάνωση της πληροφορίας που περιέχεται σε αυτή αλλά και την επεξεργασία της κατά τέτοιο τρόπο έτσι ώστε να αποκαλύπτονται σημαντικά στιγμιότυπα της αλληλεπίδρασης που δεν μπορούσαν να γίνουν ορατά από την πρώτη στιγμή (εικόνα 4.7). Τα παραπάνω βήματα συνιστούν τη διαδικασία της ανάλυσης των δεδομένων παρατήρησης. Διδακτορική διατριβή 111

112 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC Εικόνα 4.7. Συλλογή και ανάλυση δεδομένων κατά τη διενέργεια μικροεθνογραφικών μελετών της χρήσης των φορητών εφαρμογών. Προκειμένου τα αποτελέσματα της ανάλυσης να είναι χρήσιμα και να υποστηρίζουν αποτελεσματικά τον επανασχεδιασμό του συστήματος, κάθε ένα από τα παραπάνω βήματα πρέπει να γίνεται ιδιαίτερα προσεκτικά. Οι ανάγκες των ειδικών ευχρηστίας καθώς αναλύουν τα δεδομένα παρατήρησης, υποδεικνύουν και τις απαιτήσεις που πρέπει να πληρούνται ανά βήμα για την επιτυχή εξαγωγή των συμπερασμάτων. Γίνεται φανερό ότι πέρα από τις δυνατότητες που οφείλουν να παρέχουν τα μέσα ανάλυσης σύμφωνα με τις (Hvannberg & Law 2007), υπάρχουν πολλές απαιτήσεις που έχουν προκύψει εμπειρικά από ανάλυση δεδομένων παρατήρησης που προέρχονται από αλληλεπίδραση χρηστών με φορητές εφαρμογές. Οι απαιτήσεις αυτές έτσι όπως προκύπτουν ανά βήμα ανάλυσης περιγράφονται στη συνέχεια. Βήμα Οργάνωσης Δεδομένων - Υπάρχει η ανάγκη για συγχώνευση των πολλαπλών ετερογενών δεδομένων σε ομοειδείς μελέτες παρατήρησης και η δυνατότητα περαιτέρω οργάνωσής τους ανάλογα με τα χαρακτηριστικά των χρηστών που αλληλεπέδρασαν με 112 Διδακτορική διατριβή

113 Κεφάλαιο 4 την εφαρμογή ή τα χαρακτηριστικά του χώρου στον οποίο την χρησιμοποίησαν, οργάνωση ανά μελέτη και περίπτωση, όπως φαίνεται στην εικόνα 4.8. Με τον τρόπο αυτό θα παρέχεται η δυνατότητα σύγκρισης των προβλημάτων που παρατηρήθηκαν σε διαφορετικές ομάδες χρηστών ή σε διαφορετικούς χώρους χρήσης. Εικόνα 4.8. Ανάγκη για οργάνωση των πηγών παρατήρησης σε ομοειδείς μελέτες Βήμα Παρατήρησης Δεδομένων - Απαιτείται η ταυτόχρονη και συνδυαστική μελέτη των πηγών δεδομένων έτσι ώστε ο ειδικός ευχρηστίας να επωφελείται της συμπληρωματικής πληροφορίας που εμπεριέχεται σε καθεμία από αυτές. Εικόνα 4.9. Ανάγκη για διαχείριση και ταυτόχρονη προβολή των πηγών δεδομένων Διδακτορική διατριβή 113

114 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC Θέματα που αφορούν τόσο τα χαρακτηριστικά του χώρου, της χρήσης των συσκευών, της εξεταζόμενης εφαρμογής αλλά και της κίνησης και συμπεριφοράς των χρηστών μπορούν να αποκαλυφθούν από την παράλληλη παρατήρηση των πηγών. Κατά συνέπεια απαιτείται μηχανισμός αποθήκευσης και ευέλικτης διαχείρισης των δεδομένων ώστε να επιτυγχάνεται ταυτόχρονη συγχρονισμένη προβολής τους. Βήμα δομημένης οργάνωσης της περιεχόμενης στα δεδομένα πληροφορίας - Απαιτείται η δομημένη περιγραφή της παρατηρούμενης δραστηριότητας. Παρά τον πλούτο της πληροφορίας που περιέχεται στις πηγές πολυμέσων, η πληροφορία αυτή δεν είναι επεξεργάσιμη και εύκολα επαναπροσβάσιμη μιας και δεν είναι δομημένη. Υπάρχει η ανάγκη συνεχούς καταγραφής όλων των χαρακτηριστικών των οντοτήτων που συμμετέχουν στην παρατηρούμενη δραστηριότητα καθώς αυτή εξελίσσεται χρονικά (χρόνος, λεπτομερής περιγραφή περιβάλλοντος διεξαγωγής, χαρακτηριστικών χρηστών, χαρακτηριστικών συσκευών). Έτσι πέρα από τα μη μεταβλητά χαρακτηριστικά των εμπλεκόμενων οντοτήτων (π.χ. ηλικία χρήστη, γλώσσα εφαρμογής κλπ ) απαιτείται και η συνεχής καταγραφή των χαρακτηριστικών που μεταβάλλονται κατά τη διάρκεια της δραστηριότητας και που είναι: o ο χρόνος που λαμβάνει χώρα κάθε σημαντική παρατηρούμενη ενέργεια, o τα υποκείμενα τα οποία εμπλέκονται σε αυτή, o η ακριβής περιγραφή της ενέργειας, o τα εργαλεία που χρησιμοποιούνται για να επιτευχθεί η ενέργεια Βήμα επεξεργασίας και παρουσίασης δεδομένων - Υπάρχει η ανάγκη μηχανισμών που επιτρέπουν το σχολιασμό των δεδομένων καθώς και την ταξινόμησής τους ανά τύπο αλληλεπίδρασης και τύπο προβλήματος όπως περιγράφηκε στην ενότητα 4.3. Ο σχολιασμός των δεδομένων και η ταξινόμησή τους επιτρέπει την ευέλικτη προσπέλασή τους, και την εστιασμένη μελέτη τους ανά κατηγορία προβλήματος. 114 Διδακτορική διατριβή

115 Κεφάλαιο 4 - Υπάρχει η ανάγκη για μηχανισμούς εύκολης αναζήτησης και πρόσβασης σε πολύτιμη πληροφορία σε όποια πηγή δεδομένων και αν αυτή βρίσκεται. Ο αναλυτής θα πρέπει να έχει τη δυνατότητα να εντοπίζει εύκολα τα σημεία πληροφορίας που θέλει και να πλοηγείται μεταξύ των πηγών που τα περιέχουν. - Υπάρχει η ανάγκη φιλτραρίσματος των δεδομένων παρατήρησης. Μέσα σε αυτά υπάρχει πληροφορία που δεν οδηγεί κατ ανάγκη σε συμπεράσματα για την επιτυχή ή μη χρήση των εξεταζόμενων εφαρμογών. Πολλά από τα δεδομένα είτε δεν παρουσιάζουν ενδιαφέρον για τον ειδικό ευχρηστίας είτε σε πολλές περιπτώσεις αποτελούν θόρυβο στην διαδικασία της ανάλυσης μιας και δεν του επιτρέπουν να εστιάσει σε σημαντικούς, κατά την κρίση του, τύπους ενεργειών. Έτσι απαιτείται η δυνατότητα φιλτραρίσματος της παρατηρούμενης πληροφορίας ούτως ώστε οι σημαντικές ενέργειες να μεταφέρονται σε πρώτο πλάνο και να οδηγήσουν σε ασφαλή συμπεράσματα για τη χρήση του εξεταζόμενου συστήματος. Η διήθηση της πληροφορίας πρέπει να γίνεται με βάση τα επιμέρους χαρακτηριστικά των οντοτήτων. Ο αναλυτής για παράδειγμα έχει την ανάγκη να φέρει σε πρώτο πλάνο την πληροφορία που σχετίζεται με τη δραστηριότητα που συνέβη σε συγκεκριμένο τμήμα του χώρου και αφορά χρήστες με ειδικές ανάγκες. Εικόνα Διαδικασία εξαγωγής συμπερασμάτων από μελέτη πρωτογενών δεδομένων παρατήρησης Διδακτορική διατριβή 115

116 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC - Υπάρχει η ανάγκη για ταξινόμηση των πρωτογενών δεδομένων σε επεισόδια που συνιστούν τυχόν εργασίες που έχουν ανατεθεί στο χρήστη ή και στόχους που ο ίδιος έχει θέσει. Εικόνα Ταξινόμηση των πρωτογενών δεδομένων παρατήρησης σε σημαντικά επεισόδια Παράλληλα υπάρχει η ανάγκη ο ειδικός να μπορεί να περιδιαβαίνει χρονικά την παρατηρούμενη δραστηριότητα είτε σε επίπεδο στιγμιαίων ασυνείδητων ενεργειών είτε σε επίπεδο εργασιών είτε σε επίπεδο στόχων. - Υπάρχει η ανάγκη παρακολούθησης των διακριτών φάσεων ανάπτυξης της φορητής εφαρμογής και σύγκριση των προβλημάτων που παρατηρούνται στις φάσεις αυτές χρησιμοποιώντας κοινό σχήμα κωδικοποίησης των προβλημάτων. Εικόνα Ανάγκη σύγκρισης των προβλημάτων ανά φάση ανάπτυξης της εφαρμογής - Υπάρχει η ανάγκη για ποιοτική ανάλυση με ανασκόπηση των σχολιασμένων δεδομένων προκειμένου να μελετηθούν και να ερμηνευτούν τα προβλήματα 116 Διδακτορική διατριβή

117 Κεφάλαιο 4 ευχρηστίας βάσει των χαρακτηριστικών των χρηστών ή των χαρακτηριστικών του χώρου στον οποίο χρησιμοποιούν την εξεταζόμενη εφαρμογή. Εικόνα Ανασκοπική ποιοτική ανάλυση δεδομένων παρατήρησης - Υπάρχει η ανάγκη εναλλακτικών μορφών παρουσίασης και αναπαράστασης της πληροφορίας πέραν της μορφής που είναι καταγεγραμμένη στα πρωτογενή δεδομένα. Έτσι απαιτείται η οπτικοποίηση της πληροφορίας η οποία μπορεί να δώσει στον ειδικό ευχρηστίας την δυνατότητα εποπτικής μελέτης της δραστηριότητας και να τον βοηθήσει να εντοπίσει με μία σύντομη ματιά κρίσιμα σημεία και να εστιάσει περαιτέρω σε αυτά. - Υπάρχει η ανάγκη εξαγωγής στατιστικών στοιχείων που αφορούν τις ενέργειες της παρατηρούμενης δραστηριότητας. Με τον τρόπο αυτό δίνεται στον ειδικό η δυνατότητα να μελετήσει σχολαστικά τύπους προβλημάτων που παρουσιάζουν μεγάλη συχνότητα και να τα κατανοήσει καλύτερα. - Υπάρχει η ανάγκη για μηχανισμούς που επιτρέπουν τον αυτόματο εντοπισμό ολόκληρων ακολουθιών συμβάντων. Έτσι θα δίνεται η δυνατότητα στον ειδικό να εντοπίσει επαναλαμβανόμενες συμπεριφορές που συνιστούν τυχόν αδυναμία της χρήσης του εξεταζόμενου συστήματος. Οι παραπάνω απαιτήσεις έτσι όπως παρουσιάστηκαν ανά βήμα ανάλυσης μπορούν να οδηγήσουν τους αναλυτές σε ξεκάθαρα και σαφή συμπεράσματα της χρήσης των φορητών εφαρμογών, βασιζόμενοι στα χαρακτηριστικά των οντοτήτων που απαρτίζουν το σύστημα στο οποίο διεξάγεται η παρατηρούμενη δραστηριότητα. Κανένα από τα εργαλεία που περιγράφηκαν στο κεφάλαιο 3, δεν είναι σε θέση να καλύψει πλήρως το σύνολο των παραπάνω απαιτήσεων με αποτέλεσμα η Διδακτορική διατριβή 117

118 Η μεθοδολογία αξιολόγησης ευχρηστίας φορητών εφαρμογών MOBELIC εφαρμογή τους στην διαδικασία ανάλυσης να καθίσταται ανεπαρκής. Στο σημείο αυτό διαφαίνεται η ανάγκη για σχεδιασμό και ανάπτυξη νέων εργαλείων που καλύπτουν τις παραπάνω απαιτήσεις και μπορούν να βοηθήσουν τους ειδικούς ευχρηστίας στο έργο της αξιολόγησης φορητών εφαρμογών. Έτσι προκειμένου να υποστηριχθεί καλύτερα η επιτυχής αξιολόγηση της χρήσης των φορητών εφαρμογών, η παρούσα διατριβή προτείνει το σχεδιασμό ενός νέου εργαλείου κατάλληλου να υποστηρίξει την ομογενοποίηση και συνδυαστική μελέτη πολλαπλών ετερογενών δεδομένων παρατήρησης καθώς και την εφαρμογή κατάλληλου μοντέλου ανάλυσης στα συλλεχθέντα δεδομένα. Παράλληλα, ιδιαίτερη έμφαση δίνεται στις τεχνικές και στις λειτουργίες που πρέπει να ενσωματώνει, οι οποίες ανταποκρίνονται στις παραπάνω απαιτήσεις και οι οποίες το καθιστούν πολύτιμο βοηθό στην περίπτωση αξιολόγησης φορητών εφαρμογών. Ο σχεδιασμός του προτεινόμενου εργαλείου περιγράφεται αναλυτικά στο κεφάλαιο που ακολουθεί. 118 Διδακτορική διατριβή

119 Κεφάλαιο 5 Κεφάλαιο 5. Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων Στο κεφάλαιο αυτό περιγράφεται ο σχεδιασμός του ActivityLens, ενός νέου εργαλείου ανάλυσης δραστηριοτήτων που εμπλέκουν την αλληλεπίδραση χρηστών με φορητές εφαρμογές. Παράλληλα περιγράφονται οι βασικές λειτουργίες του ActivityLens έτσι όπως προέκυψαν από τις απαιτήσεις της ανάλυσης δεδομένων που συλλέγονται κατά την εφαρμογή της μεθοδολογίας MOBELIC. Διδακτορική διατριβή 119

120 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων 5.1 Εισαγωγή Στο προηγούμενο κεφάλαιο προτάθηκε η μεθοδολογία MOBELIC για την αξιολόγηση ευχρηστίας φορητών εφαρμογών. Όπως έγινε φανερό ο όγκος των δεδομένων παρατήρησης που προέρχονται από τις μελέτες αξιολόγησης που εμπλέκουν πραγματικούς χρήστες είναι ιδιαίτερα μεγάλος και η ανάλυση ιδιαίτερα επίπονη. Η αποτελεσματική αξιολόγηση χρήσης των φορητών εφαρμογών επιβάλει την κατάλληλη διαχείριση και επεξεργασία των συλλεχθέντων δεδομένων παρατήρησης ούτως ώστε να προκύψουν σαφείς παρατηρήσεις σχετικά με τις αδυναμίες των εφαρμογών αυτών. Ο στόχος αυτού του κεφαλαίου είναι η περιγραφή ενός πειραματικού περιβάλλοντος που καλύπτει τις απαιτήσεις ανάλυσης δεδομένων που περιγράφηκαν στο προηγούμενο κεφάλαιο. Το περιβάλλον αυτό σχεδιάστηκε και υλοποιήθηκε στα πλαίσια της έρευνας που περιγράφεται στη διατριβή αυτή. Το περιβάλλον αυτό ονομάζεται ActivityLens και επιχειρεί να καλύψει τις αδυναμίες των εργαλείων που παρουσιάστηκαν στην ενότητα 3.4. Κύριο χαρακτηριστικό του ActivityLens είναι η ομογενοποίηση και συνδυαστική μελέτη πολλαπλών ετερογενών δεδομένων που περιέχουν τόσο ποιοτικά όσο και ποσοτικά χαρακτηριστικά. 5.2 ActivityLens - ένα εργαλείο ανάλυσης δραστηριοτήτων Το ActivityLens αποτελεί ένα εργαλείο αξιολόγησης ευχρηστίας και είναι ειδικά σχεδιασμένο ώστε να διευκολύνει την παρατήρηση και ανάλυση δεδομένων που προέρχονται από τη μελέτη της αλληλεπίδρασης χρηστών με υπολογιστικά συστήματα (Fiotakis et al. 2007). Το εργαλείο αυτό σχεδιάστηκε και υλοποιήθηκε στα πλαίσια της έρευνας που περιγράφτηκε εδώ, στην αρχική του μορφή είχε πάρει το όνομα ColAT (Collaboration Analysis Tool) (Φιωτάκης 2004; Avouris et al. 2004; Avouris et al. 2005), ένα περιβάλλον σχεδιασμένο για ανάλυση δεδομένων βίντεο που περιγράφουν συνεργατικές εκπαιδευτικές δραστηριότητες, στην τελική του 120 Διδακτορική διατριβή

121 Κεφάλαιο 5 μορφή, ως ActivityLens είναι διαθέσιμο για έρευνα και μη εμπορική χρήση 6. Απευθύνεται σε ερευνητές που εκτελούν μελέτες παρατήρησης δραστηριοτήτων που σχετίζονται με διεπιφάνειες χρήσης και αναζητούν ένα κατάλληλο μέσο προκειμένου να εξάγουν πολύτιμη πληροφορία από ετερογενή δεδομένα πολυμέσων καθώς και αρχεία καταγραφής συμβάντων. Ο σχεδιασμός του έχει γίνει κατά τέτοιο τρόπο ώστε να μπορεί να βοηθήσει τους ειδικούς να μελετήσουν δεδομένα παρατήρησης που αφορούν την ατομική ή συλλογική χρήση συστημάτων που χρησιμοποιούνται σε εργαστηριακούς ή φυσικούς χώρους. Το ActivityLens είναι κατάλληλα σχεδιασμένο ώστε να υποστηρίξει την αξιολόγηση φορητών εφαρμογών, ενσωματώνοντας κατάλληλες λειτουργίες και χαρακτηριστικά. Ωστόσο μπορεί να υποστηρίξει επαρκώς και την αξιολόγηση ευχρηστίας εφαρμογών που προορίζονται για επιτραπέζια υπολογιστικά συστήματα. Εικόνα 5.1. Βασικά εργαλεία του περιβάλλοντος ActivityLens 6 Το εργαλείο αυτό είναι διαθέσιμο σήμερα από την ιστοσελίδα του εργαστηρίου Αλληλεπίδρασης Ανθρώπου-Υπολογιστή του Πανεπιστημίου Πατρών ελεύθερα για μη εμπορική χρήση Διδακτορική διατριβή 121

122 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων Στην εικόνα 5.1 φαίνεται η βασική σχεδίαση της κύριας οθόνης του ActivityLens. Στην οθόνη αυτή φαίνονται στα αριστερά 3 συνεχείς πηγές δεδομένων παρατήρησης Α ( ΜΜ Viewer 1, 2, 3) και το αντίστοιχο εργαλείο ελέγχου τους στη διάσταση του χρόνου Ε. Οι πηγές θα πρέπει να συγχρονιστούν ώστε ο έλεγχός τους να είναι εφικτός από ένα εργαλείου ελέγχου, μέσω του οποίου ο αναλυτής θα πρέπει να είναι σε θέση να μεταβεί σε χρονική στιγμή t 1 και να δει την κατάσταση εκείνη τη στιγμή με βάση όλες τις πηγές. Υπάρχει ακόμη ανάγκη για ένα γρήγορο τρόπο εισαγωγής επισημειώσεων, σχολίων ή συσχέτισης σημειώσεων, παρατηρήσεων, εικόνων σε κάποιο χρονικό σημείο. Για το σκοπό αυτό υπάρχει το εργαλείο Β το οποίο ενδεικτικά αναφέρεται ως Insert Problem Window. Με το εργαλείο αυτό είναι δυνατή η εισαγωγή παρατηρήσεων. Μια τυπική χρήση του είναι η εισαγωγή ενός σχολίου σχετικά με ένα πρόβλημα, το οποίο κατηγοριοποιείται σύμφωνα με ένα σχήμα κωδικοποίησης, όπως αυτό που αναφέρθηκε στην ενότητα 4.3. Τα σχόλια που εισάγονται με το εργαλείο Β σχετίζονται με τη διάσταση του χρόνου με χρονοσήμανση, έτσι μπορούν να παρουσιαστούν στο κύριο παράθυρο Γ, το οποίο έχει περιγραφεί ως Problem Instances window. Σε αυτό περιλαμβάνονται όλα τα σχόλια, συμβάντα, παρατηρήσεις κλπ, τα οποία έχουν ταξινομηθεί κατά χρονολογική σειρά. Στο ίδιο παράθυρο μπορεί να εμφανίζονται άλλα δομημένα δεδομένα, όπως εγγραφές από αρχεία συμβάντων που έχουν καταγραφεί από λογισμικά και έχουν χρονοσημανθεί. Απαραίτητη προϋπόθεση είναι οι χρονοσημάνσεις αυτών των δεδομένων να είναι συγχρονισμένες με αυτές των συνεχών πηγών, όπως για παράδειγμα αυτών που φαίνονται στα παράθυρα Α. Στην πραγματικότητα τα παράθυρα Α Ε και Γ είναι δύο διαφορετικοί μηχανισμοί με τα οποία μπορεί να επισκεφθεί ο αναλυτής την ίδια δραστηριότητα, στην Α-Ε μέσω των συνεχών μέσων, ενώ στην Γ μέσω των διακριτών μέσων. Η αντιστοίχιση των δύο θα πρέπει όμως να είναι απόλυτη, δηλαδή οποιαδήποτε κίνηση των συνεχών μέσων μέσω των χειριστηριών Ε θα πρέπει να μετακινήσει άμεσα το παράθυρο στα αντίστοιχα δεδομένα του Γ και το αντίθετο. Τέλος ένα εργαλείο που επιτρέπει την εστίαση σε επί μέρους συμβάντα της δραστηριότητας, είτε χρονικά (φάσεις ή εργασίες) είτε εννοιολογικά (κατηγορίες προβλημάτων, δρώντα υποκείμενα, κλπ) είναι το Φίλτρο Δ (filtering window). Μέσω αυτού είναι δυνατή η εμφάνιση μόνο ενός υποσυνόλου από τα διακριτά συμβάντα του Γ και εν τέλει μέσω αυτών η εστίαση σε υποσύνολο των συνεχών μέσων Α. 122 Διδακτορική διατριβή

123 Κεφάλαιο 5 Στόχος αυτής της αρχικής σχεδίασης είναι να δίνει με πολύ σύντομο τρόπο τη δυνατότητα στους ερευνητές που έχουν συγκεντρώσει πολλαπλές πηγές δεδομένων να καταχωρούν τα προβλήματα που παρατηρούν με πολύ εύκολο τρόπο. Αυτό σημαίνει ότι μέσω της σχεδίασης αυτής πρέπει να τους δίνεται τη δυνατότητα, παρατηρώντας τις πηγές, να επιλέγουν από ένα σύνολο ήδη ορισμένων προβλημάτων και να τα συσχετίζουν με τα σημεία της δραστηριότητας στα οποία συνέβησαν. Για αυτό στην αρχική οθόνη θα πρέπει να επιτρέπονται οι λειτουργίες που περιγράφτηκαν. Η σχεδίαση και οι λειτουργίες τους, οι οποίες πρέπει να υποστηριχθούν με άμεση προτεραιότητα φαίνονται στα παράθυρα της εικόνας 5.1. Αυτές είναι η ταυτόχρονη παρατήρηση των πηγών δεδομένων, ο μηχανισμός εισαγωγής των προβλημάτων ευχρηστίας σε μία λίστα στην οποία περιγράφονται με δομημένο τρόπο, καθώς και ο μηχανισμός επιλογής (φιλτράρισμα) των δεδομένων που επιθυμεί ο ερευνητής να βλέπει σε πρώτο πλάνο. Στην εικόνα 5.2 φαίνεται η υλοποίηση της σχεδίασης αυτής στο περιβάλλον του ActivityLens. Η κωδικοποίηση των παραθύρων της εικόνας 5.2 ακολουθεί την κωδικοποίηση που φαίνεται στην εικόνα 5.1 προκειμένου να φανεί η αντιστοιχία μεταξύ της σχεδίασης και της υλοποίησης των βασικών υπηρεσιών του ActivityLens. Ε Εικόνα 5.2. Κύρια οθόνη του περιβάλλοντος ActivityLens Διδακτορική διατριβή 123

124 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων Τα παράθυρα A αποτελούν τα παράθυρα προβολής των πολυμεσικών αρχείων που καταγράφηκαν κατά τη διάρκεια της αλληλεπίδρασης των χρηστών με την εξεταζόμενη εφαρμογή. Τα αρχεία αυτά είναι τα βίντεο που περιέχουν την οθόνη του συστήματος, τους διαλόγους των χρηστών και την αλληλεπίδραση με τον χώρο χρήσης. Ενώ το παράθυρο Ε περιέχει τα χειριστήρια ελέγχου των συνεχών αυτών μέσων (βλέπε εικόνα 5.2. Α ). Εικόνα 5.2. Α (λεπτομέρεια της 5.2) Τα παράθυρα συνεχών μέσων (ομάδα χρηστών στα αριστερά, η οθόνη του PDA που χρησιμοποιούν, στα δεξιά) και το παράθυρο ελέγχου τους Ε Το παράθυρο Β επιτρέπει την εισαγωγή των προβλημάτων που παρατηρούνται και την περιγραφή τους με δομημένο τρόπο. Φαίνεται στην εικόνα 5.2.Β η αυτόματη χρονοσήμανση του προβλήματος ή του σχολίου, καθώς και η δυνατότητα συσχέτισής του με Υποκείμενα (Actor), Εργαλείο ( Tool) καθώς και η κωδικοποίησή του σύμφωνα με μια προκαθορισμένη τυπολογία (Typology). Εικόνα 5.2. Β (λεπτομέρεια της 5.2) Το παράθυρο εισαγωγής προβλημάτων και σχολίων Β 124 Διδακτορική διατριβή

125 Κεφάλαιο 5 Εικόνα 5.2. Γ (λεπτομέρεια της 5.2) Το παράθυρο καταγεγραμμένων σχολίων/προβλημάτων ευχρηστίας, ταξινομημένων χρονικά, είναι δυνατή η χρωματική κωδικοποίησή τους. Το παράθυρο Γ αποτελεί το παράθυρο προβολής των καταγεγραμμένων προβλημάτων ευχρηστίας ή σχολίων του παρατηρητή κατά τη διάρκεια της αλληλεπίδρασης των χρηστών με την εξεταζόμενη εφαρμογή. Η πληροφορία που αφορά τη δραστηριότητα των υποκειμένων είναι σειριακά ταξινομημένη, σύμφωνα με τη χρονική ακολουθία των ενεργειών τους, και ακολουθεί το πρότυπο ενός λογιστικού φύλλου. Εικόνα 5.2. Δ (λεπτομέρεια της 5.2) Το παράθυρο φίλτρο-συμβάντων Το παράθυρο Δ είναι το παράθυρο που επιτρέπει την επιλεκτική προβολή δεδομένων (φιλτράρισμα) ώστε να βοηθήσει τον αναλυτή να εστιάσει καλύτερα στα ενδιαφέροντα συμβάντα της δραστηριότητας. Αυτό μπορεί να γίνει είτε με επιλογή Υποκειμένου (Actor), είτε Εργαλείου, είτε Τύπου προβλήματος, είτε με επιθυμητούς συνδυασμούς όλων αυτών, όπως φαίνεται στην εικόνα 5.2.Δ Διδακτορική διατριβή 125

126 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων Πέρα από τις λειτουργίες των παραθύρων της βασικής οθόνης ανάλυσης που μόλις περιγράφτηκαν, το ActivityLens, παρέχει ένα μεγάλο εύρος άλλων λειτουργιών για την παρουσίαση και ανάλυση των δεδομένων παρατήρησης. Έτσι επιτρέπει τον εύκολο χειρισμό των πολυμεσικών δεδομένων, την ευέλικτη μεταξύ τους πλοήγηση, την κωδικοποίηση και σχολιασμό των παρατηρούμενων ενεργειών, το φιλτράρισμα των ενεργειών και την επιλογή προβολής τους σε πρώτο πλάνο, την οπτικοποίηση μέσω πολλαπλών τρόπων αναπαράστασης των παρατηρούμενων ενεργειών και την εξαγωγή τους σε στατιστικά πακέτα ανάλυσης, τη δημιουργία αυτόματων περιγραφικών αναφορών των προβλημάτων χρήσης του εξεταζόμενου συστήματος κλπ. Οι λειτουργίες αυτές θα περιγραφούν αναλυτικότερα στις επόμενες ενότητες Χειρισμός ετερογενών πηγών δεδομένων Το ActivityLens επιτρέπει στους αναλυτές να χειρίζονται τα δεδομένα παρατήρησης των μικροεθνογραφικών μελετών με αρκετά ευέλικτο τρόπο. Παρέχει τη δυνατότητα οργάνωσης και συγχρονισμού των ετερογενών πηγών δεδομένων κατά τέτοιο τρόπο ώστε οι ειδικοί να τις χειρίζονται σαν ένα ενιαίο σύνολο δεδομένων, πλούσιο σε πληροφορία Οργάνωση δεδομένων παρατήρησης Το περιβάλλον ActivityLens αποθηκεύει τα αρχεία πολυμέσων που χρησιμοποιεί, για κάθε μελέτη αξιολόγησης ευχρηστίας, σε Έργα (projects), τα οποία με τη σειρά τους οργανώνονται σε Μελέτες (study). Αυτό σημαίνει ότι όλη η πληροφορία που συλλέγεται από τις προτεινόμενες τεχνικές καταγραφής δεδομένων, κατά τη διάρκεια των πειραμάτων παρατήρησης, περικλείεται μέσα σε ένα Project. Ο ερευνητής χρησιμοποιώντας το ActivityLens μπορεί να επιλέξει το κατάλληλο πείραμα που θέλει να μελετήσει ανοίγοντας το αντίστοιχο project και να δει τα αρχεία πολυμέσων που αναφέρονται σε αυτό προκειμένου να προχωρήσει σε περαιτέρω ανάλυσή τους. Μία Μελέτη αποτελείται από ένα σύνολο Projects στα οποία χρήστες με ομοειδή χαρακτηριστικά αλληλεπιδρούν με ένα υπολογιστικό σύστημα έχοντας κοινούς στόχους. Παράλληλα δίνεται η δυνατότητα οργάνωσης των δεδομένων ανάλογα με τα χαρακτηριστικά των χρηστών ή του χώρου στον οποίο έγινε η μελέτη. Έτσι τα δεδομένα μιας μελέτης μπορούν να οργανωθούν ανάλογα με διαφορετικές 126 Διδακτορική διατριβή

127 Κεφάλαιο 5 κατηγορίες χρηστών (User Profiles). Στην εικόνα 5.3 φαίνεται ο τρόπος με τον οποίο οργανώνονται τα δεδομένα παρατήρησης μέσω του ActivityLens. Στο προφίλ χρηστών Lab Experiment έχουν αντιστοιχηθεί 3 Έργα: arieta_tablet_pc_aggelos, arieta_tablet_pc_leonidas, arieta_tablet_pc_leuteris που αντιστοιχούν σε έργα, δηλαδή αναλύσεις από διαφορετικούς αξιολογητές. Εικόνα 5.3. Η δομή της οργάνωσης των δεδομένων μέσω του ActivityLens Συγχρονισμός δεδομένων παρατήρησης Στα πλαίσια ενός Project, είναι απαραίτητος ο συγχρονισμός των δεδομένων, ώστε να είναι εφικτή η περιήγηση σε αυτά με ενιαίο τρόπο. Η διαδικασία αυτή επιτυγχάνεται με πολύ ευέλικτο και εύκολο τρόπο, χρησιμοποιώντας απευθείας χειρισμό των αρχείων συνεχών μέσων (βίντεο, ήχος). Δίνεται στους ειδικούς ευχρηστίας, με αυτό τον τρόπο, η δυνατότητα να προβάλλουν ταυτόχρονα και να μελετήσουν την πληροφορία που περιέχεται στα δεδομένα παρατήρησης. Έτσι οι ειδικοί μπορούν να παρακολουθούν την καταγεγραμμένη δραστηριότητα και να την κατευθύνουν είτε με βάση το βίντεο που περιγράφει τη συνολική δραστηριότητα, είτε με βάση το βίντεο που περιέχει την οθόνη της φορητής συσκευής, κλπ είτε τέλος μέσω των ενεργειών που έχουν καταγραφεί στο αρχείο συμβάντων logfile Ανάλυση δεδομένων παρατήρησης μέσω ActivityLens Η ανάλυση των δεδομένων παρατήρησης συνεπάγεται τη λεπτομερή και επαναληπτική μελέτη της παρατηρούμενης δραστηριότητας με στόχο την περαιτέρω σε βάθος κατανόηση των αλληλεπιδράσεων που λαμβάνουν χώρα κατά τη χρήση των εξεταζόμενων συστημάτων. Η περιγραφή των παρατηρούμενων συμβάντων γίνεται ακολουθώντας μια δομή που επιτρέπει την ποσοτική ανάλυση και οπτικοποίηση της δραστηριότητας στη Διδακτορική διατριβή 127

128 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων συνέχεια. Ως συμβάντα ορίζονται συνήθως ενέργειες που έχουν προκληθεί από τους χρήστες και είναι άξιες καταγραφής. Τα συμβάντα αυτά περιγράφονται με βάση το OCAF (Object-oriented Collaboration Analysis Framework), ένα πλαίσιο μοντελοποίησης της δραστηριότητας (Avouris et al. 2002, Avouris et al.,2003). Το μεθοδολογικό πλαίσιο OCAF έχει μέχρι σήμερα χρησιμοποιηθεί κυρίως για σκοπούς μελέτης και ανάλυσης συνεργατικών δραστηριοτήτων (Komis et al. 2002), και είναι βασισμένο στη Θεωρία της Δραστηριότητας. Το μεθοδολογικό αυτό πλαίσιο θεωρεί ότι η παρατηρούμενη δραστηριότητα μπορεί να οριστεί σύμφωνα με τις ακόλουθες τέσσερις διαστάσεις. - τη διάσταση του χρόνου αφορά τη χρονική στιγμή κατά την οποία λαμβάνει χώρα κάθε σημαντική ενέργεια της παρατηρούμενης δραστηριότητας - τη διάσταση των υποκειμένων αφορά τους συμμετέχοντες που αλληλεπιδρούν με εφαρμογές και συμμετέχουν στην συνολική δραστηριότητα - τη διάσταση των τεχνουργημάτων αφορά τα χρησιμοποιούμενα τεχνουργήματα (εργαλεία) τα οποία χρησιμοποιούν οι συμμετέχοντες, τα οποία μπορεί να είναι συσκευές ή και τμήματα της εφαρμογής - τη διάσταση του τύπου των ενεργειών αφορά τον τύπο της ενέργειας που λαμβάνει χώρα και προϋποθέτει την ύπαρξη κατάλληλου σχήματος (μοντέλου) κωδικοποίησης που διευκολύνει τους ειδικούς να οργανώσουν την παρατηρούμενη δραστηριότητα. Στη συνέχεια ακολουθεί παράδειγμα του τρόπου με τον οποίο το ActivityLens περιγράφει μια ενέργεια κατά OCAF. Η περιγραφή γίνεται μέσα σε xml. <event> <time /> <time2>00 : 26 : 02</time2> <user /> <tool /> <action>kids from both Groups agree that they found the favorite excibit</action> <attribute /> <typology>collaboration</typology> <comments /> <added_by_user>true</added_by_user> 128 Διδακτορική διατριβή

129 Κεφάλαιο 5 <id_event>27</id_event> </event> Η καταγραφή της παρατηρούμενης δραστηριότητας σύμφωνα με το OCAF γίνεται είτε με αυτόματο τρόπο ή χειροκίνητα. Αυτόματη καταγραφή γίνεται από συστήματα στα οποία έχει ενσωματωθεί η δυνατότητα καταγραφής κάποιων συμβάντων (logging). Η καταγραφή αυτή συνήθως γίνεται από ειδικά λογισμικά καταγραφής ή από πρωτότυπα εφαρμογών στις οποίες έχει ενσωματωθεί η δυνατότητα παραγωγής ιστορικού αρχείου συμβάντων κατά τη χρήση τους. Και στις δύο αυτές περιπτώσεις, η απαίτηση είναι το ιστορικό αυτό αρχείο ή το αρχείο καταγραφής να περιλαμβάνει στοιχεία για τις παραπάνω διαστάσεις του μοντέλου OCAF. Δηλαδή την ταυτότητα του υποκειμένου και τον τύπο της ενέργειάς του, το εργαλείο που αυτό χρησιμοποίησε καθώς και τη χρονική στιγμή της καταγραφής. Δεν είναι πάντα εύκολο να είναι γνωστά όλα τα παραπάνω. Για παράδειγμα πολλά συστήματα καταγραφής δεν είναι σε θέση να προχωρήσουν πέραν του επιπέδου των πληκτρολογήσεων, δηλαδή μπορεί να καταγράψουν το γεγονός ότι ο χρήστης Χ τη χρονική στιγμή t πάτησε τα πλήκτρο θ όμως αυτό έχει μικρή σημασία για την καταγραφή της ίδιας της δραστηριότητας. Θα πρέπει να αποδοθεί ειδικότερο νόημα το οποίο μπορεί να προκύψει από τα συμφραζόμενα, όπως για παράδειγμα ότι ο χρήστης Χ τη χρονική στιγμή t ολοκλήρωσε την αποστολή ενός μηνύματος sms στη χρήστη Υ με το εξής περιεχόμενο: «θέλεις να συναντηθούμε απόψε;». Ακόμη είναι σύνηθες η τυπολογία των συμβάντων που καταγράφονται να αποφασίζεται σε ύστερο χρόνο, άρα να μην είναι γνωστή κατά τη στιγμή που συμβαίνει και καταγράφεται το συμβάν. Ακόμη, το εργαλείο που χρησιμοποιείται πολλές φορές δεν είναι γνωστό σε ποιο επίπεδο αφαίρεσης χρειάζεται να καταγραφεί, είναι για παράδειγμα εργαλείο η φορητή συσκευή, ή η υπηρεσία sms που βρίσκεται στη φορητή συσκευή; Τέλος ως προς το συντακτικό επίπεδο, τα δεδομένα καταγραφής είναι απαραίτητο να λάβουν τη μορφή που απαιτεί η κωδικοποίηση του ActivityLens. Στην περίπτωση της χειροκίνητης καταγραφής συμβάντων, ο αναλυτής παρατηρεί ένα συνεχές μέσο, όπως ένα βίντεο, και όταν ανακαλύπτει ένα συμβάν άξιο Διδακτορική διατριβή 129

130 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων προσοχής, τότε, με χρήση των εργαλείων του ActivityLens, καταγράφεται το συμβάν με τον καθορισμό της ταυτότητας του Υποκειμένου, του Εργαλείου, του τύπου της ενέργειας ενώ η χρονοσήμανση παράγεται συνήθως αυτόματα από το ίδιο το εργαλείο και εξαρτάται από το σημείο του συνεχούς αρχείου στο οποίο επισυνάπτεται το συμβάν. Ακόμη και σε αυτή την περίπτωση της χειροκίνητης εισαγωγής συμβάντων, απαιτείται προετοιμασία, η οποία περιλαμβάνει τον ορισμό μιας τυπολογίας (coding scheme), τον καθορισμό της ταυτότητας όλων των υποκειμένων καθώς και των εργαλείων που χρησιμοποιούν. Τόσο η διαδικασία της προετοιμασίας της ανάλυσης όσο και τα βήματα που ακολουθούν και αφορούν την ίδια την ανάλυση, και επιτυγχάνονται μέσα από τις λειτουργίες του εργαλείου, περιγράφονται στις ενότητες που ακολουθούν Προετοιμασία ανάλυσης δεδομένων παρατήρησης Η φάση της προετοιμασίας αποτελεί την εισαγωγική φάση ανάλυσης των συλλεχθέντων δεδομένων. Στη φάση αυτή οι ειδικοί ευχρηστίας ορίζουν με τη βοήθεια του ActivityLens τα στοιχεία που ήδη γνωρίζουν όπως είναι οι συμμετέχοντες της δραστηριότητας και τα εργαλεία (αντικείμενα) που χρησιμοποίησαν. Ορισμός των συμμετεχόντων Οι ειδικοί ευχρηστίας έχουν τη δυνατότητα να ορίσουν τα υποκείμενα της δραστηριότητας και να περιγράψουν τους ρόλους τους. Οι συμμετέχοντες μπορεί να είναι είτε οι χρήστες που αλληλεπέδρασαν απευθείας με το εξεταζόμενο σύστημα είτε οι παρατηρητές είτε τα άτομα που κατευθύνουν τη δραστηριότητα ή ακόμη και οι παρευρισκόμενοι στο χώρο της δραστηριότητας που μπορεί να επηρεάζουν τη συμπεριφορά των χρηστών (π.χ. επισκέπτες κλπ). Ορισμός των χρησιμοποιούμενων εργαλείων Το ActivityLens δίνει τη δυνατότητα ορισμού και περιγραφής των εργαλείων που χρησιμοποιήθηκαν κατά τη διάρκεια δραστηριότητας με το εξεταζόμενο σύστημα. Τα εργαλεία αυτά μπορούν να είναι είτε χειροπιαστά αντικείμενα είτε υπηρεσίες του εξεταζόμενου συστήματος ή ακόμα και νοητικές λειτουργίες που βοήθησαν στην ολοκλήρωση επιμέρους στόχων κατά την αλληλεπίδραση χρήστη συστήματος. 130 Διδακτορική διατριβή

131 Κεφάλαιο Παρατήρηση και ταξινόμηση των δεδομένων παρατήρησης Η φάση αυτή περιλαμβάνει την επαναληπτική παρατήρηση των συλλεχθέντων δεδομένων και την ταξινόμησή (κατηγοριοποίησή) τους ώστε να μπορούν να αναλυθούν εύκολα και να είναι άμεσα προσβάσιμα στους ειδικούς ευχρηστίας. Παρατήρηση δεδομένων Το περιβάλλον ActivityLens επιτρέπει την ταυτόχρονη προβολή των αρχείων πολυμέσων που περιγράφουν μια δραστηριότητα σε ξεχωριστά παράθυρα. Έτσι οι αναλυτές μπορούν να παρακολουθούν ταυτόχρονα την οθόνη των εξεταζόμενων συστημάτων και τη συνολική δραστηριότητα (κινήσεις, γκριμάτσες κλπ) των χρηστών στο χώρο. Η λειτουργία αυτή είναι ιδιαίτερης σημασίας στην περίπτωση των φορητών εφαρμογών μιας και δίνει τη δυνατότητα στους αναλυτές να εστιάσουν τόσο στα βασικά στοιχεία της αλληλεπίδρασης χρήστη συστήματος όσο και σε εκείνα που προέρχονται από τον περιβάλλοντα χώρο και φαίνεται να επιδρούν στην επιτυχή χρήση τους. Στην εικόνα 5.2 φαίνεται η δυνατότητα ταυτόχρονης προβολής των δεδομένων παρατήρησης. Οι αναλυτές μπορούν να αναπαράγουν επαναληπτικά τα δεδομένα έως ότου εντοπίσουν κρίσιμα, κατά την άποψή τους, σημεία όσον αφορά τη χρήση των εξεταζόμενων συστημάτων. Κάθε φορά που εντοπίζουν ένα τέτοιο σημείο μπορούν να διακόψουν τη διαδικασία προβολής και να εισάγουν ένα νέο συμβάν (σύμφωνα με OCAF) που το περιγράφει στο αρχείο καταγραφής ενεργειών. Επισημείωση δεδομένων παρατήρησης Το ActivityLens επιτρέπει την επισημείωση (annotation) των συλλεχθέντων δεδομένων, κωδικοποιώντας τα ενδιαφέροντα συμβάντα, χρησιμοποιώντας ένα κατάλληλο σχήμα κωδικοποίησης ενεργειών. Επίσης είναι δυνατή και η οργάνωση των δεδομένων σε ομάδες συμβάντων ή περιόδους δραστηριότητας που συνιστούν εργασίες και καθήκοντα που εκφράζουν στόχους που έχουν θέσει οι χρήστες κατά τη διάρκεια της δραστηριότητας. - Κωδικοποίηση Το ActivityLens επιτρέπει την επισημείωση των δεδομένων παρατήρησης. Μέσω της διαδικασίας αυτής, οι ειδικοί ευχρηστίας εφαρμόζουν στα δεδομένα ένα σχήμα Διδακτορική διατριβή 131

132 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων κωδικοποίησης με συστηματικό και συνεπή τρόπο (Mason, 2003). Το ActivityLens υποστηρίζει τους αναλυτές να ορίσουν νέα ή να ενσωματώσουν ήδη υπάρχοντα μοντέλα ανάλυσης (σχήματα κωδικοποίησης) ανάλογα με τη φύση της δραστηριότητας που έχουν να μελετήσουν. Στη συνέχεια αφού μελετήσουν τις καταγεγραμμένες ενέργειες, τις συσχετίζουν με τις κατηγορίες του αντίστοιχου μοντέλου ανάλυσης. Στην περίπτωση αξιολόγησης φορητών εφαρμογών, έχει προταθεί ένα σχήμα κωδικοποίησης που στο ανώτερο επίπεδό του έχει ορίσει άξονες τυπικών αλληλεπιδράσεων που περιγράφτηκαν στην ενότητα Η εφαρμογή του μοντέλου αυτού μέσα από το ActivityLens μπορεί να συνεισφέρει σημαντικά στους ειδικούς ευχρηστίας, βοηθώντας τους να κατηγοριοποιήσουν τις παρατηρούμενες ενέργειες και να τις συσχετίσουν με συγκεκριμένους τύπους αλληλεπίδρασης που λαμβάνουν χώρα κατά τη διάρκεια της δραστηριότητας. Με άλλα λόγια τους επιτρέπει να κωδικοποιήσουν τα ενδιαφέροντα συμβάντα που καταγράφονται στα πλαίσια των μικροεθνογραφικών μελετών με ένα κοινό τρόπο ταξινόμησης που επιτρέπει την εύκολη πρόσβαση σε συγκεκριμένους τύπους προβλημάτων και την επαναληπτική τους μελέτη. - Ομαδοποίηση συμβάντων σε εργασίες και στόχους Μία σημαντική δυνατότητα που παρέχει το περιβάλλον ActivityLens σχετίζεται με το ότι υποστηρίζει τη δημιουργία πολυεπίπεδων όψεων παρακολούθησης της δραστηριότητας που λαμβάνει μέρος κατά τη διάρκεια των μικροεθνογραφικών μελετών. Ο αναλυτής μπορεί να ομαδοποιήσει χρονικά διαδοχικά ή μη διαδοχικά συμβάντα. Κάθε ομάδα συμβάντων μπορεί να συσχετιστεί με μια νοηματοδοτημένη εργασία (task) ενός ή περισσότερων χρηστών. Ένα εναλλακτικό ενδεχόμενο είναι, σε περίπτωση που δεν έχει γίνει η καταγραφή των σημαντικών συμβάντων και χρειάζεται να καταγραφούν οι εργασίες, ο αναλυτής μπορεί στο πρώτο επίπεδο να ορίσει το συμβάν έναρξη εργασίας Τ1 και το συμβάν τέλος εργασίας Τ1 στη συνέχεια δε στο δεύτερο επίπεδο να οριστεί η ομάδα αυτή (και έμμεσα ολόκληρη η διάρκεια μεταξύ τους, ως Εργασία Τ Διδακτορική διατριβή

133 Κεφάλαιο 5 Η διαδικασία αυτή μπορεί να γίνει επαναληπτικά σε βάθος μέχρι τριών επιπέδων, όπου το κάθε επίπεδο περιλαμβάνει εργασίες ή στόχους που υλοποιούνται από ομάδες ενεργειών ή συμβάντων του προηγούμενου επιπέδου. Εικόνα 5.4. Παρακολούθηση της δραστηριότητας μέσω πολυεπίπεδων όψεων Σε μια άλλη περίπτωση, ο αναλυτής έχει τη δυνατότητα να πάρει την πληροφορία του αρχείου καταγραφής ενεργειών που περιλαμβάνει ήδη στοιχειώδεις κινήσεις του υποκειμένου (και κατά κανόνα ασυνείδητες ενέργειες), να την επισημειώσει και να χτίσει ένα υψηλότερο, πιο γενικό και αφαιρετικό επίπεδο περιγραφής μιας ομάδας συμβάντων. Το επίπεδο αυτό, που είναι το δεύτερο στην ιεραρχία, ονομάζεται και Action ή Tasks Level (το οποίο αφορά στην ενσυνείδητη δράση του υποκειμένου που καθοδηγείται από συγκεκριμένους στόχους). Το τρίτο επίπεδο που είναι και το υψηλότερο ιεραρχικά ονομάζεται Activity ή Goals Level (η δραστηριότητα που κατευθύνεται από κίνητρα) και περιγράφει τους γενικότερους στόχους που έχει θέσει το υποκείμενο ή τα υποκείμενα. Η δυνατότητα της πολυεπίπεδης περιγραφής και προβολής της δραστηριότητας μέσα από το ActivityLens φαίνεται παραστατικά στην εικόνα 5.4. Διδακτορική διατριβή 133

134 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων Ο αναλυτής μπορεί να προβάλλει και να αναπαράγει τη δραστηριότητα από όποιο επίπεδο αυτός επιθυμεί. Η δυνατότητα αυτή της παρακολούθησης από όλα τα επίπεδα, καθιστά το ActivityLens ένα ισχυρό εργαλείο ανάλυσης δραστηριοτήτων, αφού υποστηρίζει σε βάθος την κατανόηση και ερμηνεία των παρατηρούμενων ενεργειών των υποκειμένων Επεξεργασία επισημειωμένων δεδομένων παρατήρησης Η φάση αυτή περιλαμβάνει την επεξεργασία των επισημειώσεων της δραστηριότητας και υλοποιείται μέσα από κατάλληλες τεχνικές ανάλυσης που παρέχει το ActivityLens όπως το φιλτράρισμα των ενεργειών, την οπτικοποίηση της πληροφορίας των πολυεπίπεδων όψεων, τη στατιστική ανάλυση των ενεργειών καθώς και άλλες που περιγράφονται αναλυτικά στις επόμενες ενότητες. Φιλτράρισμα των επισημειωμένων δεδομένων Το περιβάλλον ActivityLens επιτρέπει την επιλεκτική προβολή των επισημειωμένων δεδομένων και μεταφορά τους σε πρώτο πλάνο. Στην εικόνα 5.5 που ακολουθεί φαίνεται το παράθυρο του φιλτραρίσματος των ενεργειών των υποκειμένων. Ο αναλυτής μπορεί να σχηματίσει με απευθείας χειρισμό κριτήρια αναζήτησης βασιζόμενος είτε στα υποκείμενα, είτε στα εργαλεία, είτε στους τύπους των συμβάντων κατά τη διάρκεια της παρατηρούμενης δραστηριότητας και να αναδείξει τις ακολουθίες των συμβάντων που εκείνος επιθυμεί. Εικόνα 5.5. Παράθυρο επιλεκτικής προβολής σχολιασμένων δεδομένων Η λειτουργία αυτή είναι ιδιαίτερα χρήσιμη και δίνει στον αναλυτή τη δυνατότητα να εστιάσει σε συγκεκριμένους τύπους και ακολουθίες συμβάντων που παρουσιάζουν ιδιαίτερο ενδιαφέρον παραλείποντας έτσι κάποια άλλα. 134 Διδακτορική διατριβή

135 Κεφάλαιο 5 Η λειτουργία του φιλτραρίσματος είναι ιδιαίτερα σημαντική στην περίπτωση της αξιολόγησης φορητών εφαρμογών. Σε συνδυασμό με τους άξονες του προτεινόμενου μοντέλου ανάλυσης, βοηθάει τους ερευνητές να εστιάσουν σε συγκεκριμένους τύπους αλληλεπίδρασης και να εντοπίσουν έτσι προβλήματα που δεν θα ήταν ορατά σε άλλη περίπτωση. Για παράδειγμα ο αναλυτής μπορεί χρησιμοποιώντας τη λειτουργία του φιλτραρίσματος να απομονώσει και να μελετήσει μονάχα τις ενέργειες που έγιναν από την «Ομάδα1» των χρηστών και που σχετίζονται μόνο με αλληλεπίδραση μεταξύ αυτών και του περιβάλλοντα χώρου. Οπτικοποίηση των δεδομένων Το περιβάλλον ActivityLens παρέχει στους αναλυτές τη δυνατότητα οπτικοποίησης των επισημειώσεων της δραστηριότητας μέσω πολλαπλών μορφών οπτικών αναπαραστάσεων. Σε αντίθεση με άλλα περιβάλλοντα ανάλυσης, οι αναπαραστάσεις αυτές δεν είναι απλώς στατικά διαγράμματα αλλά πρόκειται για δυναμικά διασυνδεδεμένες όψεις οι οποίες αλληλεπιδρούν με τα παράθυρα προβολής των πολυμεσικών αρχείων και τις επισημειωμένες από τον εκάστοτε αναλυτή ενέργειες. Αυτό σημαίνει ότι ο αναλυτής έχει τη δυνατότητα, μέσω των οπτικών αναπαραστάσεων να κατευθύνει την πλοήγηση του βίντεο και να εστιάσει σε κρίσιμα σημεία της παρατηρούμενης δραστηριότητας. Μέσω της δυνατότητας αυτής προβάλλεται καλύτερα και η φιλοσοφία του ActivityLens που θέλει να χειρίζεται τα συλλεχθέντα δεδομένα, μέσω πολλαπλών εναλλακτικών τρόπων, αντιμετωπίζοντάς τα ως ένα συμπαγές σύνολο πληροφορίας. Στην εικόνα που ακολουθεί φαίνεται ένα παράδειγμα μίας από τις οπτικές αναπαραστάσεις που παράγεται μέσω του ActivityLens. Πιο συγκεκριμένα, αναπαρίσταται η εναλλαγή των δράσεων μεταξύ τριών συνεργαζόμενων χρηστών στον άξονα του χρόνου. Το συγκεκριμένο διάγραμμα αποτελεί έναν δείκτη συμμετρίας των δράσεων των χρηστών και είναι ιδιαίτερα χρήσιμο σε περιπτώσεις όπου ενδιαφέρει η μελέτη της μεταξύ τους αλληλεπίδρασης και συνεργασίας. Διδακτορική διατριβή 135

136 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων Εικόνα 5.6. Οπτική αναπαράσταση εναλλαγής δράσεων των χρηστών στον άξονα του χρόνου Στην εικόνα 5.7 φαίνεται ένα άλλο παράδειγμα οπτικής απεικόνισης των ενεργειών των υποκειμένων. Εικόνα 5.7. Οπτική αναπαράσταση τύπων ενεργειών στον άξονα του χρόνου 136 Διδακτορική διατριβή

137 Κεφάλαιο 5 Πιο συγκεκριμένα αναπαρίστανται οι τύποι των ενεργειών των χρηστών στον άξονα του χρόνου καθώς και οι χρήστες οι οποίοι συνεργαζόμενοι συνέβαλλαν στην ολοκλήρωση των επιμέρους στόχων. Μάλιστα στις δύο αναπαραστάσεις της εικόνας 5.7 αναπαρίσταται η ίδια δραστηριότητα σε διαφορετική κλίμακα. Κάθε τύπος ενέργειας αναπαρίσταται με μία μπάρα διαφορετικού χρώματος της οποίας το μήκος φανερώνει τη διάρκεια της ενέργειας. Η οπτική αυτή απεικόνιση εκτός του ότι βοηθάει τον αναλυτή να παρακολουθήσει με γραφικό τρόπο την εξέλιξη των ενεργειών των συμμετεχόντων, επιτρέπει την παρακολούθηση των παράλληλων δράσεων στη περίπτωση συνεργασίας. Στατιστική ανάλυση δεδομένων παρατήρησης Το ActivityLens παρέχει τη δυνατότητα στατιστικής επεξεργασίας των δεδομένων κάθε μελέτης. Έτσι οι αναλυτές μπορούν να δουν αναλυτικά ποσοτικές πληροφορίες τόσο σε πίνακες όσο και σε γραφήματα που αφορούν τους χρήστες, τους τύπους των ενεργειών τους αλλά και τα εργαλεία που χρησιμοποίησαν κατά τη διάρκεια της αλληλεπίδρασής τους με ένα σύστημα. Παράλληλα παρέχεται η δυνατότητα εξαγωγής των ήδη σχολιασμένων δεδομένων σε άλλα περιβάλλοντα ανάλυσης, όπως το Microsoft Excel, για περαιτέρω επεξεργασία και ανάλυση. Σύγκριση προβλημάτων ευχρηστίας σε διαφορετικές φάσεις ανάπτυξης της εφαρμογής Το περιβάλλον ActivityLens επιτρέπει την ενσωμάτωση πολλαπλών δεδομένων ανάλυσης από πολλούς διαφορετικούς αξιολογητές και την σύγκριση των προβλημάτων ευχρηστίας που έχουν εντοπίσει σε διαφορετικά στάδια ανάπτυξης της εφαρμογής. Με τον τρόπο αυτό δίνει την δυνατότητα παρακολούθησης της προόδου στην αξιολόγηση και τον επανασχεδιασμό της εφαρμογής κατά τον κύκλο ανάπτυξής της. Παρουσίαση δεδομένων παρατήρησης Το περιβάλλον ActivityLens παρέχει στους αναλυτές τη δυνατότητα επιλεκτικής μελέτης των ήδη σχολιασμένων δεδομένων. Ο αναλυτής, μέσω κατάλληλα σχεδιασμένων λειτουργιών, έχει τη δυνατότητα να δημιουργήσει, για κάθε μελέτη, Διδακτορική διατριβή 137

138 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων υποκατηγορίες από projects με βάση συγκεκριμένα κριτήρια (π.χ. επιτυχής ή όχι έκβαση της δραστηριότητας, χαρακτηριστικά των συμμετεχόντων κλπ) και στη συνέχεια να κάνει συγκρίσεις μεταξύ αυτών βασιζόμενος στο σχήμα κωδικοποίησης που έχει ήδη εφαρμόσει. Στην εικόνα που ακολουθεί φαίνεται ένα παράδειγμα μελέτης και παρουσίασης δεδομένων και της σύγκρισης μεταξύ δύο διαφορετικών ομάδων χρηστών που συμμετείχαν στην ίδια μελέτη. Εικόνα 5.8 Παρουσίαση δεδομένων παρατήρησης Ο πίνακας καθώς και το ραβδόγραμμα που φαίνεται στην εικόνα 5.8, αναπαριστούν ποσοτικά στοιχεία διαφορετικών κατηγοριών ενεργειών των δύο ομάδων. O αναλυτής μπορεί, με απευθείας χειρισμό επάνω στα δεδομένα του πίνακα ή τα στοιχεία του ραβδογράμματος, να εστιάσει σε συγκεκριμένους τύπους συμβάντων και να οδηγηθεί στη χρονική στιγμή που συνέβησαν στα συνεχή μέσα, όπως στο βίντεο, παρατηρώντας τους χρήστες να αλληλεπιδρούν με το σύστημα. Δηλαδή, μπορεί να αναπαράγει τα δεδομένα ολόκληρης της μελέτης ξανά και να εστιάσει σε συγκεκριμένους τύπους προβλημάτων μελετώντας πώς αυτοί αντιμετωπίστηκαν από ένα σύνολο χρηστών με ομοειδή χαρακτηριστικά σε σύγκριση μάλιστα με ένα άλλο σύνολο χρηστών με διαφορετικά χαρακτηριστικά. Η διαδικασία αυτή τον βοηθάει στο να εντοπίσει τη συχνότητα αλλά και να αξιολογήσει την σπουδαιότητα 138 Διδακτορική διατριβή

139 Κεφάλαιο 5 κάθε προβλήματος που αφορά είτε την αλληλεπίδραση χρήστη συστήματος είτε κάποιο από τα άλλα είδη αλληλεπιδράσεων που μελετώνται, και να προτείνει λύσεις για αντιμετώπισή του και επανασχεδιασμό του συστήματος. Ακολουθιακή ανάλυση ενεργειών χρηστών Το ActivityLens παρέχει τη δυνατότητα εντοπισμού ολόκληρων ακολουθιών τύπων ενεργειών στα επισημειωμένα δεδομένα μίας μελέτης. Αυτό σημαίνει ότι ο αναλυτής μπορεί να γνωρίζει πότε συγκεκριμένοι τύποι ενεργειών έπονται ή ακολουθούνται από άλλους τύπους ενεργειών και να διαπιστώσει μεταξύ τους τυχόν σχέσεις. Με τον τρόπο αυτό, μπορούν οι αναλυτές για παράδειγμα να δουν τι τύπου ενέργειες συνέβησαν πριν από ένα συγκεκριμένο λάθος αλληλεπίδρασης με το σύστημα, να εστιάσουν περισσότερο σε αυτές, και να εξετάσουν κατά πόσο το προκάλεσαν ή όχι Αποτελέσματα ανάλυσης μέσω ActivityLens Η φάση αυτή περιλαμβάνει την καταγραφή των συμπερασμάτων που προέκυψαν από την ανάλυση των δεδομένων παρατήρησης μελετών που εμπλέκουν πραγματικούς χρήστες. Τα αποτελέσματα κάθε μελέτης της αλληλεπίδρασης με μια φορητή εφαρμογή, πρέπει να είναι σαφή ώστε να μπορούν να οδηγήσουν στον επανασχεδιασμό της εφαρμογής ή κάποιων από τα χαρακτηριστικά που συνθέτουν το πλαίσιο χρήσης της. Το περιβάλλον ActivityLens παράγει αυτόματα ένα αρχείο αναφοράς των προβλημάτων που προέκυψαν από τη διαδικασία της ανάλυσης των δεδομένων. Το αρχείο αυτό, έχοντας την μορφή υπερκειμένου (έγγραφο HTML), κατηγοριοποιεί τα προβλήματα που παρατηρήθηκαν σύμφωνα με το μοντέλο κωδικοποίησης που χρησιμοποιήθηκε, και δίνει ανάδραση για το είδος της αλληλεπίδρασης στο οποίο πρέπει να δοθεί έμφαση για την επιτυχή χρήση της εφαρμογής. Παράλληλα στο αρχείο αναφοράς προβλημάτων επισυνάπτονται εικόνες που περιγράφουν το αντίστοιχο πρόβλημα περιλαμβάνοντας τόσο τις οθόνες του συστήματος όσο και τη συνολική δραστηριότητα που διεξάγεται στο χώρο. Διδακτορική διατριβή 139

140 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων Εικόνα 5.9. Βήματα διαχείρισης και ανάλυσης δεδομένων παρατήρησης μέσω ActivityLens Στην εικόνα 5.9 περιγράφονται σχηματικά τα βήματα μέσα από τα οποία επιτυγχάνονται οι διαδικασίες ενοποίησης και συγχρονισμού των δεδομένων, επεξεργασίας και η ανάλυσή τους, και εξαγωγής αποτελεσμάτων με τη βοήθεια του περιβάλλοντος ανάλυσης δραστηριοτήτων ActivityLens. 5.3 Συμπεράσματα Στο κεφάλαιο αυτό περιγράφηκε το ActivityLens ως ένα εργαλείο που σχεδιάστηκε προκειμένου να καλύψει τις απαιτήσεις ανάλυσης των δεδομένων που προέρχονται 140 Διδακτορική διατριβή

141 Κεφάλαιο 5 από μελέτες αξιολόγησης ευχρηστίας φορητών εφαρμογών. Το ActivityLens παράλληλα υποστηρίζει την προτεινόμενη μεθοδολογία MOBELIC, επιτρέποντας την οργάνωση των δεδομένων που προέρχονται από διαδοχικές μελέτες αξιολόγησης κατά τη διάρκεια του κύκλου ανάπτυξης μια εφαρμογής και τη σύγκριση των προβλημάτων ευχρηστίας που παρατηρούνται σε αυτές. Αποτελεί ένα πρωτότυπο περιβάλλον ανάλυσης που επιτρέπει τον ευέλικτο χειρισμό πολλαπλών ετερογενών πηγών δεδομένων και ενσωματώνει λειτουργίες που επιτρέπουν τον εντοπισμό και την κατανόηση των προβλημάτων ευχρηστίας που παρατηρούνται κατά τη χρήση μιας φορητής εφαρμογής. Στο κεφάλαιο που ακολουθεί, παρουσιάζεται μία μελέτη περίπτωσης που αφορά την αξιολόγηση μιας εκπαιδευτικής φορητής εφαρμογής, προκειμένου να διαπιστωθεί η καταλληλότητα του προτεινόμενου μεθοδολογικού πλαισίου MOBELIC και η αποτελεσματικότητα του εργαλείου ActivityLens. Διδακτορική διατριβή 141

142 Σχεδίαση και ανάπτυξη ενός νέου εργαλείου ανάλυσης δραστηριοτήτων 142 Διδακτορική διατριβή

143 Κεφάλαιο 6 Κεφάλαιο 6. Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens Στο κεφάλαιο αυτό εξετάζεται η εφαρμοσιμότητα της μεθοδολογίας MOBELIC στην αξιολόγηση ευχρηστίας φορητών εφαρμογών και η αποτελεσματικότητα του εργαλείου ActivityLens στην ανάλυση των συλλεχθέντων δεδομένων. Για το λόγο αυτό, στα πλαίσια του κεφαλαίου περιγράφεται μία μελέτη περίπτωσης της αξιολόγησης ευχρηστίας μιας φορητής εφαρμογής μέσα από τη διενέργεια τριών διαφορετικών πειραμάτων που ανταποκρίνονται στις φάσεις της μεθοδολογίας MOBELIC. Διδακτορική διατριβή 143

144 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens 6.1 Εισαγωγή Στο κεφάλαιο αυτό εξετάζεται η εφαρμοσιμότητα της προτεινόμενης στο κεφάλαιο 4 μεθοδολογίας MOBELIC καθώς και η αποτελεσματικότητα του εργαλείου ανάλυσης ActivityLens που περιγράφτηκε στο κεφάλαιο 5. Αυτό γίνεται μέσα από την περιγραφή μιας μελέτης αξιολόγησης ευχρηστίας μιας συνεργατικής εκπαιδευτικής εφαρμογής με τη βοήθεια της μεθοδολογίας MOBELIC και σχολιασμού των σχετικών ευρημάτων. Η μελέτη αυτή περιλαμβάνει τη διενέργεια τριών διαφορετικών αξιολογήσεων ενός πρωτοτύπου μιας φορητής εφαρμογής σε διάφορες φάσεις ανάπτυξής της, όπως προβλέπει η σχετική μεθοδολογία. Οι μέθοδοι που χρησιμοποιούνται στις τρεις αυτές αξιολογήσεις ανταποκρίνονται στη μεθοδολογία MOBELIC για διαφορετικά στάδια ανάπτυξης της εφαρμογής. Στόχος της μελέτης είναι να προκύψουν συμπεράσματα σχετικά με το πλήθος των προβλημάτων και την ποιότητα των αποτελεσμάτων που παράγει κάθε μέθοδος ώστε να εξεταστεί αν ισχύουν οι υποθέσεις της μεθοδολογίας MOBELIC. 6.2 Εφαρμογή μεθοδολογίας MOBELIC στην αξιολόγηση ευχρηστίας της φορητής εφαρμογής Inheritance Περιγραφή της μελέτης περίπτωσης Η μελέτη που περιγράφεται στη συνέχεια, αφορά την αξιολόγηση ευχρηστίας της φορητής εφαρμογής Inheritance, μίας εκπαιδευτικής εφαρμογής πληροφόρησης σχετικά με τα εκθέματα που φιλοξενούνται στο χώρο του Μουσείου Σολωμού και Επιφανών Ζακυνθίων της Ζακύνθου. Οι υπηρεσίες της εφαρμογής Inheritance είναι σχεδιασμένες να παρέχονται μέσα από φορητές συσκευές (PDAs) στις οποίες πρόκειται να εγκατασταθεί η εφαρμογή. Η μελέτη περίπτωσης που περιγράφεται στη συνέχεια του κεφαλαίου αποτελείται από 3 διαφορετικές πειράματα αξιολόγησης της εφαρμογής Inheritance. Τα πειράματα αυτά ανταποκρίνονται στα 3 διαφορετικά στάδια αξιολόγησης μιας φορητής εφαρμογής όπως προτείνεται από τη μεθοδολογία MOBELIC. Το πρώτο περιλαμβάνει την αξιολόγηση ενός πρώιμου πρωτότυπου της εφαρμογής από 144 Διδακτορική διατριβή

145 Κεφάλαιο 6 ειδικούς, εφαρμόζοντας τη μέθοδο του Ευρετικού Περιδιαβάσματος, το δεύτερο περιλαμβάνει την αξιολόγηση μέσω παρατήρησης χρηστών με ένα ώριμο πρωτότυπο της εφαρμογής Inheritance σε εργαστηριακό περιβάλλον, και το τρίτο περιλαμβάνει την αξιολόγηση μέσω παρατήρησης της αλληλεπίδρασης χρηστών με την εφαρμογή Inheritance, σχεδόν σε τελική μορφή, στο χώρο του ίδιου του Μουσείου Σολωμού. Θα πρέπει να σημειωθεί ότι για λόγους πειραματικής σχεδίασης της μελέτης, τα χαρακτηριστικά της εφαρμογής κατά τις 3 φάσεις αξιολόγησής της παρέμειναν τα ίδια, ώστε να είναι εφικτή η σύγκριση των ευρημάτων των 3 πειραμάτων αξιολόγησης. Με άλλα λόγια, μεταξύ των 3 αξιολογήσεων δεν έγιναν τροποποιήσεις της εφαρμογής, ως προς τη λειτουργικότητά της, κάτι που θα ήταν φυσικό σε μη πειραματικές συνθήκες, που όμως θα είχε ως αποτέλεσμα να είναι μη συγκρίσιμα τα συμπεράσματα των 3 αξιολογήσεων Στόχος της μελέτης Στόχος της παρούσας μελέτης είναι να εξεταστεί κατά πόσο ισχύουν οι υποθέσεις της μεθοδολογίας MOBELIC καθώς και η αποτελεσματικότητα του εργαλείου ανάλυσης ActivityLens. Για το λόγο αυτό η ανάλυση που ακολουθεί καταλήγει σε παρατηρήσεις που αφορούν το πλήθος και την ποιότητα των αποτελεσμάτων που προκύπτουν από κάθε πείραμα χωριστά συναρτήσει των πόρων που δαπανήθηκαν. Παράλληλα περιγράφεται η συνεισφορά του ActivityLens στη διαδικασία αυτή. Στην ενότητα περιγράφεται η φορητή εφαρμογή, ενώ στις ενότητες και περιγράφονται τα πειράματα αξιολόγησής της και η ανάλυση των ευρημάτων τους Περιγραφή της φορητής εφαρμογής Inheritance Στην ενότητα αυτή περιγράφονται συνοπτικά τα χαρακτηριστικά της φορητής εφαρμογής Inheritance, ο χώρος που πρόκειται να χρησιμοποιηθεί, οι συσκευές στις οποίες λειτουργεί καθώς και οι υπηρεσίες που παρέχει στους χρήστες της. Διδακτορική διατριβή 145

146 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens Η φορητή εφαρμογή Inheritance v1.0 Η εφαρμογή που αξιολογείται είναι η συνεργατική εκπαιδευτική εφαρμογή Inheritance v1.0 (Papadimitriou et al. 2007). Η εφαρμογή Inheritance έχει σχεδιαστεί προκειμένου να χρησιμοποιηθεί από μικρές (3-4 μέλη) ομάδες μαθητών των τελευταίων τάξεων του Δημοτικού. Η εφαρμογή Inheritance σχεδιάστηκε από την ερευνητική ομάδα Τεχνολογιών της Πληροφορίας και των Επικοινωνιών στην Εκπαίδευση του Πανεπιστημίου Πατρών και υλοποιήθηκε από την ερευνητική ομάδα Αλληλεπίδρασης Ανθρώπου-Υπολογιστή του Πανεπιστημίου Πατρών στα πλαίσια του έργου Ψηφιοποίησης και Ανάπτυξης Εκπαιδευτικών Εφαρμογών στο Μουσείο Σολωμού και Επιφανών Ζακυνθίων που χρηματοδοτήθηκε από την Κοινωνία της Πληροφορίας. Η εφαρμογή έχει ως στόχο να βοηθήσει τους μικρούς σε ηλικία επισκέπτες να πληροφορηθούν για την ιστορία των εκθεμάτων του Μουσείου Σολωμού και να αλληλεπιδράσουν με αυτά. Για να επιτευχθεί αυτό απαιτεί τη συνεργασία μικρών ομάδων που καλούνται να ανταλλάξουν πληροφορίες που έχουν ήδη συλλέξει από τα εκθέματα με χρήση φορητών συσκευών. Στην εικόνα 6.1 φαίνεται στιγμιότυπο της εφαρμογής, με πληροφορίες που έχουν καταγραφεί στο Σημειωματάριο μιας φορητής συσκευής. Εικόνα 6.1. Στιγμιότυπο της εφαρμογής Inheritance v1.0. Πληροφορίες για τα εκθέματα 146 Διδακτορική διατριβή

147 Κεφάλαιο 6 Περιγραφή του χώρου Η εφαρμογή Inheritance έχει σχεδιαστεί προκειμένου να χρησιμοποιηθεί στην αίθουσα Μιχελή του Μουσείου Σολωμού. Στην εικόνα 6.2 φαίνεται εικόνα του χώρου στον οποίο πρόκειται να χρησιμοποιηθεί η εφαρμογή. Η αίθουσα Μιχελή υπό κανονικές συνθήκες δέχεται καθημερινά πολυάριθμους επισκέπτες που ξεναγούνται στα εκθέματα. Τα εκθέματα όπως φαίνεται και στην εικόνα 6.2 είναι τοποθετημένα σε κοντινές αποστάσεις με αποτέλεσμα να μην είναι εύκολη σε κάθε ένα από αυτά η πρόσβαση σε μεγάλες ομάδες επισκεπτών. Η φωτεινότητα του χώρου δεν είναι έντονη και επιτυγχάνεται από λαμπτήρες ειδικού φωτισμού προκειμένου να αποφευχθούν τυχόν αλλοιώσεις από το φυσικό φως στα σημαντικής αξίας εκθέματα και φυσικά αντικείμενα. Τα εκθέματα είναι στο μεγαλύτερο μέρος προσωπογραφίες, αλλά περιλαμβάνουν ακόμη στολές, έπιπλα, προσωπικά είδη επιφανών Ζακυνθίων κλπ. Εικόνα 6.2. Άποψη από την αίθουσα Μιχελή - Μουσείο Σολωμού Ζακύνθου Περιγραφή των συσκευών λειτουργίας Η εφαρμογή Inheritance είναι σχεδιασμένη να λειτουργεί σε φορητές συσκευές παλάμης (PDA s). Οι χρήστες των συσκευών θα μπορούν να αναγνώσουν την πληροφορία που αφορά τα εκθέματα του Μουσείου πλησιάζοντας την συσκευή σε κάθε ένα από τα εκθέματα αυτά. Κάτω από κάθε έκθεμα θα τοποθετηθούν ειδικές Διδακτορική διατριβή 147

148 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens ετικέτες (RFID tags) στις οποίες οι χρήστες των συσκευών πρέπει να πλησιάζουν προκειμένου να δουν στην οθόνη της φορητής τους συσκευής πληροφορίες του αντίστοιχου εκθέματος. Η ανάγνωση της πληροφορίας θα επιτυγχάνεται μέσω ειδικά προσαρτημένων στις συσκευές μονάδων ανάγνωσης (RFID readers). Στην εικόνα 6.3 που ακολουθεί φαίνεται μία από τις συσκευές που πρόκειται να χρησιμοποιηθούν. Στο επάνω μέρος της συσκευής διακρίνεται ο ειδικός εξοπλισμός ανάγνωσης των RFID καρτών των εκθεμάτων RFID reader PDA Εικόνα 6.3. Φορητή συσκευή με προσαρτημένη μονάδα ανάγνωσης RFID καρτών Σενάριο χρήσης εφαρμογής Inheritance Σύμφωνα με τη σχεδίαση της εφαρμογής, ομάδες χρηστών καλούνται να περιηγηθούν στην Αίθουσα Μιχελή του Μουσείου Σολωμού και να συλλέξουν έξι στοιχεία τα οποία περιέχονται στις περιγραφές των εκθεμάτων. Τα στοιχεία αυτά θα τους βοηθήσουν να εντοπίσουν ένα έκθεμα, το οποίο υποτίθεται ότι είναι το αγαπημένο έκθεμα ενός ιστορικού προσώπου. Οι ομάδες καλούνται να διαβάσουν τις πληροφορίες που συλλέγουν και να αποθηκεύσουν τα στοιχεία που εντοπίζουν στο Σημειωματάριο της εφαρμογής, που φαίνεται στην εικόνα Διδακτορική διατριβή

149 Κεφάλαιο 6 Όμως δεν περιέχουν όλες οι περιγραφές των εκθεμάτων στοιχεία χρήσιμα για τον εντοπισμό του εκθέματος που αναζητούν οι νεαροί επισκέπτες. Τα 6 στοιχεία είναι διασκορπισμένα και περιέχονται στις περιγραφές διαφόρων εκθεμάτων. Ένα στοιχείο επισημαίνεται μέσα στην περιγραφή του εκθέματος με την φράση <Αυτό είναι ένα στοιχείο: >. Πατώντας επάνω στο στοιχείο, αυτό μεταφέρεται αυτόματα στο σημειωματάριο. Οι χρήστες έχουν τη δυνατότητα να διαβάσουν όλα τα στοιχεία που έχουν συλλέξει, επιθεωρώντας το Σημειωματάριο τους. Κάθε ομάδα μπορεί να συλλέξει μέχρι 3 στοιχεία. Προκειμένου οι ομάδες να έχουν από κοινού και τα 6 στοιχεία που απαιτούνται για την εύρεση του αγαπημένου εκθέματος, καλούνται να συνεργαστούν. Αυτό σημαίνει ότι πρέπει να πλησιάσουν τις συσκευές τους και να ανταλλάξουν τα στοιχεία τους. Στη συνέχεια βασιζόμενοι σε αυτά, καλούνται να περιηγηθούν τα εκθέματα της αίθουσας και να εντοπίσουν ποιο είναι το αγαπημένο έκθεμα. Όταν εντοπιστεί το έκθεμα που αναζητούν, οι ομάδες πλησιάζουν τις συσκευές τους στο συγκεκριμένο έκθεμα και ζητούν από το σύστημα επιβεβαίωση εύρεσης. Σε περίπτωση επιτυχούς εύρεσης, η διαδικασία περατώνεται με συγχαρητήρια από το σύστημα. Σε αντίθετη περίπτωση, οι ομάδες καλούνται να προσπαθήσουν ξανά μέχρι να εντοπίσουν το αγαπημένο έκθεμα Διενέργεια πειραμάτων αξιολόγησης της φορητής εφαρμογής Inheritance Στη συνέχεια γίνεται περιγραφή των 3 διακριτών πειραμάτων αξιολόγησης ευχρηστίας της εφαρμογής Inheritance που έγιναν στα πλαίσια της παρούσας διατριβής. Στη διεξαγωγή των πειραμάτων έλαβαν μέρος συνολικά 9 ειδικοί αξιολόγησης, 3 ανά πείραμα. Η επιλογή των ειδικών έγινε με κριτήριο την εμπειρία τους στην αξιολόγηση ευχρηστίας συστημάτων, προκειμένου τα αποτελέσματα των 3 πειραμάτων να είναι αξιόπιστα και συγκρίσιμα μεταξύ τους. Επίσης στις μελέτες #2 και #3 έλαβαν μέρος ένας αριθμός χρηστών ηλικίας αντίστοιχης με αυτή για τους οποίους έχει σχεδιαστεί η εφαρμογή. Πείραμα 1 ο Επισκόπηση της εφαρμογής Inheritance από ειδικούς Στο πρώτο πείραμα έγινε αξιολόγηση της εφαρμογής Inheritance 1.0 μέσω επισκόπησης από 3 ειδικούς ευχρηστίας. Η επισκόπηση έγινε στο χώρο του εργαστηρίου και οι ειδικοί χρησιμοποίησαν μια προσομοίωση της εφαρμογής σε Διδακτορική διατριβή 149

150 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens περιβάλλον επιτραπέζιου υπολογιστή. Το περιβάλλον προσομοίωσης αναπτύχθηκε προκειμένου να καλύψει τις ανάγκες του πειράματος αξιολόγησης. Στην εικόνα 6.4 που ακολουθεί φαίνεται στιγμιότυπο αυτού του περιβάλλοντος προσομοίωσης. Ο αξιολογητής μέσω του περιβάλλοντος αυτού μπορεί να επιθεωρήσει την εφαρμογή και να προσομοιώσει κάποια σενάρια κίνησης του χρήστη στο χώρο και ενέργειες αλληλεπίδρασης με εκθέματα. Εικόνα 6.4. Πρωτότυπο εφαρμογής Inheritance Στο δεξί μέρος της εικόνας 6.4 φαίνεται ο προσομοιωτής της λειτουργίας της εφαρμογής, ενώ στο αριστερό υπάρχει δισδιάστατη κάτοψη του χώρου του Μουσείου. Η κίνηση, μέσω δεικτικής συσκευής, του ανθρώπινου ομοιώματος στο δισδιάστατο χώρο επιτρέπει εικονική πλοήγηση στο χώρο του Μουσείου. Επίσης είναι δυνατή η χρήση πλήκτρων αλληλεπίδρασης με τα αντίστοιχα εκθέματα, στα οποία έχει πλησιάσει ο επισκέπτης. Κατά συνέπεια οι αξιολογητές χρησιμοποιώντας τον παραπάνω προσομοιωτή είχαν τη δυνατότητα να πλοηγηθούν εικονικά στο χώρο του Μουσείου, να δουν τα εκθέματα και να χρησιμοποιήσουν την εφαρμογή Inheritance. Η μεθοδολογία αξιολόγησης που ακολούθησαν οι ειδικοί κατά τη διενέργεια αυτού του πειράματος ήταν το Ευρετικό Περιδιάβασμα ακολουθώντας το σενάριο που 150 Διδακτορική διατριβή

151 Κεφάλαιο 6 περιγράφηκε στην ενότητα Πριν ξεκινήσει η διαδικασία της αξιολόγησης, οι αξιολογητές ενημερώθηκαν για τους σκοπούς της εφαρμογής, τους χρήστες για τους οποίους προορίζεται, τον χώρο στον οποίο πρόκειται να χρησιμοποιηθεί και τις συσκευές στις οποίες θα λειτουργήσει. Το σχετικό υποστηρικτικό υλικό που δόθηκε στους αξιολογητές αυτού του πειράματος περιέχεται στο Παράρτημα Α. Στη συνέχεια του κεφαλαίου και για λόγους συντομίας το πείραμα που μόλις περιγράφηκε θα αναφέρεται ως το πείραμα επισκόπησης από ειδικούς, ή πείραμα #1. Πείραμα 2 ο Παρατήρηση χρηστών σε εργαστηριακό περιβάλλον Το πείραμα αυτό αποτελείται από 2 διακριτές φάσεις. Κατά την πρώτη φάση έγινε χρήση της προσομοίωσης της εφαρμογής Inheritance σε προσωπικό υπολογιστή, από τυπικούς χρήστες, σε εργαστηριακό περιβάλλον. Η δραστηριότητα έλαβε χώρο στο εργαστήριο Αλληλεπίδρασης Ανθρώπου Υπολογιστή του Πανεπιστημίου Πατρών και συμμετείχαν 6 μαθητές της Έκτης Δημοτικού του Δημοτικού Σχολείου Κάτω Καστριτσίου Πατρών (11 ετών). Εικόνα 6.5. Στιγμιότυπο της χρήσης της προσομοίωσης της εφαρμογής Inheritance στον εργαστηριακό χώρο Οι μαθητές κλήθηκαν ανά δυάδες να χρησιμοποιήσουν την προσομοίωση της εφαρμογής Inheritance (βλεπε προηγούμενη ενότητα) εκτελώντας το σενάριο Διδακτορική διατριβή 151

152 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens χρήσης που περιγράφηκε στην ενότητα Προκειμένου να προσομοιώνεται η λειτουργία της φορητής εφαρμογής Inheritance όσο το δυνατόν καλύτερα, οι συσκευές οι οποίες χρησιμοποίησαν οι μαθητές ήταν φορητοί υπολογιστές με οθόνες αφής (tablet pc). Οι χρήστες μπορούσαν να αλληλεπιδράσουν με την εφαρμογή μέσω γραφίδας (Stylus), τρόπος που προσομοιάζει σε μεγάλο βαθμό την αλληλεπίδραση με το PDA. Στην εικόνα 6.5 φαίνεται στιγμιότυπο της αλληλεπίδρασης των μαθητών με τον προσομοιωτή της εφαρμογής Inheritance στο εργαστήριο. Η δραστηριότητα των μαθητών στο εργαστήριο καταγράφηκε με χρήση πολλαπλών μέσων. Συγκεκριμένα, η δραστηριότητά τους καταγράφηκε μέσω λογισμικού καταγραφής της οθόνης των συσκευών, μέσω φορητών ψηφιακών καταγραφέων ήχου, και τέλος μέσω μίας σταθερά τοποθετημένης κάμερας. Παράλληλα κρατήθηκαν χειρόγραφες σημειώσεις από παρατηρητή που παρακολουθούσε τη δραστηριότητα. Τέλος οι μαθητές κλήθηκαν μετά το πέρας της δραστηριότητας να περιγράψουν τις εντυπώσεις τους για την δραστηριότητα υπό μορφή συζήτησης. Η δεύτερη φάση αυτού του πειράματος περιλαμβάνει την ανάλυση του υλικού που συγκεντρώθηκε από την καταγραφή της χρήσης της εφαρμογής Inheritance. Η ανάλυση έγινε από 3 ειδικούς. Το υλικό που είχαν στη διάθεσή τους οι ειδικοί, ήταν οι πολυμεσικές πηγές που περιείχαν την αλληλεπίδραση των μαθητών με τον προσομοιωτή της εφαρμογής στο χώρο του εργαστηρίου. Αρχικά οι ειδικοί ενημερώθηκαν για τους σκοπούς της εφαρμογής και περιηγήθηκαν σε αυτή χρησιμοποιώντας και οι ίδιοι το περιβάλλον που χρησιμοποίησαν και οι μαθητές. Στη συνέχεια, κλήθηκαν να αναζητήσουν και να αποθηκεύσουν τα σημεία της αλληλεπίδρασης χρήστη εφαρμογής που υποδεικνύουν πρόβλημα στη χρήση της εφαρμογής Inheritance. Οι οδηγίες που δόθηκαν στους αξιολογητές αυτού του πειράματος προκειμένου να αξιολογήσουν επιτυχώς την εφαρμογή Inheritance περιέχονται στο Παράρτημα Β. Στη συνέχεια του κεφαλαίου και για λόγους συντομίας το πείραμα που μόλις περιγράφηκε θα αναφέρεται ως πείραμα εργαστηρίου, ή πείραμα # Διδακτορική διατριβή

153 Κεφάλαιο 6 Πείραμα 3 ο Παρατήρηση πολυμεσικών πηγών δεδομένων που περιέχουν την αλληλεπίδραση χρηστών με την εφαρμογή Inheritance στο Μουσείο Σολωμού Το πείραμα αυτό, όπως και το προηγούμενο, αποτελείται από 2 διακριτές φάσεις. Η πρώτη φάση περιλαμβάνει τη χρήση της εφαρμογής Inheritance, υλοποιημένη πλέον σε φορητές συσκευές PDA, από τυπικούς χρήστες στο χώρο του Μουσείου Σολωμού. Η δραστηριότητα έλαβε χώρα στην αίθουσα Μιχελή του Μουσείου και συμμετείχαν 17 μαθητές (11 κορίτσια και 6 αγόρια) της Πέμπτης και Έκτης Δημοτικού του 1 ου Δημοτικού Σχολείου Ζακύνθου (10 και 11 ετών). Όλοι οι χρήστες που συμμετείχαν στην αξιολόγηση είχαν ήδη εμπειρία χρήσης συσκευών κινητής τηλεφωνίας, όπως προκύπτει από το ερωτηματολόγιο που διενεμήθη κατά το πείραμα, ενώ στην συντριπτική τους πλειοψηφία ήταν και χρήστες υπολογιστών. Κανείς όμως από αυτούς δεν είχε ξαναχρησιμοποιήσει μία φορητή συσκευή παλάμης (PDA). Εικόνα 6.6. Στιγμιότυπο από την αξιολόγηση της εφαρμογής Inheritance στο χώρο του Μουσείου Οι μαθητές κλήθηκαν να συνεργαστούν ανά ομάδες των τεσσάρων ατόμων και να εκτελέσουν το σενάριο χρήσης που περιγράφηκε στην ενότητα , Διδακτορική διατριβή 153

154 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens χρησιμοποιώντας την εφαρμογή Inheritance. Στο συγκεκριμένο πείραμα οι χρήστες αλληλεπέδρασαν με την εφαρμογή Inheritance μέσω φορητών συσκευών (PDAs). Οι χρήστες μπορούσαν να κινηθούν οπουδήποτε στο χώρο της αίθουσας, ανάμεσα σε εκθέματα και επισκέπτες, όπως εξάλλου θα συνέβαινε και σε περίπτωση κανονικής επίσκεψής τους στο χώρο του μουσείου. Στην εικόνα 6.6 φαίνεται στιγμιότυπο της αλληλεπίδρασης των μαθητών με την φορητή εφαρμογή Inheritance στο χώρο του Μουσείου. Η δραστηριότητα των μαθητών στο μουσείο καταγράφηκε με χρήση πολλαπλών μέσων. Συγκεκριμένα, η δραστηριότητά τους καταγράφηκε μέσω λογισμικού καταγραφής της οθόνης των φορητών συσκευών, μέσω φορητών συσκευών ηχογράφησης, μέσω σταθερά τοποθετημένων καμερών και τέλος μέσω κινητής κάμερας που παρακολουθούσε διακριτικά από απόσταση τη δραστηριότητα, έτσι ώστε να μην επηρεάσει την συμπεριφορά των χρηστών. Παράλληλα κρατήθηκαν χειρόγραφες σημειώσεις από παρατηρητή που παρακολουθούσε τη δραστηριότητα. Τέλος οι μαθητές κλήθηκαν μετά το πέρας της δραστηριότητας να περιγράψουν τις εντυπώσεις τους για την δραστηριότητα, υπό μορφή γραπτού κειμένου. Η δεύτερη φάση αυτού του πειράματος περιλαμβάνει την αξιολόγηση ευχρηστίας της εφαρμογής Inheritance από 3 ειδικούς. Το υλικό που είχαν στη διάθεσή τους οι ειδικοί, ήταν οι πολυμεσικές πηγές που περιείχαν την καταγραφή της δραστηριότητας των μαθητών στο χώρο του μουσείου. Οι ειδικοί κλήθηκαν να αναζητήσουν και να αποθηκεύσουν τα σημεία της αλληλεπίδρασης χρήστη εφαρμογής που υποδεικνύουν πρόβλημα στη χρήση της εφαρμογής Inheritance. Οι οδηγίες που δόθηκαν στους αξιολογητές αυτού του πειράματος προκειμένου να αξιολογήσουν επιτυχώς την εφαρμογή Inheritance περιέχονται στο παράρτημα Γ. Στη συνέχεια του κεφαλαίου και για λόγους συντομίας το πείραμα που μόλις περιγράφηκε θα αναφέρεται ως το πείραμα πεδίου, ή πείραμα # Διαδικασία ταξινόμησης των προβλημάτων ευχρηστίας Κάθε μία από τις ομάδες των αξιολογητών που συμμετείχαν στα παραπάνω πειράματα κλήθηκαν να ταξινομήσουν τα προβλήματα ευχρηστίας που εντόπισαν. 154 Διδακτορική διατριβή

155 Κεφάλαιο 6 Η ταξινόμηση των προβλημάτων έγινε ακολουθώντας κοινό σχήμα κωδικοποίησης και στα 3 πειράματα προκειμένου να είναι εφικτή η σύγκριση των αποτελεσμάτων τους. Το σχήμα ταξινόμησης που χρησιμοποίησαν οι αξιολογητές φαίνεται στον παρακάτω πίνακα. Τύπος προβλήματος ευχρηστίας Ανάδραση αναφέρεται στην ικανότητα της εφαρμογής να ενημερώνει τον χρήστη για ενέργειες που έχουν συμβεί. Συνέπεια - σχετίζεται με την ομοιομορφία που υπάρχει ανάμεσα στις οθόνες της εφαρμογής (ομοιομορφία σχεδιασμού αλλά και χρήσης υπηρεσιών και αντικειμένων). Πλοήγηση αναφέρεται στην ευκολία με την οποία ο χρήστης μπορεί να πλοηγηθεί στις οθόνες του συστήματος. Καταλληλότητα πληροφορίας και διαλόγων αναφέρεται στην ποιότητα της πληροφορίας που παρέχεται στους χρήστες λόγω του ότι πρόκειται για εκπαιδευτική εφαρμογή. Ορολογία σχετίζεται με την ικανότητα της εφαρμογής να απευθύνεται στο χρήστη με όρους σαφείς και κατανοητούς προς αυτόν Αποτροπή σφαλμάτων χρήσης και δυνατότητα ανάνηψης από αυτά σχετίζεται με την ικανότητα της εφαρμογής να αποτρέπει τον χρήστη από σφάλματα χρήσης και να τον βοηθάει να ανακάμπτει εύκολα από αυτά. Διαισθητικότητα χρήσης αναφέρεται στο κατά πόσο τα αντικείμενα της διεπιφάνειας της εφαρμογής υπονοούν τη χρήση τους. Ορατότητα επισκεψιμότητα λειτουργιών αναφέρεται στην προσβασιμότητα και διαθεσιμότητα των λειτουργιών της εφαρμογής όταν τις χρειάζεται ο χρήστης Πίνακας 6.1 Σχήμα κωδικοποίησης προβλημάτων ευχρηστίας της εφαρμογής Inheritance Διδακτορική διατριβή 155

156 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens Πέραν της ταξινόμησης των προβλημάτων ευχρηστίας σύμφωνα με το σχήμα του Πίνακα 6.1, οι αξιολογητές κλήθηκαν να εκτιμήσουν την βαρύτητα για κάθε ένα από τα προβλήματα που εντόπισαν ακολουθώντας το μοντέλο του Molich (Molich 2000). Βαρύτητα προβλήματος Διακοσμητικό (Cosmetic) - δεν επηρεάζει σε μεγάλο βαθμό την καλή λειτουργία της εφαρμογής και κατά συνέπεια και τον χρήστη Σοβαρό (Serious) - επηρεάζει την καλή λειτουργία του συστήματος και τον ίδιο το χρήστη Καταστροφικό (Critical) - επηρεάζει την λειτουργία του συστήματος σε τέτοιο βαθμό που μπορεί να ευθύνεται για αδυναμία χρήσης του Πίνακας 6.2 Ταξινόμηση βαρύτητας προβλημάτων ευχρηστίας κατά Molich (Molich 2000) Τα εργαλεία ανάλυσης που χρησιμοποίησαν οι αξιολογητές προκειμένου να εντοπίσουν και να κατηγοριοποιήσουν τα προβλήματα ευχρηστίας ήταν το φύλλο αξιολόγησης που τους δόθηκε στην περίπτωση του πρώτου πειράματος και το εργαλείο ActivityLens στα δύο επόμενα. Παράλληλα οι αξιολογητές κλήθηκαν να καταγράψουν τον χρόνο που χρειάστηκαν για να φέρουν εις πέρας τη διαδικασία αξιολόγησης Ανάλυση δεδομένων αξιολόγησης Μετά το πέρας της διεξαγωγής των 3 διακριτών πειραμάτων αξιολόγησης, ακολούθησε συλλογή των αποτελεσμάτων προκειμένου να γίνει περαιτέρω στατιστική τους επεξεργασία. Η ανάλυση των αποτελεσμάτων της αξιολόγησης που προήλθαν και από τα 3 πειράματα αποκάλυψε 32 διαφορετικά προβλήματα ευχρηστίας της φορητής εφαρμογής Inheritance. Από το σύνολο αυτών των προβλημάτων, 14 εκτιμήθηκαν από τους αξιολογητές οτι είναι χαμηλής σημασίας, 15 ότι είναι σοβαρά ενώ 3 ότι μπορούν να είναι καταστροφικά. Τα περισσότερα προβλήματα ευχρηστίας εντοπίστηκαν με τη βοήθεια του πρώτου πειράματος από ειδικούς. Συγκεκριμένα, η ανάλυση των δεδομένων αξιολόγησης του πειράματος από ειδικούς οδήγησε στον 156 Διδακτορική διατριβή

157 Κεφάλαιο 6 εντοπισμό 20 προβλημάτων (62% του συνόλου), η ανάλυση των δεδομένων του πειράματος εργαστηρίου στον εντοπισμό 17 προβλημάτων (53% του συνόλου) και η ανάλυση των δεδομένων του πειράματος πεδίου στον εντοπισμό 18 προβλημάτων (56% του συνόλου). Η ταξινόμηση των προβλημάτων ανά βαρύτητα φαίνεται στην εικόνα 6.7 και δείχνει ότι η αξιολόγηση από ειδικούς εντόπισε τα περισσότερα προβλήματα και κυρίως όχι αυτά που θεωρήθηκε ότι έχουν χαμηλή σημασία. Από την άλλη το πείραμα πεδίου φαίνεται ότι βοήθησε στον εντοπισμό των περισσοτέρων προβλημάτων χαμηλής σημασίας σε σχέση με τα άλλα 2 πειράματα. Ορίζουμε ότι η συνολική συνεισφορά μιας μεθόδου στην εύρεση των προβλημάτων ευχρηστίας, δίδεται από τον εξής τύπο: u i = j= 1,3 j= 1,3 w N w ( P ) j j ij j όπου N ij o αριθμός προβλημάτων ευχρηστίας που βρήκε η μέθοδος i βαρύτητας j (j=1 διακοσμητικά, j=2 σοβαρά, j=3 καταστροφικά) και αντίστοιχα P j o συνολικός αριθμός προβλημάτων ευχρηστίας βαρύτητας j που βρέθηκαν. Επίσης w j ο συντελεστής βαρύτητας της κατηγορίας βαρύτητας j. Αν υποθέσουμε γραμμική κλίμακα βαρύτητας, δηλαδή w 1 =1, w 2 =2, w 3 =3, τότε προκύπτει ότι u 1 = 68%, u 2 =53% και u 3 =55%. Δηλαδή η σχετική συμβολή της μεθόδου #1 είναι συγκριτικά μεγαλύτερη, ενώ οι μέθοδοι #2 και #3 έχουν κατά τι μικρότερη συμβολή. Διδακτορική διατριβή 157

158 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens Εικόνα 6.7. Προβλήματα ευχρηστίας εφαρμογής Inheritance ανά πείραμα και ανά βαρύτητα Στο διάγραμμα της εικόνας 6.8 φαίνονται οι κατηγορίες των προβλημάτων που εντοπίστηκαν με τη βοήθεια και των 3 πειραμάτων. Γίνεται φανερό ότι τα περισσότερα προβλήματα της εφαρμογής Inheritance σχετίζονται με την ορολογία των διαλόγων και την καταλληλότητα του περιεχομένου των περιγραφών καθώς και την ανάδραση προς το χρήστη σχετικά με τις ενέργειες που έχει εκτελέσει. Εικόνα 6.8. Τύποι προβλημάτων ευχρηστίας εφαρμογής Inheritance Η συνεισφορά (%) κάθε πειράματος σε κάθε τύπο προβλήματος φαίνεται στο διάγραμμα 6.9. Από το διάγραμμα γίνεται φανερό ότι προβλήματα που σχετίζονται με τη συνέπεια και την πλοήγηση της εφαρμογής εντοπίστηκαν κατά κύριο λόγο με 158 Διδακτορική διατριβή

159 Κεφάλαιο 6 επιθεώρηση από ειδικούς. Από την άλλη πλευρά, προβλήματα που σχετίζονται με την επισκεψιμότητα λειτουργιών και τη διαισθητικότητα χρήσης των αντικειμένων της διεπιφάνειας της εφαρμογής Inheritance εντοπίστηκαν κυρίως από τα πειράματα με πραγματικούς χρήστες (πείραμα εργαστηρίου και πείραμα πεδίου). Εικόνα 6.9. Προβλήματα ευχρηστίας εφαρμογής Inheritance ανά πείραμα και ανά τύπο προβλήματος Προβλήματα που εντοπίστηκαν αμιγώς από κάθε μέθοδο Η ανάλυση των δεδομένων αξιολόγησης αποκάλυψε ότι υπάρχει πολύ μικρή επικάλυψη στα προβλήματα που βρέθηκαν ανά μέθοδο καθώς το ποσοστό της επικάλυψης είναι μόλις 15.6%. Αντίθετα το 18.7% των προβλημάτων βρέθηκε αμιγώς από το πείραμα #1 με ειδικούς, 9.3% από το πείραμα εργαστηρίου #2 και τέλος 15.6% από το πείραμα πεδίου #3. Τα προβλήματα που βρέθηκαν αμιγώς ανά μέθοδο καθώς και η μεταξύ τους επικάλυψη φαίνεται στο διάγραμμα Venn της εικόνας Εικόνα Προβλήματα ευχρηστίας εφαρμογής Inheritance ανά πείραμα Διδακτορική διατριβή 159

160 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens Στο διάγραμμα της εικόνας 6.11 φαίνονται τα προβλήματα που βρέθηκαν αμιγώς από κάθε μέθοδο ταξινομημένα ανά βαρύτητα. Γίνεται φανερό ότι το πείραμα από ειδικούς αποκάλυψε τα πιο σημαντικά προβλήματα της εφαρμογής αφού 4 από αυτά εκτιμήθηκαν ως σοβαρά και ένα ως καταστροφικό. Το πείραμα εργαστηρίου εντόπισε 2 από τα σοβαρά προβλήματα και ένα χαμηλής σημασίας. Αντίθετα το πείραμα πεδίου παρά το γεγονός ότι οδήγησε στον εντοπισμό 5 διαφορετικών προβλημάτων, αυτά αποδείχθηκαν ότι κατά 80% είναι προβλήματα χαμηλής σημασίας που δεν επηρεάζουν την καλή λειτουργία της εφαρμογής και την απόδοση του χρήστη. Μία σε βάθος μελέτη των προβλημάτων αυτών χρησιμοποιώντας το ActivityLens αποκάλυψε επίσης ότι 3 από αυτά (60%) σχετίζονται με το χώρο χρήσης της εφαρμογής και κατά συνέπεια δεν θα μπορούσαν να έχουν βρεθεί με καμία από τις άλλες μεθόδους. Άρα τα προβλήματα που βρέθηκαν αμιγώς από το πείραμα πεδίου και σχετίζονται με το σχεδιασμό των οθονών της εφαρμογής Inheritance είναι μόλις 2 και μάλιστα μονάχα ένα από αυτά εκτιμήθηκε ως σοβαρό. Εικόνα Προβλήματα ευχρηστίας εφαρμογής Inheritance που βρέθηκαν αμιγώς από κάθε πείραμα ταξινομημένα ανά βαρύτητα Αξιοπιστία Δεδομένων Αξιολόγησης Όπως αναφέρθηκε και σε προηγούμενη ενότητα, η επιλογή των 9 αξιολογητών έγινε με κριτήριο την εμπειρία τους σε θέματα ευχρηστίας εφαρμογών και ανάλυσης δεδομένων. Είναι απαραίτητο όμως, να ελεγχθεί η αξιοπιστία της ομάδας 160 Διδακτορική διατριβή

161 Κεφάλαιο 6 των αξιολογητών για κάθε πείραμα, ελέγχοντας τον αριθμό των προβλημάτων που εντόπισαν για κάθε πείραμα χωριστά. Κωδικοποιώντας Αi, i=1,3 τους αξιολογητές του πειράματος #1, Βi, i=1,3 τους αξιολογητές του πειράματος #2 και Γi, i=1,3 τους αξιολογητές του πειράματος #3, ελέγχθηκε η τυπική απόκλιση του αριθμού προβλημάτων ως προς διάστημα εμπιστοσύνης 95%. Τα αποτελέσματα φαίνονται στον πίνακα 6.3. Πίνακας 6.3 Προβλήματα που εντοπίστηκαν ανά μέθοδο και ανά αξιολογητή Γίνεται φανερό από τον πίνακα 6.3 ότι και στα 3 πειράματα αξιολόγησης δεν υπάρχουν στατιστικά σημαντικές αποκλίσεις ανάμεσα στους αξιολογητές, αφού για διάστημα εμπιστοσύνης 95%, η τυπική απόκλιση είναι σε κάθε περίπτωση μικρότερη από το διάστημα εμπιστοσύνης Αξιολόγηση πειραμάτων - αποτελεσματικότητα και αποδοτικότητα των μεθόδων που χρησιμοποιήθηκαν Στην ενότητα αυτή αξιολογείται η ποιότητα των μεθόδων που χρησιμοποιηθήκαν στα παραπάνω πειράματα για την αξιολόγηση ευχρηστίας της εφαρμογής Inheritance. Η ποιότητα της μεθόδου που προτείνεται σε κάθε φάση αξιολογείται βάσει της αποτελεσματικότητας και της αποδοτικότητάς της. Η αποτελεσματικότητα της μεθόδου είναι ο βαθμός στον οποίο μπορεί να εντοπίσει όλα τα προβλήματα ευχρηστίας μιας εφαρμογής, ενώ η αποδοτικότητα αντιστοιχεί στην ικανότητα της μεθόδου να εντοπίζει προβλήματα δαπανώντας τους λιγότερους δυνατούς πόρους. Διδακτορική διατριβή 161

162 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens Προκειμένου να μετρηθεί η αποτελεσματικότητα και αποδοτικότητα των παραπάνω μεθόδων χρειάστηκε να δοθούν ακριβείς ορισμοί. Ως αποτελεσματικότητα της μεθόδου ορίζεται ο μέσος όρος των προβλημάτων ευχρηστίας που εντοπίστηκαν από αυτήν προς το σύνολο των προβλημάτων που παρουσιάζει η εφαρμογή. Το σύνολο των προβλημάτων προκύπτει από το άθροισμα των διαφορετικών προβλημάτων που εντοπίστηκαν από όλες τις μεθόδους. Η μαθηματική σχέση που υιοθετήθηκε (Bolchini & Garzotto, 2007; Law & Hvannberg, 2004) προκειμένου να υπολογιστεί η αποτελεσματικότητα μίας μεθόδου αξιολόγησης είναι: Αποτελεσματικότητα μεθόδου )/ (1) όπου n είναι το πλήθος των αξιολογητών, Πι ο αριθμός των προβλημάτων που έχουν εντοπιστεί από τον αξιολογητή ι, και Πσυν ο αριθμός των συνολικών διαφορετικών προβλημάτων από όλες τις μεθόδους. Η μαθηματική σχέση που υιοθετήθηκε (Bolchini & Garzotto, 2007) προκειμένου να υπολογιστεί η αποδοτικότητα μίας μεθόδου αξιολόγησης είναι: Αποδοτικότητα μεθόδου /Χ ) (2) όπου n είναι το πλήθος των αξιολογητών, Πι ο αριθμός των προβλημάτων που έχουν εντοπιστεί από τον αξιολογητή ι, και Χι ο χρόνος που δαπάνησε ο αξιολογητής ι. Η αποτελεσματικότητα καθεμίας από τις μεθόδους που χρησιμοποιήθηκαν για την αξιολόγηση ευχρηστίας της εφαρμογής Inheritance, έτσι όπως προέκυψε σύμφωνα με την σχέση (1), φαίνεται στον πίνακα 6.4. Πείραμα Αποτελεσματικότητα #1 -Ειδικοί 0.33 #2 - Εργαστήριο 0.22 #3 - Πεδίο 0.29 Πίνακας 6.4 Αποτελεσματικότητα μεθόδων αξιολόγησης Η αποδοτικότητα καθεμίας από τις μεθόδους σύμφωνα με την μαθηματική σχέση (2) φαίνεται στον πίνακα Διδακτορική διατριβή

163 Κεφάλαιο 6 Πείραμα Αποδοτικότητα #1 -Ειδικοί 0.35 #2 - Εργαστήριο #3 - Πεδίο Πίνακας 6.5 Αποδοτικότητα μεθόδων αξιολόγησης Η αποδοτικότητα κάθε μεθόδου έχει υπολογιστεί με βάση τον χρόνο που δαπανήθηκε από τους αξιολογητές για τον εντοπισμό των προβλημάτων ευχρηστίας. Ο χρόνος αυτός φαίνεται ανά μέθοδο και αξιολογητή στον πίνακα 6.6 που ακολουθεί. Πίνακας 6.6 Διάρκεια αξιολόγησης ανά μέθοδο και αξιολογητή Ωστόσο στην μαθηματική σχέση που υπολογίζει την αποδοτικότητα κάθε μεθόδου δεν έχει συμπεριληφθεί ο χρόνος που απαιτήθηκε για την προετοιμασία και τη διεξαγωγή των πειραμάτων καθώς και οι πηγές δεδομένων που χρησιμοποιήθηκαν για κάθε ένα από αυτά. Τα δεδομένα αυτά φαίνονται αναλυτικά στον πίνακα 6.7. Διδακτορική διατριβή 163

164 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens Πίνακας 6.7 Διάρκεια διεξαγωγής πειραμάτων αξιολόγησης ευχρηστίας Όπως φαίνεται από τα αποτελέσματα που παρατίθενται στον πίνακα 6.4, η μέθοδος αξιολόγησης #1 από ειδικούς αποδείχθηκε 150% πιο αποτελεσματική από την αξιολόγηση #2 (εργαστηρίου) και 113% πιο αποτελεσματική από την αξιολόγηση #3 (πεδίου). Παράλληλα πολύ πιο σημαντική είναι η διαφορά στην αποδοτικότητα της μεθόδου από ειδικούς μιας και σύμφωνα με τα αποτελέσματα της μελέτης είναι 416% πιο αποδοτική από τις άλλες δύο. Η αποδοτικότητα των μεθόδων που εμπλέκουν πραγματικούς χρήστες (πείραμα εργαστηρίου και πεδίου) φαίνεται να είναι ίδια (0.84). Ωστόσο όπως αναφέρθηκε και παραπάνω δεν έχει συμπεριληφθεί στην μαθηματική σχέση ο χρόνος προετοιμασίας κάθε πειράματος, ο χρόνος της αλληλεπίδρασης των χρηστών με την εφαρμογή Inheritance καθώς και το πλήθος των πηγών που απαιτείται σε κάθε περίπτωση για ικανοποιητική καταγραφής της δραστηριότητας. Όπως φαίνεται από τον πίνακα 6.7, ο χρόνος αυτός είναι 257% μεγαλύτερος στην περίπτωση του πειράματος πεδίου έναντι του πειράματος εργαστηρίου, ενώ παράλληλα σημαντικά περισσότερες είναι και οι πηγές δεδομένων που απαιτούνται. Κατά συνέπεια ως προς τους πόρους που δαπανήθηκαν, η μέθοδος αξιολόγησης που περιλάμβανε πειράματα πεδίου αποδείχθηκε πολύ πιο απαιτητική από αυτήν του πειράματος εργαστηρίου, παρά το γεγονός ότι αυτό δεν αποτυπώθηκε από την μαθηματική σχέση της αποδοτικότητας που υιοθετήθηκε για τις ανάγκες της παρούσας μελέτης. Από τα παραπάνω προκύπτει ότι και τα 3 πειράματα αξιολόγησης της εφαρμογής Inheritance αποδείχθηκαν ότι συνεισέφεραν στην εύρεση προβλημάτων 164 Διδακτορική διατριβή

165 Κεφάλαιο 6 ευχρηστίας, όμως όχι εξίσου, ούτε έχοντας παρόμοιες απαιτήσεις ως προς τους πόρους που πρέπει να διατεθούν για την ολοκλήρωση τους. Αποδείχτηκε ότι η αξιολόγηση από ειδικούς ήταν πιο αποδοτική αφού δίνει τα περισσότερα αποτελέσματα στον μικρότερο δυνατό χρόνο. Λιγότερο αποδοτικό αποδείχθηκε ότι είναι το πείραμα πεδίου το οποίο για να βρει τα προβλήματα ευχρηστίας που εντόπισε, δαπάνησε μεγαλύτερους πόρους τόσο σε ανθρωποώρες αλληλεπίδρασης και ανάλυσης όσο και σε πηγές δεδομένων. Παρόλα αυτά όπως αναφέρθηκε και σε προηγούμενη ενότητα η συνεισφορά του στην αξιολόγηση της εφαρμογής Inheritance είναι σημαντική μιας και προέκυψαν προβλήματα που σχετίζονταν με το χώρο χρήσης και δεν μπορούσαν να προβλεφθούν με τα προηγούμενα πειράματα Μετανάλυση δεδομένων Μέτρηση επίτευξης στόχων Inheritance Πέρα από τη διεξαγωγή των πειραμάτων και την ανάλυση των δεδομένων αξιολόγησης που περιγράφηκαν στις προηγούμενες ενότητες, ακολούθησε ανάλυση ποιοτικού χαρακτήρα από έναν ειδικό ευχρηστίας προκειμένου να μελετηθούν θέματα που αφορούν την εκπαιδευτική συνεισφορά της εφαρμογής καθώς και τη συνεργασία μεταξύ των ομάδων των μαθητών. Από την πλευρά των εκπαιδευτικών που σχεδίασαν τη δραστηριότητα, ο στόχος που τέθηκε ήταν οι μαθητές να μπορούν να μάθουν, μέσα από αυτή τη διαδικασία, την ιστορία των προσωπικοτήτων που εκτίθενται στο μουσείο. Από την ανάλυση των δεδομένων παρατήρησης και κυρίως των διαλόγων των μαθητών, μέσω του ActivityLens, προέκυψε ότι δύο από τις ομάδες των μαθητών δεν διάβαζαν καθόλου την πληροφορία για τα εκθέματα που συνέλεγαν. Οι συγκεκριμένες ομάδες είχαν παρατηρήσει ότι τα στοιχεία βρίσκονται ανάμεσα σε παρενθέσεις και απλά σάρωναν την οθόνη προκειμένου να εντοπίσουν τις παρενθέσεις αυτές. Ο μηχανισμός αυτός που ανέπτυξαν πιθανότατα λειτούργησε αρνητικά όσο αφορά την εκπαιδευτική συνεισφορά της εφαρμογής. Οι λειτουργίες του ActivityLens σχετικά με την ομαδοποίηση των πρωτογενών παρατηρούμενων ενεργειών σε συμβάντα ανώτερου επιπέδου (δημιουργία επεισοδίων) έδωσαν τη δυνατότητα στον ειδικό ευχρηστίας να συνθέσει τα βήματα που ακολούθησαν οι μαθητές. Η περαιτέρω λεπτομερής εξέταση αυτών των Διδακτορική διατριβή 165

166 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens βημάτων αποκάλυψε ότι οι μαθητές ακολούθησαν συγκεκριμένες πρακτικές προκειμένου να επιτύχουν την εύρεση του αγαπημένου εκθέματος. Πιο συγκεκριμένα αποκαλύφθηκε ότι υπήρξαν 2 κύριες διακριτές φάσεις της δραστηριότητας με εντελώς διαφορετικά χαρακτηριστικά όσο αφορά τη χρήση της φορητής εφαρμογής. Η πρώτη φάση της δραστηριότητας αφορούσε την συλλογή των κρυμμένων στοιχείων ενώ η δεύτερη την ταυτοποίηση του αγαπημένου εκθέματος βάσει των συλλεχθέντων στοιχείων. Στα πλαίσια της ποιοτικής ανάλυσης με τη βοήθεια του ActivityLens έγινε καταχώρηση και κατηγοριοποίηση των σημείων και των περιπτώσεων κατά τις οποίες οι μαθητές δέχονταν βοήθεια από την οδηγό της δραστηριότητας, είτε καλώντας την οι ίδιοι, είτε όταν αυτή παρενέβη προκειμένου να τους βγάλει από αδιέξοδο. Έτσι ορίστηκαν 2 διαφορετικές κατηγορίες που είναι η «κλήση για βοήθεια» και η «Αυθόρμητη παροχή βοήθειας» και συσχετίστηκαν με τα αντίστοιχα σημεία της δραστηριότητας. Παράλληλα καταγράφηκαν και κατηγοριοποιήθηκαν οι περιπτώσεις κατά τις οποίες οι μαθητές συνεργάζονταν, με την τυπολογία «Συνεργατική δραστηριότητα». Η δυνατότητα που παρέχει το ActivityLens σχετικά με την παρακολούθηση και την ανάλυση της δραστηριότητας ανά επεισόδιο βοήθησε στην κατανόηση των επιμέρους δράσεων ανά φάση. Έτσι έγινε σαφές ότι η πρώτη φάση ήταν αυτή στην οποία οι μαθητές συνάντησαν τα περισσότερα από τα προβλήματα. Αντίθετα, προβλήματα που αφορούσαν τόσο τη χρήση των συσκευών και του εξοπλισμού, όσο και τη χρήση της εφαρμογής, δεν παρατηρήθηκαν στη δεύτερη φάση της δραστηριότητας των μαθητών. Η χρήση του ActivityLens από τους αναλυτές/αξιολογητές βοήθησε στην εξαγωγή πολύτιμων συμπερασμάτων σχετικά με το βαθμό αλλά και τα κίνητρα συνεργασίας μεταξύ των ομάδων. Οι λειτουργίες εντοπισμού επαναλαμβανόμενων ακολουθιών δράσεων των μαθητών, αποκάλυψαν ότι η συνεργασία μεταξύ των ομάδων στη φάση συλλογής των κρυμμένων στοιχείων δεν ήταν ουσιαστική και έγινε φανερό ότι υπάρχει σχέση αιτίου αποτελέσματος ανάμεσα στις κατηγορίες «Αυθόρμητη παροχή βοήθειας» και «Συνεργατική δραστηριότητα». 166 Διδακτορική διατριβή

167 Κεφάλαιο 6 Συγκεκριμένα φάνηκε ότι υπήρξε περιορισμένη συνεργασία και αυτή μονάχα έπειτα από τις παρεμβάσεις της βοηθού. Η σχέση αυτή φαίνεται και στο σχήμα της εικόνας Εικόνα Κύριες φάσεις της δραστηριότητας των μαθητών Ανάλυση με ActivityLens Ο εντοπισμός της σχέσης αυτής οδήγησε σε περαιτέρω μελέτη της πρώτης φάσης προκειμένου να δοθεί ερμηνεία. Η ενδελεχής εξέταση της φάσης συλλογής των δεδομένων έδειξε ότι οι ομάδες των μαθητών δρούσαν ανταγωνιστικά, προσπαθώντας να εντοπίσουν σε σύντομο χρόνο όσο περισσότερα στοιχεία μπορούσαν. Στην προσπάθεια μάλιστα αυτή φάνηκε ότι ανέπτυξαν μηχανισμούς κατά τους οποίους δεν διάβαζαν το κείμενο των εκθεμάτων αλλά το «σάρωναν» γρήγορα προκειμένου να εντοπίσουν τις παρενθέσεις στις οποίες περιέχονταν τα κρυμμένα στοιχεία. Εντελώς διαφορετική ήταν, στη φάση ταυτοποίησης του αγαπημένου εκθέματος, η συμπεριφορά των ομάδων μαθητών όσον αφορά τη μεταξύ τους συνεργασία. Οι ομάδες συνεργάστηκαν πολύ περισσότερο, χωρίς την παρότρυνση της βοηθού και εντόπισαν το αγαπημένο έκθεμα σε σύντομο χρονικό διάστημα. Τα συμπεράσματα ποιοτικού τύπου που μόλις περιγράφηκαν εντοπίστηκαν με εξέταση και ανάλυση των δεδομένων του πειράματος πεδίου. Αντίθετα, το πείραμα εργαστηρίου δεν κατόρθωσε να δώσει συμπεράσματα για την συνεργασία μεταξύ των ομάδων ενώ επίσης φάνηκε να είναι περιορισμένα και τα συμπεράσματα για την εκπαιδευτική συνεισφορά της εφαρμογής. Αυτού του τύπου τα συμπεράσματα, που αφορούν την ουσία της εφαρμογής ως προς την χρήση της και τις παρατηρούμενες στρατηγικές των χρηστών φαίνεται να προκύπτουν κύρια από μελέτες πεδίου, δηλαδή από αυθεντικές συνθήκες χρήσης. Τα συμπεράσματα αυτά Διδακτορική διατριβή 167

168 Μελέτες περίπτωσης - ένα παράδειγμα εφαρμογής του MOBELIC και χρήσης του ActivityLens είναι αποφασιστικής σημασίας για την επανασχεδίαση της εφαρμογής, καθιστώντας τις μελέτες αυτής της κατηγορίας πολύτιμες στην σχεδίαση και αξιολόγηση τέτοιων εφαρμογών Συνεισφορά εργαλείου ανάλυσης ActivityLens Το εργαλείο ActivityLens βοήθησε σε πολλαπλές διαφορετικές φάσεις της μελέτης αξιολόγησης που περιγράφηκε. Οι φάσεις αυτές σχολιάζονται στη συνέχεια. Φάση ανάλυσης δεδομένων από αξιολογητές Το ActivityLens αποτέλεσε το εργαλείο με το οποίο τόσο οι αξιολογητές του πειράματος εργαστηρίου όσο και του πειράματος πεδίου ανέλυσαν την αλληλεπίδραση των χρηστών με την εφαρμογή Inheritance. Τόσο η δυνατότητα ταυτόχρονης προβολής πολλαπλών ετερογενών πηγών δεδομένων όσο και η δυνατότητα σχολιασμού ολόκληρων τμημάτων δραστηριότητας βοήθησε τους αξιολογητές να αποθηκεύσουν τα σημεία που υποδεικνύουν προβλήματα σχεδιασμού και να τα ταξινομήσουν σύμφωνα με το σχήμα κωδικοποίησης που τους προτάθηκε. Παράλληλα τα εργαλεία φιλτραρίσματος τους βοήθησαν στην ευέλικτη προσπέλαση συγκεκριμένων τύπων προβλημάτων και στην επαναληπτική τους μελέτη προκειμένου να τα κατανοήσουν καλύτερα. Φάση ανάλυσης δεδομένων αξιολόγησης Πέρα από τη βοήθεια που παρείχε στους αξιολογητές, το ActivityLens αποτέλεσε το περιβάλλον το οποίο βοήθησε στη μετέπειτα ανάλυση των δεδομένων αξιολόγησης που προέκυψαν από τα πειράματα εργαστηρίου και πεδίου. Συγκεκριμένα στο ActivityLens συγκεντρώθηκαν και συγχωνεύτηκαν όλες οι αναλύσεις των πηγών δεδομένων που προέκυψαν από τους έξι αξιολογητές που συμμετείχαν στα πειράματα εργαστηρίου και πεδίου. Στη συνέχεια, το ActivityLens βοήθησε στην οργάνωση και διάκριση των αναλύσεων με κριτήριο τον χώρο αξιολόγησης και επέτρεψαν την σύγκριση των προβλημάτων που παρατηρήθηκαν ανάμεσα στα πειράματα, χρησιμοποιώντας κοινό σχήμα κωδικοποίησης. Στην εικόνα Διδακτορική διατριβή

169 Κεφάλαιο 6 φαίνεται στιγμιότυπο από την σύγκριση των προβλημάτων, μέσω των λειτουργιών του ActivityLens, ανάμεσα στη μελέτη εργαστηρίου και τη μελέτη πεδίου. Εικόνα Σύγκριση προβλημάτων ευχρηστίας που εντοπίστηκαν στο εργαστήριο και στο πεδίο με τη βοήθεια του ActivityLens Φάση μετά- ανάλυσης Ανασκόπηση Τέλος το ActivityLens, όπως περιγράφηκε και στην ενότητα , χρησιμοποιήθηκε για την ανασκοπική μελέτη των πηγών δεδομένων που είχαν ήδη αναλυθεί από τους αξιολογητές των πειραμάτων, προκειμένου να εξαχθούν ποιοτικού τύπου συμπεράσματα σχετικά με την επίτευξη των στόχων της εφαρμογής αλλά και τις πρακτικές που ακολούθησαν οι μαθητές. Χωρίς τη χρήση του ActivityLens θα ήταν αδύνατη η εξαγωγή αυτών των συμπερασμάτων λόγω του τεράστιου όγκου των δεδομένων. 6.3 Συμπεράσματα Η μελέτη περίπτωσης που περιγράφηκε στο κεφάλαιο αυτό επιβεβαιώνει τις υποθέσεις της μεθοδολογίας MOBELIC. Τα περισσότερα προβλήματα ευχρηστίας της φορητής εφαρμογής Inheritance βρέθηκαν από το πείραμα με ειδικούς και μάλιστα σε πολύ λίγο χρόνο. Αυτό επιβεβαιώθηκε και από τον υπολογισμό τόσο της αποτελεσματικότητας όσο και της αποδοτικότητας της μεθόδου στην ενότητα Παράλληλα τα περισσότερα από τα προβλήματα που εντοπίστηκαν αμιγώς Διδακτορική διατριβή 169