Μέθοδοι / εργαλεία αξιολόγησης. Αξιολόγηση Evaluation. οκιµές -Testing. Αναζήτηση - Inquiry. Επιθεώρηση - Inspection.

Transcript

1 Μέθοδοι / εργαλεία αξιολόγησης Αξιολόγηση Evaluation Αναζήτηση Inquiry Επιθεώρηση Inspection Δοκιμή Testing Άλλες σχετιζόμενες τεχνικές Αναζήτηση - Inquiry Συνεντεύξεις και ομάδες εστίασης Επισκόπηση - Surveys Ερωτηματολόγια - Questionnaires Καταγραφόμενες Συνεδρίες - Journaled Sessions Αυτοαναφερόμενες εγγραφές καταχώρησης- Στιγμιότυπα οθονών - Screen Snapshots Επιθεώρηση - Inspection Ευρεστική αξιολόγηση - Heuristic evaluation Γνωστική περιδιάβαση - Cognitive Walkthroughs Τυπική επιθεώρηση ευχρηστίας Formal Usability Inspections Πλουραλιστική περιδιάβαση - Pluralistic Walkthroughs Επιθεώρηση χαρακτηριστικών - Feature Inspection Επιθεώρηση συνέπειας - Consistency Inspection Επιθεώρηση στάνταρτ - Standards Inspection Λίστα ελέγχου αρχών - Guideline checklists οκιµές -Testing Γενικές έννοιες ελέγχου ευχρηστίας- General concepts of usability testing Πρωτόκολλο εξωτερίκευσης σκέψης Thinking Aloud protocol Μέθοδος συνεργατικής ανακάλυψης Co-discovery method Πρωτόκολλο ερωτήσεων απαντήσεων Question asking protocol Μετρήσεις απόδοσης - Performance measurement Παρακολούθηση µατιού - Eye-tracking Άλλες σχετιζόµενες τεχνικές Μέθοδος πρωτοτύπων - Prototyping Χαµηλής πιστότητας - Low-fidelity Υψηλής πιστότητας - High-fidelity Οριζόντια - Horizontal Κάθετα - Vertical ιαγράµµατα συγγένειας - Affinity Diagrams Έρευνα αρχετύπου - Archetype Research Τυφλή ψήφιση - Blind voting Ταξινόµηση καρτών - Card-Sorting Εκπαιδευτική αξιολόγηση - Education Evaluation

2 Η Αναζήτηση Γενικού Πλαισίου είναι βασικά µια δοµηµένη µέθοδος συνεντεύξεων για ένα αντικείµενο. Βασίζεται σε ένα πυρήνα αρχών που διαφοροποιούν αυτή τη µεθοδολογία από µια απλή «δηµοσιογραφική συνέντευξη. Είναι περισσότερο µια διαδικασία ανακάλυψης παρά αξιολόγησης, περισσότερο µάθησης παρά δοκιµής. Βασίζεται σε τρεις θεµελιώδεις αρχές: Η κατανόηση του πλαισίου στο οποίο χρησιµοποιείται το προϊόν (η δουλειά που γίνεται) είναι ουσιαστική για την καλή σχεδίαση Ο χρήστης είναι συνεργάτης στη διαδικασία σχεδίασης και Οι οποιεσδήποτε διαδικασίες σχεδίασης ευχρηστίας πρέπει να έχουν ένα στόχο Παράδειγµα Αξιολόγηση της ευχρηστίας ενός µηχανικού κλειδιού που χρησιµοποιείται σε επισκευές αυτοκινούµενων µέσων. Θα πρέπει να γίνουν επισκέψεις µηχανικών στο χώρο εργασίας τους ώστε να διαπιστωθεί ο τρόπος εργασίας. Θα ληφθούν υπόψη θέµατα που σχετίζονται µε χωρικές διαρρυθµίσεις, όπως η θέση των θηκών για τα εργαλεία, θέµατα που σχετίζονται µε περιορισµούς ευκινησίας ανάµεσα στα µηχανικά τµήµατα, αλλά επίσης θέµατα που σχετίζονται µε το περιβάλλον όπως το επίπεδο της ευθείας γραµµής των χεριών, το επίπεδο θορύβου στο χώρο εργασίας, ή η στενότητα και η πίεση στα χρονοδιαγράµµατα δουλειάς που τίθενται από τρίτους παράγοντες. Όλα αυτά δηµιουργούν µια εικόνα του πλαισίου δουλειάς και έτσι του πλαισίου χρήσης του προϊόντος που θα σχεδιασθεί. Θα πρέπει να δοθεί µεγάλη προσοχή στα παράπονα σχετικά µε το προϊόν, το πώς γλιστρά από τα χέρια σε περίπτωση που δουλεύουν µε λαδωµένα υλικά ή πως φθείρονται οι γωνίες των σφικτήρων. Θα πρέπει να ερωτηθούν για το τι θα έκανε τη δουλειά τους ευκολότερη και τι σχεδιαστικές αλλαγές θα τους βοηθούσαν (συνεργάτες στη σχεδίαση) Επικέντρωση στον στόχο, το αντικείµενο για το οποίο γίνεται η ανάλυση / αξιολόγηση. Ο στόχος είναι σηµαντικός. Στις σηµειώσεις µετά την επικοινωνία και τη διερεύνηση θα πρέπει να υπάρχει δυνατότητα να βρεθούν απαντήσεις. Ακολουθεί τα ίδια βήµατα µε µεθοδολογίες όπως παρατήρηση πεδίου ή συνεντεύξεις. ίδεται όµως ιδιαίτερη προσοχή σε µερικά σηµεία της διαδικασίας εν περιλαµβάνονται ερωτήσεις µε ευρεία διατύπωση. Αντίθετα, η συνεργατικότητα µεταξύ του σχεδιαστή και του ερωτούµενου χρησιµοποιείται για τη δηµιουργία ενός διαλόγου, τέτοιου ώστε ο σχεδιαστής να µπορεί να καθορίσει τις γνώµες και τις εµπειρίες του χρήστη, αλλά και να κατανοήσει τα κίνητρά του και το πλαίσιο σκέψης του. Η παρουσία του αξιολογητή, µπορεί να έχει ως αποτέλεσµα τη δηµιουργία ανησυχίας στον ερωτώµενο. Πρέπει να υπάρξει ενσωµάτωση στον κόσµο του χρήστη για να υπάρχει αποτελεσµατικότητα. Αυτό µπορεί να πάρει πολύ χρόνο µέχρι να συνηθιστεί η παρουσία του αξιολογητή. Μόλις αυτό επιτευχθεί, θα είναι πιο εύκολη η όλη διαδικασία, δεδοµένης της µεγαλύτερης ευκολίας έκφρασης από τον χρήστη των προβληµάτων του σε σχέση µε το αξιολογούµενο προϊόν. Συνήθως η διαδικασία είναι µελέτη µακράς διαρκείας που απαιτεί καλή σχέση µε τον οργανισµό στον οποίον θα γίνει η µελέτη. Χρειάζονται καλές συµφωνίες για το χρόνο, τη συχνότητα και τη διάρκεια επίσκεψης. (Έχει πολλά κοινά µε την µεθοδολογία της εθνογραφικής µελέτης) Ιδιαίτερη προσοχή χρειάζεται στην επιλογή του/των ατόµων που θα ρωτηθούν. Πολλές φορές, το άτοµο (ρόλος) που αρχικά πιστεύεται ότι θα επηρεαστεί από τη σχεδίαση δεν είναι τελικά αυτό αλλά κάποιο άλλο. Για παράδειγµα, όταν διάφορες εταιρικές εφαρµογές αλλάζουν ή αναβαθµίζονται, ο ρόλος που επηρεάζεται πιο πολύ είναι ο ρόλος του διαχειριστή του πληροφοριακού συστήµατος, ο οποίος πρέπει να εγκαταστήσει τις εφαρµογές σε κάθε υπολογιστή στον οργανισµό. Η εφαρµογή της µεθοδολογίας στο συγκεκριµένο άτοµο θα αξιολογήσει την ευχρηστία του συστήµατος που θα σχεδιασθεί. Με την ολοκλήρωση της επίσκεψης, πρέπει να γίνεται εξακρίβωση και εκτίµηση της επίτευξης των στόχων της επίσκεψης. Απαιτείται ανάλυση των σηµειώσεων ώστε να καθορισθούν οι ερωτήσεις που θα πρέπει να γίνουν την επόµενη φορά. Η µεθοδολογία είναι µια από τις καλύτερες µεθοδολογίες, όταν απαιτείται η κατανόηση του πλαισίου δουλειάς των χρηστών του προϊόντος. Το περιβάλλον εργασίας επηρεάζει κρίσιµα τον τρόπο µε τον οποίον οι άνθρωποι χρησιµοποιούν ένα προϊόν. Για παράδειγµα, υπάρχουν άνθρωποι που τυπώνουν τα mails τους και κάνουν χειρόγραφες σηµειώσεις επάνω στις εκτυπώσεις πριν τα απαντήσουν. Ως τεχνική είναι αποτελεσµατική για την ανακάλυψη και την εξερεύνηση εργασιακών πρακτικών σε περιοχές για τις οποίες δεν υπάρχει άλλη γνώση. Αυτή η τεχνική αξιολόγησης χρησιµοποιείται καλύτερα στα αρχικά στάδια της ανάπτυξης, δεδοµένου ότι µεγάλο ποσοστό της πληροφορίας που θα συλλεχθεί είναι υποκειµενικό (πως οι άνθρωποι νοιώθουν για τις δουλειές τους, πως είναι η δουλειά τους ή η ροή της πληροφορίας µέσα στον οργανισµό κλπ) Beyer, Hugh, "Getting Started with Contextual Techniques". Beyer, Hugh, and Holtzblatt, Karen, "Apprenticing with the Customer: A Collaborative Approach to Requirements Definition," Communications of the ACM, May Beyer, Hugh, and Holtzblatt, Karen, Contextual Design : A Customer-Centered Approach to Systems Designs, 1997, Morgan Kaufman Publishers, ISBN: Holtzblatt, Karen, and Beyer, Hugh, "Making Customer-Centered Design Work for Teams," Communications of the ACM, October Holtzblatt, K., and Jones, S. "Contextual Inquiry: A Participatory Technique for System Design.'' in Schuler, D., and Namioka, A. (eds.) Participatory Design: Principles and Practice. Lawrence Earlbaum, Hillsdale, NJ. 1993:

3 Η παρακολούθηση των χρηστών µέσα στο πεδίο δράσης τους είναι συνήθως ο καλύτερος τρόπος για τον καθορισµό των απαιτήσεων ευχρηστίας. Παραδοσιακοί έλεγχοι ευχρηστίας, ενώ παρέχουν ένα εργαστηριακό περιβάλλον που διευκολύνει την καταγραφή και τη συλλογή δεδοµένων, αφαιρεί τον χρήστη και το αξιολογούµενο προϊόν από το πλαίσιο του χώρου εργασίας. Μερικές φορές είναι καλύτερη η παρατήρηση των πραγµάτων στο χώρο εργασίας στον πραγµατικό κόσµο. Ξεκινάµε µε το κανόνισµα µιας επίσκεψης στο πεδίο ενδιαφέροντος. Επιλέγουµε µια ποικιλία χρηστών του προϊόντος από διάφορα περιβάλλοντα εργασίας, βιοµηχανίες, και υπόβαθρα. Υπάρχει η δυνατότητα να αξιοποιηθούν οι επαφές της οµάδας των πωλητών της εταιρείας ή του οργανισµού. Χρησιµοποιούµε το χρόνο στην επίσκεψη όσο πιο αποδοτικά γίνεται. Συγκεντρώνουµε το µέγιστο ποσό δεδοµένων. Έχουµε υπόψη µας ότι ο διαθέσιµος χρόνος είναι περιορισµένος. Αφήνουµε την πιο οργανωµένη ανάλυση δεδοµένων για αργότερα, µετά την επίσκεψη, όπου θα υπάρχει περισσότερο περιθώριο χρόνου. Ένα µέρος της διαδικασίας παρακολούθησης πεδίου είναι οι ερωτήσεις. Κάνουµε συνεντεύξεις και συζητήσεις µε τους χρήστες για τη δουλειά τους, για τους τρόπους χρήσης του προϊόντος κλπ. Ένα άλλο µέρος της διαδικασίας είναι η παρατήρηση. Έτσι παρατηρούµε τους ανθρώπους που χρησιµοποιούν το υπό αξιολόγηση προϊόν στο πλαίσιο της κανονικής καθηµερινής τους διαδικασίας. (2) Ένας τρόπος για να εξασφαλίσουµε αρκετά δεδοµένα είναι να αναγνωρίσουµε το µέγιστο αριθµό αντικειµένων (artifacts) και χαρακτηριστικών µορφωµάτων (outcroppings) Αντικείµενα (artifacts) είναι φυσικά σώµατα που χρησιµοποιούνται στον χώρο υπό εξέταση. (notebooks, φόρµες, εκθέσεις, ο ίδιος ο χώρος, οι τοίχοι) Μορφώµατα (outcroppings) είναι αξιοσηµείωτα φυσικά χαρακτηριστικά που χαρακτηρίζουν το χώρο (µέγεθος χώρου, µέγεθος πινάκων και αυτά που γράφονται πάνω τους κλπ) Και οι δύο αυτοί όροι προέρχονται από την περιοχή της ανθρωπολογίας. Τα post-it notes µπορεί να είναι και αντικείµενα (artifact) και µορφώµατα (outcropping). Συγκέντρωση αντικειµένων και δεδοµένων σχετικά µε µορφώµατα Η «συλλογή αντικειµένων και µορφωµάτων» θυµίζει αρχαιολογική ανασκαφή. Υπάρχουν πολλές οµοιότητες. Με τον τρόπο που ο αρχαιολόγος παρατηρεί τα αγγεία ενός αρχαίου πολιτισµού για να καθορίσει τις διατροφικές συνήθειες, έτσι µπορούν να ανακαλυφθούν αντικείµενα κατά τη διάρκεια της παρακολούθησης πεδίου, τα οποία θα βοηθήσουν στην αναγνώριση των τρόπων µε τους οποίους οι χρήστες χρησιµοποιούν το υπό αξιολόγηση προϊόν. Ακολουθούνται τα παρακάτω βήµατα: Αναγνώριση των αντικειµένων και µορφωµάτων κατά τη διάρκεια συνεντεύξεων και παρατηρήσεων Συλλογή και σηµείωσή τους στο χώρο Λήψη φωτογραφιών, αρχείων, χαρτών, σχεδίων της µορφής των αντικειµένων. Από απόσταση παρατήρηση µε αποστολή κάµερας για λήψη φωτογραφιών του περιβάλλοντος λειτουργίας από τους ίδιους τους χρήστες. Κατόπιν συζήτηση των φωτογραφιών µέσω τηλεφώνου Αναπαράσταση των δεδοµένων Το ίδιο το αντικείµενο Φωτογραφία του αντικειµένου ιάγραµµα του αντικειµένου Σχεδιάγραµµα του αντικειµένου µε ενδείξεις για τα διάφορα µέρη του Σχέδιο του αντικειµένου πριν και µετά τη χρήση του Επαναλαµβανόµενες εικόνες του αντικειµένου όπως εξελίσσεται χρονικά Σχέσεις της οµάδας Οι σχέσεις µεταξύ της οµάδας βοηθούν στην αναγνώριση διαδικασιών και ροής της πληροφορίας. Περιλαµβάνουν οργάνωση, ιεραρχία, τυπικές ή όχι αλληλεπιδράσεις, συσχετίσεις και επικοινωνίες µεταξύ των µελών, σχέσεις αναφοράς κλπ. Πρότυπα επικοινωνίας Τα πρότυπα επικοινωνίας φανερώνουν ποιος µιλά µε ποιόν και πόσο συχνά. Για προϊόντα που σχετίζονται ιδιαίτερα µε επικοινωνία (όπως τηλεφωνία, , διαφηµίσεις κλπ, αυτή η πληροφορίας είναι κρίσιµη. Αναζήτηση Όταν ρωτώνται οι χρήστες σχετικά µε το πώς κάνουν τις διάφορες ενέργειές τους πρέπει να ρωτώνται τα εξής: Αυτός ο τρόπος δουλεύει? Υπάρχουν άλλοι που κάνουν την ίδια δουλειά διαφορετικά? Γιατί?

4 Αυτή η τεχνική χρησιµοποιείται αποτελεσµατικότερα στα πρώιµα στάδια της ανάπτυξης, όταν απαιτείται περισσότερη γνώση σχετικά µε θέµατα γύρω από τη χρήση του προϊόντος και όχι συγκεκριµένες µετρικές. Στα πραγµατικά πρώιµα στάδια της ανάπτυξης ενός προϊόντος ή συστήµατος, όταν υπάρχει µόνο µια αρχική ιδέα περί της ανάγκης ενός προϊόντος για την ικανοποίηση συγκεκριµένων αναγκών, τότε η παρατήρηση πεδίου συντελεί στην αξιολόγηση µέσα από την κατανόηση των απαιτήσεων των χρηστών. Portions of this topic are from notes taken at Judy Ramey/Denise Carlevato/Erin Leanne Schulz's presentation at the 1996 STC Annual Conference. Kane, Kate, "Anthropologists Go Native In The Corporate Village," October/November 1996, Fast Company magazine. Nouveau-biz zine article on ethnographers finding work in corporations. Macht, Joshua, "The New Market Research," July 1998, Inc. magazine. Biz-zine article on using low-tech field studies instead of expensive focus groups for market and user research. Tamakoshi, Laura, 1996, Field Methods, and Field Notes. Online Web pages at Describes Tamakoshi's methods used during her anthropological research in Papua New Guinea. Geared toward anthropology folks, but still useful. Wixon, D., and Ramey, Judith (Eds.), 1996, Field Methods Casebook for Software Design, John Wiley & Sons, Inc., New York, NY. ISBN: Nice overview of ethnographic techniques used in software design--the only book on these techniques as used for software design that I've seen so far. Similar to the Wiklund book in that it discusses individual practitioners' experiences. Συνεντεύξεις και ομάδες εστίασης Οι συνεντεύξεις και οι οµάδες εστίασης επιτρέπουν την εξέταση του χρήστη σχετικά µε τις εµπειρίες του και τις προτιµήσεις του ως προς το προϊόν ή το σύστηµα. Και τα δύο είναι τυπικές, καλά δοµηµένες διαδικασίες όπου υπάρχει άµεση αλληλεπίδραση µε τους χρήστες, όπου τους υποβάλλονται ερωτήσεις σχετικά µε τη γνώµη τους και τη θέση τους ως προς το προϊόν Συνεντεύξεις και ομάδες εστίασης Ξεκινάµε µε µορφοποίηση των ερωτήσεων για το προϊόν ή το σύστηµα, βασισµένες στο είδος της πληροφορίας που απαιτείται. Κατόπιν ερωτώνται οι χρήστες και απαντούν αυτές τις ερωτήσεις. Στις συνεντεύξεις και στις οµάδες εστίασης απαιτείται παρουσία για αλληλεπίδραση και διευκόλυνση της συζήτησης σχετικά µε τα θέµατα που προκύπτουν από τις ερωτήσεις. Όταν υπάρχουν παρόντες περισσότεροι από ένας χρήστες, η επικοινωνία µπορεί να δηµιουργήσει περισσότερα θέµατα ή να αναγνωρίσει κοινά προβλήµατα που αντιµετωπίζουν οι χρήστες. Συνεντεύξεις και ομάδες εστίασης Η τεχνική αυτή µπορεί να χρησιµοποιηθεί για αξιολόγηση σε οποιοδήποτε στάδιο της ανάπτυξης. Ανάλογα µε το στάδιο, οι κατάλληλες ερωτήσεις θα πρέπει να τεθούν. Χρησιµοποιούνται συχνά, αφού τα προϊόντα ή τα συστήµατα έχουν βγει στην αγορά µε σκοπό την αξιολόγηση της ικανοποίησης του πελάτη. Επίσης χρησιµοποιούνται σε πρώιµα στάδια, όταν ακόµα οι απαιτήσεις του προϊόντος ή του συστήµατος δεν έχουν ακόµα καθορισθεί, για αξιολόγηση αυτών των απαιτήσεων. Συνεντεύξεις και ομάδες εστίασης Greenbaum, Thomas L.,"Focus Groups: A Help or a Waste of Time?" from Tom's articles page at Lots of other good focus group articles on that site. Greenbaum also has a couple of articles on video focus groups: "Focus Group By Video - Next Trend Of The 90's" and "Is Your Moderator Ready for Videoconferencing?" on his site. Greenbaum, Thomas L., The Handbook for Focus Group Research, 1997, Sage Pubns; ISBN: Nielsen, Jakob, "The Use and Misuse of Focus Groups" Templeton, Jane F., The Focus Group : A Strategic Guide to Organizing, Conducting and Analyzing the Focus Group Interview, 1994, Probus Pub Co; ISBN: Maya Design and W3Focus do online focus groups: FAQ Maya Design also does telephone focus groups. Silverman, George, "How to Get Beneath the Surface in Focus Groups" from George's articles page at Lots of great focus group articles here, too.

5 Επισκόπηση - Surveys Οι επισκοπήσεις είναι ανά περίπτωση συνεντεύξεις µε χρήστες όπου τίθεται ένα σύνολο ερωτήσεων και καταγράφονται οι απαντήσεις των χρηστών. Το βασικό τους χαρακτηριστικό είναι ότι είναι αλληλεπιδραστικές διαδικασίες αλλά δεν είναι δοµηµένες όπως οι αναζητήσεις γενικού πλαισίου (contextual inquiries) ούτε µε τυπικές διαδικασίες οργάνωσης όπως οι οµάδες εστίασης (focus groups). Επισκόπηση - Surveys Ξεκινά µε τη µορφοποίηση ερωτήσεων σχετικά µε το προς αξιολόγηση προϊόν ή σύστηµα, ανάλογες της πληροφορίας που απαιτείται να συγκεντρωθεί. Κατόπιν ζητείται από τους χρήστες να απαντήσουν τις ερωτήσεις. Επισκόπηση - Surveys Η τεχνική αυτή µπορεί να χρησιµοποιηθεί για αξιολόγηση σε οποιοδήποτε στάδιο της ανάπτυξης. Ανάλογα µε το στάδιο, οι κατάλληλες ερωτήσεις θα πρέπει να τεθούν. Χρησιµοποιούνται συχνά, αφού τα προϊόντα ή τα συστήµατα έχουν βγει στην αγορά µε σκοπό την αξιολόγηση της ικανοποίησης του πελάτη. Τέτοιες επισκοπήσεις συχνά αναγνωρίζουν θέµατα ευχρηστίας που θα έπρεπε να έχουν ανακαλυφθεί πριν το προϊόν βγει στην αγορά. Επισκόπηση - Surveys Alreck, Pamela L., and Settle, Robert B., The Survey Research Handbook, 1994, Irwin Professional Publishing, Chicago, IL, ISBN: (ISBN is for cheaper paperbound 1995 version) Salant, Priscilla, and Dillman, Don A., How to Conduct Your Own Survey, 1994, John Wiley & Sons, New York, NY, ISBN: Ερωτηματολόγια - Questionnaires Τα ερωτηµατολόγια είναι λίστες µε γραπτές ερωτήσεις που δίνονται στους χρήστες. ιαφέρουν από τις επισκοπήσεις στο ότι οι ερωτήσεις είναι γραπτές και έτσι απαιτούν περισσότερο κόπο και χρόνο από τους χρήστες για να τα απαντήσουν. Ερωτηματολόγια - Questionnaires Ξεκινά µε τη µορφοποίηση ερωτήσεων σχετικά µε το προϊόν ανάλογα πάντα µε το είδος της πληροφορίας που πρέπει να συγκεντρωθεί.

6 Ερωτηματολόγια - Questionnaires Μπορούν να χρησιµοποιηθούν σε οποιοδήποτε στάδιο ανάπτυξης. Ερωτηματολόγια - Questionnaires Σχεδίαση Ερωτηµατολογίου Foddy, William, Constructing Questions for Interviews and Questionnaires: Theory and Practice in Social Research, Cambridge Univ Pr (Pap Txt); ISBN: Kirakowski, Jurek, Questionnaires in Usability Engineering Lessler, Judith L., Questionnaire Design in the Cognitive Research Laboratory, ISBN Oppenheim, A. N., Questionnaire Design, Interviewing and Attitude Measurement, 1992, Pinter Pub Ltd; ISBN: Καταγραφόμενες Συνεδρίες Journaled Sessions Με τη µέθοδο των συνεδριών γεφυρώνονται η αναζήτηση ευχρηστίας (όπου οι χρήστες ρωτώνται σχετικά µε τις εµπειρίες τους από τη χρήση ενός προϊόντος) µε τους ελέγχους ευχρηστίας (όπου παρατηρούνται οι χρήστες τη στιγµή που χρησιµοποιούν το προϊόν) Η µέθοδος χρησιµοποιείται συχνά ως µια από απόσταση µέθοδος αξιολόγησης για διεπαφές λογισµικού. Ένα πρότυπο λογισµικό µοιράζεται σε ένα πλήθος χρηστών. Το λογισµικό αυτό περιέχει επιπρόσθετα και λειτουργίες καταγραφής των πράξεων των χρηστών (capture or journalise) όταν αυτοί χρησιµοποιούν το λογισµικό. Οι χρήστες εκτελούν αρκετές εργασίες από αυτές που προβλέπει το λογισµικό και οι πράξεις τους καταγράφονται. Οι καταγραφές αυτές (log) είναι διαθέσιµες για επεξεργασία και αξιολόγηση. Η διαδικασία αυτή είναι αρκετά αυτοµατοποιηµένη και άρα είναι πολύ πιο εύκολη από τη µεθοδολογία αυτο-αναφερόµενων καταγραφών του χρήστη (self-reporting logging). Καταγραφόμενες Συνεδρίες Journaled Sessions Η µεθοδολογία των καταγραφόµενων συνεδριών επιτρέπει την εκτέλεση αξιολόγησης ευχρηστίας, από απόσταση και χωρίς ιδιαίτερες λειτουργικές επιβαρύνσεις (overhead). Όταν είναι έτοιµος ο κώδικας που εκτελεί την καταγραφή, τότε µε ελάχιστο κόστος γίνεται το µοίρασµα του λογισµικού σε µεγάλο αριθµό συµµετεχόντων χρηστών Παρέχουµε στο χρήστη το πρότυπο λογισµικό, το λογισµικό καταγραφής και µια σειρά από δοκιµαστικές εργασίες προς εκτέλεση. Η ακολουθία των δοκιµαστικών εργασιών µπορεί να ενσωµατωθεί στο λογισµικό καταγραφής για καλύτερη αλληλεπίδραση µε το χρήστη. Παράλληλα µε την καταγραφή των κινήσεων του κέρσορα του χρήστη, των κλικ του ποντικιού και των άλλων ενεργειών αλληλεπίδρασης της διεπαφής, παρέχουµε επίσης τη δυνατότητα ώστε ο χρήστης να µπορεί να πληκτρολογήσει τα σχόλιά του ή τις παρατηρήσεις του στα διάφορα στάδια της εκτέλεσης των προκαθορισµένων εργασιών. Το κύριο µειονέκτηµα αυτής της µεθόδου είναι ότι δεν υπάρχει παρών κάποιος παρατηρητής ώστε να παρατηρεί τις πράξεις και τις αντιδράσεις του χρήστη (εκφράσεις προσώπου, σχόλια για δύσκολα σηµεία που δεν καταγράφονται κλπ) Φροντίζουµε τη διαδικασία επιστροφής του υλικού που έχει καταγραφεί. Καταγραφόμενες Συνεδρίες Journaled Sessions Αυτή η τεχνική χρησιµοποιείται µε καλά αποτελέσµατα στα πρώιµα στάδια ανάπτυξης, όπου η πληροφορία που συγκεντρώνεται έχει περισσότερο το χαρακτήρα του επιθυµητού παρά της περιγραφής της εµπειρίας. Θα πρέπει να εξασφαλισθεί ότι καταγράφεται αυτό ακριβώς που κάνουν οι χρήστες µε το προϊόν ώστε να µην µπορεί να ξεπεραστεί για διάφορους λόγους αυτή η διαδικασία Καταγραφόμενες Συνεδρίες Journaled Sessions Castillo, José, Remote Usability Evaluation Home Page, (José has a ton of remote evaluation stuff on his page). Nielsen, Jakob, Usability Engineering, 1993, Academic Press/AP Professional, Cambridge, MA ISBN (paper) Invisible Key Logger counts keystrokes. Other software products that count clicks: RSI prevention software, automated software QA suites from companies like Mercury Interactive, Segue, Rational, etc.

7 Αυτοαναφερόμενες εγγραφές καταχώρησης Αυτή η µεθοδολογία αφορά καταγραφή που γίνεται µε τη χρήση χαρτιού και µολυβιού. Ζητείται από τους χρήστες να καταγράψουν κιαι να αναφέρουν τις πράξεις τους και τις παρατηρήσεις τους κατά τη διάρκεια αλληλεπίδρασης και χρήσης ενός προϊόντος ή συστήµατος. Και αυτή η µεθοδολογία επιτρέπει την από απόσταση αξιολόγηση. Απαιτεί πολύ περισσότερη δουλειά από τον τελικό χρήστη. Χρησιµοποιείται όταν δεν απαιτείται πολύ µεγάλη λεπτοµέρεια στην καταγραφή αλλά περισσότερο γενικές παρατηρήσεις του χρήστη και αντήληψη του χρήστη για το προϊόν Το κύριο µειονέκτηµα αυτής της µεθόδου είναι ότι δεν υπάρχει παρών κάποιος παρατηρητής ώστε να παρατηρεί τις πράξεις και τις αντιδράσεις του χρήστη (εκφράσεις προσώπου, σχόλια για δύσκολα σηµεία που δεν καταγράφονται κλπ). Σε αυτή την µεθοδολογία, η ανάγκη αυτή είναι µεγαλύτερη και άρα το µειονέκτηµα σηµαντικότερο. Αυτοαναφερόμενες εγγραφές καταχώρησης Παρέχουµε στους χρήστες ένα πρότυπο του προϊόντος ή του συστήµατος και µια ακολουθία από εργασίες που θέλουµε να κάνει µε αυτό. Επίσης παρέχουµε και έναν τρόπο καταγραφής των παρατηρήσεων από το χρήστη. Είναι χρήσιµο να προτείνουµε (ή να επιβάλουµε) στο χρήστη υποχρεωτικά σηµεία διακοπής κατά τη διάρκεια της εκτέλεσης των προτεινόµενων ακολουθιών εργασίας, ώστε να τους δίνεται το περιθώριο να καταγράφουν τις παρατηρήσεις τους. Φροντίζουµε τη διαδικασία επιστροφής του υλικού που έχει καταγραφεί. Αυτοαναφερόμενες εγγραφές καταχώρησης Αυτή η τεχνική χρησιµοποιείται µε καλά αποτελέσµατα στα πρώιµα στάδια ανάπτυξης, όπου η πληροφορία που συγκεντρώνεται έχει περισσότερο το χαρακτήρα του επιθυµητού παρά της περιγραφής της εµπειρίας. Θα πρέπει να εξασφαλισθεί ότι καταγράφεται αυτό ακριβώς που κάνουν οι χρήστες µε το προϊόν ώστε να µην µπορεί να ξεπεραστεί για διάφορους λόγους αυτή η διαδικασία Αυτοαναφερόμενες εγγραφές καταχώρησης Castillo, José, Remote Usability Evaluation Home Page, (José has a ton of remote evaluation stuff on his page) Nielsen, Jakob, Usability Engineering, 1993, Academic Press/AP Professional, Cambridge, MA ISBN (paper) Στιγμιότυπα οθονών Screen Snapshots Στην τεχνική αυτή οι χρήστες παίρνουν στιγµιότυπα των οθονών στις διάφορες χρονικές στιγµές, κατά τη διάρκεια εκτέλεσης των εργασιών. Όπως και στις περισσότερες περιπτώσεις αξιολόγησης από τους χρήστες, και εδώ παρέχεται στους χρήστες πρότυπο του συστήµατος που αναµένεται να αξιολογηθεί. Επίσης του διατίθεται και ειδικό λογισµικό (καλύτερα ενσωµατωµένο) µε το οποίο λαµβάνει και αποθηκεύει στιγµιότυπα. Τέλος παρέχονται πληροφορίες για το πώς και πότε θα λαµβάνει τέτοια στιγµιότυπα. Στιγμιότυπα οθονών Screen Snapshots Αυτή η τεχνική χρησιµοποιείται κυρίως στα πρώιµα και στα ενδιάµεσα στάδια ανάπτυξης. Χρησιµοποιείται όταν υπάρχει ένα λογισµικό που ήδη λειτουργεί αλλά δεν απαιτείται για την αξιολόγησή του πλήρης δοκιµή. Η µέθοδος χρησιµοποιείται παράλληλα και συµπληρωµατικά µε άλλες από απόσταση διαδικασίες αξιολόγησης

8 Στιγμιότυπα οθονών Screen Snapshots Castillo, José, Remote Usability Evaluation Home Page, Nielsen, Jakob, Usability Engineering, 1993, Academic Press/AP Professional, Cambridge, MA ISBN (paper)