Περιεχόµενα ΕΠΛ 435: Αλληλεπίδραση Ανθρώπου Υπολογιστή Αξιολόγηση ιαδραστικών Συστηµάτων: Εισαγωγή, Αναλυτικές µέθοδοι Αξιολόγηση διαδραστικών συστηµάτων Τι αξιολογούµε; Γιατί χρειάζεται αξιολόγηση Άσκηση Κατηγορίες Μεθόδων Αξιολόγησης Αναλυτικές µέθοδοι Ανάλυση πληκτρολογήσεων (Keystroke Level Model) Γνωστικό περιδιάβασµα (Cognitive Walkthrough) Βιβλιογραφία Εισαγωγή Αβούρης [2000]: Κεφάλαιο 8, pp. 209-216, slides in [pdf] Dix [2004]: Chapter 12 [pdf], Chapter 9 [pdf] Preece [2002]: Chapter 14 [pdf], Chapter 10 [pdf] Shneiderman [2004]: Chapter 4, [link] "Usability Evaluation Methods: The Reliability and Usage of Cognitive Walkthrough and Usability Test", Ph.D. thesis by Niels Ebbe Jacobsen, [link] what is wanted interviews ethnography what is there vs. what is wanted scenarios task analysis analysis evaluation heuristics dialogue notations prototype guidelines principles design precise specification implement and deploy architectures documentation help
Σχεδιασµός µε πρότυπη βασική οθόνη Αξιολόγηση διαδραστικών συστηµάτων [ ] Ορισµός ειδικών στόχων ευχρηστίας σύµφωνα µε τις ανάγκες των χρηστών [ ] ηµιουργία οδηγιών σχεδιασµού και οδηγού στυλ αλληλεπίδρασης [ ] Ορισµός ενός µοντέλου πλοήγησης και της κυρίαρχης µεταφοράς διεπιφάνειας [ ] Ορισµός της οµάδας των βασικών οθονών: εισαγωγική οθόνη, κεντρική οθόνη (home screen), βασικές οθόνες κύριων διεργασιών. [ ] Κατασκευή πρωτοτύπου των βασικών οθονών, χρησιµοποιώντας εργαλεία γρήγορης πρωτοτυποποίησης [ ] Για το πρωτότυπο, ζητείται η γνώµη των χρηστών και γίνονται οι πρώτες µετρήσεις ευχρηστίας Παρά το γεγονός ότι στον ανθρωποκεντρικό σχεδιασµό: η ανάλυση απαιτήσεων χρηστών, µέσω της καταγραφής των βασικών τους εργασιών και τον τρόπο που τις εκτελούν, η συµβατότητα µε τις οδηγίες και τους κανόνες σχεδιασµού, κατέχουν περίοπτη θέση η αξιολόγηση από τους ίδιους τους χρήστες του συστήµατος σε διάφορες φάσεις της σχεδίασης - ανάπτυξης αποτελεί τον βασικό της πυρήνα Ανάλογα µε τη φάση κατά την οποία εκτελείται η αξιολόγηση µπορούµε να διακρίνουµε δύο τύπους: ιαµορφωτική αξιολόγηση (Formative evaluation) Η οποία έχει στόχο τη βελτίωση του συστήµατος κατά τη φάση της σχεδίασης- ανάπτυξης Συµπερασµατική αξιολόγηση (Summative evaluation) Αξιολογείται η ποιότητα του τελικού συστήµατος / προϊόντος Είναι σαφές ότι στην σχεδίαση διαδραστικών συστηµάτων και διεπιφανειών χρήστη ειδικότερα µεγαλύτερη έµφαση δίνεται στη διαµορφωτική αξιολόγηση Αξιολόγηση διαδραστικών συστηµάτων => Τι αξιολογούµε και πότε; Αξιολόγηση διαδραστικών συστηµάτων => Γιατί χρειάζεται αξιολόγηση; Ηαξιολόγηση στην επαναληπτική σχεδίαση είναι µια συνεχής διαδικασία η οποία εξετάζει: Την αρχική ιδέα του συστήµατος και το αντίστοιχο νοητικό µοντέλο που πρέπει να σχηµατίσουν οι χρήστες Αρχικά πρωτότυπα του συστήµατος (πιθανόν χαµηλής πιστότητας) Περισσότερο ολοκληρωµένα πρωτότυπα (το στάδιο αυτό επαναλαµβάνεται πολλές φορές) Από την πλευρά των σχεδιαστών του συστήµατος η αξιολόγηση στοχεύει στον έλεγχο: Κατά πόσο οι απαιτήσεις των χρηστών έχουν καταγραφεί σωστά Αν έχουν τηρηθεί οι οδηγίες σχεδιασµού Αν ικανοποιούνται οι στόχοι ευχρηστίας Εναλλακτικών πρωτοτύπων Της υποκειµενικής ικανοποίησης χρήστη Iterative design, with its repeating cycle of design and testing, is the only validated methodology in existence that will consistently produce successful results. If you don t have user-testing as an integral part of your design process you are going to throw buckets of money down the drain. Bruce Tognazzini Ελέγξτε τη διαδικτυακή διεύθυνση http://www.asktog.com για µια συζήτηση σχετικά µε την αξία της αξιολόγησης στη σχεδίαση διαδραστικών συστηµάτων
Αξιολόγηση διαδραστικών συστηµάτων => Άσκηση Κατηγορίες Μεθόδων Αξιολόγησης The Butterfly Ballot: Anatomy of disaster είναι ένα άρθρο γραµµένο από τον Bruce Tognazzini το οποίο σχολιάζει τη µορφή του ψηφοδελτίου στις Αµερικανικές εκλογές του 2000 στην κοµητεία του Palm Beach (βλέπε: http://www.asktog.com/columns/042butterflyballot.html) ιαβάστε το άρθρο και ελέγξτε τη σχετική εικόνα του ψηφοδελτίου Κατασκευάστε ένα παρόµοιο ψηφοδέλτιο για εκλογή «αντιπροσώπων της τάξης για το µάθηµα» και κάντε µια ψηφοφορία µε τους συµφοιτητές σας. Αφού έχει ολοκληρωθεί η ψηφοφορία ρωτήστε τους συµφοιτητές ποιον είχαν σκοπό να ψηφίσουν και κατά πόσο η µορφή του ψηφοδελτίου ήταν δυσνόητη και παραπλανητική Γράψτε τα συµπεράσµατα σας. Κάντε την ίδια διαδικασία µε 10 άλλα άτοµα (διαφορετικής ηλικίας και µορφωτικού επιπέδου) Καταγράψτε τα ευρήµατα σας. Αναλυτικές τεχνικές: στο εργαστήριο χωρίς συµµετοχή χρηστών αξιολόγηση από έµπειρους επιστήµονες του χώρου (expert reviews) Γνωστικό περιδιάβασµα (Cognitive Walkthrough) Ανάλυση πληκτρολογήσεων (Keystroke Level Analysis) Ευρετική αξιολόγηση (Heuristic Evaluation) Πειραµατικές τεχνικές: στο εργαστήριο µε χρήστες Μέτρηση απόδοσης χρηστών (usability testing) Πρωτόκολλο οµιλούντων υποκειµένων (thinking aloud protocol) Καταγραφή ενεργειών υποκειµένων (user logging) ιερευνητικές τεχνικές: στο πεδίο µε χρήστες Παρατήρηση χρηστών (user observation) Οµαδική αξιολόγηση (field studies multiple users) Συνεντεύξεις µε χρήστες (semi-structured interviews) Συµπλήρωση ερωτηµατολογίων (questionnaires) Αναλυτικές µέθοδοι αξιολόγησης Είναι γνωστές και ως προβλεπτικά µοντέλα Εκτελούνται κυρίως από έµπειρους επιστήµονες του χώρου (experts in usability engineering) Παρέχουν ένα αποτελεσµατικό τρόπο για ποσοτική αξιολόγηση διαδραστικών συστηµάτων χωρίς την άµεση εµπλοκή χρηστών ιάφορα ψυχολογικά, νοητικά και κινητικά µοντέλα των χρηστών χρησιµοποιούνται για την αξιολόγηση της σχεδίασης Έχουν λιγότερο κόστος από την αξιολόγηση µε τη συµµετοχή χρηστών Η χρησιµότητα τους περιορίζεται κυρίως στην αξιολόγηση εναλλακτικών σχεδιάσεων (πρωτοτύπων) ή συστηµάτων των οποίων οι λειτουργίες και ο τρόπος που αυτές θα εκτελούνται από τους χρήστες είναι προβλέψιµες Goals GOMS Ο στόχος τον οποίο ο χρήστης επιθυµεί να πετύχει Π.χ. η εύρεση ενός (συγκεκριµένου) website του οποίου δεν γνωρίζουµε την ιαδικτυακή διεύθυνση Operators Οι νοητικές λειτουργίες και οι φυσικές δράσεις οι οποίες απαιτούνται για την διεκπεραίωση του στόχου: Methods Π.χ. κίνηση ποντικιού προς το τµήµα διεύθυνσεων του Web browser, πληκτρολόγηση διαδικτυακής διεύθυνσης της µηχανής αναζήτησης google, πληκτρολόγηση των keywords κλπ. Οι διαφορετικές µεθοδολογίες που µπορεί να χρησιµοποιηθούν για την διεκπεραίωση του στόχου Π.χ. αναζήτηση µέσω της µηχανής αναζήτησης yahoo ή google; Selection rules Καθορισµός ποιας µεθοδολογίας θα ακολουθήσουµε για τη διεκπεραίωση του στόχου Π.χ. για επιστηµονικά web site => google, για διασκέδαση => yahoo
GOMS => Παράδειγµα GOAL: CLOSE-WINDOW [select GOAL: USE-MENU-METHOD MOVE-MOUSE-TO-FILE-MENU PULL-DOWN-FILE-MENU CLICK-OVER-CLOSE-OPTION GOAL: USE-CTRL-W-METHOD PRESS-CONTROL-W-KEYS ] Για ένα συγκεκριµένο χρήστη: Rule 1: Select USE-MENU-METHOD unless another rule applies Rule 2: If the application is GAME, select CTRL-W-METHOD Ανάλυση πληκτρολογήσεων (Keystroke Level Model) Μέθοδος ποσοτικής ανάλυσης ενεργειών του χρήστη που επιτρέπει την πρόβλεψη της απόδοσης του συστήµατος. Παραδοχή: µέσος έµπειρος αλάνθαστος χρήστης Περιγραφή από τους [Card et al.(1983)]. Η µέθοδος έχει αναπτυχθεί στο πλαίσιο του µοντέλου GOMS Είναι επίπονη η χρήση της, αλλά µπορεί να δώσει αποτελέσµατα µε ακρίβεια Ιδιαίτερα χρήσιµη µέθοδος για συγκριτική µελέτη εναλλακτικών σχεδιασµών ή για λεπτοµερή ανάλυση συχνά επαναλαµβανόµενων εργασιών (π.χ. σταθµοί εργασίας τηλεφωνητριών). Αξιολόγηση σύντοµων εργασιών (sub-tasks). Για αξιολόγηση πιο σύνθετων εργασιών αυτές θα πρέπει να αναλυθούν σε υποεργασίες Στα µειονεκτήµατα της συγκαταλέγονται: εν υπάρχει πρόνοια για τα λάθη που τυχόν κάνει ο χρήστης (υπόθεση αλάνθαστου χρήστη) εν υπολογίζει το νοητικό φορτίο του χρήστη (π.χ. το χρόνο που χρειάζεται ο χρήστης για να αναγνωρίσει τις δυνατότητες που του παρέχονται από τη διεπιφάνεια - υπόθεση έµπειρου χρήστη) αλλά µόνο τις κινητικές του ενέργειες (πληκτρολογήσεις) εν λαµβάνει υπόψη το περιβάλλον εκτέλεσης της εργασίας από τον χρήστη (π.χ. συχνές διακοπές) Ανάλυση πληκτρολογήσεων => Ανάλυση πληκτρολογήσεων (ΙΙ) Τυπικοί χρόνοι πληκτρολογήσεων (Ι) ιακρίνουµε έξι φάσεις για την εκτέλεση µιας εργασίας: Φυσικές δράσεις (Physical motor): K keystroking (T K ) πάτηµα ενός πλήκτρου στο πληκτρολόγιο ή τη δεικτική συσκευή P pointing (T P ) µετακίνηση της δεικτικής συσκευής σε κατάλληλο σηµείο στην οθόνη H homing (T H ) επαναφορά του χεριού του χρήστη από µια συσκευή προς άλλη (ή αρχική τοποθέτηση του χεριού στη συσκευή) D drawing (T D ) σχηµατισµός πολυγωνικής γραµµής µήκους L (cm) και απαρτιζόµενης από N τµήµατα (T D = 0.9Ν+0.16L). Mental M - mental preparation (T M ) νοητική προετοιµασία για την εκτέλεση µιας ενέργειας System R response (T R ) - χρόνος απόκρισης συστήµατςο Οι παραπάνω χρόνοι υπολογίζονται εµπειρικά και σε πολλές περιπτώσεις διαφέρουν ανάµεσα στους χρήστες (έµπειροι, καλοί δακτυλογράφοι, εξοικειωµένοι µε τις δεικτικές συσκευές κ.λ.π) Για κάθε µια από τις παραπάνω φάσεις υπολογίζεται ο συνολικός χρόνος (π.χ. T K.ο συνολικός χρόνος πληκτρολογήσεων) και χρόνος εκτέλεσης είναι το άθροισµα τους T execute = T K + T P + T H + T D + T M + T R Φυσικές Κινήσεις Νοητικές Ενέργειες ΕΝΕΡΓΕΙΑ Πληκτρολόγηση (πληκτρολόγιο ή πλήκτρο δεικτικής συσκευής) Μεταφορά της δεικτικής συσκευής σε επιθυµητό σηµείο στην οθόνη Μετακίνηση χεριού προς πληκτρολόγιο, δεικτική συσκευή, ή function key. Χρόνος (sec) 0.28 1.1 0.4 Νοητική προετοιµασία 1.35 Επιλογή µεταξύ εναλλακτικών µεθόδων 1.2
Ανάλυση πληκτρολογήσεων => Ανάλυση πληκτρολογήσεων => Τυπικοί χρόνοι πληκτρολογήσεων (ΙΙ) Παράδειγµα Operator Description Time (sec) K Pressing a single key or button Average skilled typist (55 wpm) Average non-skilled typist (40 wpm) Pressing shift or control key Typist unfamiliar with the keyboard 0.22 0.28 0.08 1.20 P P1 Pointing with a mouse or other device on a display to select an object. This value is derived from Fitts Law which is discussed below. Clicking the mouse or similar device 0.40 0.20 H Bring home hands on the keyboard or other 0.40 device M Mentally prepare/respond 1.35 R(t) The response time is counted only if it causes the user to wait. t 2 File Save as 4 1 Give file name: Eikona1 OK Cancel Να υπολογιστεί ο χρόνος για την αποθήκευση του σχεδίου µε όνοµα Eikona1 3 Ανάλυση πληκτρολογήσεων => Ανάλυση πληκτρολογήσεων => Παράδειγµα (ΙΙ) Παράδειγµα 2 1. Ο χρήστης τοποθετεί το χέρι του στη δεικτική συσκευή (t Η ), προετοιµάζεται νοητικά (t Μ ), µεταφέρει τον δροµέα στο µενού File (t P ) και ανοίγει το µενού (t Κ ). 2. Επιλογή από το µενού (νοητική προετοιµασία, µετακίνηση στην επιλογή Save as, πάτηµα πλήκτρου t Μ + t P +t K ) 3. Πληκτρολόγηση στο πεδίο του νέου παραθύρου του ονόµατος του αρχείου: απόκριση συστήµατος (t R ), µετακίνηση στο πληκτρολόγιο (t Η ), πληκτρολόγηση ονόµατος αρχείου (7 γράµµατα +Shift =8* t Κ),. 4. Μετακίνηση στη δεικτική συσκευή (t Η ), µεταφορά δροµέα στο εικονίδιο OK (t P ), πάτηµα πλήκτρου ποντικιού (t Κ ). GOAL: ICONISE-WINDOW [select GOAL: USE-CLOSE-METHOD MOVE-MOUSE-TO- FILE-MENU PULL-DOWN-FILE-MENU CLICK-OVER-CLOSE-OPTION GOAL: USE-CTRL-W-METHOD PRESS-CONTROL-W-KEY ] Σύγκριση εναλλακτικών επιλογών: USE-CTRL-W-METHOD vs. USE-CLOSE-METHOD USE-CTRL-W-METHOD H[to kbd] 0.40 M 1.35 K[ctrlW key]0.28 Total 2.03 s USE-CLOSE-METHOD P[to menu] 1.1 B[LEFT down]0.1 M 1.35 P[to option] 1.1 B[LEFT up] 0.1 Total 3.75 s Συνολικός χρόνος: T execute = (t H + t M + t P + t K ) + (t M + t P + t K ) + (t R + t M + t H + 8*t K ) + (t H + t P + t K )=11*t K + 3*t P + 3*t H + 3*t M + t R = Υποθέτουµε ότι ξεκινάµε µε το χέρι στο ποντίκι
Γνωστικό περιδιάβασµα (Cognitive Walkthrough) Τεχνική που αφορά κύρια την ανάλυση διαδραστικών συστηµάτων διερευνητικής αλληλεπίδρασης Έµφαση στην αξιολόγηση της ευκολίας εκµάθησης του συστήµατος Η αξιολόγηση αφορά τη συσχέτιση στόχων του χρήστη - αποκρίσεων συστήµατος στα πλαίσια συγκεκριµένων σεναρίων χρήσης. Ο αξιολογητής κάνει τα εξής : (α) προσδιορίζει τυπικούς χρήστες (β) ορίζει τυπικές εργασίες χρηστών (γ) καθορίζει τυπικές σωστές ακολουθίες ενεργειών για κάθε εργασία χρήστη (δ) για κάθε βήµα της κάθε ακολουθίας αποφαίνεται αν ο χρήστης θα µπορέσει να ολοκληρώσει επιτυχώς την εργασία του µε βάση κριτήρια - ερωτήσεις <Ε1,Ε2,Ε3> Γνωστικό περιδιάβασµα (II) Ε1: Η επόµενη σωστή ενέργεια γίνεται σαφής στον χρήστη; Ε2: Ο χρήστης µπορεί να συνδέσει την περιγραφή της σωστής ενέργειας µε τον στόχο του (τι πρέπει να κάνει ο χρήστης για την διεκπεραίωση της επόµενης ενέργειας); Ε3: Ο χρήστης καταλαβαίνει σωστά την απόκριση του συστήµατος, δηλαδή θα του είναι κατανοητό αν έχει κάνει σωστή ή λάθος επιλογή; Το αποτέλεσµα της µεθόδου αυτής είναι η ανακάλυψη σχεδιαστικών ατελειών του υπό αξιολόγηση συστήµατος, δηλαδή περιοχών του στις οποίες η απάντηση σε κάποια από τα παραπάνω Ε1-Ε3 είναι αρνητική. Σε µια τέτοια περίπτωση προτείνεται αντιµετώπιση της ατέλειας. Γνωστικό περιδιάβασµα => Παράδειγµα: Εύρεση ενός βιβλίου από το Amazon (Ι) Στόχος: Η αγορά ενός αντιγράφου του βιβλίου από το www.amazon.com Τυπικοί χρήστες: Φοιτητές οι οποίοι χρησιµοποιούν τακτικά το ιαδίκτυο Βήµα 1: Επιλογή της σωστής κατηγορίας προϊόντων από τη σελίδα του Amazon Ε1: Ξέρουν οι χρήστες τι να κάνουν; Α1: Ναι γνωρίζουν ότι πρέπει να επιλέξουν τη κατηγορία «books» Ε2: Ξέρουν οι χρήστες πως θα επιλέξουν τη κατηγορία «books»; Α2: Ναι έχουν δει το σχετικό menu και γνωρίζουν πως επιλέγουν από την επιλογή «books» από το menu. Ε3: Μπορούν οι χρήστες από την ανάδραση (feedback) του συστήµατος να αντιληφθούν αν η ενέργεια τους υπήρξε επιτυχής ή όχι; Α3: Ναι το σύστηµα εµφανίζει τη σχετική φόρµα αναζήτησης. Γνωστικό περιδιάβασµα => Παράδειγµα: Εύρεση ενός βιβλίου από το Amazon (ΙΙ) Βήµα 2: Συµπλήρωση της φόρµας αναζήτησης Ε1: Ξέρουν οι χρήστες τι να κάνουν; Α1: Ναι η φόρµα έχει τη µορφή της αντίστοιχης έντυπης φόρµας και οι χρήστες γνωρίζουν ότι πρέπει να την συµπληρώσουν Ε2: Ξέρουν οι χρήστες πως θα συµπληρώσουν τη φόρµα; Α2: Όχι δεν είναι συνηθισµένοι στη συµπλήρωση φορµών αναζήτησης. Επίσης οι χρήστες δεν µπορούν να κατανοήσουν ότι οι προσυµπληρωµένες (default) τιµές χρησιµοποιούνται για να προφυλάξουν από λανθασµένες απαντήσεις γιατί τέτοιες τιµές δεν υπάρχουν σε έντυπες φόρµες Ε3: Μπορούν οι χρήστες από την ανάδραση (feedback) του συστήµατος να αντιληφθούν αν η ενέργεια τους υπήρξε επιτυχής ή όχι; Α3: Ναι η ορθή συµπλήρωση της φόρµας οδηγεί στα αποτελέσµατα της αναζήτησης και ιδανικά στο βιβλίο που αναζητείται