Περιεχόµενα ΕΠΛ 435: Αλληλεπίδραση Ανθρώπου Υπολογιστή Αξιολόγηση ιαδραστικών Συστηµάτων: ιερευνητική αξιολόγηση ιερευνητική αξιολόγηση Πλαίσιο αξιολόγησης: DECIDE Μεθοδολογίες Συνεντεύξεις Ερωτηµατολόγια Οµαδική αξιολόγηση Παρατήρηση πεδίου Αρχές κατασκευής ερωτηµατολογίων Τύποι ερωτηµατολογίων Αρχές διεξαγωγής συνεντεύξεων Βιβλιογραφία Εισαγωγή Αβούρης [2000]: Κεφάλαιο 8, pp. 228-233, slides in [pdf] Dix [2004]: Chapter 9, slides in [pdf] Preece [2002]: Chapter 13, slides in [pdf] Evaluating Interfaces with Users, by S. Greenberg, slides in [pdf] what is wanted interviews ethnography what is there vs. what is wanted scenarios task analysis analysis evaluation heuristics dialogue notations prototype guidelines principles design precise specification implement and deploy architectures documentation help
Σχεδιασµός µε πρότυπη βασική οθόνη ιερευνητική αξιολόγηση [ ] Ορισµός ειδικών στόχων ευχρηστίας σύµφωνα µε τις ανάγκες των χρηστών [ ] ηµιουργία οδηγιών σχεδιασµού και οδηγού στυλ αλληλεπίδρασης [ ] Ορισµός ενός µοντέλου πλοήγησης και της κυρίαρχης µεταφοράς διεπιφάνειας [ ] Ορισµός της οµάδας των βασικών οθονών: εισαγωγική οθόνη, κεντρική οθόνη (home screen), βασικές οθόνες κύριων διεργασιών. [ ] Κατασκευή πρωτοτύπου των βασικών οθονών, χρησιµοποιώντας εργαλεία γρήγορης πρωτοτυποποίησης [ ] Για το πρωτότυπο, ζητείται η γνώµη των χρηστών και γίνονται οι πρώτες µετρήσεις ευχρηστίας Η διερευνητική αξιολόγηση αναφέρεται σε µια σειρά µεθοδολογιών για αξιολόγηση διαδραστικών συστηµάτων µε συµµετοχή χρηστών και καταγραφής των απόψεων τους Πραγµατοποιείται συνήθως στο χώρο των χρηστών και είναι σηµαντική µορφή αξιολόγησης όταν το περιβάλλον εργασίας είναι µια σηµαντική παράµετρος του συστήµατος Απαιτεί το σύστηµα να βρίσκεται σε προχωρηµένο στάδιο πρωτοτυποποίησης Περιλαµβάνει συνήθως ένα µεγάλο αριθµό χρηστών Οι µεθοδολογίες διερευνητικής αξιολόγησης είναι βασικά τεχνικές συλλογής δεδοµένων. Εποµένως είναι αντίστοιχες µε τις τεχνικές καταγραφής απαιτήσεων από τους χρήστες και απλά διαφέρουν ως προς το σκοπό για τον οποίο διεξάγονται. Στην περίπτωση αξιολόγησης συστηµάτων ο στόχος είναι η συλλογή των απόψεων των χρηστών για το σύστηµα (ή το πρωτότυπο) το οποίο τους παρουσιάζεται Πλαίσιο αξιολόγησης: DECIDE Μεθοδολογίες Το πλαίσιο αξιολόγησης DECIDE αποτελεί µια προσπάθεια καθοδήγησης της αξιολόγησης διαδραστικών συστηµάτων Μπορεί να εφαρµοστεί σε διάφορες τεχνικές αξιολόγησης (ευρετική αξιολόγηση, πειραµατικές τεχνικές) αλλά είναι εξαιρετικά σηµαντική σε τεχνικές που εµπλέκουν χρήστες και ιδιαίτερα αυτές που ζητάνε τη γνώµη των χρηστών (π.χ. διερευνητικές τεχνικές). DECIDE: Determine the goals the evaluation addresses (Καθορισµός των στόχων της αξιολόγησης). Explore the specific questions to be answered (Καθορισµός συγκεκριµένων ερωτήσεων που αφορούν το ζήτηµα και πρέπει να απαντηθούν). Choose the evaluation paradigm and techniques to answer the questions (Επιλογή της τεχνικής / µεθοδολογίας για αξιολόγηση. Π.χ. διερευνητικές τεχνικές => συνεντεύξεις). Identify the practical issues (Επίλυση πρακτικών ζητηµάτων. Π.χ. Ποιοι χρήστες θα χρησιµοποιηθούν για την αξιολόγηση και τι εξοπλισµός). Decide how to deal with the ethical issues (Χειρισµός ηθικών ζητηµάτων). Evaluate, interpret and present the data (Ανάλυση και διερµηνεία των αποτελεσµάτων της αξιολόγησης). Συνεντεύξεις χρηστών (Interviews) Ερωτηµατολόγια (Questionnaires) Οµαδική αξιολόγηση (Group Interviews) Παρατήρηση πεδίου (Field studies)
Συνεντεύξεις Ερωτηµατολόγια Άµεση δοµηµένη µέθοδος αξιολόγησης συστήµατος. Σε αντίθεση µε τη συµπλήρωση ερωτηµατολογίων, κατά τη µέθοδο αυτή, η επαφή του αξιολογητή µε το χρήστη είναι άµεση. Οι ερωτήσεις µιας συνέντευξης συνήθως είναι δοµηµένες ώστε να είναι δυνατή η συγκριτική αξιολόγηση ενός συστήµατος σε σχέση µε άλλα παρόµοια. Η συνέντευξη είναι χρήσιµο να ακολουθεί µια ιεραρχική δοµή, αρχίζοντας µε καταγραφή της γενικής εντύπωσης του χρήστη για το σύστηµα και να επικεντρώνεται στη συνέχεια σταδιακά σε πιο ειδικά θέµατα. Πλεονέκτηµα: Ευελιξία και η δυνατότητα καταγραφής λεπτοµερώς απόψεων χρηστών έναντι του συστήµατος Εγγενής δυσκολία ανάλυσης και σύγκρισης του υλικού και η συναγωγή γενικών συµπερασµάτων Αδυναµία καταγραφής ποσοτικών χαρακτηριστικών οκιµασµένη µέθοδος καταγραφής της αντίδρασης των χρηστών στη χρήση ενός λογισµικού ή προϊόντος. Η ευκρίνεια στη διατύπωση των ερωτήσεων είναι ένα πολύ σηµαντικό χαρακτηριστικό στη χρήση ερωτηµατολογίων για αξιολόγηση. Σε αντίθεση µε τη συνέντευξη, λιγότερο ευέλικτη, αφού οι ερωτήσεις είναι καταγραµµένες και δεν µπορούν να αλλάξουν κατά περίπτωση, Η διαχείριση ερωτηµατολογίων και η εξαγωγή συµπερασµάτων είναι πολύ πιο εύκολη. Ένα ερωτηµατολόγιο πρέπει να διαχυθεί σε µεγάλο πλήθος υποκειµένων. Υποκειµενική άποψη των χρηστών για το σύστηµα. Πολλές φορές οι χρήστες εκφράζουν θετικές ή αρνητικές κρίσεις όχι επειδή αυτό προκύπτει από την προσωπική τους εµπειρία. Οµαδική αξιολόγηση Παρατήρηση πεδίου Είναι γνωστή και ως αξιολόγηση «focus group» Στόχος: Η αξιολόγηση του συστήµατος από ένα µικρό αριθµό χρηστών (5-10) ταυτόχρονα Κατάλληλη µεθοδολογία για αξιολόγηση συστηµάτων τα οποία απαιτούν συνεργασία ανάµεσα σε χρήστες (π.χ. συστήµατα τηλεσυνεργασίας, τηλεδιάσκεψης κλπ). Η οµάδα των χρηστών συντονίζεται από κάποιον ειδικό ευχρηστίας. Ο συντονιστής έχει την υπευθυνότητα να: Καθορίσει τα θέµατα προς συζήτηση (αξιολόγηση) ιασφαλίσει την ισοµερή συµµετοχή των χρηστών και την ελεύθερη εκφορά των απόψεων τους Σύνοψης και εξαγωγής συµπερασµάτων Είναι δυνατή η σύσταση πολλών οµάδων αξιολόγησης ταυτόχρονα κάθε µια από τις οποίες εξετάζει ένα διαφορετικό τµήµα του συστήµατος υσκολία τήρησης της ατζέντας υσκολία στην εξαγωγή ποσοτικών συµπερασµάτων Παρατήρηση των χρηστών στο περιβάλλον εργασίας τους κατά την επαφή τους µε το σύστηµα Απαιτείται τουλάχιστον µια demo version του συστήµατος έτσι ώστε οι χρήστες να µπορούν να την χρησιµοποιούν για τη διεκπεραίωση των εργασιών τους Πλεονεκτήµατα Φυσικότητα στις αντιδράσεις των χρηστών Έλεγχος στο περιβάλλον εργασίας Μειονεκτήµατα υσκολία στη καταγραφή των ενεργειών των χρηστών (δεν υπάρχει η δυνατότητα εγκατάστασης νέου εξοπλισµού για αυτό τον σκοπό) υσκολία ποσοτικής ανάλυσης και εξαγωγής συµπερασµάτων
Αρχές κατασκευής ερωτηµατολογίων => 1. Μέγεθος: Αρχές κατασκευής ερωτηµατολογίων Ένα καλό ερωτηµατολόγιο περιλαµβάνει περισσότερες από είκοσι (20) ερωτήσεις αλλά οπωσδήποτε λιγότερες από σαράντα (40) έτσι ώστε η συµπλήρωση του να µην είναι κουραστική 2. Βάθος ερωτήσεων Η απάντηση σε κάθε ερώτηση πρέπει να δίνει αρκετές πληροφορίες για κάποιο σηµείο του συστήµατος που θέλουµε να αξιολογήσουµε 3. Πληρότητα Το σύνολο των απαντήσεων πρέπει να δίνει αρκετές πληροφορίες για όλους τους στόχους της αξιολόγησης 4. Ανεξαρτησία Κάθε διαφορετική απάντηση πρέπει να δίνει διαφορετικό είδος πληροφοριών 5. Ισορροπία Το πλήθος των ερωτήσεων ανά αξιολογούµενο τµήµα πρέπει να αντιστοιχεί στη σηµασία του εν λόγω τµήµατος του συστήµατος 6. Γλώσσα και σαφήνεια Η γλώσσα και η ορολογία που χρησιµοποιείται πρέπει να είναι κατανοητή (και οικεία) στον ερωτόµενο Οι ερωτήσεις πρέπει να είναι σαφείς και αν απαιτείται να δίνονται διευκρινίσεις για τη σηµασία των απαντήσεων Τύποι ερωτηµατολογίων Ανοικτές ερωτήσεις Κατά την γνώµη σας τα µηνύµατα λάθους είναι ευκολονόητα;. Κλειστές ερωτήσεις Χρησιµοποιείτε τα Πλήκτρα λειτουργιών (function keys); πάντα [ ] συχνά [ ] σπάνια [ ] ποτέ [ ] Προκαθορισµένη κλίµακα πολλαπλών σηµείων (multipoint scale) Παρέχονται επεξηγήσεις κατά την εγκατάσταση του λογισµικού: εν αφορά το παρόν σύστηµα: καθόλου -2-1 0 1 2 συνεχώς Αρχές κατασκευής ερωτηµατολογίων => Τύποι ερωτηµατολογίων (ΙΙ) Πίνακες Σηµασιολογικών Αποχρώσεων (Semantic Differentials) Κυκλώστε τον αριθµό που ταιριάζει καλύτερα στην άποψη σας για τη διεπιφάνεια: Απλή 3 2 1 0 1 2 3 Σύνθετη Αξιόπιστη 3 2 1 0 1 2 3 Αναξιόπιστη Ελκυστική 3 2 1 0 1 2 3 Απωθητική Κλίµακας Likert: Πιστεύω ότι οι υπολογιστές µπορούν να παίξουν σηµαντικό ρόλο στην εκπαίδευση: Συµφωνώ έντονα Συµφωνώ Συµφωνώ µε επιφυλάξεις Ουδέτερος ιαφωνώ ελαφρά ιαφωνώ ιαφωνώ έντονα Κατάταξη αντικειµένων Κατατάξτε τις παρακάτω λειτουργίες µε βάση τη χρησιµότητα τους: (κλίµακα από 1-4, µε 1 την πιο χρήσιµη λειτουργία: PASTE [ ] DUPLICATE [ ] GROUP [ ] CLEAR [ ] Αρχές κατασκευής ερωτηµατολογίων => Παράδειγµα ίνεται η διεπιφάνεια µίας ψηφιακής ταινιοθήκης η οποία χρησιµοποιείται για εκπαιδευτικές διαδικασίες. Στη διαπροσωπεία υποστηρίζονται οι βασικές λειτουργίες (διεργασίες) που φαίνονται δίπλα
Αρχές κατασκευής ερωτηµατολογίων => Παράδειγµα (ΙΙ) Παρακάτω δίνεται ένα ερωτηµατολόγιο για την αξιολόγηση της διεπιφάνειας Αρχές διεξαγωγής συνεντεύξεων Μια καλή συνέντευξη οργανώνεται έχει την παρακάτω δοµή 1. Εισαγωγή Συστάσεις Επεξήγηση του στόχου της συνέντευξης Επιβεβαίωση τήρησης ηθικών κανόνων (προσωπικά δεδοµένα), Άδεια ηχογράφησης Συµπλήρωση φόρµας συγκατάθεσης 2. Ζέσταµα (Warm-up) Οι πρώτες ερωτήσεις να είναι εύκολες στην απάντηση και ανώδυνες (π.χ. ηµογραφικού τύπου). 3. Κύριο µέρος (Main body) Παρουσίαση ερωτήσεων µε λογική σειρά από τις ευκολότερες προς τις δυσκολότερες και µε βάση το αντικείµενο 4. Αποθέρµανση (A cool-off period) Μερικές εύκολες και ανώδυνες ερωτήσεις για κατέβασµα των τόνων 5. Ολόκληρωση Ευχαριστίες προς τον συνεντευξιαζόµενο.