ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ ΥΠΟΛΟΓΙΣΤΩΝ ΜΑΘΗΜΑ ΕΠΙΛΟΓΗΣ ΗΥ-464 ΕΠΙΚΟΙΝΩΝΙΑ ΑΝΘΡΩΠΟΥ - ΜΗΧΑΝΗΣ Διδάσκων: Κωνσταντίνος Στεφανίδης
Η φάση της αξιολόγησης οδηγεί σε βελτιώσεις και επεξεργασία της σχεδίασης καθώς και στη συνολική βελτίωση της διεπαφής Οι αρχικές σχεδιαστικές αποφάσεις επιβεβαιώνονται ή απορρίπτονται και νέες απαιτήσεις και πιθανά προβλήματα στην αλληλεπίδραση αποκαλύπτονται Bοηθά στην επιβεβαίωση ότι το σύστημα συμπεριφέρεται όπως ήταν αναμενόμενο και στην εκτίμηση του βαθμού στον οποίο ικανοποιούνται οι απαιτήσεις και οι στόχοι που τέθηκαν στις πρώτες φάσεις της σχεδίασης Κατά συνέπεια, η αξιολόγηση προσφέρει έναν τρόπο για να τερματίσει η επαναληπτική διαδικασία ανάπτυξης Διαφάνεια 2
Οι πιο δημοφιλείς μέθοδοι αξιολόγησης στη βιομηχανία είναι οι εμπειρικές μέθοδοι (empirical methods) Πειράματα με χρήστες σε ένα εργαστήριο με σκοπό: την παρατήρηση προβλημάτων αλληλεπίδρασης τη μέτρηση της απόδοσης των χρηστών την καταγραφή των υποκειμενικών απόψεων των χρηστών Η ανάγκη της βιομηχανίας λογισμικού για πιο γρήγορες και φθηνές μεθόδους οδήγησε σε ένα σύνολο μεθόδων που βασίζονται στη συμμετοχή ειδικών, γνωστές ως μέθοδοι επιθεώρησης (inspection methods) Χρησιμοποιούνται κυρίως στα πρώτα στάδια της σχεδίασης για τον εντοπισμό πιθανών προβλημάτων ευχρηστίας οι πιο ακριβές και χρονοβόρες μέθοδοι που βασίζονται στη συμμετοχή χρηστών χρησιμοποιούνται στα τελευταία στάδια της ανάπτυξης Διαφάνεια 3
Σχεδιαστικές αποφάσεις «κοινής λογικής» Υπόθεση ότι η προσωπική συμπεριφορά είναι αντιπροσωπευτική Συνεχιζόμενη αποδοχή συνηθειών και παραδόσεων Αυθαίρετες και αβάσιμες υποθέσεις στη σχεδίαση Αβάσιμες και πρόωρες σχεδιαστικές αποφάσεις Αναβολή της αξιολόγησης για κάποια «πιο κατάλληλη στιγμή» Επίσημη αξιολόγηση με ακατάλληλες ομάδες χρηστών Πειράματα που δε μπορούν να αναλυθούν Διαφάνεια 4
Η αξιολόγηση αποτελεί ένα σημαντικό μέρος οποιασδήποτε ανθρωποκεντρικής ανάπτυξης H αξιολόγηση δεν πρέπει να αντιμετωπίζεται σαν μια μεμονωμένη φάση, αλλά σαν μια δραστηριότητα που πραγματοποιείται σε όλες τις φάσεις της σχεδίασης και της υλοποίησης Η διαφορά μεταξύ της παραδοσιακής αξιολόγησης και ελέγχου έναντι της αξιολόγησης ευχρηστίας είναι ότι η δεύτερη επικεντρώνεται στους χρήστες, τις ενέργειες και τη διεπαφή, σε αντίθεση με την πρώτη που επικεντρώνεται στη λειτουργικότητα και την εργονομία του συστήματος Διαφάνεια 5
Στα πρώτα στάδια της σχεδίασης και της ανάπτυξης, η αξιολόγηση ευχρηστίας χρησιμοποιείται κυρίως για: να εντοπίσει προβλήματα ευχρηστίας να αξιολογήσει τις εναλλακτικές προτάσεις σχεδίασης να αξιολογήσει την επίδραση της διεπαφής στους χρήστες και να συγκεντρώσει ανάδραση από τους χρήστες, που μπορεί να χρησιμοποιηθεί για τη βελτίωση της σχεδίασης Επιπλέον, η αξιολόγηση ευχρηστίας μπορεί να χρησιμοποιηθεί για να προβλέψει αν θα επιτευχθούν οι στόχοι ευχρηστίας Διαφάνεια 6
Το πλεονέκτημα της έγκαιρης αξιολόγησης είναι η δημιουργία πιο εύχρηστων συστημάτων, αφού στα πρώτα στάδια οι αλλαγές είναι σχετικά εύκολες και οικονομικές Αντίθετα, αν η διαδικασία ανάπτυξης έχει προχωρήσει και οι σχεδιαστικές αποφάσεις έχουν παρθεί, οι αλλαγές μπορεί να είναι πολύ ακριβές ή ακόμη και αδύνατες Διαφάνεια 7
Όταν ένα προϊόν έχει σχεδόν ολοκληρωθεί, η αξιολόγηση ευχρηστίας χρησιμοποιείται για να εκτιμηθεί αν οι στόχοι ευχρηστίας έχουν επιτευχθεί Μια άλλη χρήση είναι η μέτρηση και η σύγκριση της ευχρηστίας υπαρχόντων προϊόντων, είτε για την αγορά ενός προϊόντος είτε για την καταγραφή των στόχων ευχρηστίας κατά τη δημιουργία ενός ανταγωνιστικού προϊόντος Τέλος, η αξιολόγηση ευχρηστίας μπορεί να χρησιμοποιηθεί ως εργαλείο βελτίωσης της επίγνωσης της ευχρηστίας για τους σχεδιαστές, τους διαχειριστές ή ακόμα και τους χρήστες, δείχνοντας το θετικό της αντίκτυπο σε ένα συγκεκριμένο προϊόν Διαφάνεια 8
Η ευχρηστία δεν είναι εγγενές χαρακτηριστικό ενός προϊόντος Εξαρτάται από το πλαίσιο στο οποίο θα χρησιμοποιηθεί το προϊόν Το πλαίσιο χρήσης περιλαμβάνει τους χρήστες, τις εργασίες που θέλουν να εκτελέσουν και το περιβάλλον στο οποίο θα λειτουργεί το σύστημα Για το λόγο αυτό, πριν τη διεξαγωγή οποιουδήποτε είδους αξιολόγησης ευχρηστίας, είναι σημαντικό να έχει συγκεντρωθεί αρκετή πληροφορία για το πλαίσιο χρήσης Αυτή η πληροφορία είναι ζωτικής σημασίας για το σχεδιασμό έγκυρων και αποτελεσματικών αξιολογήσεων αλλά και για την ίδια τη σχεδίαση Διαφάνεια 9
Το Part 11 του ISO 9241 παρέχει ένα πλαίσιο για τον προσδιορισμό και τη μέτρηση της ευχρηστίας των προϊόντων, αλλά όχι συγκεκριμένες απαιτήσεις ή συστάσεις Η ευχρηστία μετριέται από το βαθμό στον οποίο επιτυγχάνονται οι στόχοι των χρηστών (αποτελεσματικότητα effectiveness), τους πόρους που καταναλώνονται για την επίτευξη των στόχων αυτών (αποδοτικότητα efficiency) και το βαθμό στον οποίο οι χρήστες θεωρούν αποδεκτή τη χρήση του προϊόντος (ικανοποίηση satisfaction) Έμφαση δίνεται στο πλαίσιο χρήσης και στο γεγονός ότι το επίπεδο της ευχρηστίας εξαρτάται από τις συγκεκριμένες συνθήκες υπό τις οποίες χρησιμοποιείται το προϊόν Διαφάνεια 10
Το ISO/EC 9126 (1994) προτείνει τρεις πιθανούς τρόπους με τους οποίους μπορεί να μετρηθεί η ευχρηστία ενός προϊόντος: Με την ανάλυση του προϊόντος και του πλαισίου χρήσης Με την ανάλυση της διαδικασίας της αλληλεπίδρασης Με την ανάλυση της αποτελεσματικότητας και της αποδοτικότητας από τη χρήση του προϊόντος σε ένα συγκεκριμένο πλαίσιο και τη μέτρηση της ικανοποίησης των χρηστών με το προϊόν Διαφάνεια 11
Παρόλο που η μηχανική ευχρηστίας (usability engineering) είναι ένας πολύ καινούριος επιστημονικός κλάδος, η αξιολόγηση ευχρηστίας είναι παραδόξως ένας πολύ ευρύς τομέας Αυτό οφείλεται κυρίως στη γνώση και τις πρακτικές που πηγάζουν από άλλους τομείς όπως: Ανθρώπινοι παράγοντες και εργονομία Νοητική και κοινωνική ψυχολογία Άλλοι παράγοντες που συνεισφέρουν είναι: οι μεγάλες επενδύσεις της βιομηχανίας λογισμικού στον τομέα, που επιβάλλονται από την ολοένα αυξανόμενη απαίτηση της αγοράς και των πολιτικών των κυβερνήσεων ή της Ευρωπαϊκής Ένωσης για ευχρηστία και ποιότητα στο λογισμικό Διαφάνεια 12
Υπάρχει μια πληθώρα διαθέσιμων μεθόδων αξιολόγησης, που κυμαίνεται από πολύ απλές σε ιδιαίτερα πολύπλοκες και από φθηνές σε πολύ απαιτητικές σε πόρους μεθόδους Κάθε μέθοδος έχει ξεχωριστές απαιτήσεις και πλεονεκτήματα και εφαρμόζεται σε συγκεκριμένα στάδια του κύκλου ζωής της ανάπτυξης Δεν υπάρχει καθολική συμφωνία για το ποιες μέθοδοι είναι οι πιο αποδοτικές ή κατάλληλες, και πολύ συχνά προκύπτουν αντικρουόμενα αποτελέσματα πειραμάτων ή ισχυρισμοί Διαφάνεια 13
Ένα πρόβλημα, που αντιμετωπίζουν οι ειδικοί ευχρηστίας, είναι η επιλογή των μεθόδων που θα χρησιμοποιηθούν κατά τη διάρκεια του κύκλου ζωής της ανάπτυξης ενός συγκεκριμένου προϊόντος και επιπλέον πότε και σε ποιο βαθμό θα χρησιμοποιηθούν Ένας τρόπος διευκόλυνσης της επιλογής των μεθόδων ευχρηστίας, αλλά και της διαμόρφωσης μιας δομής για τη μελέτη τους, είναι η ανάγκη ύπαρξης μιας ταξινόμησης των υπαρχόντων μεθόδων, σύμφωνα με ένα σύνολο προκαθορισμένων κριτηρίων Διαφάνεια 14
Κάποια από τα πιο δημοφιλή κριτήρια που χρησιμοποιούνται για την ταξινόμηση των μεθόδων αξιολόγησης στη βιβλιογραφία της Επικοινωνίας Ανθρώπου Υπολογιστή (HCI) είναι: Ποιος εμπλέκεται (χρήστες/ειδικοί) Πού διεξάγονται (εργαστήριο/πεδίο εφαρμογής) Η φάση της διαδικασίας ανάπτυξης στην οποία εφαρμόζονται (σχεδίαση/υλοποίηση) Πότε διεξάγονται (πριν (formative)/μετά (summative)) Η τυπικότητά τους (επίσημες/ανεπίσημες) Η αντικειμενικότητα και ο τύπος των αποτελεσμάτων τους (αντικειμενικές/υποκειμενικές, ποιοτικές/ποσοτικές) Διαφάνεια 15
Μια συνηθισμένη προσέγγιση είναι η ταξινόμηση των αξιολογήσεων σε ανακεφαλαιωτικές (summative) και προκαταρκτικές (formative) Η ανακεφαλαιωτική αξιολόγηση διεξάγεται μετά την ολοκλήρωση του προϊόντος ή λίγο πριν Συχνά χρησιμοποιείται πριν ή μετά την κυκλοφορία του προϊόντος Αυτός ο τύπος αξιολόγησης ήταν συνηθισμένος στις γραμμικές φάσεις ανάπτυξης, όπως στο μοντέλο του καταρράκτη (waterfall model) Η ανακεφαλαιωτική αξιολόγηση χρησιμοποιείται πλέον κυρίως για την εκτίμηση της συμβατότητας ενός προϊόντος σε σχέση με κάποιο πρότυπο ή με ένα σύνολο οδηγιών, ή για τη βελτίωση και τη διόρθωση λαθών στη δεύτερη έκδοση (beta version) ενός προϊόντος Διαφάνεια 16
Το κύριο μειονέκτημα της ανακεφαλαιωτικής αξιολόγησης είναι ότι τα προβλήματα που εντοπίζονται προκαλούν μεγάλες επαναλήψεις στην ίδια την ακολουθία φάσεων της ανάπτυξης Επιπλέον, η ανακεφαλαιωτική αξιολόγηση δεν υποστηρίζει μια επαναληπτική διαδικασία βελτίωσης και κατά συνέπεια δεν μπορεί να υποστηρίξει μια ανθρωποκεντρική διαδικασία σχεδίασης Η προκαταρκτική αξιολόγηση διεξάγεται κατά τη διάρκεια όλων των φάσεων του κύκλου ζωής της ανάπτυξης και τα αποτελέσματά της χρησιμοποιούνται στη σχεδίαση Αυτή η έγκαιρη αξιολόγηση αποδίδει το μέγιστο κέρδος, αφού τα προβλήματα αναγνωρίζονται και διορθώνονται νωρίς Διαφάνεια 17
Οι μέθοδοι αξιολόγησης ευχρηστίας χωρίζονται σε δύο βασικές κατηγορίες ανάλογα με το αν απαιτείται η συμμετοχή των χρηστών ή όχι: Εμπειρικές ή βασισμένες στους χρήστες (empirical, or user-based) Μη-εμπειρικές (non-empirical) Εφόσον οι μέθοδοι που βασίζονται στους χρήστες χρησιμοποιούνται κυρίως για την αξιολόγηση της υλοποίησης, αναφέρονται συνήθως στην ανακεφαλαιωτική αξιολόγηση Οι μη-εμπειρικές μέθοδοι χρησιμοποιούνται κυρίως κατά τη διάρκεια της σχεδίασης και της δημιουργίας πρωτοτύπων (προκαταρκτική αξιολόγηση) Αυτό βέβαια δε συμβαίνει πάντα. Για παράδειγμα, οι χρήστες χρησιμοποιούνται επίσης και κατά τη σχεδίαση για τη σύγκριση εναλλακτικών λύσεων ή για την αναγνώριση προβλημάτων ευχρηστίας στη διεπαφή Διαφάνεια 18
Μέθοδοι αξιολόγησης Εμπειρικές (Με βάση τους χρήστες) Μη-εμπειρικές Αντικειμενική Εκτίμηση Υποκειμενική Εκτίμηση (Τεχνικές Ερωτήσεων) Μέθοδοι Επιθεώρησης Μέθοδοι βασισμένες στη θεωρία Έκφραση σκέψεων, Πρωτόκολλο ερωτήσεων απαντήσεων Συνεργατική αξιολόγηση, Εκμάθηση μέσω ανακάλυψης με συνεργασία, Καθοδήγηση Αναδρομικός έλεγχος Μέτρηση απόδοσης Ερωτηματολόγια Νοητική προσπάθεια Ομάδες συζητήσεων Συνεντεύξεις Ικανοποίηση χρηστών & Παρατηρούμενη ευχρηστία Ευρετικοί κανόνες σχετικοί με HCI Ευρετική (Expert) Αξιολόγηση Επιθεώρηση προτύπων (Τήρηση & Συμμόρφωση) Επιθεώρηση συνέπειας Περιηγήσεις / Storyboarding / Tabletoping Γνωστική Περιήγηση Πολλαπλή Περιήγηση Γενικού σκοπού Έντυπης μορφής Οδηγίες (Guidelines) Εργαλεία για εργασία με οδηγίες Για συγκεκριμένες πλατφόρμες (Styleguides) Διαφάνεια 19
Η εμπειρική αξιολόγηση περιλαμβάνει έλεγχο μιας διεπαφής με πραγματικούς χρήστες και απαιτεί μια προσομοίωση, ένα πρωτότυπο ή την πλήρη υλοποίηση του συστήματος Τα άτομα πρέπει να είναι αντιπροσωπευτικά του πληθυσμού των χρηστών και ένα επαρκές δείγμα είναι απαραίτητο (συνήθως όχι λιγότερο από οκτώ άτομα) Αυτός ο τύπος αξιολόγησης χρησιμοποιείται για να εντοπιστούν λάθη ευχρηστίας, να εκτιμηθεί η γνώμη των χρηστών και να παρατηρηθεί και να μετρηθεί η απόδοσή τους Διαφάνεια 20
Οι εμπειρικές μέθοδοι αξιολόγησης χρησιμοποιούνται από τον τομέα Ανθρώπινου Δυναμικού Οι εμπειρικές μέθοδοι αξιολόγησης είναι ευρέως αναγνωρισμένες και αποτελούν τις πιο συχνά χρησιμοποιούμενες μεθόδους στη βιομηχανία λογισμικού Κάποια από τα μειονεκτήματα αυτών των μεθόδων είναι ότι: απαιτούν ειδικούς για τη σχεδίαση και διεξαγωγή των πειραμάτων είναι αργές, χρονοβόρες και ακριβές για τις σύγχρονες εφαρμογές ανάπτυξης λογισμικού Κατά συνέπεια, η εμπειρική αξιολόγηση διεξάγεται συχνά ως συμπλήρωμα των μη-εμπειρικών τεχνικών και συγκεκριμένα στις τελικές φάσεις της σχεδίασης και της ανάπτυξης Διαφάνεια 21
Η εμπειρική αξιολόγηση μπορεί να διαχωριστεί περαιτέρω σε αντικειμενική και υποκειμενική εκτίμηση Η αντικειμενική εκτίμηση (objective assessment) περιλαμβάνει ελεγχόμενα πειράματα, συνήθως σε ένα εργαστήριο, με πραγματικούς χρήστες να εργάζονται με το προϊόν προς αξιολόγηση και μπορεί να χρησιμοποιηθεί: (α) για τη διαμόρφωση δεικτών μέτρησης της ευχρηστίας σχετικά με την απόδοση των χρηστών, όπως η αποτελεσματικότητα και η αποδοτικότητα, όταν χρησιμοποιούν ένα συγκεκριμένο σύστημα Διαφάνεια 22
(β) για την παρατήρηση του χρήστη καθώς αλληλεπιδρά με το σύστημα. Πολλές φορές ζητείται από το χρήστη να περιγράφει προφορικά τις σκέψεις, τις γνώμες και τα συναισθήματά του καθώς χρησιμοποιεί τη διεπαφή Αυτό βοηθάει στην κατανόηση του νοητικού μοντέλου του χρήστη, του τρόπου με τον οποίο σκέφτεται και εκτελεί τις εργασίες, καθώς επίσης και στον εντοπισμό ασυμβατοτήτων μεταξύ του νοητικού μοντέλου των χρηστών και του μοντέλου του συστήματος Π.χ., οι μέθοδοι παρατήρησης (observation methods): μέθοδος έκφρασης σκέψεων (thinking aloud) πρωτόκολλο ερωτήσεων απαντήσεων (question-asking protocol) συνεργατική αξιολόγηση (co-operative evaluation) εκμάθηση μέσω ανακάλυψης με συνεργασία (co-discovery learning), καθοδήγηση (coaching), αναδρομικός έλεγχος (retrospective testing) Διαφάνεια 23
Η υποκειμενική εκτίμηση (subjective assessment), που αναφέρεται και ως τεχνικές ερωτήσεων (query techniques), στοχεύει στην εκτίμηση της γνώμης των χρηστών για συγκεκριμένα μέρη ή για ολόκληρο το σύστημα Ένας τρόπος για να γίνει αυτό είναι μέσω συνεντεύξεων (interviews) και ομάδων συζητήσεων (focus groups) Ένας πιο βολικός και οργανωμένος τρόπος είναι η χρήση ερωτηματολογίων (questionnaire) Διαφάνεια 24
Είναι λιγότερο επίσημες από τους ελεγχόμενους πειραματισμούς, αλλά είναι χρήσιμες στην εξαγωγή λεπτομερειών για τις απόψεις των χρηστών για το σύστημα Πλεονεκτήματα: καταγράφουν απευθείας την άποψη του χρήστη και αποκαλύπτουν θέματα που δεν έχουν ληφθεί υπόψη από το σχεδιαστή είναι απλές και φθηνές Μειονεκτήματα: η πληροφορία που αποκτάται είναι αναγκαστικά υποκειμενική μπορεί να είναι δύσκολο να αποκτηθούν ακριβείς απόψεις για εναλλακτικές λύσεις στη σχεδίαση, αν ο χρήστης δεν έχει εμπειρία με τη χρήση τους Διαφάνεια 25
Παρέχουν έναν άμεσο και δομημένο τρόπο για τη συλλογή πληροφορίας Έχουν το πλεονέκτημα ότι το επίπεδο των ερωτήσεων μπορεί να ποικίλει ανάλογα με το πλαίσιο χρήσης Μπορεί να είναι αποτελεσματικές για αξιολόγηση υψηλού επιπέδου, συγκεκριμένα στην εξαγωγή πληροφοριών για τις προτιμήσεις των χρηστών Προκειμένου να είναι όσο το δυνατόν πιο αποτελεσματικές, οι συνεντεύξεις πρέπει να σχεδιάζονται εκ των προτέρων Διαφάνεια 26
Είναι λιγότερο ευέλικτα από την τεχνική των συνεντεύξεων, αφού οι ερωτήσεις είναι καθορισμένες εκ των προτέρων Μπορούν να χρησιμοποιηθούν σε μεγαλύτερες ομάδες ατόμων, απαιτούν λιγότερο χρόνο διαχείρισης, μπορούν να αναλυθούν με μεγαλύτερη ακρίβεια Είναι πολύ σημαντικό να είναι καλά σχεδιασμένα Ο αξιολογητής πρέπει να ξεκαθαρίσει το σκοπό του ερωτηματολογίου και τι πληροφορία αναζητείται Διαφάνεια 27
Προκειμένου ένα ερωτηματολόγιο να παρέχει χρήσιμα δεδομένα, πρέπει να είναι αξιόπιστο, έγκυρο και επίσημο Υπάρχουν δύο κατηγορίες ερωτηματολογίων: (α) αυτά που μετρούν την ικανοποίηση των χρηστών, σύμφωνα με συγκεκριμένα (αντικειμενικά) γνωρίσματα ευχρηστίας του συστήματος e.g., QUIS, SUMI, MUMMS, WAMMI, IBM Usability Satisfaction Questionnaires (β) αυτά που μετρούν το μέγεθος της νοητικής προσπάθειας που πιστεύουν οι χρήστες ότι έχουν καταβάλει κατά τη διάρκεια της εκτέλεσης των εργασιών (e.g., SMEQ - Subjective Mental Effort Question) ή που μετρούν το μέγεθος της νοητικής προσπάθειας που πιστεύουν οι χρήστες ότι απαιτείται από μια εργασία (e.g., NASA-TLX) Διαφάνεια 28
Υπάρχουν διάφορα στυλ ερωτήσεων που μπορούν να συμπεριληφθούν σε ένα ερωτηματολόγιο: γενικές οι οποίες βοηθούν στην καταγραφή στοιχείων του χρήστη Ηλικία, φύλο, επάγγελμα, τόπος κατοικίας, κλπ ανοιχτές όπου ο χρήστης ενθαρρύνεται να διατυπώσει την άποψή του για κάποιο θέμα. Είναι χρήσιμες για τη συλλογή υποκειμενικής πληροφορίας, αλλά δύσκολες να αναλυθούν με ακρίβεια π.χ., «Μπορείτε να προτείνετε κάποιες βελτιώσεις στη διεπαφή;» Διαφάνεια 29
κλιμακωτές όπου ζητείται από το χρήστη να κρίνει μια συγκεκριμένη δήλωση με βάση μια αριθμητική κλίμακα π.χ., «Είναι εύκολη η ανάκαμψη από τυχόν λάθη;» Κλίμακα 1..5 πολλαπλής επιλογής όπου προσφέρεται στο χρήστη η επιλογή μιας απάντησης (ή πολλών) από ένα σύνολο προκαθορισμένων απαντήσεων κατάταξης όπου ζητείται από τους χρήστες να κατατάξουν σε μια σειρά αντικείμενα μιας λίστας. Οι ερωτήσεις αυτές είναι χρήσιμες για την ένδειξη των προτιμήσεων των χρηστών π.χ., «Παρακαλούμε κατατάξτε τη χρησιμότητα των παρακάτω» Διαφάνεια 30
Το κύριο πλεονέκτημα των συνεντεύξεων σε σύγκριση με τα ερωτηματολόγια είναι ότι ο αξιολογητής έχει την ευκαιρία να αλληλεπιδράσει άμεσα με τους χρήστες και να κατανοήσει καλύτερα τους λόγους για τα προβλήματα ή τις δυσαρέσκειές τους Φυσικά, αυτό το γεγονός μπορεί να αποτελέσει και μειονέκτημα, αφού οι συνεντεύξεις είναι περισσότερο χρονοβόρες και μπορεί να οδηγήσουν σε αποτελέσματα, που είναι πιο δύσκολο να αναλυθούν συστηματικά απ ότι με τα ερωτηματολόγια Διαφάνεια 31
Ένα πείραμα πρέπει να ικανοποιεί τρία κριτήρια: 1. Το άτομο που διεξάγει το πείραμα πρέπει να χειρίζεται συστηματικά μία ή περισσότερες ανεξάρτητες μεταβλητές του τομέα που μελετάται 2. Ο χειρισμός αυτός πρέπει να γίνεται κάτω από ελεγχόμενες συνθήκες, τέτοιες ώστε να ελέγχουν όλες τις μεταβλητές που μπορούν να επηρεάσουν το αποτέλεσμα του πειράματος 3. Το άτομο που διεξάγει το πείραμα πρέπει να μετρήσει κάποιο χαρακτηριστικό που δεν έχει ελεγχθεί (εξαρτώμενη μεταβλητή), το οποίο αλλάζει, ή υποτίθεται ότι αλλάζει, ως συνάρτηση της ελεγχόμενης ανεξάρτητης μεταβλητής Ερώτηση Ανεξάρτητη μεταβλητή (Τι αλλάζω) Εξαρτημένες μεταβλητές (Τι παρατηρώ) Ελεγχόμενες μεταβλητές (Τι κρατώ ίδιο) Το ζέσταμα ενός φλιτζανιού νερού, επιτρέπει να διαλύεται σε αυτό περισσότερη ζάχαρη; Θερμοκρασία του νερού, σε βαθμούς Κελσίου Ποσό της ζάχαρης που διαλύεται πλήρως, σε γραμμάρια Ανακάτεμα Είδος ζάχαρης Ποιος ακούει περισσότερο μουσική: οι έφηβοι ή οι γονείς τους; Η ομάδα που συμμετέχει στην έρευνα: έφηβοι ή γονείς Το χρονικό διάστημα που το άτομα ακούει μουσική ανά ημέρα, μετρημένο σε ώρες Διεξαγωγή της ερώτησης με τον ίδιο ακριβώς τρόπο σε κάθε άτομο Γίνεται περισσότερη φασαρία στην τάξη όταν ο δάσκαλος φύγει από την αίθουσα; Η θέση του δασκάλου: είτε βρίσκεται στην αίθουσα είτε όχι. Η φασαρία μετρημένη σε decibel Ίδια αίθουσα Ίδιοι μαθητές Ίδια ώρα της ημέρας Διαφάνεια 32
Ένα πείραμα διεξάγεται για να: Παρέχει εμπειρική υποστήριξη/απόδειξη για μια θεωρία Ελέγχει την υπόθεση που προκύπτει από τη θεωρία Τεκμηριώνει τα αποτελέσματα προηγούμενων εμπειριών και πειραμάτων Διαφάνεια 33
Διαμόρφωση των υποθέσεων Διατύπωση προβλέψεων από τις υποθέσεις Επιλογή του μέσου για τον έλεγχο των προβλέψεων Εντοπισμός όλων των μεταβλητών που μπορεί να επηρεάσουν τα αποτελέσματα του πειράματος Επιλογή χρηστών που θα συμμετέχουν στο πείραμα Σχεδιασμός των εργασιών και των μεθόδων του πειράματος Διαχωρισμός των μεταβλητών σε ανεξάρτητες (και επίπεδα της ανεξάρτητης μεταβλητής), εξαρτημένες και σε μεταβλητές που πρέπει να ελέγχονται από κάποιο μέσο Απόφαση για τη σχεδίαση του πειράματος, τη μέθοδο συλλογής των δεδομένων και έλεγχος των περιοριστικών μεταβλητών Επιλογή της κατάλληλης στατιστικής ανάλυσης, ή κάποιας άλλης Διεξαγωγή μιας πιλοτικής μελέτης (δηλαδή ενός πρωτοτύπου της σχεδίασης του πειράματος) Διαφάνεια 34
Η μη-εμπειρική αξιολόγηση ή προγνωστική αξιολόγηση (predictive evaluation), έχει να κάνει με τη λεπτομερή εξέταση, από ειδικούς ευχρηστίας ή του τομέα εφαρμογής: της σχεδίασης μιας διεπαφής ενός εγγράφου προδιαγραφών ενός αφηρημένου μοντέλου ενός πρωτοτύπου του τελικού συστήματος του τελικού συστήματος Είναι ένα μέσο εντοπισμού και διόρθωσης προβλημάτων ευχρηστίας στα πρώτα στάδια της διαδικασίας ανάπτυξης, προκειμένου να ελαχιστοποιηθεί το κόστος, τόσο σε χρόνο όσο και σε προσπάθεια, των ενδεχόμενων αλλαγών στη σχεδίαση Διαφάνεια 35
Αυτός ο τύπος αξιολόγησης χρησιμοποιείται επίσης και πριν από την αξιολόγηση με χρήστες, έτσι ώστε η αργή και υψηλού κόστους αξιολόγηση με χρήστες να διεξάγεται μόνο για εκείνες τις πλευρές της ευχρηστίας που μπορούν να ελεγχθούν στα τελευταία στάδια της σχεδίασης με εμπειρικά πειράματα Μια πειραματική μελέτη που συνέκρινε ένα αντιπροσωπευτικό σύνολο προγνωστικών μεθόδων αξιολόγησης ευχρηστίας (Bonnie and Marks, 1997), κατέληξε στο συμπέρασμα ότι οι υπάρχουσες μέθοδοι αξιολόγησης ευχρηστίας δεν είναι τόσο αποτελεσματικές όσο απαιτείται από το HCI και ότι δεν υπάρχει κάποια συγκεκριμένη μέθοδος που ευθύνεται γι αυτό το αποτέλεσμα Συνεπώς, η ανάγκη για νέες μεθόδους που να προσαρμόζονται στις σύγχρονες εφαρμογές λογισμικού και να παρέχουν απτά αποτελέσματα με αποδοτικό, όσον αφορά το κόστος, τρόπο ήταν επιτακτική Διαφάνεια 36
Η μη-εμπειρική αξιολόγηση διαχωρίζεται σε αναλυτικές μεθόδους (analytic methods) και σε μεθόδους επιθεώρησης (inspection methods) Η αξιολόγηση με αναλυτικές μεθόδους ονομάζεται αξιολόγηση βάσει μοντέλων (model-based) και χρησιμοποιείται στις πρώτες φάσεις της ανάπτυξης Αυτές οι μέθοδοι χρησιμοποιούν (προγνωστικά) μοντέλα του συστήματος και του χρήστη, που βασίζονται σε εργασίες και/ή γραμματικές για την πρόβλεψη της απόδοσης του χρήστη και του νοητικού φορτίου Οι αναλυτικές μέθοδοι έχουν πολλά μειονεκτήματα: είναι πολύ δύσκολο να εφαρμοστούν απαιτούν ιδιαίτερα εκπαιδευμένους ανθρώπους είναι πολύ δαπανηρές είναι πολύ χρονοβόρες δεν προσαρμόζονται εύκολα σε πολύπλοκες, υψηλά αλληλεπιδραστικές διεπαφές δεν προσφέρουν ανάδραση στη σχεδίαση Διαφάνεια 37
Κατά συνέπεια, δεν είναι δημοφιλείς στη βιομηχανία λογισμικού και τείνουν να εξαλειφθούν Η ερευνητική κοινότητα φαίνεται να δείχνει ενδιαφέρον στη χρήση μεθόδων αναλυτικής αξιολόγησης και στην ανάπτυξη τμημάτων λογισμικού, που να στοχεύουν στην εν μέρει αυτοματοποίηση της αξιολόγησης ενός αλληλεπιδραστικού συστήματος, χρησιμοποιώντας ένα από τα διαθέσιμα αναλυτικά μοντέλα Η πιο δημοφιλής μέθοδος σ αυτήν την κατηγορία είναι η GOMS (Goals, Operators, Methods, and Selection rules), αλλά υπάρχει και μια μεγάλη ποικιλία άλλων μεθόδων, κάθε μια από τις οποίες καλύπτει διαφορετικές ανάγκες και εξυπηρετεί διαφορετικούς σκοπούς Διαφάνεια 38
Οι μέθοδοι επιθεώρησης έχουν να κάνουν με την επιθεώρηση της σχεδίασης μιας διεπαφής ή ενός πρωτοτύπου από ειδικούς ευχρηστίας, μερικές φορές και με τη συμμετοχή χρηστών και/ή σχεδιαστών, προκειμένου να αναγνωριστούν τα τυχόν προβλήματα ευχρηστίας σε μια υπάρχουσα σχεδίαση της διεπαφής ή σε μια συγκεκριμένη εργασία Αυτές οι μέθοδοι χρησιμοποιούνται για να παρέχουν υποδείξεις για τη διόρθωση προβλημάτων, τη βελτίωση της ευχρηστίας της σχεδίασης ή την εκτίμηση της συμβατότητας με ένα συγκεκριμένο πρότυπο ή σύνολο οδηγιών Ο όρος επιθεώρηση (inspection) χρησιμοποιείται κατ αναλογία με τις επίσημες μεθόδους επιθεώρησης του κώδικα και των λειτουργιών, που έχουν χρησιμοποιηθεί στην ανάπτυξη λογισμικού για τη διόρθωση και τη βελτίωση του κώδικα Διαφάνεια 39
Τα κύρια πλεονεκτήματα αυτών των μεθόδων είναι ότι είναι φθηνές, γρήγορες και εύκολες στη διαχείριση και την εκτέλεση Το κύριο μειονέκτημά τους είναι ότι τα αποτελέσματα εξαρτώνται σε μεγάλο βαθμό από την εξειδίκευση, τη γνώση και την εμπειρία των αξιολογητών Υπάρχουν τρεις διαφορετικές προσεγγίσεις στην επιθεώρηση μιας διεπαφής: Αξιολόγηση μιας διεπαφής με βάση ένα σύνολο ευρετικών κανόνων (heuristics) σχετικών με το HCI Μέθοδοι περιήγησης Επιθεώρηση οδηγιών (guidelines inspection) Διαφάνεια 40
Η μέθοδος αυτή προτάθηκε από τον J. Nielsen Είναι μια οικονομική και αποτελεσματική μέθοδος που χρησιμοποιείται για τον εντοπισμό και τη βαθμολόγηση ενδεχόμενων προβλημάτων, που θα παρουσιαστούν σε κάποιο χρήστη όταν χρησιμοποιεί μια συγκεκριμένη εφαρμογή Κατά τη διάρκεια της ευρετικής αξιολόγησης, οι ειδικοί χρησιμοποιούν συνήθως ένα σύνολο ευρετικών κανόνων για την αξιολόγηση της ποιότητας της διεπαφής Οι τυπικοί ευρετικοί κανόνες περιλαμβάνουν αρχές όπως: Χρήση απλών και φυσικών διαλόγων, ελαχιστοποίηση της επιβάρυνσης της μνήμης, παροχή ανάδρασης και συντομεύσεων, κλπ. Διαφάνεια 41
Αυτή η μέθοδος έχει γίνει αρκετά δημοφιλής στη βιομηχανία γιατί είναι φθηνή, εύκολη, γρήγορη και, όταν εκτελείται σωστά, μπορεί να δώσει άμεσα αποτελέσματα Για καλύτερα αποτελέσματα, απαιτούνται από τρεις έως πέντε αξιολογητές Το κύριο μειονέκτημα της ευρετικής αξιολόγησης είναι ότι δεν παρέχει ένα συστηματικό τρόπο για την παροχή λύσεων στα προβλήματα που εντοπίζονται Διαφάνεια 42
Μια τυπική μορφή της ευρετικής αξιολόγησης είναι η επιθεώρηση προτύπων (standards inspection), όπου η διεπαφή αξιολογείται για τη συμβατότητά της με ένα συγκεκριμένο πρότυπο Αυτός ο τύπος επιθεώρησης πρέπει να πραγματοποιείται από ένα άτομο που είναι ειδικός στη χρήση και την εφαρμογή ενός προτύπου Μια άλλη μορφή επιθεώρησης με βάση ευρετικούς κανόνες είναι η επιθεώρηση συνέπειας (consistency inspection), που χρησιμοποιείται για την εξασφάλιση της ομοιογένειας της εμφάνισης ( Look & Feel ) των προϊόντων της ίδιας εταιρίας ή των διαφορετικών τμημάτων του ίδιου προϊόντος Διαφάνεια 43
Μια άλλη προσέγγιση στην επιθεώρηση των διεπαφών είναι οι μέθοδοι περιήγησης (walkthrough), που αναφέρονται και ως storyboarding και tabletopping Αυτές οι μέθοδοι χρησιμοποιούνται στα πρώτα στάδια της σχεδίασης, όταν δεν υπάρχει κάποια προσομοίωση ή πρωτότυπο της διεπαφής, και παρέχουν ένα μέσο για τη συστηματική επισκόπηση της εγκυρότητας της διεπαφής και της ροής της Η κύρια διαφορά με τις ευρετικές μεθόδους είναι ότι επικεντρώνονται κυρίως στις εργασίες και όχι στη διεπαφή Διαφάνεια 44
Η γνωστική περιήγηση χρησιμοποιείται για την αξιολόγηση της ευκολίας εκμάθησης μιας διεπαφής Αυτή η μέθοδος βασίζεται στο γεγονός ότι οι χρήστες προτιμούν να μαθαίνουν ένα προϊόν λογισμικού εξερευνώντας το, αντί να διαβάζουν εγχειρίδια ή να εκπαιδεύονται Το κύριο μειονέκτημα αυτής της μεθόδου είναι ότι επικεντρώνεται στην ευκολία εκμάθησης, αγνοώντας τις συνέπειες ενδεχόμενων αλλαγών σε άλλους παράγοντες της ευχρηστίας Η μέθοδος αυτή έχει χαρακτηριστεί από τον John May (1993) ως μη πρακτική, απαιτητική σε προσπάθεια, και ακατάλληλη να υποστηρίξει πρακτικά τη θεωρία Διαφάνεια 45
Μια επέκταση της παραδοσιακής μεθόδου περιήγησης είναι η πολλαπλή περιήγηση που αναπτύχθηκε από την IBM Μια ομάδα ειδικών ευχρηστίας, χρηστών και σχεδιαστών προϊόντων κρίνουν τη σχεδίαση της διεπαφής, ακολουθώντας ένα σενάριο εργασιών και εξετάζοντας κάθε στοιχείο αλληλεπίδρασης, θέτοντας ένα σύνολο ερωτήσεων όπως, «θα προσπαθήσουν να πετύχουν οι χρήστες το σωστό αποτέλεσμα;» «θα προσέξει ο χρήστης ότι είναι διαθέσιμη η σωστή ενέργεια;» κλπ. Διαφάνεια 46
Αυτός ο τύπος περιήγησης δεν ασχολείται απλώς με θέματα εκμάθησης, αλλά και με τη γενικότερη ευχρηστία της διεπαφής Μια πιθανή διαφωνία θα ήταν, εφόσον οι χρήστες συμμετέχουν στη διαδικασία, αυτή η μέθοδος να καταταχθεί στις εμπειρικές μεθόδους Όμως, δεν είναι αυτό το ζήτημα, γιατί οι χρήστες δε συμμετέχουν ως αντικείμενα του πειράματος, αλλά ως ειδικοί ή ως «ζωντανά παραδείγματα» των απαιτήσεων των χρηστών, των προτιμήσεων και των νοητικών μοντέλων τους Διαφάνεια 47
Σε σύγκριση με τα εμπειρικά πειράματα, οι μέθοδοι επιθεώρησης βρίσκουν λιγότερα από τα μισά προβλήματα που υπάρχουν σε μια συγκεκριμένη διεπαφή (Desurvire, 1994), αλλά αναγνωρίζουν επιτυχώς τα πιο σημαντικά από αυτά Επιπλέον, οι μέθοδοι επιθεώρησης έχουν αποδείξει ότι μπορούν να εντοπίσουν προβλήματα ευχρηστίας τα οποία παραβλέπονται από τους χρήστες, και αντιστρόφως Για το λόγο αυτό, στην πράξη, αυτές οι δύο κατηγορίες χρησιμοποιούνται σε συνδυασμό Διαφάνεια 48
Παράγοντες για το διαχωρισμό των τεχνικών αξιολόγησης: Σχεδίαση έναντι υλοποίησης Μελέτες στο εργαστήριο έναντι του τομέα εφαρμογής Υποκειμενικές μέθοδοι έναντι αντικειμενικών μεθόδων Ποιοτικοί έναντι ποσοτικών δεικτών μέτρησης Παρεχόμενη πληροφορία Αμεσότητα απόκρισης Βαθμός παρεμβολής (intrusiveness) Πόροι Διαφάνεια 49
Διαφάνεια 50