ΕΠΛ 435: Αλληλεπίδραση Ανθρώπου Υπολογιστή

Transcript

1 Περιεχόµενα ΕΠΛ 435: Αλληλεπίδραση Ανθρώπου Υπολογιστή Αξιολόγηση ιαδραστικών Συστηµάτων: Πειραµατικές µέθοδοι Παρατήρηση χρηστών Πειραµατικές µέθοδοι (laboratory studies) Παρατήρηση πεδίου (field studies) Μέτρηση απόδοσης (user testing) Πρωτόκολλο οµιλούντων υποκειµένων (think aloud) Μέθοδοι καταγραφής Ανάλυση post task walkthrough Βιβλιογραφία Εισαγωγή Αβούρης [2000]: Κεφάλαιο 8, pp , slides in [pdf] Dix [2004]: Chapter 9, slides in [pdf] Preece [2002]: Chapters 12 & 14, slides in [pdf] User Modeling, by A. Cristea, slides in [pdf] what is wanted interviews ethnography what is there vs. what is wanted scenarios task analysis analysis evaluation heuristics dialogue notations prototype guidelines principles design precise specification implement and deploy architectures documentation help

2 Σχεδιασµός µε πρότυπη βασική οθόνη Παρατήρηση χρηστών [ ] Ορισµός ειδικών στόχων ευχρηστίας σύµφωνα µε τις ανάγκες των χρηστών [ ] ηµιουργία οδηγιών σχεδιασµού και οδηγού στυλ αλληλεπίδρασης [ ] Ορισµός ενός µοντέλου πλοήγησης και της κυρίαρχης µεταφοράς διεπιφάνειας [ ] Ορισµός της οµάδας των βασικών οθονών: εισαγωγική οθόνη, κεντρική οθόνη (home screen), βασικές οθόνες κύριων διεργασιών. [ ] Κατασκευή πρωτοτύπου των βασικών οθονών, χρησιµοποιώντας εργαλεία γρήγορης πρωτοτυποποίησης [ ] Για το πρωτότυπο, ζητείται η γνώµη των χρηστών και γίνονται οι πρώτες µετρήσεις ευχρηστίας Μια από τις κλασσικές κατηγορίες αξιολόγησης µε συµµετοχή χρηστών είναι η παρατήρηση χρηστών κατά τη διάρκεια επαφής τους µε το διαδραστικό σύστηµα ιακρίνονται δύο βασικές περιπτώσεις Παρατήρηση σε εργαστήριο ευχρηστίας Παρατήρηση στο χώρο εγκατάστασης του συστήµατος (παρατήρηση πεδίου µέθοδος διερευνητικής αξιολόγησης) Στη παρατήρηση χρηστών (όπως και στις διερευνητικές τεχνικές αξιολόγησης) είναι καλό να ακολουθούµε τη µεθοδολογία DECIDE Οι στόχοι της αξιολόγησης και οι συγκεκριµένες ερωτήσεις που πρέπει να απαντηθούν για την επίτευξη των στόχων καθορίζουν τις τεχνικές που πρέπει να χρησιµοποιηθούν. Η παρατήρηση χρηστών είναι χρήσιµη σε κάθε στάδιο σχεδίασης αλλά µπορεί να εφαρµοστεί κυρίως κατά την εξαγωγή απαιτήσεων χρηστών και στην αξιολόγηση ενός σχεδόν τελικού πρωτοτύπου του συστήµατος Οι παρατηρητές (ειδικοί ευχρηστίας) µπορεί να είναι: Εξωτερικοί (στις περιπτώσεις παρατήρησης σε εργαστήριο ευχρηστίας) Συµµετέχοντες (παρατήρηση πεδίου) Εθνογράφοι (παρατήρηση χρηστών και εκτός πεδίου εργασίας) Τι να έχουµε υπόψη µας Πειραµατικές µέθοδοι Τους στόχους αξιολόγησης και τις συγκεκριµένες ερωτήσεις που απαιτείται να απαντηθούν Ποιο πλαίσιο αξιολόγησης και µεθοδολογία θα χρησιµοποιηθεί Με ποιο τρόπο θα συλλεχθούν τα δεδοµένα για την αξιολόγηση Τι εξοπλισµός θα χρησιµοποιηθεί Πως θα επιτευχθεί η συναίνεση και η συνεργασία των χρηστών Πως θα αντιµετωπισθούν κρίσιµα δεοντολογικά ζητήµατα (χειρισµός προσωπικών δεδοµένων, τήρηση ανωνυµίας) Κατά πόσο και πότε θα παρασχεθεί πληροφοριοδότηση στους χρήστες Ποιες τεχνικές θα χρησιµοποιηθούν για την ανάλυση των δεδοµένων που έχουν συλλεχθεί Κατά πόσο χρειάζεται τριγωνοποίηση (triangulation), δηλαδή έλεγχος του συστήµατος από διαφορετική οπτική γωνία (π.χ. διαφορετικές κατηγορίες χρηστών) Κλασσική τεχνική αξιολόγησης λογισµικού που παρέχει ποσοτικές µετρήσεις της απόδοσης του συστήµατος όταν οι χρήστες εκτελούν προκαθορισµένες εργασίες. Η αξιολόγηση πραγµατοποιείται σε ειδικά διαµορφωµένα εργαστήρια εξοπλισµένα µε ειδικό καταγραφικό εξοπλισµό εν είναι απαραίτητη η ισχυρή αλληλεπίδραση ανάµεσα στους αξιολογητές και τους χρήστες. Κατάλληλη µεθοδολογία όταν η τελική θέση χρήσης του συστήµατος δεν προσφέρεται για έλεγχο της χρήσης του λόγω Επικινδυνότητας υσκολίας εγκατάστασης καταγραφικού εξοπλισµού Οι µετρήσεις γίνονται σε εργαστήρια, σε συνθήκες που προσοµοιάζουν τις συνθήκες πραγµατικής λειτουργίας. Τα ποσοτικά δεδοµένα είναι χρήσιµα όταν ελέγχουµε απόδοση συστήµατος συγκριτικά µε κάποιο άλλο ή έναντι προ-καθορισµένου στόχου απόδοσης. Τα πειράµατα µπορούν να συνδυάζονται µε ποιοτικού χαρακτήρα µετρήσεις και παρατηρήσεις, όπως συνεντεύξεις ή ερωτηµατολόγια.

3 Πειραµατικές µέθοδοι (ΙΙ) Παρατήρηση πεδίου Περισσότερο αντικειµενική σε σχέση µε την παρατήρηση πεδίου Περιβάλλον χωρίς διακοπές Η διαδικασία παρατήρησης και ανάλυσης των δεδοµένων γίνεται σχεδόν ταυτόχρονα Η ανάλυση δεδοµένων µπορεί να είναι χονδροειδής ή λεπτοµερής Μειονεκτήµατα : εν υπάρχει πληροφορία του περιβάλλοντος εργασίας Χρειάζεται µεγάλη προσπάθεια για την αξιολόγηση και ανάλυση των δεδοµένων difficult to observe several users cooperating Οι ειδικοί ευχρηστίας συµµετέχουν στο χώρο εργασίας των χρηστών για εκ των έσω κατανόηση του τρόπου χρήσης του συστήµατος Χρειάζεται η συνεργασία και η κατανόηση των παρατηρούµενων χρηστών Πληροφοριοδότηση είναι σχεδόν απαραίτητη Η ανάλυση δεδοµένων είναι συνεχής Ερωτήσεις (για επίτευξη των στόχων αξιολόγησης) µπορούν να γίνονται σταδιακά και περισσότερο λεπτοµερής ενόσω η κατανόηση του τρόπου χρήσης του συστήµατος γίνεται καλύτερη Οι αναφορές αξιολόγησης σχεδόν πάντα περιέχουν παραδείγµατα Φυσικό περιβάλλον χρήσης ιατήρηση των συνθηκών χρήσης του συστήµατος (παρόλο που η παρατήρηση ενδέχεται να αλλάξει αυτές τις συνθήκες) Μειονεκτήµατα: ιάσπαση προσοχής Θόρυβος (ο οποίος δηµιουργεί προβλήµατα στη καταγραφή των δεδοµένων µε οπτικοακουστικό τρόπο) Μελέτες πεδίου => Χώρος: Πλαίσιο παρατήρησης Πως µοιάζει ο χώρος εργασίας; ράστες: Ποιοι χρήστες ή κατηγορίες χρηστών εµπλέκονται άµεσα (ή έµµεσα) στη χρήση του συστήµατος; ράσεις - εργασίες: Ποιες δράσεις ή ενέργειες εκτελούν οι χρήστες; Αντικείµενα: Τι αντικείµενα υπάρχουν στο περιβάλλον εργασίας και πως αυτά χρησιµοποιούνται σε σχέση µε το σύστηµα; Γεγονότα: Τι είδους άλλα γεγονότα λαµβάνουν χώρα; Στόχοι: Ποιοι στόχοι των χρηστών επιτυγχάνονται µε τη χρήση του συστήµατος; Συναισθήµατα: Ποια είναι η διάθεση των χρηστών ή των οµάδων χρηστών κατά τη χρήση του συστήµατος; Μέτρηση απόδοσης (user testing) Η µέτρηση απόδοσης των χρηστών σε σχέση µε τη χρήση του συστήµατος είναι µια από τις δύο κύριες µεθοδολογίες που διεξάγονται σε εργαστήρια ευχρηστίας λογισµικού για την αξιολόγηση ευχρηστίας διαδραστικών συστηµάτων (η άλλη βασική µεθοδολογία είναι το πρωτόκολλο οµιλούντων αντικειµένων η οποία εξετάζεται στη συνέχεια) Η µέτρηση απόδοσης χρηστών (user testing) πρέπει υποχρεωτικά να περιλαµβάνει ένα υποσύνολο των πραγµατικών χρηστών Ο συνδυασµός της µέτρησης απόδοσης χρηστών (user testing) σε συνδυασµό µε µια σειρά από τεχνικές καταγραφής της γνώµης τους (π.χ. user satisfaction questionnaires) αποτελεί τη βάση για τον έλεγχο ευχρηστίας (usability testing).

4 Μέτρηση απόδοσης => Μέτρηση απόδοσης (ΙΙ) Οι στόχοι αξιολόγησης και οι αντίστοιχες ερωτήσεις για την επίτευξη τους επικεντρώνονται στο πόσο καλά εκτελούνται οι διάφορες λειτουργίες του συστήµατος Η σύγκριση πρωτοτύπων (ή και τελικών συστηµάτων) είναι συνήθης Έµφαση δίνεται στο(ν): Χρόνο επιτέλεσης µιας λειτουργίας Αριθµό και είδος σφαλµάτων που λαµβάνουν χώρα Πληροφορίες καταγράφονται µε χρήση οπτικοακουστικού εξοπλισµού αλλά και καταγραφή των ενεργειών των χρηστών από το ίδιο το σύστηµα (logging) Συνθήκες ελέγχου απόδοσης χρηστών Εργαστήριο ευχρηστίας ή άλλος ελεγχόµενος χώρος Μεγάλη έµφαση δίνεται: Στην επιλογή ενός αντιπροσωπευτικού δείγµατος χρηστών Ανάπτυξη αντιπροσωπευτικών εργασιών που πρέπει να επιτελέσουν οι χρήστες και βάση των οποίων θα µετρηθεί η απόδοση τους Συνήθως επιλέγονται 5-10 χρήστες Οι αντιπροσωπευτικές εργασίες δεν πρέπει να διαρκούν περισσότερο από 30 λεπτά Οι συνθήκες ελέγχου πρέπει να είναι ίδιες για όλους τους χρήστες Πρέπει να συµπληρώνεται φόρµα συγκατάθεσης των χρηστών στη καταγραφή των ενεργειών τους Μέτρηση απόδοσης => Τι καταγράφουµε; Μέτρηση απόδοσης => Κατεύθυνση και αριθµός χρηστών Το χρόνο ολοκλήρωσης κάθε µιας από τις αντιπροσωπευτικές εργασίες που έχουν επιλεγεί για τον έλεγχο αξιολόγησης του συστήµατος Το χρόνο ολοκλήρωσης της ίδιας εργασίας µετά από συγκεκριµένο χρόνο αποχής από τη χρήση του συστήµατος Αριθµός και είδος σφαλµάτων ανά αντιπροσωπευτική εργασία Αριθµός σφαλµάτων ανά µονάδα χρόνου Αριθµός πλοηγήσεων σε online εγχειρίδια χρήσης Αριθµός χρηστών που κάνουν ένα συγκεκριµένο σφάλµα Αριθµός χρηστών που ολοκληρώνουν κάθε µια από τις αντιπροσωπευτικές εργασίες Κατεύθυνση µετρήσεων: Τρέχον επίπεδο απόδοσης χρηστών Ελάχιστο αποδεκτό επίπεδο απόδοσης Ευκταίο (στόχος) επίπεδο απόδοσης Μερικοί εδικοί ευχρηστίας υποστηρίζουν ότι πρέπει οι µετρήσεις να συνεχίζονται έως ότου δεν έχουµε εξαγωγή επιπλέον συµπεράσµατα Ο αριθµός των συµµετεχόντων χρηστών είναι συνήθως ένα πρακτικό ζήτηµα το οποίο εξαρτάται από: Τον χρονοπρογραµµατισµό του ελέγχου αξιολόγησης Τη διαθεσιµότητα των χρηστών Το κόστος συµµετοχής των χρηστών Τυπικός αριθµός χρηστών: 5-10

5 Πρωτόκολλο οµιλούντων υποκειµένων Oι χρήστες καλούνται να εκφράσουν µεγαλόφωνα τις σκέψεις, απόψεις και τα συναισθήµατα τους ενώ αλληλεπιδρούν µε το σύστηµα. H µέθοδος απαιτεί σχετικά λίγους πόρους, έχει δε αποδειχθεί ιδιαίτερα αποτελεσµατική. ιαδικασία: (α) Ορίζουµε στους χρήστες τις εργασίες που πρέπει να εκτελέσουν (β) τους ζητάµε να εκφράσουν µεγαλόφωνα τις σκέψεις τους ενώ εκτελούν την εργασία που τους έχει ανατεθεί. (γ) Οι σκέψεις των χρηστών καταγράφονται συγχρόνως µε τις ενέργειες τους. (δ) Στη συνέχεια γίνεται ανάλυση και σχολιασµός του υλικού. Γνωστές παραλλαγές του πρωτοκόλλου: Πρωτόκολλο κρίσιµης απόκρισης (critical response): Ο χρήστης εκφέρει άποψη µεγαλόφωνα µόνο κατά τη διάρκεια προκαθορισµένης εργασίας, τµήµατος του όλου έργου Πρωτόκολλο περιοδικής καταγραφής (periodic report): Ο χρήστης περιγράφει µεγαλόφωνα τη σκέψη του µόνο αφού εκτελέσει ένα συγκεκριµένο έργο, ώστε να µην διαταράσσεται η οµαλή εκτέλεση του έργου. Πρωτόκολλο οµιλούντων υποκειµένων Ο αξιολογητής συνάγει συµπεράσµατα για το νοητικό µοντέλο του χρήστη. Αν η ακολουθία ενεργειών του χρήστη είναι διαφορετική από την αναµενόµενη για την εκτέλεση του έργου, συνάγεται ότι το σύστηµα δεν είναι αρκετά σαφές. Γίνεται η καταγραφή της ορολογίας που ο χρήστης χρησιµοποιεί, ώστε να ελεγχθεί αν αυτή είναι σε αντιστοιχία µε αυτή που έχει χρησιµοποιηθεί στα εγχειρίδια και στη διεπιφάνεια του συστήµατος. Μειονεκτήµατα: η µεγαλόφωνη έκφρασης σκέψεων ίσως διαταράσσει τη συγκέντρωση του χρήστη, π.χ. µαθητής µικρής ηλικίας που προσπαθεί να λύσει ένα δύσκολο πρόβληµα. Είναι δύσκολο σε πεπειραµένους χρήστες να εκφράσουν όλες τις σκέψεις τους αφού έχουν αυτοµατοποιήσει πολλές ενέργειες τους, Πρωτόκολλο οµιλούντων υποκειµένων => Μέθοδοι καταγραφής Πρωτόκολλο οµιλούντων υποκειµένων => Μεθοδολογίες ανάλυσης Σηµειώσεις αξιολογητή Η λιγότερο δαπανηρή µέθοδος, περιορίζεται από την ταχύτητα γραφής Ηχογράφηση υποκειµένων Χρήσιµη σε πρωτόκολλα της κατηγορίας "οµιλούντων υποκειµένων". ύσκολος συγχρονισµός µε πληροφορία άλλης µορφής (π.χ οπτική πληροφορία) Βιντεοσκόπηση υποκειµένων Ακριβής και παραστατική αλλά σχετικά ενοχλητική για τους χρήστες Απώλεια λεπτοµέρειας όπως εκφράσεις προσώπου κλπ (όταν χρησιµοποιείται σταθερή κάµερα) που καταγράφονται µόνο µε κοντινότερη λήψη. Ανάγκη συγχρονισµού µε εικόνα από την οθόνη του υπολογιστή. Καταγραφή συµβάντων στον υπολογιστή (computer logging) Καταγραφή σε επίπεδο πληκτρολόγησης, Υλικό µεγάλου όγκου => η ανάλυση του είναι ιδιαίτερα επίπονη διαδικασία. Καταγραφή συµβάντων από τους χρήστες (user logging) µέσω των προσωπικών τους ηµερολογίων ή αναφορών ίνει ενδιαφέρουσες πληροφορίες εκ των έσω υνατότητα διασταύρωσης πληροφοριών µε µελέτη πολλών χρηστών Τραχύς (έλλειψη λεπτοµέρειας) και υποκειµενικός χαρακτήρας Εξέταση της εκτελεσθείσας εργασίας εκ των υστέρων (post task walkthrough) Το καταγεγραµµένο υλικό παρουσιάζεται στους χρήστες αµέσως µετά την ολοκλήρωση της εργασίας Ζητείται αιτιολόγηση των αντιδράσεων των χρηστών (π.χ. σιωπή χρήστη µετά από κάποια εσφαλµένη ενέργεια) Πλεονεκτήµατα Ο αναλυτής έχει χρόνο να δώσει έµφαση στα κρίσιµα σηµεία-συµβάντα της διαδικασίας Μειώνεται ο χρόνος διακοπών κατά τη διαδικασία των οµιλούντων υποκειµένων Μειονεκτήµατα Μπορεί να οδηγήσει σε εκ των υστέρων αυθαίρετη διερµηνεία των συµβάντων