Ηλεκτρονικά Εκπαιδευτικά παιχνίδια: Αξιολόγηση Εκπαιδευτικών ιεπαφών

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ Βαλσαµίδου Ελένη Α.Ε.Μ 596 Ηλεκτρονικά Εκπαιδευτικά παιχνίδια: Αξιολόγηση Εκπαιδευτικών ιεπαφών Electronic Educational Games: Evaluation of Educational Interfaces Επιβλέπων: ΣΤΑΥΡΟΣ ΗΜΗΤΡΙΑ ΗΣ Λέκτορας ΘΕΣΣΑΛΟΝΙΚΗ, 2005

ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ ΠΕΡΙΛΗΨΗ... 4 ΕΙΣΑΓΩΓΗ......5 ΚΕΦΑΛΑΙΟ 1: ΑΞΙΟΛΟΓΗΣΗ ΕΥΧΡΗΣΤΙΑΣ......7 1.1 Oι βασικές αρχές του HCI (Human-Computer Interaction) και η έννοια της ευχρηστίας (usability)....7 1.2 Αξιολογήσεις βασισµένες σε ειδικούς (Expert-Based) και Αξιολογήσεις µε (User-Based)......7 1.3 Μετατροπή του αρχάριου σε έµπειρο χρήστη. 9 1.4 µέθοδοι γνωστικής περιδιάβασης και διάσχισης (The Cognitive Walk - and Jogthrough methods)....10 1.5 Η γραφική γνωστική διάσχιση (The Cognitive Graphical Jogthrough).....15 1.6 Πλεονεκτήµατα και µειονεκτήµατα των µεθόδων γενικά.....22 1.7 Ευρετική αξιολόγηση...23 ΚΕΦΑΛΑΙΟ 2: ΤΟ ΠΕΡΙΒΑΛΛΟΝ LEGO RoboLab..28 2.1 Περιγραφή του προς αξιολόγηση λογισµικού...28 ΚΕΦΑΛΑΙΟ 3: Η ΣΥΝΕ ΡΙΑ ΤΗΣ ΑΞΙΟΛΟΓΗΣΗΣ.....30 3.1 Προετοιµασία των αξιολογήσεων. 30 3.2 ιεξαγωγή και αποτελέσµατα των αξιολογήσεων....31 3.2.1 Γρήγορη γνωστική περιδιάβαση (Cognitive Graphical Walkthrough-CGW)...31 3.2.2 Ευρετική αξιολόγηση (Heuristic Evaluation). 47 ΚΕΦΑΛΑΙΟ 4: ΑΠΟΤΕΛΕΣΜΑΤΑ.. 52 4.1 Ερµηνεία αποτελεσµάτων....52 4.1.1 Γρήγορη γνωστική περιδιάβαση (Cognitive Graphical Walkthrough-CGW)....52 2

4.1.2 Ευρετική αξιολόγηση (Heuristic Evaluation). 58 4.2 Συµπεράσµατα.....59 Ευχαριστίες..61 Βιβλιογραφικές ανα... 62 Παράρτηµα Ι: Cognitive Graphical Walkthrough-CGW (φυλλάδια που µοιράστηκαν στους αξιολογητές).....65 Παράρτηµα ΙΙ: Cognitive Graphical Walkthrough-CGW (γραφήµατα που προέκυψαν από τη στατιστική επεξεργασία των αποτελεσµάτων). 123 Παράρτηµα ΙΙΙ: Heuristic Evaluation (φυλλάδια που µοιράστηκαν στους αξιολογητές) 146 3

ΠΕΡΙΛΗΨΗ Η εταιρία LEGO, σε συνεργασία µε το MEDIA Lab του MIT, κατασκεύασε το τούβλο προγραµµατισµού LEGO Mindstorms RCX, το οποίο αναπτύχθηκε ως κεντρικό µέρος ενός ροµποτικού συνόλου κατασκευής. Σκοπός της LEGO ήταν να µάθουν τα παιδιά του δηµοτικού σχολείου, όσο το δυνατόν σε νεαρότερη ηλικία, να εφαρµόζουν µερικές δραστηριότητες προγραµµατισµού και εφαρµοσµένης µηχανικής. Εµείς δουλέψαµε σε αυτό το περιβάλλον προγραµµατισµού και οργανώσαµε µια προσέγγιση αξιολόγησης ώστε να ανακαλύψουµε ενδεχόµενα προβλήµατα ευχρηστίας. µέθοδοι αξιολόγησης που χρησιµοποιήσαµε ήταν η ευρετική αξιολόγηση (Heuristic Evaluation) και η γνωστική γραφική περιδιάβαση (Cognitive Graphical Walkthrough - CGW). Η ευρετική αξιολόγηση είναι µια µέθοδος αξιολόγησης διασυνδέσεων ανθρώπου υπολογιστή που βασίζεται σε ειδικούς και κάνει χρήση κάποιων κριτηρίων αξιολόγησης. Η γνωστική γραφική διάσχιση είναι µια µέθοδος αξιολόγησης µε ειδικούς βασισµένη στις µεθόδους Cognitive Walkthrough και "Cognitive Jogthrough". Και οι δύο αποτελούνται από µια οµάδα ειδικών που παίρνουν τη θέση µελλοντικών χρηστών και προσπαθούν να προσδιορίσουν προβλήµατα και ανεπάρκειες κατά τη διάρκεια της χρήσης της διεπαφής Σε αυτή την εργασία αρχικά παρουσιάζονται σαν εισαγωγή κάποια θεωρητικά στοιχεία για τις δύο αυτές µεθόδους αξιολόγησης. Έπειτα ακολουθεί µια σύντοµη περιγραφή του προς αξιολόγηση λογισµικού και καταγράφονται τόσο η προετοιµασία των αξιολογήσεων όσο και τα αποτελέσµατά τους. Τέλος, παρουσιάζεται η ερµηνεία των αποτελεσµάτων των αξιολογήσεων, της γνωστικής γραφικής διάσχισης (έπειτα από στατιστική επεξεργασία των δεδοµένων που προέκυψαν) και της ευρετικής αξιολόγησης, καθώς και τα τελικά συµπεράσµατα της εργασίας. Τα αποτελέσµατα έδειξαν κάποια προβλήµατα ευχρηστίας στη διεπαφή, καθώς και κάποια προβλήµατα στην αποδοτική εφαρµογή της µεθόδου CGW. 4

ΕΙΣΑΓΩΓΗ Με την εισαγωγή των GUIs ο τρόπος που δουλεύουµε µε τους υπολογιστές µας έχει αλλάξει δραµατικά. Ενώ κάποιος χρήστης έπρεπε να είναι λίγο πολύ προγραµµατιστής για να επικοινωνήσει µε τον υπολογιστή του µέσω ενός interface εντολών, σήµερα άνθρωποι µε ελάχιστη ή καθόλου πείρα στους υπολογιστές, τους χρησιµοποιούν σε διάφορα περιβάλλοντα. Και ενώ παλιά µια βασική γνώση των στοιχείων της επιστήµης υπολογιστών ήταν προϋπόθεση, σήµερα είναι µόνο επιλογή. Με µια προϋπόθεση: Η διεπαφή χρήστη, ο τρόπος που ο χρήστης αλληλεπιδρά µε τον υπολογιστή του πρέπει να είναι φιλικός, εύκολος στην χρήση, διαισθητικός. Νέα εργαλεία έχουν αναπτυχθεί προς αυτήν την κατεύθυνση και νέες µέθοδοι και διαδικασίες εφαρµόζονται προκειµένου να επιτευχθεί αυτός ο στόχος. Είναι προφανές ότι η ανάγκη για προηγµένες µεθόδους αξιολόγησης διεπαφών έχει γίνει αναπόφευκτη προκειµένου να ικανοποιηθούν αυτές οι ανάγκες και να δοθούν συγκεκριµένες απαντήσεις σε όλες τις εξελισσόµενες ερωτήσεις. Η αξιολόγηση διεπαφών ενός συστήµατος λογισµικού είναι µια διαδικασία που προορίζεται για να προσδιορίσει και να προτείνει λύσεις για τα προβλήµατα δυνατότητας χρήσης που προκαλούνται από τη συγκεκριµένη σχεδίαση του λογισµικού. Ένα πρόβληµα δυνατότητας χρήσης µπορεί να οριστεί ως "οτιδήποτε που παρεµβαίνει στη δυνατότητα του χρήστη να ολοκληρώνει διεργασίες αποδοτικά και αποτελεσµατικά (Karat et al., 1992). Έτσι µπορούµε να πούµε ότι έχουµε δύο σηµαντικές κατηγορίες αξιολόγησης: διαµορφωτική και αποτιµητική αξιολόγηση. Η πρώτη διεξάγεται κατά τη διάρκεια της φάσης σχεδίασης και κατασκευής, ενώ η δεύτερη διεξάγεται αφότου έχει φθάσει το προϊόν στον τελικό χρήστη. Τα αποτελέσµατα και τα συµπεράσµατα της πρώτης χρησιµοποιούνται τη βελτίωση των χαρακτηριστικών της διεπαφής (ανιχνεύοντας τα προβλήµατα και τις ανεπάρκειες), ενώ τα αποτελέσµατα και τα συµπεράσµατα της δεύτερης χρησιµοποιούνται για να βελτιώσουν τη διεπαφή σαν σύνολο και να ικανοποιήσουν περισσότερες ανάγκες των χρηστών σε µια ακόλουθη βελτίωση. Λεπτοµερέστερα: Κατά τη διάρκεια της διαµορφωτικής φάσης, συλλέγονται δεδοµένα που επιτρέπουν στους σχεδιαστές για να βελτιώσουν το πρόγραµµα/ διδακτικό υλικό /software, για να εξασφαλίσουν ότι αυτό επιτυγχάνει τους σκοπούς του. Η διαµορφωτική φάση είναι εντατική, µε µικρούς αριθµούς χρηστών ή ελεγκτών ή αξιολογητών (ανάλογα µε την επιλεγµένη µέθοδο αξιολόγησης), που συνήθως εργάζονται ανά ζευγάρια ή µικρές οµάδες, µε συχνές εκθέσεις στην οµάδα σχεδίασης µια επαναληπτική διαδικασία σχεδίαση-δοκιµή-επανασχεδίαση, που εστιάζει στο στάδιο σχεδιασµού. Η αποτιµητική φάση εξετάζει την επιτυχία του συστήµατος, ερευνώντας τις συνθήκες που επιτυγχάνουν τα καλύτερα αποτελέσµατα, και παρέχουν πρότυπα ευχρηστίας. Η αποτιµητική φάση είναι εκτενής κατά τη διάρκεια του χρόνου και τόπου, σε µεγάλη κλίµακα, µε περιστασιακές εκθέσεις, που εστιάζουν στην εφαρµογή του συστήµατος. Πηγαίνοντας ένα βήµα περαιτέρω διακρίνουµε τέσσερις κύριες µεθόδους αξιολόγησης (Benyon et al, 1990): Αναλυτική αξιολόγηση. Χρησιµοποιεί µια επίσηµη ή ηµι-επίσηµη περιγραφή της διεπαφής προκειµένου να προβλεφθεί η απόδοση των χρηστών από την άποψη των φυσικών και γνωστικών διαδικασιών που πρέπει να εκτελεστούν. 5

Ειδική αξιολόγηση. Ειδικοί καλούνται να κρίνουν το σύστηµα και να προσδιορίσουν τα πιθανά προβλήµατα δυνατότητας χρήσης, παίρνοντας το ρόλο λιγότερο πεπειραµένων χρηστών. Εµπειρική αξιολόγηση. Σκοπός της είναι να συλλέξει δεδοµένα για τη συµπερι του χρήστη χρησιµοποιώντας ένα σύστηµα (παρατηρητική αξιολόγηση), ή περιλαµβάνοντας τη χρήση συνεντεύξεων ή ερωτηµατολογίων µε σκοπό την απόσπαση των υποκειµενικών απόψεων των χρηστών και την κατανόηση της διεπαφής (αξιολόγηση ερευνών). Πειραµατική αξιολόγηση. Ο αξιολογητής µπορεί να χειριστεί διάφορους παράγοντες που συνδέονται µε τη σχεδίαση διεπαφών και να µελετήσει τα αποτελέσµατά τους στις διάφορες πτυχές της απόδοσης των χρηστών. Η επιλογή µιας ιδιαίτερης µεθόδου εξαρτάται από το στάδιο ανάπτυξης της διεπαφής, της έκτασης και του τύπου συµµετοχής των χρηστών, το είδος των δεδοµένων που αναµένονται, εξωτερικών περιορισµών όπως οι χρονικοί περιορισµοί, περιορισµοί κόστους και διαθεσιµότητας του εξοπλισµού, κτλ (Aedo et al., 1996). Ανεξάρτητα από τη µέθοδο αξιολόγησης που θα επιλεγεί, κάθε αξιολόγηση αποτελείται από τρεις βασικές φάσεις: Μια φάση προετοιµασιών κατά τη διάρκεια της οποίας καθορίζουµε το στόχο αξιολόγησης, επιλέγοντας την κατάλληλη µέθοδο, επιλέγοντας τους αξιολογητές (ειδικούς, ή οµάδα χρηστών ειδικού ενδιαφέροντος), προετοιµάζοντας το ερωτηµατολόγιο (ενδεχοµένως), εγκαθιστώντας τον εξοπλισµό κ.λπ. Μια φάση αξιολόγησης όπου διεξάγεται η ίδια η διαδικασία αξιολόγησης και Μια φάση ερµηνείας αποτελέσµατος κατά τη διάρκεια της οποίας τα συλλεχθέντα δεδοµένα επεξεργάζονται και τα αποτελέσµατα και τα συµπεράσµατα καταγράφονται και συζητούνται. 6

ΚΕΦΑΛΑΙΟ 1: ΑΞΙΟΛΟΓΗΣΗ ΕΥΧΡΗΣΤΙΑΣ 1.1 Oι βασικές αρχές του HCI (Human-Computer Interaction) και η έννοια της ευχρηστίας (usability) Τι ζητάµε όµως ακριβώς να αξιολογήσουµε στη διασύνδεση; Υπάρχουν αρκετές χιλιάδες σελίδες δηµοσιευµένες σε βιβλία και εργασίες (papers) για το πως πρέπει να είναι µια καλή διασύνδεση. Όµως τελικά όλα φαίνεται να συγκλίνουν στη µαγική λέξη ευχρηστία (usability). Σε γενικές γραµµές και σύµφωνα µε το πρότυπο ISO 9241 (1998) η ευχρηστία ενός συστήµατος είναι η ικανότητά του να λειτουργεί αποτελεσµατικά και αποδοτικά, ενώ παρέχει υποκειµενική ικανοποίηση στους. H ευχρηστία του συστήµατος αναλύεται στις εξής παραµέτρους: 1) Ευκολία εκµάθησης (ease of learning) 2) Yψηλή απόδοση εκτέλεσης έργου (efficiency) 3) Χαµηλή συχνότητα σφαλµάτων χρήστη (low error rate) 4) Ευκολία συγκράτησης της γνώσης χρήσης του συστήµατος (ease to remember the use of the system) 5) Υποκειµενική ικανοποίηση χρήστη (subjective satisfaction) Βλέπουµε δηλαδή ότι τελικά στη διασύνδεση του ανθρώπου µε τον υπολογιστή µας ενδιαφέρει ιδιαίτερα ο ανθρώπινος παράγοντας. 1.2 Αξιολογήσεις βασισµένες σε ειδικούς (Expert-Based) και Αξιολογήσεις µε (User-Based) Η αξιολόγηση βασισµένη σε ειδικούς είναι µια σχετικά φτηνή και αποδοτική διαµορφωτική µέθοδος αξιολόγησης που εφαρµόζεται ακόµη και στη φάση κατασκευής πρωτοτύπων ή στη φάση σχεδιασµού των προδιαγραφών των συστηµάτων. Η κύρια ιδέα είναι να παρουσιαστούν οι διεργασίες της διεπαφής σε µια επιστηµονική οµάδα ειδικών που προσπαθούν να εντοπίσουν πιθανά ελαττώµατα στη σχεδίαση των διεπαφών. παίρνουν τη θέση µελλοντικών χρηστών και Παρόλα αυτά, σύµφωνα µε τους Lewis & Rieman (1994) "δεν µπορείς να πεις πόσο καλή ή κακή είναι η διεπαφή αν δεν βρεις ανθρώπους να τη χρησιµοποιήσουν". Αυτή η φράση εκφράζει συµπεπτυγµένα την ευρέως διαδεδοµένη άποψη ότι οι αξιολογήσεις µε είναι απαραίτητες προκειµένου να αξιολογηθεί µια διεπαφή. Γιατί λοιπόν δεν χρησιµοποιούµε πάντα εµπειρικές αξιολογήσεις, αλλά ερευνάµε και άλλες προσεγγίσεις; Όπως θα δούµε στη συνέχεια, η αποδοτικότητα αυτών των µεθόδων µετριάζεται ισχυρά από τους πόρους που καταναλώνουν και από κάποια µειονεκτήµατα που παρουσιάζουν, ενώ παράλληλα οι αξιολογήσεις βασισµένες σε ειδικούς έχουν ωριµάσει αρκετά ώστε να αποτελούν µια καλή εναλλακτική λύση. Ένα βασικό µειονέκτηµα των αξιολογήσεων των βασισµένων σε είναι ότι είναι δύσκολο να καταλάβουµε αυτά που θέλουν να µας πουν οι και κάποιες όσα αυτοί µας λένε είναι άχρηστα. Αυτό δεν γίνεται επίτηδες. Για διάφορους λόγους οι δεν µπορούν να δώσουν λογικές εξηγήσεις για το τι συνέβη ή για το λόγο για τον οποίο αντέδρασαν µε κάποιο συγκεκριµένο τρόπο. 7

Lewis & Rieman (1994) δίνουν τρεις προϋποθέσεις που χρειάζονται για µια εµπειρική αξιολόγηση: Άνθρωποι, και κατά προτίµηση πραγµατικοί, σε πραγµατικές συνθήκες Κάποιες διεργασίες για να εκτελέσουν, και Μια έκδοση του συστήµατος για να δουλέψουν. Σε αυτό το σηµείο µπορεί να έχουµε ήδη το πρώτο κώλυµα εφαρµογής εµπειρικής αξιολόγησης: οι προϋποθέσεις αυτές είναι και οι τρεις συγχρόνως απαραίτητες. Από την άλλη µεριά, σύµφωνα µε τον Reeves (1993), οι expert-based αξιολογήσεις είναι ίσως η συνηθέστερα εφαρµοζόµενη στρατηγική αξιολόγησης. Έχουν ένα κρίσιµο πλεονέκτηµα που τις κάνει πιο προσιτές σε σχέση µε τις αξιολογήσεις µε πραγµατικούς : είναι γενικά ευκολότερο και φτηνότερο να βρει ειδικούς παρά πρόθυµους να αξιολογήσουν ένα προϊόν. Η βασική ιδέα είναι ότι οι ειδικοί από διάφορα γνωστικά πεδία, αλλά οπωσδήποτε και µε γνώσεις από το HCI και από το γνωστικό πεδίο υπό αξιολόγηση καλούνται να κρίνουν τη διεπαφή από τη δική του οπτική γωνία ο καθένας. Είναι σηµαντικό να είναι όλοι έµπειροι, ώστε να µπορούν να δουν τη διεπαφή «µε τα µάτια του χρήστη» και να εντοπίσουν πιθανά προβλήµατα της διεπαφής. Ένα από τα ισχυρά πλεονεκτήµατα των µεθόδων αυτών είναι ότι µπορούν να εφαρµοστούν ακόµα και πολύ νωρίς στο σχεδιαστικό κύκλο, ακόµα και σε σχέδια στο χαρτί (paper mock-ups). Εκεί η εµπειρία του ειδικού του επιτρέπει να κατανοεί τη λειτουργία της εφαρµογής και δεν χρειάζεται να έχει την πλήρη εικόνα του ολοκληρωµένου προϊόντος, αλλά µια «πρώτη εικόνα» µε τα βασικά χαρακτηριστικά αρκεί. εν ισχύει προφανώς αυτό για τον απλό χρήστη και η µεθοδολογίες οι βασισµένες σε αρχίζουν να εφαρµόζονται µόνο αφού το προϊόν έχει φτάσει σε σηµαντικό βαθµό ολοκλήρωσης. Επίσης πολύ βασικό για τις αξιολογήσεις µε πραγµατικούς είναι το να βρούµε αντιπροσωπευτικούς, σαν αυτούς που θα χρησιµοποιήσουν τελικά στην πράξη το προϊόν. Όπως λένε χαρακτηριστικά οι Lewis & Rieman (1994) «αν δεν µπορείτε να βρείτε κανονικούς για να αξιολογήστε το προϊόν σας, τότε τι σας κάνει να πιστεύετε ότι θα βρείτε να το χρησιµοποιήσουν»; Συνεπώς εδώ έχει εφαρµογή η προτροπή των Lewis & Rieman (1994) ότι το πρώτο βήµα για το χρηστοκεντρικό σχεδιασµό µιας διασύνδεσης (user-centered interface design) είναι να επισκεφθεί η οµάδα σχεδιασµού τους πραγµατικούς στον πραγµατικό χώρο εργασίας τους και να καταγράψει τις ακριβείς διεργασίες που αυτοί χρησιµοποιούν στη διάρκεια της δουλειάς τους. Με το ίδιο σκεπτικό, η αξιολόγηση µε πρέπει να προσοµοιώνει όσο το δυνατό καλύτερα τις πραγµατικές συνθήκες χρήσης του προϊόντος, µε αντιπροσωπευτικό δείγµα χρηστών για να έχει επιτυχία. Αυτό µάλιστα το σηµείο είναι και το πλέον σοβαρό µειονέκτηµα των µεθοδολογιών βασισµένων σε, ότι δηλαδή είναι από λίγο έως πάρα πολύ δύσκολο να βρει αντιπροσωπευτικό δείγµα χρηστών για αξιολόγηση σε πραγµατικές συνθήκες εργασίας, πράγµα που µε τη σειρά του συνεπάγεται αυξηµένο κόστος αξιολόγησης και αυξηµένη δυσκολία διεξαγωγής. Για να συνοψίσουµε ο παρακάτω πίνακας συνοψίζει τα κύρια πλεονεκτήµατα και µειονεκτήµατα των δύο µεθόδων. 8

Πίνακας 1.1: Πλεονεκτήµατα και µειονεκτήµατα των αξιολογήσεων Expert-Based User-Based Υπέρ Αξιολόγηση ειδικών (Expert-based) Φτηνή µέθοδος Γρήγορη Εφαρµόζεται νωρίς στο σχεδιαστικό κύκλο Εύκολη στην προετοιµασία και την διεξαγωγή Εφαρµόζεται σε όλα τα στάδια Αποτιµά τη σοβαρότητα των προβληµάτων Αποτελεσµατικότητα/κόστος = παράγοντας αποδοτικότητας Έλεγχος ευχρηστίας (Usability testing) Αποκαλύπτει προβλήµατα πραγµατικών χρηστών Μπορεί να αποκαλύψει σχεδόν όλα τα προβλήµατα Αποδοτική ακόµα και σε περίπλοκες διασυνδέσεις Απευθείας περιγραφή του προβλήµατος Απαραίτητη αν θέλουµε έγκυρα αποτελέσµατα Κατά εν ανακαλύπτει όλα τα προβλήµατα Χρειάζεται έµπειρους αξιολογητές υσκολία στην πρόταση λύσεων Χάνει συχνά την εποπτεία του «όλου» αξιολογητές συχνά ξεχνούν ή δεν µπορούν να παίξουν το ρόλο των Πρέπει οπωσδήποτε να υπάρχουν ειδικοί του HCI και της περιοχής που εξετάζεται Ακριβή και δύσκολη στην υλοποίηση Χρειάζεται αντιπροσωπευτικούς υσκολία στην εύρεση θεµάτων µπερδεύονται σχετικά µε τη σοβαρότητα των προβληµάτων Μπορεί να εφαρµοστεί µόνο µετά από ένα συγκεκριµένο στάδια του σχεδιαστικού κύκλου του προϊόντος 1.3 Μετατροπή του αρχάριου σε έµπειρο χρήστη Είναι γνωστό ότι είναι εφικτό για επιστήµονες της πληροφορικής να µάθουν τις µεθοδολογίες αξιολογήσεων εύκολα και να τις εφαρµόσουν µε καλά αποτελέσµατα (Nielsen, 1992a; Wright and Monk, 1991). Όµως οι ειδικοί της πληροφορικής δεν είναι ακόµα αρκετοί ώστε να ισχυριστεί ότι µπορεί να βρει εύκολα κάποιους για να κάνουν την αξιολόγηση. Τίθεται συνεπώς το ερώτηµα αν µε κάποια κατάρτιση µπορούν να παίξουν αυτό το ρόλο και έµπειροι, για παράδειγµα φοιτητές πληροφορικής. Να σηµειώσουµε σε αυτό το σηµείο ότι οι απλοί τείνουν να αποκλειστούν τελείως, καθόσον, όπως προαναφέρθηκε, αποδίδουν απογοητευτικά. Η µετατροπή του αρχάριου σε έµπειρο γνώστη µε το πέρασµα του χρόνου έχει απασχολήσει πολλούς ερευνητές. O ηµητριάδης (2000) υποστηρίζει ότι δεν πρόκειται απλά για µια ποσοτική δια συσσώρευσης περισσότερης ή λιγότερης γνώσης ανάµεσα σε δύο κατηγορίες ανθρώπων. Εκείνο που διαχωρίζει τους αρχάριους από τους περισσότερο προχωρηµένους είναι κατά βάση οι διαφορετικές 9

αναπαραστάσεις που διαθέτουν για το αντικείµενο και κατά συνέπεια για τα προβλήµατα που καλούνται να επιλύσουν. Πράγµατι, µια σειρά από έρευνες (Larkin, 1983; Chi et al., 1981) δείχνουν ότι οι νοητικές αναπαραστάσεις του αρχαρίου περιορίζονται έντονα στα επιφανειακά χαρακτηριστικά του προβλήµατος, πράγµα αναµενόµενο αφού αυτά είναι γνωστά και οικεία. Αντίθετα οι έµπειροι έχουν την ικανότητα να αντιστοιχούν αυτά τα επιφανειακά χαρακτηριστικά σε βαθύτερες αρχές, σε αναπαραστάσεις και αφαιρέσεις ενός υψηλοτέρου επιπέδου και να προχωρούν σε αποδοτικές λύσεις. Ο Anderson (1995) δίνει µια διεξοδική περιγραφή της διαδικασίας εξέλιξης του αρχάριου σε βαθύ γνώστη, για διάφορα γνωστικά αντικείµενα. Όµως είναι ο Vygotsky (1978) αυτός που θα ορίσει τη «ζώνη επικείµενης ανάπτυξης zone of proximal development» δίνοντας µια πλήρη εξήγηση για το πώς, σύµφωνα µε τη γνώµη του, πραγµατοποιείται η αύξηση της γνώσης. Σύµφωνα µε τον Vygotsky λοιπόν, κάθε άνθρωπος βρίσκεται σε ένα συγκεκριµένο επίπεδο ανάπτυξης, όπου µπορεί να επιλύσει ένα σύνολο προβληµάτων µε τις δικές του ικανότητες. Υπάρχει όµως ένα υπερσύνολο προβληµάτων, που το άτοµο θα µπορούσε να λύσει επίσης, αλλά µε τη βοήθεια ικανοτέρων παραγόντων (πχ. οι καθηγητές του, ή κάποια κατάλληλα βιβλία). H σχεδόν µαθηµατική αυτή δια του «επιπέδου πραγµατικής ανάπτυξης» µέχρι το «επίπεδο δυνητικής ανάπτυξης» αποτελεί, κατά τον Vygotsky, τη «ζώνη επικείµενης ανάπτυξης». Η ζώνη αυτή αποτελείται δηλαδή στην ουσία από λειτουργίες και ικανότητες που δεν έχουν αναπτυχθεί ακόµα, αλλά βρίσκονται έτοιµες να εµφανιστούν ή µόλις έχουν µπει στο στάδιο της ωρίµανσης. ικανότητες αυτές µπορούν να αναπτυχθούν, µε πιο βραδύ ρυθµό, και από µόνες τους, όσο αυξάνει η εµπειρία του ατόµου κατά την ενασχόλησή του µε τα εν λόγω προβλήµατα. Στη συγκεκριµένη περίπτωση, όσο ο χρήστης ασχολείται µε το υπό µελέτη υπολογιστικό περιβάλλον, αποκτά «εµπειρία», που στην ουσία είναι η διάσχιση της «ζώνης επικείµενης ανάπτυξης» του Vygotsky. Προφανώς η ζώνη αυτή δεν παύει να υπάρχει, αλλά µετατίθεται παραπέρα. 1.4 µέθοδοι γνωστικής περιδιάβασης και διάσχισης (The Cognitive Walk - and Jogthrough methods) Η γνωστική περιδιάβαση (Lewis and Polson, 1989) και η τροποποιηµένη γνωστική διάσχιση (Rowley and Rhoades, 1992) είναι και οι δύο µέθοδοι αξιολόγησης µε ειδικούς. Και οι δύο αποτελούνται από µια οµάδα ειδικών που παίρνουν τη θέση λιγότερο πεπειραµένων χρηστών και προσπαθούν να προσδιορίσουν προβλήµατα και ανεπάρκειες κατά τη διάρκεια της χρήσης της διεπαφής. Τα συστήµατα περιδιάβασης και χρήσης υποστηρίζουν την έννοια της µάθησης µέσω της πράξης. άνθρωποι χρησιµοποιούν τη µάθηση µέσω της πράξης σε καταστάσεις όπου υπάρχει ελλιπής γνώση και ως εκ τούτου πρέπει να στηριχθούν στην ανατροφοδότηση από τη διεπαφή ώστε να σχηµατίσουν γνώση και να καθορίσουν τη συµπερι τους. Η µέθοδος χαρακτηρίζεται ως "γνωστική" για να δείξει ότι η εστίαση είναι στη γνωστική διάσταση της αλληλεπίδρασης χρήστη-διεπαφής και ειδική προσοχή πρέπει να δοθεί ώστε να γίνονται κατανοητές οι ενέργειες ως καθορισµένοι από τον χρήστη στόχοι και όχι σαν απλές ενέργειες της διεπαφής (click, drag κτλ). µέθοδοι αξιολόγησης µε ειδικούς έχουν µερικά πλεονεκτήµατα: Είναι φτηνές και αποδοτικές µέθοδοι, δεδοµένου ότι λίγοι ειδικοί µπορούν να ανιχνεύσουν σηµαντικά προβλήµατα. Μπορούν να 10

διεξαχθούν σχεδόν σε κάθε φάση του κύκλου σχεδίασης από τη φάση προσδιορισµού των προδιαγραφών του συστήµατος µέχρι την τελική φάση κατασκευής πρωτοτύπων. Από την άλλη υπάρχουν µερικά µειονεκτήµατα: οι αξιολογητές πρέπει να επιλεχτούν προσεκτικά ώστε να µην είναι προκατειληµµένοι. Επιπλέον, είναι η φύση των µεθόδων τέτοια που εστιάζουν στις ενέργειες που αξιολογούνται και χάνεται η έννοια του συστήµατος «σαν σύνολο». Τρίτον, δεν µπορούν να προτείνουν πάντα λύσεις. Παρακάτω περιγράφουµε εν συντοµία µερικά θεµελιώδη ζητήµατα, που πρέπει να ληφθούν υπόψη κατά τη διάρκεια της φάσης προετοιµασίας της αξιολόγησης. Η προσέγγιση έργο-διεργασία-ενέργεια. Για να αξιολογηθεί η διεπαφή, πρέπει να καθοριστεί ένα σύνολο διεργασιών που να µπορούν να επιτευχθούν χρησιµοποιώντας το σύστηµα. Κάθε διεργασία αποτελείται από ένα σύνολο ενεργειών που πρέπει να εκτελεστούν για να επιτευχθεί ο στόχος, ο οποίος είναι η ολοκλήρωση της διεργασίας. Εποµένως έχουµε την ακόλουθη δοµή: Έργο ιεργασία 1 Ενέργεια 1.1 Ενέργεια 1.2 Ενέργεια 1.3... ιεργασία 2 Ενέργεια 2.1 Ενέργεια 2.1.... Κάθε διεργασία συνοδεύεται από ένα ερωτηµατολόγιο µε ερωτήσεις σχετικές µε τη διεργασία που διαιρείται σε χωριστά τµήµατα για κάθε ενέργεια χωριστά. Εναλλακτικές και βοηθητικές ενέργειες. Σαν εναλλακτική ενέργεια καθορίζουµε έναν διαφορετικό τρόπο µε τον οποίο µπορούµε να εκτελέσουµε την ίδια ενέργεια. Π.χ. για να ανοίξουµε ένα έγγραφο µπορούµε να χρησιµοποιήσουµε το αντίστοιχο εικονίδιο στη γραµµή εργαλειών, ή (εναλλακτικά) να χρησιµοποιήσουµε την συντόµευση του πληκτρολογίου ή να χρησιµοποιήσουµε την αντίστοιχη επιλογή από το µενού επιλογών. Τα βοηθητικά στοιχεία είναι κάποιοι εξωτερικοί πόροι (που θα µπορούσαν να είναι ένα λεξικό, ένα προσωπικό σηµειωµατάριο, µια εργαλειοθήκη σχεδίων κτλ). Η προσέγγιση ενέργεια-προσδιορισµός-σύνδεση Είµαστε τώρα στο επίπεδο να αξιολογήσουµε κάθε ενέργεια χωριστά. Η µέθοδος σε αυτό το σηµείο βασίζεται στην ακολουθία ενέργεια-προσδιορισµός-σύνδεση ως εξής: 1) Σωστή ενέργεια: Περιγράφουµε την ενέργεια που ο χρήστης πρέπει να κάνει σε αυτό το βήµα της ακολουθίας. 2) α) ιαθεσιµότητα ενέργειας: Είναι προφανές στο χρήστη ότι αυτή η ενέργεια είναι µια πιθανή επιλογή εδώ; Αν όχι, προσδιορίστε το γιατί. 2) β) Προσδιορισµός ενέργειας: Θέση προσδιορισµού, τύπος (ετικέτα, υπαγόρευση, περιγραφή, εικόνα, άλλη), διατύπωση και σηµασία. 3) Σύνδεση µεταξύ του προσδιορισµού και του στόχου: ο προσδιορισµός συνδέεται εύκολα µε έναν ενεργό στόχο; Αν όχι, προσδιορίστε το γιατί. 11

Επιλογή των ειδικών. Ο κατάλληλος αριθµός ειδικών φαίνεται να είναι µεταξύ 4 και 6 όντας πιο σηµαντικό να επιλεχθούν από διαφορετικές επιστήµες, έτσι ώστε η οµάδα των αξιολογητών να µπορεί µε τον καλύτερο τρόπο να αντιληφθεί τις προσδοκίες και τις ανάγκες των χρηστών. Καλό είναι να µην χρησιµοποιείται ως αξιολογητής κάποιος από την οµάδα σχεδίασης γιατί µπορεί να είναι προκατειληµµένος. Από την άλλη µεριά µια µέθοδος αξιολόγησης µε ειδικούς χρησιµεύει ως µέθοδος µεσολάβησης µεταξύ των απαιτήσεων και των αναγκών των χρηστών από τη µια και των επιλογών και των περιορισµών ανάπτυξης της οµάδας σχεδίασης από την άλλη. Ως εκ τούτου φαίνεται ότι ο καλύτερος συνδυασµός είναι ένα µέλος της οµάδας σχεδίασης να χρησιµοποιείται ως καταγραφέας (recorder). Επιλογή των διεργασιών. όλες οι διεπαφές προορίζονται για να χρησιµοποιηθούν και από περιστασιακούς ή αρχάριους. Έτσι η ικανότητα να είναι παραγωγικοί στο σύστηµα χωρίς ιδιαίτερη κατάρτιση είναι σηµαντική. Για τους πιο προχωρηµένους πρέπει να λάβουµε υπόψη µας το γεγονός ότι το σύστηµα παρέχει ένα ευρύ φάσµα λειτουργιών σύνθετων ενεργειών που πρέπει επίσης να αξιολογηθούν. Αυτό είναι σηµαντικό όταν επιλέγονται οι ενέργειες που θα αξιολογηθούν. Η µεθοδολογία περιδιάβασης και διάσχισης δεν παρέχει οδηγίες σχετικά µε το πώς να επιλεχθούν οι ενέργειες. Εντούτοις, για να επιτευχθούν καλά αποτελέσµατα κατά τη διάρκεια της περιδιάβασης είναι απαραίτητο να γίνει κατανοητό ποιες ενέργειες είναι πιο χρήσιµο να αξιολογηθούν, πόσες ενέργειες απαιτούνται για να καλυφθεί ικανοποιητικά η διεπαφή και τα θέµατα που προκύπτουν κατά την αξιολόγηση των ενεργειών. Επιλέγουµε τόσο απλές όσο και σύνθετες ενέργειες, αξιολογώντας τις απλές ενέργειες πρώτα. Με τις απλές αποκτάµε εµπειρία µε τη µέθοδο πριν αξιολογήσουµε τις πιο σύνθετες ενέργειες. Γενικά είναι σηµαντικό να επιλεχτούν ρεαλιστικές ενέργειες που εξετάζουν βασικά σηµεία λειτουργικότητας του συστήµατος. Τέτοιες ενέργειες περιλαµβάνουν συχνά πολλαπλές λειτουργίες της διεπαφής. Με αυτόν τον τρόπο η αξιολόγηση καλύπτει όχι µόνο τα βασικά στοιχεία αλλά και τους συνδυασµούς τους και οποιεσδήποτε απαραίτητες µεταβάσεις µεταξύ των υπό-ενεργειών (Wharton, 1992). Πρέπει να είµαστε προσεκτικοί εδώ για να µην εκτελέσουµε από την αρχή σύνθετες ακολουθίες ενεργειών µε πολλαπλές εναλλακτικές ενέργειες, οι οποίες είναι δύσκολο να αξιολογηθούν. Μπορούµε να αποφύγουµε τέτοιες καταστάσεις µε το να επιλέξουµε τις ενέργειες προσεκτικά. Πόσες ενέργειες είναι αρκετές; Θεωρητικά κάθε ενέργεια πρέπει να αξιολογηθεί. Πρακτικά, ο µέσος όρος είναι 1-2 αξιολογήσεις, κάθε αξιολόγηση διαρκεί 4-8 ώρες, ενώ 2-7 ενέργειες αξιολογούνται σε κάθε αξιολόγηση (ανάλογα µε την πολυπλοκότητα των ενεργειών) (Wharton, Diaz, Demetriades). Μια απόφαση που πρέπει να ληφθεί πριν επιλέγουν οι ενέργειες είναι εάν η διεπαφή µπορεί να χαρακτηριστεί "πλούσια" ή "φτωχή". Στις "πλούσιες" διεπαφές υπάρχουν πολλαπλοί τρόποι να εκτελεστεί µια διεργασία. Για κάθε ενέργεια της διεργασίας, θα µπορούσαν να υπάρξουν µια ή περισσότερες εναλλακτικές ενέργειες (π.χ. ένα έγγραφο µπορεί να τυπωθεί χρησιµοποιώντας το µενού επιλογών, χρησιµοποιώντας το αντίστοιχο εικονίδιο ή χρησιµοποιώντας µια συντόµευση του πληκτρολογίου) και µερικές βοηθητικές ή ενέργειες εργαλείων (βοηθητικές ενέργειες). Η ερώτηση "πόσοι 12

θα επέλεγαν αυτήν την εναλλακτική ενέργεια αντί της βασικής;" είναι πολύ σηµαντική και δεν πρέπει να αγνοηθεί. Το επόµενο ζήτηµα στην επιλογή των ενεργειών είναι η οµαδοποίηση των ενεργειών. Παραδείγµατος χάριν: θα µπορούσε ένα σύνολο πληκτρολογήσεων (πάτηµα πλήκτρων) να αποτελεί µια ενέργεια του χρήστη - π.χ. ένα όνοµα αρχείου - ή θα πρέπει κάθε γράµµα (πάτηµα πλήκτρου) στο όνοµα του αρχείου να µετριέται ως µεµονωµένη ενέργεια του χρήστη; Η απάντηση σε αυτήν την περίπτωση είναι ίσως προφανής, αλλά στην περίπτωση µιας συντόµευσης, [πχ. CTRL-P για "προηγούµενο" ( previous ); Εάν ναι, ποια πρέπει να είναι η συντόµευση για την "εκτύπωση" ( print );] η οµαδοποίηση πρέπει να είναι πιο προσεκτική (ο αριθµός διεργασιών και ενεργειών πρέπει να αυξηθεί κατάλληλα). ιεξαγωγή της αξιολόγησης Η προετοιµασία και η διεξαγωγή κάθε αξιολόγησης διέπονται από κάποιους κανόνες που περιγράφονται στη σχετική βιβλιογραφία. Επιπλέον, υπάρχουν µερικά συγκεκριµένα σηµεία για τις µεθόδους που παρουσιάζονται σε αυτή την εργασία. Πριν διεξάγουµε την ίδια την αξιολόγηση πρέπει να προετοιµάσουµε ένα "σηµείωµα για τους αξιολογητές", δηλαδή ένα έγγραφο όχι περισσότερο από µια ή δύο σελίδες, όπου περιγράφουµε εν συντοµία: Τη θεωρία της µεθόδου αξιολόγησης µε ειδικούς CGW και τη διαδικασίας της αξιολόγησης που ακολουθεί. Πρέπει να περιγράψουµε τις οδηγίες για το πώς να συµπληρωθούν τα διαγράµµατα. Αυτό είναι σηµαντικό για το CGW, επειδή υπάρχουν από ένας τύποι διαγραµµάτων και δύο τρόποι για να συµπληρωθούν, οι οποίοι οδηγούν σε διαφορετικά αποτελέσµατα. Πρέπει να διευκρινίσουµε τους όρους «τοπικά», «γενικά» και «τελικά σχόλια» καθώς και σε ποιο µέρος του ερωτηµατολογίου οι αξιολογητές πρέπει να τα σηµειώσουν. Υπάρχει ένα θεµελιώδες ζήτηµα που πρέπει να ξεκαθαριστεί µε τους αξιολογητές πριν αρχίσει η διαδικασία της αξιολόγησης: Είναι σηµαντικό οι αξιολογητές να γνωρίζουν την πιθανή οµάδα χρηστών, επειδή οι ανάγκες για παράδειγµα ενός εξάχρονου παιδιού είναι πολύ διαφορετικές από αυτές ενός σπουδαστή πληροφορικής. αξιολογητές πρέπει συνεχώς να έχουν στο µυαλό τους ότι παίρνουν το ρόλο κάποιου ιδιαίτερου χρήστη και ο παρουσιαστής πρέπει να τους το υπενθυµίζει αυτό κατά τη διάρκεια της συνεδρίας. Υπάρχουν τέσσερις ρόλοι κατά τη διάρκεια της αξιολόγησης: Παρουσιαστής (presenter): Παρουσιάζει την κάθε διεργασία εκτελώντας όλες τις ενέργειες που απαιτούνται. Προσδιορίζει εναλλακτικές πορείες καθώς και τις συνέπειες τους. Μεσολαβητής (moderator): «ιευθύνει» τη συνεδρίαση και επιλύει οποιαδήποτε ζητήµατα προκύψουν κατά τη διαδικασία. Καταγραφέας (recorder): Σε µια κλασσική συνεδρία Walkthrough χειρίζεται την κάµερα, καταγράφει κάθε βήµα (διεργασία ή ενέργεια) κατά τη διάρκεια της συνεδρίας και σηµειώνει τους αντίστοιχους χρόνους και τα σχόλια των αξιολογητών σε µια κατάλληλη για τον καταγραφέα φόρµα. Αξιολογητές (evaluators): Απαντούν σε κάθε µια από τις ερωτήσεις του φύλλο αξιολόγησης για κάθε βήµα που οδηγεί στην τελική κατάσταση. 13

ειδικοί που συµµετέχουν στην αξιολόγηση µπορούν, γενικά, να πάρουν περισσότερους ρόλους, ως εξής: ο παρουσιαστής µπορεί επίσης να είναι µεσολαβητής αλλά όχι αξιολογητής. υπόλοιποι µπορούν επίσης να πάρουν το ρόλο του αξιολογητή. Κατά τη διάρκεια της αξιολόγησης µε τη µέθοδο Cognitive Graphical Jogthrough µια κάµερα καταγράφει τις σηµειώσεις και τα σχόλια των αξιολογητών. Σε χαρτί γράφονται µόνο σύντοµα σχόλια, ενώ το τι πρέπει να συζητηθεί από εκεί και έπειτα, καταγράφεται από την κάµερα (επιταχύνοντας τη διαδικασία). Η ίδια η διαδικασία αξιολόγησης πραγµατοποιείται ως εξής: Ο παρουσιαστής περιγράφει το στόχο του χρήστη που πρέπει να επιτευχθεί. Κατόπιν παρουσιάζει την πρώτη ενέργεια της πρώτης διεργασίας. αξιολογητές προσπαθούν να: i) ανακαλύψουν πιθανά προβλήµατα και ii) αξιολογήσουν το ποσοστό των χρηστών που είναι πιθανόν να αντιµετωπίσει προβλήµατα (µε τις ερωτήσεις του ερωτηµατολογίου) Όταν η πρώτη ενέργεια τελειώσει ο παρουσιαστής παρουσιάζει τη δεύτερη, κτλ, µέχρι να αξιολογηθεί ολόκληρη η διεργασία. Κατόπιν ο παρουσιαστής παρουσιάζει τη δεύτερη διεργασία, ακολουθώντας τα ίδια βήµατα. Αυτή η επανάληψη διαρκεί µέχρι να αξιολογηθούν όλες οι διεργασίες. ερωτήσεις που υποβάλλονται στους αξιολογητές είναι οι εξής: α) Πόσοι θα θεωρήσουν ότι η ενέργεια αυτή είναι διαθέσιµη; β) Πόσοι θα θεωρήσουν ότι η ενέργεια αυτή είναι η κατάλληλη; γ) Πόσοι θα ξέρουν πώς να εκτελέσουν την ενέργεια; δ) Είναι η αντίδραση του συστήµατος προφανής; ΝΑΙ ΟΧΙ ε) Πόσοι θα σκεφτούν ότι η αντίδραση του συστήµατος τους φέρνει κοντύτερα στο στόχο τους; Αυτές οι ερωτήσεις βασίζονται στη θεωρία της επεξηγηµατικής µάθησης CE+ των Lewis & Polson (Polson et al, 1992; Rieman et al., 1995). Αργότερα τροποποιήθηκαν (Karoulis et al., 2000) και η βελτιωµένη τους µορφή, σύµφωνα πάντα µε τη θεωρία CE+ είναι η εξής: Πόσοι θα αντιληφθούν ότι αυτή η ενέργεια είναι διαθέσιµη, ότι δηλαδή το σύστηµα µπορεί να κάνει αυτό που θέλουν και παρέχει επίσης και τη δυνατότητα στο χρήστη να το κάνει; Πόσοι θα θεωρήσουν ότι αυτή η ενέργεια και όχι κάποια άλλη είναι η κατάλληλη για το σκοπό που θέλουν να επιτύχουν; Πόσοι θα ξέρουν πως να εκτελέσουν αυτή την ενέργεια; Eίναι η αντίδραση του συστήµατος εµφανής; Πόσοι θα θεωρήσουν ότι η αντίδραση του συστήµατος τους φέρνει κοντύτερα στο στόχο τους; γραφικές διαβαθµίσεις στο κείµενο (έντονη γραφή και µικρότερη γραφή) θεωρούνται σηµαντικές, καθόσον συµβάλλουν και αυτές µε τον τρόπο τους στη διασάφηση της ερώτησης. 14

1.5 Η γραφική γνωστική διάσχιση (The Cognitive Graphical Jogthrough) Η βασική ιδέα για την τροποποίηση των µεθόδων της περιδιάβασης και της διάσχισης ήταν το γεγονός ότι και οι δύο µέθοδοι εστιάζουν σε αρχάριους που έρχονται σε επαφή για πρώτη µε τη διεπαφή. Εντούτοις τι γίνεται µε τους προχωρηµένους της διεπαφής; Στην τροποποιηµένη µορφή των µεθόδων έχει εισαχθεί η παράµετρος του χρόνου, η οποία αντιπροσωπεύει την αύξηση της εµπειρίας του χρήστη όσο εργάζεται µε τη διεπαφή. Αυτό επιτεύχθηκε µε την εισαγωγή "διαγραµµάτων" όπου οι αξιολογητές µπορούν να τσεκάρουν τις εκτιµήσεις τους. Η επεξεργασία των διαγραµµάτων παράγει καµπύλες, µια για κάθε αξιολογητή, οι οποίες αντιπροσωπεύουν σε γραφική µορφή τη διαίσθηση και την καµπύλη εκµάθησης της διεπαφής. Επιπλέον έχουν τροποποιηθεί ελαφρώς η σύνθεση και οι ρόλοι των προσώπων που πραγµατοποιούν την αξιολόγηση: αφενός για να απλοποιηθεί η προετοιµασία και η διεξαγωγή της διαδικασίας της αξιολόγησης, και αφετέρου για να προσαρµοστεί ο καταγραφέας στο νέο ρόλο του στην τροποποιηµένη µέθοδό. Ο παρουσιαστής είναι τώρα και ο µεσολαβητής (απλοποιώντας τη διαδικασία) και ο καταγραφέας δεν µπορεί πλέον να είναι αξιολογητής (έχει τώρα περισσότερο χρόνο να επικεντρωθεί στον ενισχυµένο ρόλο του κατά τη διάρκεια της συνόδου και επιπλέον θεωρείται προκατειληµµένος αξιολογητής, δεδοµένου ότι ένας αξιολογητής δεν πρέπει να είναι µέλος της οµάδας σχεδίασης). τροποποιήσεις (Karoulis et al., 2000) είναι οι ακόλουθες: 1) Η εσωτερική και µετρήσιµη προσέγγιση Η προσθήκη της παραµέτρου του χρόνου στις προϋπάρχουσες µεθόδους, έχει να αντιµετωπίσει µια πολύ σηµαντική ερώτηση: τι είναι "πεπειραµένος χρήστης"; Πώς µπορούµε να αξιολογήσουµε πότε ένας χρήστης έχει γίνει "έµπειρος" ενώ υπάρχουν διαφορετικά δοµηµένες διεπαφές; Έτσι προτείνονται δύο διαφορετικές προσεγγίσεις: Η εσωτερική προσέγγιση αξιολογεί την απόκτηση γνώσης µέσα στην ίδια διεπαφή. Σε αυτήν την περίπτωση αρχάριος είναι ένας χρήστης που έρχεται σε επαφή για πρώτη µε τη συγκεκριµένη διεπαφή και "ο έµπειρος" χρήστης είναι αυτός που διαχειρίζεται σχεδόν 100% της δυνατότητας του λογισµικού. Μεταξύ αυτών των δύο σηµείων υπάρχουν διαβαθµίσεις ανάλογα µε τις δεξιότητες και τις δυνατότητες που ο χρήστης αποκτά δουλεύοντας µε τη διεπαφή. Είναι προφανές ότι ο χρόνος που απαιτείται για να γίνει κάποιος πεπειραµένος χρήστης σε έναν απλό επεξεργαστή κειµένων διαφέρει πολύ από το χρόνο που απαιτείται για να µάθει την πλήρη δυνατότητα ενός επαγγελµατικού λογισµικού επεξεργασίας εικόνας. Η µετρήσιµη προσέγγιση από την άλλη, στερείται της έννοιας του «έµπειρου χρήστη». Εδώ µετράµε, σε αριθµό προσπαθειών, την απόκτηση γνώσεων από την πρώτη που ο χρήστης έρχεται σε επαφή µε τη διεπαφή µέχρι έναν ορισµένο αριθµό προσπαθειών ορίζεται αυθαίρετα σε 8. Είναι προφανές ότι αυτή η προσέγγιση µπορεί να συγκρίνει τη διαίσθηση και τη "καµπύλη εκµάθησης" ακόµη και διαφορετικών διεπαφών, δεδοµένου ότι µε τον ίδιο αριθµό προσπαθειών - παραδείγµατος χάριν 6 - διαφορετικό ποσοστό χρηστών πετυχαίνει σε µια συγκεκριµένη ενέργεια σε διαφορετικές διεπαφές. Η υπόθεση είναι φυσικά ότι οι διεπαφές είναι συγκρίσιµες, π.χ. δύο διαφορετικοί επεξεργαστές κειµένων, και παρέχουν τις ίδιες ή έστω σχετικές ενέργειες προς αξιολόγηση. 15

2) α) Τα ιαγράµµατα Το θεµελιώδες ζήτηµα στη µέθοδο CGJ είναι τα διαφορετικά είδη διαγραµµάτων, όπου οι αξιολογητές µπορούν να σηµειώσουν τις εκτιµήσεις τους. Αυτά τα διαγράµµατα προσφέρουν µια "γραφική αναπαράσταση" των απόψεων των αξιολογητών και µε την ένωση των σηµείων οδηγούµαστε σε µια γραφική παράσταση που αντιπροσωπεύει τη διαίσθηση της συγκεκριµένης ενέργειας κατά την άποψη του αξιολογητή. Τα διαγράµµατα µπορούν να διαµορφωθούν κατόπιν µε κοινές στατιστικές µεθόδους. Υπάρχουν δύο κύριες µορφές διαγραµµάτων και κάθε µορφή αποτελείται από δύο εκδόσεις: Α) Το εσωτερικό διάγραµµα σύµφωνα µε την εσωτερική προσέγγιση: nearly all users 1 η έκδοση του εσωτερικού διαγράµµατος ( η «ψηφιακή έκδοση») : most users about half some users almost no one novice user beginner intermediate advance d expert Ο αξιολογητής πρέπει να βάλει ένα Χ στο κατάλληλο κουτάκι. nearly all users most users 2 η έκδοση του εσωτερικού διαγράµµατος ( η «αναλογική έκδοση») : about half some users almost no one Ο εκτιµητής βάζει ένα Χ σε κάθε διαστιγµένη γραµµή. novice user beginner intermediate advanced expert Οριζόντιος άξονας: Χρησιµοποιώντας αυτού του τύπου τα διαγράµµατα αξιολογείται η απόδοση του χρήστη µέσα στην συγκεκριµένη διεπαφή. Αυτός σηµαίνει ότι ένας αρχάριος χρήστης είναι ένας χρήστης που έρχεται για πρώτη σε επαφή µε την συγκεκριµένη διεπαφή, ενώ ένας "έµπειρος" χρήστης είναι ένας χρήστης που είναι εξοικειωµένος µε το (σχεδόν) 100% της λειτουργίας του συστήµατος. Είναι προφανές ότι ένας έµπειρος χρήστης σε µια "φτωχή" διεπαφή και ένας έµπειρος χρήστης σε µια "πλούσια" διεπαφή 16

δίνουν πολύ διαφορετικές καµπύλες εκµάθησης. Έτσι αυτοί οι τύποι διαγραµµάτων συστήνονται για την αξιολόγηση της αύξησης της εµπειρίας των χρηστών µέσα σε µια διεπαφή παρά για τη σύγκριση διαφορετικών διεπαφών. Β) Το µετρήσιµο διάγραµµα σύµφωνα µε την µετρήσιµη προσέγγιση: 1 η έκδοση του υπολογίσιµου διαγράµµατος ( η «ψηφιακή έκδοση») : nearly all users most users about half some users almost no one with the 1st attempt few (2-3) attempts some (4-6) attempts more (7-8) attempts many (>8) attempts nearly all users 2 η έκδοση του υπολογίσιµου διαγράµµατος ( η «αναλογική έκδοση») : most users about half some users almost no one Οριζόντιος άξονας: with the 1st attempt Η απόδοση του χρήστη καταχωρείται σε σχέση µε τον αριθµό προσπαθειών που χρειάζεται για να πετύχει. Στο διάγραµµα αυτό εκφράζεται ως "προσπάθειες". Είναι προφανές ότι η επιτυχία "µε τη 1 η προσπάθεια" σηµαίνει ότι η ενέργεια έχει την απαραίτητη ιδιότητα (προφανές ή διαθέσιµο ή...). Περισσότερες προσπάθειες δίνουν µια διαβάθµιση της διαίσθησης της διεπαφής. Τελικά θεωρείται ότι περισσότερες από 8 προσπάθειες δηλώνουν "συνολική αποτυχία", επειδή το ποσοστό των χρηστών που θα επέµενε να προσπαθήσει περισσότερες από 8 θεωρείται αµελητέο. few (2-3) attempts some (4-6) attempts more (7-8) attempts many (>8) attempts 17

Κάθετος άξονας (και για τους δύο τύπους διαγραµµάτων): Το ποσοστό των χρηστών που πετυχαίνουν. Αν και µια πενταβάθµια κλίµακα (π.χ. 0%, 25% 50%, 75%, 100%) θα αντιπροσώπευε σχεδόν το ίδιο, προτείνεται η "λεκτική" κλίµακα, λόγω δύο προβληµάτων: α. Τι θα γινόταν εάν ένας αξιολογητής εκτιµήσει ότι µε την τρίτη προσπάθεια 55% των χρηστών θα πετύχει; Ενώ ο αναλογικός τύπος του διαγράµµατος παρέχει έναν τρόπο για να σηµειώσει αυτήν την εκτίµηση, η ψηφιακή µορφή στηρίζεται σε µια στρογγυλοποίηση στο 50%. β. Είναι σωστή η κλίµακα 0%, 25%, 50%, 75%, 100% ή ίσως η 0%, 33%, 50%, 67%, 100%; Με τη χρησιµοποίηση της "λεκτικής κλίµακας, αποφεύγουµε αυτό το πρόβληµα (που παραµένει πάντα ένα ζήτηµα για περαιτέρω εξέταση). 2) β) Ολοκλήρωση των ιαγραµµάτων Το δεύτερο θεµελιώδες ζήτηµα είναι ο τρόπος που θα συµπληρωθούν τα διαγράµµατα. Υπάρχουν δύο δυνατότητες: προσθετικός (αθροιστικός) και χρηστοκεντρικός. Παρουσιάζουν τα αποτελέσµατα µε διαφορετικούς τρόπους. Προσθετικός (αθροιστικός): Η ερώτηση σύµφωνα µε την οποία οι αξιολογητές πρέπει να συµπληρώσουν το διάγραµµα έχει ως εξής: «Πόσοι συνολικά θα σκεφτούν ότι αυτή η ενέργεια είναι εµφανής (ή διαθέσιµη ή ) µε την 1 η προσπάθεια, πόσοι µε λίγες προσπάθειες κτλ;» nearly all users Σε αυτήν την περίπτωση ο αξιολογητής περιλαµβάνει επίσης most users στην αξιολόγησή του το ποσοστό των χρηστών των προηγούµενων about half κατηγοριών. Εποµένως: Εάν σκεφτεί ότι µε την πρώτη προσπάθεια λιγότεροι από τους Some users Almost no one µισούς θα πετύχουν, σηµειώνει ένα Χ στο σηµείο που παρουσιάζεται στο σχήµα. Στη δεύτερη κατηγορία "λίγες (2-3) προσπάθειες" ο αξιολογητής with the 1st attempt few (2-3) attempts some (4-6) attempts more (7-8) attempts δηλώνει: οι, µαζί µε τους που πέτυχαν στην πρώτη προσπάθεια. Εποµένως στο σύνολο οι θα χρειαστούν πάνω από τρεις προσπάθειες να πετύχουν. Για να συνοψίσουµε αυτός ο τρόπος παρέχει το συνολικό χρόνο (σε προσπάθειες) που απαιτείται για το αντίστοιχο ποσοστό των χρηστών εωσότου επιτύχουν. Ο σηµαντικότερος άξονας είναι σε αυτήν την περίπτωση ο οριζόντιος άξονας - ο άξονας προσπαθειών. many (>8) attempts 18

Χρηστοκεντρικός: Η ερώτηση έχει τη µορφή: "Πόσοι θα πετύχουν στην πρώτη προσπάθεια, πόσοι σε λίγες προσπάθειες, κ.λπ..." Σε αυτήν την περίπτωση ο αξιολογητής δε καταλήγει στους που έχουν πετύχει ήδη σε προηγούµενες προσπάθειες, αλλά µόνο στηρίζεται στην αντίστοιχη κατηγορία. Η αξιολόγηση που παρουσιάζεται στο σχήµα δείχνει ότι από τους θα πετύχουν σε λίγες (2-3) προσπάθειες και µερικοί θα χρειαστούν 4 έως 6 προσπάθειες. Συνοψίζοντας τα παραπάνω, αυτός ο τρόπος δίνει το ποσοστό των χρηστών που πετυχαίνουν σε συγκεκριµένο αριθµό προσπαθειών και ο σηµαντικότερος άξονας είναι σε αυτήν την περίπτωση ο κάθετος άξονας - ο άξονας των χρηστών. διαφορετικές γραφικές παραστάσεις που προκύπτουν συνεπώς δίνουν διαφορετικές πληροφορίες. Αυτή η δια είναι πιο προφανής στα τελευταία σηµάδια των σχηµάτων, οι οποίοι µπορούν να εξηγηθούν στην πρώτη περίπτωση ως: σχεδόν όλοι οι θα έχουν πετύχει µετά από 8 προσπάθειες ενώ στη δεύτερη περίπτωση σηµαίνει ότι σχεδόν κανένας δε θα χρειαστεί περισσότερες από 8 προσπάθειες να πετύχει. nearly all users Most users About half Some users almost no one with the 1st attempt few (2-3) attempts some (4-6) attempts more (7-8) attempts many (>8) attempts Ποιον τύπο διαγράµµατος να επιλέξουµε; Πρέπει να ακολουθήσουµε µια ορισµένη µεθοδολογία για την επιλογή της προσέγγισης και του διαγράµµατος που ταιριάζει στις ανάγκες της συγκεκριµένης αξιολόγησης. Αν και δεν υπάρχουν γενικοί κανόνες για την επιλογή των διαφόρων συστατικών σε σχέση µε τη διεπαφή που είναι υπό αξιολόγηση (λόγω της µεταβλητότητας των διεπαφών και των συνθηκών της αξιολόγησης), κατά τη διάρκεια της φάσης προετοιµασίας, µπορούµε να στηριχθούµε σε µια ακολουθία ερωτήσεων, όπως: α) Ακολουθούµε την εσωτερική µετρήσιµη προσέγγιση; β) Χρησιµοποιούµε τον ψηφιακό ή αναλογικό τύπο διαγραµµάτων; γ)συµπληρώνουµε τα διαγράµµατα µε την πρόσθετη ή την χρηστοκεντρική προσέγγιση; Μόνο στην τρίτη ερώτηση πρέπει να εξηγήσουµε στους αξιολογητές (στο "σηµείωµα για τους αξιολογητές" ) τις οδηγίες για το πώς να συµπληρώσουν τα διαγράµµατα. πρώτες δύο ερωτήσεις δεν ενδιαφέρουν τους αξιολογητές, αλλά είναι µεγάλης σπουδαιότητας στη φάση της προετοιµασίας και οι απαντήσεις στηρίζονται έντονα στα επιθυµητά αποτελέσµατα και στις συνθήκες αξιολόγησης. Παράδειγµα: για τις "πλούσιες" διεπαφές µπορεί να είναι καλύτερο να χρησιµοποιηθεί η µετρήσιµη προσέγγιση: εάν θέλουµε ποσοτικά παρά ποιοτικά στοιχεία ίσως πρέπει να χρησιµοποιήσουµε την ψηφιακή µορφή του διαγράµµατος κλπ. 19

Συστήνεται να µην αναµιχθούν οι διαφορετικοί τύποι προσεγγίσεων και διαγραµµάτων στην ίδια αξιολόγηση ώστε να µην µπερδευτούν οι αξιολογητές, εκτός αν είναι εξοικειωµένοι µε όλους τους τύπους - πιθανώς έχοντας ήδη συµµετάσχει σε αξιολογήσεις µε πιθανές παραλλαγές. Ίσως θα µπορούσε να υπάρξει µια εξαίρεση, αναµιγνύοντας αναλογικούς και ψηφιακούς τύπους προσεγγίσεων των ίδιων διαγραµµάτων στην ίδια συνεδρία αξιολόγησης εάν θα οδηγούσε σε καλύτερα αποτελέσµατα. Η επεξεργασία των διαγραµµάτων: Για τη διαµόρφωση των διαγραµµάτων και να πάρουµε µερικά συµπεράσµατα πρέπει πρώτα να ενώσουµε τα σηµεία των αξιολογητών πάνω στα διαγράµµατα. Ειδικά στο αναλογικό σχήµα που παράγει κατ' αυτό τον τρόπο ένα είδος "καµπύλης". Εάν έχουµε συµπληρώσει τα διαγράµµατα µε τον πρόσθετο τρόπο, µια γραφική παράσταση που βρίσκεται προς την κορυφή και στα αριστερά δείχνει µια πιο διαισθητική ενέργεια από µια γραφική παράσταση τοποθετηµένη χαµηλότερα και πιο δεξιά. Η τελική διαµορφούµενη γραφική παράσταση, η οποία εξελίσσεται από ολόκληρο το σύνολο των διεργασιών και των ενεργειών που έχουν αξιολογηθεί και αποτελείται από όλες τις αντίστοιχες ενιαίες γραφικές παραστάσεις, αντιπροσωπεύει την καµπύλη εκµάθησης της διεπαφής. Εάν έχουµε συµπληρώσει τα διαγράµµατα µε τον χρηστοκεντρικό τρόπο, η κορυφή της γραφικής παράστασης πρέπει να είναι περισσότερο προς τα αριστερά και η πτώση της καµπύλης πρέπει να είναι πιο απότοµη, για να δείξει µια διαισθητική διεπαφή. Είναι πάντα ενδιαφέρον να ερευνηθεί η περίπτωση των εναλλακτικών και βοηθητικών ενεργειών σε σχέση µε το είδος των χρηστών που προτιµά να τις εκτελέσει. Τα αποτελέσµατα θα µπορούσαν µερικές να είναι εκπληκτικά. Παραδείγµατος χάριν εάν οι πιο προχωρηµένοι προτιµούν την ενέργεια Α και οι αρχάριοι προτιµούν την εναλλακτική ενέργεια Α, αυτό δείχνει ότι µια ανταλλαγή πρέπει να γίνει εδώ. Ή εάν µόνο οι έµπειροι πετυχαίνουν στη διαθεσιµότητα ενός βοηθητικού χαρακτηριστικού γνωρίσµατος που έχει σχεδιασθεί για αρχάριους, πρέπει να υπάρξει ένας επανασχεδιασµός αυτού του χαρακτηριστικού γνωρίσµατος. 3) Τα µέσα καταγραφής Το τρίτο σηµείο της τροποποίησης των µεθόδων γνωστικής περιδιάβασης και διάσχισης είναι η προσέγγιση του να χρησιµοποιηθεί ο συνδυασµός τριών διαφορετικών µέσων για την καταγραφή των αντιδράσεων των αξιολογητών: Η κάµερα, τα ερωτηµατολόγια και οι σηµειώσεις του καταγραφέα. Κάθε ένα από αυτά τα µέσα έχει τα πλεονεκτήµατα και τα µειονεκτήµατά του, έτσι ο συνδυασµός τους δίνει µια καλύτερη προσέγγιση της άποψης των αξιολογητών. Χρησιµοποιείται ο όρος "µέσα καταγραφής" για το συνδυασµό των ερωτηµατολογίων, της φόρµας του καταγραφέα και της κάµερας. Το βασικό πρόσωπο εδώ είναι ο καταγραφέας. Τα ερωτηµατολόγια Εκτός από τα διαγράµµατα, υπάρχει επαρκής χώρος για σχόλια στο κάτω σηµείο κάθε σελίδας. Αυτά τα σχόλια έχουν να κάνουν µόνο µε την αντίστοιχη ενέργεια και ονοµάζονται "τοπικά σχόλια". Εκτός από αυτό υπάρχει µια ακόµα σελίδα στο τέλος κάθε διεργασίας: Περιέχει γενικές ερωτήσεις για αυτήν τη διεργασία καθώς επίσης και χώρο για γενικά σχόλια και προτάσεις σχετικές µε τη διεργασία. 20

Αυτά είναι τα "γενικά σχόλια". Η τρίτη περιοχή για σηµειώσεις είναι οι αριστερές σελίδες των ερωτηµατολογίων: όλες είναι κενές µε τίτλο "τελικά σχόλια" στην κορυφή και οι αξιολογητές µπορούν ελεύθερα να σηµειώσουν οποιαδήποτε πρόταση ή ανακοίνωση νοµίζουν ότι είναι σηµαντική εδώ, ακόµα κι αν δεν είναι σχετική µε την συγκεκριµένη ενέργεια, ή δεν ανήκει στα τοπικά ή γενικά σχόλια. Εν περιλήψει το ερωτηµατολόγιο παρέχει το ακόλουθο είδος στοιχείων: Ερωτήσεις που απαντιούνται µε διαγράµµατα. Ερωτήσεις που απαντιούνται µε "ναι" ή "όχι". Τοπικά σχόλια στο τέλος κάθε ενέργειας. Γενικά σχόλια στο τέλος κάθε διεργασίας. Τελικά σχόλια στην αριστερή πλευρά του ερωτηµατολογίου. Είναι σηµαντικό ότι οι αξιολογητές γνωρίζουν τα διαφορετικά είδη σχολίων που πρέπει να σηµειώσουν. Το ταυτόχρονο γράψιµο τεσσάρων ή πέντε ανθρώπων δίνει πολλά δεδοµένα σε λίγο χρόνο που µπορούν να διαµορφωθούν κατόπιν, µε την προϋπόθεση ότι είναι όλα του ίδιου είδους έτσι ώστε να µπορούµε να τα διαµορφώσουµε συγχρόνως, π.χ. να συγκρίνουµε τα τοπικά σχόλια σε όλα τα ερωτηµατολόγια. Η κάµερα Ο συνδυασµός των ερωτηµατολογίων µε την κάµερα µπορεί να είναι επιτυχής, επειδή η κάµερα µπορεί να καταγράψει όλα όσα δεν µπορούν να γραφτούν: συζητήσεις µεταξύ των αξιολογητών, ερωτήσεις που προκύπτουν κατά τη διάρκεια της συνεδρίας και ακόµη ο τρόπος που ο παρουσιαστής παρουσιάζει τις ενέργειες για περαιτέρω βελτίωση. Είναι προφανές ότι η κάµερα πρέπει να καταγράφει συνεχώς κατά τη διάρκεια ολόκληρης της διαδικασίας αξιολόγησης, και έτσι πρέπει να προγραµµατίζουµε σύντοµα διαλείµµατα κάθε µισή ή µια ώρα - για να αλλάξουµε την κασέτα, ανάλογα µε τη δυνατότητα των χρησιµοποιούµενων µέσων - και ένα διάλειµµα για καφέ µετά από δύο ώρες. Το καταγραµµένο υλικό χρειάζεται το διπλάσιο χρόνο για να επεξεργαστεί. Ο καταγραφέας Ο καταγραφέας είναι βασικό πρόσωπο στην τροποποιηµένη έκδοση του CGJ. Έχει τρεις κύριους ρόλους: Χειρισµός της κάµερας. Πρέπει να ανοίγει/κλείνει την κάµερα και να φροντίζει να υπάρχουν πάντα µέσα καταγραφής. Κράτηση χρόνου. Πρέπει να καθίσει σε µια κατάλληλη θέση για να σηµειώσει το χρόνο που αναγράφεται στη µικρή οθόνη της κάµερας, είτε - εάν καταγράφουµε άµεσα σε ένα videorecorder στο πάνελ του βίντεο. Να δηλώσει τους τίτλους για τα συµβάντα. Για όλα όσα συζητούνται κατά τη διάρκεια της συνόδου και καταγράφονται στην κάµερα, ο καταγραφέας πρέπει να δώσει έναν τίτλο και, εάν υπάρχει επαρκής χρόνος, µια σύντοµη περιγραφή, µαζί µε την αντιστοιχία των χρόνων. Με το απλό πέρασµα των τίτλων των σηµειώσεων του καταγραφέα µπορούµε να πλοηγηθούµε κατόπιν στο σωστό σηµείο στην κάµερα (από την αντιστοιχία µε το χρόνο) και στα ερωτηµατολόγια (από τον αντίστοιχο αριθµό διεργασίας/ενέργειας. Κατ' αυτό τον τρόπο µπορούµε να έχουµε µια πλήρη περίληψη όσων 21

συνέβησαν κατά τη διάρκεια της συνόδου αξιολόγησης - µε το να δούµε τους αξιολογητές, να ακούσουµε τις παρατηρήσεις τους και να διαβάσουµε τα σχόλιά τους. Ένα δεύτερο θεµελιώδες ζήτηµα στο ρόλο του καταγραφέα είναι ότι πρέπει να είναι µέλος της οµάδας σχεδίασης. Με αυτήν την ιδιότητα είναι ο ειδικός που µπορεί να διακρίνει από αυτά που έχουν συζητηθεί τι είναι σηµαντικό και τι µπορεί να εφαρµοστεί εύκολα στη διαδικασία σχεδίασης. Χρησιµοποιεί επίσης έναν χρωµατικό κώδικα κατά τη διάρκεια της συνόδου: χρησιµοποιεί χρωµατιστά στυλό και κάθε χρώµα δείχνει µια διαφορετική κατηγορία. Επεξεργασία Η επεξεργασία των συλλεχθέντων στοιχείων εξαρτάται έντονα από το είδος των πληροφοριών που θέλουµε να αποσπάσουµε. Παραδείγµατος χάριν εάν χρειαζόµαστε ποσοτικά στοιχεία, θεωρούµε τα διαγράµµατα ως κύρια πηγή στοιχείων, εάν θέλουµε να παράγουµε µια βελτίωση του λογισµικού, τα τελικά σχόλια των αξιολογητών και µια αναθεώρηση του τηλεοπτικού υλικού µπορεί να παρέχει σε µας τις απαραίτητες ιδέες και εάν χρειαζόµαστε ποιοτικά στοιχεία (για τον καθορισµό των ελαττωµάτων), τα τοπικά σχόλια κάθε ενέργειας είναι η σωστή πηγή. Γενικά µπορούµε να διακρίνουµε µεταξύ πέντε κύριων πηγών στοιχείων: Τα διαγράµµατα στα ερωτηµατολόγια. Τα τοπικά σχόλια κάθε ενέργειας και τα γενικά σχόλια στο τέλος κάθε διεργασίας. Τα τελικά σχόλια στις αριστερές πλευρές των ερωτηµατολογίων. Το υλικό που καταγράφεται τηλεοπτικά µε την κάµερα. σηµειώσεις του καταγραφέα. 1.6 Πλεονεκτήµατα και µειονεκτήµατα των µεθόδων γενικά. Η γνωστική περιδιάβαση, η γνωστική διάσχιση και η γνωστική γραφική διάσχιση δεν προσδιορίζουν προβλήµατα µε µια διεπαφή. Προσδιορίζουν αναντιστοιχίες µεταξύ αυτού που το σύστηµα µπορεί να κάνει και αυτού που οι θέλουν να πετύχουν. Παράδειγµα: αναντιστοιχίες που είναι γλωσσικές στην προέλευση, όπως κουµπιά ή µενού επιλογών µε λάθος ετικέτες. Πρέπει πάντα να έχουµε στο µυαλό µας ότι η γνωστική περιδιάβαση - και διάσχιση, είναι µέθοδοι αξιολόγησης µε ειδικούς µε όλα τα πλεονεκτήµατα και τα µειονεκτήµατα που περιλαµβάνει αυτό. Έτσι πρέπει να αναφέρουµε ότι η γνωστική περιδιάβαση - και διάσχιση έχουν µερικά µειονεκτήµατα: αξιολογητές δεν µπορούν εύκολα να προτείνουν µια κατάλληλη λύση για τα προβλήµατα που προκύπτουν στη διεπαφή. Αυτή η αδυναµία οφείλεται σε τρία γεγονότα: Πρώτον η διεπιστηµονική φύση της οµάδας αξιολόγησης. Είναι ένα µεγάλο πλεονέκτηµα προκειµένου να αξιολογηθεί η διεπαφή µε διαφορετικές απόψεις, αλλά είναι ένα µειονέκτηµα όταν έρχεται η στιγµή να προταθεί µια λύση, επειδή κάθε µέλος συλλαµβάνει τη "κατάλληλη λύση" µε έναν πολύ διαφορετικό τρόπο, ανάλογα µε το επιστηµονικό υπόβαθρό του/της. εύτερον, εάν οι αξιολογητές δεν ανήκουν στην οµάδα σχεδίασης, µπορούν συχνά να προτείνουν λανθασµένες λύσεις. Παραδείγµατος χάριν: προτείνουν µια ενέργεια να γίνει µε έναν απλούστερο 22