5 ο κεφάλαιο: Aξιολόγηση ευχρηστίας διδακτικών συστηµάτων Επισκόπηση τεχνικών µε βάση διαφορετικές µαθησιακές προσεγγίσεις

Transcript

1 5 ο κεφάλαιο: Aξιολόγηση ευχρηστίας διδακτικών συστηµάτων Επισκόπηση τεχνικών µε βάση διαφορετικές µαθησιακές προσεγγίσεις Νικόλαος Τσέλιος και Νικόλαος Αβούρης Πανεπιστήµιο Πατρών, Τµήµα ΗΜ&ΤΥ, Ερευνητική Οµάδα Αλληλεπίδρασης Ανθρώπου-Υπολογιστή, Ρίο Πάτρα ( { Nitse & ΠΕΡΙΛΗΨΗ Το κεφάλαιο αυτό εστιάζει στην αξιολόγηση ευχρηστίας (usability) εκπαιδευτικών συστηµάτων που βασίζονται σε διαφορετικές σύγχρονες τεχνολογίες. Εξετάζει τη σηµασία της ευχρηστίας και την επίπτωσή της στη µαθησιακή αποτελεσµατικότητα των περιβαλλόντων αυτών. Επιχειρείται επισκόπηση διαφορετικών τεχνικών µέτρησης της ευχρηστίας και εξετάζεται η εφαρµογή τους σε διάφορες κατηγορίες εκπαιδευτικών συστηµάτων, όπως πολυµεσικών/ υπερµεσικών εφαρµογών και συστηµάτων στηριγµένων σε εποικοδοµητικό γνωσιοθεωρητικό πλαίσιο. Παρατίθενται παραδείγµατα µέτρησης ευχρηστίας από ειδικούς, καθώς και από τους ίδιους τους χρήστες (µαθητές και εκπαιδευτικούς). Στόχος είναι να περιγραφούν µέθοδοι τις οποίες µπορεί να εφαρµόσει ο ίδιος ο εκπαιδευτικός που πρόκειται να χρησιµοποιήσει ένα διδακτικό σύστηµα, ώστε να µετρήσει την ευχρηστία του και να την συσχετίσει µε τους εκπαιδευτικούς στόχους του. Τέλος στο κεφάλαιο αυτό περιγράφονται προηγµένες τεχνικές µέτρησης ευχρηστίας σύγχρονων περιβαλλόντων µάθησης και γίνεται µια επισκόπηση των ερευνητικών εξελίξεων της περιοχής ευχρηστίας συνεργατικών συστηµάτων. ΕΙΣΑΓΩΓΗ Βασικός ορισµός Η ευχρηστία, αποτελεί αυτονόητη απαίτηση για όλα τα συστήµατα και εργαλεία που χειρίζεται ο άνθρωπος (Avouris 2000). Ειδικότερα η ευχρηστία συστηµάτων λογισµικού ορίζεται σύµφωνα µε το πρότυπο ISO ως «ο βαθµός στον οποίο ένα σύστηµα µπορεί να χρησιµοποιηθεί από συγκεκριµένους χρήστες ώστε να επιτύχουν συγκεκριµένους στόχους υπό καθορισµένες συνθήκες χρήσης µε αποτελεσµατικότητα, αποδοτικότητα, παρέχοντας υποκειµενική ικανοποίηση στους χρήστες του». H έννοια της ευχρηστίας είναι δυνατόν να αναλυθεί περαιτέρω σε άξονες που µπορούν να µετασχηµατιστούν σε ποιοτικούς και ποσοτικούς στόχους ευχρηστίας κατά τη διάρκεια αξιολόγησης ενός συστήµατος. Τέτοιοι είναι, σύµφωνα µε τον Nielsen (1993), η ευκολία εκµάθησης από νέους χρήστες, η υψηλή απόδοση εκτέλεσης εργασιών από πεπειραµένους χρήστες, η διατηρησιµότητα της ικανότητας χρήσης του συστήµατος µε την πάροδο του χρόνου από τον χρήστη, ο µικρός αριθµός εσφαλµένων χειρισµών κατά την χρήση του συστήµατος, ο εύκολος τρόπος ανάνηψης από αυτά και η υποκειµενική ικανοποίηση των χρηστών από την επαφή τους µε το σύστηµα. Οι παράµετροι αυτές εξακολουθούν, σε διαφορετικό βαθµό η καθεµία, να διέπουν την ευχρηστία του διδακτικών συστηµάτων. Ευχρηστία και χρησιµότητα ύο έννοιες που συχνά προκαλούν σύγχυση είναι η χρησιµότητα και η ευχρηστία. Η χρησιµότητα ενός συστήµατος, µπορεί να υποστηριχτεί ότι αναλύεται σε δύο συµπληρωµατικές συνιστώσες: την ωφέλεια που παρέχει στον τελικό χρήστη (utility) και την ευχρηστία (usability) του (Grudin 1992). Η ωφέλεια αφορά στη λειτουργικότητα του συστήµατος και η ευχρηστία στην ευκολία µε την οποία οι χρήστες αντιλαµβάνονται ή χρησιµοποιούν τη λειτουργικότητα αυτή. Οι δύο έννοιες είναι αλληλένδετες µεν άλλα δεν προϋποθέτει η µία την άλλη. Ένα διδακτικό σύστηµα, µπορεί να κριθεί ωφέλιµο για τον χρήστη, αν συµβάλλει στη διαδικασία µάθησης και όχι απαραίτητα αν είναι εύχρηστο, δηλαδή αν επιτρέπει την εκτέλεση συγκεκριµένων τυπικών εργασιών µε αποδοτικότερο τρόπο. Μάλιστα σε ορισµένες περιπτώσεις που θα εξετασθούν στη συνέχεια, η αύξηση της ευχρηστίας επηρεάζει αρνητικά τη διαδικασία µάθησης, αφού αύξηση της αποτελεσµατικότητας και της αποδοτικότητας, δεν συµβάλλουν απαραίτητα σε καλύτερο µαθησιακό αποτέλεσµα. Έτσι, σε διδακτικά συστήµατα η έννοια της ευχρηστίας συνδέεται πιο άµεσα µε την έννοια της ωφέλειας. Η τελευταία χρειάζεται να προσδιοριστεί µε µεγαλύτερη σαφήνεια. Κατά συνέπεια η ανάπτυξη κατάλληλων µεθόδων για τη µέτρηση

2 ευχρηστίας θα πρέπει να γίνει, αφού ληφθεί υπόψη η επίδραση που έχει η ευχρηστία στην ωφέλεια του συστήµατος, δηλαδή στο µαθησιακό αποτέλεσµα. Ευχρηστία διδακτικών συστηµάτων Ένα διδακτικό σύστηµα, αφενός πρέπει να διευκολύνει την εκτέλεση εργασιών από τους µαθητές, παράλληλα είναι αναγκαίο να υποστηρίζει µέσα από τις δραστηριότητες αυτές τη διαδικασία µάθησης (Soloway et al., 1994, Sedig et al., 2001). Συνεπώς δεν είναι αρκετό να παρέχονται εύχρηστα εργαλεία προς τον µαθητή που διευκολύνουν την εκτέλεση συγκεκριµένων εργασιών, όπως συµβαίνει µε άλλα είδη λογισµικού (Soloway et al., 1994, Inkpen, 1997, Dimitracopoulou 2001). Είναι ενδιαφέρον να εξετάσουµε ιδιαιτερότητες που παρουσιάζουν συστήµατα εκπαιδευτικού χαρακτήρα έναντι άλλων συστηµάτων γενικού σκοπού που έχουν κατασκευαστεί για τη διευκόλυνση ανθρώπινων δραστηριοτήτων και να διερευνήσουµε πώς αυτές οι ιδιαιτερότητες επηρεάζουν την ευχρηστία. Κατ αρχάς οι χρήστες εργαλείων λογισµικού γενικού σκοπού είναι συνήθως γνώστες του αντικειµένου της εργασίας τους ενώ οι µαθητές χρήστες διδακτικών συστηµάτων χαρακτηρίζονται από µικρή τέτοια γνώση καθώς επίσης και ισχυρές διαφοροποιήσεις και ετερογένεια στα εν γένει χαρακτηριστικά τους (Soloway et al., 1994). Πολλές φορές, ακόµα και η ύπαρξη κινήτρου για την ενασχόληση ή όχι µε το σύστηµα δεν θα πρέπει να θεωρείται δεδοµένη (Soloway et al., 1996). Κατά συνέπεια οι παραδοσιακές µετρικές ευχρηστίας (ταχύτητα εκτέλεσης, ποσοστό λαθών, αποτελεσµατικότητα και αποδοτικότητα κ.α.) αποκτούν δευτερεύοντα ρόλο στην αξιολόγηση της ποιότητας αλληλεπίδρασης διδακτικών συστηµάτων. Επίσης, οι κοινωνικές και εποικοδοµηστικές θεωρήσεις για τη γνώση και τη µάθηση (Jonassen, 1994, Cobb, 1994), προτάσσουν την διαδικασία αυτόβουλης κατασκευής γνώσης από τους µαθητές, κατά την οποία ο πειραµατισµός και τα λάθη κατέχουν πρωτεύοντα ρόλο. Στο λογισµικό γενικού σκοπού, αντιθέτως, βασική απαίτηση ευχρηστίας είναι να ελαχιστοποιηθεί, κατά το δυνατόν, η πιθανότητα "εσφαλµένης χρήσης". Οι δύο αυτές αρχές φαίνονται καταρχάς αντικρουόµενες. Στην πραγµατικότητα η διαφορά έγκειται στα διαφορετικά επίπεδα στα οποία αντιστοιχούν τα λάθη αυτά. Ο µαθητής δύναται να έχει σχηµατίσει λανθασµένη αντίληψη σχετικά µε βασικές έννοιες οι οποίες απαιτούνται για να επιλύσει ένα συγκεκριµένο πρόβληµα. Τέτοια λάθη στο σηµασιολογικό επίπεδο θα πρέπει να επιτρέπονται από το σύστηµα να εκφραστούν, ώστε σταδιακά να οδηγούν σε συγκρούσεις και ο µαθητής να οδηγείται σε κατασκευή νέας γνώσης. Από την άλλη πλευρά, το σύστηµα πρέπει να είναι κατάλληλα σχεδιασµένο, ώστε να αποκλείει κατά το δυνατόν λάθη χειρισµών των εργαλείων του περιβάλλοντος, που αφορούν δηλαδή στην ακριβή ακολουθία χειρισµών που απαιτείται για να επιτευχθεί ο στόχος. Κατά συνέπεια, προκύπτει η απαίτηση παροχής σηµαντικού αριθµού επιλογών και εργαλείων ακόµη και αν η χρήση αυτών των εργαλείων οδηγεί σε λανθασµένες κατασκευές (Lewis et al., 1998). Τούτο βεβαίως έρχεται σε αντίθεση µε βασική απαίτηση ευχρηστίας λογισµικού γενικού σκοπού, η οποία ορίζει ότι το φορτίο µνήµης θα πρέπει να ελαχιστοποιείται, παρέχοντας ανά πάσα στιγµή µόνο τα απαραίτητα εργαλεία στον χρήστη για την επιτυχή διεκπεραίωση της εργασίας. Όµως τα εργαλεία στη περίπτωση αυτή αποτελούν µέρος του µαθησιακού χώρου (learning space) και δεν είναι απλώς µέρος των τυπικών ενεργειών που απαιτούνται για την ολοκλήρωση µιας τυπικής εργασίας. Κατηγορίες διδακτικών συστηµάτων Από τα ενδεικτικά παραδείγµατα που παρατέθηκαν, διαπιστώνεται η αναγκαιότητα επαναπροσδιορισµού του στόχου της ευχρηστίας στο πλαίσιο του εκπαιδευτικού λογισµικού. Αυτή προκύπτει από τη ριζική διαφοροποίηση του στόχου. Ο µαθητής δεν καλείται να πράξει (do), αλλά να µάθει να πράττει (learn to do, Soloway et al., 1994). Εξ αιτίας του διαφορετικού αυτού σκοπού και λαµβάνοντας υπόψη τα διαφορετικά γνωσιοθεωρητικά πλαίσια µάθησης που πλαισιώνουν ένα εκπαιδευτικό λογισµικό, κρίνεται σκόπιµη η διαφοροποίηση των µεθόδων αξιολόγησης που θα εφαρµοστούν σε αυτά, ώστε να ελαχιστοποιηθεί η πιθανότητα να οδηγηθεί ο αξιολογητής σε επιπόλαια συµπεράσµατα. Μια κατηγοριοποίηση διδακτικών συστηµάτων, συµβατή µε τη κατηγοριοποίηση των Mayes and Fowler (1999) είναι η εξής: Πρωτεύον σύστηµα: σκοπό έχει τη παρουσίαση θεµάτων ενδιαφέροντος και συγγράφεται από ειδικούς τού προς διδασκαλία γνωστικού αντικειµένου (πολυµεσικές παρουσιάσεις, ηλεκτρονικά βιβλία). Ως στόχο έχει την κατανόηση (conceptualisation) µέσω της πρωταρχικής επαφής των χρηστών µε έννοιες που έχουν παραχθεί από άλλους. Η γνώση σε αυτού του είδους τα περιβάλλοντα, παρουσιάζει ένα στατικό χαρακτήρα, από την άποψη ότι τα χαρακτηριστικά της αλληλεπίδρασης σε αυτού του είδους το εκπαιδευτικό λογισµικό, περιορίζονται στην πλοήγηση και σειρά µετάβασης στις παρουσιαζόµενες έννοιες και όχι στην τροποποίηση και κατασκευή εννοιών. Τέτοια περιβάλλοντα είναι επί το πλείστον τα πολυµεσικά/ υπερµεσικά περιβάλλοντα µάθησης. ευτερεύον σύστηµα: Στα περιβάλλοντα αυτά επιχειρείται µια µετατόπιση από την έµφαση στην αναπαραστατική άποψη της µάθησης (συχνά µε υποστηριζόµενες µεταφορές που διευκολύνουν την

3 κατάκτηση της γνώσης) στις οικοδοµητικές απόψεις κατά τις οποίες η µάθηση είναι αποτέλεσµα της δραστηριότητας. Τα εκπαιδευτικά αυτά περιβάλλοντα, που καλούνται και ανοιχτά περιβάλλοντα µάθησης, συνιστούν ένα ιδεατό υπολογιστικό περιβάλλον και σύνολο εργαλείων µε τα οποία ο µαθητής εκτελεί εργασίες µάθησης. Στο κέντρο του σχεδιασµού υπάρχει η έννοια της κατασκευής (construction), δηλαδή η διαδικασία κατασκευής και συνδυασµού εννοιών µέσα από τη αλληλεπίδραση µε το σύστηµα κατά τη διάρκεια εκτέλεσης εργασιών µε σηµασία για αυτούς. Η εµπλοκή του µαθητή σε αυτά τα περιβάλλοντα, πρέπει να είναι σε ένα υψηλότερο εννοιολογικό επίπεδο, επιχειρώντας να τον ωθεί σε συνεχείς αναστοχασµούς επί των ενεργειών του, που θα πρέπει να έχουν σχέση µε απευθείας χειρισµούς δοµικών εννοιών του γνωστικού αντικειµένου (Sedig et al., 2001). Οι στόχοι ευχρηστίας σε αυτά τα περιβάλλοντα, θα πρέπει να διατηρούν ανέπαφη τη σε βάθος εµπλοκή των µαθητών µε τις έννοιες αυτές, ακόµα και αν αυτό αποβαίνει σε βάρος ποσοτικών µετρικών (όπως χρόνος εκτέλεσης εργασίας, αριθµός λαθών κ.α.). Τριτεύον σύστηµα: Στα περιβάλλοντα αυτά κυριαρχεί η έννοια του διαλόγου (dialogue): η κατανόηση προκύπτει µετά από έλεγχο και τροποποίηση µέσα από χρήση σε κατάλληλα περιβάλλοντα. Σε σχέση µε τη προηγούµενη κατηγορία, επιχειρείται µετατόπιση στην εστίαση από µεµονωµένα σε κοινωνικά πλαίσια της µάθησης (κοινωνικό-οικοδοµητικό γνωσιοθεωρητικό πλαίσιο µάθησης). Τα περιβάλλοντα αυτά, επιτρέπουν τις προσωπικές κατασκευές και κατόπιν την εξωτερίκευση και διαβούλευση αυτών σε ένα περιβάλλον συνεργασίας και διαλόγου. οµικά στοιχεία τέτοιων περιβαλλόντων αποτελούν εργαλεία επικοινωνία όπως το chat (που επιτρέπει συζητήσεις) και οι πίνακες µηνυµάτων (message boards). Σε πιο ολοκληρωµένη µορφή συνιστούν ένα συνεργατικό περιβάλλον µάθησης, µέσα στο οποίο οι µαθητές καλούνται να επιλύσουν από κοινού προβλήµατα, αναπτύσσοντας στρατηγικές συνεργασίας, δράσης, αναστοχασµού και επαναπροσδιορισµού της αντίληψης που έχουν κατασκευάσει για έννοιες του γνωστικού αντικειµένου (Dillenbourg et al., 1996, Dimitrakopoulou and Petrou 2003). Σε αυτά τα περιβάλλοντα, επιπροσθέτως πρέπει να δοθεί έµφαση στην ύπαρξη εργαλείων που να υποστηρίζουν και να ενθαρρύνουν το διάλογο, καθώς και στις ιδιαιτερότητες των διασυνδετικών µέσων (διαδίκτυο, αρχιτεκτονικές διασύνδεσης κλπ) που επηρεάζουν σηµαντικά την αλληλεπίδραση και την ποιότητα της συνεργασίας. Στις επόµενες ενότητες, επιχειρείται µια συνοπτική και κριτική αναφορά µεθόδων που έχουν προταθεί στη βιβλιογραφία και µπορούν να υποστηρίξουν τη φάση αξιολόγησης ευχρηστίας διδακτικών συστηµάτων. Ακολούθως, προτείνονται διάφορες προσεγγίσεις που ικανοποιούν τις ιδιαιτερότητες αυτές και περιγράφονται παραδείγµατα εφαρµογής τους σε διάφορες περιπτώσεις από την εµπειρία της ερευνητικής µας οµάδας τα τελευταία χρόνια. ΕΠΙΣΚΟΠΗΣΗ ΜΕΘΟ ΩΝ ΑΞΙΟΛΟΓΗΣΗΣ ΕΥΧΡΗΣΤΙΑΣ Στη βιβλιογραφία αναφέρονται πολλές τεχνικές ελέγχου της ευχρηστίας λογισµικού γενικού σκοπού (Nielsen 1993, Avouris, 2001, Avouris et al. 2001, Tselios et al. 2002b). Επιχειρώντας µια οµαδοποίηση των µεθοδολογιών αξιολόγησης, µπορεί να διακρίνει κανείς τρεις µεγάλες κατηγορίες: τις µεθόδους επιθεώρησης από ειδικούς (usability inspection methods), τις µεθόδους ελέγχου και δοκιµής µε αντιπροσωπευτικούς, χρήστες (user testing methods), και τις αναλυτικές µεθόδους αξιολόγησης (analytic methods). Στα επόµενα γίνεται συνοπτική επισκόπηση εφαρµογής χαρακτηριστικών παραδειγµάτων των µεθόδων αυτών. Mέθοδοι επιθεώρησης χαρακτηριστικών (Inspection Methods) Στις µεθόδους αυτές η αξιολόγηση γίνεται από άτοµα µε γνώση κανόνων και µεθοδολογιών σχεδιασµού που αξιολογούν την διεπαφή µε προσοµοίωση της αναµενόµενης τυπικής χρήσης του συστήµατος. Οι µέθοδοι αυτές µπορεί να έχουν διαµορφωτικό χαρακτήρα, καθώς µπορούν να εφαρµοστούν σε αρχικά στάδια του κύκλου σχεδιασµού, µε συγκριτικά χαµηλότερο κόστος από την παρατήρηση χρηστών. Οι κυριότερες µέθοδοι επιθεώρησης είναι: Η ευρετική αξιολόγηση (heuristic evaluation, Nielsen, 1994) πραγµατοποιείται από ειδικούς αξιολογητές οι οποίοι ελέγχουν τη διεπαφή χρήσης µε άξονα ένα σύνολο ευρετικών κανόνων (heuristics). Μια προσαρµογή της µεθόδου αυτής περιλαµβάνει τη δυνατότητα ποσοτικής αποτίµησης και µετα-αξιολόγησης των ίδιων των ευρετικών κανόνων (Avouris et al., 2003) χρήση που αναφέρεται στα παραδείγµατα στη συνέχεια. Το γνωσιακό περιδιάβασµα (cognitive walkthrough, Lewis et al., 1990) ακολουθεί µια λεπτοµερή διαδικασία προσοµοίωσης της εκτέλεσης ορισµένης εργασίας στην πορεία αλληλεπίδρασης µε το σύστηµα, καθορίζοντας

4 αν οι προσοµοιούµενοι στόχοι του χρήστη και η ανάδραση του συστήµατος, µπορούν θεωρητικά να οδηγήσουν στην επόµενη σωστή κίνηση. Η µεθόδος αφορά κύρια στην ανάλυση διαδραστικών συστηµάτων στα οποία ο χρήστης µαθαίνει τη χρήση του συστήµατος κατά διερευνητικό τρόπο (exploratory learning) ενώ αλληλεπιδρά µε αυτό. Αυτή είναι τυπική περίπτωση σε πολλά σύγχρονα συστήµατα που προορίζονται για εκπαιδευτικούς σκοπούς. Η επιθεώρηση χαρακτηριστικών αφορά στον έλεγχο συµφωνίας της διεπαφής χρήσης µε ορισµένα πρότυπα (checklists). Τα πρότυπα αυτά µπορούν να αναφέρονται σε ειδικού τύπου λογισµικό, και αφορούν κύρια στη γενική σχεδίαση των οθονών του συστήµατος και τη ροή διαλόγων, µηνυµάτων και ενεργειών που απαιτούνται για να γίνει µια συγκεκριµένη διεργασία. Για παράδειγµα χρησιµοποιούνται λίστες κριτηρίων οι οποίες έχουν συνταχθεί από φορείς αξιολόγησης και ειδικούς. Για παράδειγµα το Παιδαγωγικό Ινστιτούτο έχει προτείνει µεθόδους αξιολόγησης µε βάση λίστες τέτοιων κριτηρίων (Papadopoulos, 2002). Πρόβληµα της µεθόδου αποτελεί συχνά ο µεγάλος αριθµός των κριτηρίων που κάνουν τη µέθοδο δύσχρηστη. Μέθοδοι δοκιµής Με τις µεθόδους δοκιµής επιλεγµένοι χρήστες εκτελούν αντιπροσωπευτικές εργασίες χρησιµοποιώντας το λογισµικό, κατά προτίµηση σε κατάλληλα οργανωµένο Εργαστήριο αξιολόγησης ευχρηστίας (Usability Lab), ενώ στη συνέχεια, οι αξιολογητές συλλέγουν τα αποτελέσµατα και εξετάζουν πώς το σύστηµα υποστηρίζει τους χρήστες και εκπληρώνει τις προσδοκίες τους κατά την εκτέλεση των εργασιών αυτών. Αν και η αξία των µεθόδων αξιολόγησης µε τη συµµετοχή τελικών χρηστών είναι σηµαντική, είναι δύσκολη η διεξαγωγή τους σε αρχικά στάδια του σχεδιασµού, δεδοµένου ότι απαιτείται υλοποιηµένο πρωτότυπο του συστήµατος και σηµαντικός αριθµός υποψήφιων αντιπροσωπευτικών χρηστών. Επίσης παρουσιάζονται δυσκολίες στην επιλογή των "αντιπροσωπευτικών" χρηστών ώστε συνολικά να παρουσιάζουν παρόµοια χαρακτηριστικά µε τους αναµενόµενους τελικούς χρήστες, και µεθοδολογικές αδυναµίες στον προγραµµατισµό, την εγκυρότητα και την αξιοπιστία των µετρήσεων (Holleran, 1991). Τεχνικές της κατηγορίας αυτής είναι οι ακόλουθες: Η µέτρηση της απόδοσης (performance measurement). Με την τεχνική αυτή προκύπτουν ποσοτικά δεδοµένα σχετικά µε την εκτέλεση εργασιών κατά τη διάρκεια δοκιµής ευχρηστίας. Η απόδοση των χρηστών µετριέται συνήθως ζητώντας από µια οµάδα χρηστών την εκτέλεση ενός προκαθορισµένου συνόλου στοιχειωδών εργασιών, συλλέγοντας στοιχεία που αφορούν σε σφάλµατα που διαπιστώνονται, καθώς και χρόνους εκτέλεσης διεργασιών. Η µέτρηση αυτή συνήθως υποστηρίζεται από τεχνικές λεπτοµερούς καταγραφής της αλληλεπίδρασης σε αρχεία καταγραφής πληκτρολογήσεων (logfiles). Στο πρωτόκολλο οµιλούντος υποκειµένου (thinking aloud protocol), οι χρήστες εκφράζουν µε λόγια τις σκέψεις τους χρησιµοποιώντας το σύστηµα. Μέσω αυτής της µεθόδου, οι χρήστες αφήνουν τον αξιολογητή να διαπιστώσει πώς αντιλαµβάνονται την αλληλεπίδραση µε το προς εξέταση σύστηµα. Είναι ιδιαίτερα χρήσιµη µέθοδος δεδοµένου ότι είναι εφικτή η άµεση, ποιοτικού χαρακτήρα, ανατροφοδότηση από τους χρήστες, η καλύτερη κατανόηση του γνωστικού µοντέλου του χρήστη και η ορολογία που χρησιµοποιεί ο χρήστης για να εκφράσει µια ιδέα ή λειτουργία, η οποία θα πρέπει να ενσωµατώνεται στο σχεδιασµό (Jorgensen, 1990). Η εφαρµογή του πρωτοκόλλου οµιλούντος υποκειµένου, ακόµα και σε µαθητές µικρής ηλικίας, φαίνεται αποτελεσµατική (Donker and Markopoulos, 2001). Τέλος το πρωτόκολλο ερωτήσεων (Question-asking Protocol) επιτρέπει στους χρήστες να κάνουν ερωτήσεις σχετικά µε το σύστηµα σ έναν ειδικό που απαντά και παρατηρεί την αλληλεπίδραση µεταξύ των χρηστών και του συστήµατος. Η τεχνική αυτή στοχεύει στην ανίχνευση της πληροφόρησης που χρειάζονται οι χρήστες, ώστε να παρέχεται καλύτερη εκπαίδευση και τεκµηρίωση του συστήµατος καθώς και πιθανός ανασχεδιασµός του περιβάλλοντος για την κατά το δυνατό αποφυγή ερωτήσεων. ιερευνητικές µέθοδοι Με τις διερευνητικές µεθόδους οι αξιολογητές πληροφορούνται για τις προτιµήσεις, τις ανάγκες και τις ιδιαιτερότητες των χρηστών, παρατηρώντας τους σε πραγµατικές συνθήκες χρήσης ή δίνοντάς τους την ευκαιρία να εκφράσουν την άποψή τους. Οι µέθοδοι αυτές περιλαµβάνουν τεχνικές όπως: Παρατήρηση πεδίου (Field Observation). Η παρατήρηση στο πεδίο είναι πολύ σηµαντική και µερικές φορές υπερκαλύπτει τη µελέτη ενός εργαστηρίου ευχρηστίας. Ειδικότερα, µέρος της παρατήρησης είναι και η έρευνα µε συνεντεύξεις των συµµετεχόντων για τις εργασίες τους, που αφορούν το προς αξιολόγηση σύστηµα. Σηµαντική είναι επίσης η καταγραφή του τρόπου µε τον οποίο δρούν οι συµµετέχοντες, των εργαλείων που χρησιµοποιούν, της επικοινωνίας τους και πώς οι παράµετροι αυτές επηρεάζουν το τρόπο και το αντικείµενο εργασίας τους σε σχέση µε το αξιολογούµενο σύστηµα.

5 Ερωτηµατολόγια (Questionnaires). Αποτελεί µια χρήσιµη µέθοδο για ζητήµατα σχετικά µε πιθανές ανησυχίεςπαρανοήσεις των χρηστών και την καταγραφή υποκειµενικής ικανοποίησης τους (Νielsen, 1993). Η αντικειµενικότητα των συµπερασµάτων όµως συχνά αµφισβητείται δεδοµένου ότι οι απαντήσεις των χρηστών είναι συνήθως βασισµένες σε αυτό που έχουν την αίσθηση ότι κάνουν και όχι σε αυτό που κάνουν πραγµατικά (Νielsen, 1993). Σε περιπτώσεις αξιολόγησης διαδικτυακών τόπων (web sites), τα ερωτηµατολόγια χρησιµοποιούνται ευρύτατα αφού το ίδιο το µέσο συµβάλλει στην εύκολη διανοµή τους και αυτόµατη συλλογή και επεξεργασία των αποτελεσµάτων (Avouris et al, 2003a, Tselios et al., 2001). Αποτελεσµατικά ερωτηµατολόγια όσον αφορά στην εγκυρότητα (validity) και αξιοπιστία (reliability) των παραγόµενων αποτελεσµάτων, θεωρούνται τα WAMMI (Kirakowski and Claridge, 1998) καθώς και QUIS και SUMI (Schneiderman, 1998). Συνεντεύξεις και εστιασµένες οµάδες (focus groups). Αποτελεί µια µέθοδο συλλογής απαντήσεων σχετικών µε τις εµπειρίες των χρηστών σε κάποιο λογισµικό. Επιδιώκεται όχι µια απλή καταγραφή απαντήσεων στα τεθέντα ερωτήµατα, αλλά η µέσω διαλόγου ανακάλυψη ερµηνειών που οδηγούν τους χρήστες σε κάποιες συγκεκριµένες δράσεις. Είναι δυνατόν να προκύψουν επιπλέον χρήσιµες παρατηρήσεις από τη καταγραφή της αλληλεπίδρασης µεταξύ των χρηστών ή να δοθεί ισχυρότερη έµφαση στα πιο σηµαντικά προβλήµατα που ενσκήπτουν. Αναλυτικές µέθοδοι αξιολόγησης Οι µέθοδοι αυτές αφορούν την ανάπτυξη µοντέλων που προβλέπουν ή καταγράφουν τη συµπεριφορά των χρηστών ενός λογισµικού. Τα µοντέλα αυτά περιγράφουν στόχους και ακολουθίες ενεργειών που εκτελεί ο τυπικός χρήστης κατά την αλληλεπίδραση µε το λογισµικό. Τα µοντέλα που εµπλέκονται στις µεθόδους αυτές διακρίνονται σε προβλεπτικά µοντέλα που παράγονται από τον σχεδιαστή (µοντέλα σχεδιαστή) και καταγραφικά µοντέλα που παράγονται µετά από παρατήρηση χρήσης (µοντέλα χρήστη). Μια τυπική µέθοδος της κατηγορίας αυτής είναι η ανάλυση εργασιών (Task Analysis - TA), Kieras (1996). Η ΤΑ περιλαµβάνει µελέτη, συλλογή και ανάλυση δεδοµένων τα οποία αφορούν στον τρόπο µε τον οποίο οι χρήστες εκτελούν συγκεκριµένες εργασίες, ώστε να προκύψει βαθύτερη κατανόηση των αλληλεπιδράσεων που λαµβάνουν χώρα. Επιπροσθέτως, εξετάζεται ο βαθµός ελευθερίας στους διαλόγους χρήστη-συστήµατος και οι προσφερόµενοι εναλλακτικοί τρόποι χειρισµού, στοιχείο ιδιαίτερα σηµαντικό σε ανοιχτά εκπαιδευτικά περιβάλλοντα. Η πλέον διαδεδοµένη µέθοδος ανάλυσης εργασιών είναι η Ιεραρχική Ανάλυση Εργασιών (Hierarchical Task Analysis- HTA) (Shepherd, 1989). Είναι µια µέθοδος ανάλυσης των στόχων υψηλού επιπέδου σε δευτερεύουσες εργασίες και πλάνα που ορίζουν τον τρόπο µε τον οποίο εκτελούνται οι εργασίες αυτές, οι οποίες περιγράφονται µε ιεραρχικό τρόπο. Η HTA χρησιµοποιείται για την ανάλυση και τον προσδιορισµό των βηµάτων που απαιτούνται για να εκτελεστεί µια στοιχειώδης εργασία. Η µέθοδος αυτή σε συνδυασµό µε την ευρετική αξιολόγηση, έχει εφαρµοστεί µε σηµαντικά αποτελέσµατα για την αξιολόγηση ανοιχτών περιβαλλόντων µάθησης, και για την αναγνώριση προβληµάτων ευχρηστίας και επανασχεδιασµό τους (Tselios et al. 2002a). Οι αναλυτικές µέθοδοι συνήθως συνδυάζονται και βασίζονται σε µεθόδους δοκιµής, όπως η µέτρηση απόδοσης τυπικών χρηστών. ΕΠΙΛΟΓΗ ΜΕΘΟ ΩΝ ΑΞΙΟΛΟΓΗΣΗΣ ΕΥΧΡΗΣΤΙΑΣ Στην ενότητα αυτή επιχειρείται αντιστοίχιση των µεθόδων αξιολόγησης µε διάφορες κατηγορίες διδακτικών συστηµάτων. Η επιλογή κατάλληλης µεθόδου αξιολόγησης ενός διδακτικού συστήµατος, πέραν των περιορισµών και των ιδιαιτεροτήτων που περιγράφτηκαν στην εισαγωγική ενότητα, επηρεάζεται από το γνωσιοθεωρητικό πλαίσιο που διέπει τη σχεδίαση του. Συνεπώς κατά τη διαδικασία σχεδίασης και αξιολόγησης εκπαιδευτικών συστηµάτων θα πρέπει να έχει διερευνηθεί συστηµατικά ο ρόλος τους καθώς και το προτιθέµενο πλαίσιο χρήσης (Jones et al., 1999). Αξιολόγηση συστηµάτων πολυµέσων Στην περίπτωση των διδακτικών συστηµάτων πολυµέσων το θεωρητικό πλαίσιο είναι κύρια συµπεριφοριστικό και ο µαθητής καλείται να διαµορφώσει αντίληψη για έννοιες που παρέχονται έτοιµες από τους εκπαιδευτικούς. Έτσι πρακτικά το περιβάλλον αυτό εξυπηρετεί ένα ρόλο «ποµπού-διαβιβαστή πληροφορίας» προς τους µαθητές (Soloway et al., 1994). Όσον αφορά στην παράµετρο της ευχρηστίας αυτή δεν εµπλέκεται άµεσα στη διαδικασία µάθησης, θεωρείται δε ότι αυτή παρουσιάζει δευτερεύουσα σηµασία για την πιστοποίηση της ωφελιµότητας του συστήµατος, έναντι του περιεχοµένου και της µεθόδου παρουσίασης του που εδώ διαδραµατίζουν πρωτεύοντα ρόλο. Η θεώρηση αυτή σε ένα βαθµό καθιστά έγκυρη την εφαρµοσιµότητα παραδοσιακών τεχνικών αξιολόγησης ευχρηστίας, όπως η ευρετική αξιολόγηση και οι λίστες κριτηρίων

6 (checklists) δοθέντος του γεγονότος ότι οι διεργασίες και το στυλ αλληλεπίδρασης µε το µαθητή δεν επηρεάζει τη µάθηση. Παράλληλα όµως, οι Squires και Preece (1999) αµφισβητούν την εγκυρότητα µιας αξιολόγησης ενός διδακτικού συστήµατος που βασίζεται αποκλειστικά σε λίστες κριτηρίων, προτείνοντας την ευρετική αξιολόγηση προσαρµοσµένη κατάλληλα ώστε να συνεκτιµά και παιδαγωγικές διαστάσεις του περιβάλλοντος. Η χρήση µιας µεθοδολογίας βασισµένης σε αξιολόγηση από ειδικούς, όπως η ευρετική αξιολόγηση (heusristic evaluation), παράλληλα µε δοκιµές µε τη συµµετοχή αντιπροσωπευτικών χρηστών, φαίνεται να δίνει σηµαντικά αποτελέσµατα σύµφωνα και µε την πρόσφατη δική µας εµπειρία (Avouris et al. 2001, Tselios et al., 2001, Tselios and Avouris 2003). Επέκταση της τεχνικής µε αξιολόγηση ειδικών χαρακτηριστικών, όπως η αναγνωρισιµότητα των χρησιµοποιουµένων εικονιδίων και γενικά εικονικών αναπαραστάσεων (Tselios and Avouris, 2002) αποτελεί σηµαντικό συστατικό της προσέγγισης. Αξιολόγηση ανοικτών και διερευνητικών συστηµάτων µάθησης Οι οικοδοµηστικές θεωρίες για τη γνώση και τη µάθηση σε συνδυασµό µε κοινωνικές θεωρήσεις συνδέουν την αξιολόγηση της µάθησης µε την εξέλιξή του µαθητή σε κάποιο περιβάλλον (Jonassen, 1994), έτσι ώστε ενεργητικά να κατασκευάζει τις προσωπικές του στρατηγικές προκειµένου να λύνει προβλήµατα τα οποία έχουν σηµασία για αυτόν (Gurney, 1989, Brown et al., 1989). Ακόµη η αξιολόγηση συνδέεται µε την ανάπτυξη συνεργατικότητας σ ένα περιβάλλον όπου οι µαθητές µοιράζονται κοινές πρακτικές, γλώσσα και αντιλήψεις µε συνέπεια να αναπτύσσουν ένα κοινό µοντέλο αντίληψης για την προσλαµβανόµενη γνώση (Vygotsky, 1978, Cobb, 1994, Rogoff, 1994). Οι Mayes και Fowler (1999) υποστηρίζουν ότι η σχεδίαση των περιβαλλόντων µάθησης αυτής της κατηγορίας πρέπει να εστιάζει στην σχεδίαση αποτελεσµατικών στοιχειωδών εργασιών παρά στη σχεδίαση της διεπαφής χρήσης γενικά. Κατά τη διάρκεια της αλληλεπίδρασης µε το περιβάλλον, ο µαθητής πρέπει να κινηθεί αβίαστα στο επίπεδο των σχετικών εννοιών, και να εµπλακεί µε τις υφιστάµενες έννοιες πίσω από τα αντικείµενα που διαχειρίζεται, µέσω των ενεργών κατασκευών και της έκφρασης των προσωπικών ιδεών του. Συνεπώς τονίζεται η σηµασία της αξιολόγησης της καταλληλότητας των στοιχειωδών εργασιών για τον εκπαιδευτικό σκοπό που προορίζονται. Από την άποψη αυτή, οι αναλυτικές µέθοδοι µοντελοποίησης εργασιών (task modeling) φαίνονται κατάλληλες στο να αξιολογήσουν την παρουσία των εννοιών, καθώς και τη ρητή παρουσίασή τους, χειριζόµενες και προσφερόµενες µε έναν τρόπο που προάγει το κίνητρο χρήσης στα διαλογικά περιβάλλοντα αλληλεπίδρασης. Όπως ήδη αναφέρθηκε στην εισαγωγική ενότητα, λάθη που αποτελούν εκφράσεις παρανοήσεων του χρήστη σχετικών µε το γνωστικό αντικείµενο και επηρεάζουν το σηµασιολογικό επίπεδο της αλληλεπίδρασης θα πρέπει να επιτρέπονται από το σύστηµα να εκφραστούν έτσι ώστε σταδιακά ο µαθητής να αποκαλύπτει συγκρούσεις και να κατασκευάζει γνώση αλληλεπιδρώντας µε το αποτέλεσµα των ενεργειών του. Από την άλλη, το σύστηµα πρέπει να είναι κατάλληλα σχεδιασµένο ώστε να αποκλείει κατά το δυνατόν λάθη στο λεκτικό επίπεδο, δηλαδή στους συγκεκριµένους χειρισµούς που απαιτούνται για να εκτελεστεί µια εργασία, πχ τα πλήκτρα εντολών στην διεπαφή χρήσης να οδηγούν στο αναµενόµενο αποτέλεσµα, καθώς επίσης να αποκλείει λάθη στο συντακτικό επίπεδο, δηλαδή λάθη που σχετίζονται µε την ακολουθία διαλόγου χρήστη-συστήµατος που απαιτούνται ώστε να δοθούν οι επιδιωκόµενες εντολές στο σύστηµα (Foley et al., 1990). Σχετικά µε το ζήτηµα αυτό, οι Squires και Preece (1999) έχουν προτείνει µία προσέγγιση αξιολόγησης ενός διδακτικού συστήµατος από ειδικούς, που βασίζεται σε ένα σύνολο διαδεδοµένων και αποδεκτών ευρετικών κανόνων (heuristics) οι οποίοι ενσωµατώνουν στοιχεία ευχρηστίας και σύγχρονων θεωριών µάθησης. Μια άλλη προσέγγιση αφορά συνδυασµό µεθόδου επιθεώρησης από ειδικούς µε αναλυτική κατασκευή µοντέλων εργασιών µαθητών µε βάση παρατήρηση πεδίου. Η µέθοδος αυτή επιτρέπει τη βαθύτερη κατανόηση της φύσης των στοιχειωδών εργασιών κατά τη διάρκεια της αποδόµησής τους καθώς και τον συστηµατικό έλεγχο συνέπειας στις δοµές της παρατηρούµενης συµπεριφοράς του µαθητή (Tselios and Avouris 2003, Tselios et al., 2002a). Στην περίπτωση αυτή, η µέθοδος αξιολόγησης από ειδικούς όπως η ευρετική αξιολόγηση, µπορεί να διαδραµατίσει ένα σηµαντικό υποστηρικτικό ρόλο αναδεικνύοντας περιορισµούς της διεπαφής, διευκολύνοντας τη συναγωγή συµπερασµάτων σχετικά µε την αιτία των παρατηρηθέντων σφαλµάτων και τις συνέπειες που έχει το χάσµα µεταξύ του µοντέλου σχεδιαστή και της παρατηρούµενης συµπεριφοράς του χρήστη στη διαδικασία µάθησης. Τούτο οφείλεται στο γεγονός ότι η ευρετική αξιολόγηση εστιάζει κύρια σε ζητήµατα σχεδίασης της διεπαφής χρήσης ενώ εστιάζει λιγότερο σε µηχανισµούς αλληλεπίδρασης που απαιτήθηκαν, ιδιαίτερα αυτές που χειρίζονται σηµαντικές έννοιες του γνωστικού πεδίου (Sedig et al., 2001), ζητήµατα τα οποία αναδεικνύονται µε χρήση τεχνικών αξιολόγησης όπως η ανάλυση εργασιών. Αξιολόγηση συνεργατικών συστηµάτων µάθησης Μια από τις περιοχές µε σηµαντικό ερευνητικό ενδιαφέρον στο πεδίο του Εκπαιδευτικού Λογισµικού είναι τα συνεργατικά περιβάλλοντα µάθησης. Σε αυτά, το περιβάλλον µάθησης, παύει να είναι αποµονωµένο και ο µαθητής έχει τη δυνατότητα να κατασκευάσει έννοιες και να εκφράσει τις αντιλήψεις του για τη γνώση σε ένα πλαίσιο διαβούλευσης των ενεργειών του µε άλλους µαθητές. Οι µαθητές συνδιαλέγονται, συναποφασίζουν στρατηγικές επίλυσης του προβλήµατος και δρουν σε ένα κοινό χώρο δραστηριότητας και µάθησης. Ο σχεδιασµός κατάλληλων περιβαλλόντων συνεργασίας, παρουσιάζει σηµαντικές προκλήσεις τόσο από τεχνολογική όσο και από παιδαγωγική άποψη. Η διαπίστωση αυτή, έχει επίσης ισχύ και για τη διερεύνηση του

7 κατάλληλου πλαισίου αξιολόγησης. Η έννοια της ευχρηστίας αποκτά νέα διάσταση, καθώς διαφοροποιούνται σηµαντικά οι εργασίες των µαθητών, ενώ προτάσσεται η ανάγκη για εύχρηστα εργαλεία που συµβάλλουν στη συνεργασία µεταξύ των µαθητών. Ένα πρόβληµα µε την αξιολόγηση ευχρηστίας συνεργατικών περιβαλλόντων είναι ότι δεν υπάρχουν καθιερωµένες µεθοδολογίες αξιολόγησης ευχρηστίας που να µπορούν να ανακαλύψουν τα προβλήµατα που αφορούν στην οµαδική εργασία. Κατά συνέπεια, συχνά αυτά τα συστήµατα έχουν σοβαρά προβλήµατα ευχρηστίας, µια κατάσταση που προκαλείται εν µέρει από την έλλειψη πρακτικών µεθοδολογιών για την αξιολόγηση τους. Όπως επισηµαίνει ο Grudin (1988), τα περισσότερα συστήµατα συνεργασίας είναι δύσχρηστα και εισάγουν σχεδόν αξεπέραστα εµπόδια στη σηµαντική, γενικεύσιµη και χαµηλού κόστους αξιολόγηση τους. Χωρίς µεθόδους αξιολόγησης συνεργατικών περιβαλλόντων µάθησης, οι υπεύθυνοι για το σχεδιασµό και την ανάπτυξή τους δεν µπορούν να µάθουν από την εµπειρία. Συνεπώς, ακόµη και τα σηµερινά περιβάλλοντα συνεργασίας παρουσιάζουν σηµαντικά προβλήµατα ευχρηστίας. Ο επιτυχής σχεδιασµός Συνεργατικών Περιβαλλόντων Μάθησης περιλαµβάνει πρωτίστως την κατανόηση των χαρακτηριστικών των χρηστών των οµάδων και του τρόπου µε τον οποίο συµπεριφέρονται τα µέλη οµάδων. Προϋποθέτει επίσης την κατανόηση των περιορισµών και των ιδιαιτεροτήτων της τεχνολογίας δικτύωσης και τη µελέτη της επίδρασης της τεχνολογίας, όπως για παράδειγµα, καθυστερήσεις στο συγχρονισµό των διεπιφανειών χρήσεων, περιορισµοί των φίλτρων δεδοµένων δικτύου (firewalls), διαφορετικές αναλύσεις στις οθόνες των χρηστών, και την επίπτωση που έχουν οι παράµετροι αυτές στην εµπειρία καθενός χρήστη. Όλα τα ζητήµατα που αφορούν στο σχεδιασµό µιας διεπαφής χρήσης παραµένουν σχετικά, λαµβάνοντας υπόψη το γεγονός ότι η τεχνολογία αυτή εξακολουθεί να χρησιµοποιείται από ανθρώπους. Εντούτοις, πολλές πτυχές του σχεδιασµού τέτοιων περιβαλλόντων απαιτούν νέες προσεγγίσεις. Οι παράµετροι αποτελεσµατικότητας και απόδοσης σε σχέση µε τα συµβατικά συστήµατα που αφορούν ένα χρήστη αποκτούν ιδιαίτερη σηµασία, επειδή ο ρυθµός της χρήσης µιας εφαρµογής οδηγείται συχνά από το ρυθµό µιας συνοµιλίας. Οι χρονικές καθυστερήσεις και η αξιοπιστία του συστήµατος, γίνονται σηµαντικότερα ζητήµατα µε σηµαντικές επιπτώσεις στην ευχρηστία του. Οι σχεδιαστές πρέπει να έχουν µια κατανόηση του βαθµού οµοιογένειας των χρηστών, του πιθανού ρόλου τους κατά τη διάρκεια της συνεργασίας και της διαφοροποίησης του βαθµού εµπλοκής τους, ανάλογα µε τη σηµαντικότητα που έχουν συγκεκριµένες εργασίες για αυτούς. Από τα παραπάνω φαίνεται ότι, η προσέγγιση για την αξιολόγηση ευχρηστίας ενός τέτοιους συστήµατος πρέπει να διαφέρει από µια τυπική αξιολόγηση, που προορίζεται για να υποστηρίξει το σχεδιασµό ενός συµβατικού λογισµικού που απευθύνεται σε ένα χρήστη. Μια προσέγγιση που µπορεί να αποφέρει ουσιαστικά αποτελέσµατα οφείλει να εισάγει ένα δυϊσµό στην αξιολόγηση, µε συνδυασµό καθιερωµένων µεθόδων αξιολόγησης ευχρηστίας λογισµικού όπως είναι για παράδειγµα η ευρετική αξιολόγηση προκειµένου να εξασφαλιστεί η καταλληλότητα της διεπαφής χρήσης (δυνατότητα εκµάθησης, επάρκεια στόχου, συµµόρφωση µε καθιερωµένα πρότυπα και συµβάσεις, καταλληλότητα των χρησιµοποιούµενων µεταφορών και ορολογίας) µε νέες πρωτότυπες µεθόδους που προτείνονται για να διερευνήσουν την απρόσκοπτη ολοκλήρωση των κατάλληλων µηχανισµών υποστήριξης συνεργασίας (Gutwin and Greenberg, 2000) οι οποίες περιγράφονται στη συνέχεια στο σχετικό παράδειγµα. Στις επόµενες ενότητες θα περιγραφούν τρεις περιπτώσεις αξιολόγησης ευχρηστίας διδακτικών συστηµάτων, κατά τις οποίες οι διαπιστώσεις που αναφέρθηκαν στην ενότητα αυτή καθορίζουν το µεθοδολογικό πλαίσιο των σχετικών µελετών. Τα πειράµατα αξιολόγησης αφορούν διάφορες κατηγορίες διδακτικών συστηµάτων: πολυµεσικού, διερευνητικού τύπου, καθώς και ένα σύστηµα συνεργατικής µάθησης. Το διαδίκτυο αποτελεί σηµαντικό τεχνολογικό υπόβαθρο των διδακτικών συστηµάτων που αναφέρονται, χωρίς όµως οι τεχνικές που αναφέρονται να περιορίζονται από το χαρακτηριστικό αυτό. ΠΑΡΑ ΕΙΓΜΑ Ι: ΑΞΙΟΛΟΓΗΣΗ ΠΟΛΥΜΕΣΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ Στην ενότητα αυτή περιγράφεται συνοπτικά µελέτη αξιολόγησης ενός συστήµατος παροχής εξ- αποστάσεως εκπαίδευσης. Το σύστηµα αυτό (IDLE) περιέχει κύρια πολυµεσικού τύπου περιεχόµενο και υλικό αυτοαξιολόγησης (ερωτήσεις πολλαπλής επιλογής και συµπλήρωσης κενού). Συνεπώς διέπεται από συµπεριφοριστικό γνωσιοθεωρητικό πλαίσιο (για µια πιο εκτεταµένη αναφορά σε τέτοιου είδους συστήµατα, δείτε το κεφάλαιο 8). To σύστηµα IDLE (Avouris, Tselios, 1999) κατασκευάστηκε για παροχή υπηρεσιών από απόσταση εκπαίδευσης στα πλαίσια των µαθηµάτων στο Πανεπιστήµιο Πατρών. Κατά το ακαδ. έτος διεξήχθη ένα εκτεταµένο πείραµα αξιολόγησης της παρεχόµενης υπηρεσίας. Η αξιολόγηση αυτή έγινε µε ελεγχόµενο τρόπο και σε συνθήκες προσοµοίωσης εξ-αποστάσεως εκπαίδευσης, αφορούσε δε στην αξιολόγηση της λειτουργίας αυτό-εξέτασης των σπουδαστών και τη συσχέτιση της επίδοσης

8 τους µε την ποιότητα του συστήµατος. Για τον σκοπό αυτό, χρησιµοποιήθηκαν κατάλληλα διαµορφωµένα τεστ αυτό-αξιολόγησης σε γνωστικό αντικείµενο του προγράµµατος σπουδών που απαντήθηκαν από µεγάλο αριθµό σπουδαστών. Τα συµπεράσµατα που προέκυψαν κατέγραψαν συσχέτιση µεταξύ της ευχρηστίας του συστήµατος εξ-αποστάσεως εκπαίδευσης και της επίδοσης των φοιτητών. Το πείραµα έχει ιδιαίτερη σηµασία αφού είναι ένα από τα πρώτα πειράµατα τέτοιας κλίµακας που αφορούν συστήµατα εξ-αποστάσεως εκπαίδευσης. Μια πιο πλήρης περιγραφή της διαδικασίας και των αποτελεσµάτων της µελέτης αυτής παρουσιάζεται επίσης στις εργασίες (Tselios, Avouris Fotopoulos, 2000) και (Tselios, Avouris, Dimitracopoulou, Daskalaki 2001). Το τµήµα στο οποίο εστιάστηκε η αξιολόγηση είναι αυτό της αυτο-αξιολόγησης µέσα από ερωτήσεις πολλαπλών επιλογών. Στην εισαγωγική οθόνη του τµήµατος αυτού του IDLE γίνεται συνοπτική παρουσίαση όλων των ερωτήσεων που σχετίζονται µε το γνωστικό αντικείµενο. Ο µαθητής µπορεί να επιλέξει µια ερώτηση από τη λίστα και εισέρχεται σε µια αντίστοιχη οθόνη όπου παρουσιάζεται η επιλεγµένη ερώτηση. Με βάση το σχεδιασµό του τµήµατος αυτού του λογισµικού, ένα τυπικό σενάριο χρήσης είναι το εξής: Ο µαθητής κινείται από τη σελίδα επισκόπησης ερωτήσεων, στη συγκεκριµένη ερώτηση, απαντά, παίρνει τη σχετική ανάδραση του συστήµατος και επιστρέφει στη σελίδα επισκόπησης ερωτήσεων. Περιστασιακά, µπορεί να δει την τρέχουσα βαθµολογία µέσω της σχετικής επιλογής. Εκεί παρουσιάζεται ο αριθµός των ερωτήσεων που έχει απαντήσει επιτυχώς, ο συνολικός αριθµός ερωτήσεων που έχει απαντήσει και η βαθµολογία του µε γραφικό τρόπο. Μέθοδος αξιολόγησης και αποτελέσµατα Κατά τη µελέτη αυτή χρησιµοποιήθηκαν παραδοσιακές τεχνικές αξιολόγησης, και ειδικότερα χρησιµοποιήθηκε συνδυασµός από ερωτηµατολόγια, ευρετική αξιολόγηση από τους ίδιους τους φοιτητές και παρατήρηση χρηστών. Μια ιδιαιτερότητα της µεθόδου ήταν ότι αξιολογήθηκε το σύστηµα εξ-αποστάσεως εκπαίδευσης IDLE σε αντιπαράθεση µε ένα σύστηµα αναφοράς (το WebCT, ένα εµπορικό προϊόν µε ευρεία διάδοση). Μια τυπική οθόνη αλληλεπίδρασης του σπουδαστή µε το σύστηµα IDLE και µε το σύστηµα Web CT φαίνεται στο Σχήµα 1. Ο συνολικός αριθµός φοιτητών που συµµετείχαν στο πείραµα ήταν 120 (57 χρησιµοποίησαν το IDLE, 51 το webct και 12 παραδοσιακά µέσα (χαρτί και µολύβι)). Ακόµη, συνολικά δόθηκαν 88 απαντήσεις (44 και 44) αξιολόγησης ευχρηστίας των συστηµάτων µε ερωτηµατολόγια ευρετικής αξιολόγησης. Σχήµα 1. Τα συστήµατα εξ-αποστάσεως εκπαίδευσης IDLE και Web-CT. Παρουσιάζεται το αντίστοιχο τµήµα αυτο-αξιολόγησης µέσω ερωτήσεων πολλαπλών επιλογών. Οι φοιτητές µε τις απαντήσεις που έδωσαν στους 10 ευρετικούς κανόνες αξιολόγησης που περιέχονται στο παράρτηµα Α, αποτίµησαν το WebCT, ως πιο εύχρηστο σύστηµα, µε µέση τιµή 4,05 έναντι 3,82 του IDLE (µέση διαφορά 5,76%). Η διαφορά είναι στατιστικά σηµαντική (πιθανότητα P=99,41%). N M.O sdev S.E.M Min Max #ερωτ. IDLE 44 3,82 0,41 0,34 2,83 3, Web CT 44 4,05 0,42 0,26 3,25 4, P(t)=0,0059 /t=2,574/ Mdiff=0,2305/ 95% Περιθώρια εµπιστοσύνης διαφοράς 0, ,4085 Πίνακας 1. Συνοπτική παρουσίαση αξιολόγησης ευχρηστίας IDLE- WebCT, µέσος όρος δείκτη ευχρηστίας µε βάση την τιµή ευχρηστίας των 10 ευρετικών κανόνων (περιοχή τιµών 1-5). Παράλληλα, εξετάστηκε η επίδοση των φοιτητών στα δύο αυτά περιβάλλοντα σε συνδυασµό και µε την επίδοση µιας οµάδας αναφοράς φοιτητών που εξετάστηκαν µε τη παραδοσιακή µέθοδο χαρτί-µολύβι. Το

9 πείραµα είχε οργανωθεί κατάλληλα ώστε ο χρόνος να είναι επαρκής σε κάθε περίπτωση, ενώ λήφθηκαν υπόψη µόνο οι ερωτήσεις που είχαν απαντηθεί, γεγονός το οποίο γνώριζαν εκ των προτέρων οι φοιτητές. Η επίδοση των φοιτητών που χρησιµοποίησαν το περιβάλλον WebCT απέδωσε καλύτερα από 6% εως 7,23% εκφρασµένη ως µέση τιµή από αυτή των χρηστών του IDLE (Πίνακας 2) σε τρεις διαφορετικές θεµατικές ενότητες, παρά το γεγονός ότι η επιλογή των φοιτητών που χρησιµοποίησαν ένα από τα δύο συστήµατα έγινε µε τυχαίο τρόπο. Μάλιστα η µη στατιστικά σηµαντική διαφορά της επίδοσης των φοιτητών στο µάθηµα πιστοποιήθηκε και εκ των υστέρων, αφού δεν υπήρξε διαφορά στις επιδόσεις των οµάδων αυτών στη τελική εξέταση του µαθήµατος αλλά και στην εξέταση του εργαστηρίου. Η σύγκριση των αποτελεσµάτων για τα 2 συστήµατα έγινε µε στατιστικές µεθόδους (Kruskal-Wallis test µε χρήση Dunn post tests). H ανάλυση κατέδειξε σηµαντική στατιστική διαφορά (P=98,48% και 98,24%) στα αποτελέσµατα των δύο πρώτων πειραµάτων, γεγονός το οποίο µας επιτρέπει να γενικεύσουµε τα αποτελέσµατα µας στο σύνολο του πληθυσµού (Στη 3 η θεµατική ενότητα, παρά το γεγονός ότι τα αποτελέσµατα ήταν στην ίδια κατεύθυνση, το µικρό µέγεθος του δείγµατος, δεν κατέδειξε διαφοροποίηση µε στατιστικώς σηµαντική διαφορά). Επίσης σε σχέση µε τη µέθοδο χαρτί-µολύβι, υπάρχει στατιστικά σηµαντική διαφορά µόνο µε το πιο δύσχρηστο περιβάλλον από απόσταση εκπαίδευσης και αυτο-αξιολόγησης, δηλαδή το σύστηµα IDLE. Περιβάλλον # φοιτητών Ενότητα # απαντηθέντων ερωτήσεων Σκορ 1 sdev # ερωτήσεων Σκορ 2 % απαντηθέντων ερωτήσεων IDLE WebCT 21 s % 22 s % 14 s % % 21 s % 18 s % 12 s % % P&P % Πίνακας 2. Επίδοση των φοιτητών σε σχέση µε τον αριθµό των απαντήσεων που έδωσαν (Σκορ1: επίδοση των φοιτητών στις ερωτήσεις που απάντησαν, Σκορ2: επίδοση σε όλες τις απαντήσεις). Συνεπώς, κατά τη µελέτη αυτή κατά την οποία χρησιµοποιήθηκαν παραδοσιακές τεχνικές µέτρησης ευχρηστίας και σύγκριση µε σύστηµα αναφοράς, παρατηρήθηκε συστηµατική συσχέτιση µεταξύ της ευχρηστίας του συστήµατος εξ-αποστάσεως εκπαίδευσης και της επίδοσης των φοιτητών. Το συµπέρασµα αυτό είναι γενικεύσιµο στα πλαίσια πολυµεσικού λογισµικού εξ-αποστάσεως εκπαίδευσης. Είναι γενικά γνωστό ότι η συσχέτιση µεταξύ ευχρηστίας και εκπαιδευτικής αξίας ενός λογισµικού δεν είναι εύκολα καθορισµένο µέγεθος. Όµως υπό τις δεδοµένες συνθήκες της µελέτης αυτής, όπου οι φοιτητές είχαν εντός περιορισµένου χρόνου να κατανοήσουν ερωτήµατα, και στη συνέχεια να επιλέξουν τις πιο κατάλληλες απαντήσεις, δηλαδή να εκτελέσουν σύνθετες γνωστικές λειτουργίες, η ευχρηστία του συστήµατος φαίνεται να είναι κρίσιµος παράγοντας που διαµορφώνει την αποτελεσµατικότητα του µέσου και την αξιοπιστία της αξιολόγησης. Παράλληλα, ένα σηµαντικό συµπέρασµα που προκύπτει είναι η αναγνώριση της επίδρασης της ευχρηστίας των δύο συστηµάτων στην επίδοση των φοιτητών στο τεστ αυτο-αξιολόγησης. Φαίνεται ότι η έστω και µικρή σχετική έλλειψη διαφάνειας της διεπαφής χρήσης εµποδίζει τις σύνθετες γνωστικές λειτουργίες που λαµβάνουν χώρα κατά τη διαδικασία επίλυσης προβληµάτων και απάντησης κατά τη διαδικασία ενός τεστ µε τη χρήση τέτοιων συστηµάτων. Η διαδικασία κατανόησης των ερωτήσεων, και επιλογής της απάντησης απαιτούν σηµαντικό γνωστικό φόρτο, και κατά συνέπεια η ευχρηστία επηρεάζει το τελικό αποτέλεσµα την αποτελεσµατικότητα και την αποδοτικότητα που επέδειξαν οι φοιτητές. Το γεγονός µάλιστα ότι η ευχρηστία επηρέασε τους συγκεκριµένους φοιτητές µε σχετικά αυξηµένο βαθµό εµπειρίας χρήσης υπολογιστών γενικά, µας οδηγεί στο συµπέρασµα ότι πιθανόν η επίδρασή της να ήταν ακόµη υψηλότερη σε άλλες κατηγορίες χρηστών. Χαρακτηριστικά όπως αποδοτικότητα, συνέπεια και συνέχεια της διεπαφής και ελευθερία πλοήγησης φαίνεται να συµβάλλουν σηµαντικά στη µαθησιακή διαδικασία που προσφέρουν αντίστοιχα περιβάλλοντα. Συµπεράσµατα αξιολόγησης Ένα γενικότερο συµπέρασµα για τα συστήµατα που υποστηρίζουν από απόσταση εκπαίδευση και το εκπαιδευτικό λογισµικό γενικότερα, είναι ότι παρά το γεγονός ότι τα συστήµατα που συγκρίθηκαν είναι σχετικά απλά και έχουν σχεδιαστεί µε βάση διαδεδοµένες συµβάσεις, τελικώς οι διαφορές στην ευχρηστία επηρέασαν την εκπαιδευτική διαδικασία. Για παράδειγµα προκύπτει ότι στο τµήµα εξέτασης-αυτοαξιολόγησης ενός διαδικτυακού συστήµατος από απόσταση εκπαίδευσης, η γενική παραίνεση για επιµερισµό του πληροφοριακού

10 χώρου σε αντίστροφη πυραµίδα 1 (Nielsen, 2000) φαίνεται να µην ισχύει, αφού η δοµή αυτή αναγκάζει τον χρήστη να αλληλεπιδρά συνεχώς µε το περιβάλλον διακόπτοντας γνωστικές λειτουργίες. Συνέπεια του γεγονότος αυτού είναι η διάσπαση της συνοχής του µαθησιακού χώρου, αναιρώντας τη διαφάνεια της διεπαφής χρήσης. Σε αντίθεση µε παραδοσιακά εργαλεία που υποστηρίζουν τον χρήστη να επιτελέσει συγκεκριµένους σκοπούς, τα εκπαιδευτικά περιβάλλοντα αποτελούν µέρος της ίδιας της διαδικασίας. Κατά συνέπεια κατά τη διαδικασία σχεδίασης εκπαιδευτικών συστηµάτων θα πρέπει να έχει διερευνηθεί συστηµατικά ο ρόλος τους καθώς και το πλαίσιο χρήσης. Η σηµασία της ευχρηστίας, όπως αυτή εκφράζεται ως διαφάνεια της διεπαφής χρήσης, οµοιοµορφία ανάδρασης και πλοήγησης, συνέπεια στην ορολογία και στους χρησιµοποιούµενους συµβολισµούς, είναι µεγάλη στο δεδοµένο πλαίσιο. Μάλιστα, η επίδραση της ευχρηστίας συστηµάτων στη λειτουργία της µάθησης για άτοµα µε διαφορετικά γνωστικά επίπεδα, διαφορετικό βαθµό εξοικείωσης µε υπολογιστές, διαφορετική στάση απέναντι στη τεχνολογία και διαφορετικό κίνητρο εκπαίδευσης µε ηλεκτρονικά µέσα, φαίνεται ότι παρουσιάζει διακυµάνσεις. Όπως φαίνεται και από άλλα πειράµατα αξιολόγησης διεπαφής χρήσης πολυµεσικού και υπερµεσικού εκπαιδευτικού λογισµικού (Avouris et al.,2001, Tselios et al., 2001), η χρήση προσαρµοσµένων µεθόδων από το πεδίο Επικοινωνίας Ανθρώπου Υπολογιστή µέσα από ένα κατάλληλα διαµορφωµένο πλαίσιο είναι εφικτή. Η αποτελεσµατικότητα της συνδυαστικής αξιολόγησης έχει επιβεβαιωθεί και από άλλους ερευνητές (Karat 1988), όχι όµως και στο εκπαιδευτικό λογισµικό. Η χρήση µιας µεθοδολογίας βασισµένης σε αξιολόγηση από ειδικούς (όπως για παράδειγµα η ευρετική αξιολόγηση), παράλληλα µε µια αξιολόγηση που εµπλέκει τυπικούς χρήστες (παρατήρηση πεδίου ή δοκιµή σε εργαστήριο ευχρηστίας), φαίνεται να δίνει σηµαντικά αποτελέσµατα και να αποτελεί µια αποτελεσµατική προσέγγιση στο χώρο του εκπαιδευτικού λογισµικού πολυµέσων / υπερµέσων και γενικά εκπαιδευτικού λογισµικού που εκφράζει συµπεριφοριστικό γνωσιοθεωρητικό πλαίσιο. ΠΑΡΑ ΕΙΓΜΑ ΙΙ: ΑΞΙΟΛΟΓΗΣΗ ΣΥΣΤΗΜΑΤΟΣ ΙΕΡΕΥΝΗΤΙΚΗΣ ΜΑΘΗΣΗΣ Στη δεύτερη µελέτη, που παρουσιάζεται στην ενότητα αυτή, αξιολογήθηκε η ευχρηστία ενός ανοικτού περιβάλλοντος διερευνητικής µάθησης. Το γνωσιοθεωρητικό πλαίσιο που διέπει συστήµατα της κατηγορίας αυτής είναι οικοδοµητικού χαρακτήρα. Στα περιβάλλοντα αυτά προτάσσεται η έννοια της αυτόνοµης κατασκευής της γνώσης µέσα από εργασίες και ενέργειες που έχουν σηµασία για τους µαθητές. Η µάθηση αποτελεί ένα παράπλευρο προϊόν της δραστηριότητας (Mayes and Fowler, 1999) και για το σκοπό αυτό η δραστηριότητα αυτή θα πρέπει να υποστηριχθεί κατάλληλα. Οι τεχνικές αξιολόγησης που χρησιµοποιήθηκαν ήταν ένας συνδυασµός ευρετικής αξιολόγησης και παρατήρησης πεδίου µε ανάλυση εργασιών. Η χρήση της τελευταίας επέτρεψε να συσχετίσουµε το µαθησιακό αποτέλεσµα µε προβλήµατα ευχρηστίας που παρατηρήθηκαν, µε τρόπο που συζητείται στη συνέχεια. εργαλεία Χώρος πειραµατισµού Σχήµα 2. Στιγµιότυπο της διεπαφής χρήσης του ηµιουργού Μοντέλων Η αντίστροφη πυραµίδα αφορά ιεραρχία ιστοσελίδων διασυνδεδεµένων µεταξύ τους µε υπερσυνδέσµους

11 Το προς αξιολόγηση διδακτικό σύστηµα ήταν ο ηµιουργός Μοντέλων2 (ModelsCreator έκδοση 2.0 MC2), ένα σύστηµα που παρέχει στους µαθητές την δυνατότητα προσοµοίωσης γεγονότων του πραγµατικού κόσµου, µέσω της κατασκευής και παρατήρησης της λειτουργίας µοντέλων (Komis et al., 2001). Τα µοντέλα που µπορεί να κατασκευάσει ο µαθητής µε τη χρήση του MC2, επιτρέπουν τη χρήση ποιοτικών, ποσοτικών και ηµιποσοτικών σχέσεων, για την συσχέτιση οντοτήτων του πραγµατικού κόσµου, που αναπαριστούν πρωτογενείς έννοιες. Το σύστηµα χρησιµοποιεί πολλαπλές απεικονίσεις και αναπαραστάσεις και επιτρέπει την κατασκευή προσοµοιώσεων µέσω χρήσης σχετικών εργαλείων µοντελοποίησης. Στιγµιότυπο της διεπαφής χρήσης του MC2 απεικονίζεται στην Εικόνα 2, στην οποία διακρίνεται ένα µοντέλο συσχέτισης των εννοιών ροή νερού, βρύση και βαρέλι. Έχει δειχθεί (Komis et al., 2001) ότι το περιβάλλον αυτό παρέχει µια πλούσια εµπειρία µάθησης σε νέους µαθητές. Πλαίσιο µελέτης Η παρατήρηση πεδίου έλαβε χώρα σε δύο δίωρες διδασκαλίες, οι οποίες είχαν διαφορετικό σχεδιασµό και διαφορετική προσέγγιση στο σκέλος των προβληµάτων που ζητήθηκαν από τους µαθητές να επιλύσουν. Η παρατήρηση έλαβε χώρα σε εργαστήριο πληροφορικής ενός ιδιωτικού γυµνασίου στην Αθήνα µε συµµετοχή δύο σχολικών τάξεων 1 ης γυµνασίου που αριθµούσαν 34 µαθητές η κάθε µία. Ο συνολικός αριθµός των µαθητών ήταν 68 (34 αγόρια και 34 κορίτσια), ηλικίας 12 ετών, (Tselios and Avouris, 2002). Τα προβλήµατα που δόθηκαν στους µαθητές αφορούσαν στην κατασκευή µοντέλων αναπαράστασης των µηχανισµών που διέπουν τo φαινόµενο της φωτοσύνθεσης που διδάσκεται στο µάθηµα της Βιολογίας. Το δείγµα αρχείων πληκτρολογήσεων των µαθητών (logfiles) από τη διεξαγωγή του πειράµατος, στο οποίο στηρίχθηκε η παρουσιαζόµενη µελέτη αξιολόγησης ήταν 102, τα οποία στη συνέχεια αναλύθηκαν. Επιπροσθέτως, έλαβε χώρα δοκιµή ευχρηστίας σε εργαστήριο ευχρηστίας λογισµικού µε 8 συνολικά µαθητές, δύο αγόρια και έξι κορίτσια ηλικία ετών, µε όρους διεξαγωγής όµοιους µε αυτούς που χαρακτήριζαν την παρατήρηση πεδίου. Από τη δοκιµή ευχρηστίας συλλέχθηκαν, πέρα από αρχεία πληκτρολογήσεων, µαγνητοσκοπηµένα αρχεία της χρήσης σε ψηφιακή µορφή που αναλύθηκαν µε χρήση σχετικού εργαλείου ανάλυσης δεδοµένων παρατήρησης αυτού του τύπου. Συνολικά τα χαρακτηριστικά των 76 µαθητών-χρηστών όπως αυτά αποτυπώθηκαν σε σχετικό ερωτηµατολόγιο που τους δόθηκε, συνοψίζονται στον Πίνακα 3. Όπως φαίνεται, οι συµµετέχοντες στη διαδικασία αξιολόγησης παρουσιάζουν σηµαντικό βαθµό εξοικείωσης, αποδοχής και χρήσης των νέων τεχνολογιών, γεγονός που αποτυπώθηκε στις σχετικές ερωτήσεις κλειστού τύπου που τέθηκαν στους µαθητές δίνοντας τους την δυνατότητα να απαντήσουν σε µια κλίµακα Likert µε τιµές 1-5 (µέση τιµή 3,86). Επίσης το 91,67% των µαθητών είχε υπολογιστή στο σπίτι και και το 45,45% σύνδεση µε το διαδίκτυο. Το σύνολο των µαθητών παρουσίαζε σχετικά υψηλό βαθµό επίδοσης στα µαθήµατα του σχολείου (µέσος όρος 17,48), µε σηµαντικά χαµηλότερη επίδοση στο µάθηµα της Βιολογίας (µέσος όρος 14,92). Ν Ηλικία Μ.Ο. επίδοση Μ.Ο επίδοση Βιολογία Υπ/στής σπίτι ιαδίκτυο σπίτι Αποδοχή/χρήση Τεχνολογίας Χρήση παιχν. εφαρµογών * Ν sdev παιχν. εφαρµ. Αγόρια 36 12,18 17,04 13,70 90,91% 45,45% 3,97 0,91 3,06 1,41 Κορίτσια 40 12,51 17,85 15,94 92,31% 46,15% 3,77 0,70 1,76 2,00 Σύνολο 76 12,36 17,48 14,92 91,67% 45,83% 3,86 0,81 2,40 1,71 *ύστερα από συµπλήρωση ερωτηµατολογίου όπου ζητήθηκε η καταγραφή έως και πέντε παιχνιδιών ή εφαρµογών µε τις οποίες ασχολούνται πιο συχνά οι µαθητές. Πίνακας 3. Χαρακτηριστικά συµµετεχόντων στη διαδικασία αξιολόγησης ευχρηστίας του ηµιουργού Μοντέλων. Ευρετική αξιολόγηση Τα αποτελέσµατα της ευρετικής αξιολόγησης του ηµιουργού Μοντέλων συνοψίζονται στον Πίνακα 4. Η ευρετική αξιολόγηση, διεξήχθη ανεξάρτητα από δύο έµπειρους αξιολογητές. Τα συνολικά προβλήµατα της διεπαφής χρήσης που ανακαλύφθηκαν είναι 47 και 48 αντίστοιχα. Από τα 95 προβλήµατα ευχρηστίας, τα 6 ανακαλύφθηκαν και από τους 2 αξιολογητές, µε αποτέλεσµα τα διαφορετικά προβλήµατα να είναι 89. Η φύση των προβληµάτων που ανακαλύφθηκαν σχετίζεται κύρια µε τον τρόπο µε τον οποίο το σύστηµα προσλαµβάνει πληροφορία και αντιδρά στις ενέργειες του χρήστη, γνωστοποιώντας σε αυτόν την αλλαγή κατάστασής του, παρά µε την ακριβή φύση και τον µηχανισµό των διαλόγων που λαµβάνουν χώρα σε µια αλληλεπίδραση. Ποσοτικά, οι κανόνες K3 (ελαχιστοποίηση του µνηµονικού φορτίου του χρήστη), K4 (διατήρηση συνέπειας σε ολόκληρη τη διεπαφή χρήσης) και K9 (σχεδιασµός για αποτροπή σφαλµάτων χρήστη) χαρακτηρίζονται από το µεγαλύτερο αριθµό σφαλµάτων ευχρηστίας, ενώ επίσης δεν παρέχεται ολοκληρωµένη βοήθεια (κανόνας K10). Τα κύρια προβλήµατα σχετικά µε το λεκτικό επίπεδο της αλληλεπίδρασης όπως σηµασιολογικά στοιχεία της ανάδρασης, ποιότητα χρησιµοποιούµενης ορολογίας, σχεδίαση και διάταξη µενού και επιλογών και ποιότητα της ανάδρασης σε λανθασµένες αλληλεπιδράσεις, είναι προβλήµατα που είναι δύσκολο να αναγνωρισθούν µε µεθόδους ανάλυσης εργασιών γενικά. Επίσης, ο χαµηλός βαθµός επικάλυψης των αποκαλυφθέντων σφαλµάτων

12 για δύο έµπειρους αξιολογητές φαίνεται να επιβεβαιώνει τις εκτιµήσεις των Nielsen και Landauer (1993). Ευρετικός κανόνας Προβλήµατα (αξιολογητής α) Προβλήµατα (αξιολογητής β) Επικαλυπτόµενα προβλήµατα Σύνολο διαφορετικών προβληµάτων Πίνακας 4. Πορίσµατα ευρετικής αξιολόγησης. Ιεραρχική ανάλυση εργασιών Η ιεραρχική ανάλυση εργασιών βασίστηκε στα δεδοµένα παρατήρησης πεδίου. Η ανάλυση των αλληλεπιδράσεων των µαθητών µε το περιβάλλον βασίστηκε σε δεδοµένα από δώδεκα περιπτώσεις χρήσης από τη παρατήρηση πεδίου καθώς και δύο δοκιµές ευχρηστίας. Η ανάλυση εργασιών έγινε σε αντιδιαστολή µε ένα µοντέλο αναµενόµενης συµπεριφοράς, (µοντέλο σχεδιαστή) που φαίνεται στο Σχήµα 3. Σύµφωνα µε το µοντέλο αυτό, η εργασία «ηµιουργία µοντέλου» αναλύεται στην ακολουθία «επιλογή βιβλιοθήκης πρωτογενών οντοτήτων- επιλογή σχέσεων εισαγωγή οντοτήτων και σχέσεων για τη δηµιουργία µοντέλου έλεγχος ορθότητας µοντέλου αποθήκευση µοντέλου». Η επί µέρους ανάλυση των εργασιών αυτών καθορίζει την αναµενόµενη ακολουθία ενεργειών για την σύνδεση των οντοτήτων µε σχέσεις κλπ. Από το δείγµα (34 ζεύγη µαθητών), επιλέχθηκαν µε τυχαίο τρόπο πέντε, για τους οποίους κατασκευάσθηκαν µοντέλα αλληλεπίδρασης για τα 4 προβλήµατα που τους δόθηκαν. Το σύνολο των στρατηγικών που αναλύθηκαν ήταν 19. Από την ανάλυση προέκυψαν 13 προβλήµατα ευχρηστίας, πολλά εκ των οποίων είχαν καταγραφεί σε περισσότερες από µία στρατηγικές, καθώς συνολικά είχαν καταγραφεί προβλήµατα ευχρηστίας σε 43 κόµβους. Σχήµα 3. Μοντέλο σχεδιαστή εκτιµώµενης αλληλεπίδρασης µαθητών µε το ηµιουργό Μοντέλων. Μια γενική διαπίστωση που προέκυψε, ήταν ότι οι µαθητές εκφράστηκαν µε τη χρήση του περιβάλλοντος, µε τρόπο που µοιάζει σηµαντικά µε το µοντέλο αναµενόµενης συµπεριφορά από τον σχεδιαστή. Το γεγονός αυτό, καταδεικνύει την εύκολη µετάβαση από το σηµασιολογικό στο συντακτικό επίπεδο της αλληλεπίδρασης (Foley et al., 1990), γεγονός που πιστοποιεί την επιτυχή σχεδίαση της διεπαφής χρήσης κατά το σκέλος αυτό. Η οµοιότητα αυτή, είναι ισχυρότερη στα υψηλότερα επίπεδα εργασιών, µε πλήρη κάλυψη των απαιτούµενων εργασιών κατά πλάτος. Παράλληλα όµως, διαπιστώνεται και µη αναµενόµενη οµοιότητα συνολικά στην αλληλεπίδραση των µαθητών µε το περιβάλλον, στο οποίο πιθανώς συνέβαλλε το συγκεκριµένο φύλλο δραστηριότητας που δόθηκε, το οποίο πρότεινε ένα αδρό διάγραµµα προσέγγισης του εκάστοτε προβλήµατος µε χρήση συγκεκριµένων εργαλείων και οντοτήτων του ηµιουργού Μοντέλων. Αντιθέτως, σηµαντικός αριθµός προβληµάτων ευχρηστίας ανακαλύφθηκε στο επίπεδο της αλληλεπίδρασης, δηλαδή στα χαµηλότερα επίπεδα της ιεραρχίας του µοντέλου εργασιών.

13 Με τη µέθοδο ιεραρχικής ανάλυσης εργασιών ανακαλύφθηκε σηµαντικός αριθµός παρανοήσεων εκ µέρους των µαθητών-χρηστών, συχνά λόγω των διαφορετικών προσδοκιών σχετικά µε την αναµενόµενη αλληλεπίδραση. Παρέχονται ενδεικτικά παραδείγµατα: Κατά τη διάρκεια κατασκευής του µοντέλου, οι µαθητές στην προσπάθεια τους να επιλέξουν µια νέα ιδιότητα σε µια οντότητα, επιλέγουν συχνά την ιδιότητα αυτή από κυλιόµενη λίστα που αντιστοιχεί στην ήδη επιλεγµένη ιδιότητα, παρά την κυλιόµενη λίστα που αναγράφει Νέα ιδιότητα υπαινισσόµενη ότι µπορεί να επιλεχθεί µια νέα ιδιότητα στο σηµείο αυτό (βλέπε σχ. 4). Πρόβληµα στην κατανόηση της λειτουργίας ενός µοντέλου µπορεί να προκαλέσει το γεγονός ότι η εκτέλεση του µοντέλου λάµβανε χώρα µόνο µε σύρσιµο της ποσοτικής απεικόνισης του αιτίου και όχι του αποτελέσµατος (σχ.4). Παράλληλα, εκδηλώθηκαν και νέες πρωτότυπες προσεγγίσεις οι οποίες δεν υποστηρίζονται από το λογισµικό. Παράδειγµα είναι, η προσπάθεια για διαγραφή µιας οντότητας όχι µε επιλογή της εντολής διαγραφής (µοντέλο σχεδιαστή) αλλά µε το σύρσιµό της πίσω στη βιβλιοθήκη οντοτήτων (συµπεριφορά χρήστη). Επιλογή νέας ιδιότητας Αίτιο-αποτέλεσµα: το νερό επηρεάζει το διοξίδιο του άνθρακα Σχήµα 4. Παράδειγµα οντοτήτων στα πλαίσια του ηµιουργού Μοντέλου 2: Η οντότητα έδαφος και φύλλο Από την επεξεργασία των µοντέλων εργασιών µαθητή και τη σύγκρισή του µε το αρχικό µοντέλο σχεδιαστή δεν προέκυψαν σηµαντικές διαφοροποιήσεις, καταδεικνύοντας το σηµαντικό βαθµό αντιστοιχίας τους. Από τα εργαλεία δοκιµής µοντέλου, οι µαθητές χρησιµοποιούσαν σχεδόν πάντα το εργαλείο αυτόµατης εκτέλεσης µοντέλου και εναλλακτικά µια από τις υπόλοιπες λειτουργίες (χειροκίνητη δοκιµή, βήµα-βήµα, εναλλακτική αναπαράσταση λειτουργίας µοντέλου). Η συσχέτιση παρεχοµένων στο µαθητή εργαλείων της διεπαφής χρήσης και των καταγεγραµµένων προβληµάτων ευχρηστίας, κατέδειξε 4 προβλήµατα που αφορούν στο εργαλείο εισαγωγής σχέσης, 4 που σχετίζονται µε την εισαγωγή και διαχείριση οντότητας, 3 που αφορούν στις λειτουργίες αποθήκευσης, 1 που αφορά στη λειτουργία φόρτωσης µοντέλου και 1 που αφορά στη βιβλιοθήκη οντοτήτων. Σύγκριση ευρετικής αξιολόγησης και της ανάλυσης εργασιών. Στο πείραµά που περιγράφεται, η ευρετική αξιολόγηση αποκάλυψε σηµαντικά σφάλµατα στη διεπαφή χρήσης του περιβάλλοντος. Όπως αναµένεται, η πλειοψηφία των προβληµάτων που παρουσιάστηκαν µέσω της ευρετικής αξιολόγησης, σχετίζεται µε ζητήµατα παρουσίασης διεπαφής, όπως την καταλληλότητα της γλώσσας που χρησιµοποιήθηκε στους διαλόγους και µενού, τη ρύθµιση αντικειµένων καταλόγων επιλογής, τη σηµασιολογία των χρησιµοποιούµενων µεταφορών στα εικονίδια, καταλληλότητα των µεταφορών και ποιότητα της ανατροφοδότησης σε ορισµένες καταστάσεις του κύκλου αλληλεπίδρασης. Η αποτίµηση χαρακτηριστικών, όπως η υποστήριξη στον έλεγχο του χρήστη και ο βαθµός ελευθερίας που του παρέχεται, δεν θα µπορούσε να αξιολογηθεί αξιόπιστα, ειδικά σε τέτοια ανοικτά περιβάλλοντα µάθησης που παρουσιάζουν υψηλό βαθµό αλληλεπίδρασης, δεδοµένου ότι δεν µπορούµε να προσοµοιώσουµε αξιόπιστα τη συµπεριφορά των σπουδαστών χωρίς την ανάµειξη µεθόδων δοκιµής ευχρηστίας στο πλαίσιο αξιολόγησης. Κατά την ανάλυση εργασιών ήταν ευκολότερο να γίνουν κατανοητοί οι µηχανισµοί που διέπουν την αλληλεπίδραση µε το περιβάλλον µάθησης, ειδικά στις περιπτώσεις που εκδηλώθηκε µια νέα προσέγγιση από την πλευρά του χρήστη. Σε µερικές περιπτώσεις οφειλόµενες σε πρωτότυπες στρατηγικές των µαθητών, προέκυψαν νέες απαιτήσεις για τις δυνατές λειτουργίες των εργαλείων τις διεπαφής. Ένα σηµαντικό συµπέρασµα αυτής της συγκριτικής µελέτης ήταν ότι η ευρετική αξιολόγηση σε τέτοιου είδους περιβάλλοντα, µπορεί να οδηγήσει σε τετριµµένα αποτελέσµατα καθώς δεν υπάρχει κάποιος σαφής µηχανισµός που να οριοθετεί το πλαίσιο χρήσης του προς αξιολόγηση διδακτικού συστήµατος µέσα στην ίδια τη διαδικασία της αξιολόγησης. Απόρροια του γεγονότος αυτού, είναι έλλειψη αίσθησης για τις συνέπειες που µπορεί να έχουν τα προβλήµατα που ανακαλύπτονται στη διαδικασία της µάθησης. Εποµένως, ο επανασχεδιασµός του διδακτικού συστήµατος που βασίζεται αποκλειστικά στην ευρετική αξιολόγηση µπορεί να µην αποδειχθεί αποτελεσµατικός. Εντούτοις, τα συµπεράσµατα των δύο προσεγγίσεων φαίνονται να παρουσιάζουν συµπληρωµατικότητα, αφού τα αποτελέσµατα της µίας προσδίδουν περαιτέρω αξία στην άλλη. Όπως διαπιστώνει η Karat (1988), ο συνδυασµός µεθόδου αξιολόγησης από ειδικούς, όπως η ευρετική αξιολόγηση και η αξιολόγηση µε τη

14 συµµετοχή χρηστών σε συνδυασµό µε τη χρήση της προτεινόµενης µεθόδου ανάλυσης εργασιών, είναι κατάλληλος καθώς οδηγεί σε αναγνώριση και εκτίµηση προβληµάτων της διεπαφής χρήσης µε σχετικά χαµηλό κόστος στα αρχικά στάδια του επαναληπτικού κύκλου σχεδιασµού και αξιολόγησης, των οποίων η καταλληλότητα της προτεινόµενης επίλυσης διαπιστώνεται µέσα από παρατήρηση αντιπροσωπευτικών χρηστών. ΑΞΙΟΛΟΓΗΣΗ ΣΥΝΕΡΓΑΤΙΚΩΝ ΠΕΡΙΒΑΛΛΟΝΤΩΝ ΜΑΘΗΣΗΣ Τα συνεργατικά περιβάλλοντα µάθησης, θέτουν νέες προκλήσεις στο σχεδιασµό και αξιολόγηση οι οποίες σε µεγάλο βαθµό παραµένουν ανοιχτές (Dimitracopoulou and Petrou, 2003). Επιπλέον πρόβληµα σε σχέση µε τα ανοιχτά περιβάλλοντα µάθησης, είναι ότι ενώ θα πρέπει να προάγεται η εµπλοκή του µαθητή σε ένα υψηλότερου επιπέδου εννοιολογικό επίπεδο, µέσω της διάδρασης µε οντότητες του γνωστικού αντικειµένου, θα πρέπει παράλληλα η εργασία αυτή να υποστηρίζεται από τους κατάλληλους µηχανισµούς συνεργασίας και επικοινωνίας. Αυτή η µετάβαση στην εστίαση από µεµονωµένα σε κοινωνικά πλαίσια της µάθησης επιτυγχάνεται µέσα από ένα σύνολο τεχνολογιών και εργαλείων, των οποίων η διάφανη ενσωµάτωση και η αξιοποίησή τους από το χρήστη δεν µπορεί να πιστοποιηθεί από τις παραδοσιακές µεθόδους αξιολόγησης ευχρηστίας. Οι Gutwin and Greenberg (2000) έχουν προτείνει ένα εννοιολογικό πλαίσιο που στηρίζεται στο ρόλο των µηχανισµών συνεργασίας (mechanics of collaboration) σε συνεργατικά περιβάλλοντα διαµοιραζόµενου χώρου. Με το όρο µηχανισµοί συνεργασίας ορίζονται οι χαµηλού επιπέδου ενέργειες και οι αλληλεπιδράσεις που πρέπει να λάβουν χώρα για να ολοκληρωθεί αποτελεσµατικά µια διεργασία σε περιβάλλον συνεργασίας. Αυτές είναι η επικοινωνία, ο συντονισµός, ο σχεδιασµός στόχου, ο έλεγχος, η βοήθεια, και η προστασία. Το πλαίσιο ορίζει επίσης τρεις συνιστώσες αυτών των µηχανισµών συνεργασίας: αποτελεσµατικότητα, αποδοτικότητα, και ικανοποίηση. Το πλαίσιο αυτό στηρίζεται στην υπόθεση ότι η πλειοψηφία των προβληµάτων ευχρηστίας στα συνεργατικά συστήµατα δεν εξαρτάται εγγενώς από το περιβάλλον και το πλαίσιο στο οποίο το σύστηµα χρησιµοποιείται, αλλά κύρια οφείλεται στη φτωχή υποστήριξη βασικών δραστηριοτήτων της συνεργατικής εργασίας σε ιδεατούς διαµοιραζόµενους χώρους. Ως αποτέλεσµα αυτής της θεωρητικής θεµελίωσης των µηχανισµών συνεργασίας, οι Gutwin and Greenberg (2000) εισήγαγαν µια νέα µέθοδο που ονοµάστηκε ευρετική αξιολόγηση συνεργατικών περιβαλλόντων (Heuristic evaluation of groupware, HEG). Η µέθοδος αυτή βασίζεται σε ευρετικούς κανόνες αξιολόγησης και διέπεται από αντίστοιχη φιλοσοφία µε την κλασσική ευρετική αξιολόγηση (Nielsen, 1994). Οι ευρετικοί αυτοί κανόνες χρησιµοποιούνται ως ένα δοµηµένο πλαίσιο αξιολόγησης για να βοηθήσουν τους αξιολογητές να ανακαλύψουν γρήγορα τα προβλήµατα ευχρηστίας σε συνεργατικά συστήµατα που αφορούν τους µηχανισµούς συνεργασίας. Πρακτικά, οι κανόνες αυτοί αποτελούν µια επαναδιατύπωση των µηχανισµών συνεργασίας σε ευρετικούς κανόνες. Η ιδιαίτερη χρησιµότητα που έχει η µέθοδος αυτή καθιστά επιβεβληµένη πρώτα την παράθεση και το σύντοµο σχολιασµό των 8 κανόνων ώστε να γίνει κατανοητό το παράδειγµα εφαρµογής της που ακολουθεί. Η µέθοδος ευρετικής αξιολόγησης συνεργατικών περιβαλλόντων Κανόνας 1: Παρεχόµενα µέσα λεκτικής επικοινωνίας. Σε πρόσωπο µε πρόσωπο συνεργασία, η ευρύτατα χρησιµοποιηµένη µορφή επικοινωνίας είναι λεκτικές συνοµιλίες. Ο µηχανισµός µε τον οποίο συγκεντρώνουµε πληροφορίες από τη λεκτική αυτή συναλλαγή, είναι γνωστή µε τον όρο σκόπιµη επικοινωνία (intentional communication) και χρησιµοποιείται χαρακτηριστικά για να εδραιώσει µια κοινή βάση κατανόησης του κοινού στόχου. Ο Gutwin συνοψίζει τρεις τρόπους µε τους οποίους συλλέγονται οι λεκτικές πληροφορίες από τέτοιου είδους λεκτικές συναλλαγές και ορίζουν τη βάση αξιολόγησης για τον κανόνα αυτό. (Ι) Οι χρήστες πρέπει να έχουν τη δυνατότητα να µπορούν να µιλήσουν ρητά για αυτό που κάνουν σε ένα χώρο συνεργασίας. (ΙΙ) Οι χρήστες πρέπει να µπορούν να αντλήσουν πληροφορίες παρακολουθώντας συνοµιλίες τρίτων. (ΙΙΙ) Οι χρήστες πρέπει να µπορούν να ακούσουν τα σχόλια που άλλοι χρήστες τείνουν να παραγάγουν όταν εκτελούν κάποιες ενέργειες. Κανόνας 2: Παρεχόµενα µέσα για επικοινωνία µε χειρονοµίες. Οι χειρονοµίες και άλλες οπτικές ενέργειες χρησιµοποιούνται επίσης παράλληλα µε τις λεκτικές ανταλλαγές για να πραγµατώσουν µια σκόπιµη επικοινωνία. Αυτές είναι σκόπιµες χειρονοµίες, όπου οι άνθρωποι τις χρησιµοποιούν για να υποστηρίξουν άµεσα τη συνοµιλία (να δείξουν κάτι, να δώσουν έµφαση κ.α.) και να µεταβιβάσουν πληροφορίες. Η σκόπιµη επικοινωνία µε χειρονοµίες λαµβάνει πολλές µορφές. Επειδή οι χρήστες συνήθως είναι χωρικά αποµακρυσµένοι, οι χειρονοµίες είναι αόρατες εκτός αν αυτές υποστηρίζονται άµεσα από το σύστηµα. Στα συνεργατικά περιβάλλοντα, αυτό επιτυγχάνεται έµµεσα ενσωµατώνοντάς τις σε δείκτες, είδωλα (avatars), ή µε

15 χρήση βίντεο. Η πιο διαδεδοµένη µορφή είναι ένα δείκτης (cursor), ορατός σε όλους, που επιτρέπει στο χρήστη να δείξει αντικείµενα ενδιαφέροντος ή άλλων χειρονοµιών παράλληλα µε τις ενέργειές του. Κανόνας 3: Επικοινωνία της παρουσίας του χρήστη. Το σώµα ενός χρήστη που αλληλεπιδρά µε ένα φυσικό χώρο εργασίας είναι µια σύνθετη πηγή πληροφοριών µε πολλούς βαθµούς ελευθερίας. Σε αυτούς τους χώρους, οι σωµατικές ενέργειες όπως η τοποθέτηση, η στάση, και οι µετακινήσεις του κεφαλιού, των χεριών, και των µατιών στοιχειοθετούν ένα κανάλι πληροφορίας το όποιο προσλαµβάνεται από άλλους παρόντες στο χώρο. Στόχος είναι η παροχή τέτοιας επικοινωνίας σε συνεργατικά περιβάλλοντα ώστε να διαβιβαστεί και να µπορεί να µεταδοθεί αποτελεσµατικά αυτή η άµεση και έµµεση πηγή πληροφορίας µεταξύ των συνεργαζόµενων συµµετεχόντων. Οι τεχνικές που συζητούνται στον κανόνα 2 αποτελούν τη βάση για την υλοποίηση των απαιτήσεων του κανόνα αυτού. Γενικά όµως, είναι πολύ δύσκολο, λαµβάνοντας υπ όψη τους τρέχοντες τεχνολογικούς περιορισµούς να εφαρµοστεί αποτελεσµατικά ένας τέτοιος µηχανισµός. Κανόνας 4: Παροχή επικοινωνίας των κοινόχρηστων αντικειµένων. Στο χαµηλότερο επίπεδο, ο κοινόχρηστος εικονικός χώρος εργασίας πρέπει να απεικονίζει την ανατροφοδότηση που παρέχεται στον τοπικό χρήστη από όλους τους υπόλοιπους αποµακρυσµένους χρήστες. Σε περίπτωση άµεσου χειρισµού ενός αντικειµένου, ο σχεδιαστής πρέπει να παρουσιάσει όχι µόνο την τελική θέση του, αλλά και τα στάδια επιλογής του αντικειµένου και τα ενδιάµεσα βήµατα της κίνησής του. Ο προσδιορισµός του δρώντος µιας ενέργειας βοηθά τον παρατηρητή να προσδώσει το πλαίσιο σε αυτή. Κανόνας 5: Παροχή προστασίας. Πολλά συστήµατα συνεργασίας δίνουν σε όλους τους συνεργάτες ίδια δικαιώµατα σε όλα τα αντικείµενα. Για να παρέχουν προστασία, στηρίζονται στις φυσικές δυνατότητες των ανθρώπων να αντιληφθούν τις ενέργειες, να µεσολαβήσουν στα γεγονότα και να επιλύσουν συγκρουόµενες αλληλεπιδράσεις. Ο ρόλος του συστήµατος περιορίζεται στην παροχή επίγνωσης των ενεργειών (awareness) των υπολοίπων και της ανατροφοδότησης των κοινόχρηστων αντικειµένων. Ο βαθµός επίγνωσης αποδεικνύεται αναποτελεσµατικός σε περιβάλλον επικοινωνίας µε σηµαντικές καθυστερήσεις όπου υπάρχει µια καθυστέρηση στην ανατροφοδότηση των ενεργειών ενός χρήστη στους υπόλοιπους. Ο έλεγχος πρόσβασης µπορεί επίσης να χρησιµοποιηθεί για να καθορίσει ποιος µπορεί να έχει πρόσβαση σε ένα αντικείµενο και πότε. Ο έλεγχος της πρόσβασης µπορεί να είναι επιθυµητός όταν απαιτείται οι χρήστες να µπορούν µόνο αυτοί να χειριστούν ή /και να δουν τα προσωπικά αντικείµενά τους. Παράλληλα, αυτοί οι µηχανισµοί πρόσβασης θα πρέπει να είναι κατά το δυνατόν διάφανοι σε σχέση µε την εργασία των χρηστών. Οι χρήστες δεν πρέπει να παλεύουν µε το σύστηµα καθώς κινούνται µεταξύ των διαθέσιµων και προστατευµένων αντικειµένων. Κανόνας 6: ιαχείριση στενής και χαλαρής σύζευξης συνεργασίας. Η σύζευξη ορίζεται ως ο βαθµός στον οποίο οι άνθρωποι εργάζονται από κοινού. Γενικά, η σύζευξη είναι το ποσό της εργασίας που ένα άτοµο µπορεί να διεκπεραιώσει προτού να επιζητήσει συζήτηση, οδηγία, και πληροφορία, ή διαβουλεύσεις µε ένα άλλο πρόσωπο. Η παραδοσιακή σχεδιαστική προσέγγιση συνεργατικών περιβαλλόντων εξασφαλίζει ότι οι άνθρωποι µένουν ενήµεροι για τις δραστηριότητες των υπολοίπων, αλλά είναι συχνά πάρα πολύ περιοριστική σε περιπτώσεις που οι χρήστες µεταβαίνουν συχνά µεταξύ µεµονωµένης και κοινής εργασίας. Τα πιο πρόσφατα συστήµατα επιτρέπουν στους ανθρώπους να διαφοροποιήσουν ανεξάρτητα το χώρο εποπτείας τους, επιτρέποντας τους να δουν τα αντικείµενα που τους ενδιαφέρουν. Αυτό καλείται χαλαρή διαµοιραζόµενη όψη. Κανόνας 7: Συντονισµός ενεργειών χρηστών. Ένα αναπόσπαστο τµήµα της πρόσωπο µε πρόσωπο συνεργασίας είναι ο µηχανισµός συντονισµού αλληλεπιδράσεων µε την ανάληψη εκ περιτροπής και διαπραγµάτευση της διανοµής του κοινού χώρου εργασίας. Σε έναν κοινό χώρο εργασίας οι άνθρωποι συνήθως οργανώνουν τις ενέργειές τους ώστε να αποφύγουν τη σύγκρουση µε άλλους και να ολοκληρώσουν αποτελεσµατικά την εργασία, αφού είµαστε γενικά πεπειραµένοι στο συντονισµό της επικοινωνίας και της αλληλεπίδρασής µας ο ένας µε τον άλλον. Συνεπώς, τα εργαλεία που χρησιµοποιούνται για να υποστηρίξουν τη συνεργασία δεν πρέπει να επιβάλουν µια δοµή που προσπαθεί να διαχειριστεί τις αλληλεπιδράσεις για τους χρήστες. Αντ' αυτού, τα εργαλεία πρέπει να διευκολύνουν τις δυνατότητες των συµµετεχόντων να συντονίσουν την επικοινωνία και τη συνεργασία τους. Επιπλέον, οι συνεργάτες πρέπει να είναι σε θέση να δουν όλες τις ενέργειες µέσα στο πλαίσιο όλου του χώρου εργασίας ακόµα και όταν εργάζονται σε διαφορετικά τµήµατα. Κανόνας 8: ιευκόλυνση εύρεσης συνεργατών και επικύρωσης της επαφής. Ένα πρόβληµα στα συνεργατικά περιβάλλοντα είναι η έλλειψη σαφήνειας για την εκκίνηση των συνεδριών συνεργασίας. Στις ηλεκτρονικές κοινότητες, οι άνθρωποι είναι κατανεµηµένοι χωρικά. Εποµένως, απαιτείται να υποστηριχθεί η αναγνώριση των χρηστών που είναι συνδεδεµένοι και η διαθεσιµότητά τους. Οι εφαρµογές αυτές προκειµένου να είναι επιτυχείς πρέπει να υπερνικήσουν το εµπόδιο απόστασης που εµποδίζει τις άτυπες συγκρούσεις. Οι πληροφορίες για τους πιθανούς συνεργάτες πρέπει να παρέχονται έτσι ώστε να µπορούν να βρεθούν εύκολα και να µπορεί να καθοριστεί η διαθεσιµότητά τους. Οι συγκεκριµένες λειτουργίες που πρέπει να υποστηρίζονται είναι η

16 πληροφορία διαθεσιµότητας, πληροφορία για συνδεδεµένους χρήστες που µπορεί να είναι διαθέσιµοι, η διαδικασία επικύρωσης επαφής και η έναρξη συνεργασίας. Εφαρµογή του πλαισίου Οι κανόνες που περιγράφονται συνδυάζονται από µια µέθοδο αξιολόγησης ευχρηστίας που πιστοποιεί την ευχρηστία των παραδοσιακών µεµονωµένων εργασιών σε συνδυασµό µε την αξιολόγησης του µηχανισµού συνεργασίας. Πιλοτικά, παρουσιάζεται µια τέτοια αξιολόγηση µε συνδυασµό της κλασσικής ευρετικής αξιολόγησης και της αξιολόγησης συνεργατικών περιβαλλόντων. Το περιβάλλον προς αξιολόγηση ήταν το Modeling Space (Avouris et al. 2004), µια πρόσφατη επέκταση του ηµιουργού Μοντέλων µε συνεργατικά χαρακτηριστικά. Το σύστηµα αυτό επιτρέπει σε µικρές οµάδες σπουδαστών να κτίσουν µοντέλα από πρωτογενείς οντότητες και να επικοινωνήσουν µε χρήση ενός εργαλείου λεκτικής επικοινωνίας (chat) και µοιράσµατος του χώρου δηµιουργίας και δοκιµής µοντέλων. Στο σχήµα 5 φαίνεται ενδεικτικά ένα στιγµιότυπο συνεργασίας δύο χρηστών µε χρήση του περιβάλλοντος αυτού, Partner #1 workstation Partner #2 workstation ιαµοιρασµένος χώρος εργασίας (a) (b) Μηχανισµός συντονισµού (ανταλλαγή κλειδιού) (c) Μηχανισµός λεκτικής επικοινωνίας Σχήµα 5. Συνεργασία δύο µαθητών στο πλαίσιο του ModellingSpace Η εφαρµογή της ευρετικής αξιολόγησης έδωσε χρήσιµα συµπεράσµατα ιδιαίτερα σε σχέση µε το φυσικό σχεδιασµό της διεπαφής χρήσης. Σε κάθε περίπτωση, µια αξιολόγηση της διεπαφής χρήσης συνεργατικού περιβάλλοντος µάθησης θα πρέπει να συνοδεύεται και από δεδοµένα και συµπεράσµατα από αξιολόγηση ευχρηστίας µε συµµετοχή χρηστών. Η πιλοτική εφαρµογή της ευρετικής αξιολόγησης για συνεργατικά περιβάλλοντα, κατέδειξε τη χρησιµότητά της, δίνοντας µια βάση αναφοράς για αναζήτηση προβληµάτων ευχρηστίας και οδηγώντας στην ανακάλυψη σηµαντικού αριθµού προβληµάτων. Σχετικά µε το κανόνα 1 (µέσα λεκτικής επικοινωνίας), ο µηχανισµός συνοµιλίας είναι κατάλληλα σχεδιασµένος, παρέχοντας χρωµατικές αντιστοιχήσεις για το µαθητή που µιλάει και µηχανισµό επίγνωσης για το αν γράφει κάποιος ένα µήνυµα (UserX is typing a message ). ύο προβλήµατα που παρουσιάζονται είναι ότι η ενηµέρωση αυτή παραµένει διαρκώς, µειώνοντας το διαθέσιµο ωφέλιµο χώρο που παρουσιάζεται το ιστορικό της συζήτησης. Επίσης, σε περίπτωση που υπάρχουν πολλαπλοί κοινόχρηστοι χώροι στην περίπτωση παράλληλης συµµετοχής ενός χρήστη σε περισσότερες από µια οµάδα, δεν έχει προβλεφτεί τρόπος αντιστοίχησης του χώρου εργασίας µε το παράθυρο συνοµιλίας. Σχετικά µε τον κανόνα 2 (µέσα για επικοινωνία µε χειρονοµίες) διαπιστώθηκε η έλλειψη ενός ανεξάρτητου δείκτη για τη κατάδειξη ενός αντικειµένου σε συνδυασµό µε πιθανές κατάλληλες συντοµεύσεις (όπως σύροντας ένα αντικείµενο στο παράθυρο διαλόγου να ενεργοποιείται αυτόµατα µια ερώτηση Τι είναι αυτό το αντικείµενο; κ.ο.κ). Επίσης για το κανόνα 3 (παρουσία του χρήστη) θα µπορούσαν να ενσωµατωθούν συναισθηµατικά εικονίδια (emoticons) ώστε να µπορεί να επικοινωνήσει τις αντιδράσεις του κάποιος µαθητής πιο αποτελεσµατικά. Σε σχέση µε το κανόνα 4 (επικοινωνία των κοινόχρηστων αντικειµένων), οι ενέργειες που δεν ολοκληρώνονται δεν παρουσιάζονται στους υπόλοιπους χρήστες, µε αποτέλεσµα να χάνεται πολύτιµη πληροφορία. Παράλληλα, παρουσιάζεται µόνο το τελικό αποτέλεσµα µιας