Abstract Αντικείµενο της διατριβής ιάρθρωση της διατριβής... 11

Transcript

1 Περιεχόµενα Περιεχόµενα Περίληψη... 1 Abstract... 3 Κεφάλαιο 1. Εισαγωγή Εισαγωγή Αντικείµενο της διατριβής Συµβολή της διατριβής ιάρθρωση της διατριβής ηµοσιευθείσες εργασίες ηµοσιεύσεις σε περιοδικά/ κεφάλαια βιβλίων ηµοσιεύσεις σε συνέδρια µε κρίση Κατοχυρωµένες ευρεσιτεχνίες Βιβλιογραφία Κεφάλαιο 2. Το πρόβληµα της αλληλεπίδρασης χρηστών µε εκπαιδευτικό λογισµικό Εισαγωγή Θεµελιώδεις ορισµοί Ευχρηστία λογισµικού ιεπιφάνεια χρήσης Επιστηµονικά πεδία που διαµορφώνουν τις αρχές της επιστήµης ΑΑΥ Μοντέλα αλληλεπίδρασης ανθρώπου υπολογιστή Μοντέλο Norman Μοντέλο ανθρώπινου επεξεργαστή Αξιολόγηση ευχρηστίας λογισµικού Το πρόβληµα της αξιολόγησης Μέθοδοι αξιολόγησης από ειδικούς Μέθοδοι αξιολόγησης µε τη συµµετοχή χρηστών Αναλυτικές µέθοδοι αξιολόγησης Εκπαιδευτικό λογισµικό ιδακτορική διατριβή. i

2 Περιεχόµενα Βασικές παιδαγωγικές θεωρίες Κατηγορίες εκπαιδευτικού λογισµικού Πολυµεσικά/ υπερµεσικά εκπαιδευτικά περιβάλλοντα Ανοιχτά περιβάλλοντα µάθησης Αξιολόγηση ευχρηστίας εκπαιδευτικού λογισµικού Ιδιαιτερότητες αξιολόγησης εκπαιδευτικού λογισµικού Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Αξιολόγηση ανοιχτών περιβαλλόντων µάθησης ιερεύνηση καταλληλότητας µεθόδων αξιολόγησης ευχρηστίας στα τεχνολογικά εκπαιδευτικά περιβάλλοντα Βιβλιογραφία Κεφάλαιο 3. Αξιολόγηση πολυµεσικών / υπερµεσικών περιβαλλόντων µάθησης Εισαγωγή ιερεύνηση καταλληλότητας ευρετικής αξιολόγησης για έλεγχο ευχρηστίας συστηµάτων από απόσταση εκπαίδευσης Το περιβάλλον IDLE Το περιβάλλον WEBCT Μεθοδολογικό πλαίσιο της µελέτης ιεξαγωγή του πειράµατος Αξιολόγηση ευχρηστίας Επίδραση της ευχρηστίας στην επίδοση των φοιτητών Επίδραση του ηλεκτρονικού περιβάλλοντος στην επίδοση των φοιτητών Επίδοση των φοιτητών µε άξονα το σύνολο των απαντήσεων ιερεύνηση συσχέτισης ατοµικής επίδοσης φοιτητών και ατοµικής αποτίµησης ευχρηστίας Συµπεράσµατα Συνδυαστικό πλαίσιο αξιολόγησης Το σύστηµα Πήγασος Τροποποιηµένη ευρετική αξιολόγηση οκιµή ευχρηστίας εστιασµένη στην µέτρηση απόδοσης Ερωτηµατολόγιο βασισµένο σε κατάλογο κατευθυντήριων οδηγιών Προβολή αποτελεσµάτων τροποποιηµένου QUIS στην προσαρµοσµένη ευρετική αξιολόγηση Συµπεράσµατα-συζήτηση Σελίδα ii ιδακτορική διατριβή

3 Περιεχόµενα 3.5 Βιβλιογραφία Κεφάλαιο 4. Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Εισαγωγή Ιδιαιτερότητες αξιολόγησης ευχρηστίας ΑΠΜ ιαδεδοµένες µέθοδοι αξιολόγησης ΑΠΜ Το πλαίσιο αξιολόγησης Επέκταση της ιεραρχικής ανάλυσης εργασιών για ΑΠΜ Προκαταρκτική ανάλυση, κατασκευή Μοντέλου Εργασιών Σχεδιαστή Ευρετική αξιολόγηση Αξιολόγηση πεδίου Κατασκευή µοντέλων µαθητή (STM) και βελτίωση DTM Εργαλεία για την υποβοήθηση του πλαισίου αξιολόγησης Εργαλείο γνωστικής µοντελοποίησης, Cognitive Modeling Tool (CMT) Άλλα εργαλεία ανάλυσης: Αναλυτής ευχρηστίας Συµπεράσµατα Βιβλιογραφία Κεφάλαιο 5. Παραδείγµατα χρήσης πλαισίου αξιολόγησης ΑΠΜ Εισαγωγή Πρώτη µελέτη περίπτωσης: Αξιολόγηση διεπιφάνειας χρήσης του ΑΠΜ C.AR.M.E Το περιβάλλον C.AR.M.E Μεθοδολογία διεξαγωγής του πειράµατος Ιεραρχική ανάλυση εργασιών µε βάση δεδοµένα από παρατήρηση πεδίου ανάλυση µε τη χρήση αρθρώµατος VQC Πρώτο παράδειγµα µοντελοποίησης εύτερο παράδειγµα µοντελοποίησης εύτερη µελέτη περίπτωσης: Αξιολόγηση διεπιφάνειας χρήσης ηµιουργού Μοντέλων ηµιουργός µοντέλων Μεθοδολογία διεξαγωγής αξιολόγησης διεπιφάνειας χρήσης ηµιουργού Μοντέλων Ευρετική αξιολόγηση ιδακτορική διατριβή. iii

4 Περιεχόµενα Ιεραρχική ανάλυση εργασιών µε βάση δεδοµένα από παρατήρηση πεδίου και δοκιµή ευχρηστίας Σύγκριση των αποτελεσµάτων ευρετικής αξιολόγησης και της ανάλυσης εργασιών Συµπεράσµατα Βιβλιογραφία Κεφάλαιο 6. Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης Εισαγωγή ίκτυα Bayes Γενικά-Ορισµός Εκπαίδευση ΒΒΝ από δεδοµένα Naive Bayes Εφαρµογές δικτύων Bayes στην εκπαίδευση Χρήση δικτύων Bayes για υποβοήθηση πλαισίου µοντελοποίησης στην αξιολόγηση του CARME Χαρακτηριστικά πειράµατος Προετοιµασία δεδοµένων Κατασκευή ΒΒΝ-Σύγκριση µε άλλες µεθόδους Χρήση πλαισίου σχεδιασµού και αξιολόγησης ΑΠΜ για κατασκευή προσαρµοζόµενης βοήθειας χρήσης Η προσέγγιση της µοντελοποίησης Ενσωµάτωση προσαρµοστικών χαρακτηριστικών στο συστήµα βοήθειας του ηµιουργού Μοντέλων µε τη χρήση ΒΒΝ Τροποποιήσεις στην αρχιτεκτονική του περιβάλλοντος του ηµιουργού Μοντέλων Προκαταρκτική αξιολόγηση ΑΠΥΜ Αξιολόγηση ΑΠΥΜ µέ δοκιµή ευχρηστίας Συµπεράσµατα Βιβλιογραφία Κεφάλαιο 7. Συµπεράσµατα-προοπτικές Συµπεράσµατα Προτάσεις για µελλοντικές κατευθύνσεις Παραρτήµατα Σελίδα iv ιδακτορική διατριβή

5 Περιεχόµενα Παράρτηµα Α Παράρτηµα Β ιδακτορική διατριβή. v

6

7 Περίληψη Η παρούσα διατριβή πραγµατεύεται το πρόβληµα της αποτελεσµατικής αξιολόγησης της διεπιφάνειας χρήσης διαφορετικών κατηγοριών εκπαιδευτικού λογισµικού. Οι ιδιαιτερότητες του εκπαιδευτικού λογισµικού σε σχέση µε άλλες εφαρµογές, όπως εφαρµογές αυτοµατισµού, βιοµηχανικές εφαρµογές κ.α, στις οποίες κύρια έχει εστιάσει το πεδίο της επιστήµης αλληλεπίδρασης ανθρώπου υπολογιστή (ΑΑΥ), είναι σηµαντικές. Στα εκπαιδευτικά περιβάλλοντα, το ζητούµενο είναι η µάθηση και όχι η διεξαγωγή µιας εργασίας της οποίας οι βασικές αρχές είναι ήδη γνωστές στον τελικό χρήστη. Για το σκοπό αυτό, η διατριβή προτείνει µεθοδολογίες, εργαλεία και πρακτικές για το σχεδιασµό και την αξιολόγηση τόσο πολυµεσικών / υπερµεσικών συστηµάτων µάθησης όσο και ανοιχτών περιβαλλόντων µάθησης. Οι µέθοδοι αυτές, αποτελούν κύρια προσαρµογή διαδεδοµένων µεθόδων αξιολόγησης λογισµικού γενικού σκοπού, εµπλουτισµένες µε τις κατάλληλες προσαρµογές στα χαρακτηριστικά του εκπαιδευτικού λογισµικού καθώς επίσης και πρωτότυπα εργαλεία που υποβοηθούν την αξιολόγηση αυτή. Στα πλαίσια της διατριβής, προτείνεται επίσης ένα µεθοδολογικό πλαίσιο για την αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων που βασίζονται σε συµπεριφοριστικό γνωσιοθεωρητικό πλαίσιο µάθησης. Η εφαρµοσιµότητα του πλαισίου εξετάζεται σε αντίστοιχες µελέτες περίπτωσης. Παράλληλα, µε τη διερεύνηση της εφαρµοσιµότητας του προτεινόµενου πλαισίου αξιολόγησης, διερευνήθηκε η συσχέτιση ευχρηστίας και αποτελεσµατικότητας της εκπαιδευτικής διαδικασίας σε πείραµα συγκριτικής αξιολόγησης υπερµεσικών εφαρµογών της από απόσταση εκπαίδευσης. Ακόµη, προτείνεται και εφαρµόζεται γενική µεθοδολογία για την αξιολόγηση ευχρηστίας ανοιχτών περιβαλλόντων µάθησης (ΑΠΜ). Επειδή η φύση των διεργασιών στις οποίες εµπλέκεται ο µαθητής στα περιβάλλοντα αυτά είναι στενά συνδεδεµένη µε την διαδικασία µάθησης, το προτεινόµενο πλαίσιο δίνει έµφαση στην ανάλυση αυτών των διεργασιών και στην τροποποίηση σφαλµάτων της διεπιφάνειας χρήσης χωρίς να αποβαίνει σε βάρος της δυνατότητας για µάθηση που προσφέρει το περιβάλλον. Για το σκοπό αυτό προτείνεται πρωτότυπη µέθοδος ιεραρχικής ανάλυσης διεργασιών. Η µέθοδος αυτή χρησιµοποιεί ειδικές σηµειωτικές αναπαραστάσεις για την καταγραφή σφαλµάτων σε διεργασίες, περιγραφικούς όρους για την σύνταξη πλάνων που ορίζουν τους όρους εκτέλεσης των διεργασιών και συνδέει χαµηλού επιπέδου ενέργειες µε τα χρησιµοποιούµενα εργαλεία της διεπιφάνειας χρήσης. Το προτεινόµενο πλαίσιο υποστηρίζεται από εργαλεία που αναπτύχθηκαν και εφαρµόζεται σε δύο διαφορετικές µελέτες περίπτωσης. Παράλληλα µε τη διαπίστωση της ανάγκης κατασκευής εργαλείων για την υποβοήθηση της διαδικασίας αξιολόγησης ΑΠΜ, διερευνάται η επέκταση του προτεινόµενου πλαισίου µε χρήση τεχνικής µηχανικής µάθησης, των πιθανοτικών δικτύων πεποίθησης Bayes, σε δύο διαφορετικούς άξονες. Στον πρώτο, προτείνεται, εφαρµόζεται και αξιολογείται µια µέθοδος αυτόµατης αναγνώρισης στρατηγικών επίλυσης προβληµάτων σε ανοιχτά περιβάλλοντα µάθησης. Στον δεύτερο άξονα, σχεδιάστηκε, αναπτύχθηκε και αξιολογήθηκε άρθρωµα προσαρµοστικής υποστήριξης χρηστών (AΠΥΜ) για ΑΠΜ. ιδακτορική διατριβή. Σελίδα 1

8 Σελίδα 2 ιδακτορική διατριβή

9 Abstract This thesis deals with the problem of effective usability evaluation of different categories of educational software. There are special characteristics of educational software, compared to the characteristics of other applications such as office automation, industrial applications etc., on which the field of Human Computer Interaction (HCI) has primarily focused. In an educational environment, the goal is to learn and not to carry out a routine task with domain issues already known to the final user. For this goal, this thesis proposes methodologies, tools and practices for design and evaluation of multimedia/hypermedia based educational systems as well as open learning environments. These methods are primarily based on methods of usability evaluation of typical workplace software environments, suitably adapted to the characteristics of educational software as well as tools that assist this evaluation. In the frame of the thesis, a methodological framework for the evaluation of multimedia/hypermedia based educational systems that are based on behaviouristic frame of learning is proposed. The applicability of the framework is examined in corresponding case studies. At the same time, with the investigation of applicability of the proposed evaluation framework, the correlation between usability and educational effectiveness has been examined in a comparative evaluation experiment of two hypermedia-based distance learning applications. Subsequently, a general methodology for usability evaluation of open learning environments is proposed and applied. The nature of tasks and activities in which the student is engaged in those environments is closely interrelated with the process of learning, so the proposed framework gives emphasis in the analysis of those activities and in the appropriate modification of usability flaws - not in the expense of the learning quality of the environment. For this purpose, an innovative hierarchical task analysis method is proposed. This method uses special annotation of usability deviations directly onto tasks, descriptors for the syntax of plans and temporal relationships across tasks and relates low level tasks with the used tools. The proposed framework is supported by tools that were developed in the frame of this research and has been applied in two different case studies. The proposed framework has been extended with the use of probabilistic machine learning techniques, (Bayesian Belief Networks), along two different axes. First, a method of automatic recognition of problem solving strategies in open learning environments is proposed, applied and evaluated. In the second axis, an adaptive student support module has been developed and evaluated. ιδακτορική διατριβή. Σελίδα 3

10 Σελίδα 4 ιδακτορική διατριβή

11 ΚΕΦΑΛΑΙΟ 1 Κεφάλαιο 1. Εισαγωγή Στο κεφάλαιο αυτό προσδιορίζεται το αντικείµενο της διατριβής. Συγκεκριµένα, παρουσιάζoνται οι κύριοι στόχοι της ερευνητικής προσπάθειας, τα κύρια επιτεύγµατα, η συµβολή της διατριβής στο πεδίο που πραγµατεύεται, ενώ παράλληλα παρουσιάζεται η δοµή της διατριβής, καθώς επίσης και οι δηµοσιευθείσες εργασίες που την αποτελούν. ιδακτορική διατριβή. Σελίδα 5

12 Εισαγωγή 1.1.Εισαγωγή Αποτελεί κοινή διαπίστωση η σηµαντική διάδοση των υπολογιστών ως εργαλείο µε ποικίλες χρήσεις και εφαρµογές. Όµως η τεχνολογική αυτή επανάσταση δεν έχει επιδείξει την απαιτούµενη πρόοδο στην ανάπτυξη υπολογιστικών συστηµάτων που είναι συµβατά µε τις ανάγκες και τις ικανότητες των ανθρώπων χρηστών. ιαφαίνεται συνεπώς η ανάγκη της συστηµατικής µελέτης της αλληλεπίδρασης ανθρώπου και υπολογιστή (ΑΑΥ) µε σκοπό τη βελτιστοποίηση και απλοποίηση της επικοινωνίας αυτής, καθιστώντας τους υπολογιστές προσβάσιµους σε µεγαλύτερες οµάδες και περισσότερο λειτουργικούς και χρήσιµους. Ο Μιχάλης ερτούζος µίλησε για ανολοκλήρωτη επανάσταση τονίζοντας το γεγονός ότι οι υπολογιστές παρά τη σηµαντική συνεισφορά τους, παραµένουν δύσχρηστοι απαιτώντας σηµαντική προσπάθεια από την πλευρά του ανθρώπου για την αξιοποίησή τους και παρατηρώντας µια κατάσταση όπου συχνά ο άνθρωπος αναγκάζεται να υπηρετεί την µηχανή προκειµένου να επιδιορθώσει σφάλµατα και δυσλειτουργίες (Dertouzos, 2001). Η διείσδυση των υπολογιστών σχεδόν σε κάθε κοινωνική και οικονοµική δραστηριότητα, επηρέασε και το πεδίο της εκπαίδευσης. Στο πλαίσιο της πληροφορικής επανάστασης, διαπιστώθηκε η ανάγκη για περισσότερο ενεργητική διαδικασία µάθησης ώστε το άτοµο να είναι σε θέση να αντεπεξέλθει στις απαιτήσεις της νέας εποχής. Οι νέες τεχνολογίες προσφέρουν νέες λύσεις και προτάσεις ενσωµάτωσής τους στην εκπαιδευτική διαδικασία µε διάφορους τρόπους: εκπαιδευτικά συστήµατα βασισµένα σε πολυµέσα, ανοικτή και εξ αποστάσεως εκπαίδευση, παρέχοντας µια εναλλακτική /συµπληρωµατική πρόταση εκπαίδευσης µε σηµαντικά πλεονεκτήµατα αλλά και µειονεκτήµατα. Σηµαντικό ρόλο στην επιτυχία ενός εκπαιδευτικού συστήµατος βασισµένου σε υπολογιστή φαίνεται να διαδραµατίζει η αποτελεσµατική σχεδίαση της διεπιφάνειας χρήσης (user interface), που αποτελεί και το µέσο επικοινωνίας του χρήστη µε το σύστηµα και αντιστρόφως. Όµως παρά το γεγονός ότι τόσο το πεδίο της αλληλεπίδρασης ανθρώπου υπολογιστή όσο και της τεχνολογίας εκπαιδευτικού λογισµικού έχουν να παρουσιάσουν σηµαντικά ερευνητικά αποτελέσµατα, πολλές φορές φαίνεται να µην αξιοποιούνται τα αποτελέσµατα αυτά και να µην Σελίδα 6 ιδακτορική διατριβή

13 ΚΕΦΑΛΑΙΟ 1 συνδυάζονται τα πορίσµατα των δύο αυτών ερευνητικών περιοχών (Squires, 1999). Οι σύγχρονες θεωρίες µάθησης επηρεάζουν το σχεδιασµό εκπαιδευτικού λογισµικού και δηµιουργούν αρκετά ερωτήµατα όσον αφορά το σχεδιασµό των µελετών αξιολόγησής του. Τα συγκεκριµένα τεχνικά και παιδαγωγικά χαρακτηριστικά και ο προτιθέµενος τρόπος χρήσης και ενσωµάτωσης στη διαδικασία µάθησης, ενός εκπαιδευτικού περιβάλλοντος οφείλουν να επηρεάζουν το σχεδιασµό της αξιολόγησής του και τις χρησιµοποιούµενες µεθόδους. 1.2 Αντικείµενο της διατριβής Η παρούσα διατριβή µελετά το πρόβληµα της σχεδίασης και αξιολόγησης της ευχρηστίας σύγχρονων εκπαιδευτικών συστηµάτων. Επιχειρεί να προτείνει µεθοδολογίες, εργαλεία και πρακτικές για το σχεδιασµό και την αξιολόγηση τόσο πολυµεσικών / υπερµεσικών συστηµάτων µάθησης όσο και ανοιχτών περιβαλλόντων µάθησης. Οι µέθοδοι αυτές, αποτελούν κύρια προσαρµογή διαδεδοµένων µεθόδων αξιολόγησης λογισµικού οι οποίες έχουν προταθεί από το πεδίο αλληλεπίδρασης ανθρώπου υπολογιστή, εµπλουτισµένες µε τις κατάλληλες τροποποιήσεις καθώς επίσης και εργαλεία που υποβοηθούν την αξιολόγηση αυτή. Οι ιδιαιτερότητες του εκπαιδευτικού λογισµικού σε σχέση µε άλλα περιβάλλοντα εργασίας, όπως εφαρµογές αυτοµατισµού, βιοµηχανικές εφαρµογές κ.α, στα οποία κύρια έχει εστιάσει το πεδίο της επιστήµης αλληλεπίδρασης ανθρώπου υπολογιστή (ΑΑΥ), είναι σηµαντικές. Στα εκπαιδευτικά περιβάλλοντα, το ζητούµενο είναι η µάθηση και όχι η διεξαγωγή µιας διεργασίας, της οποίας οι βασικές αρχές που την διέπουν είναι ήδη γνωστές στον τελικό χρήστη. Ο µαθητής αλληλεπιδρά µε έννοιες ξεκινώντας από ένα επίπεδο γνώσης που τις αφορά και προσπαθεί να αλληλεπιδράσει µε τις προσφερόµενες έννοιες και εργαλεία του συστήµατος, βελτιώνοντας το επίπεδο. Το στυλ διάδρασης που εκδηλώνεται σε ένα εκπαιδευτικό σύστηµα διαφέρει σηµαντικά σε σχέση µε τα στυλ αλληλεπίδρασης στα οποία η επιστήµη ΑΑΥ έχει εστιάσει και αναλύσει έχοντας σαν άξονα αναφοράς τυπικούς χρήστες που εργάζονται σε περιβάλλοντα εργασίας. Επίσης, διαπιστώνεται ότι ενώ η έρευνα και η πρακτική τόσο στο τοµέα της τεχνολογίας εκπαιδευτικού λογισµικού όσο και στο πεδίο της ΑΑΥ έχει κάνει σηµαντική πρόοδο, σπανίως τα πεδία αυτά ανταλλάσσουν απόψεις και µεθόδους. Το αποτέλεσµα είναι, η απλή εφαρµογή ιδακτορική διατριβή. Σελίδα 7

14 Εισαγωγή µεθόδων από το πεδίο της ΑΑΥ για την αξιολόγηση τεχνολογικών εκπαιδευτικών περιβαλλόντων να παρουσιάζει τον κίνδυνο συναγωγής επιπόλαιων συµπερασµάτων. Για παράδειγµα, οι κοινωνικές-εποικοδοµιστικές (socio-constructivist) θεωρήσεις για τη γνώση και τη µάθηση προτάσσουν την διαδικασία αυτόβουλης κατασκευής γνώσης από τους µαθητές όπου ο πειραµατισµός και τα λάθη κατά τη διαδικασία αυτή κατέχουν πρωτεύοντα ρόλο. Η αλληλεπίδραση ανθρώπου υπολογιστή από την άλλη, πρεσβεύει ότι ο σχεδιασµός των συστηµάτων θα πρέπει να γίνει µε τρόπο ώστε να ελαχιστοποιηθεί κατά το δυνατόν η πιθανότητα εσφαλµένης χρήσης. Έτσι, η εξαιρετική απλοποίηση διεργασιών προς όφελος της ευχρηστίας της διεπιφάνειας παρουσιάζει τον κίνδυνο της µειωµένης συνεισφοράς τους στη διαδικασία µάθησης, µε αποτέλεσµα να µειώνεται η χρησιµότητα του εκπαιδευτικού περιβάλλοντος για τον µαθητή-χρήστη. Όπως φαίνεται, η αντιµετώπιση της ιδιαιτερότητας αυτής µπορεί να επιτευχθεί µέσω κατάλληλου συνδυασµού προτεινόµενων µεθόδων σχεδίασης και αξιολόγησης. Κατά συνέπεια, έµφαση έχει δοθεί στη κατασκευή πλαισίου αξιολόγησης που επιχειρεί να αναγνωρίσει και να απαλείψει προβλήµατα ευχρηστίας χωρίς να επηρεάζει τη διαδικασία µάθησης. Παράλληλα, σε άλλες κατηγορίες εκπαιδευτικού λογισµικού, οι απαιτήσεις δεν παρουσιάζονται τόσο σύνθετες επιτρέποντας την κατά συνθήκη χρησιµοποίηση διαφορετικών µεθόδων αξιολόγησης µε σχετικά µικρότερες απαιτήσεις ως προς την απαιτούµενη προσπάθεια από τη πλευρά του αξιολογητή. Οι µέθοδοι αυτές ελέγχονται για την αποτελεσµατικότητα, την αξιοπιστία και εγκυρότητα τους µέσα από τέσσερα κύρια πειράµατα αξιολόγησης ευχρηστίας εκπαιδευτικών περιβαλλόντων και αρκετά άλλα δευτερεύοντα, τα οποία περιγράφονται. Παράλληλα διερευνάται και η βοήθεια που προσφέρουν µέθοδοι µηχανικής µάθησης όπως τα πιθανοτικά δίκτυα πεποίθησης Bayes τόσο στην υποστήριξη των προτεινόµενων µεθοδολογιών, όσο και στην υποστήριξη και επαύξηση της ευχρηστίας της βοήθειας σε ανοιχτά περιβάλλοντα µάθησης. Η συµβολή της διατριβής στα αντίστοιχα ερωτήµατα που προκύπτουν µέσα από την διερεύνηση του προβλήµατος της αξιολόγησης ευχρηστίας των τεχνολογικών περιβαλλόντων µάθησης, περιγράφεται στην επόµενη ενότητα. Σελίδα 8 ιδακτορική διατριβή

15 ΚΕΦΑΛΑΙΟ Συµβολή της διατριβής Η διατριβή µελετά το πρόβληµα της αξιολόγησης της ευχρηστίας διαφόρων κατηγοριών σύγχρονου εκπαιδευτικού λογισµικού και προτείνει κατάλληλες µεθοδολογίες για την έγκυρη και αξιόπιστη αξιολόγησή τους. Τα επιµέρους προβλήµατα που διερευνώνται και επιχειρείται η αντιµετώπισή τους είναι: 1) Ο ορισµός και η πειραµατική χρήση γενικών µεθοδολογιών για την αξιολόγηση πολυµεσικών περιβαλλόντων µάθησης. Η προσέγγιση στην ανάπτυξη της κατηγορίας αυτής µαθησιακού λογισµικού βασίζεται στο θεωρητικό πλαίσιο του συµπεριφορισµού, προσέγγιση που παρατηρείται σε ένα σηµαντικό αριθµό εκπαιδευτικών συστηµάτων. Προτείνεται µεθοδολογικό πλαίσιο για την αξιολόγηση ευχρηστίας πολυµεσικών εκπαιδευτικών συστηµάτων. Η εφαρµοσιµότητα του πλαισίου εξετάζεται σε αντίστοιχη µελέτη περίπτωσης. Μέρος του πλαισίου αυτού αποτελεί µια προτεινόµενη µέθοδος αξιολόγησης τόσο διαµορφωτικού-ποιοτικού όσο και αθροιστικού-ποσοτικού χαρακτήρα, βασισµένη στην ευρετική αξιολόγηση (heuristic evaluation). Η µέθοδος αυτή φαίνεται να παράγει έγκυρα, αξιόπιστα και πλούσια αποτελέσµατα σε όρους ευρεθέντων σφαλµάτων και ποσοτικών αποτιµήσεων χαρακτηριστικών ευχρηστίας της διεπιφάνειας χρήσης εκπαιδευτικού λογισµικού, όπως προκύπτει από δύο ανεξάρτητες µελέτες περίπτωσης. 2) Ανάπτυξη γενικών µεθοδολογιών για την αξιολόγηση ευχρηστίας ανοιχτών περιβαλλόντων µάθησης. Το θεωρητικό πλαίσιο του οικοδοµισµού πάνω στο οποίο βασίζεται η κατηγορία αυτή των εκπαιδευτικών περιβαλλόντων εισάγει ερωτήµατα για την καταλληλότητα των υπαρχόντων µεθοδολογιών αξιολόγησης. Η διατριβή υποστηρίζει ότι η αποτίµηση της ευχρηστίας ενός τέτοιου περιβάλλοντος σε συνδυασµό µε τις δυνατότητες µάθησης που προσφέρει στον µαθητή, είναι µια σύνθετη διαδικασία. Η ανάγκη κατασκευής ενός πλαισίου αξιολόγησης ευχρηστίας προέκυψε από τη διαπίστωση των ιδιαιτεροτήτων που παρουσιάζουν τα ανοιχτά περιβάλλοντα µάθησης, που βασίζονται στο θεωρητικό πλαίσιο του εποικοδοµητισµού. Επειδή η φύση των διεργασιών στις οποίες εµπλέκεται ο µαθητής στα περιβάλλοντα αυτά είναι στενά συνδεδεµένη µε την διαδικασία µάθησης, το προτεινόµενο πλαίσιο δίνει έµφαση στην ανάλυση αυτών των διεργασιών και στην τροποποίηση σφαλµάτων της διεπιφάνειας χρήσης χωρίς να αποβαίνει σε βάρος της δυνατότητας για µάθηση που προσφέρει το περιβάλλον. Στον άξονα αυτό προτείνεται ιδακτορική διατριβή. Σελίδα 9

16 Εισαγωγή ένα συνδυαστικό πλαίσιο αξιολόγησης, µε κεντρικό άξονα µία νέα µέθοδος ανάλυσης διεργασιών, βασισµένη στην ιεραρχική ανάλυση διεργασιών (Hierarchical Task Analysis) για την αξιολόγηση ανοιχτών περιβαλλόντων µάθησης. Η µέθοδος αυτή χρησιµοποιεί ειδικές σηµειωτικές αναπαραστάσεις για την καταγραφή σφαλµάτων σε διεργασίες, ελαστικούς (flexible) και περιγραφικούς (descriptive) όρους για την σύνταξη πλάνων που ορίζουν τους όρους εκτέλεσης των διεργασιών και συνδέει χαµηλού επιπέδου ενέργειες µε τα χρησιµοποιούµενα εργαλεία της διεπιφάνειας χρήσης. Το προτεινόµενο πλαίσιο υποστηρίζεται από τα εργαλεία που αναπτύχθηκαν και εφαρµόζεται σε δύο διαφορετικές µελέτες περίπτωσης. 3) Ανάπτυξη εργαλείων που υποβοηθούν τη διαδικασία συλλογής και ανάλυσης δεδοµένων κατά τη διαδικασία της αξιολόγησης ευχρηστίας. Έλλειψη εργαλείων που υποστηρίζουν την διαδικασία αξιολόγησης, διαπιστώνεται τόσο γενικά στο πεδίο ΑΑΥ, όσο και ειδικότερα στην αξιολόγηση εκπαιδευτικού λογισµικού (Myers, 1995). Στα πλαίσια της διατριβής, αναπτύχθηκαν και χρησιµοποιήθηκαν εργαλεία που υποστηρίζουν την κατασκευή, µορφοποίηση και αποθήκευση µοντέλων ανάλυσης διεργασιών. Επίσης, στα εργαλεία αυτά παρέχονται λειτουργίες αυτόµατης ανάλυσης των µοντέλων σε πέντε συνιστώσες: στόχοι, χρήστες, στρατηγικές, εργαλεία της διεπιφάνειας και καταγεγραµµένα προβλήµατα ευχρηστίας. Επίσης αναπτύχθηκαν εργαλεία για τη συλλογή και ανάλυση δεδοµένων από παρατηρήσεις πεδίου ή δοκιµών ευχρηστίας, όπως χαµηλού επιπέδου καταγεγραµµένα γεγονότα αλληλεπίδρασης, στιγµιότυπα οθονών διεπιφάνειας χρήσης και µαγνητοσκοπηµένες συνεδρίες. Παράπλευρα µε τη διαπίστωση ανάγκης κατασκευής εργαλείων για την υποβοήθηση της διαδικασίας αξιολόγησης, διερευνάται η χρήση τεχνικής µηχανικής µάθησης από δεδοµένα, των πιθανοτικών δικτύων πεποίθησης Bayes, σε δύο διαφορετικούς άξονες. Στον πρώτο, προτείνεται µια µέθοδος αυτόµατης αναγνώρισης στρατηγικών επίλυσης προβληµάτων σε ανοιχτά περιβάλλοντα µάθησης. Η εφαρµογή της µεθόδου εµφάνισε υψηλό ποσοστό αποτελεσµατικότητας, καταλήγοντας στο συµπέρασµα ότι πιθανές εφαρµογές της φαίνεται να είναι σηµαντικές. Στον δεύτερο άξονα, σχεδιάστηκε, αναπτύχθηκε και αξιολογήθηκε άρθρωµα προσαρµοστικής υποστήριξης χρηστών (AΠΥΜ) για ένα ανοικτό περιβάλλον µάθησης. Τα αποτελέσµατα ήταν σηµαντικά όπως προκύπτει από την σχετική αξιολόγηση, οδηγώντας σε αποτελεσµατική προσαρµογή της θεµατικής βοήθειας ανάλογα µε την εκτιµηθείσα επόµενη ενέργεια του χρήστη. Η διατριβή υποστηρίζει ότι ένα αποδοτικότερο και προσαρµοστικό σύστηµα υποβοήθησης χρηστών αυξάνει έµµεσα Σελίδα 10 ιδακτορική διατριβή

17 ΚΕΦΑΛΑΙΟ 1 την παιδαγωγική αξία του περιβάλλοντος καθώς συµβάλλει στη διαφάνεια του εργαλείου, σε πιο οµαλή ροή εκτέλεσης των διεργασιών και ενισχύει τη δυνατότητα εκµάθησης σύνθετων εργαλείων που συνήθως περιλαµβάνονται στα ανοικτά περιβάλλοντα µάθησης. 4) Επιπροσθέτως, διερευνήθηκε η συσχέτιση ευχρηστίας και αποτελεσµατικότητας της εκπαιδευτικής διαδικασίας. Σχετικά, διεξήχθη ένα πείραµα ευρείας κλίµακας που έλαβε χώρα στο Τµήµα ΗΜΤΥ του Παν. Πατρών µε στόχο την µέτρηση της ευχρηστίας του συστήµατος αυτο-αξιολόγησης σπουδαστή ενός κόµβου παροχής υπηρεσιών από απόσταση εκπαίδευσης. Στη διάρκεια του πειράµατος χρησιµοποιήθηκαν δύο διαφορετικά λογισµικά µε παρόµοια λειτουργικότητα και διαφορετική υλοποίηση. Η στατιστική ανάλυση των αποτελεσµάτων της αξιολόγησης ανέδειξε την συσχέτιση µεταξύ της ευχρηστίας των συστηµάτων και της επίδοσης των φοιτητών, θέτοντας νέα ερωτήµατα σχετικά µε την ευρύτερη επίδραση της ευχρηστίας της διεπιφάνειας χρήσης ενός εκπαιδευτικού περιβάλλοντος συνολικά στο µαθησιακό αποτέλεσµα. Όπως φαίνεται από τα παραπάνω, πέρα από τη διερεύνηση της καταλληλότητας των υπαρχόντων µεθόδων αξιολόγησης, σκοπός της διατριβής ήταν η πρόταση νέων µεθόδων ανάλογα µε τον τύπο του εκπαιδευτικού περιβάλλοντος και η κατασκευή εργαλείων που καθιστούν αποτελεσµατικότερη και αποδοτικότερη την εφαρµογή τους. 1.4 ιάρθρωση της διατριβής Η διατριβή διαρθρώνεται στα εξής κεφάλαια: Στο κεφάλαιο 1, παρουσιάζονται το αντικείµενο της διατριβής, η συνεισφορά της, η διάρθρωσή της και οι δηµοσιεύσεις που παρήχθησαν. Στο κεφάλαιο 2, εισάγονται οι βασικές αρχές του επιστηµονικού πεδίου Επικοινωνίας Ανθρώπου Υπολογιστή. Παρουσιάζονται οι βασικοί ορισµοί της ευχρηστίας λογισµικού και της διεπιφάνειας χρήσης, των επιστηµονικών πεδίων που συνεισφέρουν στην ανάπτυξη του πεδίου, καθώς επίσης µια συνοπτική αναφορά των βασικότερων µεθόδων αξιολόγησης ευχρηστίας. Στη συνέχεια, γίνεται αναφορά στο εκπαιδευτικό λογισµικό, οι µορφές στις οποίες αυτό παρουσιάζεται καθώς και οι βασικές παιδαγωγικές θεωρίες που το υποστηρίζουν. Τέλος εισάγεται το πρόβληµα ιδακτορική διατριβή. Σελίδα 11

18 Εισαγωγή της διατριβής: ποιες είναι οι ιδιαιτερότητες της αξιολόγησης ευχρηστίας σε ένα εκπαιδευτικό περιβάλλον-σύστηµα και πως η τεχνολογία ευχρηστίας είναι εφικτό να συνδυαστεί µε τις απαιτήσεις αυτών. Παράλληλα παρουσιάζεται η τρέχουσα κατάσταση, ενώ τέλος περιγράφονται οι προτεινόµενες προσεγγίσεις για κάθε µια από τις περιπτώσεις. Στο κεφάλαιο 3, προτείνεται µεθοδολογική προσέγγιση για την αξιολόγηση ευχρηστίας πολυµεσικών εκπαιδευτικών συστηµάτων και ένα πείραµα µεγάλης κλίµακας µε στόχο να εξετάσει την ευχρηστία ως διαχωρίζουσα παράµετρο της επίδοσης των σπουδαστών σε ένα διαδικτυακό περιβάλλον µάθησης. Η προσέγγιση στην ανάπτυξη του λογισµικού βασίζεται στο θεωρητικό πλαίσιο του συµπεριφορισµού, προσέγγιση που παρατηρείται σε σηµαντικό αριθµό εκπαιδευτικών συστηµάτων. Παρουσιάζεται η µεθοδολογική προσέγγιση και τα αποτελέσµατα της εφαρµογής της για την αξιολόγηση εκπαιδευτικού λογισµικού. Η διεξαγωγή και ανάλυση του πειράµατος κατέδειξε την εφαρµοσιµότητα των µεθόδων σε παρόµοιου τύπου εκπαιδευτικό λογισµικό. Επίσης µέσα από τη διαδικασία αξιολόγησης πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης, προέκυψε το ερώτηµα διερεύνησης ευχρηστίας ως παραµέτρου διαφοροποίησης της επίδοσης των σπουδαστών σε ένα διαδικτυακό περιβάλλον µάθησης. Σχετικά περιγράφεται ένα πείραµα ευρείας κλίµακας που διεξήχθη στο Τµήµα ΗΜΤΥ του Παν. Πατρών, µε στόχο την µέτρηση της ευχρηστίας του συστήµατος αξιολόγησης σπουδαστή ενός κόµβου παροχής υπηρεσιών από απόσταση εκπαίδευσης. Παρουσιάζονται τα πειραµατικά αποτελέσµατα από την αξιολόγηση επιλεγµένων χαρακτηριστικών ενός κόµβου από απόσταση εκπαίδευσης. Στη διάρκεια του πειράµατος χρησιµοποιήθηκαν δύο διαφορετικά λογισµικά µε παρόµοια λειτουργικότητα και διαφορετική υλοποίηση. Η ανάλυση των αποτελεσµάτων της αξιολόγησης ανέδειξε την συσχέτιση µεταξύ της ευχρηστίας των συστηµάτων και της επίδοσης των φοιτητών. Στο κεφάλαιο 4, παρουσιάζεται το πρόβληµα της αξιολόγησης των ανοιχτών περιβαλλόντων µάθησης. Η ανάγκη κατασκευής ενός πλαισίου αξιολόγησης ευχρηστίας προέκυψε από τη διαπίστωση των ιδιαιτεροτήτων που παρουσιάζουν, καθώς ο σχεδιασµός τους στηρίζεται στο συνδυασµό κοινωνικών και εποικοδοµιστικών προσεγγίσεων για τη γνώση και τη µάθηση και η συµπεριφορά των µαθητών µέσα σε αυτά δεν είναι προβλέψιµη. Κατά συνέπεια, για την αξιολόγησή τους προτείνεται ένα πλαίσιο το οποίο συνδυάζει την ευρετική µέθοδο αξιολόγησης, τη µέθοδο αξιολόγησης πεδίου και την αξιολόγηση βασισµένη σε Σελίδα 12 ιδακτορική διατριβή

19 ΚΕΦΑΛΑΙΟ 1 µοντέλο χρήστη κατασκευασµένα µε τη χρήση µιας νέας µεθόδου η οποία αποτελεί προσαρµογή της ιεραρχικής ανάλυσης διεργασιών (Hierarchical Task Analysis). Η µέθοδος αυτή χρησιµοποιεί ειδικές σηµειωτικές αναπαραστάσεις για την καταγραφή σφαλµάτων σε διεργασίες και όρους για την σύνταξη πλάνων που περιγράφουν την σειρά εκτέλεσης των διεργασιών και συνδέει χαµηλού επιπέδου ενέργειες µε τα χρησιµοποιούµενα εργαλεία της διεπιφάνειας χρήσης. Η διατριβή υποστηρίζει ότι µια µέθοδος ανάλυσης διεργασιών είναι αναγκαία για την έγκυρη αξιολόγηση ανοιχτών περιβαλλόντων µάθησης σε συνδυασµό µε τις δυνατότητες µάθησης που προσφέρουν στον χρήστη. Για την υποστήριξη αυτών των µεθόδων δηµιουργήθηκαν νέα εργαλεία τα οποία παρουσιάζονται σε συνδυασµό µε ενδεικτικά παραδείγµατα, τα οποία σχολιάζονται κριτικά και συγκρίνονται µεταξύ τους. Στο κεφάλαιο 5, παρουσιάζεται η εφαρµογή του πλαισίου και η αξιολόγηση δύο ανοικτών περιβαλλόντων µάθησης που αφορούν στο πειραµατισµό µε γεωµετρικές έννοιες που προορίζεται για τις πρώτες τάξεις του γυµνασίου καθώς και στην κατασκευή µοντέλων-αναπαραστάσεων φαινοµένων του πραγµατικού κόσµου. Παρουσιάζονται συνοπτικά τα περιβάλλοντα αυτά, οι συνθήκες αξιολόγησης των περιβαλλόντων καθώς επίσης και τα συµπεράσµατα που προκύπτουν για την εφαρµοσιµότητα της προτεινόµενης µεθόδου. Στο κεφάλαιο 6, παρουσιάζονται οι δυνατότητες αξιοποίησης µιας µεθόδου µηχανικής µάθησης, των πιθανοτικών δικτύων πεποίθησης Bayes (Bayesian Belief Networks-BBN) στο πεδίο ΑΑΥ. Όπως προκύπτει από τις δύο ανεξάρτητες µελέτες περίπτωσης, η προσέγγιση προβληµάτων -που άπτονται ζητηµάτων ευχρηστίας και αξιολόγησης λογισµικού σε εκπαιδευτικά περιβάλλοντα- µε χρήση BBN φαίνεται να οδηγεί σε πολυπλεύρως αξιοποιήσιµα αποτελέσµατα. Στη πρώτη µελέτη περιγράφεται µια µέθοδος αυτόµατης αναγνώρισης στρατηγικών επίλυσης προβληµάτων σε ανοιχτά περιβάλλοντα µάθησης, µε τη χρήση ΒΒΝ. Η µέθοδος εµφάνισε υψηλό ποσοστό αποτελεσµατικότητας και οι πιθανές εφαρµογές της φαίνεται να είναι σηµαντικές. Στη δεύτερη µελέτη σχεδιάστηκε, αναπτύχθηκε και αξιολογήθηκε ένα άρθρωµα προσαρµοστικής υποστήριξης χρηστών (AΠΥΜ) για ένα ανοικτό περιβάλλον µάθησης. Η αρχιτεκτονική του ΑΠΥΜ βασίστηκε σε ένα BBN. Και στη µελέτη αυτή τα αποτελέσµατα ήταν σηµαντικά οδηγώντας σε προσαρµογή της θεµατικής βοήθειας ανάλογα µε την εκτιµηθείσα επόµενη ενέργεια του χρήστη. ιδακτορική διατριβή. Σελίδα 13

20 Εισαγωγή 1.5 ηµοσιευθείσες εργασίες Οι εργασίες οι οποίες προέκυψαν από το ερευνητικό έργο που περιγράφεται στη διατριβή αυτή είναι οι ακόλουθες: ηµοσιεύσεις σε περιοδικά/ κεφάλαια βιβλίων. [B1] Tselios N. K. and Avouris N. M., (2001). Cognitive Task modeling for system design and evaluation in non-routine task domains. In Erik Hollnagel's (Senior editor), Handbook of Cognitive Task Design. Lawrence Erlbaum Associates, Inc. (accepted for publication). [J1] Avouris, N.M., Tselios, N.K., Tatakis, E.C. (2001). Development and evaluation of a computer-based laboratory teaching tool. Journal Computer Applications in Engineering Education, vol. 9 (1), March pp [J2] Tselios N., Avouris N., Dimitracopoulou A., Daskalaki S. (2001). Evaluation of Distance-learning Environments: Impact of Usability on Student Performance. International Journal of Educational Telecommunications, 7(4), pp [J3] Tselios, N.K, Avouris, N.M., Kordaki M. (2002). Student task modeling in design and evaluation of open-problem solving environments. Journal of Education and Information Technologies,(accepted for publication) ηµοσιεύσεις σε συνέδρια µε κρίση. [C1] Αβούρης Ν., Τσέλιος Ν.Κ. (1998). Συµπεράσµατα από ευριστική αξιολόγηση εκπαιδευτικού λογισµικού: Εφαρµογή σε λογισµικό υποστήριξης εργαστηριακών µαθηµάτων. Συνέδριο Infoworld, Aθήνα, [C2] Avouris N., Tselios N, Tatakis E.,(1999) Computer assisted teaching of electrical machines: software evaluation techniques. Electromotion conference, Patras [C3] Kordaki, Μ., Avouris, Ν. M., Tselios, Ν. K. (2000). Tools and methodologies for evaluation of open learning environments, Proceedings of 2nd Panhellenic Conference with International Participation on Information and Telecommunication Technologies in Education, Patras, October 2000 (in Greek). Σελίδα 14 ιδακτορική διατριβή

21 ΚΕΦΑΛΑΙΟ 1 [C4] Tselios, N.K, Avouris, N.M., Fotopoulos, E. (2000). Usability evaluation of educational software supporting distance learning, Proceedings 2nd Panhellenic Conference with International Participation on Information and Telecommunication Technologies in Education, pp , Patras, October 2000 (in Greek). [C5] Αβούρης, Ν.Μ., Σολωµός, Κ., Τσέλιος Ν.K. (2001). Το διαδίκτυο ως εργαλείο παροχής ανοικτής και εξ-αποστάσεως εκπαίδευσης: εναλλακτικοί µηχανισµοί ελέγχου ποιότητας. 1ο Πανελλήνιο Συνέδριο για την Ανοικτή και εξ Αποστάσεως Εκπαίδευση, Πάτρα [C6] Tselios, Ν.K., Maragoudakis, M., Avouris, Ν.M., Fakotakis, N., Kordaki, Μ. (2001). Automatic diagnosis of student problem solving strategies using Bayesian Networks. 5th Panhellenic conference in mathematics and informatics in education, Thessaloniki, October 2001 (in Greek). [C7] Tselios, N.K., Feidas, C., Avouris, N.M. (2001). Usability evaluation of web based applications. Proceedings of 8th Panhellenic Conference on Informatics, pp , Nicosia, Cyprus, 8-10 November [C8] Tselios, N.K, Avouris, N.M., Kordaki, M. (2001). Cognitive modeling tool : supporting student interaction modeling of open problem solving educational environments. In Avouris, N.M., Fakotakis N., (eds.) Advances in Human Computer Interaction 2001, proceedings of 1st Panhellenic Conference with International participation, pp December, 2001, Patras, Greece. [C9] Stoica, A., Tselios N.K., Fidas, C. (2001). Adaptive user support in educational environments: A Bayesian Network approach. In Avouris, N.M., Fakotakis, N., (eds.) Advances in Human Computer Interaction 2001, proceedings of 1st Panhellenic Conference with International participation, pp , 7-9 December, 2001, Patras, Greece. [C10] Maragoudakis, M., Tselios, N.K., Fakotakis, N., Avouris, N.M. (2002). Improving SMS usability using Bayesian Networks. In 2nd Hellenic Conference On Artificial Intelligence (SETN-2002),11-12 April 2002, Thessaloniki,Greece. [C11] Tselios, N.K., Avouris, N.M. (2002). Recognizability of iconic representations in educational software. Information and Communication Technologies In Education, 3rd Hellenic Conference with International Participation, 26th-29th September 2002, Rhodes, Greece (In greek, submitted). [C12] Tselios, N.K., Komninou, M., Avouris, N.M. (2002). Usability of Educational Software. Information and Communication Technologies In Education, ιδακτορική διατριβή. Σελίδα 15

22 Εισαγωγή 3rd Hellenic Conference with International Participation, 26th-29th September 2002, Rhodes, Greece (In greek, submitted) Κατοχυρωµένες ευρεσιτεχνίες. [P1] Τσέλιος Ν., Μαραγκουδάκης Μ., Αβούρης Ν., Φακωτάκης Ν. (2002). Μέθοδος και συσκευή επαύξησης ευχρηστίας συγγραφής µηνυµάτων σε συσκευές µε αριθµό πλήκτρων µικρότερο από τον αριθµό των συµβόλων γλώσσας (Κατατεθειµένη-υπό έγκριση) Βιβλιογραφία. Dertouzos, M. (2001). The unfinished Revolution. Harper Collins Publication. Squires, D., (1999). Usability and Educational Software Design: Special Issue of Interacting with Computers, Editorial, Interacting with computers, v.11, n.5, 1999, pp Myers, B.A. (1995). User interface software tools. ACM transactions on Computer Human Interaction 2, 1, pp Σελίδα 16 ιδακτορική διατριβή

23 ΚΕΦΑΛΑΙΟ 2 Κεφάλαιο 2. Το πρόβληµα της αλληλεπίδρασης χρηστών µε εκπαιδευτικό λογισµικό Στο κεφάλαιο αυτό εισάγονται οι βασικές αρχές του επιστηµονικού πεδίου Αλληλεπίδρασης Ανθρώπου-Υπολογιστή. Παρουσιάζονται οι βασικοί ορισµοί της ευχρηστίας λογισµικού και της διεπιφάνειας χρήσης, των επιστηµονικών πεδίων που συνεισφέρουν στην ανάπτυξη του πεδίου, καθώς επίσης µια συνοπτική αναφορά των βασικότερων µεθόδων αξιολόγησης ευχρηστίας. Στη συνέχεια, γίνεται αναφορά στο εκπαιδευτικό λογισµικό, στις µορφές στις οποίες αυτό παρουσιάζεται καθώς και στις βασικές παιδαγωγικές θεωρίες που το υποστηρίζουν. Τέλος εισάγεται το πρόβληµα της διατριβής: ποιες είναι οι ιδιαιτερότητες της αξιολόγησης ευχρηστίας σε ένα εκπαιδευτικό περιβάλλον-σύστηµα και πως η τεχνολογία ευχρηστίας είναι εφικτό να συνδυαστεί µε τις απαιτήσεις αυτών. Παράλληλα παρουσιάζεται η σχετική προβληµατική που υφίσταται στη βιβλιογραφία, ενώ τέλος περιγράφονται αδρά οι προτεινόµενες προσεγγίσεις για κάθε µια από τις περιπτώσεις. ιδακτορική διατριβή. Σελίδα 17

24 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης 2.1.Εισαγωγή Σηµαντικός αριθµός συγγραµµάτων σχετικών µε το πεδίο της αλληλεπίδρασης ανθρώπου υπολογιστή, εισάγουν το αντικείµενο στον αναγνώστη παραθέτοντας γεγονότα σχετικά µε την εξέλιξη της διείσδυσης των υπολογιστών, στην καθηµερινότητα και στην ανατροπή συνηθειών, διεξαγωγής διεργασιών και τρόπου εργασίας που αυτή έχει επιφέρει. Αναντιρρήτως, η εισαγωγή των υπολογιστών έχει απλουστεύσει σηµαντικά -ή και απαλείψει- διάφορες επίπονες εργασίες και έχει βελτιώσει τις συνθήκες εργασίας πολλών ανθρώπων. Στον αντίποδα, πολλές νέες µονότονες εργασίες έχουν καθιερωθεί µερικώς εξαιτίας της εισαγωγής των υπολογιστών (για παράδειγµα εισαγωγή στοιχείων). Μια µελέτη µεγάλης κλίµακας των Aronson et al. (1988), εξέτασε 3000 χρήστες υπολογιστών. Τα πορίσµατα της µελέτης, κατέδειξαν ότι πολλοί χρήστες παρουσίασαν προβλήµατα όρασης, και µυϊκά προβλήµατα στους ώµους, στο λαιµό και στα χέρια. Επίσης πολλοί εξ αυτών παρουσίασαν ψυχολογικά προβλήµατα. Η µελέτη δεν κατέδειξε συστηµατική συσχέτιση των προβληµάτων αυτών µε το περιβάλλον εργασίας, αλλά µε τη ποσότητα της δουλειάς, τον τύπο της εργασίας και τη λειτουργικότητα των υπολογιστικών συστηµάτων. Όπως είναι φανερό, τέτοιες µελέτες αύξησαν σηµαντικά το ενδιαφέρον για βαθύτερη και συστηµατικότερη µελέτη θεµάτων σχετικών µε την Αλληλεπίδραση Ανθρώπου Υπολογιστή. Το πέρασµα στην ψηφιακή εποχή (κατά άλλους στην κοινωνία της πληροφορίας) θα πρέπει να οδηγηθεί από τις ανάγκες και τις δυνατότητες των ανθρώπων και όχι από την ίδια την εξέλιξη της τεχνολογίας (Norman 1996). Σηµαντικό στοιχείο µελέτης σε ένα τυπικό υπολογιστικό σύστηµα είναι η διεπιφάνεια χρήσης (user interface) που µπορεί να περιγραφεί ως η απεικόνιση και η συµπεριφορά ενός πληροφοριακού συστήµατος (το µόνο µέρος του συστήµατος µε το οποίο ο χρήστης έρχεται σε απ ευθείας επαφή). Στους πρώτους υπολογιστές, δεν υπήρχε η ανάγκη, αλλά συχνά ούτε η δυνατότητα να δοθεί σηµαντική έµφαση στο σχεδιασµό και την υλοποίηση της διεπιφάνειας χρήσης. Οι σχεδιαστικές επιλογές ήταν περιορισµένες, όπως επίσης και η διαθέσιµη υπολογιστική ισχύς. Η χρήση στυλ απ ευθείας αλληλεπίδρασης δεν ήταν διαδεδοµένη σε αντίθεση µε τις διεπιφάνειες γραµµών εντολών (command line interfaces). Παράλληλα, οι χρήστες των συστηµάτων ήταν άνθρωποι µε υψηλή εξειδίκευση, πολύ συχνά δε οι ίδιοι οι Σελίδα 18 ιδακτορική διατριβή.

25 ΚΕΦΑΛΑΙΟ 2 προγραµµατιστές. Κατά συνέπεια, το ερώτηµα της χρησιµότητας και της ευχρηστίας του παραγόµενου συστήµατος για πιθανούς χρήστες µε διαφορετικά χαρακτηριστικά, παρουσίαζε συχνά θεωρητική και µόνο αξία. Το γεγονός ότι η πληροφορική και το πεδίο ΑΑΥ χρησιµοποιούν η µια τα πορίσµατα της άλλης, γεγονός που εκφράζει την ανάλογη σηµασία τους συχνά παραγνωρίζεται. Το πεδίο ΑAY έχει καθιερωθεί την τελευταία δεκαετία ως µία από τις 9 θεµελιώδεις ενότητες του προγράµµατος σπουδών Πληροφορικής και Υπολογιστών, σύµφωνα µε το πρότυπο της κοινής οµάδας ACM/IEEE. Αν και υπάρχει µια αυξανόµενη συνειδητοποίηση της σηµασίας της µελέτης της ΑΑΥ, σήµερα, ειδικά στην εφαρµοζόµενη πρακτική τεχνολογίας λογισµικού, οι τεχνικοί περιορισµοί είναι ακόµα κυρίαρχοι (Rubin, 1994, Dix et al., 1998). Παράλληλα ο Αβούρης (2001), επισηµαίνει τη περιορισµένη έµφαση στο πεδίο στην ελληνική πραγµατικότητα, παρατηρώντας την έλλειψη σχετικών συγγραµµάτων. Σήµερα, τα περισσότερα υπολογιστικά συστήµατα και οι αντίστοιχες διεπιφάνειες χρήσης, σχεδιάζονται (και) για χρήστες µε χαµηλό βαθµό εξοικείωσης και γνώσεων υπολογιστών. Παράλληλα όµως η ζεύξη της επιστήµης των υπολογιστών µε τις τηλεπικοινωνίες και η δηµιουργία νέων µέσων (διαδίκτυο, κινητή τηλεφωνία) επιτείνει το πρόβληµα της αποτελεσµατικής σχεδίασης εύχρηστων διεπιφανειών. Η διαπίστωση αυτή ισχύει και για τη σχεδίαση και αξιολόγηση εκπαιδευτικού λογισµικού που εξακολουθεί να αποτελεί πρόκληση για το πεδίο της ΑΑΥ (Soloway et al., 1994, Squires, 1999, Sedig et al., 2001). Οι κύριες αιτίες παρουσιάζονται διεξοδικά στη συνέχεια. Προηγουµένως, εισάγονται οι βασικές αρχές του επιστηµονικού πεδίου ΑΑΥ. Παρουσιάζονται οι θεµελιώδεις ορισµοί της ευχρηστίας λογισµικού και της διεπιφάνειας χρήσης, καθώς επίσης µια συνοπτική αναφορά των βασικότερων µεθόδων αξιολόγησης ευχρηστίας. Στη συνέχεια, συζητείται το εκπαιδευτικό λογισµικό, οι µορφές στις οποίες αυτό παρουσιάζεται καθώς και οι βασικές παιδαγωγικές θεωρίες που το υποστηρίζουν. Τέλος, αναλύονται οι ιδιαιτερότητες της αξιολόγησης ευχρηστίας σε ένα τεχνολογικό εκπαιδευτικό περιβάλλον ανάλογα µε τη φύση του και το θεωρητικό-παιδαγωγικό πλαίσιο στο οποίο στηρίζεται. ιδακτορική διατριβή. Σελίδα 19

26 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης 2.2 Θεµελιώδεις ορισµοί Ευχρηστία λογισµικού Ο πιο συνεκτικός ορισµός της έννοιας ευχρηστία (usability) είναι αυτός που περιέχεται στο σχετικό πρότυπο ISO/DIS , που περιγράφει την ευχρηστία σαν την ικανότητα του συστήµατος να εκπληρώνει τις προσδοκίες του χρήστη. Πιο συγκεκριµένα η ευχρηστία ορίζεται ως: «Ο βαθµός στον οποίο ένα σύστηµα µπορεί να χρησιµοποιηθεί από συγκεκριµένους χρήστες προκειµένου να επιτευχθούν συγκεκριµένοι στόχοι µε αποτελεσµατικότητα, αποδοτικότητα και ικανοποίηση σε ένα συγκεκριµένο πλαίσιο χρήσης». Η αποτελεσµατικότητα µετράται µε βάση τους συγκεκριµένους στόχους καθώς και την πληρότητα και ακρίβεια εκτέλεσης αυτών. Η αποδοτικότητα αποτελεί την αποτελεσµατικότητα επίτευξης των στόχων προς τους απαιτούµενους πόρους. Η ικανοποίηση αφορά στην αποδοχή και την άνεση εκτέλεσης των διεργασιών. Ο ως άνω ορισµός ακυρώνει τον συχνά χρησιµοποιούµενο και σχετικώς επιπόλαιο όρο της «φιλικότητας προς τον χρήστη». Ο Nielsen (1993) ασκεί κριτική στον όρο αυτό αναφέροντας ότι αυτό που πραγµατικά χρειάζονται οι χρήστες δεν είναι µηχανές-φίλους, αλλά µηχανές οι οποίες δεν θα αποτελούν εµπόδιο στην προσπάθειά τους να επιτελέσουν µια διεργασία. Παράλληλα, δίνει έµφαση στο γεγονός ότι χρήστες µε διαφορετικά χαρακτηριστικά έχουν διαφορετικές ανάγκες και απαιτήσεις χρήσης, µε αποτέλεσµα µε βάση τον ορισµό αυτό, µια µηχανή να είναι φιλική για ένα χρήστη και µη φιλική για άλλον. Ο Nielsen (1993), προτείνει εναλλακτικά τον όρο χρησιµότητα (usefulness) που σχετίζεται µε την ικανότητα του συστήµατος να χρησιµοποιηθεί για την επίτευξη ενός συγκεκριµένου σκοπού. Αυτή αποτελεί επιθυµητή ιδιότητα κάθε διαδραστικού συστήµατος που συµβάλλει τα µέγιστα στην αποδοχή του και επιτυχή χρήση του από τους χρήστες του. Σύµφωνα µε τον ορισµό του Grudin (1992), η χρησιµότητα ενός συστήµατος αναλύεται σε δύο έννοιες: Την ωφέλεια που µας παρέχει (utility) και την ευχρηστία (usability) του. Η ωφέλεια αφορά την λειτουργικότητα του συστήµατος και η ευχρηστία την ευκολία µε την οποία οι χρήστες αποκτούν τη λειτουργικότητα αυτή. Οι δύο έννοιες είναι βεβαίως αλληλένδετες άλλα δεν προϋποθέτει η µία την άλλη. Έτσι ένα υπολογιστικό σύστηµα µπορεί να έχει υψηλή λειτουργικότητα αλλά να είναι έτσι σχεδιασµένο ώστε να απαιτεί ιδιαίτερες ικανότητες για την χρήση του, µακρά εκπαίδευση κλπ, δηλαδή να µην είναι εύχρηστο. Σελίδα 20 ιδακτορική διατριβή.

27 ΚΕΦΑΛΑΙΟ 2 Αν επικεντρωθούµε στην έννοια της ευχρηστίας, αυτή περιγράφεται µε βάση 5 βασικές παραµέτρους (Nielsen, 1993): Ευκολία και ταχύτητα εκµάθησης χρήσης του συστήµατος Υψηλή απόδοση εκτέλεσης των λειτουργιών του Ικανότητα διατήρησης της ικανότητας χρήσης του συστήµατος µε την πάροδο του χρόνου από τον χρήστη Μικρός αριθµός εσφαλµένων χειρισµών κατά την χρήση του συστήµατος και εύκολος τρόπος ανάνηψης από αυτά Υποκειµενική ικανοποίηση των χρηστών από την επαφή τους µε το σύστηµα Οι παράµετροι αυτές έχουν περαιτέρω οριστεί και µπορούν να ποσοτικοποιηθούν, ώστε να µετασχηµατιστούν σε στόχους ευχρηστίας (Usability Objectives) κατά την φάση σύνταξης προδιαγραφών του εκπαιδευτικού λογισµικού και στη συνέχεια να αποτελέσουν µετρήσιµες παραµέτρους κατά την φάση αξιολόγησης του συστήµατος. Οι παράµετροι αυτές εξακολουθούν να διέπουν και την έννοια της ευχρηστίας στο εκπαιδευτικό λογισµικό µε τη διαφορά ότι η έννοια της προσδοκώµενης ωφέλειας στην περίπτωση αυτή διαφέρει. Το εκπαιδευτικό λογισµικό, µπορεί να κριθεί ωφέλιµο για τον χρήστη αν συµβάλλει στη διαδικασία µάθησης και όχι αν επιτρέπει την εκτέλεση συγκεκριµένων τυπικών εργασιών µε αποδοτικότερο τρόπο. Συνέπεια του γεγονότος αυτού, είναι σε ορισµένες περιπτώσεις η αύξηση της ευχρηστίας της διεπιφάνειας χρήσης να επηρεάζει αρνητικά τη διαδικασία µάθησης, αφού στην περίπτωση αυτή σενάρια χειρισµού εννοιών του γνωστικού αντικειµένου που απλουστεύονται σηµαντικά προς αύξηση της αποτελεσµατικότητας και της αποδοτικότητας, δεν συµβάλλουν στο µαθησιακό αποτέλεσµα. Έτσι, όπως συζητείται στις ενότητες 2.6 και 2.7, στο εκπαιδευτικό λογισµικό η έννοια της ευχρηστίας συνδέεται περισσότερο στενά µε την έννοια της ωφέλειας, µε αποτέλεσµα να χρήζει µελέτης συνυπολογίζοντας την ιεπιφάνεια χρήσης Η έννοια της διεπιφάνειας χρήσης είναι ζωτικής σηµασίας για το πεδίο της επικοινωνίας ανθρώπου υπολογιστή, εντούτοις στην βιβλιογραφία δεν χρησιµοποιείται ένας κοινά αποδεκτός ορισµός. Οι ορισµοί συγκλίνουν, στο επίπεδο της αφαίρεσης που προσδίδεται στη θεώρηση της έννοιας. ιδακτορική διατριβή. Σελίδα 21

28 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Σύµφωνα µε τον Norman (1986), η διεπιφάνεια χρήσης είναι το φυσικό και εννοιολογικό όριο ανάµεσα στον άνθρωπο και στον υπολογιστή. Μέσω της διεπιφάνειας αυτής ο άνθρωπος εκτελεί εντολές και παρέχει δεδοµένα στον υπολογιστή ενώ αντίστοιχα προσλαµβάνει ανάδραση για το αποτέλεσµα των ενεργειών του στην κατάσταση του συστήµατος καθώς και πληροφορίες από τον υπολογιστή. Οι Preece et al. (1994), δεν χαρακτηρίζουν την διεπιφάνεια ως ένα διαχωριστικό σηµείο αλλά περισσότερο ως µέσο επικοινωνίας. Έτσι ορίζουν ως διεπιφάνεια όλες τις πλευρές του συστήµατος µε τις οποίες ο χρήστης έρχεται σε επαφή. Αυτές µπορεί να είναι µια γλώσσα εισόδου, µια γλώσσα εξόδου για τη µηχανή καθώς και ένα πρωτόκολλο για τον διάλογο µεταξύ του ανθρώπου και του υπολογιστή. Ο Αβούρης (2000), ορίζει την διεπιφάνεια χρήσης ως το µέσο που διευκολύνει την επικοινωνία και την αλληλεπίδραση των δύο διαφορετικών οντοτήτων του συστήµατος ανθρώπου υπολογιστή. Σε µια περισσότερο ανθρωποκεντρική θεώρηση οι Moran, (1981) και Van der Veer (1990), υποστηρίζουν ότι η διεπιφάνεια χρήσης πρέπει πρωτίστως να θεωρηθεί ως το µέσο που παρέχεται στον χρήστη προκειµένου να εκτελέσει τις στοιχειώδεις εργασίες. Υπό το πρίσµα αυτό η διεπιφάνεια χρήσης ορίζεται ως το επίπεδο γνώσης που απαιτείται από τους χρήστες προκειµένου να εκτελέσουν επιτυχώς τις στοιχειώδεις εργασίες µε ένα υπολογιστικό σύστηµα. 2.3.Επιστηµονικά πεδία που διαµορφώνουν τις αρχές της επιστήµης ΑΑΥ Το πεδίο της ΑΑΥ, είναι εκτενές. Εµπεριέχει την ανάγκη για κατανόηση του πως οι άνθρωποι σκέφτονται και επεξεργάζονται την πληροφορία, πως συνεργάζονται κατά τη διάρκεια µιας διεργασίας, πως σχεδιάζονται συστήµατα για να υποστηρίξουν τους χρήστες. Στόχος είναι η κατασκευή µοντέλων και µεθοδολογιών για τον αποτελεσµατικότερο σχεδιασµό και αξιολόγηση διαδραστικών συστηµάτων και για το σκοπό αυτό αξιοποιεί γνώση από διάφορα επιστηµονικά πεδία όπως γνωστική ψυχολογία, επιστήµη των υπολογιστών, κοινωνιολογία, ανάλυση συστηµάτων και βιοµηχανικού σχεδιασµού. Σελίδα 22 ιδακτορική διατριβή.

29 ΚΕΦΑΛΑΙΟ 2 Η επιστήµη ΑΑΥ συσχετίζεται µε την επιστήµη υπολογιστών δεδοµένου ότι και τα δύο πεδία έχουν ως αντικείµενο µελέτης υπολογιστικά συστήµατα. Η πληροφορική από περισσότερο τεχνική σκοπιά, στο σκέλος του σχεδιασµού και τη δηµιουργία λογισµικού, ενώ από την άλλη η ΑΑΥ µελετά τα χαρακτηριστικά της επικοινωνίας των παραγόµενων υπολογιστικών συστηµάτων µε τον άνθρωπου. Έτσι παρουσιάζεται µια σχέση ενεργούς αλληλεξάρτησης, µε τα πορίσµατα και τις ανάγκες της µίας να αποτελούν περιορισµούς για την άλλη, περιορίζοντας το σύνολο των αποτελεσµατικών σχεδιαστικών λύσεων. Στο πλαίσιο αυτό, η πληροφορική παρέχει γνώση και λύσεις όπως οι συσκευές που επιτρέπουν τη διάδραση µε το υπολογιστικό σύστηµα, εργαλεία για ανάπτυξη διεπιφανειών χρήσης υπολογιστικών συστηµάτων, καθώς και τεχνικές για ανάπτυξη ευφυών και προσαρµοζόµενων συστηµάτων αλληλεπίδρασης (τεχνητή νοηµοσύνη και µέθοδοι µηχανικής µάθησης). Η χρησιµότητα των µεθόδων αυτών στο στόχο της βελτίωσης της ποιότητας της διεπιφάνειας χρήσης σε τεχνολογικά εκπαιδευτικά περιβάλλοντα, αναλύεται και αποδεικνύεται στο κεφάλαιο 6. Η γνωστική ψυχολογία ως επιστήµη έχει σκοπό την διερεύνηση των διανοητικών διαδικασιών που υποστηρίζουν τις γνωστικές ικανότητες. Οι γνωστικοί ψυχολόγοι επιχειρούν να δώσουν γενικές απαντήσεις σε ερωτήµατα όπως οι µηχανισµοί που υποστηρίζουν τις γνωστικές διεργασίες, τους µηχανισµούς αποκοµιδής και επεξεργασίας της πληροφορίας και να διερευνήσουν γνωστικές λειτουργίες όπως αντίληψη, αναγνώριση, αποθήκευση και ανάκληση πληροφορίας, κατανόηση, συµπερασµό και επίλυση προβληµάτων. Από την άποψη αυτή, τα πορίσµατα της επηρεάζουν βαθιά το πεδίο ΑΑΥ, καθώς ερµηνεύουν τις δυνατότητες και τους περιορισµούς του ανθρώπινου παράγοντα στο πλαίσιο του δίπολου άνθρωπος-υπολογιστής. Για παράδειγµα, η θεωρία βαθµίδων (Stage Theory, Gleitman, 1991), που αποτελεί µοντέλο λειτουργίας της ανθρώπινης µνήµης, εκτιµά ότι οι άνθρωποι αποθηκεύουν πληροφορία σε µια βραχυχρόνια ή µακροχρόνια µνήµη. Η ανθρώπινη βραχυχρόνια µνήµη µπορεί να διαχειριστεί περιορισµένο µέγεθος πληροφορίας. Με βάση πλήθος µελετών, η χωρητικότητα αυτή προσδιορίστηκε σε εφτά διακριτά τµήµατα πληροφορίας,συν/ πλην δύο (Waugh and Norman, 1965). Αντιθέτως, η µακροχρόνια µνήµη έχει εξαιρετικά µεγάλη χωρητικότητα και η ανάκληση πληροφορίας από αυτή µπορεί να πυροδοτηθεί από γεγονότα-εξωτερικά ερεθίσµατα όπως µια λέξη, ήχος, οπτικό ερέθισµα ή µια οσµή. ιδακτορική διατριβή. Σελίδα 23

30 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Η ανακάλυψη της λειτουργίας της ανθρώπινης µνήµης παρουσιάζει σηµαντικές επιπτώσεις στο σχεδιασµό διεπιφανειών χρήσης. Λόγω της περιορισµένης χωρητικότητας της βραχύβιας µνήµης, όλη η απαιτούµενη πληροφορία για τη λήψη µιας απόφασης ή µιας απαιτούµενης διεργασίας πρέπει να παρουσιάζεται την κατάλληλη στιγµή στον χρήστη (Lind, 1991, Nielsen, 1993). ιαφορετικά, ο χρήστης αναγκάζεται να αποθηκεύσει πληροφορία στη βραχύβια µνήµη ή να κρατάει σηµειώσεις που επιβαρύνουν την αποδοτικότητα της διεργασίας και οδηγούν σε µη απαραίτητη επιβάρυνση και γνωστικό φόρτο. Ένα απλουστευµένο µοντέλο της ανθρώπινης επεξεργασίας πληροφοριών εισάγει την προσέγγιση ότι οι γνωστικές διαδικασίες µπορούν να λειτουργήσουν σε διαφορετικά επίπεδα συνειδητοποίησης (Rasmussen, 1983, Reason, 1987). Σε ένα συνειδητό γνωστικό επίπεδο, είναι δυνατόν να αντιµετωπιστεί µια διαδικασία σε κάθε χρονική στιγµή. Το επίπεδο αυτό χρησιµοποιείται για περίπλοκες γνωστικές λειτουργίες : ανάγνωση και κατανόηση της σηµασιολογίας της πληροφορίας και για επίλυση σύνθετων προβληµάτων. Στα χαµηλότερα γνωστικά επίπεδα, είναι δυνατό να αντιµετωπιστούν οι διαδικασίες παράλληλα και σε ένα µεγάλο µέρος αυτόµατα χωρίς να απαιτείται σηµαντική γνωστική προσπάθεια. Ο διαδοχικός χειρισµός των συχνά εµφανιζόµενων στοιχειωδών εργασιών µπορεί να τους αυτοµατοποιήσει στα χαµηλότερα γνωστικά επίπεδα εάν παρουσιάζονται µε συνέπεια (consistency) (Schneider and Shiffrin, 1977, Shiffrin and Dumais, 1981). Σύµφωνα µε το µοντέλο ανθρώπινης επεξεργασίας πληροφοριών, το πλέον υψηλό γνωστικό επίπεδο του χρήστη θα πρέπει να µην απασχολείται µε ζητήµατα της διεπιφάνειας χρήσης και να είναι ελεύθερο για την επίλυση των σχετικών µε την εργασία προβληµάτων (Nygren et al., 1992). Η διαπίστωση αυτή έχει σηµαντική αξία και για το εκπαιδευτικό λογισµικό ειδικότερα, όπου ο στόχος δεν είναι η βελτιστοποίηση της αποτελεσµατικότητας και αποδοτικότητας διεξαγωγής µιας διεργασίας, αλλά η εµπλοκή του χρήστη-µαθητή µε γνωστικές έννοιες, η βαθύτερη κατανόηση τους στο πλαίσιο του γνωστικού αντικειµένου, ο συλλογισµός και αναστοχασµός πάνω στις έννοιες αυτές (Ormrod, 1995). Κατά συνέπεια η διαδικασία χειρισµού του εκπαιδευτικού περιβάλλοντος, θα πρέπει να απασχολεί χαµηλότερα γνωστικά επίπεδα, αφήνοντας ελεύθερο το υψηλότερο επίπεδο να εµπλακεί αποκλειστικά µε τη διαδικασία κατανόησης του γνωστικού αντικειµένου. Η διαδικασία κατασκευής διάφανων διεπιφανειών χρήσης επηρεάζεται αντίστοιχα από τη µελέτη των µηχανισµό που διέπουν την αντίληψη (Gleitman, 1991, Σελίδα 24 ιδακτορική διατριβή.

31 ΚΕΦΑΛΑΙΟ 2 Matlin and Foley, 1977, Solso, 1991), επηρεάζοντας τη λήψη αποφάσεων σχετικά µε τη χρήση χρωµάτων, τύπων χαρακτήρων, µέγεθος χαρακτήρων και αντικειµένων, και την οµαδοποίηση των πληροφοριών στην οθόνη προκειµένου να βελτιστοποιηθούν εργασίες όπως η αναζήτηση και ανάγνωση. Οι πεπειραµένοι χρήστες αποκωδικοποιούν συχνά εµφανιζόµενα πρότυπα που παρουσιάζουν κάποιο σηµασιολογικό περιεχόµενο γρήγορα (Nygren et al., 1992). Εάν οι οµάδες των αντικειµένων έχουν πάντα την ίδια χωρική θέση στην οθόνη, ο χρήστης κατασκευάζει γρήγορα γνώση σχετικά µε τη διάταξη της διεπιφάνειας. Επίσης κοινά χαρακτηριστικά σε πρότυπα, όπως µοναδικό κοινό χρώµα ή σχήµα, διευκολύνουν τη διαδικασία αναγνώρισης από το χρήστη και τελικά συνολικά τη διαφάνεια της διεπιφάνειας χρήσης ως προς την επιτελούµενη εργασία. Οι µεθοδολογικές προσεγγίσεις του πεδίου της γνωστικής ψυχολογίας, βασίζονται κύρια στη διεξαγωγή εµπειρικών µελετών µε στόχο την αξιολόγηση µεθοδικών θεωρητικών ή και υπολογιστικών µοντέλων των διαφόρων στοιχείων που απαρτίζουν τις γνωστικές διεργασίες. Πολλές εξ αυτών επηρεάζουν, ταυτόχρονα µε τα πορίσµατά της τις µεθοδολογίες αξιολόγησης διεπιφανειών χρήσης, όπως φαίνεται στην ενότητα Μοντέλα αλληλεπίδρασης ανθρώπου υπολογιστή Τα µοντέλα επεξεργασίας της πληροφορίας που προσλαµβάνει ο άνθρωπος από το περιβάλλον που προτείνει η γνωστική ψυχολογία, καθώς και τα πορίσµατα της γνωστικής εργονοµίας που αποτελούν τη µελέτη της ανθρώπινης συµπεριφοράς που απορρέει από τη χρήση γνωστικών εργαλείων και συσκευών, έδωσαν το έναυσµα για την αντίστοιχη προσαρµογή και πρόταση τέτοιων µοντέλων για την πληρέστερη κατανόηση των διεργασιών που διέπουν την αλληλεπίδραση. Σε µια κοινή υψηλού επιπέδου θεώρηση, τα µοντέλα αυτά περιγράφουν την αλληλεπίδραση µε έναν υπολογιστή περιλαµβάνοντας διαφορετικά στάδια της ανθρώπινης συµπεριφοράς, όπως η διατύπωση µιας πρόθεσης και η εκτέλεση µιας ενέργειας, και τα διαφορετικά επίπεδα δραστηριότητας, όπως η πρόθεση να βελτιωθεί ένα κείµενο και η πρόθεση πίσω από κάθε χαµηλού επιπέδου ενέργεια, όπως η φυσική εκτέλεση µιας εντολής (Norman, 1986). ιδακτορική διατριβή. Σελίδα 25

32 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Σύµφωνα µε τον Norman (1988), οι χρήστες πρέπει να εφαρµόσουν τη γνώση τους για το υπολογιστικό σύστηµα, σε µορφή µορφή διανοητικής αναπαράστασης, ώστε να αναγνωρίσουν τη διαφορά µεταξύ της παρούσας κατάστασης και ενός στόχου µέσα στο πεδίο ενδιαφέροντος του χρήστη. Μόλις αυτή αναγνωρισθεί, ο χρήστης πρέπει να επινοήσει ένα πλάνο για να ελαττώσει τη διαφορά αυτή, και να αναδιατυπώσει το πλάνο βάσει των περιορισµών που εισάγει η διεπιφάνεια χρήσης στην αλληλεπίδραση. Μετά από την εκτέλεση των εντολών, ο χρήστης επαναληπτικά πρέπει να εφαρµόσει τη γνώση του για το σύστηµα για να µετασχηµατίσει τα στοιχεία ανατροφοδότησης από την διεπιφάνεια χρήσης σε σηµαντικές πληροφορίες-ερµηνεία για την επιτυχία ή την αποτυχία της επίτευξης του στόχου στο πεδίο ενδιαφέροντος. Τα πλέον σηµαντικά µοντέλα που προτάθηκαν και στήριξαν την παραγωγή µεθόδων εκτίµησης της ευχρηστίας της διεπιφάνειας χρήσης είναι το µοντέλο του ανθρώπινου επεξεργαστή ( Model Human Processor), καθώς και το µοντέλο των επτά σταδίων του Norman. Τα µοντέλα αυτά παρουσιάζουν σηµαντικό ενδιαφέρον για την κατανόηση της αλληλεπίδρασης του χρήστη-µαθητή µε ένα τεχνολογικό εκπαιδευτικό περιβάλλον και συζητώνται πιο αναλυτικά στις ενότητες και Μοντέλο Norman Ο Norman (1986) περιγράφει την αλληλεπίδραση µε ένα µοντέλο επτά σταδίων στοχοκεντρικών δραστηριοτήτων χρηστών. Ένας χρήστης εκτελεί µια στοιχειώδη εργασία µε την πρόθεση να επιτύχει έναν στόχο. Αυτή η πρόθεση µεταφράζεται σε µια ενέργεια, η οποία εν συνεχεία εκτελείται (π.χ. ο χρήστης πιέζει ένα πλήκτρο στο πληκτρολόγιο). Η ενέργεια µπορεί να προκαλέσει µια αλλαγή στην κατάσταση του υπολογιστή, η οποία γίνεται αντιληπτή και ερµηνεύεται από το χρήστη. Στη συνέχεια, ο χρήστης αξιολογεί την κατάσταση αυτή µε άξονα τους στόχους και τις προθέσεις του. Τα επτά στάδια του κύκλου αλληλεπίδρασης κατά Norman αφορούν τις ακόλουθες νοητικές λειτουργίες: Ορισµός επόµενου στόχου Σχηµατισµός της πρόθεσης για δράση που είναι απαραίτητη για την επίτευξη του στόχου Προσδιορισµός της ακολουθίας ενεργειών που αντιστοιχεί στη σχηµατισθείσα πρόθεση Εκτέλεση της ακολουθίας ενεργειών Σελίδα 26 ιδακτορική διατριβή.

33 ΚΕΦΑΛΑΙΟ 2 Αντίληψη της νέας κατάστασης του συστήµατος η οποία προέκυψε λόγω της ενέργειας του χρήστη Εξήγηση της κατάστασης, όπως την έχει αντιληφθεί ο χρήστης Εκτίµηση της σχέσης της νέας κατάστασης µε τον τεθέντα στόχο και την πρόθεση του χρήστη. Οι πιθανές δυσκολίες κατά την εργασία µε το σύστηµα περιγράφονται ως "χάσµατα" εκτέλεσης και αξιολόγησης. Το χάσµα εκτέλεσης συµβαίνει όταν ο χρήστης γνωρίζει ποιους στόχους επιθυµεί και χρειάζεται να επιτύχει αλλά δεν ξέρει ποιες φυσικές µεταβλητές της διεπιφάνειας να χειριστεί, ή µε ποιο τρόπο να ρυθµιστούν. Το χάσµα της αξιολόγησης λαµβάνει χώρα όταν η κατάσταση του συστήµατος έχει αλλάξει, συνήθως λόγω της ενέργειας του χρήστη, αλλά ο χρήστης δεν µπορεί εύκολα να αντιληφθεί την απόκριση του συστήµατος. Αυτές οι δυσκολίες οφείλονται στη σχεδίαση της διεπιφάνειας χρήσης και στην εσφαλµένη κατανόηση της φύσης της διεργασίας από πλευράς του σχεδιαστή. Στο εκπαιδευτικό λογισµικό, τα χάσµατα αυτά, θα πρέπει να ελαχιστοποιηθούν, χωρίς να επηρεάζεται η διαδικασία αναστοχασµού πάνω στις έννοιες του γνωστικού πεδίου. Η χρήση του εκπαιδευτικού περιβάλλοντος θα πρέπει να είναι αποτελεσµατική και αποδοτική, απαιτώντας µικρή προσπάθεια από τον µαθητή και εµπειρικές γνωστικές ικανότητες (experiental cognition, Norman, 1993) και µόνο. Παράλληλα όµως θα πρέπει να απαιτούνται αναστοχαστικές γνωστικές λειτουργίες (reflective cognition) για την διεξαγωγή διεργασιών που εµπλέκονται µε τη διαχείριση και τον µετασχηµατισµό εννοιών του γνωστικού πεδίου, εµπεριέχοντας παράλληλα δυνατότητες σύγκρισης και προσωπικών αποφάσεων (Kolb, 1984, Langer, 1997, Norman, 1993) Μοντέλο ανθρώπινου επεξεργαστή Το 1983, οι Card et al. (1983), διατυπώνουν τη θεωρία του µοντέλου ανθρώπινου επεξεργαστή (Model Human Processor), η οποία περιγράφει την αλληλεπίδραση του ανθρώπου µε τον υπολογιστή ως αποτέλεσµα επεξεργασίας της πληροφορίας από τον εγκέφαλο του ανθρώπου µε άξονα τρία συστήµατα: το αντιληπτικό, το γνωστικό και το µηχανικό. Η αρχιτεκτονική του µοντέλου συνοψίζεται στα εξής: Ο άνθρωπος λαµβάνει πληροφορία (οπτικά και ακουστικά) από το σύστηµα η οποία επεξεργάζεται στον αντιληπτικό επεξεργαστή και εν συνεχεία ρέει στην ανθρώπινη µνήµη εργασίας (που αποτελεί ενεργό τµήµα της ιδακτορική διατριβή. Σελίδα 27

34 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης συνολικής µακροχρόνιας µνήµης). Μέσω της διαδικασίας αναγνώρισης και δράσης του γνωστικού επεξεργαστή, ο χρήστης αναγνωρίζει και επιλέγει την επιθυµητή αλληλεπίδραση-ενέργεια που υφίσταται στην µακροχρόνια µνήµη του. Στο τέλος ενός τέτοιου κύκλου, το περιεχόµενο της µνήµης εργασίας µεταβάλλεται και σαν συνέπεια του γεγονότος αυτού, ενεργοποιείται ο µηχανικός επεξεργαστής µε τελικό αποτέλεσµα ο χρήστης να δίνει εντολές στο σύστηµα που αντανακλούν το πλάνο εργασίας που επιθυµεί να υλοποιήσει. Το µοντέλο αυτό χρησιµοποιεί 3 επεξεργαστές, 4 ειδών µνήµες, 19 παραµέτρους που σχετίζονται µε αυτές καθώς και 10 κανόνες που περιγράφουν τη λειτουργία του. Η χρησιµότητα του µοντέλου αυτού έγκειται στο γεγονός ότι µε τη χρήση του οι σχεδιαστές µπορούν να απορρίψουν σε αρχικά στάδια σχεδιασµούς που οδηγούν σε εκτιµήσεις φτωχής ευχρηστίας, εκτιµώντας το χρόνο που χρειάζονται για να επιτελέσουν διεργασίες σε κάθε µια από αυτή. Φυσική συνέπεια της µοντελοποίησης των χρηστών σαν πληροφοριοκεντρικά επεξεργαστικά συστήµατα είναι και η προσπάθεια που έγινε να τυποποιηθεί η αλληλεπίδραση που υφίσταται προκειµένου να ολοκληρωθούν διεργασίες σε ένα σύστηµα. Το µοντέλο που πρότειναν, GOMS, (Goals,Operators,Methods, Selections) αποτελεί τη µοντελοποίηση της γνωστικής δοµής που απαιτείται να έχει ένας πεπειραµένος χρήστης για να ολοκληρώσει µια διεργασία, επιµερισµένο σε Στόχους, Χειρισµούς (ενέργειες που γνωρίζει ήδη ο χρήστης να εκτελεί), Μεθόδους ( ακολουθίες υπο-στόχων και χειρισµών που εκτελεί για να επιτελέσει στόχους) και Κανόνων Επιλογής (κριτήρια για να επιλέξει µεταξύ διαφορετικών στόχων). Κατά τη διαδικασία δόµησης ενός τέτοιου µοντέλου, αυτό περιγράφεται ιεραρχικά, µε αφαιρετικό τρόπο (unit task level) καταλήγοντας σε χαµηλό, µονοσήµαντα ορισµένο επίπεδο πληκτρολογήσεων (Keystroke level model) (Card et al., 1980), το οποίο µε τη χρήση προ-εκτιµηµένων σταθερών για κάθε ενέργεια οδηγεί σε υπολογισµό του χρόνο εκτέλεσης κάθε διεργασίας µε εναλλακτικούς τρόπους. Οι µέσοι προτεινόµενοι χρόνοι έχουν υπολογιστεί από διάφορες εργασίες που έλαβαν χώρα στο διάστηµα (John and Kieras, 1996). Για παράδειγµα, ο µέσος χρόνος που απαιτείται για την πίεση ενός πλήκτρου στο πληκτρολόγιο έχει υπολογιστεί σε 230 ms, η τοποθέτηση των χεριών στο ποντίκι (από το πληκτρολόγιο) σε 360 ms, ο χρόνος αντίληψης ενός γεγονότος από τον χρήστη σε 100 ms και η ανάκληση από την µνήµη σε 1200 ms (Card et al., 1983). Σελίδα 28 ιδακτορική διατριβή.

35 ΚΕΦΑΛΑΙΟ 2 Ενδιάµεσα στάδια είναι και το λειτουργικό επίπεδο (functional level), καθώς και το συνοπτικό επίπεδο (argument level). Σηµαντικό εύρηµα που ενθάρρυνε τους Card, Moran, Newell να προτείνουν τη καθιέρωση της GOMS σαν ένα σηµαντικό γενερικό- µοντέλο ανάλυσης και σχεδιασµού, ήταν το γεγονός ότι κατά τη διάρκεια των ερευνών τους στο Xerox Parc πάνω στην επεξεργασία κειµένου ανακάλυψαν ότι ακόµα και σχετικά ακατέργαστες µοντελοποιήσεις GOMS αρκούσαν για να δώσουν εύστοχες εκτιµήσεις (Card and Moran, 1986). Κατά συνέπεια εκτιµούν ότι µε µεγάλη πιθανότητα θα υπάρχει σηµαντική ωφέλεια από τέτοιου είδους µοντελοποιήσεις, ακόµη και αν δεν περιγράφουν σε εξαντλητικό βαθµό όλες τις διεργασίες γεγονός που, όπως οµολογούν, απαιτεί σηµαντικό χρόνο. Τα σηµαντικά αποτελέσµατα από την εφαρµογή της µεθόδου GOMS οδήγησαν σε µια εστίαση στις σχετικές θεωρίες και την πρόταση εναλλακτικών αναλυτικών µεθόδων σχεδιασµού και αξιολόγησης, όπως περιγράφεται στην ενότητα Σε συνδυασµό δε µε την προσέγγιση του Norman (1993) αλλά και της εποικοδοµιστικής θεωρίας, για τις διαδικασίες που διέπουν την µάθηση η διατριβή εστίασε στην κατασκευή αντίστοιχης µεθόδου ανάλυσης εργασιών που παρουσιάζεται στα κεφάλαια 4 και 5. Στα επόµενα επιχειρείται µια συνολική επισκόπηση του προβλήµατος αξιολόγησης ευχρηστίας λογισµικού, µε έµφαση στις µεθοδολογίες που διαφαίνονται ως κατάλληλες για αξιολόγηση τεχνολογικών περιβαλλόντων µάθησης όπως περιγράφεται στις ενότητες 2.6 και Αξιολόγηση ευχρηστίας λογισµικού Στην ενότητα αυτή, πριν περιγραφούν τα επιµέρους προβλήµατα αξιολόγησης ευχρηστίας εκπαιδευτικού λογισµικού, επιχειρείται µια ανασκόπηση της περιοχής ευχρηστίας λογισµικού Το πρόβληµα της αξιολόγησης Οι µέθοδοι για την αξιολόγηση της ποιότητας της αλληλεπίδρασης ανθρώπουυπολογιστή µπορούν να χωριστούν, σε µεθόδους εξέτασης χρηστών (user testing methods), οι οποίες διεξάγονται µε τη συµµετοχή χρηστών, και µεθόδους επιθεώρησης ευχρηστίας (usability inspection methods), χωρίς τη συµµετοχή χρηστών. Σύµφωνα µε τον Rubin (1994), κάθε πείραµα αξιολόγησης ευχρηστίας λογισµικού απαιτεί προσεκτικό σχεδιασµό και διατύπωση συγκεκριµένων ιδακτορική διατριβή. Σελίδα 29

36 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης επιθυµητών στόχων που πρέπει να πληρεί. Οι στόχοι αυτοί έχουν άµεση σχέση µε το προφίλ των τυπικών χρηστών του συστήµατος, οι οποίοι πρέπει να έχουν σαφώς προσδιοριστεί κατά τον σχεδιασµό του συστήµατος και να περιγράφονται µαζί µε το πλαίσιο τυπικής χρήσης του. Έτσι για την µέτρηση της ευχρηστίας ενός συστήµατος θα πρέπει να καταγραφούν τα στοιχεία αυτά (τα οποία σύµφωνα µε τις αρχές χρηστοκεντρικού σχεδιασµού (user-centered design) θα πρέπει να έχουν ληφθεί υπόψη των σχεδιαστών κατά τη φάση ανάπτυξης του συστήµατος). Τα υποκείµενα που θα χρησιµοποιηθούν για την µέτρηση ευχρηστίας του συστήµατος θα πρέπει να ανταποκρίνονται στο προφίλ που έχει καθοριστεί και να χρησιµοποιούν το σύστηµα σε συνθήκες πραγµατικές ή προσοµοιούµενης τυπικής χρήσης του. Οι χρήστες του προς αξιολόγηση λογισµικού θα πρέπει να χωριστούν σε οµογενείς οµάδες και τα χαρακτηριστικά τους να καταγραφούν. Υπενθυµίζεται ότι µία ή περισσότερες οµάδες χρηστών του συστήµατος είναι οι άµεσοι χρήστες (χειριστές) αλλά µπορεί ανάλογα µε την περίπτωση να υπάρχουν και άλλες διακριτές οµάδες, όπως οι υπεύθυνοι εγκατάστασης του σε υπολογιστικές διατάξεις και σύνδεσης του µε περιφερειακές συσκευές, οι υπεύθυνοι συντήρησής του κλπ. Η καταγραφή των οµάδων αυτών και η µέτρηση αντίστοιχων δεικτών ευχρηστίας που τους αφορούν µπορεί να αποκαλύψουν ατέλειες του συστήµατος, όπως η έλλειψη σαφών οδηγιών εγκατάστασης του λογισµικού, ή η ανάγκη ειδικών γνώσεων για τη συντήρηση του. Επιχειρώντας µια οµαδοποίηση των µεθοδολογιών αξιολόγησης, µπορεί να διακρίνει κανείς τρεις µεγάλες κατηγορίες: τις µεθόδους επιθεώρησης από ειδικούς σε θέµατα αλληλεπίδρασης ανθρώπου υπολογιστή (usability inspection methods), τις µεθόδους ελέγχου και δοκιµής από χρήστες (user testing methods), και αναλυτικών µεθόδων αξιολόγησης (analytic methods) που περιγράφονται συνοπτικά στις ενότητες Κατά περίπτωση, ένα µεθοδολογικό πλαίσιο αξιολόγησης ευχρηστίας δύναται να χρησιµοποιεί συνδυασµό µεθόδων, ανάλογα µε τα χαρακτηριστικά του προς αξιολόγηση λογισµικού. Πολλές φορές ένας συνδυασµός µεθόδων επιθεώρησης από ειδικούς και µεθόδων ελέγχου και δοκιµής από χρήστες εµφανίζεται χρήσιµος και αποδοτικός. Οι πρώτες µπορούν να αναγνωρίσουν ένα αριθµό λαθών στα πρώτα στάδια του κύκλου σχεδίασης και ανάπτυξης και µια µέθοδος δοκιµής µε τη συµµετοχή χρηστών, όταν υπάρχει πρωτότυπο µπορεί να ολοκληρώσει τον κύκλο της αξιολόγησης (Nielsen, 1993). Παράλληλα, φαίνεται ότι διαφορετικές µέθοδοι Σελίδα 30 ιδακτορική διατριβή.

37 ΚΕΦΑΛΑΙΟ 2 παρουσιάζουν υψηλή συµπληρωµατικότητα παρά επικάλυψη στα προβλήµατα ευχρηστίας που ανακαλύπτουν Μέθοδοι αξιολόγησης από ειδικούς Σύµφωνα µε τους Lewis και Rieman (1994), το βασικότερο κριτήριο αξιολόγησης ποιότητος µιας διεπιφάνειας είναι η αποτελεσµατική η όχι χρήση του από πραγµατικούς χρήστες. Η διαπίστωση αυτή, που δεν διαφέρει από τη γενική τάση που διαφαίνεται στη σχετική µε το πεδίο βιβλιογραφία, δεν αναιρεί τη χρησιµότητα µιας εναλλακτικής κατηγορίας µεθόδων αξιολόγησης ευχρηστίας, αυτή των µεθόδων αξιολόγησης από ειδικούς. Στις µεθόδους αυτές το κοινό χαρακτηριστικό είναι οι αξιολογητές: άτοµα µε γνώση κανόνων και µεθοδολογιών χρηστο-κεντρικού σχεδιασµού που αξιολογούν την διεπιφάνεια χρήσης µε τη χρήση µεθόδων που συχνά προσοµοιώνουν την αναµενόµενη τυπική χρήση του συστήµατος από τους τελικούς χρήστες. Οι µέθοδοι αυτές παρουσιάζουν διαµορφωτικό χαρακτήρα, καθώς µπορούν να εφαρµοστούν σε αρχικά στάδια του κύκλου σχεδιασµού, µε συγκριτικά χαµηλότερο κόστος από την παρατήρηση χρηστών. Οι πλέον διαδεδοµένες µέθοδοι αξιολόγησης από ειδικούς είναι η ευρετική αξιολόγηση και το γνωσιακό περιδιάβασµα που περιγράφονται στα επόµενα. Ευρετική Αξιολόγηση (Heuristic Evaluation) Μια απλοποιηµένη µορφή µέτρησης ευχρηστίας η οποία είναι ιδιαίτερα διαδεδοµένη σε οµάδες ανάπτυξης διαδραστικών συστηµάτων, είναι η αξιολόγηση µε ευρετικές µεθόδους (Nielsen and Landauer, 1993, Nielsen, 1994). Είναι µια υποκειµενική µέθοδος που στηρίζεται στην εφαρµογή µικρού αριθµού γνωστών κανόνων σχεδιασµού διαδραστικών συστηµάτων. Η αξιολόγηση στην περίπτωση αυτή γίνεται από πεπειραµένους αξιολογητές ευχρηστίας οι οποίοι όµως δεν έχουν εµπλακεί στην ανάπτυξη του συστήµατος. Η µέθοδος παρουσιάζει τα πλεονεκτήµατα της γενικευµένης εφαρµοσιµότητάς της σε διαδραστικά συστήµατα ποικίλου σκοπού, ακόµη και σε πολύ αρχικά στάδια του σχεδιασµού και το σχετικά χαµηλό κόστος διεξαγωγής της. Βασίζεται επίσης σε ένα σχετικά µικρό αριθµό «ευρετικών κανόνων», σε αντίθεση µε τη χρήση κατευθυντήριων γραµµών (guidelines), όπου το πλήθος των οδηγιών-κανόνων καθιστούν δύσκολη την αξιοποίησή τους για ιδακτορική διατριβή. Σελίδα 31

38 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης σχεδιασµό ή και αξιολόγηση διεπιφάνειας χρήσης. Ενδεικτικά, τέτοιους οδηγούς έχουν διατυπώσει ο Brown (1988) µε 302 οδηγίες, ο Mayhew (1992) µε 288 οδηγίες και οι Smith και Mosier (1986) µε 944 οδηγίες. Η αξιολόγηση µε τη µέθοδο αυτή εστιάζεται σε 2 βασικά σηµεία: Τη γενική σχεδίαση των οθονών του συστήµατος. Τη ροή διαλόγων, µηνυµάτων και ενεργειών που απαιτούνται για να γίνει µια συγκεκριµένη διεργασία. Οι πιο διαδεδοµένοι κανόνες που συνήθως χρησιµοποιούνται στην Ευρετική αξιολόγηση, όπως έχουν διαµορφωθεί και διατυπωθεί εµπειρικά (Nielsen and Mollich, 1992) είναι : 1) Χρήση απλών και φυσικών διαλόγων. 2) Χρήση απλής και κατανοητής γλώσσας µε την οποία είναι εξοικειωµένοι οι χρήστες και όχι δυσνόητη ορολογία. 3) Ελαχιστοποίηση του φορτίου µνήµης που απαιτείται από τον χρήστη. Κάθε ενέργεια που πρέπει να κάνει ο χρήστης πρέπει να είναι όσο πιο φανερή γίνεται, χωρίς να πρέπει να θυµηθεί ο χρήστης περίπλοκες εντολές. 4) ιατήρηση συνέπειας και συνέχειας στο τρόπο παρουσίασης των µενού επιλογής, και των άλλων συστατικών των διαλόγων. Σαν συνέπεια, η ίδια ενέργεια πρέπει να γίνεται πάντα µε τον ίδιο τρόπο σε κάθε σηµείο της διάδρασης. 5) Παροχή ανάδρασης: Το σύστηµα πρέπει ανά πάσα στιγµή να ενηµερώνει το χρήστη για το την πρόοδο εργασιών στα πλαίσια ενός αποδεκτού χρόνου. 6) Ύπαρξη σαφών και εύκολων διεξόδων από κάποια διεργασία που ενδεχοµένως έχει καλέσει εσφαλµένα ο χρήστης χωρίς να πρέπει να ακολουθήσει εκτενείς διαλόγους. Τυπικό παράδειγµα είναι οι εντολές undo και redo. 7) Παροχή συντοµεύσεων (shotcuts) που επιταχύνουν κάποιες διεργασίες για του προχωρηµένους χρήστες που είναι όσο το δυνατόν «αόρατα» για τον αρχάριο χρήστη. Καλό είναι το σύστηµα να παραµετροποιείται σε αυτό το σηµείο µε βάση τις ανάγκες του χρήστη για τις ενέργειες που θέλει να εκτελεί πιο συχνά. 8) Παροχή σαφών µηνυµάτων λαθών: θα πρέπει να παρέχονται σε απλή γλώσσα, να εστιάζουν στο πρόβληµα και να προτείνουν λύση διεξόδου. 9) Να εµποδίζονται κατά το δυνατόν τα λάθη και η κακή χρήση του συστήµατος. 10) Παροχή βοήθειας και τεκµηρίωσης (εγχειρίδιο οδηγιών). Σελίδα 32 ιδακτορική διατριβή.

39 ΚΕΦΑΛΑΙΟ 2 Οι πεπειραµένοι αξιολογητές, εξετάζουν διαδοχικά τη διεπιφάνεια χρήσης του προς αξιολόγηση συστήµατος για ανεπάρκεια σε κάθε ένα από τους ευρετικούς κανόνες. Η ευρετική αξιολόγηση, µε κατάλληλα προτεινόµενες τροποποιήσεις, χρησιµοποιείται εκτενώς στα προτεινόµενα συνδυαστικά πλαίσια αξιολόγησης εκπαιδευτικού λογισµικού, όπως φαίνεται στα κεφάλαια 3,4 και 5. Γνωσιακό περιδιάβασµα (Cognitive Walkthrough) Το γνωσιακό περιδιάβασµα (cognitive walkthrough, Lewis et al., 1992) είναι τεχνική που αφορά ανάλυση διαδραστικών συστηµάτων στα οποία ο χρήστης µαθαίνει τη χρήση του συστήµατος κατά διερευνητικό τρόπο (exploratory learning) ενώ αλληλεπιδρά µε αυτό. Αυτή είναι τυπική περίπτωση σε πολλά σύγχρονα συστήµατα µεταξύ των οποίων εκπαιδευτικό λογισµικό. Η ανάλυση µε γνωσιακό περιδιάβασµα προσοµοιώνει τη διαδικασία σταδιακής εξοικείωσης των χρηστών µε το διαδραστικό σύστηµα µέσω του παρακάτω µοντέλου: Ο χρήστης αρχίζει µε ένα πλάνο στόχων. Στην συνέχεια και µέχρι την επίτευξη του στόχου του επαναλαµβάνει τα παρακάτω βήµατα: Βήµα 1: διερευνά το σύστηµα µέσω της διεπιφάνειας του, αναζητώντας ενέργειες που θα συντείνουν στην επίτευξη του στόχου του. Βήµα 2: επιλέγει την ενέργεια εκείνη της οποίας η περιγραφή ή εµφάνιση προσοµοιάζει περισσότερο αυτό που επιθυµεί να επιτύχει. Βήµα 3: τέλος, ερµηνεύει την απάντηση του συστήµατος και ελέγχει αν έχει επιτευχθεί πρόοδος προς την ολοκλήρωση του στόχου του. Η πειραµατική ανάλυση ενός συστήµατος αφορά τη συσχέτιση στόχων του χρήστη στα πλαίσια συγκεκριµένων σεναρίων χρήσης. Ο αξιολογητής της διεπιφάνειας ελέγχει την απάντηση στις εξής ερωτήσεις για κάθε συγκεκριµένο τµήµα της διεπιφάνειας: Ε1: Η επόµενη σωστή ενέργεια γίνεται σαφής στον χρήστη από τη διεπιφάνεια; ιδακτορική διατριβή. Σελίδα 33

40 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Ε2: Ο χρήστης µπορεί να συνδέσει την περιγραφή της σωστής ενέργειας µε τον στόχο του; Ε3: Ο χρήστης καταλαβαίνει σωστά την απόκριση του συστήµατος, δηλαδή θα του είναι κατανοητό αν έχει κάνει σωστή ή λάθος επιλογή; Το αποτέλεσµα της µεθόδου αυτής είναι η ανακάλυψη σχεδιαστικών ατελειών του υπό αξιολόγηση συστήµατος, δηλαδή περιοχών του στις οποίες η απάντηση σε κάποια από τα παραπάνω Ε1-3 είναι αρνητική. Σε µια τέτοια περίπτωση προτείνεται αντιµετώπιση της ατέλειας. Η µέθοδος έχει προταθεί για αξιολόγηση εκπαιδευτικού λογισµικού (Lewis et al., 1998, Demetriadis et al., 1999), όµως οι Squires και Preece (1999) αµφισβητούν την αποτελεσµατικότητα και την εφαρµοσιµότητά της κύρια λόγω της αυξηµένης απαιτούµενης εµπειρίας για την αποτελεσµατικότητά της και της έµφασής της στις γνωστικές λειτουργίες για το χειρισµό της διεπιφάνειας από πλευράς χρήστη. Στο κεφάλαιο 5, περιγράφεται η σύγκρισή της µε την προτεινόµενη µεθοδολογία για αξιολόγηση των ανοιχτών εκπαιδευτικών περιβαλλόντων µάθησης και οι λόγοι για τους οποίους δεν προτείνεται από την περιγραφόµενη ερευνητική προσπάθεια Μέθοδοι αξιολόγησης µε τη συµµετοχή χρηστών Μια παραδοσιακή µέθοδος για τη δοκιµή χρηστών είναι η µέτρηση απόδοσης όπου σκοπός είναι η πιστοποίηση για το αν ένας στόχος ευχρηστίας επιτυγχάνεται ή όχι. Η απόδοση των χρηστών µετριέται συνήθως υποβάλλοντας µια οµάδα χρηστών σε εκτέλεση ενός προκαθορισµένου συνόλου στοιχειωδών διεργασιών, συλλέγοντας στοιχεία που αφορούν σε σφάλµατα που διαπιστώνονται και τους χρόνους εκτέλεσης των διεργασιών. Οι δοκιµές πραγµατοποιούνται συνήθως σε ένα εργαστήριο ευχρηστίας λογισµικού, το οποίο έχει τον απαραίτητο εξοπλισµό για καταγραφή των ενεργειών των χρηστών (καταγραφή ήχου, εικόνας, καταγραφή οθόνης υπολογιστή κατά τη διάρκεια που η αλληλεπίδραση λαµβάνει χώρα, αρχεία πληκτρολογήσεων), προσοµοιώνοντας παράλληλα τον τυπικό χώρο χρήσης του λογισµικού και ελαχιστοποιώντας την αίσθηση παρακολούθησης στον χρήστη υποκείµενο. Με µια τέτοια δοκιµή, πολλά προβλήµατα ευχρηστίας µπορούν να βρεθούν. Ένα πλεονέκτηµα αυτής της µεθόδου αξιολόγησης είναι η αποκοµιδή µετρήσιµων χρόνων και ποσοστών που καθιστά τη σύγκριση εναλλακτικών σχεδιασµών εύκολη. Σελίδα 34 ιδακτορική διατριβή.

41 ΚΕΦΑΛΑΙΟ 2 υστυχώς, στα περισσότερα αναπτυξιακά έργα συστηµάτων δεν υπάρχει αρκετή πείρα διεξαγωγής τέτοιων πειραµάτων καθώς και πόροι για να εφαρµοστεί αυτή η µέθοδος (Νielsen, 1993). Ένα άλλο πρόβληµα µε τις εργαστηριακές δοκιµές αποτελεί το γεγονός ότι είναι δύσκολη η διεξαγωγή τους σε αρχικά στάδια του σχεδιασµού δεδοµένου ότι απαιτείται υλοποιηµένο πρωτότυπο του συστήµατος και σηµαντικός αριθµός υποψήφιων αντιπροσωπευτικών χρηστών. Επίσης παρουσιάζονται δυσκολίες στη δειγµατοληψία και επιλογή των αντιπροσωπευτικών χρηστών ώστε συνολικά να παρουσιάζουν παρόµοια χαρακτηριστικά µε τους αναµενόµενους τελικούς χρήστες-, και µεθοδολογικές αδυναµίες στον προγραµµατισµό, την εγκυρότητα και την αξιοπιστία των αποκτηθέντων µετρήσεων (Holleran, 1991). Επιπλέον, η αξιολόγηση της αποδοτικότητας σε καθηµερινή χρήση απαιτεί την ανεύρεση ειδικευµένων χρηστών. Μια µέθοδος που µπορεί να συνδυαστεί µε τη δοκιµή ευχρηστίας και τις µετρήσεις απόδοσης είναι η καταγραφή της αλληλεπίδρασης σε αρχεία πληκτρολογήσεων. Με τη µέθοδο αυτή ο υπολογιστής καταγράφει αυτόµατα στατιστικά σχετικά µε τη χρήση του προς εξέταση προγράµµατος. Αποτελεί µια φτηνή µέθοδο συλλογής δεδοµένων χρήσης λογισµικού, µέσω της οποίας εύκολα µπορεί να αναγνωρισθεί η συχνότητα χρήσης συγκεκριµένων εντολών και εµφάνισης γεγονότων που παρουσιάζουν ενδιαφέρον (όπως µηνύµατα λαθών). Για παράδειγµα, οι Senay and Stabler (1987) κατέγραψαν συνεδρίες βοήθειας και ανακάλυψαν ότι το 10% των οθονών βοήθειας χρησιµοποιήθηκαν στο 92% των αιτήσεων βοήθειας. Προφανώς το αποτέλεσµα αυτό χρησιµοποιήθηκε στο να εστιαστεί η βελτίωση της ποιότητας των συγκεκριµένων τµηµάτων βοήθειας κατά προτεραιότητα σε σχέση µε άλλα τµήµατα τα οποία ζητήθηκαν λιγότερο συχνά. Η µέθοδος αυτή χρησιµοποιείται για την καταγραφή συνεδριών χρήσης (user sessions) και στο διαδίκτυο. Συγκεκριµένα, στον διακοµιστή ενός δικτυακού τόπου (web server) καταγράφονται πληροφορίες σχετικά µε την αλληλεπίδραση του χρήστη µε τον δικτυακό τόπο (χρόνος πρόσβασης, IP διεύθυνση, ιστοσελίδες ή αρχεία που ζητήθηκαν κ.α.). Το βασικό πρόβληµα στην περίπτωση αυτή, πηγάζει από το γεγονός ότι το πρωτόκολλο Http δεν εµπεριέχει την έννοια της κατάστασης (stateless), µε αποτέλεσµα να µην είναι δυνατή η άµεση καταγραφή της αρχής και τέλους µιας συνεδρίας χρήσης (Tselios et al., 2001). Στο πρωτόκολλο οµιλούντος υποκειµένου (think aloud ή talk aloud) οι χρήστες εκφράζουν µε λόγια τις σκέψεις τους χρησιµοποιώντας το σύστηµα (Lewis, 1982). ιδακτορική διατριβή. Σελίδα 35

42 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Μέσω αυτής της µεθόδου, οι χρήστες αφήνουν τον εκτιµητή να αντιληφθεί το πως αντιλαµβάνονται την αλληλεπίδραση µε το προς εξέταση σύστηµα. Αποτελεί µια χαµηλού κόστους µέθοδο αναγνώρισης των παρερµηνειών των χρηστών που αφορούν στην διεπιφάνεια χρήσης. Είναι ιδιαίτερα χρήσιµη όταν εφαρµόζεται από το σχεδιαστή της διεπιφάνειας δεδοµένου ότι είναι εφικτή η άµεση ποιοτικού χαρακτήρα ανατροφοδότηση από τους χρήστες σχετικά µε το σχεδιασµό της (Jorgensen, 1990). Μειονέκτηµα της µεθόδου αποτελεί το γεγονός ότι δεν είναι πολύ φυσικό για τους χρήστες να σκεφτούν µεγαλοφώνως. Είναι επίσης δύσκολο για τους πεπειραµένους χρήστες να εκφράσουν µε λόγια τη διαδικασία απόφασής τους δεδοµένου ότι εκτελούν µέρος της εργασίας τους αυτόµατα (Schneider and Shiffrin, 1977, Shiffrin and Dumais, 1981). Συνέπεια του γεγονότος αυτού είναι και η δυσκολία ένταξης της σε ένα πλάνο αξιολόγησης ευχρηστίας που εστιάζει σε ποσοτικές- µετρήσεις απόδοσης. Τα ερωτηµατολόγια είναι ιδιαίτερα χρήσιµα για ζητήµατα σχετικά µε πιθανές ανησυχίες-παρανοήσεις των χρηστών και την υποκειµενική ικανοποίηση (Νielsen, 1993). Τα ερωτηµατολόγια µπορούν να διανεµηθούν εύκολα σε σηµαντικό αριθµό χρηστών. Επιπλέον, είναι µια σχετικά ανέξοδη µέθοδος ερευνών. Εντούτοις, συχνά είναι δύσκολο να αποκτηθούν αντικειµενικά αποτελέσµατα κατά τη χρησιµοποίηση των ερωτηµατολογίων δεδοµένου ότι οι απαντήσεις των χρηστών είναι βασισµένες σε αυτό που έχουν την αίσθηση ότι κάνουν, όχι σε αυτό που κάνουν πραγµατικά (Νielsen, 1993). Σε περιπτώσεις αξιολόγησης διεπιφανειών χρήσης διαδικτυακών τόπων (web sites), τα ερωτηµατολόγια παρουσιάζουν αυξηµένη χρησιµότητα, δοθέντος του γεγονότος ότι το ίδιο το µέσο συµβάλλει στην εύκολη διανοµή τους και αυτόµατη συλλογή και επεξεργασία των αποτελεσµάτων (Tselios et al., 2001). Αποτελεσµατικά ερωτηµατολόγια στους όρους εγκυρότητας (validity) και αξιοπιστίας (reliability) των παραγόµενων αποτελεσµάτων, θεωρούνται τα WAMMI ( Kirakowski and Claridge, 1998) καθώς και QUIS (Schneiderman, 1998). Μια µέθοδος που περιλαµβάνει τους χρήστες, τους σχεδιαστές και τους ειδικούς αξιολόγησης ευχρηστίας, και µπορεί να πραγµατοποιηθεί στα αρχικά στάδια της διαδικασίας σχεδιασµού είναι το πλουραλιστικό πέρασµα (pluralistic walkthrough, Bias, 1991). Οι αντιπρόσωποι από τις τρεις κατηγορίες συναντούν και συζητούν τα προβλήµατα ευχρηστίας που συνδέονται µε τα στοιχεία του διαλόγου στα διαφορετικά στάδια αντιπροσωπευτικών σεναρίων χρήσης. Στο πλουραλιστικό πέρασµα, η έµφαση δίνεται στον τρόπο µε τον οποίο οι χρήστες αντιδρούν στις Σελίδα 36 ιδακτορική διατριβή.

43 ΚΕΦΑΛΑΙΟ 2 διαφορετικές καταστάσεις κατά τη ροή ενός διαλόγου στην προσπάθεια εκτέλεσης µιας διεργασίας. Το πλουραλιστικό πέρασµα είναι µια αποτελεσµατική µέθοδος για την αξιολόγηση της δυνατότητας εκµάθησης της διεπιφάνειας χρήσης από τον χρήστη. εν είναι όµως αποτελεσµατική για την αξιολόγηση της αποδοτικότητας σε καθηµερινή χρήση δεδοµένου ότι οι χρήστες δεν είναι ικανοί να προβλέψουν πώς θα αλληλεπιδράσουν µε το σύστηµα όταν γίνουν ειδικευµένοι Αναλυτικές µέθοδοι αξιολόγησης Ανάλυση εργασιών Η ανάλυση εργασιών (ή διεργασιών, Task Analysis TA) µέσα από την οπτική του πεδίου αλληλεπίδρασης ανθρώπου υπολογιστή είναι η διαδικασία µελέτης, συλλογής και ανάλυσης δεδοµένων σχετικά µε το πως οι χρήστες εκτελούν τις συγκεκριµένες διεργασίες µε στόχο να προκύψει βαθύτερη κατανόηση των αλληλεπιδράσεων που λαµβάνουν χώρα (Preece et al., 1994). O κύριος στόχος της ανάλυσης διεργασιών είναι η συστηµατική κατανόηση των διεργασιών που επιτελούν οι χρήστες περιγράφοντας ρητά από τι αυτές αποτελούνται (Kieras, 1996). Μια διαδικασία ανάλυσης διεργασιών αποτελείται από πέντε γενικά στάδια: προκαταρκτική ανάλυση (προσδιορίζεται το φυσικό και κοινωνικό περιβάλλον στο οποίο το σύστηµα που αναλύεται χρησιµοποιείται, το σκοπό και το πεδίο της TA), συλλογή των στοιχείων (επιλογή της κατάλληλης µεθόδου συλλογής δεδοµένων π.χ. παρατήρησης χρηστών της ανάλυσης αρχείων πληκτρολογήσεων, συνεντεύξεις), µοντελοποίηση της διεργασίας (κατάλληλη επιλογή µεθόδου TA, αναγνώριση διεργασιών και σύνθεση διαγραµµάτων διεργασιών), και ανάλυση του µοντέλου διεργασιών και διατύπωσης των αποτελεσµάτων. Πλεονεκτήµατα της ανάλυσης εργασιών Η ανάλυση διεργασιών µε τη χρήση κάποιας από της µεθόδου που προτείνεται στη βιβλιογραφία φαίνεται να υποβοηθά σηµαντικά τη διαδικασία σχεδιασµού και αξιολόγησης της διεπιφάνειας χρήσης. Αναλυτικά τα πλεονεκτήµατα που παρατίθενται στη βιβλιογραφία είναι (Johnson and Johnson,1991, Abowd et al., 1992): ιδακτορική διατριβή. Σελίδα 37

44 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Η ανάλυση διεργασιών περιγράφει µε φορµαλιστικό και ρητό τρόπο τη λειτουργία της διεπιφάνειας. το προϊόν της ανάλυσης µπορεί να αξιολογηθεί και να αναλυθεί από την άποψη της ευχρηστίας της διεπιφάνειας. µπορεί να γίνει αντιληπτό και από άλλους ανθρώπους εκτός από τους αναλυτές της διεπιφάνειας µε διαφορετικό γνωστικό υπόβαθρο, όπως ειδικοί του πεδίου που υποστηρίζει το σύστηµα. Μπορεί να χρησιµοποιηθεί ως πυρήνας για σχεδίαση της διεπιφάνειας χρήσης µε άξονα τις διεργασίες των ενδιάµεσων µε τον χρήστη. (Wilson et al., 1993). το µοντέλο µπορεί να ελεγχθεί ως προς την πληρότητα υποστήριξης των απαιτούµενων διεργασιών. το µοντέλο µπορεί να ελεγχθεί ως προς την καταλληλότητα του τρόπου υποστήριξης των απαιτούµενων διεργασιών (αν οι διεργασίες υποστηρίζονται µε τρόπο που αντιλαµβάνεται ο χρήστης). Ίσως η ισχυρότερη δυνατότητα µιας καλά-εφαρµοσµένης στοιχειώδους ανάλυσης είναι η παροχή µιας ολιστικής άποψης σχετικά µε το πόσο καλά ταιριάζει µε το µοντέλο διεργασιών του σχεδιαστή, που προσπαθεί να εκθέσει ακριβώς τη λειτουργικότητα του συστήµατος στη διεπιφάνεια χρήσης, µε την αντίληψη του χρήστη για τη διεργασία σε ένα συγκεκριµένο περιβάλλον χρήσης. Σύµφωνα µε τους Edmondson and Simone (1994), η ευκολία και η ακρίβεια µε τις οποίες ο χρήστης µπορεί να αντιστοιχήσει τις δραστηριότητες µιας διεργασίας µε τη λειτουργικότητα του συστήµατος, είναι από µόνο της µια µετρική ευχρηστίας. Επιπροσθέτως, τονίζουν ότι παρέχει σηµαντική ανατροφοδότηση σχετικά µε την ενσωµάτωση του κατάλληλου βαθµού ελευθερίας στους διάλογους της διεπιφάνειας, που προσφέρουν εναλλακτικούς τρόπους του χειρισµού χωρίς απώλεια της αίσθησης της κατάστασης του συστήµατος από την πλευρά του χρήστη και την µετάπτωση σε προβληµατικές καταστάσεις από τη πλευρά του συστήµατος. Μεθοδολογίες ανάλυσης εργασιών Η πλέον διαδεδοµένη µέθοδος ανάλυσης διεργασιών είναι η ιεραρχική ανάλυση διεργασιών (HTA) (Shepherd, 1989). Είναι µια µέθοδος ανάλυσης υψηλού επιπέδου στόχων σε δευτερεύουσες διεργασίες και πλάνων που ορίζουν τον τρόπο µε τον οποίο εκτελούνται οι διεργασίες αυτές. Οι διεργασίες περιγράφονται µε γραφικό Σελίδα 38 ιδακτορική διατριβή.

45 ΚΕΦΑΛΑΙΟ 2 ιεραρχικό τρόπο. Ο στόχος είναι να αναλυθούν και να περιγραφούν οι διεργασίες µέσω µιας ιεραρχίας διεργασιών και υπο-διεργασιών, καθώς και πλάνων που περιγράφουν τις µε ποια σειρά και υπό ποιες συνθήκες οι διεργασίες αυτές εκτελούνται. Η HTA χρησιµοποιείται για την ανάλυση και τον προσδιορισµό των βηµάτων που απαιτούνται για να εκτελέσουν µια στοιχειώδη εργασία. Η γνωστική ανάλυση διεργασιών, αφ' ετέρου, ενδιαφέρεται για την αναπαράσταση της γνώσης που οι άνθρωποι έχουν, ή πρέπει να έχουν, για να ολοκληρώσουν µια διεργασία. Αυτό µπορεί να εκτελεσθεί µέσω της µοντελοποίησης GOMS (Card et al., 1983) όπως αυτή περιγράφεται στην ενότητα Μελέτες από τους Card and Moran (1986) έδειξαν ότι ακόµα και σχετικά ακατέργαστες (απλουστευµένες) µοντελοποιήσεις GOMS αρκούσαν για να δώσουν εύστοχες εκτιµήσεις µε περιθώριο σφάλµατος ως προς την εκτίµηση του απαιτούµενου χρόνου για την εκτέλεση µιας διεργασίας µικρότερη του 20%. Κατά συνέπεια εκτιµούν ότι µε µεγάλη πιθανότητα θα υπάρχει σηµαντική ωφέλεια από τέτοιου είδους µοντελοποιήσεις, ακόµη και αν δεν περιγράφουν σε εξαντλητικό βαθµό όλες τις διεργασίες γεγονός που, όπως οµολογούν, απαιτεί σηµαντικό χρόνο. Άλλες προσεγγίσεις όπως η γραµµατική εργασιών-ενεργειών ( Task Action Grammar - TAG) χρησιµοποιεί σηµειογραφία µε ορισµένους κανόνες για να προσδιορίσει τη γνώση και την αλληλεπίδραση ενός χρήστη (Payne and Green, 1989). Η ένδειξη ότι η ανάλυση διεργασιών µπορεί να συµβάλει ουσιαστικά στον επιτυχή σχεδιασµό και την αξιολόγηση της διεπιφάνειας χρήσης (Olson, 1990, Kieras, 1996) οδήγησε την επιστηµονική κοινότητα του πεδίου αλληλεπίδρασης ανθρώπου υπολογιστή σε µια εστίαση στις σχετικές θεωρίες και σε έναν πολλαπλασιασµό των µεθόδων ανάλυσης διεργασιών που βασίζονται είτε σε ισχυρά εµπειρικά στοιχεία είτε σε γνωστικά-ψυχολογικά µοντέλα (Card et al., 1983). Ενδεικτικά µερικές από αυτές είναι οι: Analysis for Task Object Modeling -ATOM, (Walsh, 1989), Cognitive Task Analysis -CTA (Barnard,1987), Knowledge Analysis of Tasks-KAT, (Johnson and Johnson, 1991), Task Analysis of Knowledge Description-TAKD, (Diaper, 1989), Command Language Grammar-CLG (Moran, 1981), Natural GOMS Language-NGOMSL (John and Kieras, 1994). Το γεγονός της ποικιλίας µεθοδολογιών για την εφαρµογή της ανάλυσης διεργασιών στο σχεδιασµό και την αξιολόγηση ενός αλληλεπιδραστικού συστήµατος συχνά προκαλεί σύγχυση και ερωτηµατικά ως προς την επιλογή της κατάλληλης µεθόδου. Οι Whitefield and Hill (1994) σχολιάζουν ότι "ακόµη και για τον ερευνητή ιδακτορική διατριβή. Σελίδα 39

46 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης HCI είναι συχνά δύσκολο να κριθεί ποια είναι τα σηµαντικά χαρακτηριστικά γνωρίσµατα της κάθε µεθόδου ανάλυσης διεργασιών, πώς οι µέθοδοι διαφέρουν και µε ποια κριτήρια πρέπει να χρησιµοποιηθεί µια παρά µια άλλη". Τονίζουν επίσης όµως ότι τα πλεονεκτήµατα της εφαρµογής ακόµη και µιας απλής µεθόδου ανάλυσης διεργασιών είναι σηµαντικά. Παράλληλα στη βιβλιογραφία υπάρχει και µια ανοιχτή συζήτηση και κριτική για τη χρησιµότητα της ανάλυσης διεργασιών. Πιο συγκεκριµένα ερευνητές (Benyon, 1992) εκφράζουν αµφιβολίες σχετικά µε την εφαρµοσιµότητα της µεθόδου, την έλλειψη σαφούς µεθοδολογίας για την ενσωµάτωση µερικών από τις µεθόδους στο κύκλο σχεδιασµού και τη σηµαντική προσπάθεια που απαιτείται για την αποτελεσµατική εφαρµογή της. Παράλληλα σκεπτικισµός υπάρχει για την εν γένει έλλειψη εργαλείων που θα υποστηρίξουν τις προτεινόµενες τεχνικές. Οι John and Kieras (1996), αντίθετα υποστηρίζουν τη χρήση µεθόδων γνωστικής ανάλυσης όπως οι GOMS και NGOMSL για αξιολόγηση, βασιζόµενοι στο συµπαγές θεωρητικό της υπόβαθρο και στα θετικά ανακοινωθέντα αποτελέσµατα από την εφαρµογή της µεθόδου. Παράλληλα, θεωρούν ότι ο απαιτούµενος χρόνος και προσπάθεια για την εφαρµογή της µεθόδου είναι συγκρίσιµος µε άλλες όπως το γνωσιακό περιδιάβασµα, που δεν έχει σχολιαστεί αρνητικά στο σκέλος της απαιτούµενης προσπάθειας για την εφαρµογή της. Επιπροσθέτως, o Lim (1996) περιγράφει µε λεπτοµέρεια πως η ανάλυση διεργασιών ενσωµατώνεται στο σχεδιαστικό κύκλο στην προτεινόµενη µέθοδο MUSE για την αξιολόγηση ευχρηστίας. ιάφορες τεχνικές έχουν προταθεί για το πως πρέπει να εκτελεστεί αποτελεσµατικά η ανάλυση διεργασιών (Jeffries, 1997). Μια συνήθης µέθοδος είναι η διεξαγωγή συνεντεύξεων µε ανθρώπους που εργάζονται σε σχετικό πεδίο ενδιαφέροντος µε το προς ανάπτυξη λογισµικό ώστε να συλλεχθούν δεδοµένα σχετικά µε τις διεργασίες. Οι συνεντεύξεις µπορούν να εκτελεσθούν µεµονωµένα ή σε οµάδες και είναι ιδιαίτερα χρήσιµες όταν απαιτείται µια σε βάθος κατανόηση. Εάν ο σκοπός είναι να συγκεντρωθούν οι πληροφορίες από ένα σηµαντικό αριθµό χρηστών, τα ερωτηµατολόγια είναι πιθανό να είναι καταλληλότερα αν και είναι γενικά δύσκολο να αποκτηθεί µια βαθύτερη κατανόηση χρησιµοποιώντας αυτήν την µέθοδο. Ο συνδυασµός των δύο µεθόδων µπορεί να είναι µια αποτελεσµατική λύση µε τα αποτελέσµατα της µίας να επανακαθορίζουν τα σηµεία που πρέπει να εστιάσει η άλλη. Σελίδα 40 ιδακτορική διατριβή.

47 ΚΕΦΑΛΑΙΟ 2 Εκ των βασικών στόχων της διατριβής είναι η επιλογή των πλέον κατάλληλων τεχνικών για τεχνολογικά εκπαιδευτικά περιβάλλοντα. Από τα παραπάνω διαφαίνεται ότι κάθε προτεινόµενη µέθοδος αξιολόγησης ευχρηστίας παρουσιάζει πλεονεκτήµατα και µειονεκτήµατα. Το γεγονός αυτό, σε συνδυασµό µε τη διαπίστωση ότι η αποτελεσµατικότητα των τεχνικών που προτείνονται ποικίλει ανάλογα µε τη φύση του συστήµατος καθώς και το στάδιο στο οποίο εφαρµόζονται (Molich et al., 1999), καθώς και ότι συχνά συνδυασµός µεθόδων οδηγεί σε αποτελεσµατικότερες αξιολογήσεις, παράγοντας η κάθε µια συµπληρωµατικά και όχι επικαλυπτόµενα αποτελέσµατα (Karat, 1988), οδήγησε στην πρόταση πλαισίων συνδυαστικής αξιολόγησης για τη βελτίωση της διεπιφάνειας χρήσης εκπαιδευτικού λογισµικού που περιγράφονται στα κεφάλαια 3,4 και 5. Για το σκοπό αυτό, παρουσιάζονται στα επόµενα οι ιδιαιτερότητες του εκπαιδευτικού λογισµικού σε σχέση µε τυπικά υπολογιστικά περιβάλλοντα εργασίας, στα οποία κύρια το πεδίο ΑΑΥ έχει εστιάσει. 2.6 Εκπαιδευτικό λογισµικό Βασικές παιδαγωγικές θεωρίες Στην ενότητα αυτή επιχειρείται επισκόπηση των βασικών παιδαγωγικών θεωριών που υποστηρίζουν το σύγχρονο εκπαιδευτικό λογισµικό. Οι θεωρίες αυτές επιχειρούν να ερµηνεύσουν την ανάπτυξη των γνωστικών διαδικασιών (ανάλυση, αναπαράσταση, λύση προβληµάτων) που λαµβάνουν χώρα σε µια επιτυχηµένη διαδικασία µάθησης. Συµπεριφορισµός Ο συµπεριφορισµός αποτελεί µια γενικότερη θεωρία της ανθρώπινης συµπεριφοράς. ίνει έµφαση στη σχέση του περιβάλλοντος µε το άτοµο και την επίδραση στη µάθηση, που προκύπτει από αλληλουχίες εξωτερικών ερεθισµάτων που δέχεται το άτοµο και που οδηγούν στη διαµόρφωση συγκεκριµένων συµπεριφορών (Watson, 1913, Skinner, 1968). Συνεπώς η πορεία του ατόµου προς τη µάθηση, δεν επηρεάζεται τόσο από την ενεργητική δραστηριότητα του, αλλά από τον διδάσκοντα και τη µεθοδολογία που χρησιµοποιεί. Στη διαδικασία µάθησης, ο διδάσκοντας εκτελεί χρέη ποµπού πληροφορίας και ο µαθητής παθητικού δέκτη χωρίς να ιδακτορική διατριβή. Σελίδα 41

48 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης προβλέπονται στάδια επεξεργασίας της από αυτόν (Soloway et al., 1994). Η µάθηση ορίζεται ως η παρατηρούµενη αλλαγή στη συµπεριφορά, εξαιτίας της συσσώρευσης εµπειρίας (Chance, 1994). Εποικοδοµητισµός Θεµελιωδώς, ο εποικοδοµητισµός θεωρεί ότι µαθαίνουµε µέσω µιας συνεχούς διαδικασίας κατασκευής, ερµηνείας και τροποποίησης των αντιπροσωπεύσεων της πραγµατικότητάς µας που βασίζονται στην εµπειρία µας και την προσωπική µας εκδοχή για την πραγµατικότητα (Jonassen, 1994). Βασικά χαρακτηριστικά του εποικοδοµητισµού είναι το ότι η γνώση δεν είναι ένα προϊόν που συσσωρεύεται αλλά µια ενεργή και εξελισσόµενη διαδικασία κατά την οποία ο αρχάριος προσπαθεί να αποκτήσει νόηµα για τον κόσµο και ότι οι άνθρωποι κατασκευάζουν γνώση εκφράζοντας προσωπικούς τρόπους και στρατηγικές (Gurney, 1989). Έτσι, η ενεργή συµµετοχή σε ρεαλιστικές και σχετικές επιλύσεις προβληµάτων επιτρέπει στους µαθητές να αναπτύξουν ευρύτερες και βαθύτερες αντιπροσωπεύσεις που τους επιτρέπουν να εφαρµόσουν αποτελεσµατικότερα τη γνώση σε νέες καταστάσεις καθώς µπορούν να συγκρίνουν µια γνωστή και σχετική κατάσταση µε µια νέα (Brown et al., 1989). Το γνωσιοθεωρητικό πλαίσιο του εποικοδοµητισµού εκφράζεται µέσα από εκπαιδευτικά συστήµατα διερευνητικού τύπου, µε τον γενικό όρο ανοιχτά περιβάλλοντα µάθησης και περιγράφονται στην ενότητα Κοινωνικός εποικοδοµητισµός Ο κοινωνικός εποικοδοµητισµός, υπογραµµίζει τη διαδραστική φύση κατασκευής της γνώσης ως το αποτέλεσµα της αλληλεπίδρασης µεταξύ του µαθητή και του περιβάλλοντος. Η εκµάθηση είναι η διαδικασία κατασκευής εσωτερικών µοντέλων ή αντιπροσωπεύσεων των εξωτερικών δοµών όπως µορφοποιείται από τις πεποιθήσεις, τον πολιτισµό, την προγενέστερη εµπειρία, και τη γλώσσα, βασισµένη στις αλληλεπιδράσεις µε άλλους (Vygotsky, 1978). Σε σχέση µε τον προσωπικό γνωστικό εποικοδοµητισµό η έµφαση δεν είναι στις εσωτερικές γνωστικές διεργασίες άλλα στις κοινωνικές διεργασίες που υποστηρίζουν τη διαδικασία κατασκευής γνώσης (Cobb, 1994). Έτσι σε ένα τέτοιο πλαίσιο οι γνωστικές διεργασίες για την κατασκευή γνώσης δεν είναι ατοµικές, αλλά λαµβάνουν χώρα σε µία κοινότητα Σελίδα 42 ιδακτορική διατριβή.

49 ΚΕΦΑΛΑΙΟ 2 µάθησης, όπου οι µαθητές συµµετέχουν σε από κοινού δραστηριότητες, µε ενεργητικό, αλλά συχνά ασύµµετρο ρόλο (Rogoff, 1994). Εκφράσεις του κοινωνικού εποικοδοµητισµικού πλαισίου µάθησης είναι τα συνεργατικά περιβάλλοντα µάθησης. H συνεργατική µάθηση (collaborative learning) µε υπολογιστή βασίζεται στην αλληλεπίδραση ανάµεσα στο µαθητή, το στόχο µάθησης και τα διαθέσιµα εργαλεία (Roschelle, 1992). Στην αλληλεπίδραση αυτή, σηµαντικό ρόλο παίζει επίσης η κοινότητα µάθησης στην οποία συµµετέχει ο µαθητής καθώς και οι κανόνες και ο καταµερισµός εργασίας στα πλαίσιά της (Koschmann et al., 1993) Κατηγορίες εκπαιδευτικού λογισµικού Από τα πρώτα βήµατα των υπολογιστών διερευνήθηκε η δυνατότητα αξιοποίησής τους για εκπαίδευση. Παράλληλα νέες τεχνολογίες όπως πολυµέσα και διαδίκτυο προσέφεραν νέες δυνατότητες για προσφορά εκπαιδευτικού υλικού και υποστήριξη εκπαιδευτικού έργου µε τη χρήση υπολογιστή. Το εκπαιδευτικό λογισµικό µε βάση τις θεωρίες µάθησης στις οποίες στηρίζονται και τη διδακτική προσέγγιση που ακολουθούν, κατηγοριοποιούνται ως εξής: Περιβάλλοντα καθοδηγούµενης διδασκαλίας που στηρίζονται κυρίως σε συµπεριφοριστικές θεωρίες µάθησης. Τα περιβάλλοντα αυτά έχουν ως στόχο τη µοντελοποίηση της πληροφορίας και γνώσης µε στόχο τη µετάδοσή της στους µαθητές. Έτσι ο υπολογιστής χρησιµοποιείται για τη µετάδοση εννοιών, προοδευτικά µέχρι τον τελικό στόχο. Στη προσπάθεια αυτή, γίνεται χρήση ποικίλων µέσων, όπως εικόνα, ήχος, κείµενο/ υπερκείµενο. Στην κατηγορία αυτή υπάγονται τα συστήµατα εξάσκησης και πρακτικής (drill and practice), συστήµατα καθοδήγησης (tutorials), εκπαιδευτικά παιχνίδια, διαλογικές ιστορίες και παραµύθια πολυµέσων, έµπειρα συστήµατα καθοδήγησης στην επίλυση προβληµάτων (Intelligent Tutoring Systems). Περιβάλλοντα µάθησης µέσω (καθοδηγούµενης ή όχι) ανακάλυψης και διερεύνησης που στηρίζονται κυρίως σε εποικοδηµιστικές θεωρίες µάθησης. Τα περιβάλλοντα αυτής της κατηγορίας εστιάζουν την προσοχή τους στην πλευρά του µαθητή και στους τρόπους µε τους οποίους οικοδοµεί τις γνώσεις του (ενίοτε στο πλαίσιο της αλληλεπίδρασης µε άλλους) (Soloway et al., 1994, 1996). Στην κατηγορία αυτή ανήκουν τα έµπειρα συστήµατα επίλυσης προβληµάτων (Intelligent Tutoring Systems) που εµπεριέχουν µοντέλα ιδακτορική διατριβή. Σελίδα 43

50 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης µαθητή, τα ανοιχτά περιβάλλοντα µάθησης (ανεξάρτητα γνωστικού αντικειµένου) για δραστηριότητες εκµάθησης προγραµµατισµού και δραστηριότητες επίλυσης προβληµάτων, προσοµοιώσεις (simulations), µικρόκοσµοι (micro-worlds), περιβάλλοντα µοντελοποίησης και συστήµατα νοητικής χαρτογράφησης (concept mapping). Περιβάλλοντα έκφρασης, οικοδόµησης, αναζήτησης και επικοινωνίας της πληροφορίας που στηρίζονται κυρίως σε εποικοδοµηστικές και κοινωνικέςεποικοδοµηστικές θεωρίες µάθησης. Στα περιβάλλοντα συµβολικής έκφρασης και οικοδόµησης συγκαταλέγονται όλες εκείνες οι εφαρµογές γενικής χρήσης, οι οποίες µπορούν να χρησιµοποιηθούν ως γνωστικά εργαλεία και συστήµατα που επιτρέπουν τη συµβολική έκφραση και οικοδόµηση εννοιών και ιδεών. Στο πλαίσιο αυτό, η διδασκαλία και η χρήση των επιµέρους λογισµικών γενικής χρήσης δεν εννοείται ως γνωστικό αντικείµενο, αλλά αποτελεί µέσο που βοηθά τους µαθητές να εκφράσουν τις ιδέες και τις αντιλήψεις τους, να κατακτήσουν έννοιες και να οικοδοµήσουν γνώσεις και δεξιότητες σε διάφορα γνωστικά αντικείµενα. Στην κατηγορία αυτή ανήκουν εργαλεία που επιτρέπουν τη δηµιουργία και έκδοση διαδικτυακού και πολυµεσικού υλικού, επεξεργαστές κειµένου, λογιστικά φύλλα και εργαλεία στατιστικής επεξεργασίας, ψηφιακές εγκυκλοπαίδειες κ.α. Το εκπαιδευτικό λογισµικό προκειµένου να συµβάλλει θετικά στην εκπαιδευτική διαδικασία θα πρέπει να πληρεί συγκεκριµένα κριτήρια σε τρεις συνιστώσες (Scapin and Bastien, 1997, Senach, 1990): Να είναι ωφέλιµο. Θα πρέπει να ενσωµατώνει τις απαραίτητες λειτουργίες που χρειάζεται ο χρήστης-εκπαιδευόµενος. Σηµαντικό ρόλο στο σηµείο αυτό διαδραµατίζει η ανάλυση διεργασιών (Mayes and Fowler, 1999) καθώς επίσης και το προτιθέµενο πλαίσιο χρήσης του (Jones et al., 1999). Να είναι εύχρηστο. Η απαίτηση αυτή, που αποτελεί και το κύριο σηµείο µελέτης της διατριβής αναλύεται περισσότερο στην ενότητα 2.7. Να προάγει την βαθύτερη κατανόηση. Αποτελεί µια διαφοροποίηση της έννοιας της ωφελιµότητας στο πλαίσιο του εκπαιδευτικού λογισµικού. Σύµφωνα µε την απαίτηση αυτή, η χρήση του υπολογιστή δεν θα πρέπει να περιοριστεί ως ένα µέσο αναπαραγωγής περιεχοµένου όπως ένα βιβλίο Σελίδα 44 ιδακτορική διατριβή.

51 ΚΕΦΑΛΑΙΟ 2 αλλά θα πρέπει να προσφέρει τα στοιχεία εκείνα που επιτρέπουν στο µαθητή να αναστοχαστεί και να µετακινηθεί µε αποτελεσµατικότητα στο αντιληπτικό επίπεδο, µε στόχο τη σε βάθος προσωπική κατανόηση των υπό µελέτη εννοιών. (Mayes and Fowler 1999, Jones et al., 1999, Jonnasen et al., 1993). Οι προσεγγίσεις στο σχεδιασµό εκπαιδευτικού λογισµικού είναι σήµερα ως επί το πλείστον συµπεριφοριστικές (Reigeluth, 1983, Soloway et al., 1996, Squires and Preece, 1999). Σαφείς ενδείξεις όµως υπάρχουν ότι σταδιακά επηρεάζεται όλο και περισσότερο από τη θεωρία του εποικοδοµητισµού (Squires and Preece, 1999, Soloway et al., 1996, Duffy and Jonassen, 1994, Savery and Duffy, 1995). Η έµφαση στην περιγραφείσα ερευνητική προσπάθεια δίνεται στην αξιολόγηση διεπιφάνειας χρήσης πολυµεσικών/ υπερµεσικών περιβαλλόντων που εκφράζουν συµπεριφοριστικό γνωσιοθεωρητικό πλαίσιο µάθησης καθώς και ανοιχτών περιβαλλόντων µάθησης που εκφράζουν εποικοδοµητικό γνωσιοθεωρητικό πλαίσιο µάθησης και περιγράφονται στις ενότητες και Πολυµεσικά/ υπερµεσικά εκπαιδευτικά περιβάλλοντα Πολυµέσα και εκπαίδευση Ο όρος πολυµέσα αναφέρεται σε όλες τις επιµέρους τεχνολογίες και µέσα που παρέχονται σε ένα ψηφιακό περιβάλλον επεξεργασίας, οργάνωσης και παρουσίασης πληροφορίας µε χρήση πολλαπλών συµβολικών συστηµάτων, όπως κείµενο, εικόνα, ήχος σχέδιο κίνησης κ.λ.π. (Hall, 1996, McKerlie and Preece, 1993, Northrup, 1995) Τα πολυµέσα αρχικά υιοθετήθηκαν µε πολύ θετικό τρόπο από τους θεωρητικούς της εκπαίδευσης. Οι Stanton and Stammers (1990) θεωρούν ότι η ολοκλήρωση πολλαπλών µέσων σε µία εκπαιδευτική εφαρµογή, δίνει το πλεονέκτηµα της χρήσης του καταλληλότερου µέσου ανάλογα µε το προσωπικό τους στυλ µάθησης για τους διάφορους εκπαιδευτικούς σκοπούς, παρέχει την δυνατότητα χρησιµοποίησής του από µαθητές µε διαφορές στο γνωστικό υπόβαθρο, ενώ o Levin (1989) θεωρεί ότι το περιβάλλον που παρέχουν τα πολυµέσα είναι κατάλληλο για την παρακίνηση των µαθητών και για τη βελτίωση της κατανόησης των προσφερόµενων εννοιών. ιδακτορική διατριβή. Σελίδα 45

52 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Όµως οι περισσότερες συστηµατικές προσπάθειες για την αξιολόγηση της επίδρασης των πολυµέσων στην εκπαιδευτική διαδικασία δεν κατέδειξαν βελτίωση της διαδικασίας µάθησης ( Beeman et al., 1997, Parlangeli et al., 1999), παρά το ότι φαίνεται να είναι ιδιαίτερα χρήσιµο ως µέσο συµπληρωµατικής διδασκαλίας ( Higgins and Boone, 1990, van den Berg and Watt 1991). Οι Hammond and Allinson (1989) θέτουν σε πιο ρεαλιστικές βάσεις τις προσδοκίες από τα πολυµεσικά εκπαιδευτικά συστήµατα, θεωρώντας ότι µπορούν να αποτελέσουν τη βάση µιας διερευνητικής διαδικασίας µάθησης, εφόσον συνοδεύονται από κατάλληλη καθοδήγηση, γεγονός που διαπιστώνεται και από άλλες έρευνες (Romiszowski, 1990). Σε κάθε περίπτωση η διαµορφωτική αξιολόγηση του πολυµεσικού εκπαιδευτικού λογισµικού θεωρείται απαραίτητη (Laurillard, 1994, Dick and King, 1994), µε ιδιαίτερη έµφαση να απαιτείται στην αξιολόγηση της ευχρηστίας της διεπιφάνειας χρήσης κατά τη διαδικασία του σχεδιασµού (Jonassen, 1990, Wright, 1990). Υπερµεσικά περιβάλλοντα µάθησης και εκπαίδευση µέσω διαδικτύου Η εκπαίδευση από απόσταση είναι µία µορφή εκπαίδευσης στην οποία δεν απαιτείται ο εκπαιδευτής και οι εκπαιδευόµενοι να βρίσκονται στον ίδιο τόπο. H έννοια της εκπαίδευσης από απόσταση δεν είναι πρόσφατη. Στο παρελθόν υπήρχε εκπαίδευση από απόσταση η οποία γινόταν κυρίως δια αλληλογραφίας. Για τον ίδιο σκοπό οι εκπαιδευτές χρησιµοποιούσαν κασέτες ήχου και βιντεοκασέτες που αποστελλόταν ταχυδροµικά στους εκπαιδευόµενους. Στη σηµερινή εποχή µε την ανάπτυξη των δικτύων υπολογιστών και του διαδικτύου προσφέρονται πολλές πρόσθετες δυνατότητες αλληλεπιδραστικής επικοινωνίας που διευκολύνουν την εκπαίδευση από απόσταση. Κατά συνέπεια ο ορισµός της από απόσταση εκπαίδευσης διαφοροποιείται και συχνά τείνει να συµπεριλάβει το µέσο που χρησιµοποιεί. Σύµφωνα µε τον Steiner (1996), ο όρος σηµαίνει τον συνδυασµό τεχνολογιών µετάδοσης πληροφοριών για διδασκαλία και µάθηση, ενώ σύµφωνα µε το U.S. Distance Learning Association (1998), "εκπαίδευση εξ αποστάσεως ορίζεται η απόκτηση γνώσεων και ικανοτήτων µε έµµεση πληροφόρηση και καθοδήγηση που περιλαµβάνει όλες τις τεχνολογίες και άλλες µορφές µάθησης από απόσταση". Οι δυνατότητες γρήγορης µετάδοσης εκπαιδευτικού υλικού από απόσταση, βασιζόµενες στην ευρεία διάδοση του διαδικτύου, την σχετική ωρίµανση του µέσου Σελίδα 46 ιδακτορική διατριβή.

53 ΚΕΦΑΛΑΙΟ 2 και της αύξησης της απόδοσης των δικτύων διασύνδεσης είχαν ως συνέπεια την εκτεταµένη υλοποίηση προγραµµάτων εκπαίδευσης από απόσταση. Ο παγκόσµιος ιστός (World Wide Web), που χρησιµοποιείται ως το κύριο µέσο στο πλαίσιο αυτό, είναι ένα διαδεδοµένο και κατάλληλο µέσο, όσον αφορά την δυνατότητα εκπαίδευσης, για πολλούς λόγους. Είναι εύκολα προσβάσιµο, υποστηρίζει πολλαπλές επιλογές αποθήκευσης, δόµησης και αναπαράστασης του εκπαιδευτικού υλικού, παρέχει µία απλή αλλά συγχρόνως ισχυρή φόρµα δηµοσίευσης και τρόπους ώστε να ενσωµατώνονται πολλαπλά µέσα. Τα χαρακτηριστικά υπερ-µέσου του WWW έχουν ευρεία αποδοχή και η δυνατότητα να χρησιµοποιηθεί ο παγκόσµιος ιστός ως εργαλείο µάθησης, πηγάζει από την ίδια τη δοµή του και την αρχική ιδέα δηµιουργίας του. Για το λόγο αυτό οι Berge and Collins (1993), αναφέρουν ότι τα κυριότερα πλεονεκτήµατα της από απόσταση εκπαίδευσης είναι η ανεξαρτησία της επικοινωνίας από την απόσταση και τον χρόνο. Το διαδίκτυο για πολλούς θεωρητικούς είναι ήδη ένα περιβάλλον δηµιουργικότητας και ενεργητικής κατασκευής γνώσης (Becker and Dwyer, 1994), το οποίο υποστηρίζει και ενθαρρύνει την εξερεύνηση και το περιδιάβασµα (browsing), συµπεριφορές που σχετίζονται µε την µάθηση (Thuring et al., 1995). Η οργάνωση της πληροφορίας στον παγκόσµιο ιστό προσοµοιώνει τον τρόπο λειτουργίας της ανθρώπινης µνήµης, και οι µέθοδοι ανάκλησης της πληροφορίας αυτής παρουσιάζουν οµοιότητες µε τις διαδικασίες της ανθρώπινης σκέψης. Βεβαίως θα πρέπει να λάβουµε υπόψη ότι ένα περιβάλλον υπερµέσου, όπως το διαδίκτυο, δεν διδάσκει από µόνο του αλλά αποτελεί ένα µέσο, το οποίο µε την κατάλληλη χρήση µπορεί να υποστηρίξει τη µάθηση (Eklund 1995, Alexander 1995). Ο Peraya (1994), θεωρεί ότι η εκπαίδευση από απόσταση δίνει περισσότερη έµφαση στην µάθηση και λιγότερη στην διδασκαλία. Η θεωρία µάθησης που εφαρµόζεται, προκαλεί µεταβολές στη φύση της µάθησης και στις προοπτικές που έχει ο µαθητής. Η γνώση θεωρείται ότι κατασκευάζεται µέσα από κοινωνική δραστηριοποίηση, επικοινωνία και ενεργή συµµετοχή των µαθητών. Η συνηθισµένη µορφή της διδασκαλίας ως προφορική παρουσίαση µαθηµάτων στον πίνακα, έχει µεταβληθεί σε µοντέλο πρακτικής εξάσκησης και η µάθηση έρχεται µέσα από διαλογικές συζητήσεις που διαπραγµατεύονται τις έννοιες. Ταυτόχρονα µε την αποδοχή της νέας αυτής µεθόδου διδασκαλίας διατυπώνονται αµφιβολίες για την αποτελεσµατικότητα της (Fitzelle and Trochim, 1996). Ο Peraya (1994), θεωρεί λογική την µη βέλτιστη αποτελεσµατικότητα της ιδακτορική διατριβή. Σελίδα 47

54 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης καθώς τονίζει ότι η παρεµβολή του µέσου προκαλεί µεταβολές στη διαδικασία µετάδοσης της πληροφορίας και στην οργάνωση της επικοινωνίας. Κατά συνέπεια η ανθρώπινη επικοινωνία µεταβάλλεται µε την παρεµβολή του µέσου. Στην περίπτωση εξ άλλου του διαδικτύου, η σχετική νεότητά του ως µέσο έχει ως συνέπεια τη µη µέγιστη αξιοποίηση του. Αυτό είναι συνέπεια του γεγονότος ότι το νέο αυτό µέσο παράλληλα µε νέες ευκαιρίες, εµφανίζει και νέα προβλήµατα τα οποία πρέπει να µελετηθούν (Nielsen, 2000) Ανοιχτά περιβάλλοντα µάθησης Tα περιβάλλοντα αυτά τα οποία υπό προϋποθέσεις ορίζονται και ως µικρόκοσµοι (Papert, 1980,1993) αποτελούνται από ένα σύνολο από πρωταρχικά αντικείµενα και βασικές λειτουργίες που επιδρούν σε αυτά όπως και ένα σύνολο από κανόνες που διέπουν αυτή την επίδραση, τα οποία σχετίζονται µε τη συνήθη δοµή ενός τυπικού συστήµατος. Επιπλέον αποτελούνται από έναν χώρο ο οποίος συνδέει αντικείµενα και λειτουργίες µε τα φαινόµενα στην οθόνη του υπολογιστή. Ουσιαστικά αυτός ο χώρος καθορίζει τον τύπο της ανάδρασης που παρέχουν αυτά τα περιβάλλοντα. Σε µια γενική θεώρησή τους (Jonnasen, 1994) τα περιβάλλοντα αυτά διακρίνονται από σαφήνεια των αντικειµένων της οθόνης, που συνιστούν οντότητες τις οποίες ο χρήστης µπορεί να χειριστεί, διέπονται από σύνολο κανόνων, που προσδιορίζουν τους τρόπους αλληλεπίδρασης των µαθητών µε τις οντότητες του περιβάλλοντος, παρέχεται ανάδραση στον µαθητή σχετικά µε το πώς συµπεριφέρεται το σύστηµα στις ενέργειές του και επιτρέπουν ανοιχτό πλαίσιο δραστηριοτήτων. Τα ανοιχτά περιβάλλοντα µάθησης παρουσιάζουν αυξηµένη δυσκολία τόσο ως προς το σχεδιασµό όσο και ως προς την αξιολόγηση. Τα περιβάλλοντα µάθησης τα οποία σχεδιάζονται µε βάση το γνωσιοθεωρητικό πλαίσιο του εποικοδοµισµού είναι κυρίως ανοικτά περιβάλλοντα. Χαρακτηριστικά αναφέρονται το περιβάλλον της γλώσσας Logo, το περιβάλλον της δυναµικής Γεωµετρίας Cabri-Geometry (Laborde, 1990), όπως και το περιβάλλον ηµι-ποσοτικών µοντέλων Models Creator (Dimitrakopoulou et al., 1999). Οι ιδιαιτερότητες των περιβαλλόντων αυτών και ο τρόπος που αυτές επηρεάζουν τη διαδικασία αξιολόγησης περιγράφονται στην ενότητα και στο κεφάλαιο 4. Σελίδα 48 ιδακτορική διατριβή.

55 ΚΕΦΑΛΑΙΟ Αξιολόγηση ευχρηστίας εκπαιδευτικού λογισµικού Η σχεδίαση και αξιολόγηση εκπαιδευτικού λογισµικού εξακολουθεί να αποτελεί πρόκληση για το πεδίο της αλληλεπίδρασης ανθρώπου υπολογιστή. Παρά τη σηµαντική διάδοση των υπολογιστών ως αναντικατάστατων εργαλείων δουλειάς και αύξησης της παραγωγικότητας, αντίστοιχος ρόλος ως προς τη συµβολή των στην εκπαιδευτική διαδικασία δεν έχει κατοχυρωθεί έως σήµερα. Ο ρυθµός µάθησης των µαθητών χρηστών δεν φαίνεται να έχει αυξηθεί (Jones and Kane, 1994, Mills and De Araujo, 1999, Soloway et al., 1996) ούτε έχει αποδειχθεί σηµαντικά βαθύτερη κατανόηση των εννοιών (Stewart and Gregory 1997, Squires and Preece, 1999). Η αποδοχή του κοινωνικό-εποικοδοµητισµού ως βασικού θεωρητικού πλαισίου µάθησης, οδήγησε σε µια νέα γενιά εκπαιδευτικού λογισµικού, η οποία εκφράζει το πλαίσιο και µέσα στα οποία ο µαθητής ενεργητικά κατασκευάζει γνώση αλληλεπιδρώντας µε έννοιες που παρατίθενται από το σύστηµα, µέσα από ένα στυλ χειρισµού απευθείας αλληλεπίδρασης. Υπάρχει η προσδοκία ότι η τελευταία κατηγορία εκπαιδευτικού λογισµικού θα αντιµετωπίσει κάποια από αυτά τα προβλήµατα (Papert, 1993) Ιδιαιτερότητες αξιολόγησης εκπαιδευτικού λογισµικού Οι ιδιαιτερότητες του εκπαιδευτικού λογισµικού σε σχέση µε περιβάλλοντα εργασίας στα οποία έχει εστιάσει το πεδίο της επιστήµης επικοινωνίας ανθρώπου υπολογιστή, είναι σηµαντικές. Στα περιβάλλοντα αυτά, το ζητούµενο είναι η µάθηση µε τρόπο έτσι ώστε να κατασκευάζει ενεργητικά τις προσωπικές του στρατηγικές προκειµένου να λύνει προβλήµατα τα οποία έχουν σηµασία για αυτόν (von Glasersfeld, 1987). Ο µαθητής αλληλεπιδρά µε έννοιες ξεκινώντας από ένα επίπεδο γνώσης και προσπαθεί να αλληλεπιδράσει µε τις προσφερόµενες έννοιες και εργαλεία του συστήµατος. Το στυλ διάδρασης που εκδηλώνεται σε ένα εκπαιδευτικό σύστηµα διαφέρει σηµαντικά σε σχέση µε τα στυλ αλληλεπίδρασης στα οποία η επιστήµη ΕΑΥ έχει εστιάσει και αναλύσει έχοντας σαν άξονα αναφοράς τυπικούς χρήστες που εργάζονται σε περιβάλλοντα εργασίας (Inkpen, 1997). Επιπλέον, ενώ οι χρήστες τυπικών περιβαλλόντων εργασίας είναι συνήθως γνώστες του αντικειµένου στο οποίο το σύστηµα αναφέρεται (domain knowledge), οι µαθητές χρήστες χαρακτηρίζονται ιδακτορική διατριβή. Σελίδα 49

56 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης από µικρή τέτοια γνώση καθώς επίσης και ισχυρές διαφοροποιήσεις µεταξύ των (Soloway et al., 1994). Πολλές φορές, ακόµα και η ύπαρξη κινήτρου για την ενασχόληση ή όχι µε το σύστηµα δεν θα πρέπει να θεωρείται δεδοµένη (Soloway, 1996). Κατά συνέπεια οι παραδοσιακές µετρικές που αξιολογούν την ευχρηστία µιας διεργασίας (ταχύτητα εκτέλεσης, ποσοστό λαθών, αποτελεσµατικότητα και αποδοτικότητα κ.α.) αποκτούν δευτερεύοντα ρόλο στην αξιολόγηση της ποιότητάς αλληλεπίδρασης ενός εκπαιδευτικού λογισµικού. Για παράδειγµα, οι κοινωνικές και εποικοδοµιστικές θεωρήσεις για τη γνώση και τη µάθηση προτάσσουν την διαδικασία αυτόβουλης κατασκευής γνώσης από τους µαθητές όπου ο πειραµατισµός και τα λάθη κατά τη διαδικασία αυτή κατέχουν πρωτεύοντα ρόλο. Η επικοινωνία ανθρώπου υπολογιστή από την άλλη, πρεσβεύει ότι το κατά τον σχεδιασµό των συστηµάτων θα πρέπει να ελαχιστοποιηθεί, κατά το δυνατόν, η πιθανότητα εσφαλµένης χρήσης. Αν και τα δύο αυτά γεγονότα φαίνονται καταρχάς αντικρουόµενα, στην πραγµατικότητα η διαφορά έγκειται στα διαφορετικά επίπεδα στα οποία σύµφωνα µε το µοντέλο αλληλεπίδρασης του Norman (1996) αυτά λαµβάνουν χώρα. Ο µαθητής δύναται να έχει σχηµατίσει λανθασµένη αντίληψη για το µαθησιακό πλαίσιο το οποίο απαιτείται για να επιλύσει ένα συγκεκριµένο πρόβληµα. Τέτοια λάθη στο σηµασιολογικό επίπεδο της διάδρασης θα πρέπει να επιτρέπονται από το σύστηµα να εκφραστούν έτσι ώστε σταδιακά ο µαθητής να αναστοχάζεται πάνω σε αυτά και να κατασκευάζει γνώση αλληλεπιδρώντας µε πιθανά τέτοια προϊόντα διάδρασης. Από την άλλη το σύστηµα πρέπει να είναι κατάλληλα σχεδιασµένο ώστε να αποκλείει το δυνατόν λάθη στο λεκτικό επίπεδο που αφορούν δηλαδή την ακριβή ακολουθία ενεργειών που απαιτείται για να εκτελεστεί µια διεργασία. Το γεγονός αυτό όµως δεν µειώνει την παιδαγωγική αξία του συστήµατος, τουναντίον αυξάνει την διαφάνεια του εργαλείου σε σχέση µε την προσφερόµενη από αυτό γνώση, δίνοντας την δυνατότητα εφαρµογής µε ακρίβεια ποικίλων αναπαραστάσεων και πολλαπλών λύσεων σε δοθέν χρονικό διάστηµα. Ως συνέπεια της ανωτέρω διαπίστωσης προκύπτουν διαφοροποιήσεις στο τρόπο σχεδιασµού ενός εκπαιδευτικού λογισµικού. Για παράδειγµα στον χρήστη θα πρέπει να προσφέρεται πάντα ικανός αριθµός επιλογών και εργαλείων ακόµη και αν η χρήση αυτών των εργαλείων οδηγεί σε λανθασµένες κατασκευές (Lewis et al., 1998). Βασικός ευρετικός κανόνας της ΕΑΥ, ορίζει ότι το φορτίο µνήµης θα πρέπει να Σελίδα 50 ιδακτορική διατριβή.

57 ΚΕΦΑΛΑΙΟ 2 ελαχιστοποιείται, παρέχοντας ανά πάσα στιγµή, µόνο τα απαραίτητα εργαλεία για την επιτυχή διεκπεραίωση της διεργασίας. Και πάλι όµως στη πραγµατικότητα δεν συγκρούονται αυτές οι απαιτήσεις καθώς τα εργαλεία στη περίπτωση αυτή αποτελούν µέρος του µαθησιακού χώρου (learning space) και δεν είναι απλώς µέρος των τυπικών ενεργειών που απαιτούνται για την ολοκλήρωση µια τυπικής διεργασίας Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Οι Mayes και Fowler (1999), επιχειρώντας έναν διαχωρισµό στις κατηγορίες εκπαιδευτικού λογισµικού ορίζουν τα εκπαιδευτικά συστήµατα βασισµένα σε πολυµέσα κύρια ως πρωτογενή τύπου εκπαιδευτικό λογισµικό (primary courseware) στη µαθησιακή διαδικασία. To θεωρητικό πλαίσιο τέτοιων περιβαλλόντων είναι κύρια συµπεριφοριστικό και ο µαθητής καλείται να διαµορφώσει αντίληψη για έννοιες που παρέχονται έτοιµες από τους εκπαιδευτικούς. Έτσι πρακτικά το περιβάλλον αυτό εξυπηρετεί ένα ρόλο «ποµπού-διαβιβαστή πληροφορίας» του εκπαιδευτικού προς τους µαθητές (Soloway et al., 1994). Αν και εσχάτως υπάρχει σηµαντική εστίαση στη σηµασία της αξιολόγησης της ευχρηστίας του εκπαιδευτικού λογισµικού (Soloway et al., 1996, Langer, 1997, Jones et al., 1999, Sedig et al., 2001, Avouris et al., 2001, Tselios et al., 2002, Piguet and Peraya, 2000) και η διάδοση των συστηµάτων από απόσταση εκπαίδευσης φαίνεται σηµαντική, δεν υπάρχει στη βιβλιογραφία ακόµη ένας ανάλογος αριθµός θεωρητικών και πειραµατικών ερευνητικών αποτελεσµάτων στο θέµα της αξιολόγησης τους. Επίσης διαπιστώνεται η έλλειψη προσαρµοσµένων τεχνικών για αξιολόγηση από απόσταση εκπαίδευσης συστηµάτων (Heines, 2000). Τούτο οφείλεται εν µέρει στην πρόσφατη ανάπτυξη της περιοχής, αφετέρου δε στις εγγενείς αδυναµίες που παρουσιάζουν πειράµατα αυτού του είδους. Οι διδασκόµενοι µε τις µεθόδους αυτές, βρίσκονται σε διαφορετικούς χώρους, οι συνθήκες αλληλεπίδρασης µε το υλικό ποικίλουν, η καταγραφή της αντίδρασης τους µε µέσα όπως καταγραφή πληκτρολογήσεων (log files) είναι τεχνικά δύσκολη. Παράλληλα τα χαρακτηριστικά των χρηστών ποικίλουν σηµαντικά τόσο στη γνώση του πεδίου στο οποίο διδάσκονται όσο και στη εµπειρία χρήση παρόµοιων περιβαλλόντων, όπου η αναλογία αρχαρίων χρηστών είναι σχετικά υψηλή. Σύµφωνα µε τον Hayes (2000), η αξιολόγηση ευχρηστίας παρόµοιων συστηµάτων θα πρέπει να εξετάζει ιδιαίτερα στην προσπάθεια που απαιτείται για ένα χρήστη-µαθητή να αποκτήσει την κυριότητα των ιδακτορική διατριβή. Σελίδα 51

58 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης λειτουργιών του συστήµατος και να εστιάζει στην ευκολία εκµάθησής του. Αν εξετάσουµε πεδία µε παρόµοια χαρακτηριστικά, όπως η µέτρηση ευχρηστίας εφαρµογών διαδικτύου, έχουν ήδη καταγραφεί παρόµοια προβλήµατα (για παράδειγµα στο ηλεκτρονικό εµπόριο, e-commerce, Nielsen, 2000). Από τη στιγµή που ο µαθητής δεν έχει την ικανότητα να αλληλεπιδράσει ενεργά και να δηµιουργήσει προσωπικές κατασκευές γνώσης µε βάση τις ιδέες που προσφέρονται, η διαδικασία της µάθησης που προσφέρεται µέσα από πολυµεσικά/ υπερµεσικά περιβάλλοντα που στηρίζονται σε συµπεριφοριστικές θεωρίες µάθησης θεωρείται κατά µία έννοια ηµιτελής. Όµως, τέτοια περιβάλλοντα µπορούν να δηµιουργήσουν ισχυρό κίνητρο για µάθηση, ενώ παράλληλα η ικανότητα πρόσβασης στην γνώση αυξάνεται, άρα κατά τους Mayes και Fowler (1999) και της αποδοτικότητας της τεχνολογίας µάθησης. Σε σχεδιαστικούς όρους και στην παράµετρο της ευχρηστίας, θεωρούν ότι αυτή παρουσιάζει δευτερεύουσα σηµασία, αφού δεν εµπλέκεται άµεσα µε τη διαδικασία µάθησης και προτάσσουν περισσότερο την πιστοποίηση της προσαρµογής του εκπαιδευτικού υλικού στους όρους της αντιληπτικής ικανότητας και της απαίτησης για πρωταρχικού τύπου κατανόηση. Η διαπίστωση αυτή υποβοηθά την διαδικασία επιλογής κατάλληλων µεθόδων για την αξιολόγηση εκπαιδευτικού λογισµικού βασισµένο σε πολυµέσα όπως συζητείται αναλυτικά στο κεφάλαιο Αξιολόγηση ανοιχτών περιβαλλόντων µάθησης Το κυριότερο χαρακτηριστικό των ανοιχτών περιβαλλόντων µάθησης είναι η ενεργητικού τύπου κατασκευή γνώσης από το µαθητή-χρήστη. Από την άποψη αυτή η έρευνα για την αξιολόγησή τους στο πεδίο είναι αναντικατάστατη. Από µιαν άλλη όµως άποψη υπάρχουν σηµαντικά θέµατα τεχνικής και παιδαγωγικής φύσεως τα οποία αφορούν στο σχεδιασµό των περιβαλλόντων αυτών ως εργαλείων όπως και ως περιβαλλόντων µάθησης τα οποία πρέπει να εντοπισθούν από ειδικούς πριν από τη µελέτη στο πεδίο. Η αξιολόγηση τέτοιων περιβαλλόντων έχει δυσκολίες από την άποψη ότι η µαθησιακή πορεία του µαθητή δεν µπορεί να προβλεφθεί από τη φάση του σχεδιασµού του λογισµικού. Επιπλέον, αυτά τα περιβάλλοντα είναι δυνατόν να εξελίσσονται κατά τη διάρκεια της χρήσης τους από τους µαθητές (Hoyles, 1993). Στα περιβάλλοντα αυτά η διεπιφάνεια χρήσης θα πρέπει να υποστηρίζει πολλαπλές αναπαραστάσεις κατά τη διάρκεια της εµπλοκής των µαθητών µε τις έννοιες που Σελίδα 52 ιδακτορική διατριβή.

59 ΚΕΦΑΛΑΙΟ 2 εµπεριέχονται. Παράλληλα, οι µαθητές θα πρέπει να υπεισέρχονται σε αναστοχαστικές γνωστικές λειτουργίες οι οποίες δεν θα πρέπει να αυτοµατοποιούνται από την διεπιφάνεια χρήσης (Langer, 1997, Sedig et al., 2001), καθώς όσο µεγαλύτερος γνωστικός φόρτος καταβληθεί για την νοηµατική επεξεργασία µιας έννοιας τόσο αποτελεσµατικότερη καθίσταται η µάθηση (Salomon, 1979). Τα προβλήµατα αυτά καθώς και µια προτεινόµενη µεθοδολογία για την αξιολόγηση ευχρηστίας ανοιχτών περιβαλλόντων µάθησης συζητώνται αναλυτικά στα κεφάλαια 4 και ιερεύνηση καταλληλότητας µεθόδων αξιολόγησης ευχρηστίας στα τεχνολογικά εκπαιδευτικά περιβάλλοντα Στα επόµενα κεφάλαια της διατριβής, παρουσιάζεται η διερεύνηση του προβλήµατος καταλληλότητας και εφαρµογής κατάλληλων µεθοδολογιών αξιολόγησης ευχρηστίας σε τεχνολογικά περιβάλλοντα µάθησης, τόσο πολυµέσων / υπερµέσων όσο και ανοιχτών περιβαλλόντων µάθησης. Για την περίπτωση των πολυµεσικών / υπερµεσικών συστηµάτων προτείνεται κατάλληλη προσαρµογή της ευρετικής αξιολόγησης και ένα συνδυαστικό πλαίσιο αξιολόγησης βασισµένο στην ευρετική αξιολόγηση, στην παρατήρηση πεδίου και στη χρήση ερωτηµατολογίου. Παράλληλα, παρουσιάζονται µια σειρά από συνεδρίες αξιολόγησης για την κατάδειξη της εφαρµοσιµότητας των προτεινόµενων µεθόδων αξιολόγησης, ενώ εφαρµογή της τροποποιηµένης ευρετικής αξιολόγησης σε συγκριτική αξιολόγηση του τµήµατος εξέτασης δύο διαφορετικών συστηµάτων παρουσιάζει σηµαντικά συµπεράσµατα. Ακολούθως, παρουσιάζεται µια πρότυπη µεθοδολογική προσέγγιση αξιολόγησης ανοιχτών περιβαλλόντων µάθησης. Η προτεινόµενη προσέγγιση βασισµένη σε µια πρωτότυπη µέθοδο ιεραρχικής ανάλυσης διεργασιών, επιχειρεί να λύσει το πρόβληµα της έγκυρης και αξιόπιστης αξιολόγησης στα περιβάλλοντα αυτά, όπου διαφαίνεται η απαίτηση για ένα σηµείο ισορροπίας µεταξύ ευχρηστίας της διεπιφάνειας χρήσης και δυνατότητας για µάθηση µέσω της χρήσης των. Για το σκοπό αυτό παρουσιάζονται και νέα εργαλεία τα οποία αναπτύχθηκαν στα πλαίσια της έρευνάς µας για την υποστήριξη του πλαισίου, ενώ η εφαρµοσιµότητα τους ιδακτορική διατριβή. Σελίδα 53

60 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης διαφαίνεται µέσα από δύο ανεξάρτητες µελέτες περίπτωσης αξιολόγησης ανοιχτών περιβαλλόντων µάθησης. Τέλος, παρουσιάζονται οι δυνατότητες αξιοποίησης µιας µεθόδου µηχανικής µάθησης, των πιθανοτικών δικτύων πεποίθησης Bayes (Bayesian Belief Networks- BBN) µε στόχο την επαύξηση της ευχρηστίας της διεπιφάνειας χρήσης ανοικτών περιβαλλόντων µάθησης. Η µέθοδος εφαρµόστηκε τόσο για την κατασκευή µηχανισµού αυτόµατης αναγνώρισης στρατηγικών χρηστών- µαθητών σε ανοιχτά περιβάλλοντα, ζήτηµα το οποίο παρουσιάζει ιδιαίτερη δυσκολία λόγω της υψηλού βαθµού διαδραστικότητας που εκ της φύσης τους εµφανίζεται σε αυτά τα περιβάλλοντα, όσο και για το σχεδιασµό και υλοποίηση αρθρώµατος προσαρµοστικής υποστήριξης χρηστών για ένα ανοικτό περιβάλλον µάθησης που υποστηρίζει την βαθµωτή εξοικείωση τους µε αυτό. Σελίδα 54 ιδακτορική διατριβή.

61 ΚΕΦΑΛΑΙΟ Βιβλιογραφία Αβούρης, Ν.Μ. (2000). Εισαγωγή στην Επικοινωνία Ανθρώπου-Υπολογιστή. Εκδόσεις ίαυλος, Αθήνα. Abowd, G.D. (1992). Using formal methods for the specification of user interfaces, Selby R, Proceedings of the Second Irvine Software Symposium, ISS 92,pp Alexander, S. (1995). Teaching and learning on the World Wide Web. In R. Debreceny & A. Ellis (Eds.). Ausweb95: Innovation and Diversity, (pp ). Ballina, New South Wales: Norsearch Limited. Aronsson, G., Aborg, C., Orelius M. (1988). Datoriseringens vinnare och forlorare [Winners and loosers from computerisation. Summary in English]. Arbete och halsa. Arbetsmiljoistitutet, 27. Avouris, N.M., Tselios, N.K., Tatakis E.C. (2001). Development and evaluation of a computer-based laboratory teaching tool. Journal Computer Applications in Engineering Education, vol. 9 (1), March pp Barnard, P.J. (1987). Cognitive resources and the learning of human-computer dialogues, In Carroll, J.M. (ed.) Interfacing thought : Cognitive aspects of human computer interaction; MIT Press. Becker, D., and Dwyer, M. (1994). Using hypermedia to provide learner control, J. of Educational Multimedia and Hypermedia, 3(2), pp Beeman, W.O., Anderson, K.T., Bader, G., Larkin, J., McClard, A.P., McQuilian, P., Shields, M. (1987). Hypertext and pluralism: from lineal to non-lineal thinking. Proceedings of Hypertext '87, pp University of North Carolina, Chapel Hill. Benyon, D. (1992). The role of task analysis in systems design. Interacting with computers, 4 (1), Berge, Z., and Collins, M. (1993). Computer Conference and online education. The Arachnet Electronic Journal on Virtual Culture,1(3). Bias, R.C. (1991). Walkthroughs: Efficient Collaborative Testing. IEEE Software, 8 (5), Brown, C.M.L. (1988). Human-Computer Interface Design Guidelines. Ablex, Norwood, NJ. ιδακτορική διατριβή. Σελίδα 55

62 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Brown, J. S., Collins, A., Duguid, P. (1989). Situated cognition and the culture of learning. Educational Researcher, January-February, Card S., Moran T., Newell A. (1983). The Psychology of Human Computer Interaction. Lawrence Erlbaum Associates. Card, S. and Moran, T. (1986). User Technology: From Pointing to Pondering. Proc. ACM Conference on History of Personal Workstations, Card, S., Moran, T., Newell, A. (1980). Computer Text-Editing: An Information-Processing Analysis of a Routine Cognitive Skill: A Cognitive Complexity Analysis. Human Computer Interaction 5, Chance, P. (1994). Learning and behavior. Pacific Grove, CA: Brooks/Cole. Cobb, P. (1994). Where is the mind? Constructivist and sociocultural perspectives on mathematical development. Educational Researcher 23, Diaper, D. (1989). Task analysis and systems analysis for software development. Interacting with computers 4(1), pp Dick, W. and King, D. (1994). Formative evaluation in the performance context. Performance and Instruction, 33(9), 3-8. Dimitrakopoulou, A., Komis, V., Aposotolopoulos, P., Politis, P. (1999). Design principles of a new modelling environment for young students, AI-ED Proc, 9th Int. Conf. on AI in Education, Le Mans, France. Demetriadis, S., Karoulis, A., Pombortsis, A. (1999). "Graphical" Jogthrough: Expert Based Methodology for User Interface Evaluation, Applied in the Case of an Educational Simulation Interface, Computers and Education Journal, 32(4), pp Dix A., Finley J.,, Abowd G., Beale A. (1998). Human-Computer Interaction, Prentice Hall, Duffy, T.M. and Jonassen, D., (eds.) (1992). Constructivism and the technology of instruction: a conversation. Hillsdale NJ: Erlbaum. Edmondson, K.A. and Simone, H.A. (1994). Putting Task Analysis into context. SIGCHI Bulletin, vol 26, no.4, pp Eklund, J., (1995). Cognitive models for structuring hypermedia and implications for learning from the World Wide Web. In R. Debreceny & A. Ellis (Ed.), Ausweb95: Innovation and Diversity, (pp ). Ballina, New South Wales: Norsearch Ltd. Σελίδα 56 ιδακτορική διατριβή.

63 ΚΕΦΑΛΑΙΟ 2 Fitzelle, G., and Trochim, W. (1996). Survey Evaluation of Web Site Instructional Technology: Does it Increase Student Learning? Proc. of Annual Conference of the American Evaluation Association, Atlanta, GA, November Gleitman, H. (1991). Psychology (3 rd ed.). New York : W.W. Norton and Company Inc. Grudin, J. (1992). Utility and usability: Research issues and development contexts, Interacting with Computers, 4(2), Gurney, B. (1989). Constructivism and professional development: A stereoscopic view. ERIC Document ED ,1-28. Hall, T. L. (1996). Utilizing multimedia toolbook 3.0, Danvers, MA: Boud & Fraser. Hammond, N. and Allinson, L. (1989). The travel metaphor as design principle and training aid for navigating around complex systems. In D. Diaper & R. Winder, (eds.) People and computers 111. Cambridge, England: Cambridge University Press. Hayes, R. (2000). Exploring Discount Usability Methods to Assess the Suitability of Online Course Delivery Products. The Internet and Higher education, 2 (2-3), pp: Heines, J.M. (2000). Evaluating the effect of a course web site on student performance, J. of Computing in Higher Education, 12 (1), pp Higgins, K. and Boone, R. (1990). Hypertext computer study guides and the social studies achievement of students with learning disabilities, remedial students, and regular education students. Journal of Learning Disabilities 23 (9), Holleran, P.A. (1991). A methodological note on pitfalls in usability testing. Behaviour and information technology, 10 (5), Hoyles, C. (1993). Microworlds/ schoolworlds: The transformation of an innovation. In C. Keitel and K. Ruthven (Eds), Learning from computers: Mathematics Educational Technology (pp.1-17). Berlin: Springer-Verlag. Inkpen K. (1997). Three Important Research Agendas for Educational Multimedia: Learning, Children, and Gender. AACE World Conference on Educational Multimedia and Hypermedia 97, Calgary, AB, June 1997, pp Jeffries, R. (1997). The Role of Task Analysis in the Design of Software. In Helander, M., Landauer, T.K., Prabhu, P. (Eds.), Handbook of Human-Computer Interaction (pp ). Amsterdam: Elsevier Science B.V. ιδακτορική διατριβή. Σελίδα 57

64 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης John, B. and Kieras, D. (1996). The GOMS family of user interface analysis techniques: Comparison and contrast, ACM Transactions on Computer-Human Interaction 3(4), pp Johnson, H., and Johnson, P. (1991). Task knowledge structures: Psychological basis and integration into system design. Acta Psychologica 78, North Holland, pp Jonassen, D. H. (1994). Thinking technology: Toward a constructivist design model. Educational Technology, 34 (3), Jonassen, D., Mayes, T., McAleese, R. (1993). A manifesto for a constructivist approach to uses of technology in higher education. In Duffy T.M., Lowyck J., Jonassen, D.H. (1993). Designing Environments for Constructive Learning (vol. 105, pp ). Berlin: Springer-Verlag, NATO ASI Series, Series F: Computer and Systems sciences. Jonassen, D.H. and Grabinger, S. (1990). Problems and issues in designing hypertext/hypermedia for learning. In D.H. Jonassen & H. Mandl, eds. Designing hypermedia for learning, Heidelberg, Germany: Springer. Jones, A., Scanlon, E., Tosunoglu, C., Morris, E., Ross, S., Butcher, P. Greenberg, J., (1999). Contexts for evaluating educational software. Interacting with Computers 11 (3), pp Jones, L.M. and Kane, D.J., Student evaluation of computer-based instruction in a large university mechanics course. American Journal of Physics 62 (9), pp Jones, M.G., and Okey, J.R. (1995). Interface Design for Computer-based Learning Environments. [Online] Available idguide/, February 21, Jorgensen, A.H. (1990). Thinking-aloud in user interface design: a method promoting cognitive ergonomics. Ergonomics, 33, (4), Karat, J. (1988). Software Evaluation Methodologies. Handbook of Human- Computer Interaction, Helander, M. (ed.), Elsevier Science Publishers, B.V. (North- Holland), pp Kieras, D. (1996). Task analysis and the design of functionality, CRC Handbook of Computer Science and Engineering, CRC Press. Σελίδα 58 ιδακτορική διατριβή.

65 ΚΕΦΑΛΑΙΟ 2 Kirakowski, J. and Claridge, N. (1998). Human Centered Measures of Success in Web Site Design.Fifth Human Factors and the Web meeting, June 1998, NY. Kolb, D.A. (1984). Experiential Learning: Experience as the Source of Learning and Development. Prentice Hall Press, Upper Saddle River, NJ. Koschmann, T., Newman, D., Woodruff, E., Pea, R., Rowley, P. (1993). Technology and pedagogy for collaborative problem solving as a context for learning: Report on a CSCW '92 workshop. SIGCHI Bulletin, 25 (4), Laborde, J.M. (1990). Cabri-Geometry [Software]. France: Universite de Grenoble. Langer, E.J. (1997). The Power of Mindful Learning. Addison-Wesley, Reading, MA. Laurillard, D. (1994). The role of formative evaluation in the process of multimedia. In: K. Beattie, C. McNaught, & S. Wills (Eds.), Interactive multimedia in university education: Designing for change in teaching and learning, Amsterdam: Elsevier, Levin, J.R. (1989). A Transfer-appropriate-processing perspective: Pictures in Prose. In Mandl, H. and Stevens, J.R. (Edts.) Knowledge Acquisition from Text and Pictures. Elsevier, North Holland, pp Lewis C., Brand C., Cherry G., Rader C. (1998): Adapting user interface design methods to the design of educational activities. In proceedings of ACM CHI 98. Lewis, C. (1982). Using the thinking-aloud method in cognitive interface design. (IBM Research Report RC 9265, 2/17/82). Yorktown Heights, NY: IBM T.J. Watson Research Center. Lewis, C., Polson, P., Wharton, C., Rieman, J. (1990) Testing a Walkthrough methodology for Theory-Based Design of Walk-Up-and-Use Interfaces. Proceedings of ACM CHI 1990,Seattle, Washington. April 1-5, 1990,pp: Lewis. C. and Rieman, J. (1994) Task centered User Interface Design- A practical introduction. ιαθέσιµο στο Lim, K.Y. (1996) Structured task analysis: an instantiation of the MUSE method for usability engineering, Interacting with Computers, vol. 8(1), pp Lind, M. (1991). Effects of Sequential and Simultaneous Presentations of Information (Rep. No. 19, CMD). Uppsala, Sweden: Uppsala University. ιδακτορική διατριβή. Σελίδα 59

66 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Matlin, M.W., and Foley, H.J. (1992). Sensation and Perception (3rd ed.) Boston: Allyn and Bacon. Mayhew, D.J. (1992). Principles and Guidelines in Software User Interface Design. Prentice Hall, Englewood Cliffs, NJ. McKerlie, D. and Preece, J. (1993). The hype and the media: Issues concerned with designing hypermedia. Journal of Microcomputer Applications, 16, Mills, S. and De Araujo, M., (1999). Learning trough virtual reality: a preliminary investigation. Interacting with Computers 11 (2), pp Moran.,T.P.(1981). The command language grammar : a representation for the user interface of interactive computer system. International Journal of Man Machine Studies 15, pp Molich, R., Thomsen, A. D., Karyukina, B., Schmidt, L., Ede, M., van Oel, W., Arcuri, M. (1999). Comparative evaluation of usability tests. Proceedings of ACM CHI'99 Conference on Human Factors in Computing Systems, Panels, pp Nielsen J. (1993). Usability Engineering, Academic Press, London Nielsen, J. (2000). Designing Web Usability: The Practice of Simplicity, New Riders Publishing, Indianapolis. Nielsen, J., (1994). Usability inspection methods, in J.Nielsen, R.L. Mark (ed.), Usability Inspection Methods, John Willey, New York, Nielsen, J., Landauer, T. K. (1993). A mathematical model of the findings of usability problems. Proceedings ACM/IFIP INTERCHI'93 Conference (Amsterdam, The Netherlands, April 24-29), Norman, D.A. (1986). Cognitive Engineering. In: Norman, D.A and Draper, S.W. (eds.) User Centered Systems Design, Lawrence Erlbaum. Norman, D.A. (1988). The Psychology of Everyday Things. Basic Books, New York. Norman, D.A. (1993). Things That Make Us Smart: Defending Human Attributes in the Age of the Machine. Addison-Wesley Longman Publishers Co., Inc., Reading, MA. Northrup, P. T. (1995). Concurrent formative evaluation: Guidelines and implications for multimedia designers. Educational Technology, 35(6), Nygren, E., Johnson, M., Lind, M., and Sandblad, B. (1992). The Art of the Obvious. Automatically Processed Components of the Task of Reading Frequently Σελίδα 60 ιδακτορική διατριβή.

67 ΚΕΦΑΛΑΙΟ 2 Used Documents. Implications for Task Analysis and Interface Design. In J.P. Baursefeld, J. Bennett, & G. Lynch (Eds.), Proceedings of Human Factors in Computing Systems, CHI 92, pp , New York: ACM. Olson, J., and Olson, G. (1990). The Growth of Cognitive Modeling in Human-Computer Interaction Since GOMS, Human Computer Interaction,Vol.5, Lawrence Erlbaum Associates, Inc pp Ormrod, J. E. (1995). Human Learning. Prentice Hall Press, Upper Saddle River, NJ. Papert, S. (1980). Mindstorms: Pupils, Computers, and Powerful Ideas. New York: Basic Books. Papert, S. (1993). The Children s Machine. Rethinking School in the Age of Computer, N. Y., Basic Books. Parlangeli, O., Marchigiani, E., Bagnara, S. (1999). Multimedia systems in distance education: effects of usability on learning. Interacting with computer 12,3, pp Payne, S.J. and Green, T.R.G. (1989). Task-Action Grammar: the model and its developments. In D. Diaper (Ed.), Task Analysis for Human Computer Interaction. Chichester: Ellis Horwood. Piguet, A. and Peraya, D. (2000). Creating web-integrated learning environments: An analysis of WebCT authoring tools in respect to usability. Australian Journal of Educational Technology, 16(3), pp Peraya, D. (1994). "Distance Education and the WWW". Available online at: Preece, J., Rogers, Y., Sharp, H., Benyon, D., Holland, S., Carey, T. (1994). Human-Computer Interaction. Wokingham, England: Addison-Wesley Publishing Company. Rasmussen, J. (1983). Skills, Rules, and Knowledge; Signals, Signs, and Symbols, and Other Distinctions in Human Performance Models. IEEE Transactions on Systems, Man, and Cybernetics, 13 (3), Reason, J.T. (1987). Generic Error-Modeling System (GEMS): A Cognitive Framework for Locating Common Human Error Forms. In J. Rasmussen, K. Duncan, & J. (eds.) Adding Usability. Methods for Modeling, User Interface Design and Evaluation, pp , Chichester, England:Wiley. ιδακτορική διατριβή. Σελίδα 61

68 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Reigeluth, C.M. (1983). Instructional-design theories and models. Hillsdale, NJ: Erlbaum. Rogoff, B. (1994). Developing understanding of the idea of communities of learners. Mind, Culture and Activity 1, Roschelle, J. (1992). What should collaborative technology be? A perspective from Dewey and situated learning. SIGCUE Outlook, 21 (3), Romiszowski, A.J. (1990). The hypertext/hypermedia solutionbut what exactly is the problem? In D.H. Jonassen & H. Mandl, eds. Designing hypermedia for learning, Heidelberg, Germany: Springer. Rubin, J. (1994). Handbook of Usability Testing, John Wiley and Sons, New York, NY. Salomon, G. (1979). Interaction of Media, Cognition, and Learning: An Exploration of How Symbolic Forms Cultivate Mental Skills and Affect Knowledge Acquisition. Jossey-Bass Inc. Publishers, San Francisco, CA. Savery, J. and Duffy, T.M.(1995). Problem based learning: an instructional model and its constructivist framework. Educational Technology. Scapin, D.L. and Bastien, J.M.C.(1997). Ergonomic criteria for evaluating the ergonomic quality of interactive systems. Special Issue of Behavior and Information Technology on Usability Methods 16 (4/5), pp Schneider, W. and Shiffrin, R.M. (1977). Controlled and Automatic Human Information Processing I, Psychological Rev., 84, Schneiderman, B. (1998). Designing the User Interface, Addison Wesley, Sedig, K., Klawe, M., Westrom, M. (2001). Role of Interface Manipulation Style and Scaffolding on Cognition and Concept Learning in Learnware. ACM Transactions on Computer-Human Interaction, 8 ( 1), March 2001, pp Senach, B. (1990). Evaluation ergonomique des interfaces homme-machine: une revue de la litterature (Rapport Technique 1180), Institut National de Recherche en Informatique et en Automatique, Rocquencourt, France. Senay, H., and Stabler, E.P. (1987). Online help system usage: An empirical investigation. Abridged Proceedings 2 nd Intl. Conf. Human-Computer Interaction (Honolulu, HI, August), 244. Σελίδα 62 ιδακτορική διατριβή.

69 ΚΕΦΑΛΑΙΟ 2 Shepherd, A. (1989). Analysis and training in information technology tasks. In D.Diaper (Ed.), Task Analysis for Human Computer Interaction (pp ). Chichester, England: Ellis Horwood. Shiffrin, R.M., and Dumais, S.T. (1981). The Development of Automatism. In J.R. Anderson (Ed.), Cognitive Skills and their Acquisition. Hillsdale, NJ: Erlbaum. Skinner, B.F. (1968). The technology of teaching. Englewood Cliffs, NJ: Prentice Hall. Smith, S.L. and Mosier, J.N. (1986). Design guidelines for Designing User Interface Software. Technical Report MTR-10090, The MITRE Corporation, Bedford, MA 01730, USA. Soloway, E., Guzdial M., Hay K.,E. (1994). Learner-centered design: The challenge for HCI in the 21st century. Interactions, 1(2), 1994 pp Soloway, E., Jackson, S.L., Klein, J., Quintana, C., Reed, J., Spitulnik, J., Stratford, S.J., Studer, S., Eng, J., Scala, N., (1996). Learning theory in practice: case studies of learner-centered design. Proceedings of CHI'96: Human factors in Computing Systems, April 13-18, 1996, Vancouver, B.C., Canada. ACM Press, pp Solso, R.L. (1991). Cognitive Psychology. Boston: Allyn and Bacon. Squires D. and Preece, J. (1999). Predicting quality in educational software: Evaluating for learning, usability and the synergy between them, Interacting with Computers, 11, pp Stanton, N.A. and Stammers, R.B. (1990). Learning styles in a non-linear training environment. In R. McAleese and C. Green, (eds.) Hypertext: state of the art, Oxford, England: Intellect. Steiner, V. (1996). "What is Distance Education?" (Far West Laboratory for Educational Research and Development). Available online at: /edtech/distance.html Stewart, M.F. and Gregory, J.R., (1997). Production of a multimedia CAL package in basic physics. Physics Education 32 (5), pp Thuring, M., Mannemann, J., Haake, J. (1995). Hypermedia and cognition: Designing for comprehension. Communications of the ACM, 38(8), Tselios, N.K., Feidas, C., Avouris, N.M. (2001). Usability evaluation of web based applications. Proceedings of 8th Panhellenic Conference on Informatics, pp , Nicosia, Cyprus, 8-10 November ιδακτορική διατριβή. Σελίδα 63

70 Το πρόβληµα της αλληλεπίδρασης σπουδαστών/χρηστών µε τεχνολογικά περιβάλλοντα µάθησης Tselios, N.K, Avouris, N.M., Kordaki M. (2002). Student task modeling in design and evaluation of open-problem solving environments. Journal of Education and Information Technologies, (accepted for publication). United States Distance Learning Association (1998). Available online at: van den Berg, S. and Watt, J.H. (1991). Effects of educational setting on student responses to structured hypertext. Journal of Computer-Based Instruction 18 (4), van der Veer, G.C. (1990). Human-Computer Interaction: learning, individual differences, and design recommendations. Doctoral Thesis, Vrije Universiteit, Amsterdam. von Glasersfeld, E. (1987). Learning as a constructive activity. In C. Janvier (Eds), Problems of representation in teaching and learning of mathematics (pp.3-18). London: Lawrence Erlbaum. Vygotsky, L. S. (1978). Mind in society: The development of higher psychological processes. MA: Harvard University Press. Walsh, P.A. (1989). Analysis for Task Object Modeling (ATOM) towards a method of integrating task analysis with Jackson System Development for user interface software design. In Diaper, D.(ed.); Task Analysis for human computer interaction, Ellis Horwood Limited, pp Watson, J.B.(1913). Psychology as the behaviorist views it. Psychological Review 20, Waugh, N.C. and Norman D.A.(1965). Primary memory. Psychological review, 72 (2), Wright, P. (1990). Hypertexts as an interface for learners: some human factors issues. In Jonassen, D.H. and Mandl, H. (eds.), Designing hypermedia for learning, Heidelberg, Germany: Springer. Σελίδα 64 ιδακτορική διατριβή.

71 ΚΕΦΑΛΑΙΟ 3 Κεφάλαιο 3. Αξιολόγηση πολυµεσικών / υπερµεσικών περιβαλλόντων µάθησης Στο κεφάλαιο αυτό προτείνεται συνδυαστικό µεθοδολογικό πλαίσιο για την αξιολόγηση ευχρηστίας πολυµεσικών/ υπερµεσικών περιβαλλόντων µάθησης. Συγκεκριµένα, προτείνεται η χρήση τεχνικών καθιερωµένων από την περιοχή της αξιολόγησης διαδραστικού λογισµικού, όπως η ευρετική αξιολόγηση (heuristic evaluation) µέσω κατάλληλων τροποποιήσεων που προτείνονται, η χρήση ερωτηµατολογίων κατασκευασµένων για εκπαιδευτικό λογισµικό, καθώς και µαθητο-κεντρικές δοκιµές ευχρηστίας. Η καταλληλότητα της ευρετικής αξιολόγησης διαφάνηκε αρχικά µέσα από ένα πείραµα συγκριτικής αξιολόγησης επιλεγµένων χαρακτηριστικών δύο κόµβων από απόσταση εκπαίδευσης (ΑΑΕ) µεγάλης κλίµακας. Στο πείραµα αυτό, οι φοιτητές αξιολόγησαν τα συστήµατα µέσω ερωτηµατολογίων βασισµένα στην ευρετική αξιολόγηση. Ακολούθως, η χρήση του πλαισίου για την αξιολόγηση ευχρηστίας σε παρόµοιου τύπου εκπαιδευτικό λογισµικό κατέδειξε την εφαρµοσιµότητά του, ενώ παράλληλα ελέγχθηκε η αξιοπιστία της προτεινόµενης τροποποιηµένης ευρετικής αξιολόγησης ως µέθοδος αποτιµητικής αξιολόγησης ευχρηστίας. Παράλληλα, από την ανάλυση των αποτελεσµάτων της συγκριτικής αξιολόγησης των συστηµάτων ΑΑΕ προέκυψε συσχέτιση µεταξύ της ευχρηστίας των συστηµάτων, στο τµήµα της εξέτασης και της επίδοσης των φοιτητών. ιδακτορική διατριβή. Σελίδα 65

72 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης 3.1.Εισαγωγή Η χρήση των πολυµέσων στην εκπαιδευτική διαδικασία µπορεί να αποδειχθεί πολύτιµη στη διαδικασία µάθησης. Έρευνες δείχνουν ότι ο εκπαιδευόµενος θυµάται περίπου το 50 % του υλικού που βλέπει και ακούει, συγκρινόµενο µε το περίπου 10 % του υλικού που απλά διαβάζει (Torgensen, 1998). Παρ όλα αυτά η συζήτηση σχετικά µε το κατά πόσο η χρήση πολυµεσικών εκπαιδευτικών περιβαλλόντων βελτιώνει τη διαδικασία µάθησης παραµένει ανοιχτή (Parlangeli et al., 1999). Ενώ πειράµατα δείχνουν θετική επίδραση της χρήσης εκπαιδευτικών περιβαλλόντων µε χρήση υπολογιστή (Clark and Craig, 1992), άλλοι ερευνητές υποστηρίζουν ότι µόνο το κατάλληλο περιεχόµενο, και όχι τα µέσα, επηρεάζουν το µαθησιακό αποτέλεσµα (Brooks, 1997). Παρ όλα, αυτά σε ένα βαθµό γίνεται συνολικά αποδεκτό, ότι η διασφάλιση της ποιότητας και των δύο αξόνων µπορεί να βελτιστοποιήσει το προσδοκώµενο αποτέλεσµα. Παράλληλα µε τη διάδοση της χρήσης των πολυµέσων σε εκπαιδευτικά συστήµατα, τα τελευταία χρόνια έχει παρατηρηθεί µια ανάπτυξη των τεχνολογιών και των µέσων υλοποίησης συστηµάτων από απόσταση ή/ και συνεργατικής εκπαίδευσης. Ο παγκόσµιος ιστός (World Wide Web), που χρησιµοποιείται ως το κύριο µέσο στο πλαίσιο αυτό, είναι ένα διαδεδοµένο και κατάλληλο µέσο, όσον αφορά στη δυνατότητα εκπαίδευσης, για πολλούς λόγους. Είναι εύκολα προσβάσιµο, υποστηρίζει πολλαπλές επιλογές αποθήκευσης, δόµησης και αναπαράστασης του εκπαιδευτικού υλικού, παρέχει µία απλή αλλά συγχρόνως ισχυρή φόρµα δηµοσίευσης και τρόπους ώστε να ενσωµατώνονται πολλαπλά µέσα. Τα χαρακτηριστικά υπερµέσου του WWW έχουν ευρεία αποδοχή και η δυνατότητα να χρησιµοποιηθεί ο παγκόσµιος ιστός ως εργαλείο µάθησης, πηγάζει από την ίδια τη δοµή του και την αρχική ιδέα δηµιουργίας του. Οι δυνατότητες γρήγορης µετάδοσης εκπαιδευτικού υλικού από απόσταση, βασιζόµενες στην ευρεία διάδοση του διαδικτύου, τη σχετική ωρίµανση του µέσου και την αύξηση της απόδοσης των δικτύων διασύνδεσης είχαν ως συνέπεια την εκτεταµένη υλοποίηση προγραµµάτων εκπαίδευσης από απόσταση. Οι αλλαγές έχουν ήδη αρχίσει να γίνονται αισθητές. Τα περισσότερα πανεπιστήµια και εκπαιδευτικά ιδρύµατα ενσωµατώνουν το διαδίκτυο σε κάποιο βαθµό στις εκπαιδευτικές τους δραστηριότητες. Για παράδειγµα, στον τοµέα της ανώτερης και ανώτατης εκπαίδευσης, οι περισσότεροι φοιτητές και διδάσκοντες Σελίδα 66 ιδακτορική διατριβή.

73 ΚΕΦΑΛΑΙΟ 3 έχουν πρόσβαση στο διαδίκτυο και το χρησιµοποιούν εκτεταµένα. Τα περισσότερα Ελληνικά Πανεπιστήµια έχουν δηµιουργήσει κόµβους από απόσταση εκπαίδευσης, ενώ γίνεται ανάπτυξη εκπαιδευτικού υλικού σε µεγάλη κλίµακα µε χαρακτήρα είτε επικουρικό της παραδοσιακής διδασκαλίας είτε ως αυτόνοµο υλικό από απόσταση εκπαίδευσης. Ταυτόχρονα µε την αποδοχή της νέας αυτής µεθόδου διδασκαλίας (Becker and Dwyer, 1994, Thuring et al., 1995, Eklund, 1995, Alexander, 1995) διατυπώνονται αµφιβολίες για την αποτελεσµατικότητα των νέων µεθόδων (Fitzelle and Trochim, 1996). Κατά συνέπεια ένα από τα σηµαντικά χαρακτηριστικά που επηρεάζουν την ποιότητα του εκπαιδευτικού αυτού µέσου είναι η ευχρηστία του, µε την έννοια της αποτελεσµατικότητας, της αποδοτικότητας και της ικανοποίησης που προσδίδει στην κατηγορία των χρηστών που απευθύνεται, στο συγκεκριµένο πλαίσιο χρήσης και των δυνατοτήτων που προσφέρει. Σύµφωνα µε τον Kirkpatrick (1994), κρίσιµη παράµετρος επίτευξης των παιδαγωγικών στόχων, που έχουν τεθεί κατά τη διαδικασία ανάλυσης και σχεδιασµού ενός συστήµατος από απόσταση εκπαίδευσης, αποτελεί η αξιολόγηση της ευχρηστίας του συστήµατος. Αν και η διάδοση και σηµασία των συστηµάτων από απόσταση εκπαίδευσης φαίνεται σηµαντική, δεν υπάρχει στη βιβλιογραφία ακόµη ένας ανάλογος αριθµός θεωρητικών και πειραµατικών ερευνητικών αποτελεσµάτων στο θέµα της αξιολόγησης τους (Tselios et al., 2001). Επίσης διαπιστώνεται η έλλειψη προσαρµοσµένων τεχνικών για αξιολόγηση από απόσταση εκπαίδευσης συστηµάτων (Heines, 2000). ιάφορες τεχνικές αξιολόγησης έχουν προταθεί, οι περισσότερες εκ των οποίων αποτελούν προσαρµογή µεθόδων που εφαρµόζονται ήδη σε συµβατικό λογισµικό. Τούτο οφείλεται εν µέρει στην πρόσφατη ανάπτυξη της περιοχής, αφετέρου δε στις εγγενείς αδυναµίες που παρουσιάζουν πειράµατα αυτού του είδους. Οι διδασκόµενοι µε τις µεθόδους αυτές, βρίσκονται σε διαφορετικούς χώρους, οι συνθήκες αλληλεπίδρασης µε το υλικό ποικίλουν, η καταγραφή της αντίδρασης τους µε µέσα όπως καταγραφή πληκτρολογήσεων (log files) είναι τεχνικά δύσκολη. Αν εξετάσουµε πεδία µε εγγενώς όµοια χαρακτηριστικά, όπως η ευχρηστία εφαρµογών διαδικτύου, παρόµοια προβλήµατα έχουν ήδη καταγραφεί (Nielsen, 2000). Η αποτελεσµατικότητα των τεχνικών που προτείνονται από το πεδίο της ΕΑΥ ποικίλει ανάλογα µε τη φύση του συστήµατος καθώς και το στάδιο στο οποίο εφαρµόζονται (Molich et al., 1999). Τέτοιες είναι η ευρετική αξιολόγηση (Nielsen ιδακτορική διατριβή. Σελίδα 67

74 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης 1993, Levi 1998, Conrad and Frederick, 1998), οι µελέτες πεδίου (Tognazzini, 1992), η παρατήρηση σε εργαστήριο ευχρηστίας, καθώς και ερωτηµατολόγια, συνεντεύξεις σε αντιπροσωπευτικές οµάδες χρηστών κλπ. Παράλληλα, τα χαρακτηριστικά των χρηστών ποικίλουν σηµαντικά τόσο στη γνώση του πεδίου στο οποίο διδάσκονται όσο και στη εµπειρία χρήσης παρόµοιων περιβαλλόντων, όπου η αναλογία αρχαρίων χρηστών είναι σχετικά υψηλή. Σύµφωνα µε τον Hayes (2000), η αξιολόγηση ευχρηστίας παρόµοιων συστηµάτων θα πρέπει να εξετάζει ιδιαίτερα την προσπάθεια που απαιτείται για ένα χρήστη-µαθητή να αποκτήσει την κυριότητα των λειτουργιών του συστήµατος και να εστιάζει στην ευκολία εκµάθησής του. Στο κεφάλαιο αυτό περιγράφεται το µεθοδολογικό πλαίσιο που προτείνεται για την αξιολόγηση ευχρηστίας πολυµεσικών/ υπερµεσικών περιβαλλόντων µάθησης. Το πλαίσιο αυτό προτείνεται µε βάση τις προσδοκίες των Mayes και Fowler (1999) για τα αποτελέσµατα της εφαρµογής πρωτογενή τύπου εκπαιδευτικού λογισµικού (primary courseware) στη µαθησιακή διαδικασία. To παιδαγωγικό θεωρητικό πλαίσιο τέτοιων περιβαλλόντων είναι κύρια συµπεριφοριστικό και ο µαθητής καλείται να διαµορφώσει αντίληψη για έννοιες που παρέχονται έτοιµες από τους εκπαιδευτικούς. Έτσι, πρακτικά, το περιβάλλον αυτό εξυπηρετεί ένα ρόλο «ποµπού-διαβιβαστή πληροφορίας» του εκπαιδευτικού προς τους µαθητές (Soloway et al., 1994). Από τη στιγµή που ο µαθητής δεν έχει την ικανότητα να αλληλεπιδράσει ενεργά και να δηµιουργήσει προσωπικές κατασκευές γνώσης µε βάση τις ιδέες που προσφέρονται, η διαδικασία της µάθησης που παρέχεται µέσα από τέτοιου είδους περιβάλλοντα θεωρείται κατά µία έννοια ηµιτελής. Όµως, τέτοια περιβάλλοντα µπορούν να δηµιουργήσουν ισχυρό κίνητρο για µάθηση, ενώ παράλληλα η ικανότητα πρόσβασης στην γνώση αυξάνεται, άρα κατά τους Mayes και Fowler (1999) και της αποδοτικότητας της τεχνολογίας µάθησης. Για την παράµετρο της ευχρηστίας, θεωρούν ότι παρουσιάζει δευτερεύουσα σηµασία, αφού δεν εµπλέκεται άµεσα µε τη διαδικασία µάθησης και προτάσσουν περισσότερο την πιστοποίηση της προσαρµογής του εκπαιδευτικού υλικού στους όρους της αντιληπτικής ικανότητας και της απαίτησης για πρωταρχικού τύπου κατανόηση. Η θεώρηση αυτή απεµπλέκει τις διεργασίες του µαθητή µε το περιβάλλον από πιθανές επιδράσεις στη διαδικασία µάθησης, και σε ένα βαθµό καθιστά έγκυρη την εφαρµοσιµότητα παραδοσιακών τεχνικών αξιολόγησης ευχρηστίας, δοθέντος του γεγονότος ότι οι διεργασίες και το στυλ αλληλεπίδρασης µε το µαθητή δεν επηρεάζει τη µάθηση. Παράλληλα όµως, οι Squires και Preece (1999), αµφισβητούν την Σελίδα 68 ιδακτορική διατριβή.

75 ΚΕΦΑΛΑΙΟ 3 εγκυρότητα µιας αξιολόγησης εκπαιδευτικού λογισµικού που βασίζεται αποκλειστικά σε ερωτηµατολόγια, προτείνοντας την ευρετική αξιολόγηση προσαρµοσµένη κατάλληλα ώστε να συνεκτιµά και παιδαγωγικές διαστάσεις του περιβάλλοντος. Παρόµοια αµφισβήτηση διατυπώνει ο Nielsen (1993) συνολικά για την αξιολόγηση ευχρηστίας λογισµικού, προτάσσοντας την παρατήρηση αντιπροσωπευτικών χρηστών ως την πλέον αξιόπιστη λύση. Η θεωρητική πρόταση των Squires και Preece (1999), οδήγησε αρχικά στην διερεύνηση της καταλληλότητας της ευρετικής αξιολόγησης, κατάλληλα διαµορφωµένης και µε τη χρήση τελικών χρηστών-φοιτητών ως αξιολογητές. Αρχικά, η διερεύνηση αυτή έλαβε χώρα σε συγκριτική αξιολόγηση επιλεγµένων χαρακτηριστικών δύο κόµβων από απόσταση εκπαίδευσης. Η ανάλυση των πειραµατικών αποτελεσµάτων παρουσιάζεται στα επόµενα, και από αυτήν προέκυψαν επιπλέον συµπεράσµατα µε σηµαντικότερο την εµφάνιση συσχέτισης µεταξύ της ευχρηστίας των συστηµάτων και της επίδοσης των φοιτητών. Η αποτελεσµατική εφαρµογή της τροποποιηµένης ευρετικής αξιολόγησης διαµόρφωσε και το τελικό προτεινόµενο συνδυαστικό πλαίσιο πολυµεσικών/ υπερµεσικών περιβαλλόντων µάθησης. Έτσι, προτείνεται η χρήση τεχνικών καθιερωµένων από την περιοχή της αξιολόγησης διαδραστικού λογισµικού όπως η ευρετική αξιολόγηση (heuristic evaluation) µέσω κατάλληλων τροποποιήσεων που προτείνονται, η χρήση ερωτηµατολογίων κατασκευασµένων για εκπαιδευτικό λογισµικό καθώς και χρηστο-κεντρικές µετρήσεις-δοκιµές ευχρηστίας (usability testing) εστιασµένες στον όρο της αποδοτικότητας. Η χρήση του πλαισίου για την αξιολόγηση ευχρηστίας σε παρόµοιου τύπου εκπαιδευτικό λογισµικό κατέδειξε την εφαρµοσιµότητά του, ενώ παράλληλα ελέγχθηκε η αξιοπιστία της προτεινόµενης τροποποιηµένης ευρετικής αξιολόγησης ως µεθόδου αποτιµητικής αξιολόγησης ευχρηστίας. Το γεγονός αυτό παρουσιάζει σηµαντικό ερευνητικό και πρακτικό ενδιαφέρον, αφού σύµφωνα µε τον Squires (1999), παρά το γεγονός ότι η έρευνα στα πεδία αλληλεπίδρασης ανθρώπουυπολογιστή και εκπαιδευτικού λογισµικού έχει οδηγήσει σε εδραιωµένες πρακτικές και µεθοδολογίες, τα πεδία αυτά σπανίως επικοινωνούν δόκιµα µεταξύ τους λαµβάνοντας υπ όψιν τις ιδιαιτερότητες και τους περιορισµούς που τα διακρίνουν. ιδακτορική διατριβή. Σελίδα 69

76 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης 3.2 ιερεύνηση καταλληλότητας ευρετικής αξιολόγησης για έλεγχο ευχρηστίας συστηµάτων από απόσταση εκπαίδευσης Στόχος της έρευνας που περιγράφεται στην ενότητα αυτή, ήταν η διερεύνηση της καταλληλότητας της ευρετικής αξιολόγησης για τον έλεγχο ευχρηστίας συστηµάτων από απόσταση εκπαίδευσης. Πορίσµατα της έρευνας αυτής προέκυψαν από ένα πείραµα αξιολόγησης από απόσταση εκπαίδευσης ευρείας κλίµακας, που διεξήχθη σε πλαίσιο πραγµατικής εκπαιδευτικής διαδικασίας. Ένα λογισµικό ΑΑΕ αποτελείται συνήθως από διάφορα τµήµατα που υποστηρίζουν µια σειρά από λειτουργίες. Μερικά από αυτά είναι το τµήµα παρουσίασης υλικού, εργαλεία επικοινωνίας διδασκάλων και µαθητών, εργαλεία συνεργασίας και συντονισµού αυτής κ.α. Ένα από τα τµήµατα τα οποία συχνά απαρτίζουν ένα ΑΑΕ είναι το τµήµα εξέτασης και αυτοαξιολόγησης. Ένα τέτοιο τµήµα είναι συνήθως απλό στη δοµή του. Αποτελείται από έναν αριθµό ερωτήσεων κλειστού τύπου µε προκαθορισµένο σύνολο ορθών απαντήσεων. Παρά τη σχετική απλότητα των διεργασιών που περικλείει, ο παράγων ευχρηστία αποδεικνύεται κρίσιµος όπως θα φανεί στην ανάλυση των πειραµάτων που διεξήχθησαν. Στο πλαίσιο της έρευνας που αφορά στη διερεύνηση της σηµασίας της αξιολόγησης από απόσταση εκπαιδευτικών συστηµάτων, αναπτύχθηκε στο τµήµα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Πατρών το σύστηµα IDLE (Infotronic Distance Learning Environment, (Avouris and Tselios, 1999)) ένα περιβάλλον ΑΑΕ γενικού σκοπού µε έµφαση σε τµήµατα εξέτασης και αυτοαξιολόγησης, τα οποία δύνανται να διασυνδεθούν µε οιοδήποτε εκπαιδευτικό αντικείµενο. Το σύστηµα αναπτύχθηκε στα πλαίσια του Ευρωπαϊκού Ερευνητικού Προγράµµατος CBT-Kernel το οποίο αποτελεί µέρους του προγράµµατος Leonardo της Ευρωπαϊκής Ένωσης µε τη συµµετοχή του Πανεπιστηµίου Πατρών, του Fraunhofer-Institut Integrierte Schaltungen, του Πανεπιστηµίου Erlangen-Nurnberg και MicroLEx Systems A/S. Στο πλαίσιο της ερευνητικής προσπάθειας, δηµιουργήθηκε ένας κόµβος παροχής από απόσταση εκπαίδευσης για την υποστήριξη του µαθήµατος Εισαγωγή στους Υπολογιστές Ι, του τµήµατος ΗΜΤΥ Πατρών και κατά το Ακαδηµαϊκό έτος εντάχθηκαν κάποιες από τις υπηρεσίες του κόµβου στην εκπαιδευτική διαδικασία. Ένας από τους πρώτους στόχους της προσπάθειας αυτής υπήρξε η Σελίδα 70 ιδακτορική διατριβή.

77 ΚΕΦΑΛΑΙΟ 3 αξιολόγηση της παρεχόµενης υπηρεσίας. Η αξιολόγηση έγινε µε ελεγχόµενο τρόπο και σε συνθήκες προσοµοίωσης από-απόσταση εκπαίδευσης. Στα επόµενα, περιγράφεται το πείραµα αξιολόγησης της λειτουργίας αυτό-εξέτασης των φοιτητών. Για τον σκοπό αυτό, χρησιµοποιήθηκαν κατάλληλα διαµορφωµένα τεστ αυτόαξιολόγησης που απαντήθηκαν από µεγάλο αριθµό φοιτητών σε συνθήκες πραγµατικής εξέτασης. Η πειραµατική διαδικασία διεξήχθη κατόπιν προσεκτικής σχεδίασης ώστε να αποµονωθούν συνθήκες που θα µπορούσαν να την επηρεάσουν. Οι µαθητές-χρήστες που συµµετείχαν στο πείραµα διεκπεραίωσαν την διαδικασία στο υπολογιστικό κέντρο του τµήµατος, ώστε να απαλειφθεί ο παράγοντας του διαφορετικού εξοπλισµού και της διαφορετικής ταχύτητας σύνδεσης. Οι µαθητές χωρίστηκαν σε τρεις οµάδες και συµµετείχαν στη διαδικασία µε τρεις διαφορετικούς τρόπους: µε τη χρήση του συστήµατος IDLE, τη χρήση του συστήµατος WebCT (που περιγράφονται διεξοδικά στις ενότητες και 3.2.2) και την παραδοσιακή µέθοδο αξιολόγησης χαρτί-µολύβι. Οι απαντήσεις επεξεργάστηκαν ηλεκτρονικά και συσχετίστηκαν µε την ευχρηστία του λογισµικού, όπως αυτή µετρήθηκε µέσω σχετικού ερωτηµατολογίου. Τα συµπεράσµατα που προέκυψαν κατέγραψαν στατιστικώς σηµαντική συσχέτιση µεταξύ της ευχρηστίας και της επίδοσης των φοιτητών. Τα αποτελέσµατα του πειράµατος παρουσιάζουν σηµαντική σηµασία αφού σχετικά πειράµατα τέτοιας κλίµακας που αφορούν συστήµατα από-απόσταση εκπαίδευσης είναι ελάχιστα στη βιβλιογραφία (Hayes, 2000). Επίσης η ένταξη δύο διαφορετικών λογισµικών από απόσταση εκπαίδευσης στο πείραµα, η σύγκριση µε τη παραδοσιακή διαδικασία αξιολόγησης και η συσχέτιση της ευχρηστίας των λογισµικών µε την επίδοση των φοιτητών, οδήγησαν σε σηµαντικά συµπεράσµατα που παρατίθενται σε λεπτοµέρεια και συζητώνται στα επόµενα Το περιβάλλον IDLE Ένα από τα δύο συστήµατα ΑΑΕ που χρησιµοποιήθηκαν είναι το σύστηµα IDLE. Τα βασικά συστατικά του συστήµατος είναι το σύστηµα ενηµέρωσης των γνωστικών αντικειµένων για την έκδοση υλικού στο διαδίκτυο, καθώς και το περιβάλλον αλληλεπίδρασης µε το σπουδαστή µέσω του διαδικτύου. Με το σύστηµα ενηµέρωσης ο διδάσκων µπορεί να δηµιουργήσει νέες θεµατικές ενότητες διδασκαλίας, να σχεδιάσει υλικό αυτό-αξιολόγησης, να τροποποιήσει και να ιδακτορική διατριβή. Σελίδα 71

78 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης διαγράψει ήδη υπάρχον υλικό καθώς και να προσθέσει νέες διδακτικές ενότητες. Επίσης υπάρχει η δυνατότητα διασύνδεσης θεωρίας µε υλικό αξιολόγησης µε στόχο την υποστήριξη εναλλακτικών ροών αλληλεπίδρασης του σπουδαστή µε το σύστηµα. Overview of questions screen Multiplechoice question System feedback Εικόνα 3.1 Το σύστηµα ΑΑΕ, IDLE. Στιγµιότυπα από οθόνες παρουσίασης ερωτήσεων και τυπικές ερωτήσεις πολλαπλής επιλογής. Το περιβάλλον αλληλεπίδρασης µε το χρήστη µέσω του διαδικτύου, έχει υλοποιηθεί µε τη τεχνολογία Active Server Pages (ASP) που επιτρέπει τη δηµιουργία δυναµικών ιστοσελίδων από Βάσεις εδοµένων. Κάθε φορά που καλείται µια σελίδα ASP, ο διακοµιστής του συστήµατος ανακτά τη σχετιζόµενη πληροφορία από τη βάση δεδοµένων και δηµιουργεί σε πραγµατικό χρόνο δοµή HTML βάσει µιας προϋπάρχουσας µορφοποίησης της σχετικής σελίδας. Φυσική συνέπεια της υλοποίησης αυτής είναι το σύστηµα να είναι ανεξάρτητο από φυλλοµετρητή (browser) και να εξασφαλίζει το µέγιστο δυνατό βαθµό συµβατότητας χωρίς να απαιτεί την εγκατάσταση πρόσθετου λογισµικού από τη πλευρά του χρήστη. Σελίδα 72 ιδακτορική διατριβή.

79 ΚΕΦΑΛΑΙΟ 3 Για κάθε χρήστη που συνδέεται στο σύστηµα IDLE, διαδικασία που ελέγχεται µε τη χρήση προσωπικού κωδικού, γίνεται καταγραφή της αλληλεπίδρασής του µε το σύστηµα. Συγκεκριµένα, καταγράφονται το υλικό της θεωρίας που έχει περιδιαβεί, οι ερωτήσεις αυτοαξιολόγησης που έχει απαντήσει (επιτυχώς ή ανεπιτυχώς), και ο σχετικός χρόνος που απαιτήθηκε. Όταν το επιθυµεί, ο χρήστης µπορεί να παρακολουθήσει την επίδοσή του, όπως φαίνεται στην Εικόνα 3.1 (επιλογή Score). Επίσης, στο περιβάλλον IDLE διατίθενται εργαλεία από απόστασηεπικοινωνίας όπως πίνακας ανακοινώσεων, πίνακας µηνυµάτων για ανταλλαγή απόψεων καθώς και δυνατότητα αυτόµατης αποστολής για ενηµέρωση των εγγεγραµµένων φοιτητών για θέµατα που σχετίζονται µε το συγκεκριµένο γνωστικό αντικείµενο. Ο υπεύθυνος διδασκαλίας του κάθε µαθήµατος µπορεί µε χρήση κατάλληλου κωδικού πρόσβασης να επιθεωρεί σε πραγµατικό χρόνο την απόδοση των φοιτητών, να απαντά σε µηνύµατα που είναι αναρτηµένα στον ηλεκτρονικό πίνακα µηνυµάτων, καθώς και να εξετάσει πόσοι χρήστες είναι συνδεδεµένοι τη συγκεκριµένη χρονική στιγµή στο σύστηµα. Το τµήµα του IDLE στο οποίο εστιάστηκε η αξιολόγηση είναι αυτό της αυτοαξιολόγησης. Συνήθως χρησιµοποιείται από ένα µαθητή ως µέσο για την αυτοαξιολόγηση της διαδικασίας µάθησής του µέσα στο περιβάλλον. Στην εισαγωγική οθόνη του τµήµατος αυτού γίνεται παρουσίαση όλων των ερωτήσεων που σχετίζονται µε το αντικείµενο µε συνεκτικό τρόπο. Ο µαθητής µπορεί να επιλέξει µια ερώτηση από τη λίστα και εισέρχεται σε µια αντίστοιχη οθόνη όπου παρουσιάζεται η επιλεγµένη ερώτηση (Εικόνα 3.1). ύο διαφορετικοί τύποι ερωτήσεων υποστηρίζονται αυτός της πολλαπλής επιλογής και αυτός της συµπλήρωσης κενού. Σχετική ανάδραση παρουσιάζεται στον µαθητή σχετικά µε την επιλεγµένη απάντηση. Στις ερωτήσεις πολλαπλής επιλογής επιτρέπεται και δεύτερη απάντηση, η οποία βαθµολογείται µε το 50% σε σχέση µε την απάντηση µε τη πρώτη προσπάθεια. Με βάση το σχεδιασµό του τµήµατος αυτού, ένα τυπικό σενάριο χρήσης είναι το εξής: Ο µαθητής κινείται από τη σελίδα επισκόπησης ερωτήσεων στη συγκεκριµένη ερώτηση, απαντά, διαβάζει τη σχετική ανάδραση που του δίνει το σύστηµα και επιστρέφει στη σελίδα επισκόπησης ερωτήσεων. Περιστασιακά µπορεί να επισκοπήσει την τρέχουσα βαθµολογία του ανατρέχοντας στη σχετική επιλογή. Στο σηµείο αυτό παρουσιάζεται πληροφορία σχετική µε τον αριθµό των ερωτήσεων που έχει απαντήσει επιτυχώς, το συνολικό αριθµό ερωτήσεων που έχει απαντήσει και την αναλυτική αξιολόγησή του µε γραφικό τρόπο. ιδακτορική διατριβή. Σελίδα 73

80 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Η ανάδραση που έχει ο µαθητής σχετικά µε το αν έχει απαντήσει σε κάποιες ερωτήσεις προσφέρεται µε τη διατήρηση της σύµβασης περί συνδέσµων που έχουν επισκεφθεί ή όχι (Nielsen 2000). Πιο συγκεκριµένα, στη σελίδα επισκόπησης ερωτήσεων κάθε παρουσιαζόµενη ερώτηση είναι ένας υπερσύνδεσµος στην αντίστοιχη ερώτηση πολλαπλής επιλογής. Με µπλε χρώµα απεικονίζεται ερώτηση που δεν έχει επιλεγεί, ενώ µε κόκκινο χρώµα οι ερωτήσεις που έχουν επιλεγεί. Όµως ο µαθητής δεν έχει καµία ανάδραση σχετικά µε τον αν µια ερώτηση έχει πραγµατικά απαντηθεί ή έχει επισκεφθεί απλώς, αφού το σηµασιολογικό επίπεδο περιγραφής των υπερσυνδέσµων δεν υποστηρίζει τέτοιου είδους ανάδραση. Επίσης, εξαιτίας του ότι απαιτούνται πολλαπλές προσβάσεις στον διακοµιστή για την αναλυτική επισκόπηση κάθε σελίδας χωριστά, σε συνθήκες σηµαντικού φόρτου, το γεγονός αυτό µπορεί να αποτελέσει ένα επιπλέον παράγοντα που να επιβαρύνει την ευχρηστία του συστήµατος. Έτσι, είναι πιθανό, η ευχρηστία της διαδικασίας αυτοαξιολόγησης στο περιβάλλον αυτό να υστερεί σε σχέση µε το παραδοσιακό περιβάλλον αξιολόγησης χαρτί-µολύβι µε το οποίο σηµειωτέον ο µέσος µαθητής είναι σαφώς πιο εξοικειωµένος Το περιβάλλον WEBCT Η αξιολόγηση που έλαβε χώρα έγινε και σε σχέση µε εναλλακτικό περιβάλλον από απόσταση εκπαίδευσης που χρησιµοποιήθηκε ως αναφορά. Το δεύτερο αυτό περιβάλλον είναι το WebCT, (Goldberg, et al., 1996), ένα περιβάλλον µε παρόµοια λειτουργικότητα µε το IDLE, ευρέως χρησιµοποιούµενο για τη συγγραφή και προσφορά εκπαιδευτικού υλικού µέσω διαδικτύου. Μια συνεκτική παρουσίαση του περιβάλλοντος επιχειρείται στην ενότητα αυτή. Το WebCT (Web Course Tools) αναπτύχθηκε από το πανεπιστήµιο British Columbia για την υποστήριξη από απόσταση εκπαίδευσης µέσω διαδικτύου. Μετεξελίχθηκε σε προϊόν το 1997.Από τότε συχνά εκδίδονται νέες εκδόσεις µε διάφορες προσθήκες και βελτιώσεις. Η έκδοση 2.1 έχει χρησιµοποιηθεί για την διεξαγωγή του πειράµατος. Σελίδα 74 ιδακτορική διατριβή.

81 ΚΕΦΑΛΑΙΟ 3 Επισκόπηση ερωτήσεων που έχουν απαντηθεί. Εικόνα 3.2 Τυπική οθόνη παρουσίασης ερωτήσεων του Web CT. Το WebCT βασίζεται σε τεχνολογία CGI (Common Gateway Interface). Τα CGI είναι γραµµένα σε γλώσσα Perl, ενώ χρησιµοποιείται ακόµη javascript και java που συνεργάζονται µε έναν διακοµιστή δικτύου µε σκοπό την δηµιουργία, χρήση και διατήρηση µιας εικονικής αίθουσας. Το WebCT επιτρέπει τόσο τη διανοµή εκπαιδευτικού υλικού µε ιεραρχική όσο και διαδοχική οργάνωση, παρέχει λειτουργίες ευρετηρίου και γλωσσάρι, δηµιουργία προσωπικής σελίδας από το µαθητή που συνοψίζει και παρουσιάζει πληροφορία από το διαθέσιµο εκπαιδευτικό υλικό καθώς και προσθήκη υλικού σε διάφορες µορφές στην ηλεκτρονική τάξη, όπως παρουσιάσεις, σελίδες HTML, κείµενα και άλλα µέσα. Υποστηρίζει την επικοινωνία τόσο µε ασύγχρονο (πίνακας ανακοινώσεων, ) όσο και σύγχρονο τρόπο (διάλογος σε πραγµατικό χρόνο σε εικονικές συνεδρίες). Επίσης υποστηρίζει δηµιουργία διαγωνισµάτων µε ερωτήσεις διαφόρων τύπων, καθώς και επεξεργασία, απεικόνιση και επίβλεψη των αποτελεσµάτων. Για τη διεξαγωγή της συγκριτικής αξιολόγησης των IDLE και WEBCT, που περιγράφεται αναλυτικά στην επόµενη ενότητα, αναπτύχθηκε εκπαιδευτικό υλικό σχετικό µε το µάθηµα Εισαγωγή στους Υπολογιστές Ι και ενσωµατώθηκε και στα δύο συστήµατα. Ο διαφορετικός τρόπος σχεδίασης των δύο συστηµάτων διαφοροποίησε την αλληλεπίδραση των µαθητών µε τα περιβάλλοντα αυτά. Το τµήµα αυτοαξιολόγησης του WebCT παρουσιάζει όλες τις ερωτήσεις πολλαπλής επιλογής ιδακτορική διατριβή. Σελίδα 75

82 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης και συµπλήρωσης κενού σε ενιαίο χώρο επιτρέποντας την απ ευθείας απάντησή τους. Κατά συνέπεια, οι φοιτητές έχουν πιο άµεση επισκόπηση των ερωτήσεων και σε ξεχωριστό πλαίσιο (frame) της σελίδας παρουσιάζονται αναλυτικά οι ερωτήσεις που έχουν απαντηθεί µέχρι στιγµής (Εικόνα 3.2). Η σχεδιαστική λύση που έχει προταθεί από το WEBCT, µειώνει τον φόρτο του διακοµιστή, παράλληλα όµως παρουσιάζει όλες τις ερωτήσεις σε µια σελίδα οπότε απαιτείται από το µαθητή η κύλισή της προκειµένου να οδηγηθεί στις επόµενες ερωτήσεις. Σε σύγκριση µε το περιβάλλον IDLE, δεν παρέχεται ανάδραση σχετικά µε την ορθότητα της επιλογής του σε κάποια ερώτηση. Παράλληλα, αν σε κάποιο σηµείο ο µαθητής θέλει να δει την επίδοσή του µέχρι τη δεδοµένη χρονική στιγµή, απαιτείται µια πιο περίπλοκη διαδικασία όπου ο χρήστης πρέπει να εξέλθει από το τµήµα διεξαγωγής ερωτήσεων και να ανατρέξει σε ένα κεντρικό µενού σε υψηλότερο ιεραρχικά επίπεδο. Η διαδικασία αυτή αποθάρρυνε τους χρήστες από το να χρησιµοποιήσουν τη παραπάνω λειτουργία, σε αντίθεση µε το IDLE όπου οι µαθητές συχνά επιθεωρούσαν την αξιολόγησή τους. Πιθανώς όµως, η διαδικασία αυτή να επιδρά και αρνητικά στους µαθητές καθώς µερικώς διακόπτει την συγκέντρωσή τους και τους αποθαρρύνει σε περίπτωση αρνητικού αποτελέσµατος. Να σηµειωθεί ότι οι σχεδιαστικές λύσεις που προτάθηκαν στο IDLE στο µοντέλο πλοήγησης και γενικότερης αλληλεπίδρασης µε το σύστηµα δεν θεωρήθηκαν κρίσιµες. Έτσι λοιπόν ως αρχική υπόθεση θεωρήθηκε το γεγονός ότι το διαφορετικό µοντέλο αλληλεπίδρασης δεν θα επηρέαζε την ευχρηστία και την αλληλεπίδραση του συστήµατος Μεθοδολογικό πλαίσιο της µελέτης Με βάση τους άξονες που αναλύθηκαν στην προηγούµενη ενότητα σχεδιάστηκε µελέτη συγκριτικής αξιολόγησης ευχρηστίας των δύο συστηµάτων σε συνθήκες πραγµατικής χρήσης. Οι στόχοι που τέθηκαν ήταν: ι) Η διερεύνηση της καταλληλότητας της προτεινόµενης µεθόδου ευρετικής αξιολόγησης ως µέθοδο µέτρησης της ευχρηστίας µε συστηµατικό τρόπο των δύο συστηµάτων ΑΑΕ. ιι) Να διερευνηθεί αν η ευχρηστία ενός ΑΑΕ συστήµατος και αν η χρήση ΑΑΕ συστηµάτων σε σχέση µε το παραδοσιακό περιβάλλον χαρτί-µολύβι επηρεάζει την επίδοση των µαθητών που συµµετέχουν σε µια τέτοια διαδικασία. Σελίδα 76 ιδακτορική διατριβή.

83 ΚΕΦΑΛΑΙΟ 3 Η αξιολόγηση της ευχρηστίας βασίστηκε στην ευρετική αξιολόγηση διατυπωµένης υπό µορφή ερωτήσεων, οι οποίες προσφέρθηκαν µε ηλεκτρονικό τρόπο, µέσω διαδικτύου, στους συµµετέχοντες µετά το πέρας της διαδικασίας. Οι ευρετικοί κανόνες που προτάθηκαν από τους Molich και Nielsen (1990), και εν συνεχεία αναθεωρήθηκαν από τον Nielsen (1993), είναι από τις πλέον διαδεδοµένες µεθόδους αξιολόγησης και έχουν εφαρµοστεί µε επιτυχία σε µια σειρά από πειράµατα (Nielsen, 1992, 2000, Squires and Preece, 1999, Levi and Conrad, 1996). Οι κανόνες αυτοί παρουσιάστηκαν σε απλούστερη και κατανοητή γλώσσα, ενώ πριν από τη διαδικασία αξιολόγησης έγινε µια σύντοµη περιγραφή των ευρετικών κανόνων και της σηµασίας τους. Οι κανόνες όπως παρουσιάστηκαν στους µαθητές αναφέρονται στον Πίνακα 3.1. Οι λόγοι που µας ώθησαν στην επιλογή της µεθόδου αυτής ως κεντρικό άξονα της αποτίµησης της ευχρηστίας των 2 συστηµάτων είναι οι εξής: Ι) Η τροποποιηµένη πρότασή της δίνει έναν ποσοτικοποιηµένο άξονα µέτρησης της ευχρηστίας, κοινό και για τα δύο συστήµατα. Συνεπώς εξυπηρετεί τον σκοπό της συγκριτικής αξιολόγησης των δύο συστηµάτων, και την εξαγωγή συµπερασµάτων σε σχέση µε την επίδοσή τους στα δύο περιβάλλοντα ΑΑΕ. ΙΙ) Η ευρετική αξιολόγηση είναι µια τεχνική ευρέως διαδεδοµένη µε επιτυχή αποτελέσµατα ως προς την εφαρµοσιµότητα και την αποτελεσµατικότητά της. ΙΙΙ)Οι δέκα ευρετικοί κανόνες είναι ορθογώνιοι µεταξύ τους και η αξιολόγηση µιας διεπιφάνειας στους άξονες αυτούς παρέχει µια συνεκτική αποτίµηση της ποιότητάς της. Παράλληλα, ο µικρός αριθµός των κανόνων την καθιστά κατάλληλη για την χρήση της ως ερωτηµατολόγιο. Περισσότεροι κανόνες-ερωτήσεις κουράζουν και αποθαρρύνουν τον υποψήφιο αξιολογητή στη συµπλήρωση του ερωτηµατολογίου (Nielsen 1993). H προτεινόµενη τεχνική δε συσχετίζει τα προβλήµατα ευχρηστίας µε τα αίτια τους. Κατά συνέπεια, δεν είναι κατάλληλη για διαµορφωτική αξιολόγηση ενός περιβάλλοντος. Όµως η συντοµία της, την καθιστά κατάλληλη για τελικούς χρήστες, γεγονός που επιβεβαιώθηκε και από τη διεξαγωγή του πειράµατος και το µεγάλο αριθµό των συµµετεχόντων στη διαδικασία. Από τους 108 µαθητές που χρησιµοποίησαν ένα από τα συστήµατα ΑΑΕ, οι 88 (ποσοστό 81%) συµµετείχαν και στη διαδικασία αξιολόγησης. Για κάθε µια από τις ερωτήσεις, οι απαντήσεις δίνονταν σε κλίµακα Likert µε ελάχιστη τιµή 1 (κακή υλοποίηση κανόνα στην διεπιφάνεια) και µέγιστη 5 (πολύ καλή υλοποίηση κανόνα στην διεπιφάνεια). ιδακτορική διατριβή. Σελίδα 77

84 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης (1) Παρέχει το σύστηµα συνεχώς κατάλληλη ανάδραση της κατάστασης του σε εύλογο χρόνο; (2) Χρησιµοποιείται απλή και κατανοητή γλώσσα και εικονικές και συµβολικές αναπαραστάσεις που είναι προσαρµοσµένες στο νοητικό επίπεδο του χρήστη ; (3) Παρέχεται δυνατότητα ελέγχου και ελευθερία κίνησης στον χρήστη, π.χ. δυνατότητα αναίρεσης εσφαλµένης ενέργειας (undo) ; (4) Υπάρχει συνέπεια στη χρήση ορολογίας επιλογών, σηµασιολογία συµβόλων κλπ, σε όλη τη διεπιφάνεια χρήστη; (5) Το σύστηµα προστατεύει τον χρήστη από πιθανά σφάλµατα; (6) Γίνεται προσπάθεια ελαχιστοποίησης του µνηµονικού φορτίου του χρήστη, περιορίζονται στο ελάχιστο όσα ο χρήστης πρέπει να θυµάται; (7) Το σύστηµα προσαρµόζεται στις ανάγκες των πεπειραµένων χρηστών, παρέχοντας συντοµεύσεις σε συχνές ακολουθίες ενεργειών; (8) Το σύστηµα χαρακτηρίζεται από καλαισθησία και µινιµαλισµό στην παρεχόµενη πληροφορία ώστε να αποφεύγεται σύγχυση του χρήστη; (9) Τα µηνύµατα, σε περίπτωση σφάλµατος είναι σαφή και κατανοητά και προτείνουν διέξοδο από το σφάλµα; (10) Η παρεχόµενη βοήθεια και τα εγχειρίδια χρήσης είναι σύντοµα και περιεκτικά, και εστιάζουν σε εργασίες του χρήστη αντί για λειτουργίες του συστήµατος; Πίνακας 3.1 Οι 10 κανόνες ευρετικής αξιολόγησης που χρησιµοποιήθηκαν για την αξιολόγηση ΑΑΕ συστηµάτων. Ο δεύτερος στόχος, της µέτρησης της επίδρασης της ευχρηστίας στην επίδοση των φοιτητών, µετρήθηκε µε τη συγκριτική αποτίµηση της επίδοσης των φοιτητών στα δύο περιβάλλοντα ΑΑΕ και τη συσχέτισή τους µε την ευχρηστία όπως αυτή αποτιµήθηκε µε βάση τη προηγούµενη µέθοδο, µε τη χρήση στατιστικών µεθόδων. Επίσης για λόγους σύγκριση και αναφοράς, ένα από τα τρία διαφορετικά τεστ αξιολόγησης που διεξήχθησαν συνολικά διεξήχθη από µικρό αριθµό (12) φοιτητών µε τη χρήση της παραδοσιακής µεθόδου χαρτί-µολύβι. Οι ποσοτικές µετρικές σχετικά µε την επίδοση των φοιτητών ήταν µια απλή διαδικασία δοθέντος του πλαισίου της έρευνας. Προκειµένου όµως να συσχετισθεί µε τον παράγοντα της ευχρηστίας στα δύο περιβάλλοντα αποµονώθηκαν, στο µέτρο του δυνατού, παράγοντες που θα µπορούσαν να επηρεάσουν την διεξαγωγή του πειράµατος (τυχαία επιλογή χρηστών Σελίδα 78 ιδακτορική διατριβή.

85 ΚΕΦΑΛΑΙΟ 3 που χρησιµοποίησαν το περιβάλλον, ίδιες συνθήκες χρήσης των περιβαλλόντων ως προς τον τόπο διεξαγωγής, υπολογιστική ισχύ των σταθµών εργασίας που χρησιµοποιήθηκαν και ταχύτητα δικτύου). Για την περαιτέρω πιστοποίηση των αποτελεσµάτων της πειραµατικής διαδικασίας έγιναν τέσσερις περαιτέρω έλεγχοι: (i) Μια ανεξάρτητη συσχέτιση της επίδοσης των φοιτητών στο διαδικτυακό περιβάλλον και της επίδοσής τους στα περιβάλλοντα ΑΑΕ για να επιβεβαιωθεί η τυχαιότητα αντιστοίχησης φοιτητών και συστηµάτων στη διαµόρφωση των δύο οµάδων που έλαβαν µέρος στο πείραµα, (ii) µελέτη της επίδρασης των περιβαλλόντων ΑΑΕ στην επίδοση των φοιτητών σε σχέση µε το παραδοσιακό περιβάλλον χαρτί µολύβι, (iii) µελέτη της επίδρασης των καθυστερήσεων που παρουσιάζονται συνολικά στην απόδοση των περιβαλλόντων στο ποσοστό εκτέλεσης των διεργασιών και (iv) µελέτη για τον αν η επίδοση του φοιτητή στο περιβάλλον ΑΑΕ επηρέασε την κρίση του όσον αφορά στην αξιολόγηση που έδωσε για την ευχρηστία του συστήµατος ΑΑΕ ιεξαγωγή του πειράµατος Η διεξαγωγή του πειράµατος έλαβε χώρα στα πλαίσια του µαθήµατος 22Υ103-Εισαγωγή στους Υπολογιστές Ι, του τµήµατος ΗΜΤΥ Πατρών. Το µάθηµα αυτό το οποίο διδάσκεται στο πρώτο εξάµηνο, εµπεριέχει ένα κύκλο εργαστηριακών ασκήσεων εξοικείωσης των φοιτητών µε στοιχεία της Επιστήµης Υπολογιστών και πιο συγκεκριµένα το λειτουργικό σύστηµα Unix και βασικές έννοιες σχετικές µε το ιαδίκτυο και τη λειτουργία του (γλώσσα HTML και δοµικές υπηρεσίες όπως mail,ftp και http). Υλικό από απόσταση εκπαίδευσης προσφέρθηκε στους σπουδαστές ως συµπληρωµατικό µέσο διδασκαλίας και εξοικείωσης όσον αφορά στη διεξαγωγή του εργαστηρίου. Περίπου στο µέσο της διδακτικής διαδικασίας, κατά το Ακαδηµαϊκό εξάµηνο , οι µαθητές ενηµερώθηκαν για την διεξαγωγή διαγωνίσµατος αξιολόγησης και κλήθηκαν να προετοιµαστούν αντιστοίχως στα πλαίσια συγκεκριµένης δοθείσας ύλης. Το διαγώνισµα διεξήχθη στο χώρο διεξαγωγής των εργαστηριακών ασκήσεων (Υπολογιστικό Κέντρο του Τµήµατος). Οι φοιτητές δεν ενηµερώθηκαν ότι το διαγώνισµα ήταν στα πλαίσια έρευνας, σε µια προσπάθεια να προσοµοιωθούν πλήρως συνθήκες πραγµατικής εξέτασης. Η συνολική διάρκεια του πειράµατος ήταν τρεις εβδοµάδες και ο συνολικός αριθµός συµµετεχόντων στο ιδακτορική διατριβή. Σελίδα 79

86 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης πείραµα ήταν εκατόν είκοσι (120) φοιτητές. Οι φοιτητές διαµερίστηκαν σε τρεις οµάδες µε τυχαίο τρόπο. Η πρώτη οµάδα 57 φοιτητών, χρησιµοποίησε το σύστηµα ΑΑΕ IDLE. Η δεύτερη αριθµούσε 51 φοιτητές και χρησιµοποίησε το σύστηµα WebCT, ενώ η τρίτη οµάδα που σχηµατοποιήθηκε µόνο στα πλαίσια της διεξαγωγής του πειράµατος για την πρώτη εβδοµάδα χρησιµοποίησε τη παραδοσιακή µέθοδο χαρτί µολύβι. οθέντος του γεγονότος ότι οι φοιτητές δεν είχαν προηγούµενη επαφή µε τα τµήµατα αυτοαξιολόγησης των δύο συστηµάτων, πριν από κάθε συνεδρία χρήσης έλαβε χώρα σύντοµη παρουσίαση της λειτουργικότητάς τους. Οι θεµατικές ενότητες στις οποίες αξιολογήθηκαν, είχαν διδαχθεί µε ποικιλία τρόπων, τόσο στα πλαίσια του εργαστηρίου όσο και στις διαλέξεις του µαθήµατος, καθώς επίσης µε τη παροχή σχετικού υλικού µέσω διαδικτύου. Σε µια γενική αποτίµηση της ικανότητας των φοιτητών στη χρήση υπολογιστών γενικά, κρίνεται ότι παρότι παρουσίαζε διαφοροποιήσεις σε ατοµικό επίπεδο, συνολικά ήταν σχετικώς υψηλό, γεγονός αναµενόµενο αν συνυπολογιστεί το αντικείµενο των σπουδών τους. Παράλληλα, όπως διαπιστώθηκε από ανεπίσηµα οργανωµένες συνεντεύξεις, είχαν θετική στάση στη χρήση υπολογιστών για εκπαιδευτικούς λόγους, γεγονός που αποτυπώθηκε και στα ερωτηµατολόγια αξιολόγησης όπου είχαν τη δυνατότητα εισαγωγής γενικών σχολίων. Οµάδα φοιτητών Μέση επίδοση Τυπική απόκλιση Ελάχιστο σκορ Μέγιστο σκορ Χρήστες IDLE Χρήστες WebCT Πίνακας 3.2 Η επίδοση των φοιτητών των δύο οµάδων στο τελικό διαγώνισµα του διδασκόµενου αντικειµένου. Ένας από τους πιο σηµαντικούς παράγοντες που έπρεπε να διερευνηθεί προκειµένου να πιστοποιηθεί ότι δεν επηρέαζε τη διεξαγωγή του πειράµατος, ήταν το κατά πόσο η τυχαία επιλογή των φοιτητών για το ποιο περιβάλλον θα χρησιµοποιούσαν ήταν επιτυχής. ιαφορετικά, υπήρχε η πιθανότητα κατά τη διεξαγωγή του πειράµατος, σηµαντικότερο ποσοστό φοιτητών που παρουσίαζαν εν γένει καλύτερη επίδοση στο µάθηµα να χρησιµοποιήσουν ένα από τα δύο περιβάλλοντα, γεγονός που θα επηρέαζε την ποιότητα των αποτελεσµάτων και πιθανόν να επηρέαζε την ποιότητα των αποτελεσµάτων. Έτσι συλλέχθηκαν δεδοµένα σχετικά µε την επίδοση των φοιτητών στο τελικό διαγώνισµα του εργαστηριακού Σελίδα 80 ιδακτορική διατριβή.

87 ΚΕΦΑΛΑΙΟ 3 σκέλους του µαθήµατος. Το διαγώνισµα αυτό είναι µέρος της κλασσικής εκπαιδευτικής διαδικασίας και λαµβάνει χώρα στο τέλος κάθε εξαµήνου. Κατόπιν εξετάστηκε η επίδοση των φοιτητών θεωρούµενων ως δύο διακριτές οµάδας ανάλογα µε το ποιο σύστηµα ΑΑΕ είχαν χρησιµοποιήσει. Τα αποτελέσµατα συνοψίζονται στον Πίνακα 3.2. Η διαδικασία πιστοποίησης της τυχαίας επιλογής των µαθητών κατά τον διαχωρισµό έγινε µε τη χρήση της µηδενικής υπόθεσης (null hypothesis). Σύµφωνα µε αυτή δηµιουργείται µια υπόθεση Η 0 και ελέγχεται µε στατιστικές µεθόδους υπάρχει στατιστικά σηµαντική διαφορά οπότε η υπόθεση απορρίπτεται η επιβεβαιώνεται αντίστοιχα. Στη περίπτωσή µας η υπόθεση αυτή διαµορφώνεται ως εξής: Υπόθεση Η 0(1) : Η διαµερισµατοποίηση του συνόλου των φοιτητών έγινε σε δύο οµάδες, όπου καµία εξ αυτών δεν είχε φοιτητές µε επίδοση στο εργαστηριακό σκέλος του µαθήµατος που να παρουσιάζει στατιστικά σηµαντική διαφορά. Η επαλήθευση της υπόθεσης διαπιστώνεται µε τον υπολογισµό της µεταβλητής t που εκφράζει το βαθµό διαφοροποίησης των δύο οµάδων ως προς την επίδοση των φοιτητών στο εργαστηριακό σκέλος του µαθήµατος. Η µεταβλητή t υπολογίζεται από την εξίσωση (3.1): t = X s n 1 X 2 s2 + n (3.1) X X i = (3.2) N Όπου X 1, X 2 είναι η µέση τιµή της µετρούµενης µεταβλητής και υπολογίζεται από την εξίσωση (3.2) και s1,s2 η τυπική απόκλιση (standard deviation) της µεταβλητής Χ, για τις οµάδες 1 και 2 αντίστοιχα. Για να υπολογίσουµε την τυπική απόκλιση (εξίσωση (3.5)) υπολογίζουµε διαδοχικά το άθροισµα τετραγώνων των διαφορών, SS και τη διακύµανση (variance) s 2,από τις εξισώσεις (3.3) και (3.4). SS 2 2 = X ( X ) N (3.3) i i / 2 SS s = (3.4) s = ( s 2 ) (3.5) N 1 Εφαρµόζοντας t test στις µέσες τιµές των δύο οµάδων, έχουµε τελικά P(t)=0.7874, t=0.2714, συνεπώς θεωρούµενη µη σηµαντική στατιστικώς. Κατά συνέπεια καταλήγουµε στη µη ύπαρξη ένδειξης ότι η τυχαία διαµερισµατοποίηση του ιδακτορική διατριβή. Σελίδα 81

88 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης δείγµατος των φοιτητών επηρεάστηκε από κάποιο παράγοντα που θα ανέτρεπε την τυχαιότητα αυτή. Όπως αναφέρθηκε προηγουµένως, σε κάθε συνεδρία χρήσης για τη διεξαγωγή του διαγωνίσµατος, οι φοιτητές χρησιµοποιούσαν ταυτόχρονα τα δύο συστήµατα ώστε όλοι οι διαγωνιζόµενοι να υπόκεινται σε ακριβώς ίδιες συνθήκες και να υπόκεινται στις ίδιες χρονικές καθυστερήσεις εξαιτίας του φόρτου του δικτύου προσοµοιώνοντας πραγµατικές συνθήκες χρήσης. Ο χρόνος που δόθηκε στους φοιτητές για την περάτωση της διαδικασίας ήταν τριάντα λεπτά, χρόνος που είχε προϋπολογιστεί ως επαρκής. Επιπλέον χρόνος δόθηκε σε όσους φοιτητές διατύπωσαν σχετικό αίτηµα για να ολοκληρώσουν το διαγώνισµα. Επίσης σε µια προσπάθεια να µην επηρεαστεί η ποιότητα των αποτελεσµάτων από το γεγονός ότι κάποιοι φοιτητές δεν κατάφεραν να ολοκληρώσουν την άσκηση επιτυχώς λόγω σχετικής έλλειψης χρόνου, για την εξαγωγή του τελικού αποτελέσµατος λήφθηκαν υπ όψην µόνο οι ερωτήσεις που είχαν απαντηθεί. Το παραπάνω γεγονός δεν είχε ανακοινωθεί στους χρήστες ώστε να µην αναπτύξουν στρατηγικές επιλεκτικής απάντησης σε ερωτήσεις. Αντιθέτως, είχαν πληροφορηθεί ότι πρέπει να απαντήσει σε όλες τις ερωτήσεις στο δοθέντα χρόνο. Επίσης η διεξαγωγή του διαγωνίσµατος έλαβε χώρα χωρίς συµπληρωµατικά βοηθήµατα. Κατά τη διεξαγωγή του διαγωνίσµατος, δύο υπεύθυνοι διεξαγωγής παρατηρούσαν τη συµπεριφορά των φοιτητών κατά την αλληλεπίδρασή τους µε τα δύο συστήµατα ΑΑΕ σε µια προσπάθεια να εφαρµοστούν οι προϋποθέσεις διεξαγωγής που περιγράφηκαν. Παράλληλα, οι φοιτητές ενηµερώθηκαν ότι η επίδοσή τους στο διαγώνισµα θα έχει επικουρικό αποτέλεσµα στη βαθµολογία τους, χωρίς να υπάρχει πιθανότητα να επιδρά αρνητικά. οθέντος και του πλαισίου διεξαγωγής, αλλά και του γεγονότος ότι το όνοµα του φοιτητή που απαντούσε στο διαγώνισµα ήταν καταγεγραµµένο και γνωστό στους υπεύθυνους διδασκαλίας του µαθήµατος οδήγησε τους φοιτητές να αντιµετωπίσουν το πειραµατικό αυτό διαγώνισµα µε το βαθµό σοβαρότητας που θα υπήρχε και σε ένα ρεαλιστικό διαγώνισµα του προγράµµατος σπουδών. Συνολικά υπήρξαν τρεις συνεδρίες διαγωνίσµατος που έλαβαν χώρα σε διαδοχικές εβδοµάδες. Στη διάρκεια των συνεδριών αυτών υπήρχε διαφορετικό υλικό ερωτήσεων αναφερόµενο σε διαφορετικές ενότητες του εργαστηριακού σκέλους του µαθήµατος. Οι συνολικές ερωτήσεις των διαγωνισµάτων ήταν ογδόντα τέσσερις (84). Εξ αυτών τριάντα (30) αφορούσαν στο πρώτο διαγώνισµα, τριάντα δύο (32) στο δεύτερο και είκοσι δύο (22) στο τρίτο. Εξήντα έξι (66) (ποσοστό 78%) από τις Σελίδα 82 ιδακτορική διατριβή.

89 ΚΕΦΑΛΑΙΟ 3 απαντήσεις ήταν πολλαπλής επιλογής µε τέσσερις πιθανές απαντήσεις και δέκα οχτώ ήταν τύπου συµπλήρωσης κενού (ποσοστό 22%). Οι θεµατικές ενότητες των τριών διαγωνισµάτων ήταν σε αντιστοιχία µε εργαστηριακές ασκήσεις. Η 1 η είχε ως αντικείµενο απλές εντολές του λειτουργικού συστήµατος Unix, η δεύτερη προχωρηµένες εντολές του Unix και η τρίτη εισαγωγή στο ιαδίκτυο Αξιολόγηση ευχρηστίας Μετά το τέλος κάθε συνεδρίας οι φοιτητές κλήθηκαν να συµπληρώσουν προαιρετικά το ερωτηµατολόγιο αξιολόγησης ευχρηστίας, µε τα χαρακτηριστικά που αναφέρονται στην ενότητα Στους φοιτητές έγινε σαφές ότι η αξιολόγηση αυτή αφορούσε τα συστήµατα ΑΑΕ που χρησιµοποίησαν και ότι η διαδικασία αυτή δεν θα επηρέαζε τη βαθµολογία τους. Επιπλέον της σηµείωσης αυτής, οι µαθητές µπορούσαν να αξιολογήσουν το σύστηµα υπό καθεστώς ανωνυµίας, αφού η συµπλήρωση του ονόµατος ήταν προαιρετική. Οι φοιτητές είχαν διαθέσιµο χρόνο ως και µια ώρα για να συµπληρώσουν το ερωτηµατολόγιο επιθεωρώντας παράλληλα το σύστηµα πάνω στους άξονες που ζητήθηκε η γνώµη τους. Στο τέλος του ερωτηµατολογίου υπήρχαν και ανοιχτά πεδία προς συµπλήρωση προκειµένου οι φοιτητές να δώσουν γενικά σχόλια για το σύστηµα και τη διαδικασία που ακολουθήθηκε. Ο αριθµός των ερωτηµατολογίων που συµπληρώθηκαν ήταν σηµαντικός, αφού 88 στους 108 χρήστες των δύο συστηµάτων, συµµετείχαν στη διαδικασία. Από αυτούς σαράντα τέσσερις (44) χρησιµοποίησαν το περιβάλλον IDLE και επίσης σαράντα τέσσερις (44) χρησιµοποίησαν το περιβάλλον WebCT. Από το σύνολο των 88 ερωτηµατολογίων τα 43 (ποσοστό 49%) συµπληρώθηκαν επώνυµα, ενώ τα υπόλοιπα 45 επώνυµα (ποσοστό 51%). Το ερωτηµατολόγιο προσφέρθηκε στους φοιτητές µέσω διαδικτύου, µέσω κατάλληλης εφαρµογής που αναπτύχθηκε σε περιβάλλον ASP. Η εφαρµογή αυτή επιτάχυνε σηµαντικά τη διαδικασία συλλογής και επεξεργασίας των αποτελεσµάτων, αφού γινόταν αυτόµατα από το εργαλείο αυτό. Σύστηµα # φοιτητών Μέση τιµή Τυπική απόκλιση Ελάχιστη τιµή Μέγιστη τιµή IDLE Web CT Πίνακας 3.3 Συνεκτική παρουσίαση αξιολόγησης ευχρηστίας. # ερωτήσεων ιδακτορική διατριβή. Σελίδα 83

90 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Τα αποτελέσµατα της αξιολόγησης ευχρηστίας συνοψίζονται στην Εικόνα 3.3. Ο χαρακτήρας της αξιολόγησης ήταν συγκριτικός-αθροιστικός (summative comparative) σε ποσοτική (quantitative) βάση. Η µέση τιµή του δείκτη ευχρηστίας, θεωρώντας ότι όλες οι ερωτήσεις είναι ισοβαρείς δηλαδή επηρεάζουν το ίδιο τον τελικό δείκτη ευχρηστίας είναι 4.05 για το WebCT και 3.82 για το IDLE. Η διαφορά σε επίπεδο µέσων τιµών είναι 5.7%, όπως φαίνεται αναλυτικά στον Πίνακα 3.3. Με τη χρήση t test προκύπτει ότι t=2.574, p<0.01, θεωρούµενη στατιστικώς σηµαντική. Ένα πρώτο συµπέρασµα που προκύπτει είναι ότι οι φοιτητές αξιολόγησαν ως ιδιαίτερα εύχρηστα τα δύο συστήµατα, (η µέση τιµή στη κλίµακα Likert που δόθηκε ως βάση αξιολόγησης ήταν τρία) µε τη διαφορά ότι έκριναν το WebCT περισσότερο εύχρηστο σύστηµα µε στατιστικά σηµαντική διαφορά. 4,5 4 3,5 3 2, IDLE 4,24 4,17 3,72 4,03 2,68 4,27 3,58 4,31 3,96 3,68 Web CT 4,1 4,51 4,31 4,13 3,27 4,31 4,24 4,13 3,55 3,82 Εικόνα 3.3 Συγκριτική παρουσίασης της αξιολόγησης του IDLE και του WebCT. Επιχειρώντας µια συζήτηση σχετικά µε τα αποτελέσµατα της αξιολόγησης αυτής όπως αυτά φαίνονται στην Εικόνα 3.3, προκύπτει ότι σε τρεις ευρετικούς κανόνες το σύστηµα IDLE παρουσιάζει συγκριτικό πλεονέκτηµα σε σχέση µε το WebCT (κανόνες-ερωτήσεις #1, #8, #9). Στους υπόλοιπους κανόνες το σύστηµα WebCT παρουσιάζει µεγαλύτερη βαθµολογία. Οι ερωτήσεις όπου το IDLE παρουσιάστηκε πληρέστερο αφορούσαν στην ανάδραση που παρέχει το σύστηµα (#1), το µινιµαλισµό και την καλαισθησία χρήσης (#8) και την δυνατότητα ανάκτησης ελέγχου µετά από λάθη (#9). Το πλεονέκτηµα που είχε το IDLE στον πρώτο κανόνα ήταν αναµενόµενο, όπως φαίνεται στις ενότητες και , αφού Σελίδα 84 ιδακτορική διατριβή.

91 ΚΕΦΑΛΑΙΟ 3 το IDLE παρέχει ανάδραση για την επιτυχή ή όχι απάντηση σε ερώτηση, ενώ παράλληλα επιτρέπει την επισκόπηση της βαθµολογίας του φοιτητή ανά πάσα στιγµή. Σχετικά µε τον µινιµαλισµό και την καλαισθησία, οι φοιτητές αξιολόγησαν µε καλύτερο βαθµό το IDLE, εξαιτίας της απλούστερης σχεδίασης, χωρίς τη χρήση πλαισίων (frames). Για τη δυνατότητα ανάκτησης ελέγχου µετά από λάθη (#9), το IDLE αξιολογήθηκε θετικότερα, γιατί ήταν το περιβάλλον στο οποίο υπήρχε πιθανότητα ο φοιτητής να επιλέξει ερώτηση που είχε ήδη απαντήσει. Τότε το σύστηµα τον ενηµέρωνε ότι έχει απαντήσει στην ερώτηση αυτή και τον προέτρεπε να επιστρέψει στην αρχική σελίδα. Στον κανόνα #5 (προστασία χρήστη από πιθανά σφάλµατα) τα δύο συστήµατα πήραν σχετικά χαµηλό βαθµό, κυρίως εξαιτίας της µη ικανοποιητικής ανάδρασης στο σύστηµα IDLE σχετικά µε τις ερωτήσεις που έχει απαντήσει ο φοιτητής, ενώ και τα δύο συστήµατα απαιτούσαν από τον χρήστη την απάντηση της ερώτησης, χωρίς να του επιτρέπουν να διαφοροποιήσει την απάντησή του κατά τη διάρκεια του διαγωνίσµατος, όπως έχει τη δυνατότητα στο παραδοσιακό περιβάλλον χαρτί-µολύβι. Επίσης µε χαµηλό βαθµό αξιολογήθηκε το IDLE στον κανόνα 7 (ευελιξία και αποτελεσµατικότητα χρήσης) αφού ο επαναληπτικός κύκλος επιλογή ερώτησης-εισαγωγή στην οθόνη ερώτησης- απάντηση-επιστροφή στην οθόνη ερωτήσεων, κούρασε τους χρήστες γεγονός το οποίο αποτυπώθηκε και στο µικρότερο ποσοστό ερωτήσεων το οποίο κατάφεραν να απαντήσουν Επίδραση της ευχρηστίας στην επίδοση των φοιτητών Η επίδοση των δύο οµάδων στα τρία διαγωνίσµατα συνολικά, παρουσιάζεται στον Πίνακα 3.4. Όπως περιγράφεται στα προηγούµενα, τα χαρακτηριστικά των φοιτητών θεωρούνται όµοια ανάµεσα στις δύο οµάδες, µε µόνο παράγοντα διαφοροποίησης το σύστηµα ΑΑΕ που χρησιµοποίησαν. #φοιτητών Μέση τιµή Sdev Ελάχιστη επίδοση Μέγιστη επίδοση # ερωτήσεων IDLE Web CT Πίνακας 3.4 Επίδοση φοιτητών στα συστήµατα IDLE και WebCT. ιδακτορική διατριβή. Σελίδα 85

92 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Τα αποτελέσµατα υπολογίστηκαν ως εξής: Για κάθε σωστή απάντηση βαθµολογήθηκε µε ένα πόντο, κάθε λάθος µε µηδέν, ενώ οι ερωτήσεις συµµετείχαν µε την ίδια ποσόστωση στη βαθµολογία η οποία κανονικοποιήθηκε σε κλίµακες Για την εξαγωγή της τελικής βαθµολογία ελήφθησαν υπ όψην µόνο οι ερωτήσεις οι οποίες είχαν απαντηθεί. Οι φοιτητές οι οποίοι διαγωνίστηκαν µε το σύστηµα WebCT παρουσίασαν τελική µέση βαθµολογία 7.34 ενώ η οµάδα που διαγωνίστηκε µε το IDLE παρουσίασε τελική βαθµολογία Η τυπική απόκλιση της επίδοσης των φοιτητών στο WebCT ήταν 1.211, ενώ στο σύστηµα IDLE ήταν Με τη χρήση F test προκύπτει F(104)=1.955, p<0.001 συµπεραίνοντας ότι η διαφορά στην τυπική απόκλιση είναι στατιστικά σηµαντική. Το γεγονός αυτό δεν δικαιολογείται από τα θεωρούµενα όµοιαχαρακτηριστικά του πληθυσµού, γεγονός που µας οδηγεί στο συµπέρασµα ότι το WebCT αποτελεί πιο αξιόπιστο εργαλείο διεξαγωγής διαγωνισµάτων, οδηγώντας σε πιο σταθερά και αξιόπιστα αποτελέσµατα, που πιθανότατα είναι περισσότερο αντιπροσωπευτικά της πραγµατικής γνώσης των φοιτητών πάνω στο συγκεκριµένο γνωστικό αντικείµενο. Προκειµένου να διαπιστωθεί η στατιστική σηµαντικότητα της παρατηρηθείσας διαφοράς στην επίδοση των φοιτητών, χρησιµοποιήθηκε µια παραλλαγή της µεθόδου ελέγχου υπόθεσης, λόγω της παρατηρηθείσας στατιστικά σηµαντικής διαφοράς στην τυπική απόκλιση. Η παραλλαγή αυτή καλείται Welch corrected two-tailed unpaired t test. Εφαρµόζοντας τη µέθοδο αυτή προκύπτει ότι t(101)=3.42 p<0.001, ενώ ως διαφορά στο µέσο όρο της επίδοσης στο περιθώριο εµπιστοσύνης 95% προκύπτει το διάστηµα [0.2887,1.086]. Η διαφορά αυτή επιβεβαιώνεται µε τη διαδοχική εφαρµογή της µεθόδου σε κάθε ξεχωριστό διαγώνισµα. Συγκεκριµένα για το πρώτο διαγώνισµα εικοσιένα (21) φοιτητές χρησιµοποίησαν το WebCT επιτυγχάνοντας µέση επίδοση 7.77, ενώ επίσης εικοσιένα (21) φοιτητές χρησιµοποίησαν το σύστηµα IDLE επιτυγχάνοντας µέση επίδοση Στατιστικώς σηµαντική διαφορά προέκυψε από την ανάλυση των αποτελεσµάτων (t=2.245 p<0.02). Στο δεύτερο διαγώνισµα δεκαοχτώ (18) φοιτητές χρησιµοποίησαν το WebCT επιτυγχάνοντας µέση επίδοση 7.09, ενώ εικοσιδύο (22) φοιτητές χρησιµοποίησαν το σύστηµα IDLE επιτυγχάνοντας µέση επίδοση Και σε αυτό το διαγώνισµα επιβεβαιώθηκε η στατιστικώς σηµαντική διαφορά στην επίδοση των δύο οµάδων (t=2.184, p<0.02, 95% περιθώρια εµπιστοσύνης to 1.39). Στο τρίτο διαγώνισµα, οι δώδεκα (12) φοιτητές που χρησιµοποίησαν το WebCT παρουσίασαν Σελίδα 86 ιδακτορική διατριβή.

93 ΚΕΦΑΛΑΙΟ 3 επίδοση 6.95 ενώ οι δεκατέσσερις (14) φοιτητές που χρησιµοποίησαν το IDLE Αν και η τάση παραµένει η ίδια, στη περίπτωση αυτή η µηδενική υπόθεση δεν απορρίφθηκε εξαιτίας του µικρού αριθµού διαγωνιζόµενων (t=0,094 P(t)= 0.098), µε αποτέλεσµα να µην επιβεβαιώνεται στατιστικά σηµαντική διαφορά στην επίδοση των δύο οµάδων. Όπως προκύπτει από την ανάλυση και δοθέντος του γεγονότος ότι η µόνη παράµετρος διαφοροποίησης των δύο οµάδων είναι το σύστηµα που χρησιµοποίησαν, προκύπτει επίδραση της ευχρηστίας των δύο συστηµάτων στη διεργασία απάντησης των ερωτήσεων στα διαγωνίσµατα στα οποία υποβλήθηκαν Επίδραση του ηλεκτρονικού περιβάλλοντος στην επίδοση των φοιτητών Για λόγους σύγκρισης και κατά τη διάρκεια διεξαγωγής του πρώτου διαγωνίσµατος, συµµετείχε στη διαδικασία και τρίτη οµάδα η οποία συµµετείχε µε τη χρήση του περιβάλλοντος χαρτί µολύβι. Η συγκριτική αξιολόγηση και τα χαρακτηριστικά των τριών οµάδων συνοψίζεται στον Πίνακα 3.5. Για την στατιστική ανάλυση των τριών οµάδων που διαµορφώθηκαν, χρησιµοποιήθηκε µια µη παραµετρική εκδοχή του τεστ ANOVA (Kruskal-Wallis test µε χρήση Dunn post tests) για να ελεγχθεί η διαφοροποίηση των οµάδων µε όλους τους δυνατούς συνδυασµούς. Η χρήση της µεθόδου αυτή υπαγορεύεται από το γεγονός ότι ήδη στις οµάδες που χρησιµοποίησαν τα IDLE και WebCT εντοπίστηκε στατιστικά σηµαντική διαφορά στην τυπική τους απόκλιση. (Η µέθοδος ANOVA απαιτεί µη στατιστικά σηµαντική διαφορά στην τυπική απόκλιση µεταξύ των οµάδων προς ανάλυση). Η τιµή που προκύπτει είναι KW= (corrected for ties), p<0.01 θεωρούµενη στατιστικώς σηµαντική, γεγονός που αποδεικνύει την διαφοροποίηση. Περαιτέρω ανάλυση µε τη χρήση της µεθόδου πολλαπλής σύγκρισης Dunn s test κατέδειξε στατιστικά σηµαντική διαφορά µεταξύ του IDLE και των δύο άλλων οµάδων: (IDLE -WebCT: µέση διαφορά τάξης -mean rank difference (MRD= , p<0.05), IDLE χαρτι/µολύβι: MRD= , p<0.05, WebCT χαρτί/µολύβι: MRD= , p>0.05, στατιστικά µη σηµαντική). Από την ανάλυση προκύπτει στατιστικά σηµαντική διαφορά µεταξύ IDLE και της µεθόδου χαρτί µολύβι, διαφορά που δεν υφίσταται µε το σχετικώς πιο εύχρηστο περιβάλλον WebCT, όπως φαίνεται και στη σχετικά χαµηλή διαφοροποίηση της µέσης τιµής επίδοσης στον Πίνακα 3.5. ιδακτορική διατριβή. Σελίδα 87

94 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Οµάδαπεριβάλλον # φοιτητών Μέση τιµή sdev Min Max # ερωτήσεων IDLE Web CT Χαρτί µολύβι Πίνακας 3.5 Σύγκριση επίδοσης φοιτητών µε τη χρήση διαφορετικών µέσων. Αυτό που φαίνεται να επηρεάζεται είναι η αποδοτικότητα των φοιτητών, βάσει του χρόνου που απαιτήθηκε για να ολοκληρωθεί το διαγώνισµα. Ο µέσος χρόνος για τις οµάδες που χρησιµοποίησαν τα συστήµατα IDLE και WebCT, ήταν στο όριο των 30 λεπτών, ο µέσος χρόνος για το περιβάλλον χαρτί µολύβι ήταν της τάξης των 22 λεπτών, µια διαφορά 26,67%. Αυτό οφείλεται κύρια σε τρεις λόγους: (α) στις καθυστερήσεις δικτύων και επεξεργασίας των απαντήσεων που υπήρξαν στα συστήµατα ΑΑΕ, (β) στη χαµηλότερη αναγνωσιµότητα του κειµένου σε οθόνες CRT καθοδικού σωλήνα σε σχέση µε το τυπωµένο κείµενο (γ) στον αυξηµένο χρόνο που απαιτείται για τη καταχώρηση µιας απάντησης µε τη χρήση των συσκευών εισόδου του υπολογιστή σε σχέση µε τη χρήση µολυβιού και (δ) στο διαφορετικό βαθµό εξοικείωσης που έχουν οι φοιτητές µε συστήµατα ΑΑΕ σε σχέση µε το παραδοσιακό περιβάλλον χαρτί µολύβι Επίδοση των φοιτητών µε άξονα το σύνολο των απαντήσεων Στην ενότητα αυτή παρατίθενται τα πορίσµατα από την έρευνα που έγινε µε στόχο να διερευνηθεί πιθανή επίδραση άλλων παραµέτρων στο διαφαινόµενο συµπέρασµα της επίδρασης της ευχρηστίας στην επίδοση των φοιτητών. Μια τέτοια παράµετρος είναι οι καθυστερήσεις που επέβαλαν οι διαφορετικές υλοποιήσεις των δύο συστηµάτων στο επίπεδο της επικοινωνίας πελάτη-διακοµιστή (client-server). Αυτό έγινε στην προσπάθεια να πιστοποιηθεί ότι η παρατηρούµενη διαφορά στην επίδοση δεν οφειλόταν απλά στο γεγονός ότι εξ αιτίας της καθυστέρησης αυτής η µια οµάδα δεν είχε επαρκή χρόνο για την περάτωση της διαδικασίας. Το πείραµα είχε οργανωθεί κατάλληλα ώστε ο χρόνος να είναι επαρκής σε κάθε περίπτωση, και φαινόµενο σχετικής έλλειψης χρόνου εξαιτίας αστάθµητων παραγόντων δεν παρατηρήθηκε κατά τη διαδικασία διεξαγωγής του. Επιπλέον των γεγονότων αυτών Σελίδα 88 ιδακτορική διατριβή.

95 ΚΕΦΑΛΑΙΟ 3 λήφθηκαν υπ όψιν µόνο οι ερωτήσεις που είχαν απαντηθεί, γεγονός το οποίο γνώριζαν εκ των προτέρων οι φοιτητές. Περιβάλλον IDLE WebCT # # φοιτητών Ενότητα απαντηθέντων ερωτήσεων Σκορ 1 sdev # ερωτήσεων Σκορ 2 % απαντηθέντων ερωτήσεων 21 s % 22 s % 14 s % % 21 s % 18 s % 12 s % % P&P % Πίνακας 3.6 Επίδοση των φοιτητών σε σχέση µε τον αριθµό των απαντήσεων που έδωσαν (Σκορ1: επίδοση των φοιτητών στις ερωτήσεις που απάντησαν, Σκορ2: επίδοση σε όλες τις απαντήσεις). Στον Πίνακα 3.6 παρουσιάζεται αναλυτικά η επίδοση των φοιτητών µε άξονα τις απαντηθείσες ερωτήσεις και το σύνολο των ερωτήσεων. Οι φοιτητές της οµάδας του WebCT απάντησαν στο 92% των ερωτήσεων, ενώ στην αντίστοιχη του IDLE απάντησαν το 83%. Εάν σαν βάση αξιολόγησης ήταν το σύνολο των ερωτήσεων (συµπεριλαµβανοµένων και αυτών που δεν απαντήθηκαν) η επίδοση των φοιτητών θα ήταν 6.8 και 5.6 αντίστοιχα, επιτείνοντας τη διαφορά επίδοσης ιερεύνηση συσχέτισης ατοµικής επίδοσης φοιτητών και ατοµικής αποτίµησης ευχρηστίας Ένα επιπλέον γεγονός που έπρεπε να διερευνηθεί είναι αν υπήρχε συστηµατική συσχέτιση µεταξύ της ατοµικής επίδοσης των φοιτητών και της διαδικασίας υποκειµενικής αποτίµησης της ευχρηστίας που ακολουθούσε στο τέλος της διαδικασίας του διαγωνίσµατος. Αυτό θα αποτελούσε απειλή στην εσωτερική εγκυρότητα της µελέτης (threat in internal validity of study). Πιο απλά, διερευνήθηκε το γεγονός του κατά πόσον οι φοιτητές ανάλογα µε το αν είχαν καλή επίδοση στα αποτελέσµατα του διαγωνίσµατος παρουσιάστηκαν αντιστοίχως ευνοϊκά διακείµενοι στην αξιολόγηση ευχρηστίας του συστήµατος που χρησιµοποίησαν και αντιστρόφως. ιδακτορική διατριβή. Σελίδα 89

96 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Αυτό δοθέντος του γεγονότος ότι η ευχρηστία των συστηµάτων επηρέασε την επίδοση των φοιτητών αλλά αυτή κυρίως εξαρτάται από την ικανότητα και τη γνώση του πεδίου που παρουσίασαν στα συγκεκριµένα διαγωνίσµατα. Η διερεύνηση της συσχέτισης αυτής έγινε µε τη χρήση του συντελεστή συσχέτισης r Pearson ο οποίος παίρνει τιµές στο διάστηµα [0,1] µε βάση την εξίσωση (3.6). r = [ n n XY X Y X ( X ) ][ n X ( X ) 2 ] (3.6) Ο συντελεστής συσχέτισης επίδοσης-ευχρηστίας έγινε για τους φοιτητές που απάντησαν επώνυµα στο ερωτηµατολόγιο. Για το περιβάλλον IDLE ο συντελεστής προκύπτει r=0.14, µε τον συντελεστή συσχέτισης προσδιορισµού (determination coefficient) να προκύπτει r 2 = Ποιοτικά ο συντελεστής αυτός προσδιορίζει µια συσχέτιση της τάξης του 2%, τιµή που δεν επηρεάζει την ποιότητα των αποτελεσµάτων. Όµοια για το περιβάλλον WebCT έχουµε r=-0.079, r 2 =0.006, επίσης µια χαµηλή τιµή συσχέτισης που δεν επηρεάζει τη µελέτη. Συσχέτιση επίδοσης-ευχρηστίας (IDLE). Ευχρηστία 5 4,5 4 3,5 3 2,5 2 1,5 1 3,5 4,5 5,5 6,5 7,5 8,5 9,5 Επίδοση φοιτητών Εικόνα 3.4 Συσχέτιση ευχρηστίας-επίδοσης για τους φοιτητές που χρησιµοποίησαν το IDLE. Σελίδα 90 ιδακτορική διατριβή.

97 ΚΕΦΑΛΑΙΟ 3 Συσχέτιση επίδοσης-ευχρηστίας (webct). Ευχρηστία 5 4,5 4 3,5 3 2,5 2 1,5 1 3,5 4,5 5,5 6,5 7,5 8,5 9,5 Επίδοση φοιτητών Εικόνα 3.5 Συσχέτιση ευχρηστίας-επίδοσης για τους φοιτητές που χρησιµοποίησαν το WebCT. Η γραφική απεικόνιση της επίδοσης και της υποκειµενικής αποτίµησης ευχρηστίας των φοιτητών για τα δύο συστήµατα παρουσιάζεται στις Εικόνες 3.4 και 3.5. Όπως φαίνεται, η γραµµική συσχέτιση των δύο µεταβλητών είναι ανεπαίσθητη αφού αυτή τείνει να γίνει παράλληλη στον άξονα που χαρακτηρίζει την επίδοση. Ποιοτικά το γεγονός της ανεξαρτησίας των µεταβλητών αυτών φαίνεται και από τη µελέτη των πινάκων 3.3 και 3.4. Αν υπήρχε συσχέτιση των αποτελεσµάτων επίδοσης και υποκειµενικής αποτίµησης της ευχρηστίας, αυτή θα έπρεπε να έχει επιδράσει και στην τυπική απόκλιση της αξιολόγησης της ευχρηστίας το οποίο δεν συµβαίνει Συµπεράσµατα Η διαδικασία αξιολόγησης ευχρηστίας που προτείνεται για την αξιολόγηση βασίστηκε σε µια ευρέως αποδεκτή τεχνική, την ευρετική αξιολόγηση, τροποποιηµένη κατάλληλα ώστε να χρησιµοποιηθεί για συγκριτική και όχι διαµορφωτική αξιολόγηση από τελικούς χρήστες-µαθητές. Και τα δύο συστήµατα αξιολογήθηκαν µε σχετικά υψηλή βαθµολογία. Παρ όλα αυτά, το τµήµα εξέτασης του IDLE - µε βαθµολογία 3.82 στα 5, εµφανίζεται στατιστικώς σηµαντικά χειρότερο του τµήµατος WebCT που αξιολογήθηκε µε βαθµό Η εφαρµοζόµενη µέθοδος κατέδειξε ποσοτικά τη δεδοµένη υπεροχή της διεπιφάνειας χρήσης του τµήµατος αυτοεξέτασης του WebCT, καταδεικνύοντας την εγκυρότητα της µεθόδου. Το ιδακτορική διατριβή. Σελίδα 91

98 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης γεγονός αυτό, οδήγησε στη διαµόρφωση του προτεινόµενου πλαισίου αξιολόγησης που παρουσιάζεται και περιγράφεται στα επόµενα. Παράλληλα, ένα σηµαντικό συµπέρασµα που προκύπτει είναι η αναγνώριση της επίδρασης της ευχρηστίας των δύο συστηµάτων στην επίδοση των φοιτητών για τις δοθείσες διεργασίες (διαγωνίσµατα), συνθήκες και χαρακτηριστικά χρηστών. Φαίνεται ότι η έστω και µικρή σχετική έλλειψη διαφάνειας της διεπιφάνειας χρήσης εµποδίζει τις σύνθετες γνωστικές λειτουργίες που λαµβάνουν χώρα κατά τη διαδικασία επίλυσης προβληµάτων και απάντησης κατά τη διαδικασία ενός διαγωνίσµατος µε τη χρήση ΑΑΕ. 3.3 Συνδυαστικό πλαίσιο αξιολόγησης Ο βασικός στόχος της παρουσιαζόµενης ερευνητικής προσπάθειας ήταν η πρόταση ενός πλαισίου αξιολόγησης για την µέτρηση ευχρηστίας ενός πολυµεσικού/ υπερµεσικού περιβάλλοντος µάθησης. Το πλαίσιο αυτό, θα πρέπει να παράγει έγκυρα και αξιόπιστα αποτελέσµατα, να µην απαιτεί σηµαντικούς πόρους για την εφαρµογή του και να είναι συµβατό µε τις ιδιαιτερότητες τόσο των συµβατικών όσο και των υπερµεσικών, διαδικτυακών πολυµεσικών εκπαιδευτικών συστηµάτων. Η τελευταία απαίτηση είναι εφικτή, αφού σύµφωνα µε τον Nielsen (2000) τα περισσότερα από τα πορίσµατα της ΑΑΥ που ισχύουν στο συµβατικό λογισµικό είναι εφαρµόσιµα και στο διαδίκτυο, µε τη διαφορά ότι µεγαλύτερη έµφαση πρέπει να δοθεί στη δόµηση του πληροφοριακού χώρου. Παράλληλα οι µέθοδοι που το απαρτίζουν θα πρέπει να είναι κατάλληλες µε µικρές ενδεχοµένως τροποποιήσεις- τόσο για διαµορφωτική όσο και για αθροιστική ή και συγκριτική αξιολόγηση, καθώς σύµφωνα µε τον Molich (1999), η αποτελεσµατικότητα των τεχνικών που προτείνεται από το πεδίο της ΑΑΥ ποικίλει ανάλογα µε τη φύση του συστήµατος καθώς και το στάδιο στο οποίο εφαρµόζονται. Το προτεινόµενο πλαίσιο βασίζεται σε τρεις µεθόδους αποτελώντας ένα συνδυασµό µεθόδων επιθεώρησης από ειδικούς και δοκιµών ευχρηστίας µε τη συµµετοχή τελικών χρηστών / µαθητών. Η αποτελεσµατικότητα του συνδυασµού τέτοιων µεθόδων έχει επιβεβαιωθεί και από άλλους ερευνητές (Karat, 1988), όχι όµως και στο εκπαιδευτικό λογισµικό. Μια ευρετικού τύπου αξιολόγηση, τροποποιηµένη κατάλληλα και για τελικούς χρήστες-µαθητές, ερωτηµατολόγια αξιολόγησης εκπαιδευτικού λογισµικού Σελίδα 92 ιδακτορική διατριβή.

99 ΚΕΦΑΛΑΙΟ 3 καθώς επίσης και παρατήρηση χρηστών. Για την διερεύνηση της αποτελεσµατικότητας του πλαισίου, διεξήχθη µια µελέτη περίπτωσης για τη συστηµατική αποτίµηση της ευχρηστίας του συστήµατος Πήγασος, ενός εκπαιδευτικού περιβάλλοντος πολυµέσων για εκπαίδευση σε θέµατα Ηλεκτρικών Μηχανών και παρουσιάζεται αναλυτικά στα επόµενα. Μέσα από τη παρουσίαση της µελέτης αυτή, διαφαίνεται η µέθοδος εφαρµογής του πλαισίου Το σύστηµα Πήγασος Το εκπαιδευτικό σύστηµα PEGASUS (Τσέλιος, 1997) αναπτύχθηκε µε στόχο την υποβοήθηση των φοιτητών του τµήµατος Ηλεκτρολόγων Μηχανικών που καλούνται να εκπονήσουν εργαστηριακές ασκήσεις στο µάθηµα Ηλεκτρικών Μηχανών. Πρόσφατα, σηµαντική αύξηση της χρήσης εκπαιδευτικού λογισµικού σε εργαστήρια που αφορούν στο πεδίο εκπαίδευσης εννοιών σχετικές µε τις ηλεκτρικές µηχανές έχει παρατηρηθεί (Daniels and Shaffer, 1998) τόσο για υποστήριξη διεξαγωγής σχετικών εργαστηριακών ασκήσεων ή και προετοιµασία του εργαστηρίου (βλέπε για παράδειγµα Belmans et al., 1988, Kasten et al., 1992, Staton et al., 1993, Walsh et al., 1995) καθώς και για µοντελοποίηση και προσοµοίωση των φαινοµένων που διέπουν τη λειτουργία τους (Nehrir et al., 1995, Kyranastassis, 1996, Angelidis, 1997, Benbouzid and Capolino 1996, Daniels and Shaffer 1998, Sebastien and Mohammed 1998). Το σύστηµα στην τρέχουσα πρώτη έκδοση του, εστιάζει στην υποστήριξη ενός συγκεκριµένου εργαστηρίου, αυτό της «Ασύγχρονης Τριφασικής Μηχανής» και υποστηρίζει τρεις βασικές λειτουργίες. Να βοηθήσει τους σπουδαστές στην καλύτερη κατανόηση της αντίστοιχης θεωρίας µέσω περιγραφής του αντικειµένου και αντίστοιχης αυτοεξέτασης. Επίσης προσφέρει περιγραφή µε παραστατικό τρόπο (χρήση πολυµέσων) του εργαστηριακού εξοπλισµού που θα χρησιµοποιηθεί για την καλύτερη προετοιµασία του εργαστηρίου και υποβοηθά τη διαχείριση των πειραµατικών µετρήσεων κατά την εκπόνηση του εργαστηρίου. ιδακτορική διατριβή. Σελίδα 93

100 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Εικόνα 3.6 Στιγµιότυπο του συστήµατος Πήγασος. ιαγραµµατική αναπαράσταση συνδεσµολογίας εργαστηριακής άσκησης. Οι χρήστες του συστήµατος είναι στη συντριπτική τους πλειοψηφία τριτοετείς σπουδαστές του Τµήµατος µε σαφή γνώση του εργαστηρίου, αφού πρόκειται για το 2ο εξάµηνο του Εργαστηριακού αυτού µαθήµατος που διδάσκονται. Η εµπειρία στη χρήση υπολογιστών είναι άνω του µέσου όρου, γεγονός που προκύπτει από το περιεχόµενο των σπουδών τους. Επίσης υπάρχει εξοικείωση µε γραφικά περιβάλλοντα και χρήση πολυµέσων, όπως αυτό που χρησιµοποιεί το λογισµικό. Το σύστηµα Πήγασος µπορεί να χρησιµοποιηθεί κατά τη διάρκεια διεξαγωγής του εργαστηρίου, καθώς και κατά τη διάρκεια της ατοµικής προετοιµασίας του διδασκόµενου. Η χρήση του µπορεί να είναι συνεχής ή διακοπτόµενη, ενώ η τυπική χρήση του κατά τη διάρκεια της προετοιµασίας δεν προβλέπεται να ξεπερνά τις δύο ώρες. Ακολουθώντας τη βασική λειτουργικότητα του συστήµατος, µπορούµε να επιµερίσουµε την αλληλεπίδραση του χρήστη µε το PEGASUS σε ορισµένες ειδικές περιοχές. 1. Εξερεύνηση διαγράµµατος µηχανής Εδώ ο χρήστης αφού εξοικειωθεί µε τη βασική χρήση του συστήµατος βρίσκεται µπροστά σε ένα αλληλεπιδραστικό διάγραµµα της µηχανής και παίρνει πληροφορίες για το κάθε µέρος της συνδεσµολογίας χωριστά (Εικόνα 3.6). Πέρα από την οπτική πληροφορία του διαγράµµατος, ο χρήστης µπορεί να πληροφορηθεί αναλυτικότερα για τη διάταξη µε Σελίδα 94 ιδακτορική διατριβή.

101 ΚΕΦΑΛΑΙΟ 3 εναλλακτικές αναπαραστάσεις, φωτογραφίες και ήχο. Η πρόσβαση στο διάγραµµα αυτό είναι εφικτή σχεδόν από κάθε τµήµα του προγράµµατος. 2. Εξερεύνηση τριφασικού ισοδύναµου µηχανής. Με παρόµοιο τρόπο εδώ ο χρήστης µπορεί να πάρει πληροφορίες για το τριφασικό ισοδύναµο της µηχανής. Έτσι, µπορεί να πάρει πληροφορία για τα στοιχεία που απαρτίζουν το µαθηµατικό αυτό ισοδύναµο µοντέλο και να επιθεωρήσει συνοπτικά τις εξισώσεις που αποτελούν το θεωρητικό του υπόβαθρο. 3. Επισκόπηση θεωρίας Εδώ ο χρήστης µπορεί να δει συνοπτικά τη θεωρία που σχετίζεται µε το αντικείµενο του εργαστηρίου χωρίς να χρειάζεται να ανατρέχει στο σχετικό σύγγραµµα. 4. Αυτοεξέταση. Σε αυτό το σηµείο ο χρήστης πρέπει να εξοικειωθεί µε τον τρόπο που διατυπώνονται οι ερωτήσεις και να µπει στη διαδικασία να απαντήσει κάποιες από αυτές (Εικόνα 3.7). Οι ερωτήσεις έχουν αξιολογηθεί για την παιδαγωγική και επιστηµονική πληρότητά τους από µια οµάδα εµπειρογνωµόνων. 5. Τµήµα υποβοήθησης εργαστηρίου. Εδώ ο χρήστης µπορεί να πάρει κατευθύνσεις για το τι πρέπει να κάνει στο εργαστήριο. Στο τµήµα αυτό θα δει τα απαιτούµενα βήµατα για τη διεξαγωγή του εργαστήριο. Μπορεί επίσης να ενεργοποιήσει την ηχητική αναπαραγωγή του κειµένου ώστε να είναι πιο εύληπτη η πληροφορία. Παράλληλα στον µαθητή παρέχονται εργαλεία για την καταχώρηση των µετρήσεων και την κατασκευή των σχετικών µαθηµατικών διαγραµµάτων. Εικόνα 3.7 Στιγµιότυπο από το τµήµα αυτοεξέτασης. ιδακτορική διατριβή. Σελίδα 95

102 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Η εφαρµογή του προτεινόµενου πλαισίου αξιολόγησης καθώς αποτελέσµατα που προέκυψαν περιγράφονται στις ενότητες και τα Τροποποιηµένη ευρετική αξιολόγηση Η αξιολόγηση αυτή έλαβε χώρα µε την υλοποίηση του πρωτοτύπου του Πήγασος. Οι αξιολογητές κατά τη φάση αυτή ήταν µεταπτυχιακοί φοιτητές του Εργαστηρίου Υπολογιστών του τµήµατος HMTY Πατρών. Αυτοί είναι έµπειροι χρήστες υπολογιστών γενικά και µε εµπειρία στην χρήση διαδραστικού λογισµικού. Παράλληλα είχαν σχετικά καλή γνώση του συγκεκριµένου γνωστικού αντικειµένου. Ο υπεύθυνος διεξαγωγής του πειράµατος αφού εξήγησε συνοπτικά σε κάθε ένα αξιολογητή τη λειτουργικότητα του λογισµικού, πρότεινε αντιπροσωπευτικά σενάρια χρήσης που να παρέχουν αντιπροσωπευτική εικόνα για τους οκτώ ευρετικούς κανόνες που προτάθηκαν αρχικά από τον Nielsen (1993) που παρουσιάζονται στον Πίνακα 3.8. Σε σχέση µε τους ευρετικούς κανόνες που χρησιµοποιήθηκαν στη µελέτη αξιολόγησης υπερµεσικού περιβάλλοντος µάθησης, χρησιµοποιήθηκε η αρχική πρόταση του Nielsen, µε έµφαση στην αναλυτική παρουσίαση των κανόνων ώστε να µπορούν να εντοπίσουν σφάλµατα στη διεπιφάνεια χρήσης, έµπειροι χρήστες ή /και τελικοί χρήστες-µαθητές. Κ1) Χρήση απλής κατανοητής γλώσσας µε την οποία είναι εξοικειωµένοι οι χρήστες και όχι δυσνόητη ορολογία. Κ2) Ελαχιστοποίηση του φορτίου µνήµης που απαιτείται από τον χρήστη. Κάθε ενέργεια που πρέπει να κάνει ο χρήστης πρέπει να είναι όσο πιο φανερή γίνεται, χωρίς να πρέπει να θυµηθεί ο χρήστης περίπλοκες εντολές. Κ3) ιατήρηση συνέπειας και συνέχειας στο τρόπο παρουσίασης των µενού επιλογής, και των άλλων συστατικών των διαλόγων. Σαν συνέπεια, η ίδια ενέργεια πρέπει να γίνεται πάντα µε τον ίδιο τρόπο σε κάθε σηµείο της διάδρασης. Κ4) Παροχή ανάδρασης: Το σύστηµα πρέπει ανά πάσα στιγµή να ενηµερώνει το χρήστη για το την πρόοδο εργασιών στα πλαίσια ενός αποδεκτού χρόνου. Κ5) Ύπαρξη σαφών και εύκολων διεξόδων από κάποια διεργασία που ενδεχοµένως έχει καλέσει εσφαλµένα ο χρήστης χωρίς να πρέπει να ακολουθήσει εκτενείς διαλόγους. Τυπικό παράδειγµα είναι οι εντολές undo και redo. Κ6) Παροχή συντοµεύσεων (shotcuts) που επιταχύνουν κάποιες διεργασίες για του προχωρηµένους χρήστες που είναι όσο το δυνατόν «αόρατα» για τον αρχάριο χρήστη. Καλό είναι το σύστηµα να παραµετροποιείται σε αυτό το σηµείο µε βάση τις ανάγκες του χρήστη για τις ενέργειες που θέλει να Σελίδα 96 ιδακτορική διατριβή.

103 ΚΕΦΑΛΑΙΟ 3 εκτελεί πιο συχνά. Κ7) Παροχή σαφών µηνυµάτων λαθών: θα πρέπει να παρέχονται σε απλή γλώσσα, να εστιάζουν στο πρόβληµα και να προτείνουν λύση διεξόδου. Κ8) Να εµποδίζονται κατά το δυνατόν τα λάθη και η κακή χρήση του συστήµατος. Πίνακας 3.8 Οι ευρετικοί κανόνες που χρησιµοποιήθηκαν. Οι δύο κανόνες που δεν περιέχονται σε αυτό το σετ ευρετικών κανόνων αφορούν στην αξιολόγηση του τµήµατος βοήθειας, για το οποίο δεν είχε δοθεί σηµαντική έµφαση στη παρούσα υλοποίηση του συστήµατος Πήγασος και στον έλεγχο καλαισθησίας και µινιµαλισµού των διαλόγων ώστε να αποφεύγεται σύγχυση του τελικού χρήστη, που παρουσιάζει µερική επικάλυψη µε τον κανόνα 2 όπως αυτός διατυπώνεται στον Πίνακα 3.8. Η τελική έκδοση των δέκα κανόνων όπως αυτοί παρουσιάζονται στον Πίνακα 3.1, προτείνεται ιδιαίτερα στην περίπτωση των υπερµεσικών περιβαλλόντων µάθησης όπου η σχεδίαση των διαλόγων και η καλαισθησία παρουσιάζει σηµαντική επίδραση στην ποιότητα της διεπιφάνειας χρήσης. Oι οκτώ ευρετικοί κανόνες παρουσιάστηκαν και επεξηγήθηκαν συνοπτικά στους αξιολογητές. Τα σενάρια χρήσης προέκυψαν ύστερα από ανάλυση του περιβάλλοντος χρήσης του προγράµµατος. Μετά την εκτέλεση των προδιαγεγραµµένων σεναρίων χρήσης, ζητήθηκε από τους αξιολογητές να συµπληρωθεί ένα ερωτηµατολόγιο που παρουσιάζει τους οκτώ ευρετικούς κανόνες σε µορφή ερώτησης. Οι απαντήσεις καταγράφονταν σε µια κλίµακα Likert µε τιµές [- 2,2] και συνολικά πέντε διαβαθµίσεις. Επίσης, για κάθε ευρετικό κανόνα ζητήθηκε από κάθε αξιολογητή να καταγράψει την βαρύτητα που έχει κατά τη γνώµη του ο συγκεκριµένος παράγοντας για λογισµικό αντίστοιχης φύσεως, σε κλίµακα [1,5]. Ύστερα από τη διαδικασία αυτή οι αξιολογητές κλήθηκαν να προτείνουν βελτιώσεις και να καταγράψουν σηµεία που κατά τη γνώµη τους το σύστηµα χρειάζεται τροποποίηση. Ένας επιπλέον στόχος της ερευνητικής προσπάθειας, πέρα από την πιστοποίηση της αποτελεσµατικότητας του πλαισίου, ήταν η διερεύνηση της εφαρµοσιµότητας της τροποποιηµένης ευρετικής αξιολόγησης, η οποία διαφέρει στα εξής σηµεία: ι) εν διεξάγεται από ειδικούς στην αξιολόγηση διεπιφανειών χρήσης, αλλά από τελικούς χρήστες, σχετικά υψηλής εµπειρίας. ιδακτορική διατριβή. Σελίδα 97

104 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης ιι) Η έµφαση δεν δίνεται µόνο στον διαµορφωτικό χαρακτήρα της αξιολόγησης, όπως έχει αρχικά προταθεί, αλλά σε µια ποσοτικοποιηµένη αποτιµητική αξιολόγηση. Εναλλακτικές προτάσεις, για το σκοπό αυτό θα µπορούσε να είναι η µέτρηση απόδοσης σε διάφορες διεργασίες της διεπιφάνειας, η χρήση ερωτηµατολογίων, ή αξιολόγηση µε άξονα άλλες οδηγίες χρηστοκεντρικού σχεδιασµού. Η προτεινόµενη µέθοδος, παρουσιάζει το πλεονέκτηµα της ευρείας χρησιµοποίησής της και της τεκµηριωµένης αποτελεσµατικότητάς της σε ευρύ φάσµα εφαρµογών, (Dix et al. 1998), του µικρού αριθµού ερωτήσεων που όµως είναι σηµασιολογικά ορθογώνιοι µεταξύ τους και καλύπτουν ευρύ φάσµα των απαιτούµενων χαρακτηριστικών µιας διεπιφάνειας. Εναλλακτικά, η αποκοµιδή µετρικών που βασίζονται µόνο στην απόδοση αντιπροσωπευτικών διεργασιών σε µια διεπιφάνεια, εστιάζουν αποκλειστικά σε όρους αποτελεσµατικότητας και αποδοτικότητας της διεπιφάνειας ενώ απαιτούν προσεκτικό σχεδιασµό της διεξαγωγής του πειράµατος. Επίσης η µεµονωµένη ερµηνεία των αποτελεσµάτων δεν παρέχει πληροφορία για την ποιότητα της διεπιφάνειας καθώς απαιτείται κάποια σύγκριση σε σχέση µε αντίστοιχες διεργασίες άλλου συστήµατος. Η χρήση ερωτηµατολογίων µπορεί να είναι µια εναλλακτική πρόταση, συνήθως όµως ο αριθµός των ερωτήσεων είναι µεγάλος, γεγονός που αποτρέπει την συµπλήρωσή του ενώ η εγκυρότητά τους ως προς την κάλυψη του συνόλου των χαρακτηριστικών για την αξιολόγηση της διεπιφάνειας δεν είναι δεδοµένη (Preece et al., 1994). έκα αξιολογητές χρησιµοποιήθηκαν σε αυτό το πείραµα, δεδοµένου ότι εµπειρικές µελέτες έχουν δείξει ότι έξι έως οκτώ εκτιµητές είναι σε θέση να ανιχνεύσουν περίπου το 75% των προβληµάτων της διεπιφάνειας (Nielsen and Landauer, 1993). Ο αριθµός αυτός µπορεί να µην εξασφαλίζει πλήρη στατιστική εγκυρότητα στα αποτελέσµατα, όµως παρέχει την σιγουριά ότι ικανός αριθµός χρηστών θα έχει εκφράσει την υποκειµενική του άποψη για την διεπιφάνεια, εξασφαλίζοντας αντιπροσωπευτικότητα στα αποτελέσµατα. Τα αποτελέσµατα παρουσιάζονται στην Eικόνα 3.8. Σελίδα 98 ιδακτορική διατριβή.

105 ΚΕΦΑΛΑΙΟ 3 2 1,5 1 0,5 0-0,5-1 Κ1 Κ2 Κ3 Κ4 Κ5 Κ6 Κ7 Κ8 Αξιολόγηση 1,6 1,1-0,5 1,4 0,7-0,6 0,5 0,3 Βαρύτητα 0,94 0,84 0,74 0,72 0,74 0,54 0,76 0,68 Εικόνα 3.8 Συνοπτική παρουσίαση αποτελεσµάτων τροποποιηµένης ευρετικής αξιολόγησης. Όπως φαίνεται και στην Εικόνα 3.8, οι ευρετικοί κανόνες 1 και 4 πρωτίστως και 2 δευτερευόντως, βαθµολογήθηκαν µε πολύ υψηλό βαθµό και συνεπώς σε µια πιθανή επανασχεδίαση πιθανά απαιτείται µικρός αριθµός βελτιώσεων. Η αξιολόγηση στους κανόνες 3 και 6 (συνέπεια και συνέχεια της διεπιφάνειας καθώς και παροχή συντοµεύσεων διεργασιών για τους έµπειρους χρήστες) ήταν αρνητική, ένδειξη ότι απαιτούνται βελτιώσεις στις περιοχές αυτές. Ειδικά για τον κανόνα 3, απαιτείται ιδιαίτερη έµφαση σε πιθανή επανασχεδίαση αφού οι αξιολογητές του έδωσαν ένα πολύ υψηλό βαθµό βαρύτητας (0,72). Αντιθέτως, η χαµηλή βαθµολογία στον κανόνα 6 δεν επηρεάζει σηµαντικά την τελική αίσθηση που αποκόµισαν οι χρήστες από την ποιότητα της διεπιφάνειας χρήσης. Πιθανά, σε άλλες εκδοχές εκπαιδευτικού λογισµικού (συστήµατα µακροχρόνιας ή συνεχιζόµενης εκπαίδευσης) οπού η βαρύτητα του κανόνα αυτού µπορεί να είναι αυξηµένη. Η βαθµολογία που πήρε το σύστηµα σύµφωνα µε τους κανόνες 7 (αν το σύστηµα παρέχει καλά µηνύµατα λαθών) και 8 (αν εµποδίζεται η κακή χρήση κατά το δυνατόν) δηλώνει ότι πιθανή έµφαση και σε αυτά τα σηµεία, θα έχει αντίστοιχα σηµαντικά θετικό αντίκτυπο στη ποιότητα της διεπιφάνειας. Πέρα από την αξιολόγηση των 8 κανόνων οι χρήστες διατύπωσαν και συγκεκριµένα σχόλια για κάποια σηµεία της διεπιφάνειας που κατά τη γνώµη τους έχει γίνει κακή υλοποίηση. Τα κυριότερα εξ αυτών παρατίθενται στον Πίνακα 3.9. ιδακτορική διατριβή. Σελίδα 99

106 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης 1. Ο ήχος που συνοδεύει την εφαρµογή πρέπει να είναι προαιρετικός και να επιλέγεται µε ειδική επιλογή και όχι αυτόµατα. 2. Τα µενού επιλογής θα πρέπει να έχουν τη ίδια περιγραφή µε τη µπάρα εργασίας. 3. Ατέλειες στα πλήκτρα επιλογών σε µερικές φόρµες όπου δεν υπάρχουν κάποια πλήκτρα που χρησιµοποιούνται στάνταρ (π.χ. ΟΚ κλπ). 4. Κακή ποιότητα στη παρουσίαση της θεωρίας (δυσανάγνωστη). 5. Σύγχυση µεταξύ ενεργειών που πρέπει να γίνουν µε διπλό κλικ και απλό κλικ στο διάγραµµα µηχανής. 6. Η παρουσίαση φώτο και video είναι µόνο σειριακή και όχι από µενού. 7. Έλλειψη οµοιοµορφίας στα πλήκτρα επιλογής. 8. Απουσία χρήσης χρωµατικών κωδικών και οπτικής οµαδοποίησης ενεργειών. 9. Απροσδόκητες αντιδράσεις του συστήµατος σε ορισµένες ενέργειες στο διάγραµµα Α. Μηχανής 10. Ο διάλογος «Περί» δεν έχει φανερή έξοδο. Πίνακας 3.9 Οι δέκα σηµαντικότερες παρατηρήσεις των αξιολογητών σχετικά µε τη διεπιφάνεια χρήσης του συστήµατος. Το σύνολο των σφαλµάτων που πιθανά µειώνουν την ευχρηστία της διεπιφάνειας ανήλθε σε εικοσιένα. Όταν ζητήθηκε από τους χρήστες να κατηγοριοποιήσουν ευθέως τα σφάλµατα που διαπίστωσαν στους αντίστοιχους ευρετικούς κανόνες, παρουσιάστηκαν δυσκολίες. Παρ όλα αυτά, όπως προκύπτει από τις παρατηρήσεις, οι χρήστες µπόρεσαν να εξετάσουν αρκετά σχολαστικά την εφαρµογή µε συνέπεια να ανακαλύψουν αδυναµίες σχεδιαστικές ή υλοποίησης. Το γεγονός αποτελεί ένδειξη ότι η προτεινόµενη µέθοδος µπορεί να παράξει συγκεκριµένα αποτελέσµατα που να οδηγήσουν τον επανασχεδιασµό του συστήµατος, µε τη διαφορά ότι προτείνεται η ανεξάρτητη και ενιαία καταγραφή των σφαλµάτων και όχι κατηγοριοποιηµένα ανά ευρετικό κανόνα οκιµή ευχρηστίας εστιασµένη στην µέτρηση απόδοσης Η επόµενη µέθοδος που εφαρµόστηκε αφορούσε στη µέτρηση της αποδοτικότητας κάποιας διεργασίας σε σχέση µε προκαθορισµένες αντιπροσωπευτικές διεργασίες του συστήµατος. Αυτή η δοκιµή εκτελείται από αντιπροσωπευτικούς χρήστες του συστήµατος, στους οποίους παρουσιάζονται σενάρια χρήσης προς εκτέλεση. Η περιγραφή των σεναρίων θα πρέπει να είναι δοσµένη µε ένα γενικό και περιγραφικό τρόπο χωρίς να υποδηλώνει κατά το δυνατόν τα εργαλεία της διεπιφάνειας που θα πρέπει να χρησιµοποιήσουν οι χρήστες. Στο πείραµα που περιγράφεται, ως τυπικοί χρήστες χρησιµοποιήθηκαν φοιτητές του πέµπτου έτους του τµήµατος ΗΜΤΥ. Ορισµένοι εξ αυτών εξακολουθούσαν να είναι υποψήφιοι χρήστες του συστήµατος, καθώς όφειλαν το συγκεκριµένο µάθηµα, ενώ οι υπόλοιποι παρουσίαζαν γνώση του αντικειµένου και εν Σελίδα 100 ιδακτορική διατριβή.

107 ΚΕΦΑΛΑΙΟ 3 γένει προσοµοίωναν σε ικανοποιητικό βαθµό τους τυπικούς χρήστες του συστήµατος, καθώς όλοι είχαν πραγµατοποιήσει τις ασκήσεις στο εργαστήριο ηλεκτρικών µηχανών στο παρελθόν. Ο αριθµός των χρηστών που χρησιµοποίησαν το σύστηµα ήταν δέκα, εννέα άντρες και µία γυναίκα ηλικίας ετών. Το αντιπροσωπευτικό σενάριο που δόθηκε στους χρήστες αφορούσε τα εξής βήµατα: Εισαγωγή στο σύστηµα- επιθεώρηση του µαθηµατικού ισοδύναµου της τριφασικής ασύγχρονης µηχανής επιθεώρηση της συνδεσµολογίας και της εναλλακτικής παρουσίασης της σύνδεσης των µετασχηµατιστών στη διάταξη- απάντηση σε δύο ερωτήσεις σε κάθε µία από τις κατηγορίες ερωτήσεων και έλεγχος της συνολικής απόδοσης- τέλος εισαγωγή στο τµήµα υποβοήθησης διεξαγωγής εργαστηρίου και εισαγωγή στο λογιστικό φύλλο που παρέχει το σύστηµα δοθέντων εργαστηριακών µετρήσεων. Χρόνος εκτέλεσης Καλύτερη Μέση τιµή Χειρότερη περίπτωση διεργασίας απόδοση Στόχος Μετρηθείσα απόδοση Πίνακας 3.9 Οι αναγνωρισθέντες επιθυµητοί χρόνοι καθώς και η µετρηθείσα απόδοση. Αν και η έµφαση στο εκπαιδευτικό λογισµικό, δεν είναι η βελτιστοποίηση του χρόνου εκτέλεσης διεργασιών (Dimitracopouloy, 2001, Squires and Preece, 1999) αλλά η βαθύτερη κατανόηση των γνωστικών εννοιών, στη συγκεκριµένη περίπτωση που προτείνεται η χρήση του συστήµατος ταυτόχρονα µε τη διεξαγωγή της άσκησης, η αποδοτικότητα της διεπιφάνειας αποτελεί ένα χαρακτηριστικό που πρέπει να πιστοποιηθεί. Στη συγκεκριµένη περίπτωση, στόχος ήταν η επιβεβαίωση ότι η χρήση του συστήµατος, ακόµη και για πρωτόπειρους χρήστες, δεν ξεπερνά κάποια προεκτιµηµένα χρονικά περιθώρια, και όχι η ελαχιστοποίηση του χρόνου εκτέλεσης συχνά χρησιµοποιούµενων διεργασιών. Η εκτέλεση του σεναρίου έλαβε χώρα σε ειδικά διαµορφωµένο χώρο (εργαστήριο ευχρηστίας). Ο υπεύθυνος διεξαγωγής του πειράµατος δεν επηρέαζε τη διαδικασία, συνοµιλώντας µε τους χρήστες, αλλά παρατηρούσε τη συµπεριφορά του χρήστη µε το περιβάλλον. Ο µέσος χρόνος που µετρήθηκε ήταν µε τυπική απόκλιση Σηµαντική είναι η πιστοποίηση ότι σε καµία εκ των περιπτώσεων ο χρόνος δεν ξεπερνά το προϋπολογισµένο όριο των 30 λεπτών, καθώς η χειρότερη ιδακτορική διατριβή. Σελίδα 101

108 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης µετρηθείσα επίδοση ήταν 23 λεπτά. Πριν τη διεξαγωγή του πειράµατος, στους φοιτητές είχε καταστεί σαφές ότι δεν ήταν αυτοί τα υποκείµενα αξιολόγησης, αλλά ότι η συµµετοχή τους βοηθούσε την αξιολόγηση της διεπιφάνειας του συγκεκριµένου συστήµατος Ερωτηµατολόγιο βασισµένο σε κατάλογο κατευθυντήριων οδηγιών Το τελευταίο σκέλος του προτεινόµενου πλαισίου που εφαρµόστηκε αφορούσε στην αξιολόγηση της διεπιφάνειας χρήσης µε τη χρήση ερωτηµατολογίων βασισµένων σε κατάλογο κατευθυντήριων οδηγιών (guidelines). Οι συµµετέχοντες ήταν 9 τελειόφοιτοι του τµήµατος Ηλεκτρολόγων Μηχανικών, στους οποίους δόθηκαν αντιπροσωπευτικά σενάρια χρήσης να εκτελέσουν και στη συνέχεια συµπλήρωσαν το ερωτηµατολόγιο. Πρέπει να αναφερθεί, ότι αντίθετα από το προηγούµενο πείραµα όπου στους χρήστες είχε δοθεί σαφής στόχος προς υλοποίηση µε σκοπό τη µέτρηση της αποδοτικότητας της διεργασίας, σε αυτήν την περίπτωση οι σπουδαστές είχαν ως στόχο να διεξάγουν εικονικά την εργαστηριακή εργασία διερευνώντας σχολαστικά τη διεπιφάνεια. Το ερωτηµατολόγιο που χρησιµοποιήθηκε ως πρότυπο ήταν το QUIS (Schneiderman, 1998), το οποίο προσαρµόστηκε από τον Avouris (1999) για αξιολόγηση εκπαιδευτικού λογισµικού. Το ερωτηµατολόγιο περιέχει 75 ερωτήσεις που οµαδοποιούνται σε 10 χωριστές κατηγορίες. Οι ερωτήσεις ήταν κλειστού τύπου µε 5 δυνατές απαντήσεις σε κλίµακα Likert [ ], ενώ επίσης για κάθε ερώτηση οι ερωτώµενοι µπορούσαν να διατυπώσουν την γνώµη τους για την σχετική βαρύτητα του κανόνα για τη συγκεκριµένη κατηγορία λογισµικού [1 (ελάχιστη), 5 (πολύ υψηλή)]. Τµήµα για τη καταχώρηση σχολίων υπήρχε για κάθε κατηγορία του ερωτηµατολογίου. Στόχος του ερωτηµατολογίου είναι η αξιολόγηση συγκεκριµένων χαρακτηριστικών ενός εκπαιδευτικού συστήµατος (απόδοση, ποιότητα και υποκειµενική ικανοποίηση χρήστη). Η µέθοδος αυτή πλαισίωνε µε συµπληρωµατικό τρόπο τις άλλες δύο. Οι χρήστες εξετάζουν κυρίως τη διεπιφάνεια χρήσης, εντούτοις αυτό γίνεται µέσω από θεώρηση της χρησιµότητας του συστήµατος όπως φαίνεται και από τα σχόλια των φοιτητών στο ερωτηµατολόγιο. Τα γενικά σχόλια των χρηστών χαρακτηρίζονταν από ικανοποίηση όσον αφορά το σκέλος της αλληλεπιδραστικής παρουσίασης του εργαστηριακού εξοπλισµού, σκεπτικισµό για την ποιότητα παρουσίασης του θεωρητικού υλικού και προτάσεις για Σελίδα 102 ιδακτορική διατριβή.

109 ΚΕΦΑΛΑΙΟ 3 σηµαντικότερη ολοκλήρωση µε τον εργαστηριακό εξοπλισµό κατά τη διάρκεια διεξαγωγής του εργαστηρίου, όπως µέσω της ενσωµάτωσης διεπιφάνειας χειρισµού των οργάνων µέτρησης στα όργανα µέτρησης. Επίσης, έγιναν παρατηρήσεις σχετικά µε τη χρησιµοποιούµενη ορολογία, τη ροή των διαλόγων και της ποιότητας του πολυµεσικού υλικού. Σηµαντικός αριθµός σχολίων ήταν ταυτόσηµος µε τα σχόλια των αξιολογητών της ευρετικής αξιολόγησης. Η µέθοδος αυτή, λόγω του µεγάλου αριθµού ερωτηµάτων, παρουσιάζει σηµαντική αναλυτική ισχύ η οποία όµως απαιτεί σηµαντικό φόρτο τόσο από τη πλευρά του αξιολογητή, όσο και από τη σκοπιά της ανάλυσης των αποτελεσµάτων. Η υψηλή αξιοπιστία όµως του ερωτηµατολογίου (συντελεστής Cronbach Alpha από 0,88 ως 0,95 ανάλογα µε την έκδοση του, Preece et al., 1994) την καθιστά κατάλληλο εργαλείο για τελική (αθροιστική-summative) αξιολόγηση εκπαιδευτικού λογισµικού. Στο τέλος των τριών πειραµάτων, συνετάχθη τελική έκθεση, η οποία περιελάµβανε τα πορίσµατα των µεθόδων, µια γενική (θετική) κρίση για την καταλληλότητα του λογισµικού Pegasus, προτάσεις για τη διαδικασία ολοκλήρωσης του λογισµικού στη διεξαγωγή της άσκησης και ενός καταλόγου προσδιορισµένων προβληµάτων µαζί µε αντίστοιχες προτάσεις διόρθωσής τους σε πιθανό επανασχεδιασµό του συστήµατος Προβολή αποτελεσµάτων τροποποιηµένου QUIS στην προσαρµοσµένη ευρετική αξιολόγηση Το πλαίσιο αξιολόγησης που περιγράφεται στις ενότητες προσδιόρισε διάφορες ανεπάρκειες στη διεπιφάνεια του εκπαιδευτικού συστήµατος, οι οποίες δεν είχαν αναγνωριστεί κατά τη σχεδίαση της εφαρµογής. Επιπλέον, οι δύο βασικές προτεινόµενες µέθοδοι είχαν µια διαφορετική εστίαση και για αυτόν τον λόγο παράγουν συµπληρωµατικά αποτελέσµατα. Προκειµένου να διερευνηθεί η συµπληρωµατικότητα αλλά και η αξιοπιστία των αποτελεσµάτων των δύο αυτών µεθόδων έγινε µια προβολή των αποτελεσµάτων του ερωτηµατολογίου QUIS στους ευρετικούς κανόνες. Το ερωτηµατολόγιο QUIS θεωρείται από τα πλέον αξιόπιστα για την αξιολόγηση χαρακτηριστικών διεπιφάνειας χρήσης. Μια προεπεξεργασία του ερωτηµατολογίου έλαβε χώρα, προκειµένου να διερευνηθεί σε ποιους κανόνες αντιστοιχίζονται οι 75 ερωτήσεις που το απαρτίζουν. Από τις 75 οι 41 βρέθηκε να συσχετίζονται άµεσα µε τους οκτώ κανόνες ενώ οι υπόλοιπες ερωτήσεις κάλυπταν χαρακτηριστικά όπως ποιότητα βοήθειας και ιδακτορική διατριβή. Σελίδα 103

110 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης συνοδευτικών εγχειριδίων (που δεν περιλαµβάνεται στις αρχική πρόταση των ευρετικών κανόνων), ποιότητα πολυµεσικού υλικού καθώς επίσης και χαρακτηριστικά στιβαρότητας λειτουργίας του συστήµατος. Ευρετικός κανόνας Άθροισµα Αριθµός ερωτήσεων QUIS που 8 5 6,5 4, αντιστοιχούν στον κανόνα Πίνακας 3.10 Αντιστοίχηση ερωτήσεων ερωτηµατολογίου στους ευρετικούς κανόνες. Τα αποτελέσµατα της ανάλυσης της προβολής των ερωτήσεων αυτών συνοψίζονται στον Πίνακα Για κάθε ερώτηση που θεωρήθηκε ότι αντιστοιχεί σε δύο ευρετικούς κανόνες η αντιστοίχηση επιµερίστηκε και στους δύο κανόνες µε βαρύτητα 0,5 αντί 1. Τα αποτελέσµατα της συγκριτικής αποτίµησης των 8 ευρετικών κανόνων παρουσιάζονται µε τις δύο µεθόδους συνοψίζονται στην Εικόνα Όπως προκύπτει από την ανάλυση των αποτελεσµάτων, στους 6 από τους 8 ευρετικούς κανόνες δεν παρουσιάστηκε σηµαντική διαφορά στην ποιότητα των αποτελεσµάτων. Στους κανόνες 1 και 4 (χρήση απλής και κατανοητής γλώσσας και ανάδρασης), οι χρήστες φαίνεται να εκτιµούν πιο αυστηρά τη διεπιφάνεια (µέτρια), ενώ οι προσοµοιωµένοι ειδικοί αρκετά θετικότερα (καλά προς πολύ καλά). Προσεκτικότερη ανάλυση των σχολίων των χρηστών, φανερώνει τη δυσκολία κατανόησης και αξιοποίησης της παρεχόµενης ανάδρασης από τους χρήστες. Παράλληλα σε άλλα σηµεία, η παρεχόµενη ανάδραση ήταν ελλιπής. Τέλος η γλώσσα που χρησιµοποιείται παρουσιάζεται πιο κατανοητή σε ανθρώπους µε σηµαντική εµπειρία χρήσης υπολογιστών, παρά σε περιστασιακούς υποψήφιους χρήστες που µικρότερο βαθµός εµπειρίας. Στους υπόλοιπους έξι κανόνες φαίνεται να υπάρχει ένας σηµαντικός βαθµός συµφωνίας, παρά το γεγονός ότι το χρησιµοποιούµενο δείγµα δεν αρκεί για να αποδειχθεί στατιστική σύγκλιση των αποτελεσµάτων των δύο οµάδων. Σηµαντικό συµπέρασµα που φαίνεται να προκύπτει είναι ότι µια λεπτοµερής και αξιόπιστη αξιολόγηση ευχρηστίας της διεπιφάνειας χρήσης εκπαιδευτικού λογισµικού και πιο συγκεκριµένα περιβαλλόντων υποβοήθησης διεξαγωγής και µάθησης εργαστηριακού τύπου µαθηµάτων, πρέπει να περιλαµβάνει ένα συνδυασµό µεθόδων αξιολόγησης από ειδικούς καθώς επίσης και από τελικούς, αντιπροσωπευτικούς χρήστες-µαθητές. Το συµπέρασµα αυτό είναι συµβατό µε αντίστοιχη διαπίστωση της Karat (1988). Σελίδα 104 ιδακτορική διατριβή.

111 ΚΕΦΑΛΑΙΟ 3 2 1,5 Προσοµοιωµένοι ειδικοί Τελικοί χρήστες 1 Τιµή 0,5 0-0, Ευρετικοί κανόνες Εικόνα 3.9 Αποτελέσµατα των οµάδων Α (προσοµοιωµένοι ειδικοί) και B (φοιτητές) στον άξονα των ευρετικών κανόνων. Μια επιπλέον συγκριτική διάσταση των αποτελεσµάτων των δύο µεθόδων µπορεί να λάβει χώρα µέσω της σύγκρισης των σχολίων ανοιχτού τύπου όπως παρουσιάζεται στον Πίνακα Φαίνεται ότι τα σχόλια των χρηστών µαθητών παρουσιάζουν µεγαλύτερη σύγκλιση σε σχέση µε αυτά των προσοµοιωµένων ειδικών. Το αποτέλεσµα αυτό, εν µέρει οφείλεται και στο γεγονός ότι µετά τη συνεδρία αξιολόγησης του λογισµικού από τους χρήστες-µαθητές έλαβε χώρα µια συζήτηση κατά τη διάρκεια της οποίας έγινε ανταλλαγή απόψεων σχετικά µε το αξιολογούµενο εκπαιδευτικό λογισµικό. Παρά την διαφορετική προσέγγιση για την αξιολόγηση των ισχυρότερων προβληµάτων ευχρηστίας όπως πιθανά διαφαίνεται µέσα από την συγκριτική παράθεση των προτάσεων, παρουσιάζονται και κοινές διαπιστώσεις όπως για παράδειγµα τα σχόλια 1 (απενεργοποίηση ανάδρασης ήχου) και 4 (έλλειψη συνέπειας στην ορολογία της διεπιφάνειας), µε τη σειρά που παρουσιάζονται από τους αξιολογητές. Προτάσεις προσοµοιωµένων ειδικών Συχνότητα Προτάσεις χρηστών-µαθητών Συχνότητα 1. Έλλειψη ελέγχου ανάδρασης στο κανάλι ήχου 30% 1. Η παροχή βοήθειας ήταν φτωχή σε ποιότητα και όχι θεµατικά επιµερισµένη 100% ιδακτορική διατριβή. Σελίδα 105

112 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης 2. Η οθόνη παρουσίασης ερώτησης πολλαπλής επιλογής έχει προβλήµατα στη διάταξη των αντικειµένων 3. εν υπάρχει προφανής έξοδος από το διάλογο Περί 4. Υπάρχει έλλειψη συνέπειας στην ορολογία της διεπιφάνειας 5. Η χρωµατική κωδικοποίηση αντικειµένων της διεπιφάνειας δεν είναι συνεπής 20% 20% 20% 20% 2. Έλλειψη ελέγχου ανάδρασης στο κανάλι ήχου 3. Υπάρχει έλλειψη συνέπειας στην ορολογία της διεπιφάνειας 4. Φτωχές λειτουργίες πλοήγησης στη επιθεώρηση πολυµεσικού υλικού 5. Φτωχός έλεγχος στο τµήµα παρουσίασης συνδεσµολογίας Πίνακας 3.11 Συχνότητα εµφάνισης προτάσεων από τους αντιπροσωπευτικούς χρήστες και προσοµοιωµένους ειδικούς. 78% 44% 33% 33% 3.4 Συµπεράσµατα-συζήτηση Όπως προκύπτει από τις παρουσιασθείσες αξιολογήσεις της διεπιφάνειας χρήσης πολυµεσικού και υπερµεσικού εκπαιδευτικού λογισµικού, η χρήση προσαρµοσµένων µεθόδων από το πεδίο Αλληλεπίδρασης Ανθρώπου Υπολογιστή, µέσα από ένα κατάλληλα διαµορφωµένο προτεινόµενο πλαίσιο είναι εφικτή. Η αποτελεσµατικότητα της συνδυαστικής αξιολόγησης έχει επιβεβαιωθεί και από άλλους ερευνητές (Karat 1988), όχι όµως και στο εκπαιδευτικό λογισµικό. Η χρήση µιας µεθοδολογίας βασισµένη σε αξιολόγηση από ειδικούς, παράλληλα µε µια αξιολόγηση από τυπικούς χρήστες, φαίνεται να δίνει σηµαντικά αποτελέσµατα και να αποτελεί µια αποτελεσµατική προσέγγιση στο χώρο του εκπαιδευτικού λογισµικού πολυµέσων / υπερµέσων, γενικά συµπεριφοριστικού τύπου. Αν και η ποιότητα της τεχνολογίας και η πιστοποίηση της καταλληλότητας της διεπιφάνειας δεν πιστοποιεί τη µάθηση σε ένα περιβάλλον, εν τούτοις αντιθετοαντιστρέφοντας την διαπίστωση αυτή, µια εύχρηστη διεπιφάνεια είναι αναγκαία συνθήκη για την οµαλή πορεία της µάθησης µέσα σε ένα εκπαιδευτικό περιβάλλον. Η προτεινόµενη προσαρµογή των ευρετικών κανόνων για χρήση από προσοµοιωµένους ειδικούς διαφαίνεται αποτελεσµατική. Παράλληλα, η πρόταση για αξιοποίηση της µεθόδου για ποσοτική αποτίµηση της ποιότητας της διεπιφάνειας χρήσης και η εφαρµογή της και για ποσοτική-αθροιστική αξιολόγηση ( εκτός από ποιοτική-διαµορφωτική), παράγει αξιόπιστα αποτελέσµατα όπως προέκυψε από τη σύγκριση µε τα αποτελέσµατα του προσαρµοσµένου ερωτηµατολογίου Quis µε προβολή των ερωτήσεων στους αντίστοιχους κανόνες. Παράλληλα, καταδείχθηκε και Σελίδα 106 ιδακτορική διατριβή.

113 ΚΕΦΑΛΑΙΟ 3 µια συµπληρωµατικότητα των δύο κύριων προτεινόµενων µεθόδων, της αξιολόγησης από ειδικούς και από αντιπροσωπευτικούς χρήστες, ειδικά στους άξονες της χρησιµοποιούµενης ορολογίας και της ανάγκης για ποιοτική ανάδραση. Όπως φάνηκε στην παρουσίαση της µελέτης, προκύπτουν σηµαντικά συµπεράσµατα για την σηµασία της ευχρηστίας στα ΑΑΕ περιβάλλοντα, ειδικά στο τµήµα αυτοαξιολόγησης και εξέτασης. H παρουσιαζόµενη έρευνα καταδεικνύει µια συστηµατική συσχέτιση ευχρηστίας και επίδοσης των φοιτητών στο δοθέν πλαίσιο της πειραµατικής διαδικασίας. Η συσχέτιση αυτή παρουσιάστηκε τόσο στο σύνολο της πειραµατικής διαδικασίας όσο και σε καθένα από τα τρία επιµέρους διαγωνίσµατα. ιαφαίνεται ότι το σύστηµα µε την αποτιµώµενη µικρότερη ευχρηστία είχε αρνητική επίδραση στην επίδοση της οµάδας των φοιτητών που το χρησιµοποίησε. Η διαδικασία κατανόησης των ερωτήσεων, αναστοχασµού πάνω σε αυτές, και επιλογής της απάντησης απαιτούν σηµαντικό γνωστικό φόρτο, άρα ευχρηστία της διεπιφάνειας επηρεάζει τη λειτουργία αυτή, και κατά συνέπεια επηρεάζει το τελικό αποτέλεσµα, δηλαδή την αποτελεσµατικότητα και την αποδοτικότητα που επέδειξαν οι φοιτητές. Το γεγονός ότι η ευχρηστία επηρέασε φοιτητές µε σχετικά αυξηµένο βαθµό εµπειρίας χρήσης υπολογιστών γενικά, συγκριτικά µε πρωτοετείς φοιτητές σχολών διαφορετικού αντικειµένου µας οδηγεί στο συµπέρασµα ότι πιθανόν η επίδρασή της να ήταν υψηλότερη σε φοιτητές µε µικρότερη εµπειρία χρήσης. Χαρακτηριστικά όπως αποδοτικότητα, συνέπεια και συνέχεια της διεπιφάνειας και ελευθερία πλοήγησης φαίνεται να συµβάλλουν σηµαντικά στη µαθησιακή διαδικασία που προσφέρουν αντίστοιχα περιβάλλοντα. Ένα συµπέρασµα για τα συστήµατα που υποστηρίζουν από απόσταση εκπαίδευση και το εκπαιδευτικό λογισµικό γενικότερα, είναι ότι παρά το γεγονός ότι οι διεπιφάνειες που συγκρίθηκαν είναι σχετικά απλές χρησιµοποιώντας σηµαντικό αριθµό διαδεδοµένων επιλογών και συµβάσεων, τελικώς οι διαφορές στην ευχρηστία επηρέασαν την εκπαιδευτική διαδικασία. Στο τµήµα εξέτασης-αυτοαξιολόγησης ενός συστήµατος ΑΑΕ, η γενική παραίνεση για επιµερισµό του πληροφοριακού χώρου σε περισσότερες από µια ιστοσελίδες διασυνδεδεµένες µεταξύ τους µε υπερσυνδέσµους µέσω µιας ιεράρχησης αντίστροφης πυραµίδας (Nielsen, 2000) φαίνεται να µην ισχύει. Με τον τρόπο αυτό ο µαθητής αναγκάζεται να αλληλεπιδρά συνεχώς µε το περιβάλλον διακόπτοντας τη λειτουργία των αναστοχαστικών γνωστικών λειτουργιών. Συνέπεια του γεγονότος αυτού είναι η διάσπαση της συνοχής του ιδακτορική διατριβή. Σελίδα 107

114 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης µαθησιακού χώρου, αναιρώντας τη διαφάνεια της διεπιφάνειας χρήσης. Σε αντίθεση µε παραδοσιακά εργαλεία που υποστηρίζουν τον χρήστη να επιτελέσει συγκεκριµένους σκοπούς, τα εκπαιδευτικά περιβάλλοντα αποτελούν µέρος της ίδιας της διαδικασίας. Κατά συνέπεια, κατά τη διαδικασία σχεδίασης εκπαιδευτικών συστηµάτων θα πρέπει να έχει διερευνηθεί συστηµατικά ο ρόλος τους καθώς και το πλαίσιο χρήσης. Το αποτέλεσµα αυτό πιθανόν να έχει γενικότερη εφαρµογή και στην διαδικασία κατασκευής και παρουσίασης εκπαιδευτικού υλικού. Καθώς η έννοια της ιστοσελίδας ως βασικού τεχνικού συστατικού ενός συστήµατος από απόσταση εκπαίδευσης, εµπεριέχει εγγενώς τόσο το περιεχόµενο όσο και τα στοιχεία πλοήγησης, το σηµείο ισορροπίας µεταξύ κατάλληλης διαµόρφωσης του υλικού για εύκολη αναζήτηση περιεχοµένου µέσα σε ένα πληροφοριακό χώρο και παρουσίασης των εννοιών µε τρόπο που να επιτρέπει τη βαθύτερη κατανόηση τους και το συνδυαστικό αναστοχασµό πάνω σε αυτές, πιθανόν να διαφοροποιείται. Η σηµασία του προτεινόµενου πλαισίου αξιολόγησης, διαφαίνεται σηµαντική στο να οδηγήσει στην απαλοιφή χαρακτηριστικών-προβληµάτων της διεπιφάνειας χρήσης που επηρεάζουν αρνητικά την διαδικασία της µάθησης. Η δυσκολία του στόχου αυτού αυξάνει µε την περιπλοκότητα των διεργασιών στις οποίες υποβάλλεται ο µαθητής όπως θα συζητηθεί στα επόµενα κεφάλαια, γεγονός που οδήγησε στη διερεύνηση αναλυτικών πλαισίων αξιολόγησης ανοιχτών περιβαλλόντων µάθησης. Σελίδα 108 ιδακτορική διατριβή.

115 ΚΕΦΑΛΑΙΟ Βιβλιογραφία Alexander, S. (1995). Teaching and learning on the World Wide Web. In R. Debreceny & A. Ellis (Eds.). Ausweb95: Innovation and Diversity, (pp ). Ballina, New South Wales: Norsearch Limited. Angelidis, V.G. (1997). "Incorporating Instructional Feedback in Elec. Eng. Laboratory Experiments - An Example", IEEE Trans. on Education, Vol. 40,(1), February Avouris, N. (1999). Educational Software Evaluation Guidelines, Technical Report, Working Group on Educational Software Evaluation Procedure, Pedagogical Institute, Athens, Avouris, N., and Tselios, N., (1999). The Infotronic Distance Learning Module, Contribution to the CBT Kernel Final Report, Leonardo Programme, Project , Patras. Avouris, N.,M., Tselios, N.,K., Tatakis E.,C. (2001). Development and evaluation of a computer-based laboratory teaching tool. Journal Computer Applications in Engineering Education, vol. 9 (1), March pp Becker, D., and Dwyer, M. (1994). Using hypermedia to provide learner control, J. of Educational Multimedia and Hypermedia, 3(2), pp Belmans R., Reekmans R., Verdyck D., Geysen W.(1988) "Computer Aided Testing of Electrical Machines in the Teaching Laboratory", Int. Conference on Electrical Machines (ICEM'88), Pisa (Italy), 1988, pp Benbouzid, M.E.H. and Capolino, G.A. (1996). "Project-Oriented Power Engineering Laboratory", IEEE Transactions on Power Systems, Vol. 11, No 4, November Brooks, D.W. (1997). A Guide to Designing Interactive Teaching for the World Wide Web. Plenum Press, Daniels M. and Shaffer, R.A. (1998). Re-Inventing the Electrical Machines curriculum, IEEE Transactions on education Vol. 41 No2, May Dix, A., Finley, J., Abowd, G., Beale, A. (1998). Human-Computer Interaction, Prentice Hall, Eklund, J. (1995). Cognitive models for structuring hypermedia and implications for learning from the World Wide Web. In R. Debreceny & A. Ellis ιδακτορική διατριβή. Σελίδα 109

116 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης (Ed.), Ausweb95: Innovation and Diversity, (pp ). Ballina, New South Wales: Norsearch Ltd. Fitzelle, G., and Trochim, W. (1996). Survey Evaluation of Web Site Instructional Technology: Does it Increase Student Learning? Proc. of Annual Conference of the American Evaluation Association, Atlanta, GA, November Goldberg, M.W., Salari, S., Swoboda, P. (1996). World Wide Web - Course Tool: An Environment for Building WWW-Based Courses, 5th Int. World Wide Web Conference, Paris, France. Hayes, R. (2000). Exploring Discount Usability Methods to Assess the Suitability of Online Course Delivery Products. The Internet and Higher education 2 (2-3), pp: Heines J.M. (2000). Evaluating the effect of a course web site on student performance, J. of Computing in Higher Education, 12 (1), pp Jones, A., Scanlon, E., Tosunoglu, C., Morris, E., Ross, S., Butcher, P., Greenberg J. (1999). Contexts for evaluating educational software, Interacting with Computers, v.11 n.5, pp Karat, J. (1988). Software Evaluation Methodologies, Handbook of Human- Computer Interaction, M. Helander (ed.), Elsevier Science Publishers, B.V. (North- Holland), pp Kasten D., Kent J.C., Maco T.J., Scott S.C. (1992). "Modernization of Machine Laboratory", Proc. 54th Annual Meeting of the American Power Conference, Chicago (USA), 1992, April, pp Kirkpatrick, D. (1994). Evaluating Training Programs. San Francisco, CA: Berrett-Koehler Publishers, Inc. Kyranastassis, G.J. (1996). NEAPOLIS: A Special Tool for Electrical Power Engineering Education, Proc. 31st Univ. Power Engineering Conf., Iraklio, Levi M.D., Conrad, A., Frederick, G. (1996). A Heuristic Evaluation of a World Wide Web Prototype, Interactions Magazine, July/August, Vol.III.4, pp Mayes, J. T. and Fowler, C.J. (1999). Learning Technology and Usability: A Framework for Understanding Courseware Usability and Educational Software Design.Interacting with Computers 1999, v.11 n.5, pp Mayes, T. (1996). Why learning is not just another kind of work, Proceedings on Usability and Educational Software design, BCS HCI, London. Σελίδα 110 ιδακτορική διατριβή.

117 ΚΕΦΑΛΑΙΟ 3 Molich, R. and Nielsen, J. (1990). Improving a human-computer dialogue, Communications of the ACM, 33 (3), pp Molich, R., Thomsen, A. D., Karyukina, B., Schmidt, L., Ede, M., van Oel, W., Arcuri, M. (1999). Comparative evaluation of usability tests. Proceedings of ACM CHI'99 Conference on Human Factors in Computing Systems, Panels, pp Nehrir, M.H, Fatehi, F., Gerez, V. (1995). Computer modeling for enhancing instruction of electric machinery, IEEE Transactions on education Vol. 38 No2, May Nielsen, J. (1992). Finding usability problems through heuristic evaluation. Proceedings ACM CHI'92 Conference (Monterey, CA, May 3-7): Nielsen, J. (1993). Usability Engineering, Academic Press, London. Nielsen, J. (2000). Designing Web Usability: The Practice of Simplicity, New Riders Publishing, Indianapolis. Nielsen, J. and Landauer, T. K. (1993). A mathematical model of the findings of usability problems. Proceedings ACM/IFIP INTERCHI'93 Conference (Amsterdam, The Netherlands, April 24-29), Parlangeli,O., Marchigiani, E. and Bagnara, S. (1999). Multimedia systems in distance education: effects of usability on learning,interacting with Computers, 12(1),1999,pp: Preece, J. (1994). Human Computer Interaction, Addison-Wesley, 1994 Clark, R.E. and Craig, T.G. (1992). Research and theory on multi-media learning effects, in: M. Giardina (Ed.), Interactive Multimedia Learning Environments: Human Factors and Technical Considerations on Design Issues, Springer, New York, Schneiderman, B. (1998). Designing the User Interface, Addison Wesley, Sebastien, R.Y., Mohammed, O.A. (1998). "Real-time Electromagnetic Field Analysis System for the Energy Conversion Laboratory", Proceedings of the 1998 IEEE SoutheastCon Conference, Orlando (USA), 1998, April 24-26, pp Soloway, E., Guzdial, M., Hay K.E. (1994). Learner-centered design: The challenge for HCI in the 21st century. Interactions, (2): p ιδακτορική διατριβή. Σελίδα 111

118 Αξιολόγηση πολυµεσικών/υπερµεσικών περιβαλλόντων µάθησης Squires, D. (1999). Usability and Educational Software Design: Special Issue of Interacting with Computers, Editorial, Interacting with computers, v.11, n.5, 1999, pp Squires, D. and Preece, J. (1999). Predicting Quality in Educational Software: Evaluating for Learning, Usability and the Synergy between them, Interacting with Computers, v.11, n.5, 1999, pp Staton, D.A., Mc Gilp, M.I., Miller, T.J.E. (1993). "DC Machine Teaching Experiments", European Conf. on Power Electronics and Applications (EPE'93), Brighton (England), pp Thuring, M., Mannemann, J., Haake, J. (1995). Hypermedia and cognition: Designing for comprehension. Communications of the ACM, 38(8), pp Tognazzini, B. (1992). Tog on Interface. Reading, MA: Addison-Wesley. Torgensen, G.E. (1998). Laering med IT. Teori og metode for undervisning med informasjons og Kommunikasjonsteknologi. Opplysningsfilm. Walsh, P.J., Hancock, G.C., Zeng, Y., Marik, O.P. (1995). Measurement Setup for a Power Laboratory Motor Generation Station, IEEE Trans. on Education, Vol. 38, 2, May 1995, pp Σελίδα 112 ιδακτορική διατριβή.

119 ΚΕΦΑΛΑΙΟ 4 Κεφάλαιο 4. Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Οι σύγχρονες θεωρίες µάθησης επηρεάζουν το σχεδιασµό εκπαιδευτικού λογισµικού και θέτουν απαιτήσεις όσον αφορά στο σχεδιασµό των µελετών αξιολόγησής του. Η έµφαση, στο κεφάλαιο αυτό, δίνεται στο σχεδιασµό ανοικτών περιβαλλόντων µάθησης, στηριγµένων στο συνδυασµό κοινωνικών και εποικοδοµιστικών προσεγγίσεων για τη γνώση και τη µάθηση. Η αξιολόγηση αυτών των περιβαλλόντων παρουσιάζει ιδιαίτερο ενδιαφέρον µιας και η συµπεριφορά των µαθητών µέσα σε αυτά δεν είναι προβλέψιµη. Στο κεφάλαιο αυτό παρουσιάζεται ένα πλαίσιο αξιολόγησης, το οποίο συνδυάζει την ευρετική µέθοδο αξιολόγησης, τη µέθοδο πεδίου και την αξιολόγηση µε χρήση ενός µοντέλου χρήστη βασισµένου στην ιεραρχική ανάλυση εργασιών. Για την υποστήριξη αυτών των µεθόδων δηµιουργήθηκαν νέα εργαλεία, τα οποία περιγράφονται αναλυτικά. Το περιβάλλον αξιολόγησης όπως παρουσιάζεται, διαµορφώθηκε µέσα από την εµπειρία αξιολόγησης δύο ανοικτών περιβαλλόντων µάθησης που αφορούν στον πειραµατισµό µε γεωµετρικές έννοιες που προορίζεται για τις πρώτες τάξεις του γυµνασίου καθώς και στην κατασκευή µοντέλωναναπαραστάσεων φαινοµένων του φυσικού κόσµου. ιδακτορική διατριβή. Σελίδα 113

120 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης 4.1 Εισαγωγή Στο κεφάλαιο αυτό επικεντρώνουµε την προσοχή µας στην αξιολόγηση διεπιφανειών χρήσης ανοικτών περιβαλλόντων µάθησης. Σε σχέση µε πολυµεσικά/υπερµεσικά εκπαιδευτικά περιβάλλοντα που βασίζονται σε γνωσιοθεωρητικό πλαίσιο µάθησης συµπεριφοριστικού τύπου, προτείνεται ένα διαφορετικό πλαίσιο αξιολόγησης ευχρηστίας. Τα περιβάλλοντα µάθησης τα οποία σχεδιάζονται µε βάση το γνωσιοθεωρητικό πλαίσιο του εποικοδοµισµού είναι κυρίως ανοικτά περιβάλλοντα. Χαρακτηριστικά αναφέρονται το περιβάλλον της γλώσσας Logo, το περιβάλλον της δυναµικής Γεωµετρίας Cabri-Geometry (Laborde, 1990), όπως και το περιβάλλον ηµι-ποσοτικών µοντέλων Models Creator (Dimitrakopoulou, et al., 1999). Τα ανοιχτά περιβάλλοντα µάθησης παρουσιάζουν αυξηµένη δυσκολία τόσο ως προς το σχεδιασµό όσο και ως προς την αξιολόγηση. ιακρίνονται από σαφήνεια των αντικειµένων της οθόνης, που συνιστούν οντότητες τις οποίες ο χρήστης µπορεί να χειριστεί, διέπονται από σύνολο κανόνων, που προσδιορίζουν τους τρόπους αλληλεπίδρασης των µαθητών µε τις οντότητες του περιβάλλοντος, παρέχεται ανάδραση στον µαθητή σχετικά µε το πώς συµπεριφέρεται το σύστηµα στις ενέργειές του και επιτρέπουν ανοιχτό πλαίσιο δραστηριοτήτων (Jonassen et al., 1993). Επιπλέον αποτελούνται από έναν χώρο ο οποίος συνδέει αντικείµενα και λειτουργίες µε τα φαινόµενα στην οθόνη του υπολογιστή. Ουσιαστικά αυτός ο χώρος καθορίζει τον τύπο της ανάδρασης που παρέχουν αυτά τα περιβάλλοντα (Jonnasen, 1994). Η αξιολόγηση τέτοιων περιβαλλόντων έχει δυσκολίες από την άποψη του ότι η µαθησιακή πορεία του µαθητή δεν µπορεί να προβλεφθεί από τη φάση του σχεδιασµού του λογισµικού. Επιπλέον, αυτά τα περιβάλλοντα είναι δυνατόν να εξελίσσονται κατά τη διάρκεια της χρήσης τους από τους µαθητές (Hoyles, 1993). Η σχεδίαση και αξιολόγηση των περιβαλλόντων αυτών παρουσιάζει ιδιαιτερότητες σε σχέση µε τα πολυµεσικά / υπερµεσικά περιβάλλοντα µάθησης που περιγράφεται στο κεφάλαιο 3. Τα προβλήµατα αυτά καθώς και µια προτεινόµενη µεθοδολογία για την αξιολόγηση ευχρηστίας ανοιχτών περιβαλλόντων µάθησης συζητώνται αναλυτικά στη συνέχεια. Σελίδα 114 ιδακτορική διατριβή

121 ΚΕΦΑΛΑΙΟ Ιδιαιτερότητες αξιολόγησης ευχρηστίας ΑΠΜ Το κυριότερο χαρακτηριστικό των ανοιχτών περιβαλλόντων µάθησης είναι η ενεργητικού τύπου κατασκευή γνώσης από το µαθητή-χρήστη. Στα περιβάλλοντα αυτά δίνεται η ευκαιρία στο µαθητή να κατασκευάσει ενεργητικά τις προσωπικές του στρατηγικές προκειµένου να λύνει προβλήµατα τα οποία έχουν σηµασία για αυτόν (von Glasersfeld, 1987). Από την άποψη αυτή, η έρευνα για την αξιολόγησή τους στο πεδίο είναι αναντικατάστατη. Από µια άλλη όµως άποψη, υπάρχουν σηµαντικά θέµατα τεχνικής και παιδαγωγικής φύσεως τα οποία αφορούν στο σχεδιασµό των περιβαλλόντων αυτών ως εργαλείων όπως και ως περιβαλλόντων µάθησης τα οποία πρέπει να εντοπισθούν από ειδικούς πριν από τη µελέτη στο πεδίο. Σε µια συνολική θεώρηση, οι ιδιαιτερότητες του εκπαιδευτικού λογισµικού σε σχέση µε περιβάλλοντα εργασίας, στα οποία έχει εστιάσει το πεδίο της επιστήµης επικοινωνίας ανθρώπου υπολογιστή, είναι σηµαντικές (Soloway et al., 1994). Στα περιβάλλοντα αυτά, το ζητούµενο είναι η µάθηση µε τρόπο τέτοιο ώστε ο µαθητής να αλληλεπιδρά µε έννοιες, ξεκινώντας από ένα επίπεδο γνώσης και προσπαθώντας να αλληλεπιδράσει µε τις προσφερόµενες έννοιες και τα εργαλεία του συστήµατος. Το στυλ διάδρασης που εκδηλώνεται, από την πλευρά των χρηστών-µαθητών, σε ένα εκπαιδευτικό σύστηµα διαφέρει σηµαντικά σε σχέση µε τα στυλ αλληλεπίδρασης στα οποία η επιστήµη ΕΑΥ έχει εστιάσει και τα οποία έχει αναλύσει µε άξονα αναφοράς τυπικούς χρήστες που εργάζονται σε περιβάλλοντα εργασίας (Inkpen, 1997). Παράλληλα, τονίζει ότι αποδεκτά στυλ αλληλεπίδρασης όπως σύρε-και-άφησε (drag and drop) και µαζική χωρική επιλογή αντικειµένων µε χρήση π.χ. τετραγώνου εγκλεισµού αντικειµένων καθώς και διαδεδοµένες µεταφορές όπως η επιφάνεια εργασίας γραφείου (desktop) συχνά αποδεικνύονται ακατάλληλα για χρήστες- µαθητές µικρής ηλικίας. Πολλές φορές το πραγµατικό πλαίσιο χρήσης του εκπαιδευτικού λογισµικού δεν λαµβάνεται υπ όψην στη διαδικασία σχεδιασµού και αξιολόγησης του συστήµατος, όπως στην περίπτωση συνεργατικής λύσης προβληµάτων από δύο µαθητές µε τη χρήση του ίδιου υπολογιστή (Dimitracopoulou, 2001, Inkpen, 1997). Επιπλέον, ενώ οι χρήστες τυπικών περιβαλλόντων εργασίας είναι συνήθως γνώστες του αντικειµένου στο οποίο το σύστηµα αναφέρεται (domain knowledge), οι ιδακτορική διατριβή. Σελίδα 115

122 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης µαθητές χρήστες χαρακτηρίζονται από µικρή τέτοια γνώση καθώς επίσης και ισχυρές διαφοροποιήσεις µεταξύ των (Soloway et al., 1994), ενώ ακόµα και η ύπαρξη κινήτρου για την ενασχόληση ή όχι µε το σύστηµα δεν θα πρέπει να θεωρείται δεδοµένη (Soloway et al., 1996). Κατά συνέπεια οι παραδοσιακές µετρικές που αξιολογούν την ευχρηστία µιας εργασίας (ταχύτητα εκτέλεσης, ποσοστό λαθών, αποτελεσµατικότητα και αποδοτικότητα κ.α.) αποκτούν δευτερεύοντα ρόλο στην αξιολόγηση της ποιότητάς αλληλεπίδρασης ενός εκπαιδευτικού λογισµικού. Για παράδειγµα, οι κοινωνικές και εποικοδοµιστικές θεωρήσεις για τη γνώση και τη µάθηση προτάσσουν την διαδικασία αυτόβουλης κατασκευής γνώσης από τους µαθητές όπου ο πειραµατισµός και τα λάθη κατά τη διαδικασία αυτή κατέχουν πρωτεύοντα ρόλο. Η επικοινωνία ανθρώπου υπολογιστή από την άλλη, πρεσβεύει ότι ο σχεδιασµός των συστηµάτων θα πρέπει να ελαχιστοποιεί κατά το δυνατόν την πιθανότητα εσφαλµένης χρήσης. Αν και τα δύο αυτά γεγονότα φαίνονται καταρχάς αντικρουόµενα, στην πραγµατικότητα η διαφορά έγκειται στα διαφορετικά επίπεδα στα οποία σύµφωνα µε το µοντέλο αλληλεπίδρασης του Norman (1996) αυτά λαµβάνουν χώρα. Ο µαθητής δύναται να έχει σχηµατίσει λανθασµένη αντίληψη για το µαθησιακό πλαίσιο το οποίο απαιτείται για να επιλύσει ένα συγκεκριµένο πρόβληµα. Τέτοια λάθη που αποτελούν εκφράσεις παρανοήσεων του χρήστη σχετικών µε το γνωστικό αντικείµενο, µέρος του οποίου εκφράζεται και µέσα από το ΑΠΜ, και επηρεάζουν το σηµασιολογικό επίπεδο της διάδρασης, δηλαδή της σηµασίας των εντολών του µαθητή, θα πρέπει να επιτρέπονται από το σύστηµα να εκφραστούν έτσι ώστε σταδιακά ο µαθητής να αναστοχάζεται πάνω σε αυτά και να κατασκευάζει γνώση αλληλεπιδρώντας µε πιθανά τέτοια προϊόντα διάδρασης. Από την άλλη το σύστηµα πρέπει να είναι κατάλληλα σχεδιασµένο ώστε να αποκλείει κατά το δυνατόν λάθη στο λεκτικό επίπεδο, δηλαδή την ακριβή ακολουθία ενεργειών που απαιτείται για να εκτελεστεί µια εργασία, καθώς επίσης και στο συντακτικό επίπεδο, δηλαδή της ακολουθίας ενεργειών που απαιτούνται ώστε να δοθούν σωστές εντολές στο σύστηµα (Foley et al., 1990). Το γεγονός αυτό όµως δεν µειώνει την παιδαγωγική αξία του συστήµατος, τουναντίον αυξάνει τη διαφάνεια του εργαλείου σε σχέση µε την προσφερόµενη από αυτό γνώση, δίνοντας τη δυνατότητα εφαρµογής µε ακρίβεια ποικίλων αναπαραστάσεων και πολλαπλών λύσεων σε δοθέν χρονικό διάστηµα. Σελίδα 116 ιδακτορική διατριβή

123 ΚΕΦΑΛΑΙΟ 4 Ως συνέπεια της ανωτέρω διαπίστωσης προκύπτουν αντικρουόµενες απόψεις στον τρόπο σχεδιασµού ενός εκπαιδευτικού λογισµικού. Για παράδειγµα, στον χρήστη, σύµφωνα µε κοινά αποδεκτές αρχές σχεδίασης ανοιχτών περιβαλλόντων µάθησης, θα πρέπει να προσφέρεται πάντα ικανός αριθµός επιλογών και εργαλείων ακόµη και αν η χρήση αυτών των εργαλείων οδηγεί σε λανθασµένες κατασκευές (Lewis et al., 1998). Αντιθέτως, βασικός ευρετικός κανόνας της ΕΑΥ, ορίζει ότι το φορτίο µνήµης θα πρέπει να ελαχιστοποιείται, παρέχοντας ανά πάσα στιγµή, µόνο τα απαραίτητα εργαλεία για την επιτυχή διεκπεραίωση της εργασίας. Και πάλι όµως στην πραγµατικότητα δεν συγκρούονται αυτές οι απαιτήσεις, καθώς τα εργαλεία στην περίπτωση αυτή αποτελούν µέρος του µαθησιακού χώρου (learning space) και δεν είναι απλώς µέρος των τυπικών ενεργειών που απαιτούνται για την ολοκλήρωση µια τυπικής εργασίας. 4.3 ιαδεδοµένες µέθοδοι αξιολόγησης ΑΠΜ ιάφορες µέθοδοι έχουν προταθεί για την αξιολόγηση της ευχρηστίας εκπαιδευτικού λογισµικού γενικά, και ΑΠΜ ειδικότερα, οι περισσότερες εκ των οποίων αποτελούν προσαρµογές µεθόδων που χρησιµοποιούνται και για τυπικά περιβάλλοντα εργασίας. Από µιαν άλλη όµως άποψη, υπάρχουν σηµαντικά θέµατα τεχνικής και παιδαγωγικής φύσεως, τα οποία αφορούν στο σχεδιασµό των περιβαλλόντων αυτών ως εργαλείων όπως και ως περιβαλλόντων µάθησης τα οποία πρέπει να εντοπισθούν από ειδικούς πριν από τη µελέτη στο πεδίο. Παραδείγµατα τεχνικών αυτής της κατηγορίας είναι οι ευρετικές µέθοδοι αξιολόγησης της ευχρηστίας του λογισµικού (Nielsen, 1994) όπως µάλιστα έχουν προταθεί από τους Squires και Preece (1999) ώστε να συνδυαστούν µε αρχές µάθησης. Οι ευρετικές αυτές µέθοδοι υλοποιούνται στο εργαστήριο από ειδικούς και η χρησιµότητα τους στο εκπαιδευτικό λογισµικό φαίνεται σηµαντική. (Avouris et al., 1999, Avouris et al., 2001). Άλλες µέθοδοι που εµπλέκουν τους χρήστες και χρησιµοποιούνται είναι το πρωτόκολλο οµιλούντος αντικειµένου (thinking aloud protocol), η µέθοδος συνεργατικής ανακάλυψης (Co-discovery) και η µέτρηση απόδοσης (performance measurement) (Avouris et al., 2001). Οι Squires και Preece (1999), αµφιβάλλουν για την εφαρµοσιµότητα των παραδοσιακών τεχνικών προβλεπτικής αξιολόγησης εν γένει και ειδικότερα των ιδακτορική διατριβή. Σελίδα 117

124 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης ελέγχων µε χρήση κριτηρίων, διότι δεν ενσωµατώνουν θέµατα που σχετίζονται µε τη µάθηση. Αναφέρουν επίσης ότι οι περισσότερες µορφές γνωστικού περιδιαβάσµατος είναι έντονα γνωστικά προσανατολισµένες και απαιτούν τη λεπτοµερή γνώση, η οποία δεν είναι κατάλληλη σε περίπτωση εκπαιδευτικών συστηµάτων που ενθαρρύνει τη δηµιουργικότητα και όπου µπορεί να χρησιµοποιηθεί µε διαφορετικό τρόπο από διαφορετικούς σπουδαστές. Εντούτοις, προσαρµογές των µεθόδων περιδιάβασης προτείνονται για να εξετάσουν τις ιδιαιτερότητες των εκπαιδευτικών συστηµάτων. (Lewis et al., 1998, Demetriadis et al., 1999). Οι Squires and Preece (1999), αναφέρουν µια ανάγκη συσχέτισης των τεχνικών και των µεθόδων έρευνας του εκπαιδευτικού λογισµικού και του πεδίου αλληλεπίδρασης ανθρώπου υπολογιστή. Στο πλαίσιο αυτού του συµπεράσµατος, προτείνουν µια επέκταση της ευρετικής αξιολόγησης µε µια προοπτική µάθησης µέσα από τις βασικές αρχές του θεωρητικού πλαισίου του κοινωνικο-εποικοδοµητισµού. Οι Mayes και Fowler (1999) υποστηρίζουν ότι η σχεδίαση εκπαιδευτικού λογισµικού πρέπει να στραφεί στη σχεδίαση αποτελεσµατικών στοιχειωδών εργασιών παρά στη διεπιφάνεια χρήσης γενικά. Ο µαθητής πρέπει να κινηθεί αβίαστα προς το εννοιολογικό επίπεδο, αλλά έπειτα πρέπει να εµπλακεί µε τις υφιστάµενες έννοιες πίσω από τα αντικείµενα που διαχειρίζεται, µέσω των ενεργών κατασκευών και της έκφρασης των προσωπικών ιδεών του. Αναφέρουν επίσης ότι η εκµάθηση δεν µπορεί να προσεγγιστεί ως συµβατική στοιχειώδης εργασία, σαν να ήταν ακριβώς ένα άλλο είδος εργασίας, µε διάφορα προβλήµατα προς επίλυση, µε σκοπό την αποκοµιδή κάποιων αποτελεσµάτων. Και αυτό επειδή η διαδικασία µάθησης είναι ένα παράπλευρο προϊόν που προκύπτει κατά τη διαδικασία ενεργειών επίτευξης συγκεκριµένου στόχου. Εποµένως, οι Mayes και Fowler (1999) τονίζουν τη σηµασία της αξιολόγησης της καταλληλότητας των στοιχειωδών εργασιών για τον εκπαιδευτικό σκοπό που προορίζονται. Οι Sedig et al. (2001), προτείνουν ότι το εκπαιδευτικό λογισµικό είναι αποτελεσµατικό όταν ενσωµατώνεται ανεπιφύλακτα η γνώση στη στοιχειώδη εργασία. Τονίζουν την ανάγκη σχεδιασµού µε άξονα τις πραγµατευόµενες έννοιες ώστε να είναι εφικτή η κατανόηση και ο χειρισµός της εννοιολογικής αφαίρεσης. Υποστηρίζουν ότι τα οφέλη από το στυλ απ ευθείας χειρισµού (άµεση εµπλοκή µε τις οπτικές αναπαραστάσεις εννοιών) πρέπει να διατηρηθούν - µε εξέταση των παραδοσιακών προβληµάτων ευχρηστίας - αλλά ιδιαίτερη έµφαση πρέπει να δοθεί Σελίδα 118 ιδακτορική διατριβή

125 ΚΕΦΑΛΑΙΟ 4 για να στρέψει τους µαθητές σε χειρισµούς των εννοιών παρά σε αντικείµενα που επιδρούν έµµεσα στις έννοιες. Από την άποψη αυτή, οι µέθοδοι µοντελοποίησης εργασιών φαίνονται κατάλληλες στο να αξιολογήσουν την παρουσία των εννοιών, καθώς και τη ρητή παρουσίασή τους, χειριζόµενες και προσφερόµενες µε έναν τρόπο που προάγει το κίνητρο χρήσης στα διαλογικά παράθυρα αλληλεπίδρασης. Πάνω στις διαπιστώσεις αυτές βασίστηκε η προτεινόµενη µέθοδος αξιολόγησης, της οποίας βασικός άξονας είναι η ανάλυση εργασιών, όπως παρουσιάζεται στα επόµενα. 4.4 Το πλαίσιο αξιολόγησης Οι φάσεις από τις οποίες αποτελείται το προτεινόµενο πλαίσιο (Tselios et al., 2001a) παρουσιάζονται συνοπτικά στην Εικόνα 4.1. Αυτές περιέχουν: 1) Προκαταρκτική ανάλυση, κύρια εστιαζόµενη στην κατασκευή µοντέλου αλληλεπίδρασης µαθητών-απμ, όπως αυτή έγινε αντιληπτή κατά τη φάση του σχεδιασµού του συστήµατος. Το µοντέλο αυτό καλείται Μοντέλο Εργασιών Σχεδιαστή (Designer Task Model-DTM). 2) Ευρετική αξιολόγηση ευχρηστίας του πρωτοτύπου από ειδικούς. 3) Αξιολόγηση στο πεδίο, µε άξονα τη συλλογή δεδοµένων, την ανάλυσή τους και την ερµηνεία τους. Τα δεδοµένα αυτά µπορούν να είναι παρατηρήσεις από τους υπεύθυνους διεξαγωγής του πειράµατος, αρχεία πληκτρολογήσεων και εν γένει καταγεγραµµένων πληκτρολογήσεων στο χαµηλό επίπεδο της αλληλεπίδρασης, στιγµιότυπα χρήσης των ΑΠΜ, καθώς και αρχεία video µε καταγεγραµµένες συνεδρίες χρήσης. 4) Κατασκευή Μοντέλου Εργασιών Μαθητή (Student Task Model-STM) για τους αντιπροσωπευτικούς χρήστες που συµµετείχαν στο πείραµα. Τροποποίηση του DTM σύµφωνα µε τα κατασκευασθέντα STM. Παρουσίαση προβληµάτων. Κατασκευή νέων προδιαγραφών σχεδιασµού. 5) Καταγραφή και ανάλυση προβληµάτων, κατασκευή νέων προδιαγραφών σχεδιασµού. Οι φάσεις του πλαισίου αξιολόγησης αναλύονται περισσότερο στη συνέχεια της ενότητας αυτής. ιδακτορική διατριβή. Σελίδα 119

126 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Επέκταση της ιεραρχικής ανάλυσης εργασιών για ΑΠΜ Η προτεινόµενη µέθοδος, για τη µοντελοποίηση της αλληλεπίδρασης του µαθητή µε το ΑΜΠ, βασίζεται στην ιεραρχική ανάλυση εργασιών (Hierarchical Task Analysis, ΗΤΑ Shepherd, 1989) και αναπτύχθηκε µέσα από µια διαδικασία προσαρµογής και διεύρυνσής της, που προέκυψε από τον πειραµατισµό και τη διαδοχική εφαρµογή της µεθόδου σε δύο µελέτες αξιολόγησης ΑΠΜ. Στο σηµείο αυτό θα πρέπει να τονιστεί ότι στόχος µέσω της χρήσης της µεθόδου αυτής είναι η κατασκευή ενός συντακτικού µοντέλου αλληλεπίδρασης που αντανακλά τον τρόπο µε τον οποίο ο µαθητής-χρήστης ερµηνεύει την προσφερόµενη λειτουργικότητα από το ΑΠΜ µέσω της διεπιφάνειας χρήσης και µε ποιο τρόπο επιµερίζει τους στόχους του σε επιµέρους εργασίες για να τους εκπληρώσει. Παράλληλα, η χρήση της προτεινόµενης µεθόδου, είναι τόσο προβλεπτικού χαρακτήρα, µε στόχο την εκτίµηση της αλληλεπίδρασης του µαθητή µε το περιβάλλον µέσω της υπό διαµόρφωσης διεπιφάνειας χρήσης στα αρχικά στάδια σχεδιασµού, όσο και επεξηγηµατικού χαρακτήρα, µε στόχο την εκ των υστέρων περιγραφή της συµπεριφοράς µαθητήσυστήµατος και της αναγνώρισης των αποκλίσεων που παρουσιάζουν µεταξύ τους τα µοντέλα αλληλεπίδρασης µαθητή και το αρχικό µοντέλο σχεδιαστή. Αν και η HTA εµφανίζει πολλές οµοιότητες µε άλλες τεχνικές µοντελοποίησης γνωστικών στόχων, όπως η GOMS (η οποία έχει περιγραφεί στην ενότητα 2.4.2), ο κύριος στόχος της επιδιωκόµενης ανάλυσης είναι η µοντελοποίηση και ο αναστοχασµός πάνω στην παρατηρούµενη αλληλεπίδραση των µαθητών, και η αναγνώριση παρανοήσεων και δυσχερειών, που προκύπτουν από την διαφορετική προσδοκία τους για την αντιστοίχηση των στοιχειωδών εργασιών στη διεπιφάνεια χρήσης, παρά να εστιάσουµε στις γνωστικές εργασίες µέσα από µια µηχανιστική θεώρηση (µοντέλο ανθρώπινου επεξεργαστή) πάνω στην οποία βασίζεται η τεχνική GOMS. Η προσέγγιση του προβλήµατος µε χρήση µεθόδων βασισµένων στην GOMS δεν ενδείκνυται για τη φύση του προβλήµατός µας, καθώς αυτή έχει σχεδιαστεί κυρίως για αναλυτική- προβλεπτική αξιολόγηση διεπιφανειών χρήσης, µε την παραδοχή ότι τα παραγόµενα µοντέλα αφορούν σε έµπειρους χρήστες που διεκπεραιώνουν εργασίες µε εντελώς µηχανικό τρόπο. Η GOMS στηρίζεται στην παραδοχή ότι οι χρήστες ανακαλούν ότι χρειάζεται από τη βραχύβια µνήµη ή αλλιώς µνήµη εργασίας και εκτελούν τυπικές εργασίες ρουτίνας έχοντας καταστρώσει από Σελίδα 120 ιδακτορική διατριβή

127 ΚΕΦΑΛΑΙΟ 4 πριν τη στρατηγική τους για το πως θα διεκπεραιώσουν το στόχο τους. Παράλληλα, τα µοντέλα GOMS χρησιµοποιούν την παραδοχή ότι στην διάρκεια της αλληλεπίδρασης ο χρήστης δεν κάνει κανένα λάθος, προκειµένου να εκτιµήσουν ένα κάτω φράγµα στο χρόνο που απαιτείται για να εκτελεστεί κάποια εργασία. Αντιθέτως, µε τη χρήση µιας πιο γενικής µεθόδου ως βάση, όπως η HTA, επικεντρώνεται η ανάλυση σε εργασίες τέτοιες όπου λαµβάνει χώρα σηµαντική δραστηριότητα επίλυσης προβληµάτων, γεγονός πολύ συχνά εµφανιζόµενο κατά την αλληλεπίδραση µε ΑΠΜ. Στόχος είναι η κατασκευή ενός συντακτικού µοντέλου της διεπιφάνειας χρήσης, περιγράφοντας µε αυστηρό τρόπο τις ακολουθίες ενεργειών που απαιτούνται από την πλευρά του µαθητή προκειµένου να ολοκληρώσει µία εργασία. Για παράδειγµα, σηµαντικό στιγµιότυπο της αλληλεπίδρασης είναι η προσπάθεια που απαιτείται από το µαθητή για να συνδυάσει γνώση, σχετιζόµενη µε το πεδίο που πραγµατεύεται το περιβάλλον σε εννοιολογικό επίπεδο µε την χρήση των εργαλείων και των αντικειµένων της διεπιφάνειας του προκειµένου να διερευνήσει πρωτότυπες αναπαραστάσεις της γνώσης, µέσα από µια διερευνητική διαδικασία αντιστοίχησης εννοιών και µετακατασκευής γνώσης. Για το λόγο αυτό, είναι απαραίτητο να συµπεριληφθούν στα µοντέλα ανάλυσης ακόµα και στρατηγικές που δεν οδηγούν σε ορθό αποτέλεσµα, είτε λόγω διαφορετικών προσδοκιών από τη πλευρά του χρήστη /µαθητή είτε λόγω εσφαλµένης αντίληψης όσον αφορά έννοιες που πραγµατεύεται το ΑΠΜ, κάτι το οποίο δεν υποστηρίζεται στη µέθοδο GOMS. Τέτοια σφάλµατα σηµασιολογικής αντίληψης για τη γνώση, που οδηγούν σε λανθασµένες κατασκευές, συνεισφέρουν στη βαθύτερη και πληρέστερη κατανόηση του γνωστικού αντικειµένου. Σηµαντικό χαρακτηριστικό, που διευρύνει την αξία της προτεινόµενης µεθόδου HTA, είναι η ενσωµάτωση σε κάθε κόµβο, που χαρακτηρίζει κάποια (υπο)εργασία ή ενέργεια, των αναγνωρισθέντων συντακτικών ή σηµασιολογικών αποκλίσεων. Μέσα από την πειραµατική διαδικασία, παρατηρήθηκαν τύποι αποκλίσεων που έχουν οµαδοποιηθεί σε πέντε κατηγορίες και παρουσιάζονται στον πίνακα 4.1. Οι αποκλίσεις αυτές αναγνωρίζονται και καταγράφονται µέσω της παρατήρησης και ανάλυσης της διαδικασίας αλληλεπίδρασης και της επίλυσης προβληµάτων στην οποία εµπλέκονται τυπικοί χρήστες-µαθητές σε κάθε συνεδρία χρήσης του ΑΠΜ. ιδακτορική διατριβή. Σελίδα 121

128 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Σύµβολο Τύπος σφάλµατος Περιγραφή Σηµαντική συντακτική απόκλιση. Ελάσσων σφάλµα συντακτικού τύπου. Σφάλµα σηµασιολογικού τύπου. Σφάλµα έλλειψης συνέπειας και συνέχειας. Αναγνωρισθείσα απόκλιση από βασική αρχή ευχρηστίας. Σφάλµα αλληλεπίδρασης το οποίο είτε οδηγεί σε αδιέξοδο στο διάλογο, είτε απαιτεί σηµαντικό αριθµό ενεργειών για να επανακτηθεί η τρέχουσα θέση του διαλόγου (Paterno and Mancini, 2000). Σφάλµα αλληλεπίδρασης, κύρια συνήθως λόγω διαφορετικών προσδοκιών από την πλευρά του χρήστη/ µαθητή για τη λειτουργία του διαλόγου προς την υλοποίηση συγκεκριµένης εργασίας. εν απαιτεί σηµαντικό αριθµό ενεργειών για να επανακτηθεί η τρέχουσα θέση του διαλόγου (Paterno and Mancini, 2000). Καταγραφείσα απόκλιση λόγω εσφαλµένης ερµηνείας οντοτήτων του γνωστικού πεδίου. Εργασία που παρουσιάζει σηµαντικές οµοιότητες µε άλλη, όµως απαιτεί την εκτέλεσή της µε διαφορετικό τρόπο ή εργασία που σε διαφορετικά στιγµιότυπα του διαλόγου απαιτεί διαφορετικό χειρισµό. Αποκλίσεις θεµελιωδών κανόνων ευχρηστίας, η επίδρασή των δεν έχει αναγνωρισθεί απαραίτητα στην παρατήρηση πεδίου, αλλά µπορούν να επηρεάσουν την ευχρηστία της διεπιφάνειας. Πίνακας 4.1 Κατηγοριοποίηση λαθών µοντελοποίησης στη προτεινόµενη µέθοδο ανάλυσης εργασιών για ΑΠΜ. Ένα από τα σηµαντικότερα πλεονεκτήµατα της χρήσης τεχνικών βασισµένες σε µοντέλα αυτού του είδους, είναι η ίδια η διαδικασία κατασκευής του µοντέλου (Edmondson and Simone, 1994). Ένα µοντέλο αλληλεπίδρασης είναι ένα σηµαντικό φορµαλιστικό εργαλείο επικοινωνίας αναστοχασµού και ανταλλαγής ιδεών, ιδιαίτερα ανάµεσα στα µέλη µιας οµάδας σχεδιασµού, που πολύ συχνά έχουν διαφορετικό θεωρητικό υπόβαθρο (π.χ. µηχανικοί λογισµικού, µηχανικοί ευχρηστίας, ειδικοί του γνωστικού πεδίου (εκπαιδευτικοί). Έτσι λοιπόν, απαιτείται ιδιαίτερη προσοχή στο να χρησιµοποιηθεί εύληπτη σηµειογραφία µέσα από την οποία να παρουσιάζεται το µοντέλο. Η περιγραφή των πλάνων που καθορίζουν τις χρονικές συσχετίσεις διεξαγωγής των εργασιών στις οποίες έχει αποδοµηθεί ένας στόχος, χρησιµοποιεί τα σύµβολα που περιγράφονται στον Πίνακα 4.2. Για παράδειγµα η περιγραφή SEQ ( 1 (!), 2 (!), (3)*2 (!), 4 (x!) ) σε ένα µοντέλο αλληλεπίδρασης χρήστη, υποδηλώνει ότι οι εργασίες 1,2,3,4 έχουν εκτελεστεί µε την αυτή ακολουθία, η εργασία 3 έχει εκτελεστεί δύο φορές και σε όλες τις εργασίες παρουσιάστηκε απόκλιση στην αναµενόµενη αλληλεπίδραση. Σελίδα 122 ιδακτορική διατριβή

129 ΚΕΦΑΛΑΙΟ 4 Σύµβολο Ερµηνεία (!) Εργασία στη οποία εµφανίζεται απόκλιση. (x!) Εργασία στην οποία εµφανίζεται σηµαντική απόκλιση. {} Στυλ χειρισµού διαλόγου το οποίο δεν είχε προβλεφθεί στη διαδικασία σχεδιασµού του συστήµατος. Εργασίες που µε βάση τη παρατήρηση πεδίου θα πρέπει να < > επεκταθούν ώστε να υποστηρίξουν νέες λειτουργίες µε βάση της ανάγκες των µαθητών/ χρηστών. Εργασίες που θα πρέπει να εκτελεστούν όλες αλλά µε οιαδήποτε AND σειρά επιθυµεί ο χρήστης. (Εναλλακτικά χρησιµοποιείται το σύµβολο κόµµα (,). OR Εργασία που µπορεί να εκτελεστεί µε διαφορετικούς τρόπους εκ των οποίων ο χρήστης επιλέγει τουλάχιστον ένα. SEQ Εργασίες που θα πρέπει να εκτελεσθούν υποχρεωτικά σε σειρά. OPT Εργασίες που εκτελούνται προαιρετικά. PAR Εργασίες που θα πρέπει να εκτελεσθούν σε χρονική παραλληλία. *n Εργασία η οποία χρειάζεται να εκτελεστεί επαναληπτικά n φορές. Πίνακας 4.2 Σηµειωτικές αναπαραστάσεις αποκλίσεων αλληλεπίδρασης και χρονικών περιγραφών πλάνων. Εναλλακτικές τεχνικές µοντελοποίησης οι οποίες θα µπορούσαν να χρησιµοποιηθούν, είναι η MAD (Sebilliote, 1988) ή η TAKD (Diaper, 1989). Οι τεχνικές αυτές δίνουν σηµαντική έµφαση και στην αναλυτική παράθεση των αντιδράσεων του συστήµατος στις εκάστοτε ενέργειες του χρήστη. Όµως η περιπλοκότητα και ο χρόνος που απαιτείται προκειµένου να µοντελοποιηθούν συστήµατα µε τις τεχνικές αυτές θέτει σηµαντικά ερωτήµατα για την εφαρµοσιµότητά τους και την πρακτική αξία τους σε ρεαλιστικές καταστάσεις στο προτεινόµενο πλαίσιο όπου απαιτείται πέρα από την υποθετική µοντελοποίηση της αλληλεπίδρασης, να καταγραφούν πραγµατικά µοντέλα από την αλληλεπίδραση των χρηστών µε το σύστηµα. οθέντος επίσης του γεγονότος ότι οι τεχνικές αυτές απαιτούν σηµαντική εµπειρία στο πεδίο Αλληλεπίδρασης Ανθρώπου Υπολογιστή (Paterno, 1999), η πιθανότητα ευρύτερης αποδοχής µιας µοντελοκεντρικής αξιολόγησης µειώνεται σηµαντικά ειδικά από αξιολογητές χωρίς συµπαγές γνωστικό υπόβαθρο στο πεδίο. Ένα άλλο σηµείο, άξιο διερεύνησης, είναι το βάθος και η λεπτοµέρεια ανάλυσης κατά τη διαδικασία κατασκευής ενός µοντέλου. Γενικά, αυτό είναι ένα από τα προβλήµατα στα οποία καµία από τις προτεινόµενες µοντελοκεντρικές τεχνικές δεν έχει δώσει σαφή απάντηση (Dix et al., 1998). Βασιζόµενοι στην εµπειρία χρήσης ιδακτορική διατριβή. Σελίδα 123

130 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης από την εφαρµογή των µεθόδων αυτών, επιβεβαιώσαµε το γεγονός ότι είναι δύσκολο να διατυπωθεί κανόνας µε γενική ισχύ. Η απόφαση αυτή εξαρτάται σηµαντικά και από την κρίση του αξιολογητή καθώς και σε ποιο επίπεδο επιθυµεί να δώσει έµφαση στην αξιολόγηση. Μια γενική κατεύθυνση, που απορρέει από τη συστηµατική εφαρµογή της µεθόδου είναι η ανάπτυξη της διαδικασίας αποδόµησης στόχων σε επιµέρους εργασίες αρχικά σε εύρος και εν συνεχεία σε βάθος, καλύπτοντας λεπτοµέρειες που χαρακτηρίζουν επιµέρους κάθε εργασία. Η διαδικασία κατασκευής του µοντέλου θα πρέπει πρώτα να ερµηνεύει το αίτιο, για το οποίο ένας χρήστης εµπλέκεται σε µια σειρά από εργασίες και στη συνέχεια να προσπαθεί να ερµηνεύσει µε ποιο τρόπο περατώνονται οι εργασίες αυτές αναστοχαζόµενος στο να επαληθεύσει ή όχι την υπόθεση ότι η εργασία έχει περατωθεί µε αποτελεσµατικό τρόπο. ύο άλλοι κανόνες που µπορούν να χρησιµοποιηθούν προκειµένου να υποβοηθήσουν την διαδικασία µοντελοποίησης και να ανιχνευθεί το ερώτηµα για το αν χρειάζεται επιπλέον ανάλυση σε χαµηλότερο επίπεδο (µέχρι το πλέον χαµηλό επίπεδο αλληλεπίδρασης των πληκτρολογήσεων) είναι οι προτεινόµενοι κανόνες επίλυσης προβλήµατος και πιθανότητας κόστους PxC. Με τον πρώτο κανόνα, µπορούµε να αποφασίσουµε να τερµατίσουµε τη διαδικασία αποδόµησης ενός στόχου εάν αυτός δεν εµπλέκει τον χρήστη/ µαθητή σε µια διαδικασία επίλυσης προβλήµατος. Με αυτόν τον τρόπο µπορούµε να µοντελοποιήσουµε µια φορά µια εργασία ρουτίνας, που δεν απαιτεί σηµαντικό γνωστικό φόρτο και συνεπώς δεν συνεισφέρει σηµαντικά στη διαδικασία της µάθησης. Μια τέτοια απόφαση δεν θα πρέπει να ληφθεί αν υπάρχει έµφαση στη διαδικασία ανάλυσης του πειράµατος, ώστε να αναγνωρισθεί µε ποιο τρόπο οι µαθητές χρησιµοποιούν συγκεκριµένα εργαλεία και µε ποια συχνότητα. Ο κανόνας πιθανότητας- κόστους PxC αναφέρει ότι αν η πιθανότητα (P) να γίνει ένα σφάλµα σε µια εργασία πολλαπλασιαζόµενη µε ένα κόστος (C) που επιφέρει αυτό στη διαδικασία της αλληλεπίδρασης είναι κάτω από µια τιµή κατωφλίου τότε η ανάπτυξη (αποδόµηση) της εργασίας σταµατά (Dix et al., 1998). Συνεπώς, απλές εργασίες δεν υπάρχει ιδιαίτερος λόγος να αναπτυχθούν, εκτός και αν είναι ζωτικές για την διεκπεραίωση των υψηλότερων ιεραρχικά στόχων και ευαίσθητες σε λανθασµένες αλληλεπιδράσεις. Στη περίπτωση αυτή, η εργασία αυτή θα πρέπει να αναλυθεί µε προσοχή και να προταθούν εναλλακτικοί τρόποι σχεδιασµού µε άξονα τη µείωση του γινοµένου αυτού. Σελίδα 124 ιδακτορική διατριβή

131 ΚΕΦΑΛΑΙΟ Προκαταρκτική ανάλυση, κατασκευή Μοντέλου Εργασιών Σχεδιαστή. Cognitive Model Tool (CMT) Usability Lab, Logging tools Usability Analyzer (UA) Requirement specification / prototyping Prototype Heuristic Evaluation User observation (Field study) Observation data Data selection and analysis Qualitative/quantitative analysis results Usability evaluation results, redesign decisions Cognitive Model Tool (CMT) Task analysis Combined UTM Individual UTM revised task model Εικόνα 4.1 ιαγραµµατική απεικόνιση του προτεινόµενου πλαισίου αξιολόγησης. Κατά τη διάρκεια αυτής της φάσης ο σχεδιαστής, βασισµένος σε θεωρίες µάθησης και αρχές σχεδιασµού εκπαιδευτικού λογισµικού, σε συνδυασµό µε εξαρτώµενες από το πεδίο απαιτήσεις, τα αναµενόµενα χαρακτηριστικά των µαθητών-χρηστών και το κοινωνικό περιβάλλον στο οποίο το σύστηµα αναµένεται να λειτουργήσει, καθορίζει τα βασικά χαρακτηριστικά του συστήµατος, και καθορίζουν τα τυπικά χαρακτηριστικά της προτεινόµενης διάδρασης τα οποία ορίζουν το µοντέλο εργασιών του σχεδιαστή (DTM). Το τελευταίο προκύπτει, λαµβάνοντας υπ όψην χαρακτηριστικές εργασίες υψηλού επιπέδου που αναµένονται για να ολοκληρωθούν από το χρήστη µε το υπό σχεδιασµό σύστηµα. Αυτές αποδοµούνται µε τη σειρά τους σε αναµενόµενες υποεργασίες που θα πρέπει να υλοποιηθούν, προκειµένου να επιτευχθεί ο υψηλότερος ιεραρχικά στόχος. Όσο πιο χαµηλά προχωρά η ανάλυση του ιεραρχικού αυτού δένδρου, τόσο πιο έντονη καθίσταται η επίδραση εργαλείων και αντικειµένων της διεπιφάνειας µέσω της προβολής της λειτουργικότητάς τους στη διεπιφάνεια χρήσης. Το µοντέλο αυτό αναπαριστά τον τρόπο µε τον οποίο ο σχεδιαστής εκτιµά ότι ένας τυπικός µαθητής θα αλληλεπιδράσει µε το ΑΠΜ. Η διαδικασία κατασκευής του DTM υποβοηθείται σηµαντικά από το Εργαλείο Γνωστικής Μοντελοποίησης Cognitive Modeling Tool (CMT) που περιγράφεται διεξοδικά στην ενότητα Το εργαλείο ιδακτορική διατριβή. Σελίδα 125

132 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης επιτρέπει τη γραφικού τύπου κατασκευή µοντέλων µε απ ευθείας αλληλεπίδραση του χρήστη µε τη διαγραµµατική του αναπαράσταση (Εικόνα 4.3). Εικόνα 4.2 Αποσπάσµατα από το µοντέλο σχεδιαστή ανοιχτού περιβάλλοντος µάθησης. Παράδειγµα κατασκευής µοντέλου σχεδιαστή ΑΠΜ φαίνεται στην Εικόνα 4.2. Τα µοντέλα εργασιών που απεικονίζονται αφορούν το αναµενόµενο µοντέλο αλληλεπίδρασης µε βάση το οποίο σχεδιάστηκε η διεπιφάνεια χρήση του ΑΠΜ ηµιουργός Μοντέλων, η αξιολόγηση του οποίο περιγράφεται στην ενότητα 5.3. Σύµφωνα µε αυτό, προκειµένου να επιτευχθεί ο υψηλού επιπέδου στόχος δηµιουργία µοντέλου (1.1 Create Model), o µαθητής αναµένεται να αλληλεπιδράσει µε τον εξής τρόπο: θα ανοίξει τον χώρο δηµιουργίας µοντέλων, θα επιλέξει τις κατάλληλες βιβλιοθήκες οντοτήτων και σχέσεων µε τις οποίες επιθυµεί να συνδέσει τα µοντέλα Σελίδα 126 ιδακτορική διατριβή

133 ΚΕΦΑΛΑΙΟ 4 αυτά, θα χτίσει το µοντέλο του και τέλος θα δοκιµάσει τη λειτουργία του µοντέλου που κατασκεύασε (υπο-εργασίες 1.1 έως 1.5, Εικόνα 5.2). Όµοια κατά τη διαδικασία κατασκευής του µοντέλου (εργασία 1.4), θα πρέπει να συνδέσει τις οντότητες µε σχέσεις και οι απαιτούµενες υπο-εργασίες είναι: απόφαση για το ποια σχέση επιθυµεί να εισάγει, επιλογή τύπου σχέσης και σύνδεση σχέσης µε τις οντότητες που επιθυµεί, εργασία που µε τη σειρά της αποδοµείται σε χαµηλότερου επιπέδου εργασίες σύνδεση σχέση µε οντότητα αίτιο του φαινοµένου που µοντελοποιεί και µε οντότητα αποτέλεσµα. Επίσης, η εργασία δοκιµή µοντέλου (1.5) αποδοµείται σε τρεις εναλλακτικές επιλογές-εργασίες: χειροκίνητη δοκιµή, εκτέλεση µοντέλου και εναλλακτικές αναπαραστάσεις απεικόνισης λειτουργίας µοντέλου που µε τη σειρά της αποδοµείται σε επιµέρους επιλογές. Μια σχετικά υψηλού επιπέδου πλήρης σειριακή περιγραφή του µοντέλου σχεδιαστή, που δηµιουργείται αυτόµατα από την γραφικού τύπου ιεραρχία από το εργαλείο CMT, απεικονίζεται στον Πίνακα )Create model Plan 1: SEQ(1.1, 1.2,1.3, 1.4, 1.5) 1.1)Select Models creation area 1.2)Select object library 1.3)Select relations library 1.4)Construct model Plan 1.4: SEQ (1.4.1, 1.4.2, OPT(1.4.3),1.4.4) 1.4.1)Choose and insert objects Plan 1.4.1: ( )*n )Insert first object 1.4.2)Choose objects attributes Plan 1.4.2: ( )*n )Select objects attributes 1.4.3)Initialise attributes Plan 1.4.3: ( )*n )Choose value and lock 1.4.4)Insert relation Plan 1.4.4: , , )Decide type of relation )Select appropriate relation )Connect relation with object )Connect relation with cause ιδακτορική διατριβή. Σελίδα 127

134 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης )Connect relation with result 1.5)Test model Plan 1.5: OR OR )Manual test 1.5.2)Run model 1.5.3)Alternative model representation Πίνακας 4.3 Μοντέλο σχεδιαστή απεικονιζόµενο σε σειριακή µορφή. Χαρακτηριστικό γνώρισµα των ΑΠΜ, είναι το γεγονός ότι, η διεπιφάνεια χρήσης δίνει σηµαντική ελευθερία στο µαθητή επιτρέποντας του να προσεγγίσει συγκεκριµένα προβλήµατα µε ποικιλία τρόπων, ανάλογα µε το γνωστικό του υπόβαθρο και το πως αντιλαµβάνεται την χρήση των υπολογιστών. Έτσι λοιπόν όσες εξ αυτών έχουν αναγνωρισθεί από τη φάση του σχεδιασµού, θα πρέπει να εµφανίζονται στο DTM µε τη συµµετοχή ποικίλων εναλλακτικών υπο-εργασιών συνδεόµενων µεταξύ τους µε τον τελεστή OR. Η χρήση της µεθόδου αυτής ανεξάρτητα από την αξιολόγηση, µπορεί επίσης να έχει θετικά αποτελέσµατα καθώς η µελέτη και η εποπτεία των πιθανών εργασιών, στις οποίες εµπλέκεται, µπορεί να ωφελήσει τη διαδικασία σχεδίασης. Η σχεδίαση της αλληλεπίδρασης θα πρέπει να είναι κατάλληλη ώστε ο µαθητής να έρχεται σε άµεση επαφή µε το γνωστικό αντικείµενο και συνεχώς να αλληλεπιδρά µε χαρακτηριστικά των εννοιών του ΑΠΜ Ευρετική αξιολόγηση Στη δεύτερη φάση, προτείνεται ευρετική αξιολόγηση ευχρηστίας από ειδικούς ευχρηστίας, στο υπό αξιολόγηση πρωτότυπο. Κατά τη διάρκεια της αξιολόγησης αυτής ο αξιολογητής διαπερνά τη διεπιφάνεια χρήσης αρκετές φορές, επιθεωρώντας τα διάφορα στοιχεία των διαλόγων στους οποίους εµπλέκεται ο χρήστης. Η επιθεώρηση αυτή γίνεται µε άξονα τους δέκα ευρετικούς κανόνες όπως έχουν παρατεθεί από τον Nielsen (1993) και συζητώνται εκτενέστερα στα κεφάλαια 2 και 3 της διατριβής. Όπως έχει φανεί από τα πειράµατα που περιγράφονται στο κεφάλαιο 3, η σηµασία της ευρετικής αξιολόγησης και η αξία της ως αυτόνοµης µεθόδου αποτίµησης της ευχρηστίας στο πλαίσιο του εκπαιδευτικού λογισµικού αποδεικνύεται σηµαντική. Στην προτεινόµενη µεθοδολογία η ευρετική αξιολόγηση πέρα από την αυτόνοµη χρησιµότητα των συµπερασµάτων που παράγει, χρησιµοποιείται και µε Σελίδα 128 ιδακτορική διατριβή

135 ΚΕΦΑΛΑΙΟ 4 επικουρικό τρόπο για την υποβοήθηση της µοντελοποίησης των χρηστών. Και αυτό γιατί η διαδικασία ανασύνθεσης των γνωστικών στόχων από την παρατηρηθείσα συµπεριφορά των µαθητών δεν είναι πάντα απλή διαδικασία. Πολλές φορές, η διαδικασία συµπερασµού για τα αίτια που ο µαθητής επέλεξε συγκεκριµένες στρατηγικές εκφράζοντας τις µε συγκεκριµένες ενέργειες σε συγκεκριµένα στιγµιότυπα του διαλόγου αποδεικνύεται δύσκολη. Χρησιµοποιώντας την ευρετική αξιολόγηση για εκτίµηση της ποιότητας της αλληλεπίδρασης, έχουµε µια πρώτη εκτίµηση για πιθανά προβλήµατα που µπορούν να αντιµετωπίσουν οι µαθητές στην αλληλεπίδρασή τους µε το ΑΠΜ και µια εξήγηση για πιθανή υιοθέτηση συγκεκριµένων στρατηγικών σε βάρος κάποιων άλλων. Στο σηµείο αυτό θα πρέπει να τονιστεί ότι σε περιβάλλοντα τέτοιου τύπου µια αξιολόγηση βασισµένη µόνο σε µεθόδους που εµπλέκουν ειδικούς θα ήταν παρακινδυνευµένη καθώς η εξωτερίκευση των επιδιωκόµενων στόχων από τους χρήστες γίνεται µε πληθώρα συχνά απροσδόκητων τρόπων. Όµως και σε αυτά τα περιβάλλοντα, η χρησιµότητα της µεθόδου στην αξιολόγηση σηµαντικών χαρακτηριστικών που επηρεάζουν την ποιότητα της διεπιφάνειας, όπως η χρήση κατανοητών µηνυµάτων στους διαλόγους, η κατάλληλη χρήση µεταφορών κλπ., διευκολύνοντας τη διαδικασία συµπερασµού για πιθανές αποκλίσεις στην αλληλεπίδραση είναι σηµαντική. Για παράδειγµα, αν εντοπιστεί λανθασµένη χρήση ενός εργαλείου είναι σηµαντικά ευκολότερο να γίνουν υποθέσεις για τα αίτια του προβλήµατος µε βάση το µοντέλο αλληλεπίδρασης του Norman (1993). Τέτοιο λάθος µπορεί να λάβει χώρα είτε λόγω του λεγόµενου χάσµατος εκτίµησης (gulf of evaluation) το οποίο πιθανότατα οφείλεται σε λάθος εκτίµηση στοιχείων της διεπιφάνειας ή λανθασµένη εκτίµηση γνωστικών εννοιών, είτε λόγω του σφάλµατος εκτέλεσης (gulf of execution, το οποίο πιθανότατα οφείλεται σε διαφορετικές προσδοκίες από την πλευρά του µαθητή για το τρόπο εκτέλεσης συγκεκριµένων ενεργειών). Παράλληλα, η σχετικά περιορισµένη προσπάθεια που απαιτείται για την διεκπεραίωσή της και η εφαρµοσιµότητά της ακόµα και σε πρώιµα στάδια της διαδικασίας σχεδιασµού και ανάπτυξης, βελτιώνουν τις προοπτικές εφαρµογής του πλαισίου καθώς η µοντελοποίηση της αλληλεπίδρασης δεν είναι τόσο ισχυρή στο να αναγνωρίσει προβλήµατα στο σχεδιασµό της διεπιφάνειας. ιδακτορική διατριβή. Σελίδα 129

136 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Αξιολόγηση πεδίου Στη φάση αυτή του προτεινόµενου πλαισίου, πρωταρχικές εκδόσεις του ΑΠΜ τίθενται σε χρήση από αντιπροσωπευτικούς χρήστες- µαθητές. Η παρατήρησή τους µε εξοµοιωµένες πραγµατικές συνθήκες χρήσης, παρέχει σηµαντική ανάδραση σχετικά µε τις πραγµατικές ανάγκες των χρηστών. Είναι συνηθισµένο φαινόµενο οι αρχικές παραδοχές σχετικά µε το πως οι χρήστες αλληλεπιδρούν µε ένα σύστηµα να βασίζονται σε υποθέσεις και θεωρήσεις που να µην αποδεικνύονται έγκυρες στη πράξη. Σύµφωνα µε τον Orhun (1995), η αποτελεσµατική επικοινωνία µεταξύ χρήστη και σχεδιαστή έχει ανάγκη µηχανισµών που επιτρέπουν την προσαρµογή των αρχικών υποθέσεων. Η σαφής αναπαράσταση του DTM και ο αναστοχασµός πάνω σε αυτό είναι σηµαντικό εργαλείο υλοποίησης της διαδικασίας αυτής. Στην περίπτωσή µας, η αξιολόγηση πεδίου επιτρέπει τη συλλογή δεδοµένων από την παρατήρηση των χρηστών και οδηγεί τη διαδικασία κατασκευής µοντέλων εργασιών µαθητών όπως θα δούµε πιο αναλυτικά στη συνέχεια. Η αξιολόγηση πεδίου µπορεί εναλλακτικά να λάβει χώρα τόσο σε εργαστήριο αξιολόγησης ευχρηστίας όσο και σε τυπικό περιβάλλον διδασκαλίας (αίθουσα µάθησης). Οι συµµετέχοντες στο πείραµα θα πρέπει να είναι αντιπροσωπευτικοί χρήστες σε σχέση µε τους υποψήφιους χρήστες της τελικής έκδοσης. Στους χρήστες δίνεται µια κατάλληλη οµάδα αντιπροσωπευτικών προβληµάτων να επιτελέσουν στο σύστηµα σε σχέση µε την αναµενόµενη τυπική χρήση του συστήµατος. Η συµπεριφορά τους παρατηρείται συστηµατικά και καταγράφονται δεδοµένα της αλληλεπίδρασης, τα οποία µπορούν να είναι παρατηρήσεις από τους υπεύθυνους διεξαγωγής του πειράµατος, αρχεία πληκτρολογήσεων και εν γένει καταγεγραµµένων πληκτρολογήσεων στο χαµηλό επίπεδο της αλληλεπίδρασης, στιγµιότυπα χρήσης των ΑΠΜ, καθώς και αρχεία video µε καταγεγραµµένες συνεδρίες χρήσης. Το προτεινόµενο πλαίσιο δύναται να εφαρµοστεί αποτελεσµατικά και σε περίπτωση που η διεξαγωγή της ανάλυσης γίνει χωρίς την απ ευθείας συµµετοχή των αξιολογητών ευχρηστίας στην παρατήρηση πεδίου. Στη περίπτωση αυτή µε την αποκοµιδή των δεδοµένων της παρατήρησης, η µοντελοποίηση των χρηστών λαµβάνει χώρα µε αναγνώριση των υψηλότερων ιεραρχικά στόχων από τα αρχεία πληκτρολογήσεων. Παρ ότι η διαδικασία αυτή έχει σχετικά υψηλότερο δείκτη δυσκολίας σε σχέση µε την απ ευθείας παρατήρηση τα αποτελέσµατά της είναι ικανοποιητικά όπως φαίνεται και από το πείραµα που περιγράφεται στο κεφάλαιο 5. Σελίδα 130 ιδακτορική διατριβή

137 ΚΕΦΑΛΑΙΟ 4 Η διαδικασία αυτή υποστηρίζεται από ένα εργαλείο που αναπτύχθηκε για τον σκοπό αυτό, τον Αναλυτή Ευχρηστίας (Usability Analyzer) (Kordaki et al., 2000) και µιας µεθόδου αυτόµατης αναγνώρισης στρατηγικών από χαµηλού επιπέδου πληκτρολογήσεις µε τη χρήση µιας πιθανοτικής µεθόδου, των δικτύων Bayes (Tselios et al., 2001a) που περιγράφεται αναλυτικά στο κεφάλαιο 6. Ένα ακόµη σηµαντικό ερώτηµα που χρήζει απαντήσεως είναι πόσοι χρήστες θα πρέπει να συµµετέχουν στην παρατήρηση πεδίου προκειµένου να υπάρχει ικανός αριθµός δεδοµένων που να οδηγήσει στη σαφή κατανόηση των δυσχερειών που αντιµετωπίζουν οι χρήστες. Σύµφωνα µε τον Nielsen (1994), µια αξιολόγηση πεδίου µε πέντε χρήστες αποκαλύπτει συνήθως περί το 80% των προβληµάτων της διεπιφάνειας. Η διαπίστωση αυτή, που προέκυψε αρχικά πάνω σε µελέτες για την αξιοπιστία της µεθόδου της ευρετικής αξιολόγησης επαληθεύτηκε σε σηµαντικό αριθµό πειραµάτων οδηγώντας τους Nielsen και Landauer (1993) στη µαθηµατική διατύπωση της (5.1): Αριθµός Προβληµάτων(i) = N(1 - (1-l) i ) (5.1) όπου ο Αριθµός Προβληµάτων(i) υποδηλώνει τον αριθµό προβληµάτων ευχρηστίας που προκύπτουν από παρατήρηση i χρηστών, το N υποδηλώνει τον αριθµό των εν δυνάµει σφαλµάτων ευχρηστίας του συστήµατος, και το l υποδηλώνει την αναλογία των προβληµάτων ευχρηστία που προκύπτουν από ένα χρήστη. Οι τιµές του l στις µελέτες των Nielsen και Landauer κυµαίνονται από 0.19 ως 0.51 µε µια µέση τιµή 0.34 και οι τιµές του N κυµαίνονται από 16 ως 50 µε ένα µέσο 33. Σύµφωνα µε την (5.1) για τις µέσες τιµές, το ποσοστό λαθών που αναγνωρίζεται = Αριθµός Προβληµάτων(i)/N ισούται µε 87,4% για 5 χρήστες. Για τη χειρότερη περίπτωση ( l=0.19) το ποσοστό των λαθών προκύπτει 65,1 %. Με τη διαδικασία αυτή, για κάθε µαθητή, κατασκευάζονται n=t*s µοντέλα εργασιών, όπου t ο αριθµός των υψηλού επιπέδου στόχων που δίδονται και s ο αριθµός των διαφορετικών στρατηγικών που πιθανά χρησιµοποίησε ο µαθητής για να λύσει ένα πρόβληµα. Τα µοντέλα αυτά µπορούν να δώσουν σηµαντική ανάδραση για τον τρόπο που οι µαθητές αντιλαµβάνονται το σύστηµα και να αξιοποιηθούν ποικιλοτρόπως µε τη χρήση του εργαλείου CMT. ιδακτορική διατριβή. Σελίδα 131

138 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Κατασκευή µοντέλων µαθητή (STM) και βελτίωση DTM Οι παρατηρούµενες διαφοροποιήσεις της αλληλεπίδρασης των µαθητών που παρατηρήθηκαν στη διαδικασία αξιολόγησης πεδίου, διαµορφώνονται και ανασυντίθενται στο επίπεδο εργασιών, στη φάση αυτή µέσα από τη διαδικασία κατασκευής µοντέλων µαθητή. Παρατηρούµενα σφάλµατα καταχωρούνται στο µοντέλο αλληλεπίδρασης στη συγκεκριµένη εργασία που λαµβάνει χώρα και η περιγραφή του προβλήµατος καταχωρείται στην εργασία αυτή. Νέες πρωτότυπες προσεγγίσεις για την επίτευξη δοθέντος στόχου προστίθενται επαυξητικά στο αρχικό µοντέλο σχεδιαστή. Ακόµα και προσεγγίσεις που οφείλονται σε λάθος κατανόηση συγκεκριµένων γνωστικών εννοιών καταγράφονται στα µοντέλα STM, αφού αποτελούν σηµαντικό κοµµάτι της διαδικασίας προσωπικής κατασκευής γνώσης. Η διαδικασία διαχωρισµού σφαλµάτων στις καταγεγγραφείσες στρατηγικές, σε σφάλµατα λόγω έλλειψη κατανόησης του αντικειµένου ή σε σφάλµατα που οφείλονται σε διαφορετικές προσδοκίες για τον τρόπο αλληλεπίδρασης από τη µεριά του χρήστη υποβοηθείται σηµαντικά από την προηγηθείσα ανάλυση της ευρετικής αξιολόγησης που περιγράφεται στην ενότητα Ο αξιολογητής έχοντας την συνεκτική εικόνα των STM που κατασκεύασε µπορεί να αναγνωρίσει τις αποκλίσεις σε σχέση µε το αρχικό µοντέλο σχεδιαστή και να αµβλύνει το χάσµα µε αυτό. Μπορεί επίσης να αναγνωρίσει προβλήµατα συνέπειας και συνέχειας στο µοντέλο της αλληλεπίδρασης. Παράλληλα το DTM επεκτείνεται µε βάση τις απροσδόκητες χρήσεις του συστήµατος όπως αυτές αναγνωρίσθηκαν από την παρατήρηση πεδίου. Παράλληλα, µπορεί να προσαρµόσει τις εργασίες µε τέτοιο τρόπο που να προάγουν την απ ευθείας αλληλεπίδραση µε έννοιες του γνωστικού πεδίου ώστε να προάγει τη βαθύτερη κατανόηση τους. Η διαδικασία αυτή µπορεί να υποβοηθήσει σηµαντικά µια επαναληπτική µέθοδο σχεδιασµού όπως φαίνεται στην Εικόνα Εργαλεία για την υποβοήθηση του πλαισίου αξιολόγησης. Η σηµαντική προσπάθεια που απαιτείται για την κατασκευή και συντήρηση ενός µοντέλου εργασιών, καθώς και η έλλειψη εργαλείων για την αυτόµατη ή ηµιαυτόµατη κατασκευή τους είναι ένας από τους σηµαντικούς λόγους της έλλειψης Σελίδα 132 ιδακτορική διατριβή

139 ΚΕΦΑΛΑΙΟ 4 διάδοσης της µοντελοποίησης εργασιών (Kieras, 1996). Η διαπίστωση αυτή οδήγησε στην κατασκευή εργαλείων που θα υποστηρίζουν το προτεινόµενο πλαίσιο αξιολόγησης. Τα εργαλεία αυτά είναι: Εικόνα 4.3. Εργαλείο γνωστικής µοντελοποίησης. (Cognitive Modeling Tool ): Ο χώρος κατασκευής των ιεραρχικών µοντέλων Εργαλείο γνωστικής µοντελοποίησης, Cognitive Modeling Tool (CMT) α) Βασικές λειτουργίες Το εργαλείο CMT κατασκευάστηκε µε τη χρήση της αντικειµενοστραφούς γλώσσας προγραµµατισµού υψηλού επιπέδου Visual Basic 6 και χρήση κλήσεων χαµηλού επιπέδου βιβλιοθηκών Win32, για την απλοποίηση της διαδικασίας κατασκευής µοντέλων. ιαγράµµατα UML του εργαλείου παρουσιάζονται στο Παράρτηµα Β. Τα µοντέλα εργασιών κατασκευάζονται µε ιεραρχικό τρόπο, όπως φαίνεται στην Εικόνα 4.2. Ο χρήστης του CMT µπορεί µε τη χρήση στυλ απ ευθείας αλληλεπίδρασης να διαχειριστεί την ιεραρχική δοµή για να επιµεληθεί, να τροποποιήσει και να κατασκευάσει το ιεραρχικό δένδρο, προσθέτοντας κόµβους που περιγράφουν εργασίες µε τις επιθυµητές διασυνδέσεις. Κάθε κόµβος συνδέεται µε το υψηλότερο ιεραρχικό στόχο του οποίου αποτελεί εργασία. Οι εργασίες συσχετίζονται χρονικά µε τη χρήση πλάνων, τα οποία επίσης κατασκευάζονται και διαχειρίζονται ιδακτορική διατριβή. Σελίδα 133

140 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης απ ευθείας στο χώρο κατασκευής ιεραρχικών µοντέλων. Η παρουσίαση της ιεραρχικής δοµής υποστηρίζεται από εργαλεία αυτόµατης ευθυγράµµισης κόµβων που βρίσκονται στο ίδιο επίπεδο στον οριζόντιο και κάθετο άξονα. Ο φορµαλισµός που χρησιµοποιείται για την κατασκευή των πλάνων και οι συγκεκριµένοι τελεστές περιγράφονται αναλυτικά στην ενότητα Τα πλάνα αυτά εµφανίζονται κοντά στη εργασία που αφορούν. Σε κάθε κόµβο, µπορεί να προστεθεί πληροφορία, όπως σχόλια σχετικά µε το βαθµό που επιτελέστηκε, τη φύση του προβλήµατος που αναγνωρίσθηκε, το οποίο και αναπαρίσταται γραφικά, καθώς επίσης και να συσχετισθεί µε το εργαλείο ή το αντικείµενο της διεπιφάνειας το οποίο χρησιµοποιήθηκε για να περατωθεί η εργασία και τον απαιτούµενο χρόνο εκτέλεσης της εργασίας. Επίσης, η διαδικασία καθορισµού ονόµατος και εισαγωγής σχολίων για κάθε εργασία υποστηρίζεται από λειτουργίες αυτόµατης συµπλήρωσης, καθώς και έλεγχο ορθογραφίας για την επιτάχυνσή της. Τα χαρακτηριστικά αυτά δίνουν σηµαντικές δυνατότητες ανάλυσης µετά τη διαδικασία µοντελοποίησης. Για παράδειγµα, προβλήµατα που σχετίζονται µε τη χρήση συγκεκριµένων εργαλείων µπορούν να οµαδοποιηθούν αυτόµατα καθώς επίσης να προστεθούν νέοι άξονες αξιολόγησης όπως η ανακάλυψη διαφορετικών στυλ αλληλεπίδρασης ανάλογα µε τα χαρακτηριστικά των µαθητών χρηστών κατά ηλικία φύλλο η άλλα χαρακτηριστικά όπως σχετική εµπειρία στη χρήση υπολογιστών κλπ. Τα µοντέλα εργασιών αποθηκεύονται σε σχεσιακή βάση δεδοµένων µαζί µε πρόσθετη πληροφορία για αυτά (π.χ. πληροφορία για το αν αφορά σε µοντέλα σχεδιαστή ή µαθητή και σε ποια έκδοση είναι). Επίσης διάφορες ποσοτικές µετρικές µπορούν να εξαχθούν όπως ο χρόνος εκτέλεσης κάποιας εργασίας, το πλήθος των επιµέρους εργασιών στις οποίες επιµερίζεται κάποια εργασία, ο αριθµός των επιπέδων που συνθέτουν το µοντέλο και ο αριθµός των χαµηλού επιπέδου ενεργειών που απαιτούνται τόσο σε απόλυτες τιµές όσο και µε βάση το αρχικό µοντέλο σχεδιαστή. Καθώς ένα από τα σηµαντικότερα πλεονεκτήµατα της µοντελοποίησης εργασιών είναι η περιγραφική ισχύς των µοντέλων, το CMT υποστηρίζει διαφορετικούς τύπους αναπαραστάσεων τόσο γραφικού τύπου που µπορεί να εξαχθεί αυτόµατα ως αρχείο εικόνας, όσο και σειριακής σε µορφή απλού αρχείου κειµένου. Επίσης υποστηρίζεται λειτουργία αυτόµατης κατασκευής αναφοράς µε την περιγραφή του µοντέλου και των προβληµάτων που αναγνωρίσθηκαν σε αυτό. Σελίδα 134 ιδακτορική διατριβή

141 ΚΕΦΑΛΑΙΟ 4 Κατά τη διάρκεια κατασκευής ενός µοντέλου εργασιών µαθητή, το εργαλείο υποστηρίζει την παράθεση του σχετικού αρχείου πληκτρολογήσεων. Έτσι, η συµπλήρωση του µοντέλου στο χαµηλό επίπεδο αλληλεπίδρασης, όπου λαµβάνει χώρα χρήση συσκευών εισόδου µπορεί να διευκολυνθεί σηµαντικά σύροντας και αφήνοντας τέτοιες καταγεγραµµένες ενέργειες στο χώρο κατασκευής µοντέλων, οπότε και αυτόµατα κατασκευάζεται ένας κόµβος µε τα περιγραφικά χαρακτηριστικά της ενέργειας αυτής. Εικόνα 4.4 CMT: Λειτουργία συνοπτικής παρουσίασης προβληµάτων και χρήσης εργαλείων και οπτικής κατασκευής ερωτηµάτων (VQC) Visual Query Construction environment. β) Ανάλυση VQC Μια καινοτοµική λειτουργία του CMT, σε σχέση µε άλλα εργαλεία που υποβοηθά σηµαντικά την αποτελεσµατικότητα του πλαισίου, είναι η δυνατότητα αυτόµατης σύνθεσης δοµών εργασιών που έχουν αποθηκευθεί ήδη στη σχεσιακή βάση του εργαλείου. Χρησιµοποιώντας τη δυνατότητα αυτή, διάφορες δοµές που περιέχουν υποστόχους µπορούν να συνδυασθούν στη διάρκεια κατασκευής ενός µοντέλου στα πλαίσια κάποιας µελέτης. ιδακτορική διατριβή. Σελίδα 135

142 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Παράλληλα µε την αποθήκευση των µοντέλων, το CMT επιτρέπει την καταχώρηση χαρακτηριστικών των µαθητών που συµµετέχουν στο πλαίσιο της έρευνας, όπως ηλικία, φύλλο, επίδοση, επιτρέποντας περαιτέρω ανάλυση µε βάση τα χαρακτηριστικά αυτά. Αυτό είναι δυνατόν µέσω µιας καινοτόµου λειτουργίας, της οπτικής κατασκευής ερωτηµάτων (Visual Query Construction environment-vqc). Στιγµιότυπο της λειτουργίας αυτής φαίνεται στην Εικόνα 4.4 όπου µε γραφικό τρόπο ο χρήστης επιλέγει να εστιάσει την ανάλυση σε οποιοδήποτε µερικό υποσύνολο των κάτωθι 5 χαρακτηριστικών: i) γενικοί υψηλού επιπέδου στόχοι, ii) χρήστες, iii) συγκεκριµένες στρατηγικές για να επιτελεσθεί ένας στόχος, iv) χρήση εργαλείων της διεπιφάνειας και v) προβλήµατα ευχρηστίας και αποκλίσεις που προέκυψαν από την ανάλυση της αλληλεπίδρασης. Έτσι, η διαδικασία µοντελοποίησης µπορεί να αναλυθεί µε έµφαση σε οποιοδήποτε χαρακτηριστικό από τα παραπάνω. Για παράδειγµα είναι δυνατές οι αναλύσεις του τύπου «Απεικόνισε όλα τα προβλήµατα που έχουν σχέση µε το εργαλείο Χ» ή «Εµφάνισε τη συχνότητα χρήσης συγκεκριµένων εργαλείων για δοθέν υψηλό στόχο Υ» ή να επιτρέψει ανάλυση συγκριτικά µε τη χρήση των εργαλείων και των αποκλίσεων που εµφανίστηκαν σε προβλήµατα µεταξύ αγοριών και κοριτσιών. Η ανάλυση του διαφορετικού τρόπου που προσεγγίζουν τα εκπαιδευτικά ερωτήµατα µαθητές διαφορετικού φύλου είναι ένα από τα σηµαντικά εκπαιδευτικά ερωτήµατα (Inkpen, 1997) και το εργαλείο αυτό προτείνει έναν τρόπο προσέγγισής του. Η δυνατότητα ανάλυσης που προσφέρει το VQC µπορεί να συνεισφέρει και στην αξιολόγηση της εκπαιδευτικής διαδικασίας, αφού αποτελεί ένα εργαλείο επιθεώρησης της πορείας µάθησης των µαθητών. Ειδικοί του γνωστικού πεδίου µπορούν να εξάγουν σηµαντικά συµπεράσµατα σχετικά µε την ποιότητα της εκπαιδευτικής διαδικασίας αναγνωρίζοντας τους τρόπους µε τους οποίους προσεγγίστηκαν συγκεκριµένα προβλήµατα. Οι διαφορετικές προσεγγίσεις εκφράζονται τόσο µε τη χρήση διαφορετικών εργαλείων της διεπιφάνειας όσο και µε την εµφάνιση ποικίλων στρατηγικών για την επίλυση ενός προβλήµατος. Σελίδα 136 ιδακτορική διατριβή

143 ΚΕΦΑΛΑΙΟ 4 Η διαδικασία ανάλυσης µέσω του VQC µπορεί να υποβοηθήσει σηµαντικά την απόφαση για το ποια από τα προβλήµατα είναι απαραίτητο να αντιµετωπιστούν κατά προτεραιότητα σε πιθανό επανασχεδιασµό του περιβάλλοντος. γ) Σύγκριση µε άλλα εργαλεία Ο αριθµός των εργαλείων που υποστηρίζουν την κατασκευή µοντέλων εργασιών και είναι διαθέσιµα για χρήση είναι πολύ µικρός. Τέτοια είναι το concurtasktrees builder (Paterno and Mancini, 2000) και το Euterpe για GroupwareTaskAnalysis (Van Welie et al., 1998). Τα εργαλεία αυτά είναι ισχυρά και υποστηρίζουν πληθώρα λειτουργιών, αλλά η εφαρµοσιµότητα τους στο δοθέν πλαίσιο για αξιολόγηση ευχρηστίας εκπαιδευτικού λογισµικού είναι σχετικά περιορισµένη. Η ConcurTaskTrees αποτελεί µια περιγραφική σηµειωτική αναπαράσταση που χρησιµοποιεί µια ιεραρχική δοµή µε ένα σηµαντικό αριθµό τελεστών για να απεικονίσει τις χρονικές σχέσεις στις στοιχειώδεις εργασίες µε στόχο να περιγράψει διαλόγους υψηλής αλληλεπίδρασης όπου εργασίες που εκτελούνται παράλληλα είναι ένα συχνό φαινόµενο. Οι τελεστές αυτοί εισάγονται απ ευθείας στη γραφική αναπαράσταση του µοντέλου συνδέοντας στοιχειώδεις εργασίες αντί της χρήσης πλάνου που προτείνει η HTA. Το εργαλείο ConcurTaskTreesTool, παρέχει ισχυρές λειτουργίες διαχείρισης της ιεραρχικής δοµής του µοντέλου και χρήσιµα στατιστικά όπως ο αριθµός των επιπέδων της δοµής και αριθµό στοιχειωδών εργασιών πέρα από το στοιχειώδες µοντέλο. Λόγω της έµφασης σε τελεστές χρονικών συσχετίσεων η αναπαράσταση Concurtasktrees θεωρείται κατάλληλη να περιγράψει συνεργατικές εργασίες. Το Euterpe είναι βασισµένο σε µια οντολογία για την περιγραφή του στοιχειώδους κόσµου µε έναν δοµηµένο τρόπο την Groupware Task Analysis (GTA). Η GTA, είναι µια µέθοδος στοιχειώδους ανάλυσης που προορίζεται για τη διαµόρφωση των σύνθετων περιβαλλόντων όπου πολλοί άνθρωποι αλληλεπιδρούν µε διαλογικά συστήµατα. Το Εuterpe υποβοηθά τη διαδικασία κατασκευής µοντέλων, τις και άλλες έννοιες της GTA όπως γεγονότα και οι ρόλοι των χρηστών στο συνεργατικό περιβάλλον. Ειδικά πρότυπα επιτρέπουν την καταγραφή αναλυτικών πληροφοριών και των προσδιορισµό τους και αρχεία πολυµέσων µπορούν να συνδεθούν µε τις έννοιες για να διευκρινίσουν τη φύση τους. Το Euterpe υποστηρίζει δηµιουργία εκθέσεων σε αρχείο κειµένου και HTML. ιδακτορική διατριβή. Σελίδα 137

144 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Πέρα από τις διαφοροποιήσεις στη σηµειωτική αναπαράσταση που χρησιµοποιείται για την ιεραρχική δόµηση των εργασιών, υπάρχουν κάποιες σηµαντικές διαφοροποιήσεις σε σχέση µε το CMT. Οι ως άνω τεχνικές χρησιµοποιούνται για περιγραφικό σκοπό, ενώ η προτεινόµενη µέθοδος πέρα από τη περιγραφική ισχύ της χρησιµοποιείται και για αξιολόγηση, ενσωµατώνοντας στις εργασίες, αποκλίσεις και σφάλµατα, τα οποία εντοπίζονται στην αξιολόγηση πεδίου και σε σύγκριση µε την αρχική. Παράλληλα, τα εργαλεία αυτά προσφέρουν σηµαντικές δυνατότητες κατασκευής µοντέλων, δεν επιτρέπουν όµως την συνολική θεώρηση πολλαπλών µοντέλων και σε διαφορετικούς άξονες, µια λειτουργικότητα η οποία κατασκευάστηκε µέσα από την ανάγκη ανάλυσης των ΑΠΜ σε πολλαπλούς άξονες. Τέλος, το χαρακτηριστικό της αυτόµατης σύνθεσης µοντέλων από προηγούµενα µοντέλα αποτελεί µια καινοτοµία του CMT σε σχέση µε τα προαναφερθέντα Άλλα εργαλεία ανάλυσης: Αναλυτής ευχρηστίας Ένα επιπρόσθετο εργαλείο που κατασκευάσθηκε για να υποστηρίξει το προτεινόµενο πλαίσιο είναι ο αναλυτής ευχρηστίας (Usability Analyser-UA). στιγµιότυπο του οποίου φαίνεται στην Εικόνα 4.5. Ο αναλυτής ευχρηστίας κατασκευάστηκε µε τη χρήση της αντικειµενοστραφούς γλώσσας προγραµµατισµού υψηλού επιπέδου Visual Basic 6 και µε τη χρήση κλήσεων χαµηλού επιπέδου βιβλιοθηκών Win32 και υποστηρίζει τη διαδικασία επιθεώρησης και ανάλυσης του χαµηλού επιπέδου πληκτρολογήσεων. Αποτελείται από σαρωτή αρχείων χαµηλού επιπέδου πληκτρολογήσεων που µετατρέπει δυσνόητες ακολουθίες πληκτρολογήσεων κινήσεις ποντικιού και άλλων χαµηλών γεγονότων αλληλεπίδρασης σε ευκολονόητες περιγραφές. Αυτό επιτυγχάνεται µέσω ενός πίνακα αντιστοιχήσεων των προσφερόµενων λειτουργιών µε αντίστοιχες ενέργειες. Επιπροσθέτως τα στιγµιότυπα οθονών που καταγράφονται κατά τη διάρκεια της αλληλεπίδρασης του µαθητή µε το ΑΠΜ εµφανίζονται παράλληλα επεκτείνοντας την ανιχνευσιµότητα της καταγεγραµµένης αλληλεπίδρασης στη διεπιφάνεια χρήσης. Παράλληλα, σχόλια που έχουν καταγραφεί από τους υπεύθυνους διεξαγωγής του πειράµατος εµφανίζονται παράλληλα µε την επιλεχθείσα συνεδρία χρήσης. Επιπροσθέτως, το UA µπορεί να σαρώσει µαζικά όλα τα αρχεία πληκτρολογήσεων και να αποθηκεύσει χρήσιµη πληροφορία σε σχεσιακή βάση δεδοµένων σχετικά µε τα Σελίδα 138 ιδακτορική διατριβή

145 ΚΕΦΑΛΑΙΟ 4 συλλεχθέντα δεδοµένα, που περιέχει πληροφορία όπως είναι ο αριθµός ενεργειών, η συχνότητα εµφάνισης συγκεκριµένων ακολουθιών ενεργειών και δεδοµένα όπως χρόνος εκτέλεσης εργασίας και συχνότητα εµφάνισης συγκεκριµένων ενεργειών. Τα δεδοµένα µπορούν να παρουσιαστούν είτε µε τη χρήση πινάκων, είτε µε τη µορφή γραφηµάτων ή µε τη µορφή δοµηµένων αναφορών κειµένου. Το εργαλείο υποστηρίζει σηµαντικά τη διαδικασία ανασύνθεσης υψηλότερου επιπέδου εργασιών από το χαµηλό επίπεδο. Εικόνα 4.5 Αναλυτής ευχρηστίας (Usability Analyzer): Στο αριστερό τµήµα της διεπιφάνειας παρουσιάζεται ένα αρχείο πληκτρολογήσεων µαθητή. Στο κεντρικό παράθυρο παρουσιάζεται στιγµιότυπο από την αλληλεπίδραση του χρήστη µε ΑΠΜ. Στο κάτω µέρος της οθόνης παρουσιάζονται τα σχόλια που τυχόν έχουν καταχωρήσει οι υπεύθυνοι διεξαγωγής του πειράµατος. Ο αναλυτής ευχρηστίας διαθέτει και ένα δεύτερο άρθρωµα, που υποστηρίζει την ανάλυση µαγνητοσκοπηµένων συνεδριών δοκιµής ευχρηστίας (Εικόνα 4.6). Στο άρθρωµα αυτό επιτρέπεται η προβολή της µαγνητοσκοπηµένης συνεδρίας µε ταυτόχρονη προβολή καταγεγραµµένων αρχείων πληκτρολογήσεων που έχουν συλλεχθεί από τη δοκιµή ευχρηστίας. Η αναπαραγωγή του µαγνητοσκοπηµένου αρχείου µπορεί να γίνει από οιοδήποτε σηµείο του, ενώ επιτρέπεται η µεταβολή του ρυθµού προβολής του, επιτρέποντας την προσεκτικότερη µελέτη σε σηµεία όπου παρουσιάζεται υψηλή συχνότητα γεγονότων αλληλεπίδρασης. Επιπλέον, παρέχεται λειτουργία χρονικής εξισορρόπησης (offset) της µαγνητοσκόπησης και του αρχείου ιδακτορική διατριβή. Σελίδα 139

146 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης πληκτρολογήσεων, που επιτρέπει την µετάβαση στο ακριβές σηµείο που λαµβάνει χώρα γεγονός αλληλεπίδρασης που χρήζει µελέτης. Τέλος, επιτρέπει την καταχώρηση και αποθήκευση σχολίων σχετικές µε τις παρατηρηθείσες ενέργειες του χρήστη. Εικόνα 4.6 Άρθρωµα ανάλυσης µαγνητοσκοπηµένης συνεδρίας δοκιµής ευχρηστίας του Αναλυτή Ευχρηστίας (Usability Analyzer): Στο αριστερό µέρος παρουσιάζεται το µαγνητοσκοπηµένο αρχείο. Στο δεξιό τµήµα της διεπιφάνειας παρουσιάζεται το αντίστοιχο αρχείο πληκτρολογήσεων του µαθητή. 4.6 Συµπεράσµατα Στο κεφάλαιο αυτό αναπτύχθηκε ένα πλαίσιο, υποστηριζόµενο από εργαλεία, για την αξιολόγηση ανοικτών περιβαλλόντων µάθησης. Το πλαίσιο αυτό παρουσιάζει πρωτοτυπία τόσο στο σκέλος της προτεινόµενης έµφασης στην αξιολόγηση των εργασιών που διέπουν τη διεπιφάνεια χρήσης ενός ΑΠΜ, όσο και στην προτεινόµενη ανάλυση εργασιών. Η µέθοδος αυτή χρησιµοποιεί ειδικές σηµειωτικές αναπαραστάσεις για την καταγραφή σφαλµάτων σε εργασίες, ελαστικούς και περιγραφικούς όρους για τη σύνταξη πλάνων που ορίζουν τους όρους εκτέλεσης των εργασιών και συνδέει χαµηλού επιπέδου ενέργειες µε τα χρησιµοποιούµενα εργαλεία της διεπιφάνειας χρήσης. Σελίδα 140 ιδακτορική διατριβή

147 ΚΕΦΑΛΑΙΟ 4 Αναπτύχθηκε, επίσης, εργαλείο που υποστηρίζει την κατασκευή, µορφοποίηση και αποθήκευση µοντέλων ανάλυσης εργασιών µε οπτικό τρόπο (CMT). Στο εργαλείο αυτό παρέχονται λειτουργίες αυτόµατης ανάλυσης των µοντέλων σε πέντε συνιστώσες -στόχοι, χρήστες, στρατηγικές, εργαλεία της διεπιφάνειας και καταγεγραµµένα προβλήµατα ευχρηστίας- καθώς και δυνατότητα αυτόµατης κατασκευής αναφορών σχετικών µε τις αναλύσεις αυτές. Επίσης, αναπτύχθηκε συµπληρωµατικό εργαλείο για τη συλλογή και ανάλυση δεδοµένων από παρατηρήσεις πεδίου ή δοκιµών ευχρηστίας, όπως χαµηλού επιπέδου καταγεγραµµένων γεγονότων αλληλεπίδρασης, στιγµιότυπα οθονών διεπιφάνειας χρήσης και µαγνητοσκοπηµένες συνεδρίες. Η συστηµατική χρήση του πλαισίου αξιολόγησης περιγράφεται στο επόµενο κεφάλαιο. ιδακτορική διατριβή. Σελίδα 141

148 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης 4.7 Βιβλιογραφία Diaper, D. (1989). Task analysis and systems analysis for software development. Interacting with computers, 4(1), pp Dimitracopoulou, A. (2001). Design issues in Learning Environments for young students: The importance and the limits of general usability criteria. In Avouris N. and Fakotakis N. (eds.) Advances in Human Computer Interaction I. Typorama Publ. Proceedings of Panhellenic conference with international participation, December , Patras, Greece. Dimitrakopoulou, A., Komis, V., Aposotolopoulos, P., Politis, P. (1999). Design principles of a new modelling environment for young students, AI-ED Proc, 9th Int. Conf. on AI in Education, Le Mans, France. Dix A., Finley J., Abowd G., Beale A. (1998). Human-Computer Interaction, Prentice Hall, Edmondson, K.A. and Simone, H.A. (1994). Putting Task Analysis into context. SIGCHI Bulletin, vol 26, no.4, pp Foley, J.D., van Dam, A., Feiner, S.K., Hughes, J.F. (1990). Computer Graphics: Principles and Practice (2 nd edition), Addison-Wesley, Reading MA, Hoyles, C. (1993). Microworlds/ schoolworlds: The transformation of an innovation. In C. Keitel and K. Ruthven (Eds.), Learning from computers: Mathematics Educational Technology (pp.1-17). Berlin: Springer-Verlag. Inkpen K. (1997). Three Important Research Agendas for Educational Multimedia: Learning, Children, and Gender. AACE World Conference on Educational Multimedia and Hypermedia 97, Calgary, AB, June 1997, pp Jeffries, R. (1997). The Role of Task Analysis in the Design of Software. In Helander, M., Landauer, T.K., Prabhu, P. (Eds.), Handbook of Human-Computer Interaction (pp ). Amsterdam: Elsevier Science B.V. John, B. and Kieras, D. (1996). The GOMS family of user interface analysis techniques: Comparison and contrast, ACM Transactions on Computer-Human Interaction 3(4), pp Jonassen, D. H. (1994). Thinking technology: Toward a constructivist design model. Educational Technology, 34 (3), Σελίδα 142 ιδακτορική διατριβή

149 ΚΕΦΑΛΑΙΟ 4 Jonassen, D., Mayes, T., McAleese, R. (1993). A manifesto for a constructivist approach to uses of technology in higher education. In Duffy, T.M., Lowyck, J., Jonassen, D.H. (1993). Designing Environments for Constructive Learning (vol. 105, pp ). Berlin: Springer-Verlag, NATO ASI Series, Series F: Computer and Systems sciences. Kieras, D. (1996). Task analysis and the design of functionality. CRC Handbook of Computer Science and Engineering, CRC Press. Kordaki, Μ., Avouris, Ν. M., Tselios, Ν. K. (2000). Tools and methodologies for evaluation of open learning environments. Proceedings of 2nd Panhellenic Conference with International Participation on Information and Telecommunication Technologies in Education, Patras, October 2000 (in Greek). Laborde, J.M. (1990). Cabri-Geometry [Software]. France: Universite de Grenoble. Mayes J. T., Fowler C. J. (1999). Learning Technology and Usability: A Framework for Understanding Courseware Usability and Educational Software Design. Interacting with Computers 1999 v.11 n.5 pp Nielsen J. (1993). Usability Engineering, Academic Press, London Nielsen, J., (1994) Usability inspection methods, in Nielsen J., Mark R.L. (eds.), Usability Inspection Methods, John Willey, New York, Nielsen, J., Landauer, T. K. (1993). A mathematical model of the findings of usability problems. Proceedings ACM/IFIP INTERCHI'93 Conference (Amsterdam, The Netherlands, April 24-29), pp Norman, D,.A (1986). Cognitive Engineering. In: Norman, D.A and Draper, S.W. (eds.) User Centered Systems Design, Lawrence Erlbaum. Papert, S., (1980). Mindstorms: Pupils, Computers, and Powerful Ideas. New York: Basic Books. Paterno, F. (1999). Model-based Design and Evaluation of Interactive Applications, Springer Verlag. Patterno F. and Mancini, C. (2000). Model-based design of Interactive Applications, ACM Intelligence, winter 2000, pp Sebillotte, S. (1988). Hierarchical Planning as a Method for Task-Analysis: the example of office task analysis. Behaviour and Information Technology 7(3), ιδακτορική διατριβή. Σελίδα 143

150 Μεθοδολογίες και εργαλεία αξιολόγησης ανοιχτών περιβαλλόντων µάθησης Shepherd, A. (1989). Analysis and training in information technology tasks. In D.Diaper (Ed.), Task Analysis for Human Computer Interaction (pp ). Chichester, England: Ellis Horwood. Soloway, E., Guzdial M., Hay, K.E. (1994). Learner-centered design: The challenge for HCI in the 21st century. Interactions, 1(2), 1994 pp Soloway, E., Jackson, S.L., Klein, J., Quintana, C., Reed, J., Spitulnik, J., Stratford, S.J., Studer, S., Eng, J., Scala, N. (1996), Learning theory in practice: case studies of learner-centered design. Proceedings of CHI'96: Human factors in Computing Systems, April 13-18, 1996, Vancouver, B.C., Canada. ACM Press, pp Tselios, N.Κ., Avouris, N.M., Kordaki M. (2001b). Student task modeling in design and evaluation of open-problem solving environments. Journal of Education and Information Technologies,(accepted for publication). Tselios, Ν.K., Maragoudakis, M., Avouris, Ν. M., Fakotakis, N., Kordaki, Μ. (2001a). Automatic diagnosis of student problem solving strategies using Bayesian Networks. 5th Panhellenic conference in mathematics and informatics in education, Thessaloniki,12-14 October van Welie, M., van der Veer, G.C., Eliens, A.(1998). Euterpe - Tool support for analyzing cooperative environments, Proceedings of the 9th European Conference on Cognitive Ergonomics, August 24-26, 1998, Limerick, Ireland. von Glasersfeld, E. (1987). Learning as a constructive activity. In C. Janvier (eds.), Problems of representation in teaching and learning of mathematics (pp.3-18). London: Lawrence Erlbaum. Σελίδα 144 ιδακτορική διατριβή

151 ΚΕΦΑΛΑΙΟ 5 Κεφάλαιο 5. Παραδείγµατα χρήσης πλαισίου αξιολόγησης ΑΠΜ Το κεφάλαιο αυτό παρουσιάζει δύο µελέτες περίπτωσης, όπου εφαρµόζεται το πλαίσιο αξιολόγησης Ανοιχτών Περιβαλλόντων Μάθησης που περιγράφεται στο κεφάλαιο 4. Στην πρώτη µελέτη το πλαίσιο αξιολόγησης παρουσιάζεται µέσα από την εµπειρία αξιολόγησης ενός ανοικτού περιβάλλοντος µάθησης και πειραµατισµού µε γεωµετρικές έννοιες που προορίζεται για τις πρώτες τάξεις του γυµνασίου, του C.AR.ME. Στη δεύτερη µελέτη, παρουσιάζεται η αξιολόγηση του ηµιουργού Μοντέλων (ModelsCreator-MC), ενός περιβάλλοντος που παρέχει τη δυνατότητα προσοµοίωσης γεγονότων του πραγµατικού κόσµου στους µαθητές µέσω της κατασκευής και παρατήρησης λειτουργίας µοντέλων. Και στις δύο µελέτες παρουσιάζονται συνοπτικά τα περιβάλλοντα αυτά, οι συνθήκες αξιολόγησης των περιβαλλόντων, καθώς επίσης και τα συµπεράσµατα που προκύπτουν. Τα εργαλεία που δηµιουργήθηκαν για την υποστήριξη του πλαισίου αξιολόγησης, το Cognitive Modeling Tool, καθώς και το Usability Analyzer, παρουσιάζονται µέσα από ενδεικτικά παραδείγµατα, τα οποία σχολιάζονται κριτικά και συγκρίνονται µεταξύ τους. ιδακτορική διατριβή. Σελίδα 145

152 Μελέτες περίπτωσης πλαισίου αξιολόγησης 5.1 Εισαγωγή Στόχος της έρευνας που παρουσιάζεται στο κεφάλαιο αυτό, ήταν η διερεύνηση της εφαρµοσιµότητας του προτεινόµενου πλαισίου αξιολόγησης που περιγράφεται στο κεφάλαιο 4. Για το σκοπό αυτό, διεξήχθησαν δύο µεγάλες µελέτες περίπτωσης. Στην πρώτη µελέτη, παρουσιάζεται η αξιολόγηση ενός ανοικτού περιβάλλοντος µάθησης και πειραµατισµού µε γεωµετρικές έννοιες που προορίζεται για τις πρώτες τάξεις του γυµνασίου, του C.AR.ME. Στη δεύτερη µελέτη παρουσιάζεται η αξιολόγηση του ηµιουργού Μοντέλων (ModelsCreator-MC), ενός περιβάλλοντος που δίνει την δυνατότητα προσοµοίωσης γεγονότων του πραγµατικού κόσµου στους µαθητές µέσω της κατασκευής και παρατήρησης λειτουργίας µοντέλων. Και στις δύο µελέτες παρουσιάζονται συνοπτικά τα περιβάλλοντα αυτά, οι συνθήκες αξιολόγησης των περιβαλλόντων καθώς επίσης και τα συµπεράσµατα που προκύπτουν. Οι µελέτες αξιολόγησης περιγράφονται αναλυτικά στις ενότητες 5.2 και Πρώτη µελέτη περίπτωσης: Αξιολόγηση διεπιφάνειας χρήσης του ΑΠΜ C.AR.ME Το περιβάλλον C.AR.ME. O µικρόκοσµος C.AR.ME. (The Conservation of ARea and its MEasurement) κατασκευάστηκε προκειµένου να αποτελέσει ένα περιβάλλον µάθησης των εννοιών που αφορούν στη διατήρηση και στη µέτρηση της επιφάνειας (Kordaki and Potari, 1998). Αποτελεί ένα ανοικτό, αλληλεπιδραστικό περιβάλλον πολλαπλών αναπαραστάσεων και οπτικής ανατροφοδότησης των ενεργειών του µαθητή. Ο σχεδιασµός του µικρόκοσµου ήταν αποτέλεσµα σύνθεσης τριών µοντέλων, κατά την κατασκευή των οποίων έγινε προσπάθεια να αντιστοιχηθούν θεωρητικές αρχές σε τεχνικά χαρακτηριστικά. Στο πρώτο µοντέλο επιχειρήθηκε µια ερµηνεία της εποικοδοµιστικής γνωσιοθεωρητικής τοποθέτησης σε συνδυασµό µε κοινωνικοπολιτισµικές θεωρήσεις για τη γνώση και τη µάθηση (Confrey, 1995, Bauersfeld, 1988). Το δεύτερο µοντέλο στηρίχθηκε σε αποτελέσµατα ερευνών που Σελίδα 146 ιδακτορική διατριβή

153 ΚΕΦΑΛΑΙΟ 5 αφορούν στην κατανόηση της έννοιας της διατήρησης και της µέτρησης της επιφάνειας από τους µαθητές, ενώ το τρίτο µοντέλο στηρίχθηκε, επίσης, σε πιθανές ενέργειες των µαθητών, προκειµένου να αντιµετωπίσουν προβλήµατα που αφορούν τις παραπάνω έννοιες. Στην Eικόνα 5.1 παρουσιάζονται τα εργαλεία τα οποία παρέχονται από το περιβάλλον του µικρόκοσµου, όπως εµφανίζονται στη διεπιφάνεια χρήσης. Αρχείο Σχεδίαση Επεξεργασία Μέτρηση Aυτόµατοι Μετασχηµατισµοί Εργαλεία Ανοιγµα Τετραγωνικός Επιλογή µέρους Επιφάνειας Τετράγωνο Τετραγωνική καµβάς µονάδα Επιλογή όλου Γωνίας Ορθογώνια Ανοιγµα Τριγωνικός Επιπλέον ορθογώνια Ορθογώνια µονάδα τελευταίου καµβάς Κοπή Ευθυγράµµου τµήµατος Παραλληλόγραµµα Μονάδα του µαθητή Αποθήκευση Σχεδίαση Επικόλληση Επιπλέον παρ/µα τελευταίου πολυγώνου Επικάλυψη Σχεδίαση Tρίγωνα µε µονάδα Αποθήκευση Σχεδίαση γωνίας στροφής Επιπλέον τρίγωνα σαν... ευθ. τµήµατος Καταµέτρηση Στροφή Εµφάνιση µονάδων Εκτύπωση Τέλος σχεδίασης αριθµητικών στοιχείω πολυγώνου Σχεδίαση άξονα Τετραγωνικό καρέ Eξοδος συµµετρίας Καθάρισµα Ορθογώνιο καρέ οθόνης Συµµετρία ως προς άξονα Καρέ του µαθητή Σβηστήρες Εικόνα 5.1 Οι επιλογές του µικρόκοσµου C.AR.ME. ιατίθενται εργαλεία µε τη χρήση των οποίων ο µαθητής µπορεί να σχεδιάσει τα δικά του σχήµατα (εργαλεία κάτω από τον κατάλογο Σχεδίαση, εικόνα 5.1). Επιπλέον εργαλεία επιτρέπουν στο µαθητή να µελετήσει την έννοια της διατήρησης της επιφάνειας µέσα από πολλαπλές αναπαραστάσεις της, όπως ύστερα από τεµαχισµό και ανασύνθεση (εργαλεία κάτω από τον κατάλογο Επεξεργασία ), καθώς και µέσα από αυτόµατους µετασχηµατισµούς (εργαλεία κάτω από τον κατάλογο Αυτόµατοι µετασχηµατισµοί ). Επιπλέον, διατίθενται εργαλεία για την κατανόηση της έννοιας της µέτρησης της επιφάνειας χρησιµοποιώντας µια ποικιλία µονάδων µέτρησης (εργαλεία κάτω από τον κατάλογο Εργαλεία ), όπως επίσης και µε τη χρήση αυτόµατης µέτρησης επιφάνειας ενός επιλεγέντος σχήµατος µε τυποποιηµένες µονάδες µέτρησης, π.χ. cm 2 (εργαλεία κάτω από τον κατάλογο Μέτρηση ). Στην Εικόνα 5.2 παρουσιάζεται η αποτύπωση του περιβάλλοντος κατά την αλληλεπίδραση ενός µαθητή µε αυτό. Στο συγκεκριµένο στιγµιότυπο αλληλεπίδρασης, ο µαθητής ιδακτορική διατριβή. Σελίδα 147

154 Μελέτες περίπτωσης πλαισίου αξιολόγησης µετασχηµατίζει ένα µη κυρτό πολύγωνο σε γεωµετρικά ισοδύναµο σχήµα (β), ενώ σε µια άλλη στρατηγική (Πίνακας 5.1) επιχειρεί κοπή και επικόλληση του µη κυρτού πολυγώνου (α) και µέτρηση µε επικάλυψή του µε χρήση µονάδων. Εικόνα 5.2 Μετασχηµατισµός ενός µη κυρτού πολυγώνου σε νέο ισοδύναµο σχήµα ύστερα από (α) τεµαχισµό και (β) ανασύνθεση και µέτρηση ενός σχήµατος µε χρήση µονάδων Μεθοδολογία διεξαγωγής του πειράµατος Για το πείραµα αυτό χρησιµοποιήθηκαν δεδοµένα από την αλληλεπίδραση µιας οµάδας 30 µαθητών πρώτων τάξεων γυµνασίου σε συνθήκες σχολικού εργαστηρίου µε τον µικρόκοσµο C.AR.ME. Το περιβάλλον αυτό, όπως φαίνεται στην ενότητα 5.2.1, είναι ένα ανοικτό, αλληλεπιδραστικό περιβάλλον πολλαπλών αναπαραστάσεων µάθησης των εννοιών που αφορούν στη διατήρηση και στη µέτρηση της επιφάνειας (Kordaki and Potari, 1998). Η διεξαγωγή του πειράµατος έγινε στα πλαίσια της διδακτορικής διατριβής της Κορδάκη (1999) και περιελάµβανε την επίλυση δύο προβληµάτων, το µετασχηµατισµό ενός µη-κυρτού πολυγώνου σε ένα ισοδύναµο ως προς την επιφάνεια σχήµα και το πρόβληµα της σύγκρισης ενός µη-κυρτού πολυγώνου µε ένα τετράγωνο (Kορδάκη, 1999). Οι µαθητές κλήθηκαν να επιλύσουν και τα δύο προβλήµατα µε όλους τους δυνατούς τρόπους µε χρήση των εργαλείων που διατίθενται από το µικρόκοσµο. Η ανάλυση των στρατηγικών επίλυσης που ακολούθησαν οι µαθητές, προκειµένου να αντιµετωπίσουν τα παραπάνω προβλήµατα, περιγράφονται στην εργασία (Kορδάκη, 1999). Στην παρούσα µελέτη περίπτωσης χρησιµοποιήθηκαν τα δεδοµένα αλληλεπίδρασης που παρήχθησαν (αρχεία πληκτρολογήσεων, στιγµιότυπα αλληλεπίδρασης, παρατηρήσεις υπευθύνου διεξαγωγής του πειράµατος) και οι κατηγορίες των στρατηγικών επίλυσης Σελίδα 148 ιδακτορική διατριβή

155 ΚΕΦΑΛΑΙΟ 5 που ακολούθησαν οι µαθητές στο πρόβληµα της σύγκρισης, οι οποίες και παρουσιάζονται στον Πίνακα 5.1. Το δείγµα καταγεγραµµένων αρχείων πληκτρολογήσεων από τη διεξαγωγή του πειράµατος χρήσης του C.AR.ME., στο οποίο στηρίχθηκε η έρευνα είναι 114, τα οποία στη συνέχεια αναλύθηκαν. Στα περισσότερα από αυτά είχαν καταχωρηθεί σχόλια που περιέγραφαν την στρατηγική που ακολούθησε ο µαθητής, ενώ παράλληλα είχε καταγραφεί και ένα στιγµιότυπο της διεπιφάνειας εργασίας για επαλήθευση του σεναρίου αλληλεπίδρασης που ακολουθήθηκε. Η ανάλυση του συνόλου των 114 στρατηγικών µε την ανάλυση εργασιών προφανώς θα ήταν µια πολύ επίπονη διαδικασία, αφετέρου δε λόγω της επαναληψιµότητας των προσεγγίσεων λίγα θα προσέθετε στη διαδικασία της αξιολόγησης. Για την επιλογή των στρατηγικών προς ανάλυση χρησιµοποιήθηκε τεχνική αυτόµατης κατηγοριοποίησης στρατηγικών µε χρήση δικτύων Bayes (Tselios et al., 2001), όπως περιγράφεται στο κεφάλαιο 6, παράλληλα µε χρήση γεννήτριας ψευδοτυχαίων αριθµών, για να εξασφαλιστεί το αδιάβλητο της επιλογής των λύσεων των µαθητών που θα µοντελοποιηθούν και αναλογικά προς το ποσοστό παρουσίας των στρατηγικών στο συνολικό δείγµα. Με το τρόπο αυτό έγινε η διαλογή 25 αρχείων καταγεγραµµένων ενεργειών χαµηλού επιπέδου προς ανάλυση. Τα δεδοµένα αυτά αναλύθηκαν µε την βοήθεια εργαλείου που αναπτύχθηκε για υποβοήθηση της διαδικασίας αξιολόγησης εκπαιδευτικού λογισµικού αντίστοιχου τύπου, του Usability Analyzer (Tselios et al., 2002). Στο εργαλείο αυτό, ο αξιολογητής έχει τη δυνατότητα να επισκοπήσει αναλυτικά την αλληλεπίδραση του µαθητή µε το περιβάλλον µάθησης, µέσω της ταυτόχρονης παρουσίασης του αρχείου πληκτρολογήσεων, των σχετικών σχολίων που καταγράφηκαν στη φάση διεξαγωγής του πειράµατος, καθώς επίσης και αποθηκευµένων στιγµιότυπων από το χώρο εργασίας του µαθητή. Εν συνεχεία µε τη χρήση του εργαλείου CMT ολοκληρώθηκε η µοντελοποίηση των στρατηγικών και των στυλ αλληλεπίδρασης που αποκαλύφθηκαν από την παρατήρηση των χρηστών, σε µια προσπάθεια να ανασυντεθούν οι γνωστικοί στόχοι του µαθητή από τις παρατηρούµενες πληκτρολογήσεις σε συνδυασµό και µε τη χρήση του εργαλείου Usability Analyzer. ιδακτορική διατριβή. Σελίδα 149

156 Μελέτες περίπτωσης πλαισίου αξιολόγησης Οι κατηγορίες των συγκρίσεων/στρατηγικών Αριθµός στρατ/κών % επί του δείγµατος Στρατηγικές που αναλύθηκαν 1. Με το µάτι Με την περίµετρο 1 0, Με την αυτόµατη λειτουργία της µέτρησης 21 18, Με τις προσοµοιωµένες αισθησιοκινητικές 14 12,28 3 ενέργειες (ακε) των παιδιών 5. Με τη λειτουργία της µέτρησης 27 23, Με τους αυτόµατους µετασχηµατισµούς & τη 11 9,64 2 λειτουργία της µέτρησης 7. Με τους αυτόµατους µετασχηµατισµούς 14 12, Με τους αυτόµατους µετασχηµατισµούς & τις 16 14,03 3 προσοµοιωµένες ακε των παιδιών 9. Με την αυτόµατη λειτουργία της µέτρησης & 3 2,63 1 τους αυτόµατους µετασχηµατισµούς 10. Με την αυτόµατη λειτουργία της µέτρησης & 2 1,75 1 τις προσοµοιωµένες ακε 11. Με τους τύπους υπολογισµού & τις 1 0,87 1 προσοµοιωµένες ακε 12. Με τους τύπους υπολογισµού & την 1 0,87 1 αυτόµατη λειτουργία της µέτρησης 13. Με αυτόµατους µετασχηµατισµούς & 3 2,63 1 προσοµοιωµένες ακε & τη λειτουργία της µέτρησης & µε τύπους υπολογισµού σε συνδυασµό µε τον εγκλεισµό του πολυγ. Σύνολο Πίνακας 5.1 Οι στρατηγικές που επέλεξαν οι χρήστες στο περιβάλλον CARME Ευρετική αξιολόγησης του µικρόκοσµου Αρχικά, το C.AR.ME αξιολογήθηκε µε τη µέθοδο της ευρετικής αξιολόγησης (Nielsen 1994). Η µέθοδος αυτή µπορεί να εφαρµοστεί από τα πρώτα στάδια σχεδιασµού και ανάπτυξης µιας εφαρµογής. Τα αποτελέσµατα της αξιολόγησης αυτής συνοψίζονται στον Πίνακα 5.2, ενώ περιγράφονται αναλυτικά στο παράρτηµα Β. Τα συνολικά προβλήµατα ευχρηστίας που ανακαλύφθηκαν είναι 48. Η φύση των προβληµάτων που ανακαλύφθηκαν σχετίζεται κύρια µε τον τρόπο µε τον οποίο το σύστηµα προσλαµβάνει πληροφορία και αντιδρά στις ενέργειες του χρήστη, γνωστοποιώντας σε αυτόν την αλλαγή κατάστασής του, παρά µε την ακριβή φύση και το µηχανισµό των διαλόγων που λαµβάνουν χώρα σε µια αλληλεπίδραση. Έτσι, ανακαλύφθηκαν κύρια προβλήµατα σχετικά µε το λεκτικό επίπεδο της αλληλεπίδρασης, όπως σηµασιολογικά στοιχεία της ανάδρασης, ποιότητα χρησιµοποιούµενης ορολογίας, σχεδίαση και διάταξη µενού και επιλογών, και ποιότητα της ανάδρασης σε λανθασµένες αλληλεπιδράσεις, προβλήµατα που είναι δύσκολο να αναγνωρισθούν µε µεθόδους ανάλυσης εργασιών. Σελίδα 150 ιδακτορική διατριβή

157 ΚΕΦΑΛΑΙΟ 5 Ευρετικός κανόνας Προβλήµατα Πίνακας 5.2 Πορίσµατα ευρετικής αξιολόγησης. Επιπροσθέτως, τα προβλήµατα ευχρηστίας, που ανακαλύφθηκαν µε τη χρήση της ευρετικής αξιολόγησης, χρησιµοποιήθηκαν για να εξηγήσουν συγκεκριµένες αντιδράσεις και ενέργειες των χρηστών σε διάφορα στιγµιότυπα της αλληλεπίδρασης. Κατά συνέπεια, πέρα από τον αυτόνοµο χαρακτήρα και την αξία των αποτελεσµάτων της, η ευρετική αξιολόγηση χρησιµοποιήθηκε σα µέθοδος εµπρόσθιας τροφοδότησης (feed forward) της τροποποιηµένης ανάλυσης εργασιών, υποβοηθώντας τη φάση της µοντελοποίησης που ακολουθεί Ιεραρχική ανάλυση εργασιών µε βάση δεδοµένα από παρατήρηση πεδίου ανάλυση µε τη χρήση αρθρώµατος VQC Αρχικά, έµφαση δόθηκε στην ανάλυση των στρατηγικών µε βάση το ευρύτερο πλαίσιο στο οποίο αυτές υπάγονται. Οι δύο µεγάλες κατηγορίες στρατηγικών είναι οι στρατηγικές σύγκρισης και οι στρατηγικές µετασχηµατισµού. Η αναλογία αντιπροσώπευσης των οικογενειών αυτών στρατηγικής στο δείγµα µας ήταν 16 συνεδρίες χρήσης που αφορούσαν στη στρατηγική σύγκρισης και 9 που αφορούσαν στη στρατηγική µετασχηµατισµού. Η ανάλυση συνολικά κατέδειξε 31 σφάλµατα, µε 14 εξ αυτών να αναγνωρίζονται και να καταγράφονται περισσότερες από µια φορές. Στο πρόβληµα µετασχηµατισµού, που αφορούσε στο µετασχηµατισµό µη κυρτού πολυγώνου σε άλλο σχήµα ισοδύναµης επιφάνειας, 6 µαθητές ανέπτυξαν τις 9 συνολικά στρατηγικές επίλυσης που µοντελοποιήθηκαν µε τη χρήση του CMT. Εξ αυτών η µία ήταν δύσκολο να αναλυθεί µε τα δεδοµένα που είχαν συλλεχθεί, καθώς δεν οδηγούσαν σε µονοσήµαντα συµπεράσµατα για τη στρατηγική που ακολουθήθηκε. Τελικώς, από τις 8 στρατηγικές που µοντελοποιήθηκαν, οι 5 εκδηλώθηκαν από 3 µαθητές και οι 3 από 2 µαθήτριες. Αντίστοιχα, στο πρόβληµα σύγκρισης, που αφορούσε στη σύγκριση δύο γεωµετρικών σχηµάτων, από τις αρχικώς 16 επιλεγείσες στρατηγικές, τελικώς, οι 14 ήταν δυνατόν να αναλυθούν µε βάση τα δεδοµένα που είχαν συλλεχθεί. Οι 10 εξ αυτών εκδηλώθηκαν από 6 µαθητές, ενώ οι 4 από 3 µαθήτριες. Η κατασκευή των µοντέλων έγινε µέσα από την ανάλυση των καταγεγραµµένων ενεργειών του χαµηλού επιπέδου πληκτρολογήσεων ιδακτορική διατριβή. Σελίδα 151

158 Μελέτες περίπτωσης πλαισίου αξιολόγησης µε τη βοήθεια του Usability Analyzer και επιχειρήθηκε η ανασύνθεση των εργασιών που εκτέλεσε ή επιχείρησε να εκτελέσει ο χρήστης. Στην προσπάθεια αυτή βοήθησε και το συµπληρωµατικό υλικό που συλλέχθηκε κατά τη διεξαγωγή του πειράµατος, όπως στιγµιότυπα της οθόνης του υπολογιστή από την αλληλεπίδραση του µαθητή µε το περιβάλλον και σχόλια των υπεύθυνων διεξαγωγής πειράµατος. Η χρήση της ανάλυσης εργασιών βοήθησε στην αποκάλυψη σφαλµάτων ευχρηστίας της διεπιφάνειας, συντακτικού τύπου, σφάλµατα που ως επί το πλείστον αναγνωρίσθηκαν στο χαµηλό επίπεδο της ιεραρχίας των εργασιών. Τα περισσότερα εξ αυτών οφείλονται σε σφάλµατα αλληλεπίδρασης εξ αιτίας προβληµάτων ευχρηστίας και ελλιπούς λειτουργικότητας των εργαλείων που προσφέρονται στον χρήστη και επιτείνουν το χάσµα εκτέλεσης του κύκλου αλληλεπίδρασης (Norman 1986). Επιπρόσθετα, ανακαλύφθηκαν σφάλµατα σηµασιολογικού τύπου, όπως σφάλµατα λόγω κακής εκτίµησης της κατάστασης της αλληλεπίδρασης, που οφείλονται σε εσφαλµένη χρήση εννοιών του γνωστικού πεδίου, ή στην κακή ποιότητα της ανάδρασης από πλευράς του συστήµατος. Επίσης, ανακαλύφθηκαν στρατηγικές οι οποίες δεν είχαν αναγνωρισθεί από την πλευρά του σχεδιαστή. Σε πολλές από τις περιπτώσεις αυτές, η προσφερόµενη λειτουργικότητα δεν επαρκούσε για να καλύψει τις ανάγκες των µαθητών για να εκφράσουν τις στρατηγικές αυτές µέσα από το µικρόκοσµο CARME. Εικόνα 5.3 Ανάλυση συχνότητας χρήσης εργαλείων της διεπιφάνειας χρήσης και των προβληµάτων ευχρηστίας που εντοπίστηκαν σε αυτά, µέσα από το άρθρωµα VQC του CMT. Σελίδα 152 ιδακτορική διατριβή

159 ΚΕΦΑΛΑΙΟ 5 Η ανάλυση του γενικού προβλήµατος µετασχηµατισµού κατέδειξε 25 σφάλµατα, µε 5 εξ αυτών να αναγνωρίζονται και να καταγράφονται περισσότερες από µια φορές. Στην ανάλυση του γενικού προβλήµατος σύγκρισης, εντοπίστηκαν συνολικά 6 επιπλέον σφάλµατα σε σχέση µε την ανάλυση του προηγούµενου προβλήµατος, µε 11 εξ αυτών να παρουσιάζονται περισσότερες από µια φορά. Στα προβλήµατα που ανακαλύφθηκαν και µε την ευρετική αξιολόγηση υπήρχε,επιπροσθέτως, βοήθεια στο να ερµηνευθεί η φύση τους. Τα προβλήµατα ανά στρατηγική, τα οποία αναγνωρίστηκαν, παρατίθενται σε σχετικό πίνακα στο παράρτηµα Β. Επιπροσθέτως, η αξιολόγηση µε τη χρήση µοντέλων αλληλεπίδρασης, µε τη χρήση του εργαλείου CMT και του αρθρώµατος VQC (Εικόνα 5.3), που περιγράφεται αναλυτικά στο κεφάλαιο 4, παρείχε τη δυνατότητα για την αναγνώριση προτύπων συχνότητας χρήσης των εργαλείων και τη συσχέτισή τους µε συγκεκριµένα προβλήµατα ευχρηστίας. Το προϊόν της ανάλυσης που προκύπτει, στις διάφορες συνιστώσες του (µοντέλα αλληλεπίδρασης µαθητή χρήστη, συνολικό µοντέλο µαθητή και σύγκριση µε το αρχικό µοντέλο σχεδιασµού, ανάλυση προβληµάτων ευχρηστίας ανά εργαλείο, στρατηγική και προφίλ χρήστη), αναλύθηκε από την οµάδα σχεδιασµού και ανάπτυξης τόσο σε τεχνικό όσο και σε παιδαγωγικό επίπεδο, ανατροφοδοτώντας την επαναληπτική διαδικασία σχεδιασµού. Συνολικά (8 στρατηγικές ) # Ανά χρήσης στρατηγ. είκτης διαφορ. Αγόρια (6 στρατηγικές) # χρήσης Ανά στρατηγ. Κορίτσια (2 στρατηγικές) # Ανά χρήσης στρατηγ. Είδος εργασίας Γνωστικές εργασίες 61 7,62-0, , ,67 Σχεδίαση πολυγώνου 30 3,75 0, , ,33 Μετασχηµατισµοί 12 1,5 0,53 9 1,80 3 1,00 Κοπή/ επικόλληση 11 1,37-1,12 4 0,80 7 2,33 Μονάδες µέτρησης 8 1 1,07 7 1,40 1 0,33 Μέτρηση επιφανείας 7 0,87-0,23 4 0,80 3 1,00 Εργαλεία συµµετρίας 7 0,87-2,68 0 0,00 7 2,33 Σχεδίαση γραµµής 3 0,37 0,18 2 0,40 1 0,33 Περιστροφή 3 0,37 1,62 3 0,60 0 0,00 Πλέγµα (grid) 1 0,12 1,67 1 0,20 0 0,00 Σύνολο ,84-0, , ,33 Πίνακας 5.3 Συχνότητα χρήσης εργαλείων στο πρόβληµα µετασχηµατισµού. Τα αποτελέσµατα της ανάλυσης αυτής, για το πρόβληµα µετασχηµατισµού, απεικονίζονται στον Πίνακα 5.3. Ένας αποτελεσµατικός σχεδιασµός ανοιχτών περιβαλλόντων µάθησης θα πρέπει να προάγει τη χρήση των εργαλείων που ιδακτορική διατριβή. Σελίδα 153

160 Μελέτες περίπτωσης πλαισίου αξιολόγησης εµπλέκουν τον µαθητή µε σηµαντικές έννοιες του γνωστικού πεδίου (Sedig et al., 2001), ενώ παράλληλα θα πρέπει να µεγιστοποιεί την ευχρηστία και τη διαφάνεια των εργαλείων που παρουσιάζουν επικουρική φύση στην εκτέλεση µιας εργασίας. Για παράδειγµα, όπως αναλύεται στα παραδείγµατα που παρουσιάζονται στις ενότητες και 5.2.5, η εργασία σχεδίασης πολυγώνου αναµένεται να υλοποιηθεί µε τρεις ενέργειες. Παρ όλα αυτά, η ανάλυση κατέδειξε 3.75 ενέργειες ανά στρατηγική, που αποτελεί ένδειξη της χαµηλής ευχρηστίας των παρεχόµενων εργαλείων για την υλοποίηση της εργασίας. Το γεγονός αυτό, επίσης, αποτελεί ένδειξη ότι απαιτήθηκε ιδιαίτερος φόρτος από την πλευρά των χρηστών για µια εργασία ρουτίνας, που δεν υποβοηθά τη µαθησιακή διαδικασία, αντί να τους επιτρέπει να εστιάσουν σε χρήσιµες κατασκευές και µεταβολές των γεωµετρικών αντικειµένων, γεγονός που θα επέτρεπε τον αναστοχασµό πάνω στις έννοιες που διέπουν τις µεταβολές αυτές. Συνολικά (14 στρατηγικές ) Αγόρια (10 στρατηγικές) Κορίτσια (4 στρατηγικές) Είδος εργασίας # χρήσης Ανά στρατηγ. είκτης διαφορ. # χρήσης Ανά στρατηγ. # χρήσης Ανά στρατηγ. Γνωστικές εργασίες 123 8,79 0, , ,50 Σχεδίαση πολυγώνου 42 3,00 0, ,30 9 2,25 Μετασχηµατισµοί 25 1,79-0, , ,75 Σχεδίαση γραµµής 17 1,21 0, ,30 4 1,00 Μέτρηση επιφανείας 14 1,00-0,35 9 0,90 5 1,25 Μονάδες µέτρησης 8 0,57-1,05 4 0,40 4 1,00 Κοπή/ επικόλληση 6 0,43-0,23 4 0,40 2 0,50 Πλέγµα (grid) 3 0,21 1,40 3 0,30 0 0,00 Περιστροφή 2 0,14 1,40 2 0,20 0 0,00 Εργαλεία συµµετρίας 0 0,00 0,00 0 0,00 0 0,00 Σύνολο ,14-0, , ,25 Πίνακας 5.4 Συχνότητα χρήσης εργαλείων στο πρόβληµα σύγκρισης. Παρόµοια ανάλυση, για το πρόβληµα της σύγκρισης, έγινε µε τη χρήση του αρθρώµατος VQC του CMT και συνοψίζεται στον Πίνακα 5.4. Όπως φαίνεται από τα αποτελέσµατα των αναλύσεων, τα αγόρια παρουσιάζουν διαφορετική προσέγγιση στις υιοθετούµενες στρατηγικές για την επίλυση των προβληµάτων σε σχέση µε τα κορίτσια. Συγκεκριµένα, και µε τη χρήση του δείκτη διαφοροποίησης χρήσης εργαλείων, ανά φύλλο έχουµε (5.1): όπου δ.χ.ε = (σ.χ.ε Α -σ.χ.ε Κ ) / σ.χ.ε (5.1) Σελίδα 154 ιδακτορική διατριβή

161 ΚΕΦΑΛΑΙΟ 5 σ.χ.ε Α = συχνότητα χρήσης εργαλείου ανά στρατηγική (αγόρια), σ.χ.ε Α = συχνότητα χρήσης εργαλείου ανά στρατηγική (κορίτσια), σ.χ.ε = συνολική συχνότητα χρήσης εργαλείου ανά στρατηγική, προκύπτουν τα εξής: στο πρόβληµα µετασχηµατισµού (Πίνακας 5.3), τα αγόρια έδωσαν έµφαση στη χρήση εργαλείων για µετασχηµατισµούς και στη χρήση µονάδων µέτρησης (δ.χ.ε 0,53 και 1,07 αντίστοιχα), ενώ τα κορίτσια στη χρήση εργαλείων κοπής/ επικόλλησης και συµµετρίας (δ.χ.ε -1,12, -2,62 αντιστοίχως). ιαφοροποίηση παρουσιάζεται και στη χρήση εργαλείων περιστροφής και εµφάνισης πλέγµατος (grid), αλλά λόγω της χαµηλής συχνότητα χρήσης δεν δύναται να τεκµηριωθεί διαφοροποίηση µε βεβαιότητα. Στο πρόβληµα σύγκρισης (Πίνακας 5.4), τα κορίτσια παρουσίασαν προτίµηση στη χρήση εργαλείων για µετασχηµατισµούς και µονάδες µέτρησης (δ.χ.ε -0,76 και -1,05), ενώ τα αγόρια σε αυτά που αφορούν στη σχεδίαση γραµµής (δ.χ.ε 0,25). Παράλληλα, διαφαίνεται η χαµηλή χρήση του εργαλείου περιστροφής και στα δύο προβλήµατα, κύρια λόγω της χαµηλής ευχρηστίας του εργαλείου αυτού. Προκειµένου να επιτευχθεί η περιστροφή δοθέντος γεωµετρικού σχήµατος, ο µαθητής αναγκάζεται να σχεδιάσει, σε συγκεκριµένο σηµείο της οθόνης εργασίας που δεν εφάπτεται µε κάποια πλευρά του σχήµατος, γωνία περιστροφής, που πρέπει υποχρεωτικά να είναι µικρότερη από 90 µοίρες, περιορίζοντας τόσο τη διαφάνεια του εργαλείου όσο και τις δυνατότητες κατανόησης, µέσα από αυτό, της έννοιας της διατήρησης της επιφάνειας µετά την περιστροφή. Παράλληλα, δεν υπάρχει εναλλακτικός, δηλωτικός τρόπος επιλογής της γωνίας στροφής (µε απ ευθείας ακριβής δήλωση της γωνίας στροφής σε µοίρες ή ακτίνια), γεγονός που κατά τους Sedig et al. (2001) δεν προάγει την αναστοχαστική σκέψη. Μια σηµαντική παρατήρηση που προκύπτει επίσης είναι ότι το διάγραµµα χρήσης των εργαλείων που παρουσιάζεται στην Εικόνα 5.4, φαίνεται να ακολουθεί εκθετική κατανοµή µε χαρακτηριστικά που τείνουν να ακολουθήσουν αυτά της κατανοµής zipf (Crovella and Bestavros, 1997). Έτσι ένας µικρός αριθµός εργαλείων, καθώς και οι εργασίες που σχετίζονται µε γνωστική προσπάθεια από µέρους του µαθητή-χρήστη, παρουσιάζουν υψηλή συχνότητα εµφάνισης και τα υπόλοιπα παρουσιάζουν ένα σχετικά χαµηλό βαθµό χρήσης. Τέλος, από την ανάλυση µε τη χρήση του VQC προκύπτει ότι τα εργαλεία που αφορούν στη µέτρηση της επιφάνειας παρουσιάζουν πέντε προβλήµατα ευχρηστίας, ενώ τα εργαλεία που αφορούν στη ιδακτορική διατριβή. Σελίδα 155

162 Μελέτες περίπτωσης πλαισίου αξιολόγησης σχεδίαση του πολυγώνου καθώς και στον αυτόµατο µετασχηµατισµό σε άλλα γεωµετρικά σχήµατα παρουσιάζουν τέσσερα προβλήµατα. Κατανοµή χρήσης εργαλείων Συχνότητα χρήσης Εργαλεία σεµ σεµα σεµκ σεσ σεσα σεσκ Εικόνα 5.4 Συχνότητα χρήσης εργαλείων όπως προκύπτει από την ανάλυση µε τη χρήση του αρθρώµατος VQC (σεµ-σεσ,σεµα-σεσα,σεµκ-σεσκ= συχνότητα χρήση εργαλείου συνολικά, στα αγόρια και κορίτσια για τα δύο γενικά προβλήµατα αντίστοιχα). Στις ενότητες και παρέχονται δύο συγκεκριµένα παραδείγµατα από τη διαδικασία ανάλυσης µε στόχο να αποτυπωθεί βηµατικά η διαδικασία κατασκευής των µοντέλων αλληλεπίδρασης Πρώτο παράδειγµα µοντελοποίησης Στο παράδειγµα ανάλυσης που παρουσιάζεται, ο χρήστης εµπλέκεται στη διαδικασία κατασκευής ενός πολυγώνου και µετασχηµατισµό του σε γεωµετρικώς ισοδύναµα (ίσης επιφανείας) σχήµατα όπως τετράγωνα, παραλληλόγραµµα και τρίγωνα. Στο περιβάλλον C.A.R.ME η εργασία αυτή µπορεί να επιτευχθεί µε διάφορους τρόπους, όπως µε χρήση τετραγωνικού καρέ και τη µέτρηση του Σελίδα 156 ιδακτορική διατριβή

163 ΚΕΦΑΛΑΙΟ 5 πολυγώνου (σχήµα αναφοράς) για χειρωνακτική αναπαραγωγή του ή µε χρήση εργαλείων αυτόµατου µετασχηµατισµού. Η ανάλυση που περιγράφεται, µοντελοποιεί µια εκδηλωθείσα στρατηγική που χρησιµοποιεί αυτόµατους µετασχηµατισµούς. Το καταγεγραµµένο αρχείο πληκτρολογήσεων µαζί µε σύντοµα σχόλια παρατίθεται στον Πίνακα 5.5. Αρχείο ενεργειών 1] StartDraw mnu,41 2] Draw Line 100, ,140 3] Draw Line 160,140 45,180 4] Draw Line 45,180 60,30 5] Draw Line 60,30 74,95 6] Draw line 74,95 98,120 7] EndDraw mnu,12 8] Rectangle mnu,29 9] Measuring Areas mnu,3 10] Rectangle mnu,29 11] MoreRectangles mnu,24 12] MoreParallelograms mnu,23 13] Measuring Areas mnu,3 14] MoreRectangles mnu,24 15] SelectAll mnu,36 16] MoreRectangles mnu,24 17] Select mnu,35 18] Square mnu,39 19] Triangle mnu,44 20] Triangle mnu,44 21] MoreTriangles mnu,25 22] Select mnu,35 23] MoreTriangles mnu,25 24] Select mnu,35 25] Triangle mnu,44 26] MoreTriangles mnu,25 27] Select mnu,35 28] MoreTriangles mnu,25 Σχόλια Ενέργειες [1-7]: Σχεδίαση πολυγώνου αναφοράς (Εικόνα 5.6) Η σχεδίαση του τελευταίου τµήµατος γίνεται στην ενέργεια 6. Ενέργειες [8-10]: Επιλογή αυτόµατου µετασχηµατισµού σε τετράγωνο. Το σύστηµα αποκρίνεται µε αίτηµα για µέτρησης της επιφάνειας του (a). Ο χρήστης επιλέγει µέτρηση επιφανείας και ολοκληρώνει την κατασκευή του τετραγώνου. (εργασία 1.2.2, Εικόνα 5.7). Ενέργειες [11-17]: Ο χρήστης επιχειρεί ανεπιτυχώς να κατασκευάσει περισσότερα ισοδύναµα σχήµατα, (εργασίες και 1.2.4) Για το σκοπό αυτό πρέπει να επιτελέσει τις υπο-εργασίες και Η συµπεριφορά του συστήµατος δεν βοηθά τον χρήστη να το κατανοήσει. Ενέργειες [18,19]: Ο χρήστης επιτυχώς ολοκληρώνει τις εργασίες και Ενέργειες [20-28]: Ανεπιτυχής προσπάθεια να ολοκληρώσει τη εργασία Το σύστηµα απαιτεί τη µέτρηση της βάσης του τριγώνου. Ο χρήστη δοκιµάζει ανεπιτυχώς και τελικώς εγκαταλείπει τη εργασία. Πίνακας 5.5 Προβλήµατα που αναγνωρίσθηκαν και καταγράφησαν στις ανελυµένες στρατηγικές του περιβάλλοντος CARME. ιδακτορική διατριβή. Σελίδα 157

164 Μελέτες περίπτωσης πλαισίου αξιολόγησης Tο αρχικό µοντέλο του σχεδιαστή για τη στρατηγική αυτή, επιµερίζεται σε δύο µεγάλους υπο-στόχους: (1.1) Σχεδίαση πολυγώνου αναφοράς, (1.2) Κατασκευή ισοδύναµων σχηµάτων µε τη χρήση σχετικών εντολών (Εικόνες 5.6 και 5.7). Στιγµιότυπο από την αλληλεπίδραση του χρήστη µε το σύστηµα παρουσιάζεται στην Εικόνα 5.5. Το πολύγωνο αναφοράς είναι το σχήµα (a). Τα διαδοχικά κατασκευασθέντα σχήµατα είναι τα (b), (c) και (d). Τρείς βασικές παρανοήσεις της διεπιφάνειας χρήσης από την πλευρά του χρήστη εντοπίστηκαν, σε σχέση µε αρχικό µοντέλο σχεδιασµού. Περισσότερο αναλυτικά: Εικόνα 5.5 Αναλυτής ευχρηστίας (Usability Analyzer): Στο αριστερό τµήµα της διεπιφάνειας παρουσιάζεται ένα αρχείο πληκτρολογήσεων µαθητή. Στο κεντρικό παράθυρο παρουσιάζεται στιγµιότυπο από την αλληλεπίδραση του χρήστη µε ΑΠΜ. Στο κάτω µέρος της οθόνης παρουσιάζονται τα σχόλια που τυχόν έχουν καταχωρήσει οι υπεύθυνοι διεξαγωγής του πειράµατος. (α) Η εργασία σχεδίασης πολυγώνων αναφοράς (1.2.1) είχε σχεδιαστεί αρχικά ως εξής: Ο χρήστης αναµένεται να σχεδιάσει όλες τις πλευρές του πολυγώνου εκτός από την τελευταία και έπειτα να επιλέξει τέλος σχεδίασης (end draw) για να ολοκληρώσει την σχεδίαση. Από τις ενέργειες των χρηστών του αρχείου πληκτρολογήσεων (1-7, Πίνακας 5.5), συνάγεται ότι ο χρήστης προσπάθησε να ολοκληρώσει το πολύγωνο µε το σχεδιασµό του τελευταίου σηµείου του τελικού τµήµατος-πλευράς κοντά στο αρχικό σηµείο της πρώτης πλευράς, επιλέγοντας στη συνέχεια την κατάλληλη εντολή τέλος σχεδίασης. Αυτό χαρακτηρίστηκε ως Σελίδα 158 ιδακτορική διατριβή

165 ΚΕΦΑΛΑΙΟ 5 συντακτική απόκλιση ελάσσονος σηµασίας στο αντίστοιχο µοντέλο εργασιών του χρήστη. Η πρόσθετη εργασία { } περιλήφθηκε στο µοντέλο, όπως φαίνεται στην Εικόνα 5.6. Μια παρατήρηση καταγράφηκε επίσης ότι είναι επιθυµητό το σύστηµα C.AR.ME να ερµηνεύει να σύρει το σχεδιασµό του τελευταίου σηµείου του τελικού τµήµατος-πλευράς κοντά στο αρχικό σηµείο της πρώτης πλευράς, ως προσπάθεια να ολοκληρωθεί το πολύγωνο, παρέχοντας κατά συνέπεια περισσότερη υποστήριξη στον άµεσο χειρισµό από την πλευρά του χρήστη. Εικόνα 5.6 Μοντελοποίηση υπο-εργασίας χρήστη: Σχεδιασµός πολυγώνου. (β) Η δεύτερη παρερµηνεία που ανιχνεύθηκε αφορούσε στο γεγονός ότι προκειµένου να παραχθεί αυτόµατα η γεωµετρικώς ισοδύναµη µορφή, ζητήθηκε από τον χρήστη - µέσω ενός σχετικού µηνύµατος - να µετρήσει χειροκίνητα το εµβαδόν του αρχικού πολυγώνου (a). Η απαίτηση αυτής της χειροκίνητης δραστηριότητας στο πλαίσιο µιας αυτόµατης στοιχειώδους εργασίας µετασχηµατισµού δηµιούργησε σύγχυση στον χρήστη, όπως φαίνεται στις ενέργειες 8-10 του αρχείου ενεργειών (Πίνακας 5.5). Τελικά ο χρήστης, µετά την µέτρηση της περιοχής (α), παρήγαγε µερικές ισοδύναµες µορφές (βλ. Εικόνα 5.7, στοιχειώδεις εργασίες, 1.2.1, και ενέργειες 18,19, Πίνακας 5.5). Ένα σχόλιο προστέθηκε στην υπο-εργασία στο µοντέλο αλληλεπίδρασης του µαθητή (Εικόνα 5.6), που περιγράφει την παρατηρηθείσα συµπεριφορά χρηστών και το σχετικό σηµάδι σχολιασµών (!) καταχωρήθηκε στο πλάνο της εργασίας. (γ) Στη συνέχεια, όταν ο χρήστης προσπάθησε να δηµιουργήσει περισσότερα ισοδύναµα σχήµατα, το σύστηµα απαίτησε τη µέτρηση της µιας πλευράς του προηγουµένως κατασκευασθέντος ισοδύναµου σχήµατος, προκειµένου αυτό να χρησιµοποιήθει ως βάση. Αυτό δεν αφορά σαφώς τον στόχο του µαθητή, δηλ. την ιδακτορική διατριβή. Σελίδα 159

166 Μελέτες περίπτωσης πλαισίου αξιολόγησης παραγωγή περισσοτέρων και διαφορετικής µορφής ισοδυνάµων σχηµάτων. Το αποτέλεσµα ήταν ο χρήστης να µην µπορεί να υλοποιήσει τη εργασία, και κατά συνέπεια, άρχισε να δοκιµάζει εναλλακτικούς τρόπους αλληλεπίδρασης καταλήγοντας σε αδιέξοδο (ενέργειες 20-28, Πίνακας 5.5). Κατά συνέπεια, οι εργασίες 1.2.3, 1.2.4, χαρακτηρίσθηκαν ως απραγµατοποίητες στο µοντέλο αλληλεπίδρασης UTM και τα σχετικά πλάνα σχολιάστηκαν µε το (x!), (Εικόνα 5.7). Εικόνα 5.7 Τµήµα του Μοντέλου Αλληλεπίδρασης Μαθητή για την υπο-εργασία αυτόµατου µετασχηµατισµού πολυγώνου. Εξετάζοντας το αρχείο αλληλεπίδρασης χαµηλού επιπέδου, καταλήγουµε στο ότι λόγω κακής σχεδίασης της διεπιφάνειας χρήσης του συστήµατος, µόνο 10 από τις 28 ενέργειες (35%) αφορούσαν στην ολοκλήρωση της εργασίας, και τελικά αυτή δεν ολοκληρώθηκε πλήρως. Συνολικά, η προσφερόµενη λειτουργικότητα στο λεκτικό επίπεδο της διεπιφάνειας δηµιούργησε σηµαντικά προβλήµατα στον µαθητή, ως προς τον τρόπο αξιοποίησής της µειώνοντας κατά συνέπεια τη συγκέντρωση του στη διαδικασία µάθησης. Σελίδα 160 ιδακτορική διατριβή

167 ΚΕΦΑΛΑΙΟ 5 Εικόνα 5.8 Μοντέλο Αλληλεπίδρασης Μαθητή για την εργασία µετασχηµατισµού του πολυγώνου σε ισοδύναµο σχήµα. ιδακτορική διατριβή. Σελίδα 161

168 Μελέτες περίπτωσης πλαισίου αξιολόγησης εύτερο παράδειγµα µοντελοποίησης Η εργασία που περιγράφεται σε αυτό το δεύτερο παράδειγµα αφορά στη δηµιουργία ενός πολυγώνου και το µετασχηµατισµό του σε ένα ισοδύναµο τετράγωνο Ο χρήστης που παρατηρήθηκε κατά τη διάρκεια της αλληλεπίδρασης µε το περιβάλλον C.A.R.ME, δεν προσπάθησε να επιτύχει το µετασχηµατισµό µέσω των αυτοµατοποιηµένων µεθόδων, όπως στο προηγούµενο παράδειγµα. Πρώτα, προσπάθησε να σχεδιάσει ένα πολύγωνο (εργασία 1.1, Εικόνα 5.8). Η ίδια παρερµηνεία εντοπίστηκε και στο προηγούµενο παράδειγµα. O χρήστης προσπάθησε να ολοκληρώσει το πολύγωνο µε το σχεδιασµό του τελευταίου σηµείου του τελικού τµήµατος-πλευράς κοντά στο αρχικό σηµείο της πρώτης πλευράς, επιλέγοντας στη συνέχεια την κατάλληλη εντολή τέλος σχεδίασης. Aυτό είναι ένα από τα πλέον συχνά σφάλµατα που παρατηρήθηκαν και σχετίζεται µε τη µη δόκιµη ενσωµάτωση της απαίτησης για δήλωση, από την πλευρά του χρήστη, για έναρξη και τέλος σχεδίασης. Η υποχρέωση για τη δήλωση αυτή θεωρείται ασυµβίβαστη µε το στυλ αλληλεπίδρασης απ ευθείας χειρισµού του περιβάλλοντος. Στη συνέχεια, ο χρήστης προσπάθησε να µετρήσει το πολύγωνο µε έναν απρόβλεπτο τρόπο. Επιµέρισε το πολύγωνο σε δύο µέρη (εργασία 1.2, Εικόνα 5.8). Η εργασία αυτή, διαίρεσης του σχήµατος σε δύο τµήµατα δεν υποστηρίζεται κατάλληλα. Ο µαθητής πρέπει να καθορίσει δύο σηµεία που ανήκουν σε διαφορετικές πλευρές του πολυγώνου και να σύρει έπειτα µια γραµµή που τα συνδέει. Το πρόβληµα είναι ότι σύρει µια γραµµή, χωρίς τη λήψη οιασδήποτε επιβεβαίωσηςανάδρασης ότι τα σηµεία έναρξης και τέλους είναι πράγµατι µέρη του σχήµατος που διαιρείται. Πράγµατι, ο χρήστης σύρει µια γραµµή που καταλήγει έξω από το πολύγωνο που διαιρείται. Αυτή η συντακτική απόκλιση καταγράφηκε στη εργασία 1.2.3, µαζί µε το αντίστοιχο σχόλιο. Στη συνέχεια, προκειµένου να µετρηθεί η περιοχή του πολυγώνου, ο χρήστης προσπάθησε να µετρήσει την επιφάνεια κάθε σχήµατος που δηµιουργήθηκε από τον επιµερισµό του πολυγώνου, και έπειτα να τα προσθέσει. Αυτή η συµπεριφορά έχει θεωρηθεί πρωτότυπη και έχει χαρακτηριστεί αντίστοιχα. Γενικά στο περιβάλλον C.A.R.ME, προκειµένου να µετρηθεί η επιφάνεια ενός σχήµατος, πρέπει να επιλεχτεί πρώτα το γεωµετρικό σχήµα και έπειτα η εντολή "περιοχών µέτρου". Και οι δύο υποεργασίες αποδείχθηκε ότι εµπεριέχουν προβλήµατα: η επιλογή δεν εµφανίζεται µε την επιλογή οιουδήποτε σηµείου του γεωµετρικού σχήµατος, υποχρεώνοντας το χρήστη Σελίδα 162 ιδακτορική διατριβή

169 ΚΕΦΑΛΑΙΟ 5 να σχεδιάσει από πάνω το σχήµα. Στη συνέχεια, η ανατροφοδότηση που παρέχεται από το σύστηµα είναι µια φόρµα που περιέχει όλες τις προηγούµενες µετρήσεις. Αυτό θα µπορούσε να οδηγήσει στις παρερµηνείες, καθώς δεν είναι σαφές ποια τιµή αναφέρεται σε συγκεκριµένο σχήµα. Κανένα σφάλµα αλληλεπίδρασης δεν παρατηρήθηκε, αλλά σαφώς και οι δύο λειτουργίες όπως προσφέρονται στην διεπιφάνεια χρήσης, θα µπορούσαν να οδηγήσουν σε σηµαντικά προβλήµατα αλληλεπίδρασης και να επηρεάσουν τη διαδικασία µάθησης. Στο παράδειγµα αυτό, και τα δύο αυτά προβλήµατα χαρακτηρίστηκαν ως αποκλίσεις θεµελιωδών κανόνων ευχρηστίας, και κατάλληλα σχόλια προστέθηκαν στο µοντέλο (εργασίες , ). Τελικά, ο χρήστης στην ακολουθούµενη στρατηγική έπρεπε να σχεδιάσει ένα τετράγωνο ίσου εµβαδού µε το πολύγωνο µε το πολύγωνο. Έτσι, πρέπει να σχεδιάσει ένα τετράγωνο µε πλευρά ίση µε την τετραγωνική ρίζα της µετρηµένης επιφάνειας του πολυγώνου. Αλλά, ανακαλύφθηκε ότι το περιβάλλον C.AR.ME δεν υποστηρίζει τη σχεδίαση γραµµής µε συγκεκριµένη τιµή. Έτσι ο χρήστης έκανε πολλές προσπάθειες για σχεδιασµό των γραµµών-πλευρών, µετρώντας ακολούθως το µήκος τους, έως ότου επέτυχε το επιθυµητό µήκος. εν προσπαθήσαµε να περιγράψουµε στο µοντέλο όλες εκείνες τις ενέργειες που οφείλονται σε αυτόν τον περιορισµό της υπάρχουσας σχεδίασης. Αντ' αυτού, σχόλιο για αυστηρή συντακτική απόκλιση καταγράφηκε στην εργασία Ακολούθως, η προσπάθεια εξοµοίωσης της παρατηρηθείσας στρατηγικής, οδήγησε στη διαπίστωση ότι το περιβάλλον C.AR.ME δεν υποστηρίζει την εργασία σχεδίασης τετραγώνου επαρκώς (για παράδειγµα, µε αυτόµατη κατασκευή του τετραγώνου ύστερα από τη σχεδίαση της µίας πλευράς που αποτελεί και µονοσήµαντο χαρακτηριστικό του). Τα πορίσµατα αυτά, που δεν προέκυψαν από την παρατήρηση πεδίου, καταγράφηκαν επίσης. Στην ενότητα 5.3, παρουσιάζονται τα αποτελέσµατα από την εφαρµογή του πλαισίου αξιολόγησης σε ένα δεύτερο ανοιχτό περιβάλλον µάθησης, µε διαφορετικούς παιδαγωγικούς στόχους και διαφορετική προσέγγιση στο σχεδιασµό και υλοποίηση της διεπιφάνειας χρήσης. Η µελέτη αυτή σε συνδυασµό µε την περιγραφθείσα αξιολόγηση του ΑΠΜ C.AR.ME. βοήθησε στη διερεύνηση του ερωτήµατος για τη γενικότητα και εφαρµοσιµότητα του προτεινόµενου πλαισίου αξιολόγησης. ιδακτορική διατριβή. Σελίδα 163

170 Μελέτες περίπτωσης πλαισίου αξιολόγησης 5.3 εύτερη µελέτη περίπτωσης: Αξιολόγηση διεπιφάνειας χρήσης ηµιουργού Μοντέλων Στη δεύτερη µελέτη περίπτωσης που παρουσιάζεται στην ενότητα αυτή, η ακολουθούµενη προσέγγιση παρουσιάζει ελαφρές διαφοροποιήσεις σε σχέση µε αυτή της ενότητας 5.2. Η ευρετική αξιολόγηση στην περίπτωση αυτή, διεξήχθη σε ενδιάµεσο στάδιο του κύκλου σχεδιασµού και ανάπτυξης του ΑΠΜ. Επίσης, παράλληλα µε τη διεξαγωγή µεγάλης κλίµακας παρατήρησης πεδίου, διεξήχθη επικουρικά δοκιµή αξιολόγησης µε χρήση αντιπροσωπευτικών µαθητών- χρηστών ηµιουργός µοντέλων Ο ηµιουργός Μοντέλων (ModelsCreator-MC), είναι ένα ΑΠΜ που δίνει τη δυνατότητα προσοµοίωσης γεγονότων του πραγµατικού κόσµου στους µαθητές, µέσω της κατασκευής και παρατήρησης της λειτουργίας µοντέλων (Komis et al., 2001). Η δηµιουργία του βασίστηκε σε δύο βασικά σχεδιαστικά αξιώµατα: την υποστήριξη έκφρασης µέσω διαφορετικών τρόπων συµπερασµού µε τη χρήση απλών και σύνθετων µεθόδων και µηχανισµών µοντελοποίησης, τα οποία απορρέουν από τη χρήση διαφορετικών θεµατικών περιεχοµένων και επιτρέπουν ποικιλότροπες (interdisciplinary) προσεγγίσεις. Τα µοντέλα που µπορεί να κατασκευάσει ο µαθητής µε τη χρήση του MC, επιτρέπουν τη χρήση ποιοτικών, ποσοτικών και ηµιποσοτικών συσχετίσεων, για τη συσχέτιση οντοτήτων-αναπαραστάσεων του πραγµατικού κόσµου, που αναπαραστούν πρωταρχικές έννοιες. Το σύστηµα χρησιµοποιεί υψηλού επιπέδου απεικονίσεις και αναπαραστάσεις και επιτρέπει την κατασκευή προσοµοιώσεων µέσω χρήσης εργαλείων µοντελοποίησης, αλληλεπιδρώντας απ ευθείας µε τις έννοιες που καθορίζουν το µοντέλο, επιτρέποντας πολλαπλές εναλλακτικές φόρµες αναπαραστάσεων (Dimitracopouloy et al., 1999). Στιγµιότυπο της διεπιφάνειας χρήσης του ηµιουργού Μοντέλων απεικονίζεται στην Εικόνα 5.9, όπου διακρίνεται ένα µοντέλο ροής νερού από µια βρύση σε ένα βαρέλι. Έχει αποδειχθεί (Komis et al., 2001) ότι το περιβάλλον αυτό παρέχει µια πλούσια και εποικοδοµητική εµπειρία µάθησης σε νέους µαθητές. Σελίδα 164 ιδακτορική διατριβή

171 ΚΕΦΑΛΑΙΟ 5 Εικόνα 5.9 Στιγµιότυπο της διεπιφάνειας χρήσης του δηµιουργού µοντέλων. Εικόνα 5.10 Η αρχιτεκτονική του ηµιουργού Μοντέλων. Ο ηµιουργός Μοντέλων αποτελείται από επτά τµήµατα (Εικόνα 5.10): τη µελέτη θεµάτων-study Themes, το χώρο δηµιουργίας µοντέλων- Modelling Space, σηµειωµατάριο-notebook, εγκυκλοπαίδεια µοντέλων-models' Encyclopaedia, σύστηµα επικοινωνίας µε άλλους χρήστες-communication system, σύστηµα ιδακτορική διατριβή. Σελίδα 165

172 Μελέτες περίπτωσης πλαισίου αξιολόγησης διαχείρισης αρχείων-files management system και σύστηµα υποβοήθησης-help system Μεθοδολογία διεξαγωγής αξιολόγησης διεπιφάνειας χρήσης ηµιουργού Μοντέλων Η διεπιφάνεια χρήσης του ΑΠΜ ηµιουργός Μοντέλων, αξιολογήθηκε διαδοχικά µε τη χρήση ευρετικής αξιολόγησης και ιεραρχικής ανάλυσης εργασιών πάνω σε δεδοµένα που προέκυψαν από παρατήρηση πεδίου και δοκιµή ευχρηστίας. Η παρατήρηση πεδίου έλαβε χώρα σε δύο δίωρες συνεδρίες χρήσης, οι οποίες είχαν διαφορετικό σχεδιασµό και διαφορετική προσέγγιση στο σκέλος των προβληµάτων που ζητήθηκαν από τους µαθητές να επιλύσουν. Η παρατήρηση έλαβε χώρα σε εργαστήριο πληροφορικής της Λεοντείου σχολής (Εικόνα 5.11), (παράρτηµα Νέας Σµύρνης) µε συµµετοχή δύο σχολικών τάξεων 1 ης γυµνασίου που αριθµούσαν 34 µαθητές η κάθε µία. Ο συνολικός αριθµός των µαθητών ήταν 68 (34 αγόρια και 34 κορίτσια) άτοµα, ηλικίας 12 ετών. Εικόνα 5.11 Παρουσίαση του τρόπου διεξαγωγής της συνεδρίας χρήσης στους συµµετέχοντες. Τα προβλήµατα που δόθηκαν στους µαθητές αφορούσαν στην κατασκευή µοντέλων αναπαράστασης των µηχανισµών που διέπουν ένα βασικό φαινόµενο που διδάσκεται στο µάθηµα της βιολογίας, της φωτοσύνθεσης. Η διαφορά ήταν ότι η Σελίδα 166 ιδακτορική διατριβή

173 ΚΕΦΑΛΑΙΟ 5 πρώτη οµάδα κλήθηκε να επιλύσει το πρόβληµα, βηµατικά, µε τη χρήση κατάλληλου φυλλαδίου που έθετε σταδιακά ερωτήµατα σε τέσσερα διαδοχικά βήµατα, ενώ από τη δεύτερη οµάδα ζητήθηκε να κατασκευάσει απ ευθείας µοντέλο που περιλαµβάνει όλους τους παράγοντες που επηρεάζουν την ανάπτυξη ενός φυτού (Παράρτηµα Β). Οι µαθητές που συµµετείχαν στο πείραµα εργάστηκαν σε δυάδες, µε τον ένα από τους δύο να αναλαµβάνει σταθερά το χειρισµό του συστήµατος, ενώ οι αποφάσεις που αφορούσαν στη διαδικασία επίλυσης του προβλήµατος λαµβάνονταν από κοινού. Οι διαµορφωθείσες δυάδες ήταν σε όλες τις περιπτώσεις ίδιου φύλου, ενώ είχε γίνει παραίνεση από τον καθηγητή και τους υπεύθυνους διεξαγωγής του πειράµατος για διαµόρφωση οµάδων µε παρεµφερείς επιδόσεις στο αντικείµενο της βιολογίας. Το δείγµα καταγεγραµµένων αρχείων πληκτρολογήσεων από τη διεξαγωγή του πειράµατος χρήσης του ηµιουργού Μοντέλων, στο οποίο στηρίχθηκε η παρουσιαζόµενη έρευνα είναι 102, τα οποία στη συνέχεια αναλύθηκαν. Αντίστοιχα, έλαβε χώρα λίγες µέρες πριν τη διεξαγωγή της παρατήρησης πεδίου, δοκιµή ευχρηστίας µε 8 συνολικά µαθητές, δύο αγόρια και έξι κορίτσια ηλικία ετών, µε όρους διεξαγωγής όµοιους µε αυτούς που χαρακτήριζαν την παρατήρηση πεδίου. Από τη δοκιµή ευχρηστίας συλλέχθηκαν, πέρα από αρχεία πληκτρολογήσεων, µαγνητοσκοπηµένα αρχεία των συνεδριών χρήσης σε ψηφιακή µορφή που αναλύθηκαν µε το εργαλείο Usability Analyzer. Συνολικά, τα χαρακτηριστικά των 76 µαθητών-χρηστών όπως αυτά αποτυπώθηκαν σε σχετικό ερωτηµατολόγιο που τους δόθηκε, συνοψίζονται στον Πίνακα 5.6. Ν Ηλικία Μ.Ο Μ.Ο βιολογία Υπ/στής σπίτι ιαδίκτυο σπίτι Αποδοχή/χρήση Τεχνολογίας Χρήση παιχν. εφαρµογών* Ν sdev παιχν. εφαρµ. Αγόρια 36 12,18 17,04 13,70 90,91% 45,45% 3,97 0,91 3,06 1,41 Κορίτσια 40 12,51 17,85 15,94 92,31% 46,15% 3,77 0,70 1,76 2,00 Σύνολο 76 12,36 17,48 14,92 91,67% 45,83% 3,86 0,81 2,40 1,71 *ύστερα από συµπλήρωση ερωτηµατολογίου όπου ζητήθηκε η καταγραφή εως και πέντε παιχνιδιών ή εφαρµογών µε τις οποίες ασχολούνται πιο συχνά οι χρήστες-µαθητές. Πίνακας 5.6 Χαρακτηριστικά συµµετεχόντων στη διαδικασία αξιολόγησης ευχρηστίας του ηµιουργού Μοντέλων. Όπως φαίνεται, οι συµµετέχοντες στη διαδικασία αξιολόγησης παρουσιάζουν σηµαντικό βαθµό εξοικείωσης, αποδοχής και χρήσης των νέων τεχνολογιών, γεγονός που αποτυπώθηκε στις σχετικές ερωτήσεις κλειστού τύπου που τέθηκαν στους ιδακτορική διατριβή. Σελίδα 167

174 Μελέτες περίπτωσης πλαισίου αξιολόγησης µαθητές, δίνοντας τους τη δυνατότητα να απαντήσουν σε µια κλίµακα Likert µε τιµές 1-5 (µέση τιµή 3,86). Επίσης, το 91,67% των µαθητών είχε υπολογιστή στο σπίτι και και το 45,45% σύνδεση µε το διαδίκτυο. Το σύνολο των µαθητών παρουσίαζε σχετικά υψηλό βαθµό επίδοσης στα µαθήµατα του σχολείου (µέσος όρος 17,48), µε σηµαντικά χαµηλότερη επίδοση στο µάθηµα της Βιολογίας (µέσος όρος 14,92). Επίσης από τους µαθητές ζητήθηκε να καταγράψουν ως και πέντε παιχνίδια ή εφαρµογές µε τις οποίες ασχολούνται πιο συχνά όταν χρησιµοποιούν τον υπολογιστή. Στόχος ήταν η αναγνώριση της τυπικής χρήσης των υπολογιστών από χρήστες της ηλικίας αυτής, ο βαθµός εξοικείωσης µε συγκεκριµένου τύπου διεπιφάνειες χρήσης, καθώς επίσης και τυχόν διαφοροποιήσεις µεταξύ των δύο φύλων ( Lewis et al., 1998, Inkpen, 1997). Οι µαθητές κατέγραψαν κατά µέσο όρο 2,4 παιχνίδια και 1,71 εφαρµογές µε σηµαντικές διαφορές µεταξύ αγοριών και κοριτσιών. Οι µαθητές κατέγραψαν 3,06 (τυπική απόκλιση 1,79) παιχνίδια και 1,41 εφαρµογές (τυπική απόκλιση 1,42-σύνολο 4,47) και οι µαθήτριες 1,76 (τυπική απόκλιση 1,33) παιχνίδια και 2 εφαρµογές (τυπική απόκλιση 1,23-σύνολο 3,76) αντίστοιχα. Η διαφορά στη χρήση του υπολογιστή για παιχνίδι ως προς το φύλλο προκύπτει στατιστικά σηµαντική µε τη χρήση της µεθόδου two tailed unpaired t-test (p<0,0006). Στη χρήση εφαρµογών ως προς το φύλλο δεν προκύπτει στατιστικώς σηµαντική διαφορά (p=0,2227). Τέλος, παρουσιάστηκε σηµαντική ποικιλία στους καταγεγραµµένους τίτλους παιχνιδιών, ενώ στις εφαρµογές µεγάλο ποσοστό παρουσίασαν τα προγράµµατα επεξεργασίας κειµένου, σχεδιασµού και αναπαραγωγής πολυµέσων Ευρετική αξιολόγηση Τα αποτελέσµατα της ευρετικής αξιολόγησης της διεπιφάνειας χρήσης του ηµιουργού Μοντέλων συνοψίζονται στον Πίνακα 5.6, ενώ περιγράφονται αναλυτικά στο παράρτηµα Β. Η ευρετική αξιολόγηση διεξήχθη ανεξάρτητα από δύο έµπειρους αξιολογητές διεπιφανειών χρήσης. Τα συνολικά προβλήµατα της διεπιφάνειας χρήσης που ανακαλύφθηκαν είναι 47 και 48 αντίστοιχα. Από τα 95 προβλήµατα ευχρηστίας, τα 6 ανακαλύφθηκαν και από τους 2 αξιολογητές, µε αποτέλεσµα τα διαφορετικά προβλήµατα να είναι 89. Η φύση των προβληµάτων που ανακαλύφθηκαν σχετίζεται κύρια µε τον τρόπο µε τον οποίο το σύστηµα προσλαµβάνει πληροφορία και αντιδρά στις ενέργειες του χρήστη, γνωστοποιώντας σε αυτόν την αλλαγή κατάστασής του, Σελίδα 168 ιδακτορική διατριβή

175 ΚΕΦΑΛΑΙΟ 5 παρά µε την ακριβή φύση και το µηχανισµό των διαλόγων που λαµβάνουν χώρα σε µια αλληλεπίδραση. Ποσοτικά, οι κανόνες 3 (ελαχιστοποίηση του µνηµονικού φορτίου του χρήστη), 4 (διατήρηση συνέπειας σε ολόκληρη τη διεπιφάνεια χρήσης) και 9 (σχεδιασµός για αποτροπή σφαλµάτων χρήστη) χαρακτηρίζονται από το µεγαλύτερο αριθµό σφαλµάτων ευχρηστίας, ενώ επίσης δεν παρέχεται ολοκληρωµένη βοήθεια (κανόνας 10). Ευρετικός κανόνας Προβλήµατα (αξιολογητής α) Προβλήµατα (αξιολογητής β) Επικαλυπτόµενα προβλήµατα Σύνολο διαφορετικών προβληµάτων Πίνακας 5.6 Πορίσµατα ευρετικής αξιολόγησης. Παρόµοια µε την αντίστοιχη ευρετική αξιολόγηση που διεξήχθη για τον έλεγχο της διεπιφάνειας χρήσης του C.AR.ME, ανακαλύφθηκαν κύρια προβλήµατα σχετικά µε το λεκτικό επίπεδο της αλληλεπίδρασης όπως σηµασιολογικά στοιχεία της ανάδρασης, ποιότητα χρησιµοποιούµενης ορολογίας, σχεδίαση και διάταξη µενού και επιλογών, και ποιότητα της ανάδρασης σε λανθασµένες αλληλεπιδράσεις, προβλήµατα που είναι γενικά δύσκολο να αναγνωρισθούν µε µεθόδους ανάλυσης εργασιών. Μια σηµαντική διαφορά σε σχέση µε την προηγούµενη µελέτη περίπτωσης, ήταν ότι στην περίπτωση αυτή τα περισσότερα προβλήµατα που εντοπίσθηκαν επιλύθηκαν πριν την τελική διεξαγωγή της παρατήρησης πεδίου. Επίσης, ο χαµηλός βαθµός επικάλυψης των αποκαλυφθέντων σφαλµάτων για δύο έµπειρους αξιολογητές διεπιφανειών χρήσης, φαίνεται να επιβεβαιώνει τις εκτιµήσεις των Nielsen και Landauer (1993) Ιεραρχική ανάλυση εργασιών µε βάση δεδοµένα από παρατήρηση πεδίου και δοκιµή ευχρηστίας-ανάλυση VQC Η ιεραρχική ανάλυση εργασιών βασίστηκε στα συλλεχθέντα δεδοµένα από την παρατήρηση πεδίου. Η ανάλυση των παρατηρηθέντων αλληλεπιδράσεων των µαθητών µε το περιβάλλον βασίστηκε σε δεδοµένα από δώδεκα συνεδρίες χρήσης ιδακτορική διατριβή. Σελίδα 169

176 Μελέτες περίπτωσης πλαισίου αξιολόγησης από τη παρατήρηση πεδίου καθώς και δύο δοκιµές ευχρηστίας. Η ανάλυση εργασιών έγινε µε τη µέθοδο που περιγράφεται στην ενότητα 5.2 και οι αλληλεπιδράσεις των µαθητών µε το περιβάλλον ελέγχθηκαν σε αντιδιαστολή µε το µοντέλο εκτιµώµενης αλληλεπίδρασης του σχεδιαστή (Εικόνα 5.12). Από το δείγµα των 34 ζευγαριών µαθητών, επιλέχθηκαν µε τυχαίο τρόπο πέντε, για τους οποίους κατασκευάσθηκαν µοντέλα αλληλεπίδρασης για τα 4 προβλήµατα που τους δόθηκαν. Το σύνολο των στρατηγικών που µοντελοποιήθηκαν ήταν 19, καθώς στο ένα από τα 4 προβλήµατα η µια οµάδα δεν ανέπτυξε δραστηριότητα. Από την ανάλυση προέκυψαν 13 προβλήµατα ευχρηστίας, πολλά εκ των οποίων είχαν καταγραφεί σε περισσότερες από µία στρατηγικές, καθώς συνολικά είχαν καταγραφεί προβλήµατα ευχρηστίας σε 43 κόµβους. Εικόνα 5.12 Μοντέλο σχεδιαστή εκτιµώµενης αλληλεπίδρασης µαθητών µε το ηµιουργό Μοντέλων. Μια γενική διαπίστωση που προκύπτει είναι ότι οι µαθητές εκφράστηκαν µε τη χρήση του περιβάλλοντος, µε τρόπο που οµοιάζει σηµαντικά µε το µοντέλο αναµενόµενης αλληλεπίδρασης από πλευράς σχεδιαστή. Το γεγονός αυτό, καταδεικνύει την εύκολη µετάβαση από το σηµασιολογικό στο συντακτικό επίπεδο της αλληλεπίδρασης (Foley et al., 1990), γεγονός που τεκµαίρει τη σχετικά επιτυχή σχεδίαση της διεπιφάνειας χρήσης στο σκέλος αυτό. Η οµοιότητα αυτή, είναι Σελίδα 170 ιδακτορική διατριβή

177 ΚΕΦΑΛΑΙΟ 5 ισχυρότερη στα υψηλότερα επίπεδα εργασιών, µε πλήρη κάλυψη των απαιτούµενων εργασιών κατά πλάτος. Παράλληλα, όµως, διαπιστώνεται και µη αναµενόµενη οµοιότητα συνολικά στην αλληλεπίδραση των µαθητών µε το περιβάλλον, στο οποίο πιθανώς συνέβαλλε το φύλλο εργασίας (Παράρτηµα Β), το οποίο πρότεινε ένα αδρό διάγραµµα προσέγγισης του εκάστοτε προβλήµατος µε χρήση συγκεκριµένων εργαλείων και οντοτήτων στις σχέσεις. Αντιθέτως, όπως συζητείται στα επόµενα, σηµαντικός αριθµός προβληµάτων ευχρηστίας ανακαλύφθηκε στο λεκτικό επίπεδο της αλληλεπίδρασης, καθώς και στη διαδικασία µετάβασης σε αυτό από το συντακτικό επίπεδο, δηλαδή στα χαµηλότερα επίπεδα της ιεραρχίας του µοντέλου εργασιών. Αν και πολλά ζητήµατα ευχρηστίας είχαν αντιµετωπιστεί επαρκώς, κύρια µε τη συµβολή της ευρετικής αξιολόγησης, η οποία έλαβε χώρα σε προηγούµενο σηµείο του επαναληπτικού κύκλου σχεδιασµού και αξιολόγησης, µε τη µέθοδο ιεραρχικής ανάλυσης εργασιών ανακαλύφθηκε σηµαντικός αριθµός παρανοήσεων εκ µέρους των µαθητών-χρηστών, συχνά λόγω των διαφορετικών προσδοκιών σχετικά µε την αναµενόµενη αλληλεπίδραση. Στη συνέχεια παρέχονται σχετικά παραδείγµατα. Πέρα από την κύρια εργασία κατασκευής ενός µοντέλου, προβλήµατα παρουσιάστηκαν στο άνοιγµα του χώρου κατασκευής µοντέλων (εργασία 1.1). Κατά την επιλογή του, ο χώρος δεν παρουσιάζεται µεγιστοποιηµένος αλλά ελαχιστοποιηµένος, κρυµµένος πίσω από το παράθυρο συνοµιλίας που χρησιµοποιείται κατά τη διάρκεια της από απόσταση συνεργατικής επίλυσης προβληµάτων (το οποίο στη θέση που βρίσκεται καλύπτει την ανάδραση σχετικά µε την υπό επιλογή οντότητα) και χωρίς ανάδραση για την ενέργεια του χρήστη. Το πρόβληµα αυτό αποκαλύφθηκε και στο αρχείο πληκτρολογήσεων, καθώς οι πρώτες ενέργειες ήταν διαδοχικές πιέσεις του αντίστοιχου πλήκτρου, που δεν οδηγούσαν στο επιθυµητό αποτέλεσµα και καταγράφηκε ως σηµαντικό σφάλµα αλληλεπίδρασης (εργασία 1.1.1). Παράλληλα, ενώ γίνεται χρήση λογικής διεπιφάνειας χρήσης πολλαπλών εγγράφων (multiple document interface-mdi), η φόρµα µεγιστοποιείται πλήρως και όχι στον κυρίως χώρο του δηµιουργού µοντέλων, κρύβοντας τις αρχικές γενικές επιλογές (εργασία 1.1.3). Κατά τη διάρκεια κατασκευής του µοντέλου, οι µαθητές στην προσπάθεια τους να επιλέξουν µια νέα ιδιότητα σε µια οντότητα, επιλέγουν συχνά την ιδιότητα ιδακτορική διατριβή. Σελίδα 171

178 Μελέτες περίπτωσης πλαισίου αξιολόγησης αυτή από κυλιόµενη λίστα που αντιστοιχεί στην ήδη επιλεγµένη ιδιότητα, παρά την κυλιόµενη λίστα που αναγράφει Νέα ιδιότητα υπαινισσόµενη ότι µπορεί να επιλεχθεί µια νέα ιδιότητα στο σηµείο αυτό. Πρόβληµα στην κατανόηση της λειτουργίας ενός µοντέλου µπορεί να προκαλέσει το γεγονός ότι η χειρωνακτική εκτέλεση του µοντέλου λάµβανε χώρα µόνο µε σύρσιµο της ποσοτικής απεικόνισης του αιτίου και όχι του αποτελέσµατος. Παράλληλα, εκδηλώθηκαν και νέες πρωτότυπες προσεγγίσεις οι οποίες δεν υποστηρίζονται από το λογισµικό. Παράδειγµα, είναι η προσπάθεια για διαγραφή µιας οντότητας µε το σύρσιµό της πίσω στη βιβλιοθήκη οντοτήτων. Επίσης, οι µαθητές δυσκολεύτηκαν άσκοπα από την παρούσα υλοποίηση της διεπιφάνειας χρήσης, σε σηµεία όπως η αλλαγή αποτελέσµατος σε µια σχέση και η αλλαγή ιδιότητας έχοντας συνδέσει µόνο το αίτιο στη σχέση που επιθυµούν να προσθέσουν, καθώς η σχέση αυτή εξαφανιζόταν. Το πρόβληµα αυτό αποτυπώθηκε στο αρχείο πληκτρολογήσεων µε τις καταγεγραµµένες διαδοχικές προσπάθειες εισαγωγής σχέσης. Η λειτουργικότητα της εργασίας αλλαγή σχέσης µπορεί να εµπλουτιστεί υποστηρίζοντας αποτελεσµατικά τις παραπάνω ενέργειες, καθώς επίσης προσφέροντας τη δυνατότητα αλλαγής φοράς σχέσης. Παράλληλα, θα πρέπει να αναβαθµιστεί η ανάδραση που προσφέρεται στο χρήστη σχετικά µε το ποιες ιδιότητες συνδέονται, καθώς σε περιπτώσεις που ένα µοντέλο περιέχει πολλές σχέσεις, οι πολλές γραµµές που συνδέουν αίτιο και αποτέλεσµα προκαλούν σύγχυση. Λύση θα µπορούσε να αποτελέσει η αλλαγή χρώµατος των συνδεόµενων ιδιοτήτων κατά την επιλογή της αντίστοιχης σχέσης. Κατά την αποθήκευση ενός µοντέλου, σε περίπτωση χρήσης ειδικών χαρακτήρων, όπως / κατά τη διαδικασία εισαγωγής ονόµατος (εργασία 1.6.4) το µοντέλο δεν αποθηκεύεται, χωρίς να Σελίδα 172 ιδακτορική διατριβή

179 ΚΕΦΑΛΑΙΟ 5 παρέχεται σχετική ανάδραση. Παράλληλα, στο διάλογο φόρτωσης µοντέλου η χρήση αντικειµένων που προσοµοιώνουν δενδροειδή ιεραρχία, η οποία κρύβεται ή εµφανίζεται µε τη χρήση του οπτικού πλήκτρου (+), και η εµφάνιση όλων των υποψήφιων χρηστών του συστήµατος στο διάλογο αποθήκευσης φάνηκε να προκαλούν σύγχυση, διαπίστωση που προέκυψε απ ευθείας από την παρατήρηση πεδίου. Τα προβλήµατα αυτά καταγράφηκαν στην αντίστοιχη υπο-εργασία (1.1), που σε ορισµένα µοντέλα αλληλεπίδρασης παρατηρείται αντί για την αρχική διαδικασία επιλογή χώρου δηµιουργίας µοντέλων. Από την επεξεργασία των µοντέλων µαθητή και τη σύγκρισή του µε το αρχικό µοντέλο σχεδιαστή δεν προέκυψαν σηµαντικές διαφοροποιήσεις, καταδεικνύοντας το σηµαντικό βαθµό αντιστοιχίας τους. Επίσης, ανάλυση που προέκυψε µε το άρθρωµα VQC δεν κατέδειξε σηµαντικές διαφοροποιήσεις στην παρατηρηθείσα αλληλεπίδραση ανά φύλλο. Συνολικά Αγόρια Κορίτσια Ανά είκτης Ανά στρατηγ. διαφορ. #χρήσης στρατηγ. #χρήσης Ανά στρατηγ. Είδος εργασίας #χρήσης Γνωστικές εργασίες ,05 0, , ,58 ιαχείριση οντότητας 108 5,68 0, , ,67 Αποθήκευση µοντέλου 77 4,05-0, , ,08 Βιβλιοθήκες σχέσεων 54 2,84 0, , ,83 οκιµή µοντέλου 33 1,74 0, , ,67 Άνοιγµα µοντέλου 26 1,37-0,10 9 1, ,42 Σχέσεις 24 1,26-0,33 7 1, ,42 Βιβλιοθήκες οντοτήτων 19 1,00 0,00 7 1, ,00 Σύνολο ,00 0, , ,67 Πίνακας 5.7 Συχνότητα χρήσης εργαλείων κατά την αλληλεπίδραση µε το ηµιουργό Μοντέλων. ιδακτορική διατριβή. Σελίδα 173

180 Μελέτες περίπτωσης πλαισίου αξιολόγησης Τα αποτελέσµατα της ανάλυσης συνοψίζονται στον Πίνακα 5.7. Όπως φαίνεται, δεν προκύπτουν σηµαντικές διαφοροποιήσεις στην παρατηρηθείσα αλληλεπίδραση µε εξαίρεση τη συχνότερη χρήση του εργαλείου εισαγωγής σχέσεων. (δ.χ.ε=-0,33). Ο υψηλός βαθµός ενεργειών (4,05) για αποθήκευση ενός µοντέλου καταδεικνύει τη σχετικά χαµηλή αποδοτικότητα του εργαλείου. Το γεγονός αυτό ισχύει και για τις απαιτούµενες ενέργειες για άνοιγµα µοντέλου, γεγονός που δε διαφαίνεται στην ανάλυση αυτή, καθώς σε ορισµένες στρατηγικές οι χρήστες ξεκινούσαν την επίλυση του προβλήµατος όντας ήδη στο χώρο δηµιουργίας µοντέλου. Από τα εργαλεία δοκιµής µοντέλου, οι µαθητές χρησιµοποιούσαν σχεδόν πάντα την αυτόµατη εκτέλεση µοντέλου και εναλλακτικά το πολύ µια από τις υπόλοιπες λειτουργίες (χειροκίνητη δοκιµή, βήµα-βήµα, εναλλακτική αναπαράσταση λειτουργίας µοντέλου). Η συσχέτιση εργαλείων της διεπιφάνειας χρήσης και των καταγεγραµµένων προβληµάτων ευχρηστίας µε τη χρήση του αρθρώµατος VQC του εργαλείου CMT, κατέδειξε 4 προβλήµατα που αφορούν στο εργαλείο εισαγωγής σχέσης, 4 που σχετίζονται µε την εισαγωγή και διαχείριση οντότητας, 3 που αφορούν στις λειτουργίες αποθήκευσης, 1 που αφορά στη λειτουργία φόρτωσης µοντέλου και 1 που αφορά στη βιβλιοθήκη οντοτήτων. Κατανοµή χρήσης εργαλείων 16,00 Συχνότητα χρήσης 14,00 12,00 10,00 8,00 6,00 4,00 2,00 0,00 σχε σχεα σχεκ Εργαλεία Εικόνα 5.13 Συχνότητα χρήσης εργαλείων όπως προκύπτει από την ανάλυση µε τη χρήση του αρθρώµατος VQC (σχε, σχεα, σχεκ = συχνότητα χρήσης εργαλείου συνολικά, από αγόρια και από κορίτσια αντίστοιχα). Σελίδα 174 ιδακτορική διατριβή

181 ΚΕΦΑΛΑΙΟ 5 Στο διάγραµµα χρήσης εργαλείων (Εικόνα 5.13), η κατανοµή χρήσης των εργαλείων φαίνεται να ακολουθεί τα χαρακτηριστικά zipf κατανοµής, γεγονός που παρατηρήθηκε και στην ανάλυση που περιγράφεται στην ενότητα Σύγκριση των αποτελεσµάτων ευρετικής αξιολόγησης και της ανάλυσης εργασιών Το προτεινόµενο πλαίσιο σχεδίασης και αξιολόγησης συγκρίνεται µε την ευρέως χρησιµοποιούµενη ευρετική προσέγγιση αξιολόγησης δυνατότητας χρησιµοποίησης σε αυτό το τµήµα. Όπως συζητείται και στην παρουσίαση των µελετών περίπτωσης, η ευρετική αξιολόγηση (HE) εστιάζει σε ζητήµατα σχεδίασης της διεπιφάνειας χρήσης από την άποψη της συνέπειας και συνέχειας, την ύπαρξη και την ποιότητα ανατροφοδότησης και την καταλληλότητα της χρησιµοποιούµενης ορολογίας παρά στην αξιολόγηση των µηχανισµών αλληλεπίδρασης που απαιτήθηκαν για να πραγµατοποιήσουν τις εργασίες, ιδιαίτερα αυτές που χειρίζονται σηµαντικές έννοιες του γνωστικού πεδίου (Sedig et al., 2001). Στο πείραµά που περιγράφεται στην ενότητα 5.2, η ευρετική αξιολόγηση αποκάλυψε σαράντα οκτώ (48) σφάλµατα στη διεπιφάνεια χρήσης του περιβάλλοντος CARME. Όπως αναµένεται, η πλειοψηφία των προβληµάτων που παρουσιάστηκαν µέσω της ευρετικής αξιολόγησης, σχετίζεται µε ζητήµατα παρουσίασης διεπιφάνειας, όπως η καταλληλότητα της γλώσσας που χρησιµοποιήθηκε στους διαλόγους και µενού, τη ρύθµιση αντικειµένων καταλόγων επιλογής, τη σηµασιολογία των χρησιµοποιούµενων µεταφορών στα εικονιδίων, την καταλληλότητα των µεταφορών και την ποιότητα της ανατροφοδότησης σε ορισµένες καταστάσεις του κύκλου αλληλεπίδρασης. Η αποτίµηση χαρακτηριστικών όπως η υποστήριξη στον έλεγχο του χρήστη και ο βαθµός ελευθερίας που του παρέχεται, δεν θα µπορούσε να αξιολογηθεί αξιόπιστα, ειδικά σε τέτοια ανοικτά περιβάλλοντα µάθησης που παρουσιάζουν υψηλό βαθµό αλληλεπίδρασης, δεδοµένου ότι δεν µπορούµε να προσοµοιώσουµε αξιόπιστα τη συµπεριφορά των σπουδαστών χωρίς την ανάµειξη µεθόδων δοκιµής ευχρηστίας στο πλαίσιο αξιολόγησης. ιδακτορική διατριβή. Σελίδα 175

182 Μελέτες περίπτωσης πλαισίου αξιολόγησης Η ανάλυση εργασιών, βασισµένη σε δεδοµένα από την παρατήρηση πεδίου, προσδιόρισε τριάντα ένα (31) σφάλµατα στη διεπιφάνεια του C.A.R.ME, από τα οποία δεκαοχτώ (18) ανακαλύφθηκαν και µε την ευρετική αξιολόγηση. Μέσω αυτής της προσέγγισης ήταν ευκολότερο να γίνουν κατανοητοί οι µηχανισµοί που διέπουν την αλληλεπίδραση µε το περιβάλλον µάθησης, ειδικά στις περιπτώσεις που εκδηλώθηκε µια νέα προσέγγιση από την πλευρά του χρήστη. Σε µερικές περιπτώσεις, οφειλόµενες σε πρωτότυπες στρατηγικές, προέκυψαν νέες απαιτήσεις για τις δυνατές λειτουργίες των εργαλείων τις διεπιφάνειας. Για παράδειγµα, στο περιβάλλον CARME, ανακαλύφθηκε η έλλειψη µηχανισµών που υποβοηθούν την κατασκευή σχηµάτων όπως τα τετράγωνα και η σχεδίαση κύκλων, των οποίων η αναγκαιότητα προσδιορίστηκε κατά τη διάρκεια της µελέτης πεδίου. Παρόµοια σύγκριση δεν είναι εφικτή για την αξιολόγηση του ηµιουργού Μοντέλων, καθώς η ευρετική αξιολόγηση έλαβε χώρα σε αρχικό στάδιο της διαδικασίας σχεδιασµού και υλοποίησης και ο µεγαλύτερος αριθµός σφαλµάτων που ανακαλύφθηκαν διορθώθηκαν επιτυχώς πριν τη παρατήρηση πεδίου και τη χρήση της µεθόδου ανάλυσης εργασιών. Ένα ουσιαστικό συµπέρασµα αυτής της συγκριτικής µελέτης ήταν ότι η ευρετική αξιολόγηση, σε τέτοιου είδους περιβάλλοντα, µπορεί να οδηγήσει σε επιφανειακές αξιολογήσεις καθώς δεν υπάρχει κάποιος σαφής µηχανισµός που να οριοθετεί το πλαίσιο χρήσης του προς αξιολόγηση εκπαιδευτικού λογισµικού µέσα στην ίδια τη διαδικασία της αξιολόγησης. Απόρροια του γεγονότος αυτού είναι η έλλειψη αίσθησης για τις συνέπειες που µπορεί να έχουν τα προβλήµατα που ανακαλύπτουν στη διαδικασία της µάθησης. Η αντίληψη αυτή, είναι σαφώς πιο εµφανής στο προϊόν της µοντελοκεντρικής ανάλυσης. Εποµένως, ο επανασχεδιασµός του εκπαιδευτικού λογισµικού που βασίζεται απλώς στην ευρετική αξιολόγηση µπορεί να µην επηρεάσει θετικά την αποτελεσµατικότερη επανασχεδίασή του. Εντούτοις, τα συµπεράσµατα των δύο προσεγγίσεων φαίνονται να έχουν συµπληρωµατικά στοιχεία, µε τα αποτελέσµατα της µίας να προσδίδουν περαιτέρω αξία στην άλλη. Όπως διαπιστώνει η Karat (1988), ο συνδυασµός µεθόδου αξιολόγησης από ειδικούς, όπως η ευρετική αξιολόγηση και η αξιολόγηση µε τη συµµετοχή χρηστών (αναλυµένες µε τη χρήση της προτεινόµενης µεθόδου ανάλυσης εργασιών), είναι κατάλληλος, καθώς οδηγεί σε αναγνώριση και εκτίµηση προβληµάτων της διεπιφάνειας χρήσης µε σχετικά χαµηλό κόστος στα αρχικά στάδια Σελίδα 176 ιδακτορική διατριβή

183 ΚΕΦΑΛΑΙΟ 5 του επαναληπτικού κύκλου σχεδιασµού και αξιολόγησης, των οποίων η καταλληλότητα της προτεινόµενης επίλυσης διαπιστώνεται µέσα από συνεδρίες χρήσης µε αντιπροσωπευτικούς χρήστες. Η προσέγγιση αυτή εφαρµόστηκε κύρια στη δεύτερη µελέτη περίπτωσης και σηµαντικά σφάλµατα της διεπιφάνειας χρήσης επιλύθηκαν πριν την ανάπτυξη της τελικής έκδοσης που αξιολογήθηκε µε συµµετοχή χρηστών. Γενικά, η ευρετική αξιολόγηση ανακάλυψε προβλήµατα στο λεκτικό επίπεδο της αναµενόµενης αλληλεπίδρασης σχετικά µε τον τρόπο µε τον οποίο το περιβάλλον επικοινωνεί την αλλαγή κατάστασής του στον χρήστη και προσλαµβάνει τις αποκρίσεις του κατά τη διάρκεια µιας αλληλεπίδρασης. Η προτεινόµενη µέθοδος ανάλυσης εργασιών, οδηγεί στη µελέτη και ανάλυση του συντακτικού επιπέδου της πραγµατοποιηθείσας αλληλεπίδρασης, δίνοντας έµφαση στο πώς πραγµατικά αυτός ο διάλογος πραγµατοποιείται και τι δυσκολίες εµφανίζονται σε αυτόν. Παράλληλα, δίνει τη δυνατότητα ελέγχου πληρότητας υποστήριξης των επιθυµητών εργασιών (Abowd, 1992), της ντετερµινιστικής συµπεριφοράς της απόκρισης του συστήµατος στις υποστηριζόµενες ενέργειες από την πλευρά του χρήστη (Johnson and Johnson, 1991, Dix et al., 1998), καθώς και συνέπειας και συνέχειας του τρόπου εκτέλεσης όµοιων εργασιών κατά µήκος της διεπιφάνειας χρήσης (Paterno, 1999). Επίσης, οι δυνατότητες επεξεργασίας του προϊόντος της ανάλυσης διεργασιών που παρέχονται από το άρθρωµα VQC του εργαλείου CMT επιτρέπουν την ανάλυση σε πολλές συνιστώσες. Κατά συνέπεια, η ευρετική αξιολόγηση µπορεί να διαδραµατίσει ένα σηµαντικό υποστηρικτικό ρόλο για να παρουσιάσει τους περιορισµούς της διεπιφάνειας, διευκολύνοντας το συµπερασµό σχετικά µε την αιτία των παρατηρηθέντων σφαλµάτων αλληλεπίδρασης και τις συνέπειες που έχει το χάσµα µεταξύ του µοντέλου σχεδιαστή και του µοντέλου χρήστη στη διαδικασία µάθησης. 5.5 Συµπεράσµατα Το προτεινόµενο πλαίσιο σχεδίασης και αξιολόγησης, που καταγράφει τις λεπτοµέρειες της αλληλεπίδρασης των µαθητών µε το περιβάλλον µάθησης στο γνωστικό επίπεδο, καθώς επίσης και στο επίπεδο πληκτρολόγησης, υποστηριζόµενο από κατάλληλα εργαλεία, είναι µια καινοτόµος προσέγγιση στο πεδίο αξιολόγησης ιδακτορική διατριβή. Σελίδα 177

184 Μελέτες περίπτωσης πλαισίου αξιολόγησης ανοικτών περιβαλλόντων µάθησης. Η προτεινόµενη µεθοδολογική προσέγγιση βασισµένη σε µοντέλα εργασιών, παρέχει τις εκφραστικές (expressive) σηµειωτικές αναπαραστάσεις για την περιγραφή των πλάνων και των εργασιών της αλληλεπίδρασης που περιγράφονται στην ενότητα 4.4.1, συστηµατικές µεθόδους για να υποστηρίξει την προδιαγραφή, την ανάλυση και την αξιοποίηση των µοντέλων εργασιών, υποστήριξη για την αποθήκευση και επαναχρησιµοποίηση ποιοτικών σχεδιαστικά λύσεων, καθώς και εργαλείων για να υποστηρίξει το πλαίσιο διαµορφωτικής αξιολόγησης. Κατά συνέπεια, ικανοποιεί όλες τις προϋποθέσεις που θέτει ο Paterno (1999) για την αποτελεσµατική χρήση ενός µοντελοκεντρικού πλαισίου για σχεδιασµό και αξιολόγηση λογισµικού. Όπως καταδεικνύεται στις µελέτες περίπτωσης, η λεπτοµερής ανάλυση της αλληλεπίδρασης των σπουδαστών κατά τη διάρκεια επίλυσης ενός προβλήµατος µε τη χρήση του ΑΠΜ, η κατασκευή των µοντέλων µαθητή και η ανάλυση τους, µπορεί να οδηγήσει σε ένα αναθεωρηµένο µοντέλο σχεδιασµού, µειώνοντας το χάσµα εκτίµησης και εκτέλεσης, σύµφωνα µε τον Norman (1986). Τα συµπεράσµατα που προκύπτουν είναι πλούσια, και η ταξινόµηση των αποκλίσεων αλληλεπίδρασης σε συντακτικού και σηµασιολογικού τύπου, παρέχει ένα πλαίσιο που συνδέει τους άξονες της ευχρηστίας και της µάθησης (Squires and Preece, 1999) και καθορίζει ένα αποτελεσµατικό πλαίσιο σχεδιασµού των ανοικτών περιβαλλόντων µάθησης. Η προτεινόµενη µοντελοκεντρική τεχνική επιτρέπει τη βαθύτερη κατανόηση της φύσης των στοιχειωδών εργασιών µέσω της ρητής αντιπροσώπευσης και του σχολιασµού τους κατά τη διάρκεια της αποδόµησής τους και του συστηµατικού ελέγχου συνέπειας στις δοµές των µοντέλων µαθητή, προσέγγιση που έχει προταθεί ως απαραίτητη για την έγκυρη αξιολόγηση των ΑΠΜ (Mayes and Fowler, 1999, Sedig et al., 2001). Πρόσθετα πλεονεκτήµατα, σε αυτό το πλαίσιο, εισάγει το CMT που χρησιµοποιήθηκε για να υποστηρίξει τη διαδικασία διαµόρφωσης. Αυτά είναι η δυνατότητα ποσοτικής και ποιοτικής ανάλυσης της διαδικασίας επίλυσης προβληµάτων, τόσο στο µεµονωµένο επίπεδο µαθητών, όσο και σε επίπεδο οµάδας µε συγκεκριµένα χαρακτηριστικά. Χρησιµοποιώντας το περιβάλλον κατασκευής ερωτήσεων VQC, υποστηρίζεται εκτενής ανάλυση πάνω στις διαφορές και τα προσωπικά χαρακτηριστικά των µαθητών, από την άποψη των χρησιµοποιούµενων στρατηγικών και των δυσκολιών που αντιµετωπίζουν. Πρόβληµα της προτεινόµενης προσέγγισης είναι η δυσκολία συµπερασµού του γνωστικού µοντέλου του χρήστη από τα καταγεγραµµένα αρχεία ενεργειών. Το Σελίδα 178 ιδακτορική διατριβή

185 ΚΕΦΑΛΑΙΟ 5 τελευταίο αντιµετωπίστηκε µε τη χρησιµοποίηση των κατάλληλων πρωτοκόλλων δοκιµής ευχρηστίας (οµιλούντος υποκειµένου και συνεντεύξεις), καθώς και τα συµπληρωµατικά εργαλεία ανάλυσης µαγνητοσκοπηµένων συνεδριών χρήσης και καταγεγραµµένων αρχείων ενεργειών. Η καταλληλότητα της εφαρµογής του πρωτοκόλλου οµιλούντος υποκειµένου, ακόµα και σε µαθητές χρήστες µικρής ηλικίας έχει επιβεβαιωθεί και από άλλες σχετικές µελέτες (Donker and Markopoulos, 2001). Τέλος, αυτή η προσέγγιση αυτή, µπορεί να χρησιµοποιηθεί για την εκτίµηση της διαδικασίας µάθησης µε βάση την εποικοδοµητική θεώρηση, δεδοµένου ότι υποστηρίζει τη µελέτη της ανάπτυξης και εξωτερίκευσης των προσωπικών στρατηγικών των µαθητών. Από παιδαγωγική σκοπιά, η προσέγγιση υποστηρίζει τη µελέτη των στρατηγικών µαθητών σε σχέση µε το γενικό µοντέλο σπουδαστών που κατασκευάζεται λαµβάνοντας υπ όψην τις στρατηγικές όλων των µαθητών που συµµετείχαν σε µια ιδιαίτερη µελέτη (µε βάση το CMT). Τα ανοικτά περιβάλλοντα µάθησης γενικά χαρακτηρίζονται από την έλλειψη επαρκών µηχανισµών αξιολόγησης της διαδικασίας µάθησης, δεδοµένου ότι η αναγνώριση των ορθών λύσεων συχνά είναι µια διαδικασία µη πλήρως ορισµένη ώστε να υποστηρίζεται από το λογισµικό. Με τη µοντελοποίηση της αλληλεπίδρασης χρηστών και τη σύγκριση µε τις πιθανές λύσεις του συνολικού µοντέλου, όπως προτείνεται από τους εκπαιδευτικούς εµπειρογνώµονες, διευκολύνεται η διάγνωση της µαθησιακής πορείας του µαθητή µέσα στο περιβάλλον. ιδακτορική διατριβή. Σελίδα 179

186 Μελέτες περίπτωσης πλαισίου αξιολόγησης 5.6 Βιβλιογραφία Abowd, G.D. (1992). Using formal methods for the specification of user interfaces, Selby R, Proceedings of the Second Irvine Software Symposium, ISS 92,pp Bauersfeld, H. (1988). Interaction, Construction and Knowledge: Alternative perspectives for Mathematics Education. In Grows, D. A., Cooney, T. J., Jones, D. (Eds.), Effective Mathematics Teaching (pp.27-46). Hillsdale, New Jersey: N.C.T.M. Lawrence Erlbaum. Confrey, J. (1995). How Compatible are Radical Constructivism, Sociocultural Approaches, and Social Constructivism?. In L.P. Steffe & J. Gale (Eds), Constructivism in Education (pp ). Hillsdale, New Jersey: Lawrence Erlbaum Associates. Crovella, M.E., Bestavros, A. (1997). Self-similarity in world wide web traffic: evidence and possible causes. IEEE/ACM Transactions on Networking, 5(6): Dix, A., Finley, J., Abowd, G., Beale, A. (1998). Human-Computer Interaction, Prentice Hall, Dimitracopoulou, A., Komis, V., Apostolopoulos, P., Politis, P. (1999). Design principles of a new modelling environment for young students, supporting various types of reasoning and interdisciplinary approaches. International Conference on Artificial Intelligence in Education, Le Mans, France. Donker, A., Markopoulos, P. (2001). Assessing the effectiveness of usability evaluation methods for children. In Avouris, N.M., Fakotakis, N., (eds.) Advances in Human Computer Interaction 2001, proceedings of 1st Panhellenic Conference with International participation, 7-9 December, 2001, Patras, Greece, pp Inkpen, K. (1997). Three Important Research Agendas for Educational Multimedia: Learning, Children, and Gender. AACE World Conference on Educational Multimedia and Hypermedia 97, Calgary, AB, June 1997, pp Johnson, H. and Johnson, P. (1991). Task knowledge structures: Psychological basis and integration into system design. Acta Psychologica 78, North Holland, pp Σελίδα 180 ιδακτορική διατριβή

187 ΚΕΦΑΛΑΙΟ 5 Karat, J. (1988). Software Evaluation Methodologies, Handbook of Human- Computer Interaction, M. Helander (ed.), Elsevier Science Publishers, B.V. (North- Holland), pp Kieras, D. (1996). Task analysis and the design of functionality. In CRC Handbook of Computer Science and Engineering, CRC Press. Kordaki, M. and Potari, D. (1998). A learning environment for the conservation of area and its measurement: a computer microworld. Computers and Education, 31, Lewis, C., Brand, C., Cherry, G., Rader, C. (1998). Adapting user interface design methods to the design of educational activities. In proceedings of ACM CHI 98. Mayes, J.T. and Fowler, C.J. (1999). Learning technology and usability: a framework for understanding courseware, Interacting with computers, Nielsen, J. (1994). Usability inspection methods, in J.Nielsen, R.L. Mark (ed.), Usability Inspection Methods, John Willey, New York, Nielsen, J., Landauer, T. K. (1993). A mathematical model of the findings of usability problems. Proceedings ACM/IFIP INTERCHI'93 Conference (Amsterdam, The Netherlands, April 24-29), Paterno F. (1999). Model-based Design and Evaluation of Interactive Applications, Springer Verlag. Sedig, K., Klawe, M., Westrom, M. (2001). Role of Interface Manipulation Style and Scaffolding on Cognition and Concept Learning in Learnware. ACM Transactions on Computer-Human Interaction, 8 ( 1), March 2001, pp Soloway, E., Jackson, S.L., Klein, J., Quintana, C., Reed, J., Spitulnik, J., Stratford, S.J., Studer, S., Eng, J., Scala, N. (1996). Learning theory in practice: case studies of learner-centered design. Proceedings of CHI'96: Human factors in Computing Systems, April 13-18, 1996, Vancouver, B.C., Canada. ACM Press, pp Squires D. and Preece, J. (1999). Predicting quality in educational software: Evaluating for learning, usability and the synergy between them, Interacting with Computers, 11, pp Tselios, N.K, Avouris, N.M., Kordaki, M. (2002). Student task modeling in design and evaluation of open-problem solving environments. Journal of Education and Information Technologies, (accepted for publication). ιδακτορική διατριβή. Σελίδα 181

188 Μελέτες περίπτωσης πλαισίου αξιολόγησης Tselios, Ν.K., Maragoudakis, M., Avouris, Ν. M., Fakotakis, N., Kordaki, Μ. (2001). Automatic diagnosis of student problem solving strategies using Bayesian Networks. 5th Panhellenic conference in mathematics and informatics in education, Thessaloniki, October 2001 (in Greek). Κορδάκη, Μ., (1999). Οι έννοιες της διατήρησης και της µέτρησης της επιφάνειας µέσα από το σχεδιασµό την υλοποίηση και την αξιολόγηση εκπαιδευτικού λογισµικού. Αδηµοσίευτη διδακτορική διατριβή, Πάτρα, Απρίλιος, Σελίδα 182 ιδακτορική διατριβή

189 ΚΕΦΑΛΑΙΟ 6 Κεφάλαιο 6. Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης Στο κεφάλαιο αυτό παρουσιάζονται οι προοπτικές αξιοποίησης µιας µεθόδου µηχανικής µάθησης, αυτής των πιθανοτικών δικτύων πεποίθησης Bayes (Bayesian Belief Networks-BBN), για την επέκταση της προτεινόµενης µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ. Με τη χρήση ΒΒΝ, κατασκευάστηκε και αξιολόγήθηκε µια πρωτότυπη µέθοδος αυτόµατης αναγνώρισης στρατηγικών επίλυσης προβληµάτων σε ανοιχτά περιβάλλοντα µάθησης. Η µέθοδος εµφάνισε υψηλό ποσοστό αποτελεσµατικότητας και οι πιθανές εφαρµογές της φαίνεται να είναι σηµαντικές, ιδιαίτερα στο σκέλος της υποστήριξης του πλαισίου αξιολόγησης που περιγράφεται στο κεφάλαιο 4. Στη δεύτερη µελέτη σχεδιάστηκε, αναπτύχθηκε και αξιολογήθηκε ένα άρθρωµα προσαρµοστικής υποστήριξης χρηστών (AΠΥΜ) για ένα ανοικτό περιβάλλον µάθησης. Η αρχιτεκτονική του ΑΠΥΜ βασίστηκε σε BBN, ενώ η σχεδίαση της παρουσιασθείσας βοήθειας, βασίστηκε στο προϊόν της ανάλυσης διεργασιών των παρατηρηθέντων αλληλεπιδράσεων των µαθητών µε το περιβάλλον. Και στην µελέτη αυτή τα αποτελέσµατα ήταν σηµαντικά οδηγώντας σε αποτελεσµατική προσαρµογή της θεµατικής βοήθειας ανάλογα µε την εκτιµηθείσα επόµενη ενέργεια του χρήστη. Η διατριβή υποστηρίζει ότι ένα αποδοτικότερο και προσαρµοστικό σύστηµα υποβοήθησης χρηστών αυξάνει έµµεσα την παιδαγωγική αξία του περιβάλλοντος καθώς συµβάλλει στη διαφάνεια του εργαλείου, σε πιο οµαλή ροή εκτέλεσης των διεργασιών και ενισχύει τη δυνατότητα εκµάθησης σύνθετων εργαλείων που συνήθως συµπεριλαµβάνονται στα ανοικτά περιβάλλοντα µάθησης, παρέχοντας σταδιακή υποστήριξη (scaffolding). ιδακτορική διατριβή. Σελίδα 183

190 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης 6.1 Εισαγωγή Όπως προκύπτει, από τη µελέτη αξιολόγησης του ΑΠΜ C.AR.ME που περιγράφεται στο κεφάλαιο 5, το προτεινόµενο πλαίσιο αξιολόγησης µπορεί να εφαρµοστεί αποτελεσµατικά και στην περίπτωση της εκ των υστέρων συλλογής και ανάλυσης αρχείων πληκτρολογήσεων που έχουν συλλεχθεί κατά τη διεξαγωγή µελέτης παρατήρησης πεδίου. Η ανάλυση ενός µεγάλου συνόλου στρατηγικών µε την ανάλυση διεργασιών προφανώς θα ήταν µια πολύ επίπονη διαδικασία, αφετέρου δε λόγω της επαναληψιµότητας των προσεγγίσεων το µεγάλο πλήθος δεδοµένων θα προσέθετε λίγα στη διαδικασία της αξιολόγησης. Για το σκοπό αυτό στο πλαίσιο της ερευνητικής προσπάθειας που περιγράφεται στο κεφάλαιο 5, επιχειρήθηκε η κατασκευή τεχνικής αυτόµατης κατηγοριοποίησης στρατηγικών. Στόχος ήταν η κατασκευή µιας µεθόδου που θα αναγνωρίζει µε αυτόµατο τρόπο την ακολουθούµενη στρατηγική επίλυσης δοθέντος προβλήµατος σε ένα ΑΠΜ, από το αρχείο πληκτρολογήσεων. Με τον τρόπο αυτό µπορεί να γίνει µια περισσότερο αντιπροσωπευτική διαλογή των εκπεφρασµένων στρατηγικών των µαθητών που θα αντιπροσωπευτούν αναλογικά προς το ποσοστό παρουσίας τους στο συνολικό δείγµα (Tselios et al., 2001). Ένα επόµενο πρόβληµα που επιχειρείται να επιλυθεί στα πλαίσια της διατριβής είναι αυτό της κατάλληλης υποβοήθησης των µαθητών-χρηστών σε ένα ΑΠΜ. Για το σκοπό αυτό, προτείνεται κατάλληλη αξιοποίηση του προϊόντος της ανάλυσης διεργασιών για κατασκευή αρθρώµατος βοήθειας εστιασµένης στις διεργασίες. Παράλληλα, προτείνεται αρχιτεκτονική προσαρµοστικής υποβοήθησης, µε αυτόµατη αναγνώρισης της επιθυµητής διεργασίας προς εκτέλεση και εµφάνιση σχετικής µε αυτή βοήθεια, όποτε ζητηθεί από τους µαθητές/ χρήστες. Το εκπαιδευτικό λογισµικό, αλλά και γενικά τα συστήµατα λογισµικού παρουσιάζουν διαρκώς αυξανόµενη τάση πολυπλοκότητας και προσφερόµενης λειτουργικότητάς στο µαθητή (χρήστη). Η βασική ιδέα είναι ότι µε την ενσωµάτωση χαρακτηριστικών προσαρµοστικής υποβοήθησης επιτυγχάνεται εξοµάλυνση στην πολυπλοκότητα και προσαρµοστικότητα της διεπιφάνειας χρήσης, η οποία γίνεται περισσότερο διαφανής σε σχέση µε τη διεργασία που επιθυµεί να επιτελέσει ο χρήστης. Σελίδα 184 ιδακτορική διατριβή.

191 ΚΕΦΑΛΑΙΟ 6 Η σταδιακή, προσαρµοζόµενη βοήθεια είναι συµβατή µε το κοινωνικόεποικοδοµιστικό θεωρητικό πλαίσιο που εκφράζουν τα περιβάλλοντα αυτά. Ο όρος σταδιακή υποστήριξη (scaffolding) αναφέρεται στη διαδικασία υποβοήθησης του µαθητή από το δάσκαλό του ή άλλο µαθητή µε µεγαλύτερη γνώση µε στόχο την κατάλληλη διαµόρφωση διεργασιών µάθησης, οι οποίες διαφορετικά δεν θα ήταν δυνατόν να εκτελεστούν (Rogoff, 1990). O όρος αυτός συνδέεται στενά µε την έκφραση του Vygotsky (1978) για την ζώνη εγγύτατης ανάπτυξης (zone of proximal development) που αναφέρει την περιοχή εκείνη των διεργασιών που µπορεί να φέρει σε πέρας (και τελικώς να αναπτύξει αυξηµένη δεξιότητα) ο µαθητής µόνος του ή µε βοήθεια. Σταδιακή υποστήριξη, µπορεί να παρέχεται στον χρήστη χωρίς να αναιρείται η ενεργητική διαδικασία κατασκευής γνώσης από τον µαθητή ( Merrill et al., 1995). Σε πρόσφατες ερευνητικές προσπάθειες, η έννοια της υποβοήθησης σε ΑΠΜ αναφέρεται κύρια σε χαρακτηριστικά που υποβοηθούν τους µαθητές να παρουσιάσουν πρόοδο σε διεργασίες που διαφορετικά δεν θα µπορούσαν, υπενθυµίζονται ενέργειες που πρέπει να εκτελέσουν (Davis and Linn, 2000), παρέχοντας εργαλεία που υποστηρίζουν την οργάνωση και σχεδιασµό της διαδικασίας επίλυσης ενός προβλήµατος (Quintana et al., 1999), ή εκτελώντας αυτόµατα χαµηλού επιπέδου ενέργειες (Collins and Brown, 1988). Η υλοποίηση τέτοιων χαρακτηριστικών, προϋποθέτει τη, µερική έστω, µοντελοποίηση του χρήστη ή και των διεργασιών που επιτελούνται σε ένα περιβάλλον. Οι µέθοδοι διαχείρισης αβεβαιότητας παίζουν σηµαντικό ρόλο στην αναγνώριση και κατανόηση των στόχων και προθέσεων πίσω από τις ενέργειες που εκτελεί ο χρήστης σε ένα εκπαιδευτικό περιβάλλον (Jameson, 1995). Μια τέτοιου είδους κατανόηση µπορεί να υποβοηθήσει σηµαντικά τη βελτίωση της ευχρηστίας του περιβάλλοντος και η ενσωµάτωση της σε πραγµατικό χρόνο χρήσης οδηγεί στην παρουσίαση προσαρµοστικών χαρακτηριστικών στη διεπιφάνεια χρήσης (Luger and Stubblefield, 1998). Η κατασκευή µοντέλων που αναπαριστούν σε κάποιο βαθµό τη δραστηριότητα του χρήστη σε ένα περιβάλλον επιτυγχάνεται µέσω µεθόδων µηχανικής µάθησης. Μια από τις µεθόδους οι οποίες έχουν υιοθετηθεί σε προβλήµατα που άπτονται της ενσωµάτωσης ευφυών χαρακτηριστικών της διεπιφάνειας χρήσης ενός λογισµικού είναι τα πιθανοτικά δίκτυα πεποίθησης Bayes (Bayesian Belief Networks- στο εξής BBN). Αυτό οφείλεται κύρια στην εργασία του Pearl (1988) και άλλων ερευνητών το τέλος της δεκαετίας του '80 που δείχνει ότι ο ιδακτορική διατριβή. Σελίδα 185

192 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης συµπερασµός µε χρήση τεχνικών ΒΒΝ είναι εφικτός σε ρεαλιστικό χρόνο (αν και σε γενικές γραµµές η δυσκολία του προβλήµατος είναι NP-hard). Το γεγονός αυτό σε συνδυασµό µε τη διαρκή και σηµαντική αύξηση της διαθέσιµης υπολογιστικής ισχύος οδήγησε σε σηµαντική έρευνα για ανάπτυξη αλγορίθµων για κατασκευή BBN και την περαιτέρω, ανατροφοδοτούµενη, διάδοση της µεθόδου (Niedermayer, 1998, Stephenson, 2000). Η βασική ιδέα στα ΒΒΝ είναι ότι ένα πρόβληµα συµπερασµού σε ένα πεδίο διαµορφώνεται ως σύνολο κόµβων που διασυνδέονται µε κατευθυνόµενες συσχετίσεις για να διαµορφώσει ένα κατευθυνόµενο ακυκλικό γράφο. Κάθε κόµβος αντιπροσωπεύει µια µεταβλητή του προβλήµατος, ή την αβέβαιη ποσότητα, οι οποίες µπορούν να πάρουν δύο ή περισσότερες (διακριτές) πιθανές τιµές. Οι κατευθυνόµενες συσχετίσεις δηλώνουν την ύπαρξη άµεσων επιρροών µεταξύ των συνδεµένων µεταβλητών, και η ισχύς κάθε επιρροής ποσοτικοποιείται από µια κατανοµή πιθανότητων υπό όρους η οποία απορρέει από τον τύπο δεσµευµένης πιθανότητας του Bayes. Τα BBN παρουσιάζουν σηµαντικά πλεονεκτήµατα σε σχέση µε άλλους αλγόριθµους µηχανικής µάθησης (Stephenson, 2000). Στην πρώτη µελέτη περιγράφεται επέκταση του πλαισίου σχεδιασµού και αξιολόγησης ΑΠΜ, µε την κατασκευή µεθόδου αυτόµατης αναγνώρισης στρατηγικών επίλυσης προβληµάτων σε ανοιχτά περιβάλλοντα µάθησης, µε τη χρήση ΒΒΝ. Στη δεύτερη µελέτη σχεδιάστηκε, αναπτύχθηκε και αξιολογήθηκε ένα άρθρωµα προσαρµοστικής υποστήριξης χρηστών (AΠΥΜ) για ένα ανοικτό περιβάλλον µάθησης. Η σχεδίαση της παρουσιασθείσας βοήθειας βασίστηκε στο προϊόν της ανάλυσης διεργασιών των παρατηρηθέντων αλληλεπιδράσεων των µαθητών µε το περιβάλλον. Πριν την αναλυτική παρουσίαση των µελετών αυτών, παρουσιάζεται το µαθηµατικό πλαίσιο των BBN και η προτεινόµενη αλγοριθµική προσέγγιση για την κατασκευή τους, καθώς και άλλες σχετικές ερευνητικές προσπάθειες εφαρµογής τους στη βελτίωση χαρακτηριστικών της διεπιφάνειας χρήσης εκπαιδευτικού λογισµικού. Σελίδα 186 ιδακτορική διατριβή.

193 ΚΕΦΑΛΑΙΟ ίκτυα Bayes Γενικά-Ορισµός Τα ίκτυα Πεποίθησης Bayes (Bayesian Belief Networks,ΒΒΝ) αποτελούν ένα σηµαντικό εργαλείο αναπαράστασης γνώσης και εξαγωγής συµπερασµάτων, υπό συνθήκες αβεβαιότητας. εδοµένου ενός συνόλου µεταβλητών D = <X 1, X 2 X N >, όπου κάθε µεταβλητή X i παίρνει τιµές από ένα σύνολο T(Xi), ένα BBN περιγράφει την κατανοµή πιθανότητας στο σύνολο αυτό. Με κεφαλαία γράµµατα, όπως X,Y συµβολίζουµε µεταβλητές και πεζά γράµµατα όπως x,y συµβολίζουµε τις τιµές των µεταβλητών αυτών. Τυπικά, ένα BBN είναι ένας κατευθυνόµενος ακυκλικός γράφος (Directed Acyclic Graph- DAG) που αναπαριστά µία συνδυασµένη πιθανοτική κατανοµή (joint probability distribution). Ένα δίκτυο Β συµβολίζεται σαν ένα ζεύγος Β=<G,Θ> (Pearl, 1988) όπου G ένας DAG του οποίου οι κόµβοι αντιστοιχούν στις µεταβλητές του D και Θ το σύνολο των παραµέτρων που ποσοτικοποιούν το δίκτυο. Ο G ενσωµατώνει την ακόλουθη υπόθεση για την ανεξαρτησία των παραµέτρων: Κάθε µεταβλητή Xi είναι ανεξάρτητη από τις µη-απογόνους της, δεδοµένου του συνόλου των πατρικών της µεταβλητών. Η παράµετρος Θ περιλαµβάνει πληροφορίες για την κατανοµή πιθανότητας µιας τιµής x i µιας µεταβλητής Χ i, δεδοµένων των τιµών των αµέσως προηγουµένων µεταβλητών. Η µοναδική συνδυασµένη πιθανοτική κατανοµή για το σύνολο <X 1, X 2 X N > που περιγράφει ένα δίκτυο Β υπολογίζεται από την εξίσωση (6.1): N PB ( X 1... X N ) = P( xi πατρικο ί ( X i )) (6.1) i = Εκπαίδευση ΒΒΝ από δεδοµένα Για τη διαδικασία εξαγωγής συµπερασµάτων µε στόχο τη συσχέτιση των καταγεγραµµένων αλληλεπιδράσεων του µαθητή µε τις στρατηγικές που ακολούθησε, χρειάζεται να εκπαιδευτεί το δίκτυο από ήδη διαθέσιµα δεδοµένα. Η επιλογή των παραµέτρων χρήζει ιδιαίτερης προσοχής, καθότι ο αριθµός των πιθανών ιδακτορική διατριβή. Σελίδα 187

194 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης N ( N 1) 2 δικτύων που µπορούν να τις περιγράψουν, ισούται µε 2, όπου Ν ο αριθµός των µεταβλητών. Η εκπαίδευση ενός ΒΒΝ περιλαµβάνει δύο διαδικασίες, την εκπαίδευση της δοµής και την εκπαίδευση των παραµέτρων Θ της δοµής αυτής. Για τη δεύτερη διαδικασία, χρησιµοποιούµε τις συχνότητες εµφάνισης των τιµών του σώµατος εκπαίδευσης (Cooper and Herskovits, 1992). Όσον αφορά τη δοµή του δικτύου, χρησιµοποιούµε την παρακάτω εξίσωση µαζί µε το θεώρηµα του Bayes για να εξακριβώσουµε τη σχέση r µεταξύ δύο υποψηφίων δικτύων Β 1 και Β 2 αντίστοιχα: P( B1 D) r = (6.2) P( B D) 2 P ( D B ) P ( B ) P ( B D ) = (6.3) P ( D ) όπου: P(B D) η πιθανότητα το δίκτυο B να είναι το επιθυµητό δεδοµένου του συνόλου D. P(D B) η πιθανότητα που δίνει το δίκτυο Β στα δεδοµένα D. P(D) η «γενική» πιθανότητα των δεδοµένων. P(B) η πιθανότητα του δικτύου Β προτού να δοθούν τα δεδοµένα. Εφαρµόζουµε την εξίσωση (6.3) στη (6.2). Θεωρώντας ότι τα υποψήφια δίκτυα είναι ισοπίθανα (P(B 1 )=P(B 2 )) -λαµβάνοντας υπ όψην ότι δεν έχουµε πρότερη γνώση για την πιθανότητα ενός δικτύου πριν δούµε τα δεδοµένα- η σχέση που εκφράζει το r γίνεται (εξίσωση 6.4): P( D B1 ) r = (6.4) P( D B ) 2 Η πιθανότητα που δίνει το δίκτυο στα δεδοµένα υπολογίζεται από την εξίσωση 6.5 των Glymour and Cooper (1999): P ( D B ) = n qi ri ijk q i ri q i Ξ Ξ i = 1 j = 1 k = 1 Γ ( + N ij ) Γ ( q i ri q ) i Ξ Γ ( ) Γ ( Ξ + N ) (6.5) Σελίδα 188 ιδακτορική διατριβή.

195 ΚΕΦΑΛΑΙΟ Naive Bayes Σε αντίθεση µε τα ΒΒΝ, o αλγόριθµος ταξινόµησης Naive Bayes βασίζεται στην υπόθεση ότι οι τιµές των µεταβλητών <X 1, X 2 X N > είναι πιθανοτικά ανεξάρτητες, δεδοµένης µιας τιµής ταξινόµησης v(στρατηγική χρήστη). Έχοντας παράσχει ένα σώµα εκπαίδευσης, όταν εισάγουµε ένα νέο διάνυσµα, το οποίο περιγράφεται από ένα σύνολο τιµών <x 1, x 2 x N >, ο αλγόριθµος Naive Bayes το ταξινοµεί προβλέποντας την τιµή ταξινόµησης V NB χρησιµοποιώντας την εξίσωση 6.6: V NB = arg max P( v ) P( x v ) (6.6) j v j V i = 1 n i j Όπου v j είναι µία πιθανή τιµή ταξινόµησης που ανήκει σε ένα πεπερασµένο σύνολο V. Οι όροι P(v j ) και P(x i v j ) εκτιµώνται υπολογίζοντας τη συχνότητα εµφάνισης στο σώµα εκπαίδευσης. Για παράδειγµα, για την πρώτη µελέτη περίπτωσης, που συζητείται στα επόµενα, οι στρατηγικές είναι 13. Εποµένως, ο όρος P(v j ) υπολογίζεται µετρώντας πόσες φορές εµφανίστηκε η εκάστοτε στρατηγική στο σώµα εκπαίδευσης και διαιρώντας µε το συνολικό αριθµό των διανυσµάτων του σώµατος εκπαίδευσης. Αντίστοιχα, ο όρος P(x i v j ) είναι ο αριθµός των περιπτώσεων που η τιµή x i εµφανίστηκε µαζί µε τη τιµή ταξινόµησης v j. Για το λόγο αυτό ο χρόνος εκπαίδευσης είναι σηµαντικά λιγότερος σε σχέση αυτόν ενός BBN. Εφόσον η εκπαίδευση έχει λάβει χώρα, ο χρόνος απόκρισης για τη διαδικασία εξαγωγής συµπεράσµατος για την κλάση ενός νέου διανύσµατος είναι ισότιµος. Μάλιστα, όταν έχουµε πολλές µεταβλητές τα ΒΒΝ υπερτερούν διότι εξετάζουν µόνο εκείνες που επηρεάζουν την κλάση, οπότε στη χειρότερη περίπτωση που την επηρεάζουν όλες, τα ΒΒΝ αποκρίνονται το πολύ στον ίδιο χρόνο µε τον αλγόριθµο Naive Bayes Εφαρµογές δικτύων Bayes στην εκπαίδευση ιάφορες ερευνητικές προσπάθειες έχουν προταθεί που δείχνουν ότι τα ΒΒΝ είναι κατάλληλα για την αποτελεσµατική µοντελοποίηση της συµπεριφοράς του µαθητή σε ένα εκπαιδευτικό περιβάλλον (Jameson, 1995). Ποικίλες µέθοδοι έχουν προταθεί για τη χρήση των BBN ώστε να επιτευχθεί κάποιου βαθµού ιδακτορική διατριβή. Σελίδα 189

196 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης προσαρµοστικότητα σε εκπαιδευτικά περιβάλλοντα σε άξονες όπως αναγνώριση στόχων µαθητή, καθορισµός ανάδρασης, καθορισµός ροής διδασκόµενης ύλης και βελτιστοποίηση παραµέτρων παιδαγωγικών στρατηγικών για την προσφορά της γνώσης. Το σύστηµα ANDES (Conati et al., 1997), που υλοποιήθηκε για τη διδασκαλία µεθόδων επίλυσης προβληµάτων φυσικής σε µαθητές κολεγίου, χρησιµοποιεί δίκτυα Bayes για να αναγνωρίσει σε πραγµατικό χρόνο την προσέγγιση που εκφράζει ο χρήστης για την επίλυση ενός προβλήµατος µέσα στο περιβάλλον. Μέσα από την αναγνώριση της στρατηγικής αυτής, και τον βαθµό εξέλιξής του προς την ορθή επίλυση του προβλήµατος, χρησιµοποιείται ένα δεύτερο BBN για να καθορίσει τις έµµεσες παρατηρήσεις και συµβουλές που δίνει το σύστηµα. Επιπροσθέτως, πέρα από τη χρησιµοποίηση των δικτύων Bayes για συµπερασµό σε χαµηλό επίπεδο αλληλεπίδρασης για τις ενέργειες του µαθητή, είναι δυνατή η χρήση των δικτύων Bayes για συµπερασµό σε ένα υψηλότερο επίπεδο. Οι Collins et al. (1996), κατασκεύασαν BBN που αναπαριστά µια ιεραρχία ικανοτήτων που αφορύν στην αριθµητική, συνδυάζοντας το προσφερόµενο εκπαιδευτικό υλικό (θεωρία και ερωτήσεις αξιολόγησης), και την εκδηλωθείσα ικανότητα του µαθητή σε συγκεκριµένα θέµατα. Η σηµασιολογία των συνδέσµων του γράφου αναπαριστά ποιες ερωτήσεις συσχετίζονται µε συγκεκριµένα θέµατα. Το σύστηµα ανά πάσα στιγµή εξετάζει την τρέχουσα εκτίµηση της ικανότητας που παρουσιάζει ο µαθητής, για να υπολογίσει την πιθανότητα ορθής απάντησης για τις ερωτήσεις που περιέχει το συγκεκριµένο θέµα που µελετά. Ακολούθως, το σύστηµα επιλέγει ερωτήσεις στις οποίες προϋπολογίζει ότι ο µαθητής έχει πιθανότητα περίπου 50% να απαντήσει σωστά. Ανάλογα µε την επιλεχθείσα παιδαγωγική προσέγγιση τα κριτήρια επιλογής µπορούν να τροποποιηθούν κατάλληλα. Το σύστηµα CAPIT, (Mayo and Mitrovic, 2000) αποτελεί ένα σύστηµα διδασκαλίας ορθής χρήσης κεφαλαίων και στίξης για την αγγλική γλώσσα, που χρησιµοποιεί BBN για τη δυναµική µοντελοποίηση της πορείας του µαθητή στο συγκεκριµένο γνωστικό αντικείµενο. Συγκριτική αξιολόγηση του συστήµατος µε µια µη προσαρµοζόµενη έκδοση, κατέδειξε την καλύτερη και ταχύτερη κατανόηση του γνωστικού αντικειµένου από τους χρήστες που χρησιµοποίησαν την προσαρµοζόµενη, µέσω ΒΒΝ, έκδοση. Όπως περιγράφεται στα ανωτέρω, η µέθοδος BBN έχει εφαρµοστεί σε σηµαντικό βαθµό σε παραδοσιακά συστήµατα εκπαίδευσης συµπεριφοριστικού τύπου µε τµήµατα θεωρίας και αξιολόγησης. Η διατριβή αυτή προτείνει την εφαρµογή των µεθόδων αυτών σε ανοιχτά περιβάλλοντα µάθησης. Παρά το γεγονός Σελίδα 190 ιδακτορική διατριβή.

197 ΚΕΦΑΛΑΙΟ 6 ότι η αναγνώριση των στρατηγικών σε ένα τέτοιο περιβάλλον παρουσιάζει δυσκολίες λόγω της ανοιχτής φύσης της αλληλεπίδρασης, εν τούτοις η χρήση των BBN µπορεί να συνεισφέρει τόσο στην αυτόµατη αναγνώριση στρατηγικών χρήσης, όσο και στην αυτόµατη προσαρµογή της υποβοήθησης χρήσης ενός ΑΠΜ όπως περιγράφεται στις προτεινόµενες τεχνικές στις ενότητες 6.3 και Χρήση δικτύων Bayes για υποβοήθηση πλαισίου µοντελοποίησης στην αξιολόγηση του CARME Χαρακτηριστικά πειράµατος Στην ενότητα αυτή, περιγράφεται µια µέθοδος αυτόµατης καταγραφής αναγνώρισης στρατηγικών επίλυσης προβληµάτων µε χρήση των τεχνικών της προηγούµενης ενότητας. Για τη κατασκευή της προτεινόµενης τεχνικής χρησιµοποιήθηκαν δεδοµένα παρατήρησης πεδίου από την αλληλεπίδραση µιας οµάδας 30 µαθητών πρώτων τάξεων γυµνασίου σε συνθήκες σχολικού εργαστηρίου µε τον µικρόκοσµο C.AR.ME. Περισσότερα για τη διεξαγωγή του πειράµατος και το περιβάλλον µάθησης C.AR.ME., αναφέρονται στο κεφάλαιο 5. Η πλήρης ενσωµάτωση τέτοιων περιβαλλόντων στην εκπαιδευτική διαδικασία παρουσιάζει εγγενείς δυσκολίες από την άποψη του ότι η µαθησιακή πορεία του µαθητή δεν µπορεί να αναγνωρισθεί πλήρως, ιδιαίτερα σε περίπτωση που η αναγνώριση αυτή πρέπει να γίνει εκ των υστέρων από τον εκπαιδευτικό ή τον ερευνητή, χωρίς την παρουσία του µαθητή. Στην περίπτωση αυτή, η συνήθης πηγή αποτύπωσης της δραστηριότητας του µαθητή είναι ένα αρχείο καταγραφής πληκτρολογήσεων (log file). Η διαδικασία εξαγωγής συµπερασµάτων από τα αρχεία αυτά µε µεθόδους όπως η µοντελοποίηση των γνωστικών στόχων του µαθητή µέσω της ανασύνθεσης υψηλότερου ιεραρχικά επιπέδου διεργασιών αποτελεί την πρόταση της διατριβής για την αντιµετώπιση του προβλήµατος αυτού. Η µέθοδος αυτή όµως απαιτεί συστηµατική ανάλυση όλων των αλληλεπιδράσεων καθώς και την εµπλοκή πεπειραµένων αξιολογητών στην παραγωγή των γνωστικών µοντέλων των µαθητών. Κατά συνέπεια θα ήταν επιθυµητή η κατασκευή ενός αυτόµατου εργαλείου καταγραφής και αναγνώρισης των ακολουθούµενων στρατηγικών, µε σχετικά υψηλό ιδακτορική διατριβή. Σελίδα 191

198 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης βαθµό ακριβείας. Η ανάλυση τέτοιων αποτελεσµάτων µπορεί να προσφέρει τόσο στον τοµέα της σχεδίασης και αξιολόγησης του περιβάλλοντος µάθησης µέσω της επιλογής αντιπροσωπευτικών στρατηγικών µαθητών προς ανάλυση και µοντελοποίηση, όσο και στην αξιολόγηση του εκπαιδευτικού αποτελέσµατος και κατάλληλης υποστήριξης των µαθητών. Η ερευνητική προσπάθεια που περιγράφεται, εστιάζει στη διαδικασία που ακολουθήθηκε για τη κατασκευή ενός τέτοιου αυτόµατου εργαλείου. Το µοντέλο που δηµιουργήθηκε και περιγράφεται στη συνέχεια βασίστηκε στη χρήση ικτύων Πεποίθησης Bayes (Bayesian belief networks-bbn). Ως πηγή εκπαίδευσης των δικτύων αυτών χρησιµοποιήθηκαν αρχεία αλληλεπίδρασης (log-files) των µαθητών µε το περιβάλλον µάθησης. Τα αρχεία αυτά συσχετίστηκαν µε τη στρατηγική επίλυσης, και προεπεξεργάστηκαν µε τη χρήση ενός αναλυτή αρχείων αλληλεπίδρασης (log file parser) ώστε να αποθηκευτούν σε κατάλληλη µορφή για την εφαρµογή αλγορίθµων κατασκευής ΒBΝ. Οι κατηγορίες των συγκρίσεων/στρατηγικών Αριθµός στρατ/κών %επί του δείγµατος 1. Με το µάτι Με την περίµετρο 1 0,87 3. Με την αυτόµατη λειτουργία της µέτρησης 21 18,42 4. Με τις προσοµοιωµένες αισθησιοκινητικές ενέργειες (ακε) των παιδιών 14 12,28 5. Με τη λειτουργία της µέτρησης 27 23,68 6. Με τους αυτόµατους µετασχηµατισµούς & τη λειτουργία της µέτρησης 11 9,64 7. Με τους αυτόµατους µετασχηµατισµούς 14 12,28 8. Με τους αυτόµατους µετασχηµατισµούς & τις προσοµοιωµένες ακε των 16 14,03 παιδιών 9. Με την αυτόµατη λειτουργία της µέτρησης & τους αυτόµατους 3 2,63 µετασχηµατισµούς 10. Με την αυτόµατη λειτουργία της µέτρησης & τις προσοµοιωµένες ακε 2 1, Με τους τύπους υπολογισµού & τις προσοµοιωµένες ακε 1 0, Με τους τύπους υπολογισµού & την αυτόµατη λειτουργία της µέτρησης 1 0, Με αυτόµατους µετασχηµατισµούς & προσοµοιωµένες ακε & τη 3 2,63 λειτουργία της µέτρησης & µε τύπους υπολογισµού σε συνδυασµό µε τον εγκλεισµό του πολυγ. Σύνολο Πίνακας 6.1 Οι δυνατές στρατηγικές που µπορεί να χρησιµοποιήσει ο χρήστης. Σελίδα 192 ιδακτορική διατριβή.

199 ΚΕΦΑΛΑΙΟ 6 Το πείραµα περιελάµβανε την επίλυση δύο προβληµάτων, τον µετασχηµατισµό ενός µη-κυρτού πολυγώνου σε ένα ισοδύναµο ως προς την επιφάνεια σχήµα και το πρόβληµα της σύγκρισης ενός µη-κυρτού πολυγώνου µε ένα τετράγωνο (Kορδάκη, 1999). Οι µαθητές κλήθηκαν να επιλύσουν και τα δύο προβλήµατα µε όλους τους δυνατούς τρόπους µε χρήση των εργαλείων που διατίθενται από τον µικρόκοσµο. Η ανάλυση των στρατηγικών επίλυσης που ακολούθησαν οι µαθητές προκειµένου να αντιµετωπίσουν τα παραπάνω προβλήµατα περιγράφονται αναλυτικά στην εργασία (Kορδάκη, 1999). Στην παρούσα εργασία χρησιµοποιήθηκαν δεδοµένα αλληλεπίδρασης και οι κατηγορίες των στρατηγικών επίλυσης που ακολούθησαν οι µαθητές στο πρόβληµα της σύγκρισης οι οποίες και παρουσιάζονται στον Πίνακα Προετοιµασία δεδοµένων Το δείγµα καταγεγραµµένων αρχείων πληκτρολογήσεων από τη διεξαγωγή του πειράµατος χρήσης του C.AR.ME. στο οποίο στηρίχθηκε η έρευνα είναι 114, τα οποία στην συνέχεια αναλύθηκαν. Στα περισσότερα από αυτά είχαν καταχωρηθεί σχόλια που περιέγραφαν την στρατηγική που ακολούθησε ο µαθητής, ενώ παράλληλα είχε καταγραφεί και ένα στιγµιότυπο της διεπιφάνειας εργασίας για επαλήθευση του σεναρίου αλληλεπίδρασης που ακολουθήθηκε. Τα δεδοµένα αυτά αναλύθηκαν µε την βοήθεια εργαλείου που αναπτύχθηκε για υποβοήθηση της διαδικασίας αξιολόγησης εκπαιδευτικού λογισµικού αντίστοιχου τύπου, του Usability Analyzer (Tselios et al., 2001). Στο εργαλείο αυτό, που περιγράφεται αναλυτικά στο κεφάλαιο 4, ο αξιολογητής έχει τη δυνατότητα να επισκοπήσει αναλυτικά την αλληλεπίδραση του µαθητή µε το περιβάλλον µάθησης, µέσω της ταυτόχρονης παρουσίασης του αρχείου πληκτρολογήσεων, των σχετικών σχολίων που καταγράφηκαν στη φάση διεξαγωγής του πειράµατος καθώς επίσης και αποθηκευµένων στιγµιότυπων από το χώρο εργασίας του µαθητή. Με τη χρήση της δυνατότητας αυτής, καταγράφηκε σε σχεσιακή βάση δεδοµένων η συχνότητα εµφάνισης κάθε γεγονότος της αλληλεπίδρασης χαµηλού επιπέδου του µαθητή µε το σύστηµα. Συνολικά, καταγράφηκαν 20 διαφορετικά γεγονότα όπως αναγνωρίστηκαν από τα σειριακά αρχεία πληκτρολόγησης, ενώ δύο επιπλέον µεταβλητές που προστέθηκαν αφορούσαν στο σύνολο των αλληλεπιδράσεων σε κάθε συνεδρία χρήσης (µεταβλητή sum) και στον τύπο της ιδακτορική διατριβή. Σελίδα 193

200 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης στρατηγικής που ακολουθήθηκε όπως αυτή αναγνωρίσθηκε στη φάση διεξαγωγής του πειράµατος (µεταβλητή class). Εικόνα 6.1 Το Bayesian δίκτυο πεποίθησης που κατασκευάστηκε για τον πιθανοτικό συµπερασµό της ακολουθούµενης στρατηγικής από τα αρχεία πληκτρολογήσεων Κατασκευή ΒΒΝ-Σύγκριση µε άλλες µεθόδους. Το σύνολο των δεδοµένων αυτών τροφοδότησε τη διαδικασία κατασκευής του BΒN, διαγραµµατική αναπαράσταση του οποίου φαίνεται στην Εικόνα 6.1. Γενικά, ένα BBN είναι ικανό να υπολογίζει την κατανοµή πιθανότητας για οποιοδήποτε υποσύνολο µεταβλητών, δεδοµένων των τιµών οποιουδήποτε υποσυνόλου των υπόλοιπων µεταβλητών. Από τη δοµή του δικτύου διαπιστώνεται ότι οι µεταβλητές startdraw και enddraw που είναι τα γεγονότα που δηµιουργούνται όταν ο µαθητής ξεκινά ή τελειώνει αντίστοιχα τη σχεδίαση ενός γεωµετρικού σχήµατος, εξαρτώνται µεταξύ τους όχι όµως και µε το κύριο σώµα του δικτύου. Επίσης, έχουν καταγραφεί ακόµα τέσσερις (4) µεταβλητές στα αρχεία πληκτρολογήσεων, οι UnitIteration, Erase, Clear και Symmetry που προκύπτουν ανεξάρτητες από οποιαδήποτε άλλη µεταβλητή και για Σελίδα 194 ιδακτορική διατριβή.

201 ΚΕΦΑΛΑΙΟ 6 το λόγο αυτό δεν συµπεριλαµβάνονται στον κόµβο. Σε µια γενικότερη θεώρηση και ανάλυση του γράφου που αποτελεί µια µοντελοποίηση της γενικής αλληλεπίδρασης των µαθητών µε το σύστηµα CARME, διαπιστώνουµε την ύπαρξη ισχυρών πιθανοτικών συσχετίσεων µεταξύ γεγονότων που γνωρίζουµε εκ των προτέρων από τη φύση της αλληλεπίδρασης ότι συσχετίζονται µεταξύ τους. Για παράδειγµα, ορθά το BBN εµφανίζει ισχυρή πιθανοτική συσχέτιση µεταξύ των γεγονότων κοπής (cut) και επικόλλησης (paste) αφού στην προσπάθεια ενός µαθητή να µεταφέρει ένα σχήµα σε άλλη θέση στην επιφάνεια εργασίας, είναι υποχρεωµένος να χρησιµοποιήσει τις λειτουργίες αυτές µε την αυτή σειρά. Για να εκτιµηθεί η αποτελεσµατικότητα του κατασκευασθέντος δικτύου στην ορθή εκτίµηση της ακολουθούµενης στρατηγικής µε βάση τα αρχεία πληκτρολογήσεων, χρησιµοποιήθηκε η µεθοδολογία ten fold cross validation. Με τη µέθοδο αυτή ο πληθυσµός των δεδοµένων µας διαµερισµατοποιείται σε σύνολα εκπαίδευσης και ελέγχου, µε αναλογία 9 προς 1, µε συνολικά 10 τυχαίες τέτοιες διαµερισµατοποιήσεις. Το τελικό αποτέλεσµα µε τη χρήση της µεθόδου αυτής ήταν 84,07% (+- 6,75% στο p<0.05) ορθών προβλέψεων από τα σύνολα ελέγχου. Μέθοδος Bayesian networks Naive Bayes Decision Tables J48 PART % επιτυχία 84,07% 72,56% 63,71% 64,60% είκτης ,63 7,57 7,68 Πίνακας 6.2 Σύγκριση απόδοσης τεχνικών κατηγοριοποίησης. Ακολούθως, το πείραµα επανελήφθη µε χρήση των διαδεδοµένων µηχανικής µάθησης decision tables, J48 PART και Naive Bayes, οι οποίες έχουν ενσωµατωθεί στο περιβάλλον αυτόµατης εκµάθησης των Holmes et al. (1994). Στόχος του πειράµατος αυτού ήταν η συγκριτική αποτίµηση της αποτελεσµατικότητας της µεθόδου BBN σε σχέση και µε τις τεχνικές αυτές. Τα αποτελέσµατα που προέκυψαν συνοψίζονται στον Πίνακα 6.2. Από τον Πίνακα 6.2 η προτεινόµενη µέθοδος ΒΒΝ φαίνεται να υπερτερεί των άλλων µεθόδων αν και όπως περιγράφτηκε στην ενότητα 6.2, άλλες τεχνικές παρουσιάζουν πλεονεκτήµατα όσον αφορά την πολυπλοκότητα εφαρµογής τους. Παράλληλα παρουσιάζει και το πλεονέκτηµα της αναπαράστασης 1 είκτης:κανονικοποιηµένη αποτελεσµατικότητα εκτίµησης στρατηγικής σε σχέση µε το ποσοστό επιτυχίας του καλύτερου αλγόριθµου. ιδακτορική διατριβή. Σελίδα 195

202 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης και µοντελοποίησης της αλληλεπίδρασης µε την αυτόµατη κατασκευή του κατευθυνόµενου ακυκλικού γράφου (Εικόνα 6.1). Στην τεχνική που περιγράφεται στην ενότητα 6.4, προτείνεται µια γενική µέθοδος κατασκευής αρθρώµατος προσαρµοστικής υποστήριξης µαθητών σε ΑΠΜ, µε τον συνδυασµό BBN και του προτεινόµενου πλαισίου σχεδιασµού και αξιολόγησης ΑΠΜ. 6.4 Χρήση πλαισίου σχεδιασµού και αξιολόγησης ΑΠΜ για κατασκευή προσαρµοζόµενης βοήθειας χρήσης Η προσέγγιση της µοντελοποίησης Στα ανοιχτά περιβάλλοντα µάθησης, η γνώση δεν προσφέρεται µε ένα αυστηρά δοµηµένο και προκαθορισµένο τρόπο. Κατά συνέπεια, η δραστηριότητα του µαθητή µέσα στο περιβάλλον αυτό δεν µπορεί να θεωρηθεί µια αυστηρά προκαθορισµένη αλληλουχία ενεργειών, καθώς δίνεται η δυνατότητα στο µαθητή να εξερευνήσει έννοιες µε το δικό του, προσωπικό τρόπο. Η δεδοµένη ποικιλία λειτουργιών και αντικειµένων της διεπιφάνειας που προσφέρονται στο µαθητή, προκειµένου να δηµιουργήσει και να τροποποιήσει προσωπικές κατασκευές, δηµιουργεί το πρόβληµα της εκµάθησης της διεπιφάνειας χρήσης. Για την επίλυση του προβλήµατος αυτού, προτείνεται η κατασκευή αρθρώµατος προσαρµοστικής υποστήριξης χρηστών (AΠΥΜ) για ένα ανοικτό περιβάλλον µάθησης. Η αρχιτεκτονική του ΑΠΥΜ βασίστηκε σε BBN, ενώ η σχεδίαση της παρουσιασθείσας βοήθειας βασίστηκε στο προϊόν της ανάλυσης διεργασιών των παρατηρηθέντων αλληλεπιδράσεων των µαθητών µε το περιβάλλον που περιγράφηκε στα κεφάλαια 4,5. Η προτεινόµενη τεχνική, υλοποιήθηκε και κατασκευάστηκε σε ένα ΑΠΜ, τον ηµιουργό Μοντέλων που περιγράφεται συνοπτικά στην ενότητα Σελίδα 196 ιδακτορική διατριβή.

203 ΚΕΦΑΛΑΙΟ Ενσωµάτωση προσαρµοστικών χαρακτηριστικών στο συστήµα βοήθειας του ηµιουργού Μοντέλων µε τη χρήση ΒΒΝ Το BBN που κατασκευάστηκε, χρησιµοποιήθηκε για την παροχή προσαρµοζόµενης βοήθειας στο µαθητή-χρήστη του ηµιουργού Μοντέλων. Το BBN κατασκευάστηκε µε τη συλλογή δεδοµένων χαµηλού επιπέδου αλληλεπίδρασης από πραγµατικές δοκιµές του περιβάλλοντος MC. Η εκµάθηση του δικτύου βασίστηκε αποκλειστικά στα δεδοµένα χρήσης, κατά συνέπεια η προσέγγιση χαρακτηρίζεται ως δεδοµενοκεντρική (data-centric). Τα δεδοµένα που χρησιµοποιήθηκαν για την εκπαίδευση της δοµής και των πιθανοτήτων των συσχετίσεων, προέκυψαν από δεδοµένα χρήσης 15 µαθητών ηλικίας ετών. Αντιπροσωπευτικές διεργασίες δόθησαν κατά τη διάρκεια των πειραµάτων χρήσης στους µαθητές (Gudzial, 1993). Απόσπασµα των αρχείων χαµηλού επιπέδου ενεργειών παρουσιάζεται στην Εικόνα : 08 : 14 InsertObject Plant 00 : 08 : 19 ChooseAttribute Growth->Plant 00 : 08 : 37 InsertObject Leaf 00 : 08 : 40 InsertObject Sun 00 : 08 : 46 ChooseAttribute Photosynthesis->Leaf 00 : 08 : 49 ChooseAttribute Intensity of Light->Sun 00 : 09 : 07 InsertRelation Proportional 00 : 09 : 07 ConnectRelation Photosynthesis 00 : 09 : 07 ConnectRelation Intensity of Light 00 : 09 : 48 InsertRelation Proportional 00 : 09 : 48 ConnectRelation Growth 00 : 09 : 48 ConnectRelation Photosynthesis 00 : 10 : 00 RunModel Εικόνα 6.2 Απόσπασµα αρχείου χαµηλού επιπέδου ενεργειων που χρησιµοποιήθηκε για την εκπαίδευση του BBN. Η χρήση των BBN είχε σαν σκοπό την κατασκευή ενός µοντέλου συµπερασµού για τις πλέον πιθανές επόµενες ενέργειες του µαθητή στο περιβάλλον του ηµιουργού Μοντέλων βάσει της τρέχουσας ροής της διεργασίας, όπως αυτή αποτυπώνεται από τις δύο πλέον πρόσφατες ενέργειες του µαθητή µε το περιβάλλον. Μια διεργασία προ-επεξεργασίας έλαβε χώρα ώστε να διαµορφωθούν τα δεδοµένα αλληλεπίδρασης κατάλληλα για το σκοπό αυτό και να αποθηκευθούν σε σχεσιακή βάση δεδοµένων. Το σύνολο των ενεργειών των 15 µαθητών που προέκυψαν από τα ιδακτορική διατριβή. Σελίδα 197

204 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης πειράµατα χρήσης ήταν 2200 (µέσος όρος 146,67 ενέργειες ανά µαθητή). Κάθε εγγραφή στη βάση δεδοµένων είχε τιµές για τα πεδία που απεικονίζονται στον Πίνακα 6.3. Προηγούµενη ενέργεια (Paction) χαρακτηριστικό προηγούµενης ενέργειας (Pprop) Χρόνος Προηγούµενης Ενέργειας Τρέχουσα ενέργεια (Caction) χαρακτηριστικό τρεχούσης ενέργειας (Cproperties) Επόµενη Ενέργεια (Naction) χαρακτηριστικό επόµενης ενέργειας χρονική διαφορά µεταξύ Τρέχουσας και Προηγούµενης Ενέργειας (CPTime_d) Πίνακας 6.3 Πεδία του πίνακα προεπεξεργασίας δεδοµένων εδοµένης της ανοιχτής φύσης της αλληλεπίδρασης του περιβάλλοντος του ηµιουργού Μοντέλων, η προσπάθεια αναγνώρισης υψηλού επιπέδου στόχων από τις χαµηλού επιπέδου πληκτρολογήσεις πιθανότατα θα οδηγούσε σε µοντέλο υψηλής περιπλοκότητας µε σχετικά φτωχή ικανότητα αναγνώρισης στόχων του µαθητή σε πραγµατικό χρόνο, ή έστω υπο-διεργασιών που καθορίζουν τον στόχο αυτό. Μετά από ποικίλες κατασκευές BBN, λαµβάνοντας υπ όψιν τις ακολουθίες προηγούµενων ενεργειών, καθώς και τις ιδιότητες αυτών, το προτεινόµενο µοντέλο που λαµβάνει υπ όψιν τις προηγούµενες δύο ενέργειες καθώς και τη χρονική διαφορά που έλαβαν αυτές χώρα, οδήγησε στην εκτίµηση της επόµενης ενέργειας µε την σχετικά καλύτερη ακρίβεια. Στο BBN που προέκυψε (Εικόνα 6.3), προκύπτουν αιτιατές συσχετίσεις (causal relationships) µεταξύ προηγούµενης και τρέχουσας ενέργειας, καθώς επίσης και τρέχουσας και επόµενης ενέργειας. Σε µια εµπειρική θεώρηση της ροής της αλληλεπίδρασης η συσχέτιση που προκύπτει είναι σηµασιολογικά ορθή και αναµενόµενη. Με βάση την τελική δοµή του δικτύου προκειµένου να ευρεθεί η πιθανότητα κάποιας επόµενης ενέργειας, απαιτείται µόνο η γνώση της τρέχουσας ενέργειας. Η δενδροειδής δοµή του δικτύου αποτελεί ισχυρή ένδειξη καταλληλότητας χρήσης του για ενσωµάτωση δυναµικών BBN που θα προσαρµόζουν τις πιθανοτικές συσχετίσεις των µεταβλητών ανάλογα µε την εκδηλωθείσα αλληλεπίδραση από το Σελίδα 198 ιδακτορική διατριβή.

205 ΚΕΦΑΛΑΙΟ 6 χρήστη, αφού ο χρόνος εκµάθησης για τέτοια δίκτυα είναι πολυωνυµικής τάξης (Heckerman, 1996). Εικόνα 6.3 Το τελικό ΒΒΝ που προέκυψε από την εκπαίδευση. Πλεονέκτηµα της χρησιµοποιούµενης µεθόδου εκµάθησης BBΝ από δεδοµένα σε σχέση µε αποδοτικο-κεντρικές (efficiency-centric) και εµπειροκεντρικές (expert-centric) µεθόδους, είναι η δυνατότητα αξιολόγησης της προβλεπτικής ικανότητας του δικτύου µε την αξιολόγηση πάνω σε δεδοµένα που δεν χρησιµοποιήθηκαν για την εκπαίδευσή τους (Mayo and Mitrovic, 2000). Χρησιµοποιώντας την τεχνική ten fold cross validation, η αποτελεσµατικότητα του δικτύου µετρήθηκε σε 88,43% (+-1,36%, p<0.05) που κρίνεται σχετικά υψηλή λαµβάνοντας υπ όψην τον σχετικά περιορισµένο αριθµό δεδοµένων Τροποποιήσεις στην αρχιτεκτονική του περιβάλλοντος του ηµιουργού Μοντέλων Η αρχιτεκτονική του ηµιουργού Μοντέλων εµπλουτίστηκε µε ένα επιπλέον άρθρωµα που ενσωµατώνει το δίκτυο BBN. Το άρθρωµα αυτό, το οποίο ονοµάζεται Άρθρωµα Προσαρµοστικής Υποστήριξης Μαθητή-ΑΠΥΜ (Adaptive Student Support Module - ASSM), παρουσιάζεται διαγραµµατικά στην Εικόνα 6.4. Οι βασικές λειτουργίες του νέου αυτού αρθρώµατος είναι δύο: ι) η αδιάλειπτη συλλογή δεδοµένων από τις ενέργειες (actions-a) του χρήστη στο χαµηλό επίπεδο αλληλεπίδρασης και η καταγραφή τους σε σχεσιακή βάση δεδοµένων. ιδακτορική διατριβή. Σελίδα 199

206 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης ιι) η παροχή ανά πάσα στιγµή κατάλληλης βοήθειας (help topics-t) σχετικά µε τις διεργασίες που έχουν άµεση σχέση µε τις τρεις πλέον πιθανές ενέργειες όπως αυτές υπολογίζονται µε βάση τις πιθανότητες που απορρέουν από το BBN. Topics (T) Action (A) F1 Topic Provider A Action Tracker T A A ΒΒΝ Training DB Εικόνα 6.4 ιαγραµµατική αναπαράσταση εσωτερικής επικοινωνίας των τµηµάτων προσαρµοζόµενης βοήθειας. Στο χρόνο εκτέλεσης το άρθρωµα λειτουργεί ως εξής: Κάθε ενέργεια του χρήστη αποστέλλεται στο ΑΠΥΜ µέσω της κλήσης κατάλληλων µεθόδων. Όταν ο χρήστης ζητήσει βοήθεια (µε τη χρήση του πλήκτρου F1), ο ηµιουργός Μοντέλων καλεί µια άλλη µέθοδο του ΑΠΥΜ, που επιστρέφει τα πλέον πιθανά θέµατα βοήθειας για την τρέχουσα κατάσταση της αλληλεπίδρασης. Κάθε επόµενη ενέργεια συσχετίζεται µε µια διεργασία και αντίστοιχη θεµατική βοήθεια. Η συσχέτιση αυτή προκύπτει µε τη χρήση των µοντέλων ανάλυσης διεργασιών όπως φαίνονται στο Κεφάλαιο 5. Κάθε εργασία, αποδοµώντας την µε τη χρήση της ιεραρχικής ανάλυσης εργασιών καταλήγει σε κάποια χαµηλού επιπέδου αλληλεπίδραση η οποία καταγράφεται. Κατά συνέπεια η διαδικασία αντιστοίχησης πιθανών επόµενων ενεργειών από τη πλευρά του χρήστη και προσφοράς αντίστοιχων σχετικών θεµάτων από τη πλευρά του συστήµατος απλοποιείται σηµαντικά. Κάθε φορά που µια νέα ενέργεια λαµβάνει χώρα, το ΑΠΥΜ καταγράφει την ενέργεια, ενώ συµπληρώνει την αµέσως προηγούµενη εγγραφή στο πεδίο της επόµενης ενέργειας καθώς αυτή πλέον είναι γνωστή. Τέλος, υπολογίζει τις τρεις πλέον πιθανές ενέργειες µε βάση τη τρέχουσα ροή της αλληλεπίδρασης. Σελίδα 200 ιδακτορική διατριβή.

207 ΚΕΦΑΛΑΙΟ Προκαταρκτική αξιολόγηση ΑΠΥΜ Η πειραµατική πρωτότυπη έκδοση του ηµιουργού Μοντέλων εµπλουτισµένου µε το ΑΠΥΜ, αξιολογήθηκε ως προς την καταλληλότητα της προσφερόµενης βοήθειας. Η προσφερόµενη βοήθεια στο ΑΠΥΜ παρουσιάζει τα θέµατα µε δύο τρόπους (Εικόνα 6.5): Παράθυρο βοήθειας Εικόνα 6.5 Στιγµιότυπο του ηµιουργού Μοντέλων, εµπλουτισµένου µε το ΑΠΥΜ. Ο µαθητής µόλις έχει προσθέσει µια σχέση επιθυµώντας να συσχετίσει τις οντότητες ηµερολόγιο (έννοια χρόνος) και βρύση. Επιλέγει βοήθεια για να πάρει πληροφορίες σχετικά µε το πως συνδέεται µια σχέση. Η προσαρµοζόµενη βοήθεια αναγνώρισε την ενέργεια σύνδεση σχέσης ως την πλέον πιθανή και προτείνει αντίστοιχη θεµατική βοήθεια. ι) µε συµβατική παρουσίαση των θεµάτων βοήθειας (αλφαβητικά ταξινοµηµένων ) και ιι) µε την εµφάνιση προσαρµοζόµενου µενού που παρουσιάζει τις τρεις θεµατικές περιοχές που σχετίζονται µε τις πλέον πιθανές επόµενες ενέργειες, εµφανίζοντας παράλληλα βοήθεια για την πλέον πιθανή ενέργεια. Ο αριθµός των πιθανών ενεργειών µε τη χρήση του ηµιουργού Μοντέλων είναι µεγάλος. Κατά συνέπεια, η διαδικασία αναζήτηση βοήθειας για συγκεκριµένο θέµα µπορεί να αποβεί κοπιαστική και χρονοβόρα, ενώ η χρήση µηχανής αναζήτησης για τους συγκεκριµένους χρήστες (µαθητές 10-14) µπορεί να παρουσιάσει προβλήµατα. Οι µαθητές πιθανά δεν γνωρίζουν ακριβώς την ορολογία της ενέργειας για την οποία ψάχνουν, αλλά εύκολα µπορούν να την αναγνωρίσουν, ειδικά αν αυτή ιδακτορική διατριβή. Σελίδα 201

208 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης παρουσιάζεται από ευανάγνωστα στιγµιότυπα που παρουσιάζουν αντίστοιχη χρήση µε την επιθυµητή. Ένα νέο αρχείο ενεργειών αποκτήθηκε κατά τη διάρκεια εκτέλεσης διεργασίας µε σηµαντικά διαφοροποιηµένο στόχο σε σχέση µε αυτόν που αφορούσε στη διεξαγωγή του πειράµατος από το οποίο προέκυψαν τα δεδοµένα εκπαίδευσης. Το αρχείο αυτό περιείχε 141 ενέργειες και χρησιµοποιήθηκε ως βάση αξιολόγησης σε προσωµοιούµενες πραγµατικές συνθήκες χρήσης. Κατάλληλο πρόγραµµα κατασκευάσθηκε που προσοµοίωνε την ύπαρξη των ενεργειών αυτών και αναγνώριζε αν τα τρία πλέον πιθανά θέµατα βοήθειας που παρουσίαζε το ΑΠΥΜ, αντιστοιχούσαν σε σχετική µε την ενέργεια βοήθεια. Το ΑΠΥΜ παρουσίασε ως πρώτη πιθανή επιθυµητή βοήθεια, βοήθεια που σχετιζόταν µε την ενέργεια που πραγµατικά έλαβε χώρα στο 44,681% των περιπτώσεων, ως δεύτερη πιο πιθανή στο 24,113% και ως τρίτη πιο πιθανή στο 8,511% των περιπτώσεων. Συνολικά, η πιθανή επιθυµητή βοήθεια παρουσιαζόταν (ανεξαρτήτως θέσης παρουσίασης) στο 77,305% των περιπτώσεων. Τα αποτελέσµατα είναι πολύ ικανοποιητικά αν αναλογιστεί κανείς τη διαφορετική φύση της διεργασίας σε σχέση µε τα δεδοµένα από τα οποία εκπαιδεύτηκε το πειραµατικό πρωτότυπο του ΑΠΥΜ Αξιολόγηση ΑΠΥΜ µέ δοκιµή ευχρηστίας Για την αξιολόγηση του ΑΠΥΜ έλαβε χώρα δοκιµή ευχρηστίας µε µικρό αριθµό (5) συµµετεχόντων. Οι χρήστες δεν είχαν εµπειρία χρήσης του συγκεκριµένου ΑΠΜ, αλλά ήταν έµπειροι χρήστες υπολογιστών (µεταπτυχιακοί φοιτητές του τµήµατος ΗΜΤΥ), ηλικίας ετών (4 άντρες, µια γυναίκα). Όπως διαφαίνεται από σχετικό ερωτηµατολόγιο που συµπλήρωσαν πριν τη διεξαγωγή της δοκιµής ευχρηστίας, όταν έρχονται σε επαφή µε ένα νέο λογισµικό επιχειρούν να διερευνήσουν την λειτουργικότητά του, απ ευθείας χωρίς να ανατρέχουν στο σχετικό εγχειρίδιο χρήσης. Στους χρήστες δόθηκαν αντιπροσωπευτικές διεργασίες προς δοκιµή (κατασκευή ενός απλού και ενός σύνθετου µοντέλου, εκτέλεση µοντέλου, εµφάνιση γραφικών παραστάσεων για µεταβλητές ενδιαφέροντος του µοντέλου). Κατά τη διάρκεια της δοκιµής, ο υπεύθυνος διεξαγωγής του πειράµατος ζητούσε από τον χρήστη να ζητά βοήθεια µέσω του ΑΠΥΜ και να καταγράφει την επιτυχία Σελίδα 202 ιδακτορική διατριβή.

209 ΚΕΦΑΛΑΙΟ 6 πρόβλεψης σχετικής µε το πρόβληµά του βοήθειας σε µια κλίµακα από ένα (µη επιτυχής πρόβλεψης) έως πέντε (πολύ επιτυχής) πρόβλεψη. Συνολικά αξιολογήθηκαν 32 κλήσεις βοήθειας µε µέση τιµή αξιολόγησης 3,358 και τυπική απόκλιση 0,212. Μετά το τέλος της δοκιµής, τους ζητήθηκε να συµπληρώσουν ένα ερωτηµατολόγιο κλειστού τύπου µε στόχο την καταγραφή της γνώµης τους σχετικά µε την αποτελεσµατικότητα του ΑΠΥΜ. Οι ερωτήσεις και τα αποτελέσµατα του ερωτηµατολογίου, συνοψίζονται στον Πίνακα 6.4. No Ερώτηση Μέση τιµή 1 Σας βοήθησε το ΑΠΥΜ στην διεκπεραίωση των 4,33 διεργασιών; 2 Η λειτουργία των τριών πιθανότερων στοιχείων 4 βοήθειας σας φάνηκε χρήσιµη; 3 Πόσο συχνά σας φάνηκε χρήσιµο το ΑΠΥΜ; 3 4 Η δόµηση της πληροφορίας στη βοήθεια σας 4 φάνηκε κατανοητή και λογική; 5 Σε ποιο βαθµό σας φάνηκε χρήσιµο; 3,33 6 Η λειτουργία των τριών πιθανότερων στοιχείων 1,66 (4,33) βοήθειας σας προκάλεσε σύγχυση; 7 Πιστεύετε ότι είναι δύσκολο να βρείτε την 2,66 (3,33) πληροφορία που επιθυµείτε στο ΑΠΥΜ; Συνολική τιµή 3,76 Πίνακας 6.4 Σύνοψη των αποτελεσµάτων του ερωτηµατολογίου αξιολόγησης του αρθρώµατος προσαρµοστικής υποστήριξης µαθητών. Οι χρήστες, γενικά, αξιολόγησαν ως πολύ θετική την ύπαρξη ενός προσαρµοστικού αρθρώµατος βοηθείας, ιδιαίτερα στην περίπτωση που η διεπιφάνεια χρήσης παρέχει πληθώρα λειτουργιών, οδηγώντας σε αντίστοιχη αναζήτηση µεγάλου αριθµού θεµάτων βοήθειας. ιατύπωσαν επίσης την άποψη ότι ταιριάζει στο προσωπικό τους στυλ ενεργούς διερεύνησης των λειτουργιών ενός λογισµικού µε το οποίο έρχονται σε επαφή για πρώτη φορά. Σε ορισµένες περιπτώσεις, όπως η διεργασία σύνδεσης δύο αντικειµένων µε σχέση και η επιλογή µεταβλητών για απεικόνιση γραφικής παράστασης, η χρήση της βοήθειας κρίθηκε ως απόλυτα αναγκαία, όπως ανακαλύφθηκε κατά την διεξαγωγή της δοκιµής. Το πρόβληµα προέκυψε επειδή η αντίληψη των χρηστών για τη διεπιφάνεια χρήσης του συστήµατος παρουσίαζε σηµαντική απόκλιση από το (ελλιπώς ορισµένο) µοντέλο του σχεδιαστή της διεπιφάνειας χρήσης. Επίσης σύγχυση ιδακτορική διατριβή. Σελίδα 203

210 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης προκάλεσε στους χρήστες η έλλειψη λειτουργίας που να αλλάζει την φορά µιας σχέσης (αίτιο-αποτέλεσµα) και η ευχρηστία των εργαλείων κοπής επικόλλησης. Επίσης θεώρησαν ότι η πλουσιότερη παροχή σχετικών θεµάτων µέσω υπερσυνδέσµων µέσα στην παρεχόµενη βοήθεια, θα βελτίωνε την αποτελεσµατικότητά της. Παράλληλα, µε την υποκειµενική αξιολόγηση που έλαβε χώρα, αναλύθηκαν οι καταγεγγραφείσες ενέργειες που έλαβαν χώρα κατά τη διάρκεια διεξαγωγής της δοκιµής ευχρηστίας. Αυτές αναλύθηκαν ως προς τα τρία θέµατα βοήθειας που πρότεινε το σύστηµα ανά πάσα στιγµή σε σχέση µε την επόµενη ενέργεια που πραγµατικά έλαβε χώρα. Τα αποτελέσµατα ήταν κοντά στην προκαταρκτική αξιολόγηση του ΑΠΥΜ. Tο ΑΠΥΜ παρουσίασε ως πρώτη πιθανή επιθυµητή βοήθεια, βοήθεια που σχετιζόταν µε την ενέργεια που πραγµατικά έλαβε χώρα στο 40,181% των περιπτώσεων, ως δεύτερη πιο πιθανή στο 27,765% και ως τρίτη πιο πιθανή στο 5,869 % των περιπτώσεων, µε µια συνολική επιτυχία πρόβλεψης 73,815%. Η αναγωγή σε µια κλίµακα 1 έως 5 βαθµολογώντας µε 5 την ωφέλιµη βοήθεια που παρουσιάστηκε ως πρώτη και 4 και 3 τις βοήθειες που παρουσιάστηκαν χρήσιµες και εµφανίστηκαν ως δεύτερες και τρίτες αντίστοιχα, δίνει ως αποτέλεσµα µια τιµή αξιολόγησης 3,295 τιµή που συµφωνεί απόλυτα µε την υποκειµενική αξιολόγηση των χρηστών. 6.5 Συµπεράσµατα Όπως προκύπτει από τις παρουσιασθείσες προτεινόµενες τεχνικές, οι επεκτάσεις του πλαισίου σχεδίασης και αξιολόγησης ΑΠΜ µε χρήση BBN προσθέτουν αξία στο προτεινόµενο πλαίσιο. Ένα πλεονέκτηµα της τεχνικής BBN, σε σχέση µε άλλους αλγόριθµους µηχανικής µάθησης, είναι η δυνατότητα εισαγωγής πρότερης γνώσης που αφορά στις ακολουθίες ενεργειών των µαθητών όταν αυτές είναι γνωστές στον εκπαιδευτικό και στον σχεδιαστή του συστήµατος. Το ποσοστό επιτυχίας της τεχνικής αυτής συγκρινόµενο ενδεικτικά και µε άλλες µεθόδους κατηγοριοποίησης είναι ιδιαίτερα υψηλό, δεδοµένου ότι στις µελέτες που περιγράφονται, το πλήθος των µετρήσεων είναι ιδιαίτερα µικρό. Σηµαντικό επίσης πλεονέκτηµα της προτεινόµενης µεθόδου αποτελεί ο παραγόµενος γράφος του δικτύου BBN, ο οποίος παρέχει µια αναπαράσταση των µεταβλητών που καθορίζουν Σελίδα 204 ιδακτορική διατριβή.

211 ΚΕΦΑΛΑΙΟ 6 την φύση της αλληλεπίδρασης χρήστη-συστήµατος, το στιβαρό µαθηµατικό υπόβαθρο της µεθόδου καθώς και η απ ευθείας εκπαίδευση ενός ΒΒΝ από δεδοµένα αλληλεπίδρασης, χωρίς την ανάγκη εισαγωγή τελεστών όπως σε άλλους αλγορίθµους µηχανικής µάθησης. Στην προτεινόµενη τεχνική επέκτασης για αυτόµατη αναγνώριση στρατηγικών επίλυσης προβληµάτων σε ανοιχτά περιβάλλοντα µάθησης, πιθανόν το δίκτυο να αντιµετωπίζει δυσκολία στην αναγνώριση στρατηγικών που εµφανίστηκαν µε πολύ µικρή συχνότητα στο δείγµα αναφοράς, κάτι στο οποίο η µελέτη δεν εστίασε. Περαιτέρω εµπλουτισµός µε περισσότερα πειραµατικά δεδοµένα θα µπορούσε να συµβάλλει στην ευρωστία και µη πόλωση των αποτελεσµάτων. Η γραφική αναπαράσταση του BBN αποτελεί επίσης µια εύληπτη και κατανοητή µορφή περιγραφής της αλληλεπίδρασης των µαθητών σε ένα περιβάλλον. Η µελέτη του γράφου µπορεί να οδηγήσει σε βελτίωση του περιβάλλοντος. Αναγνωρίζοντας, ανά πάσα στιγµή, το σηµείο στο οποίο βρίσκεται ο χρήστης είναι δυνατή η παρουσίαση επίκαιρης βοήθειας µε προτεραιότητα σε πιο χρήσιµες συµβουλές ή η παρουσίαση των πλέον πιθανών να ακολουθήσουν επιλογών που σχετίζονται µε την τρέχουσα κατάσταση του διαλόγου. Από παιδαγωγική σκοπιά, η αυτόµατη καταγραφή στρατηγικών σε ανοιχτά περιβάλλοντα µάθησης υποστηρίζει και εµπλουτίζει την εκπαιδευτική διαδικασία καθώς οδηγεί στην ταχεία αναγνώριση της υιοθέτησης ή όχι από τους µαθητές συγκεκριµένων στρατηγικών που µεγιστοποιούν την µάθηση, ενώ η εφαρµογή τους σε πραγµατικό χρόνο ιδίως σε συστήµατα από απόσταση εκπαίδευσης µπορεί να είναι σηµαντική για την διάγνωση και αξιολόγηση του µαθησιακού αποτελέσµατος. Στη δεύτερη προτεινόµενη επέκταση σχεδιάστηκε, αναπτύχθηκε και αξιολογήθηκε ένα προσαρµοστικό σύστηµα υποστήριξης χρηστών (ΑΠΥΜ) για ένα ανοικτό µαθησιακό περιβάλλον. Η αρχιτεκτονική του ΑΠΥΜ βασίστηκε σε ένα BBN, ενώ η σχεδίαση της παρουσιασθείσας βοήθειας βασίστηκε στο προϊόν της ανάλυσης διεργασιών των παρατηρηθέντων αλληλεπιδράσεων των µαθητών µε το περιβάλλον. Η απόδοση του προσαρµοζόµενου αρθρώµατος κατά τη διάρκεια του προκαταρκτικού πειράµατος αξιολόγησης ήταν ικανοποιητική. Το άρθρωµα, όταν τροφοδοτείται µε στοιχεία αλληλεπίδρασης µιας διεργασίας επίλυσης προβλήµατος ήταν σε θέση να προβλέψει σωστά στο 77,3% των περιπτώσεων θεµάτων βοήθειας που σχετίζονταν µε την ενέργεια που επιθυµούσε να εκτελέσει ο µαθητής. ιδακτορική διατριβή. Σελίδα 205

212 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης Αξιολόγηση του ΑΠΥΜ µέσα από µια δοκιµή ευχρηστίας, κατέδειξε την αποτελεσµατικότητα και την χρησιµότητά του. Η διατριβή υποστηρίζει ότι ένα αποδοτικότερο και προσαρµοστικό σύστηµα υποβοήθησης χρηστών αυξάνει έµµεσα την παιδαγωγική αξία του περιβάλλοντος καθώς συµβάλλει στη διαφάνεια του εργαλείου, σε πιο οµαλή ροή εκτέλεσης των διεργασιών και ενισχύει τη δυνατότητα εκµάθησης σύνθετων εργαλείων που συνήθως συµπεριλαµβάνονται στα ανοικτά περιβάλλοντα µάθησης, µέσα από ένα µηχανισµό σταδιακής υποστήριξης (Vygotsky, 1978). Η σηµαντικότητα του στοιχείου της σταδιακής υποστήριξης των µαθητών έχει αναγνωρισθεί και θεωρείται απαραίτητη για την κατασκευή αποτελεσµατικών περιβαλλόντων µάθησης (Soloway et al., 1994). Η προσέγγιση αυτή είναι δυνατόν να επεκταθεί για να προσαρµόσει τη συµπεριφορά του ανοικτού εκπαιδευτικού περιβάλλοντος σε διάφορες πτυχές όπως η αναγνώριση στόχου, η προσαρµοστική αξιολόγηση και παραίνεση επίλυσης προβληµάτων ανάλογα µε την αναγνωρισθείσα πείρα του χρήστη. Παράλληλα µε την µέθοδο αυτή είναι δυνατή η προσαρµογή της διεπιφάνειας χωρίς όµως το κατακερµατισµό µιας προϋπάρχουσας σταθερής δοµής που θα βοηθά τους µαθητές να χτίσουν ένα συµπαγές αντιληπτικό µοντέλο σχετικά µε τον τρόπο εκτέλεσης των διεργασιών στο περιβάλλον. Περαιτέρω έρευνα απαιτείται προκειµένου να διερευνηθούν αυτές οι περιοχές, µαζί µε συστηµατικότερη αξιολόγηση των αποτελεσµάτων της ανεπτυγµένης ενότητας και τις επιπτώσεις που παρουσιάζουν στη µάθηση µέσα σε ένα τέτοιο περιβάλλον. Η χρήση γνωστικών µοντέλων για ανάλυση διεργασιών σε συνδυασµό µε χρήση ΒΒΝ φαίνεται να αποτελεί ένα δόκιµο, επόµενο πεδίο έρευνας. Σχετική µελέτη σε συσκευή κινητής τηλεφωνίας όπου προσφέρεται σχετικά σύνθετη διεπιφάνεια µε περιορισµένους πόρους επικοινωνίας µε το χρήστη - είχε σαν αποτέλεσµα την σηµαντική αύξηση της ευχρηστίας σε τµήµατα της διεπιφάνειας χρήσης της (Maragoudakis et al., 2002). Συγκεκριµένα, η χρήση µιας απλοποιηµένης εκδοχής της µεθοδολογίας GOMS, της µεθόδου KLM (Keystroke Level Model Μοντέλο Επιπέδου Πληκτρολογήσεων) για τη σύγκριση της κλασσικής µεθόδου εισαγωγής κειµένου και ενός νέου µοντέλου διαλόγου που θα εκτιµά αυτόµατα το επιθυµητό γράµµα, κατέδειξε ότι ακόµα και µια σχετικά µέτρια ακρίβεια στην εκτίµηση του επιθυµητού γράµµατος, οδηγεί σε σηµαντική βελτίωση της αποδοτικότητας στη συγγραφή µηνυµάτων. Επίσης η απαιτούµενη προσπάθεια σε όρους πληκτρολογήσεων, µειώνεται σηµαντικά. Τα αποτελέσµατα αυτά, έδωσαν το Σελίδα 206 ιδακτορική διατριβή.

213 ΚΕΦΑΛΑΙΟ 6 απαραίτητο ερευνητικό ερέθισµα προκειµένου να διερευνηθεί µια δοµή ΒΒΝ που θα οδηγεί στην εκτίµηση του επιθυµητού γράµµατος. Το ΒΒΝ παρουσίασε µεγάλη αποτελεσµατικότητα στην εκτίµηση αυτή εξαιτίας των περιορισµών που έχει ο τρέχων σχεδιασµός. Λόγω της οµαδοποίησης τριών ή τεσσάρων γραµµάτων, σε ένα πλήκτρο και δεδοµένου ότι ο χρήστης δηλώνει ότι επιθυµεί ένα από αυτά µε το να πιέσει το πλήκτρο στο οποίο αντιστοιχούν, το δίκτυο επιλέγει το πλέον πιθανό γράµµα από µια περιορισµένη ακολουθία πιθανών γραµµάτων, δοθείσης της ύπαρξης συγκεκριµένης ακολουθίας χαρακτήρων στην τρέχουσα σύνταξη της λέξης, µε αποτέλεσµα την αυξηµένη αποτελεσµατικότητα της µεθόδου. Η θεωρητική ανάλυση µε τη χρήση του µοντέλου KLM προϋπολόγισε µια βελτίωση κατά 34,72% ως προς την χρονική αποδοτικότητα της διαδικασίας συγγραφής µηνυµάτων και περίπου 47.35% σχετικά µε τον αριθµό απαιτούµενων πληκτρολογήσεων. Πειραµατική αξιολόγηση της µεθόδου χρησιµοποιώντας προσοµοιωτή της µεθόδου σε λογισµικό, επιβεβαίωσε την σχετική ακρίβεια των προβλέψεων του µοντέλου KLM. Όπως φαίνεται, η χρήση γνωστικών µοντέλων-klm για ανάλυση διεργασιών σε συνδυασµό µε χρήση ΒΒΝ µπορεί να αυξήσει σηµαντικά την ευχρηστία συγκεκριµένων τµηµάτων διαλόγων και σε άλλα περιβάλλοντα. Οι µέθοδοι ανάλυσης διεργασιών παρέχουν µια αναλυτική εικόνα της θεώρησης της διεπιφάνειας χρήσης από την πλευρά του χρήστη, ενώ αντίστοιχα το ΒΒΝ παρέχει µια θεώρηση της συµπεριφοράς του χρήστη όπως αυτή καταγράφεται, ή µοντελοποιούν περιορισµούς του πεδίου. Η ζεύξη και η κατάλληλη αξιοποίηση των µεθόδων αυτών µπορούν να βελτιώσουν σηµαντικά την αποτελεσµατικότητα, την αποδοτικότητα και την υποκειµενική ικανοποίηση κατά τη διάρκεια χρήσης µιας διεπιφάνειας και συνεπώς την ευχρηστία της όπως αναλύεται στους άξονες αυτούς. ιδακτορική διατριβή. Σελίδα 207

214 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης 6.6 Βιβλιογραφία Bauersfeld, H. (1988). Interaction, Construction and Knowledge: Alternative perspectives for Mathematics Education. In D. A. Grows, et al (Eds), Effective Mathematics Teaching (pp.27-46, Lawrence Erlbaum. Collins, J., Greer, J., Huang, S. (1996). Adaptive Assessment Using Granularity Hierarchies and Bayesian Nets. In Proceedings of Intelligent Tutoring Systems, pages ,1996. Collins, A. and Brown, J.S. (1988). The computer as a tool for learning through reflection. In Mandl H. and Lesgold A. (eds.), Learning issues for intelligent tutoring systems (pp. 1-18). New York: Springer-Verlag. Conati C., Gertner, A.S., VanLehn, K. (1997). Druzdel M., On-line Student Modeling for Coached Problem Solving Using Bayesian Networks. In Proceedings of the Seventh International Conference on User Modeling, pp ,1997. Confrey, J. (1995). How Compatible are Radical Constructivism, Sociocultural Approaches, and Social Constructivism? In L.P. Steffe & J. Gale (Eds), Constructivism in Education, pp , Lawrence Erlbaum. Cooper, J.and Herskovits, E. (1992). A Bayesian method for the induction of probabilistic networks from data. Machine Learning, 9, pp Davis, E.A. and Linn, M.C. (2000). Scaffolding students knowledge integration: prompts for reflection in KIE. International Journal of Science Education, 22, pp Glymour, C. and Cooper, G. (eds.) Computation, Causation & Discovery. AAAI Press/The MIT Press. Gudzial, M. J. (1993). Deriving Software Usage Paterns From Log Files Georgia Institute of Technology. GVU Center Techical Report.Report #93-41,1993. Heckerman, D. (1996). A Tutorial On Learning Bayesian Networks. Technical Report MSR-TR-95-06, Microsoft Research, November Holmes, G., Donkin, A., Witten, I.H. (1994). Weka: a machine learning workbench. Proceedings of the 2nd Australian and N. Zealand Conference on Intelligent Information Systems, Brisbane, Australia, pp Σελίδα 208 ιδακτορική διατριβή.

215 ΚΕΦΑΛΑΙΟ 6 Jameson, A. (1996). Numerical uncertainty management in User and Student Modeling : An Overview of Systems and Issues. In User Modeling and User-Adapted Interaction 5, Jeffreys, H. (1939). Theory of Probability. Clarendon Press, Oxford. Jensen, F. (1996). An Introduction to Bayesian Networks. New York: Springer-Verlag Kordaki, M. and Avouris, N. (2000, submitted). Modeling in Design and Evaluation of Open Learning Environments, Computers and Education. Kordaki, M., and Potari, D. (1998). A learning environment for the conservation of area and its measurement: a computer microworld. Computers and Education, 31, Luger, G. F. and Stubblefield, W. A. (1998). Artificial Inteligence structures and strategies for complex problem solving, Third Edition, Addison Wesley, Maragoudakis, M., Tselios, N.K., Fakotakis, N., Avouris, N.M. (2002). Improving SMS usability using Bayesian Networks. In 2nd Hellenic Conference On Artificial Intelligence (SETN-2002),11-12 April 2002,Thessaloniki,Greece. Mayo M. and Mitrovic A (2000). Optimizing ITS Behaviour with Bayesian Networks and Decision Theory. In International Journal of Artificial Intelligence in Education, 2000 (12). Merrill, D.C., Reiser, B.J., Merrill, S.K., Landes, S. (1995). Tutoring: Guided learning by doing. Cognition and Instruction, pp Mitchell, T. (1997). Machine Learning. Mc Graw-Hill. Niedermayer, D.(1998). An Introduction To Bayesian Networks And Their Contemporary Applications, University of Saskatchewan, Technical Report Papert, S., (1980). Mindstorms: Pupils, Computers, and Powerful Ideas. New York: Basic Books. Pearl, J. (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. San Mateo, CA: Morgan Kaufmann. Quintana, C., Eng, J., Carra, A., Wu, H.K., Soloway, E. (1999). Symphony: A case study in extending learner-centered design through process space analysis. In Proceedings of CHI 99 Conference on Human Factors in Computing Systems, (pp ). ιδακτορική διατριβή. Σελίδα 209

216 Επέκταση της µεθόδου σχεδίασης και αξιολόγησης ΑΠΜ µε τεχνικές µηχανικής µάθησης Soloway, E., Guzdial M., Hay, K.E. (1994). Learner-centered design: The challenge for HCI in the 21st century. Interactions, 1(2): p Stephenson, T. A. (2000). An Introduction To Bayesian Network Theory And Usage, Institut Dalle Molle d'intelligence Artificielle Perceptive, Technical Report IDIAP-RR Tselios, N.K., Avouris, N.M., Kordaki, M. (2002). Task Modeling to support design and evaluation of open problem solving environments, Journal of Research and Practice in Information Technology (accepted for publication). Tselios, Ν.K., Maragoudakis, M., Avouris, Ν. M., Fakotakis, N., Kordaki, Μ. (2001). Automatic diagnosis of student problem solving strategies using Bayesian Networks. 5th Panhellenic conference in mathematics and informatics in education, Thessaloniki, October 2001 (in Greek). Von Glasersfeld, E. (1987). Learning as a constructive activity. In Janvier, C. (Ed.) Problems of representation in teaching and learning of mathematics London: Lawrence Erlbaum associates, 1987, pp Vygotsky, L. S. (1978). Mind in society: The development of higher psychological processes. MA: Harvard University Press. Κορδάκη, M. (1999). Οι έννοιες της διατήρησης και της µέτρησης της επιφάνειας µέσα από το σχεδιασµό την υλοποίηση και την αξιολόγηση εκπαιδευτικού λογισµικού. Αδηµοσίευτη ιδακτορική διατριβή, Πάτρα, Μάιος Σελίδα 210 ιδακτορική διατριβή.

217 ΚΕΦΑΛΑΙΟ 7 Κεφάλαιο 7. Συµπεράσµαταπροοπτικές 7.1 Συµπεράσµατα Στην παρούσα διατριβή µελετήθηκε το πρόβληµα της αξιολόγησης ευχρηστίας τεχνολογικών εκπαιδευτικών περιβαλλόντων που στηρίζονται σε ετερογενή θεωρητικά-παιδαγωγικά πλαίσια. Για το σκοπό αυτό προτάθηκαν µεθοδολογίες, εργαλεία και πρακτικές για το σχεδιασµό και την αξιολόγηση τόσο πολυµεσικών/υπερµεσικών συστηµάτων µάθησης όσο και ανοιχτών περιβαλλόντων µάθησης. Οι µεθοδολογίες αυτές αναπτύχθηκαν µε σκοπό να πιστοποιήσουν την ευχρηστία της διεπιφάνειας χρήσης του µαθησιακού περιβάλλοντος χωρίς τελικά αυτή να αποβεί σε βάρος της µαθησιακής διαδικασίας. Οι µεθοδολογίες αυτές υποστηρίχθηκαν από κατάλληλα εργαλεία, που αναπτύχθηκαν για το σκοπό αυτό και εφαρµόστηκαν σε µία σειρά από περιβάλλοντα µε σκοπό την κατάδειξη της εφαρµοσιµότητάς τους. Συγκεκριµένα τα αποτελέσµατα που προκύπτουν από την διατριβή είναι τα εξής: 1) Προτάθηκε µεθοδολογικό πλαίσιο αξιολόγησης ευχρηστίας πολυµεσικών εκπαιδευτικών συστηµάτων. Η προσέγγιση στην ανάπτυξη της κατηγορίας αυτής µαθησιακού λογισµικού βασίζεται στο θεωρητικό πλαίσιο του συµπεριφορισµού, ιδακτορική διατριβή. Σελίδα 211

218 Συµπεράσµατα, προοπτικές προσέγγιση που παρατηρείται σε ένα σηµαντικό αριθµό εκπαιδευτικών συστηµάτων. Η εφαρµοσιµότητα του πλαισίου διαφαίνεται µέσα από αντίστοιχες µελέτες περίπτωσης. 2) ιερευνήθηκε η έννοια της ευχρηστίας ως παραµέτρου διαφοροποίησης της επίδοσης των σπουδαστών σε διαδικτυακά περιβάλλοντα µάθησης. Σχετικά περιγράφεται ένα πείραµα ευρείας κλίµακας που έλαβε χώρα στο Τµήµα ΗΜΤΥ του Παν. Πατρών µε στόχο την µέτρηση της ευχρηστίας του συστήµατος αυτοαξιολόγησης σπουδαστή ενός κόµβου παροχής υπηρεσιών από απόσταση εκπαίδευσης. Στη διάρκεια του πειράµατος χρησιµοποιήθηκαν δύο διαφορετικά λογισµικά µε παρόµοια λειτουργικότητα και διαφορετική υλοποίηση. Η στατιστική ανάλυση των αποτελεσµάτων της αξιολόγησης ανέδειξε την συσχέτιση µεταξύ της ευχρηστίας των συστηµάτων και της επίδοσης των φοιτητών. 3) Προτάθηκε µια τροποποιηµένη µέθοδος αξιολόγησης τόσο διαµορφωτικού -ποιοτικού όσο και συµπερασµατικού-ποσοτικού χαρακτήρα, βασισµένη στην ευρετική αξιολόγηση. Η µέθοδος αυτή φαίνεται να παράγει έγκυρα, αξιόπιστα και πλούσια αποτελέσµατα σε όρους ευρεθέντων σφαλµάτων και ποσοτικών αποτιµήσεων χαρακτηριστικών ευχρηστίας της διεπιφάνειας τεχνολογικών περιβαλλόντων µάθησης, όπως προκύπτει από δύο ανεξάρτητες µελέτες περίπτωσης σε πολυµεσικά /υπερµεσικά περιβάλλοντα µάθησης. 4) Προτάθηκε πρότυπη µέθοδος ανάλυσης διεργασιών, βασισµένη στην ιεραρχική ανάλυση διεργασιών για την αξιολόγηση ανοιχτών περιβαλλόντων µάθησης. Η µέθοδος αυτή χρησιµοποιεί ειδικές σηµειωτικές αναπαραστάσεις για την καταγραφή σφαλµάτων σε διεργασίες, περιγραφικούς όρους για την σύνταξη πλάνων που ορίζουν τους όρους εκτέλεσης των διεργασιών και συνδέει χαµηλού επιπέδου ενέργειες µε τα χρησιµοποιούµενα εργαλεία της διεπιφάνειας χρήσης. 5) Αναπτύχθηκε και χρησιµοποιήθηκε εργαλείο που υποστηρίζει την κατασκευή, µορφοποίηση και αποθήκευση µοντέλων ανάλυσης διεργασιών µε οπτικό τρόπο. Επίσης, στο εργαλείο παρέχονται λειτουργίες αυτόµατης ανάλυσης των µοντέλων σε πέντε συνιστώσες -στόχοι, χρήστες, στρατηγικές, εργαλεία της διεπιφάνειας και καταγεγραµµένα προβλήµατα ευχρηστίας- καθώς και δυνατότητα αυτόµατης κατασκευής αναφορών σχετικών µε τις αναλύσεις αυτές. Επίσης αναπτύχθηκε συµπληρωµατικό εργαλείο για τη συλλογή και ανάλυση δεδοµένων από παρατηρήσεις πεδίου ή δοκιµών ευχρηστίας, όπως χαµηλού επιπέδου Σελίδα 212 ιδακτορική ιατριβή.

219 ΚΕΦΑΛΑΙΟ 7 καταγεγραµµένα γεγονότα αλληλεπίδραση, στιγµιότυπα οθονών διεπιφάνειας χρήσης και µαγνητοσκοπηµένες συνεδρίες. 6) Προτάθηκε πλαίσιο αξιολόγησης το οποίο συνδυάζει την ευρετική µέθοδο αξιολόγησης, τη µέθοδο παρατήρησης πεδίου και την αξιολόγηση βασισµένη σε µοντέλο χρήστη το οποίο προκύπτει µετά από ιεραρχική ανάλυση εργασιών. Η ανάγκη κατασκευής ενός πλαισίου αξιολόγησης ευχρηστίας προέκυψε από τη διαπίστωση των ιδιαιτεροτήτων που παρουσιάζουν τα ανοιχτά περιβάλλοντα µάθησης, που βασίζονται στο θεωρητικό πλαίσιο του εποικοδοµητισµού. Επειδή η φύση των εργασιών που εµπλέκεται ο µαθητής στα περιβάλλοντα αυτά είναι στενά συνδεδεµένη µε την διαδικασία µάθησης, το προτεινόµενο πλαίσιο δίνει έµφαση στην ανάλυση αυτών των διεργασιών και στην τροποποίηση σφαλµάτων της διεπιφάνειας χρήσης χωρίς να αποβαίνει σε βάρος της δυνατότητας για µάθηση που προσφέρει το περιβάλλον. Το προτεινόµενο πλαίσιο υποστηρίζεται από τα εργαλεία που αναπτύχθηκαν και εφαρµόζεται σε δύο διαφορετικές µελέτες περίπτωσης. Ένα γενικό συµπέρασµα που προέκυψε είναι ότι διαφορετικά τεχνολογικά περιβάλλοντα µάθησης παρουσιάζουν σηµαντικές διαφοροποιήσεις στη µελέτη για την αξιολόγηση της διεπιφάνειας χρήσης τους. 7) ιερευνήθηκε η χρήση τεχνικής µηχανικής µάθησης από δεδοµένα, των πιθανοτικών δικτύων πεποίθησης Bayes σε δύο διαφορετικούς άξονες. Στον πρώτο, κατασκευάστηκε ένα πρωτότυπο αυτόµατης αναγνώρισης στρατηγικών επίλυσης προβληµάτων σε ένα ανοιχτό περιβάλλον µάθησης. Η µέθοδος εµφάνισε υψηλό ποσοστό αποτελεσµατικότητας καταλήγοντας στο συµπέρασµα ότι πιθανές εφαρµογές της φαίνεται να είναι σηµαντικές. Στον δεύτερο άξονα, σχεδιάστηκε, αναπτύχθηκε και αξιολογήθηκε άρθρωµα προσαρµοστικής υποστήριξης χρηστών (AΠΥΜ) για ένα ανοικτό περιβάλλον µάθησης. Τα αποτελέσµατα ήταν σηµαντικά όπως προκύπτει από την σχετική αξιολόγηση, οδηγώντας σε αποτελεσµατική προσαρµογή της θεµατικής βοήθειας ανάλογα µε την εκτιµηθείσα επόµενη ενέργεια του χρήστη. 7.2 Προτάσεις για µελλοντικές κατευθύνσεις. Οι προτεινόµενες µεθοδολογίες αξιολόγησης ευχρηστίας που αναπτύχθηκαν και χρησιµοποιήθηκαν µπορούν να αξιοποιηθούν και για την αποτελεσµατική ιδακτορική διατριβή. Σελίδα 213

220 Συµπεράσµατα, προοπτικές αξιολόγηση άλλων εκπαιδευτικών συστηµάτων, αλλά και διαδικτυακών περιβαλλόντων. Μελλοντικές κατευθύνσεις για έρευνα µπορούν να είναι: 1) Η εφαρµογή του προτεινόµενου πλαισίου αξιολόγησης, για την αξιολόγηση συνεργατικών περιβαλλόντων µάθησης. Τα περιβάλλοντα αυτά, που βασίζονται στο θεωρητικό πλαίσιο του κοινωνικού εποικοδοµητισµού, δίνουν την δυνατότητα ενεργητικής κατασκευής γνώσης από τον µαθητή σε συνεργασία µε άλλους µαθητές ή µε τον καθηγητή. Πέρα από τις αξιώσεις που πηγάζουν από τη θεωρητική θεµελίωση που εκφράζουν παρουσιάζονται και σύνθετα προβλήµατα διαµόρφωσης κατάλληλων διεπιφανειών χρήσης που επιτρέπουν την αποτελεσµατική συνεργασία µε τελικό στόχο τη βελτίωση του µαθησιακού αποτελέσµατος. 2) Η χρήση µεθόδων ανάλυσης διεργασιών σε συνδυασµό µε χρήση τεχνικών µηχανικής µάθησης, όπως ΒΒΝ, για την δηµιουργία γενικού υψηλού επιπέδου πλαισίου ενσωµάτωσης στοιχείων προσαρµοστικότητας σε τµήµατα ή διάλογους της διεπιφάνειας χρήσης. Σχετική µελέτη σε συσκευές κινητής τηλεφωνίας όπου προσφέρεται σχετικά σύνθετη διεπιφάνεια µε περιορισµένους πόρους επικοινωνίας µε το χρήστη - είχε σαν αποτέλεσµα την σηµαντική αύξηση της ευχρηστίας σε τµήµατα της διεπιφάνειας χρήσης της. Η σηµασία που αποκτά η γνώση αλλά και η τεχνολογία της πληροφορίας στο διαµορφωθέντα κοινωνικο-πολιτισµικό και οικονοµικό ιστό, καθιστά επιτακτική τη δυνατότητα πρόσβασης σε αποτελεσµατικό και εύχρηστο εκπαιδευτικό λογισµικό αλλά και σε εύχρηστα υπολογιστικά συστήµατα γενικότερα. Η εµπειρία που αποκτήθηκε µέσα από την συστηµατική έρευνα και τα αποτελέσµατα που προέκυψαν από την εκπόνηση της διατριβής, µπορούν να φανούν χρήσιµα στην κατεύθυνση αυτή. Σελίδα 214 ιδακτορική ιατριβή.

221 Παραρτήµατα Παραρτήµατα Η διατριβή συνοδεύεται από τρία παραρτήµατα. Στο πρώτο, παρουσιάζονται τα φύλλα αξιολόγησης που επιδόθηκαν στους συµµετέχοντες στα πειράµατα που περιγράφονται στο κεφάλαιο 3. Στο δεύτερο, παρουσιάζονται τα αναλυτικά αποτελέσµατα της µεθόδου που περιγράφεται στο κεφάλαιο 4 και εφαρµόστηκε σε δύο µελέτες περίπτωσης στο κεφάλαιο 5. Παρουσιάζονται τα αποτελέσµατα από την ευρετική αξιολόγηση και την προτεινόµενη µέθοδο ανάλυσης διεργασιών καθώς και τα φύλλα εργασίας που περιγράφουν τα ζητούµενα προβλήµατα που κλήθηκαν να επιλύσουν οι µαθητές στα πειράµατα παρατήρησης πεδίου. Τέλος στο τρίτο παράρτηµα, παρουσιάζονται τα διαγράµµατα UML του Cognitive Modelling Tool. ιδακτορική διατριβή. Σελίδα 215

222 Παραρτήµατα Παράρτηµα Α A1.ΑΞΙΟΛΟΓΗΣΗ ΕΚΠΑΙ ΕΥΤΙΚΟΥ ΛΟΓΙΣΜΙΚΟΥ ΠΟΛΥΜΕΣΩΝ ΟΝΟΜΑΤΕΠΩΝΥΜΟ Ο ΗΓΙΕΣ: ιαδικασία Αξιολόγησης (α) Μελετήστε αρχικά µε προσοχή το παρόν ερωτηµατολόγιο. Ζητείστε διευκρινήσεις για τα ερωτήµατα που δεν σας είναι σαφή από τους συντονιστές της οµάδας αξιολόγησης. (β) Στη συνέχεια µελετήστε διεξοδικά το υλικό υποβοήθησης στο CD. (γ) Προσπαθήστε να εγκαταστήσετε οι ίδιοι το προϊόν στον υπολογιστή που βρίσκεστε. Στη συνέχεια δαπανήστε σηµαντικό χρόνο για την εξέταση της λειτουργίας του συστήµατος, διαµορφώνοντας προσωπική άποψη για τα χαρακτηριστικά της αλληλεπίδρασης του µε τον χρήστη, την ροή του διαλόγου, την ποιότητα του κλπ. Οπωσδήποτε εκτελέστε το σενάριο χρήσης που βρίσκεται στο τέλος του παρόντος φυλλαδίου. Οδηγός στην διαδικασία αξιολόγησης θα πρέπει να είναι το ερωτηµατολόγιο. Να σηµειωθεί ότι σε κάθε ερώτηση πρέπει να βάζετε και ένα συντελεστή βαρύτητας από 0-5 που εκφράζει πόσο σηµαντικός είναι ο κάθε παράγοντας στην συνολική αίσθηση που αποκοµίζει ο χρήστης από το σύστηµα. Επίσης είναι χρήσιµο να κρατήσετε σηµειώσεις που αφορούν άλλες γενικές ή ειδικές παρατηρήσεις σας. (δ) Αφού ολοκληρώσετε την αξιολόγηση θα πρέπει να συντάξετε την προσωπική έκθεση αξιολόγησης που περιλαµβάνει το συµπληρωµένο έντυπο αξιολόγησης και τις παρατηρήσεις σας, (ε) Στη συνέχεια θα λάβετε µέρος σε συνάντηση ανταλλαγής απόψεων όλων των αξιολογητών µε τη συµµετοχή του συντονιστή αξιολόγησης που έχει στόχο την σύνταξη της Τελικής Έκθεσης Αξιολόγησης. Κατά την συνάντηση αυτή κάποιο µέλος της οµάδας αξιολογητών αναλαµβάνει να παίξει το ρόλο του καταγραφέα των απόψεων και συντάκτη της τελικής αυτής έκθεσης. Ο συντονιστής αξιολόγησης δεν επηρεάζει την διαδικασία αξιολόγησης, αλλά κυρίως υποβοηθάει την διαδικασία. οµή Τελικής Έκθεσης. Η τελική έκθεση πρέπει να έχει τη µορφή συνεχούς κειµένου, µε άξονες τις ενότητες και τις ερωτήσεις συνολικής εκτίµησης των ερωτηµατολογίων. Θα πρέπει να απηχεί τις απόψεις της οµάδας των αξιολογητών τονίζοντας ιδιαίτερα σηµεία στα οποία υπάρχει συµφωνία. Όπου υπάρχουν διχογνωµίες, οι διαφορετικές απόψεις θα πρέπει επίσης να καταγράφονται και να αιτιολογούνται. Η Έκθεση περιέχει υποχρεωτικά µια εισαγωγική παράγραφο (περίπου ½ σελίδας) η οποία δίνει την συνολική άποψη των αξιολογητών για το σύστηµα. Θα πρέπει να περιέχει σαφή τοποθέτηση κατά πόσον το αξιολογούµενο σύστηµα ικανοποιεί τις τεχνικές και παιδαγωγικές απαιτήσεις που έχουν καθοριστεί από τα έργα στα πλαίσια των οποίων έχουν αναπτυχθεί. Η Έκθεση πρέπει να περιέχει πρόταση των αξιολογητών για επέκταση του λογισµικού σε άλλα τµήµατα του γνωστικού αντικειµένου ή σε άλλα µαθήµατααντικείµεν του ωρολογίου προγράµµατος. Η Έκθεση επίσης µπορεί να περιλαµβάνει στο τέλος συγκεκριµένες προτάσεις βελτίωσης του συστήµατος σε µελλοντικές του εκδόσεις. ιαδικασία Σύνταξης της έκθεσης. Η Έκθεση θα πρέπει να συνταχτεί σε τελική µορφή κατά προτίµηση αµέσως µετά την ολοκλήρωση της συνάντησης των αξιολογητών, µε βάση τις σηµειώσεις των συµµετεχόντων στην ολοµέλεια και να δακτυλογραφηθεί (σχετική υποστήριξη θα παρασχεθεί στους αξιολογητές) ώστε να υπογραφεί από όλα τα µέλη της οµάδας των αξιολογητών. Οι Προσωπικές Εκθέσεις των αξιολογητών θα επισυναφθούν στην Τελική Έκθεση σαν παραρτήµατα. 1. ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ ΣΥΣΤΗΜΑΤΟΣ Αξιολογήστε τα τεχνικά χαρακτηριστικά και την ποιότητα του συστήµατος (αξιολογούµενο λογισµικό σε συνδυασµό µε το υπολογιστικό σύστηµα εγκατάστασης του). 1.1 Η ταχύτητα απόκρισης και εκτέλεσης εργασιών: Βαρύτητα για το παρόν σύστηµα : Σελίδα 216 Παραρτήµατα

223 Παραρτήµατα Πολύ αργή Επαρκώς γρήγορη 1.2 Αξιοπιστία συστήµατος: συχνότητα σφαλµάτων - συστήµατος που οφείλονται στο λογισµικό ή σε κακή συνεργασία λογισµικού-υπολογιστή. Βαρύτητα για το παρόν σύστηµα : Μεγάλη µηδενική 1.3 Το σύστηµα παρέχει σαφείς πληροφορίες για - σφάλµατα λογισµικού-υλικού. Βαρύτητα για το παρόν σύστηµα : Ποτέ πάντοτε 1.4 υνατότητα ανάνηψης χωρίς απώλεια δεδοµένων από αστοχίες-σφάλµατα του λογισµικού ή του συστήµατος Βαρύτητα για το παρόν σύστηµα : Αδύνατο υνατό 1.5 υνατότητα ανάνηψης από εσφαλµένους χειρισµούς χρήστη (επιλογή undo): Βαρύτητα για το παρόν σύστηµα : Ανεπαρκής Ικανοποιητική 1.6 ιαχείριση πόρων συστήµατος (ΚΜΕ, µνήµη,δίσκοι κλπ.) Βαρύτητα για το παρόν σύστηµα : Απαιτεί υπερβολικούς πόρους Λειτουργία µε περιορισµένους πόρους 1.7 Προσαρµοστικότητα συστήµατος. Πόσο παραµετρικά είναι τα χαρακτηριστικά λειτουργίας του συστήµατος (π.χ. ανάλυση οθόνης, επιλογή εκτυπωτή, χρώµατικές επιλογές κλπ.); Βαρύτητα για το παρόν σύστηµα : Καθόλου Σε πολύ µεγάλο βαθµό 1.8 Προσαρµογή στην εµπειρία του µαθητή (αρχάριος/ έµπειρος χρήστης): είναι δυνατή η εκτέλεση εργασιών από µαθητές µε µικρή εµπειρία χρήσης: Βαρύτητα για το παρόν σύστηµα : Πολύ δύσκολα Εύκολα 1.9 Προσαρµογή στην εµπειρία του µαθητή : Είναι δυνατή η χρήση συντοµεύσεων για επαναλαµβανόµενες εργασίες Βαρύτητα για το παρόν σύστηµα : Αδύνατο Σε µεγάλο βαθµό ιδακτορική διατριβή. Σελίδα 217

224 Παραρτήµατα 1.10 Προσαρµογή στην εµπειρία του µαθητή : Είναι δυνατή η επιλογή επιπέδου αλληλεπίδρασης (αρχάριος/ έµπειρος χρήστης) ; Βαρύτητα για το παρόν σύστηµα : Αδύνατο υνατό 1.11 Το σύστηµα είναι ασφαλές: Βαρύτητα για το παρόν σύστηµα : Καθόλου Απόλυτα 1.12 Ζητείται πάντοτε και µε την απαραίτητη έµφαση επιβεβαίωση για µη-αντιστρεπτές ενέργειες του χρήστη (π.χ. διαγραφή αρχείων) Βαρύτητα για το παρόν σύστηµα : Καθόλου Πάντοτε 1.13 Το σύστηµα είναι µεταφέρσιµο/ δεν εξαρτάται από ειδικά χαρακτηριστικά του υλικού: Βαρύτητα για το παρόν σύστηµα : Καθόλου Μεταφέρσιµο 1.14 Υπάρχει συνεργία µε εφαρµογές γενικής χρήσης (επεξεργαστές κειµένου, λογιστικά φύλλα, αριθµοµηχανές κλπ); Βαρύτητα για το παρόν σύστηµα : Καθόλου Απόλυτα 1.15 Η δόµηση του συστήµατος είναι ανοιχτή και σπονδυλωτή ώστε να επιτρέπεται η εύκολη τροποποίηση και επέκταση του; Βαρύτητα για το παρόν σύστηµα : Μονολιθικό σύστηµα Απόλυτα σπονδυλωτό Άλλες παρατηρήσεις και τεχνικά χαρακτηριστικά συστήµατος: ΕΓΚΑΤΑΣΤΑΣΗ ΛΟΓΙΣΜΙΚΟΥ Αξιολογήστε την όλη διαδικασία εγκατάστασης του λογισµικού σε τυπική υπολογιστική διάταξη παρόµοια µε αυτή της τελικής του χρήσης. 2.1 Ευκολία εγκατάστασης του λογισµικού (π.χ. αυτόµατη εγκατάσταση): Σελίδα 218 Παραρτήµατα

225 Παραρτήµατα Βαρύτητα για το παρόν σύστηµα : Πολύ δύσκολη πλήρως αυτοµατοποιηµένη 2.2 Ταχύτητα εγκατάστασης του λογισµικού: Βαρύτητα για το παρόν σύστηµα : Πολύ αργή γρήγορη 2.3 υνατότητα προσαρµογής σε ειδικές ανάγκες εξοπλισµού του σχολείου-χρήστη : Βαρύτητα για το παρόν σύστηµα : Αδύνατη εύκολη 2.4 υνατότητα εγκατάστασης ενός τµήµατος µόνο του λογισµικού: Βαρύτητα για το παρόν σύστηµα : Αδύνατη δυνατή 2.5 Παρέχονται επεξηγήσεις κατά την εγκατάσταση: Βαρύτητα για το παρόν σύστηµα : Καθόλου συνεχώς 2.6 Παρέχονται ευκρινή µηνύµατα σε περίπτωση σφάλµατος εγκατάστασης: Βαρύτητα για το παρόν σύστηµα : Ποτέ πάντοτε Άλλες παρατηρήσεις για την εγκατάσταση λογισµικού: ΕΓΧΕΙΡΙ ΙΑ ΚΑΙ ΗΛΕΚΤΡΟΝΙΚΗ ΒΟΗΘΕΙΑ Αξιολογήστε τα εγχειρίδια χρήσης, εγχειρίδια εγκατάστασης και άλλα βοηθήµατα σε έντυπη ή ηλεκτρονική µορφή που συνοδεύουν το σύστηµα. 3.1 Γενικά τα εγχειρίδια χρήσης : Βαρύτητα για το παρόν σύστηµα : Προκαλούν σύγχυση Είναι σαφή και ιδακτορική διατριβή. Σελίδα 219

226 Παραρτήµατα υποβοηθητικά 3.3 Η επίλυση ενός προβλήµατος χρήσης (π.χ. αναζήτηση µιας διαδικασίας ή επεξήγηση µιας επιλογής) µε χρήση των εγχειριδίων είναι: Βαρύτητα για το παρόν σύστηµα : Αδύνατη εύκολη 3.4 Η ποσότητα on-line βοηθητικών επεξηγήσεων είναι : Βαρύτητα για το παρόν σύστηµα : Ανεπαρκής επαρκής 3.5 Η Θέση βοηθητικών επεξηγήσεων στην οθόνη: Βαρύτητα για το παρόν σύστηµα : Προκαλεί σύγχυση Υποβοηθητική 3.6 Οι οδηγίες και η ανεύρεση συγκεκριµένης βοηθητικής επεξήγησης on-line είναι: Βαρύτητα για το παρόν σύστηµα : Πολύ δύσκολη Πολύ εύκολη Άλλες παρατηρήσεις για εγχειρίδια και ηλεκτρονικά βοηθήµατα: ΗΛΕΚΤΡΟΝΙΚΗ ΕΚΠΑΙ ΕΥΣΗ ΧΡΗΣΗΣ (on-line tutorial) Αξιολογήστε τα βοηθήµατα που παρέχονται για εκπαίδευση χρήσης του συστήµατος σε ηλεκτρονική µορφή. 4.1 Γενικά η ηλεκτρονική εκπαίδευση χρήσης ήταν : Βαρύτητα για το παρόν σύστηµα : Ανύπαρκτη Πολύ χρήσιµη 4.2 Η πρόσβαση στο υλικό ηλεκτρονικής εκπαίδευσης χρήσης ήταν : Βαρύτητα για το παρόν σύστηµα : ύσκολη εύκολη 4.3 Η δοµή του υλικού ηλεκτρονικής εκπαίδευσης χρήσης ήταν : Σελίδα 220 Παραρτήµατα

227 Παραρτήµατα Βαρύτητα για το παρόν σύστηµα : Παράλογη λογική 4.4 Η ταχύτητα παρουσίασης του υλικού ήταν: Βαρύτητα για το παρόν σύστηµα : Απαράδεκτη ικανοποιητική 4.5 Η δυνατότητα χρήσης του συστήµατος χωρίς άλλη βοήθεια µετά από µελέτη του υλικού ηλεκτρονικής εκπαίδευσης χρήσης ήταν: Βαρύτητα για το παρόν σύστηµα : Αδύνατη εύκολη Άλλες παρατηρήσεις για υλικό ηλεκτρονικής εκπαίδευσης χρήσης ΠΟΛΥΜΕΣΑ Αξιολογήστε τη χρήση πολυµέσων και την ποιότητα τους 5.1 Ποιότητα εικόνων και φωτογραφιών (ευκρίνεια, φωτεινότητα, µέγεθος κλπ.) Βαρύτητα για το παρόν σύστηµα : Απαράδεκτη Πολύ καλή 5.2 Ποιότητα βίντεο (ευκρίνεια, φωτεινότητα, µέγεθος παράθυρου βίντεο κλπ.): Βαρύτητα για το παρόν σύστηµα : Απαράδεκτη Πολύ καλή 5.3 Γενικά: ποιότητα ήχου Βαρύτητα για το παρόν σύστηµα : Απαράδεκτη Πολύ καλή 5.4 Ποιότητα και αριθµός χρωµάτων που χρησιµοποιήθηκαν Βαρύτητα για το παρόν σύστηµα : Απαράδεκτη Φυσικά χρώµατα ιδακτορική διατριβή. Σελίδα 221

228 Παραρτήµατα 5.5 Γενικά υπάρχει ισορροπία στη χρήση πολυµέσων Βαρύτητα για το παρόν σύστηµα : Υπερβολικά πολυµέσα Ισορροπία Άλλες παρατηρήσεις για πολυµέσα ΠΑΡΟΥΣΙΑΣΗ ΠΛΗΡΟΦΟΡΙΑΣ Αξιολογήστε τον τρόπο παρουσίασης της πληροφορίας στην οθόνη 6.1 Ευκρίνεια των κειµένων στην οθόνη : Βαρύτητα για το παρόν σύστηµα : υσανάγνωστα ευανάγνωστα 6.2 Απόδοση έµφασης σε τµήµατα του κειµένου-τµήµατα της οθόνης (π.χ. έντονοι χαρακτήρες, αναβοσβήσιµο τµήµατος της οθόνης κλπ.): Βαρύτητα για το παρόν σύστηµα : Όχι χρήσιµο χρήσιµο 6.3 Η διάταξη του περιεχοµένου σελίδας ήταν Βαρύτητα για το παρόν σύστηµα : Απαράδεκτη καλή 6.4 Ποσότητα πληροφορίας στην οθόνη ήταν Βαρύτητα για το παρόν σύστηµα : Ανεπαρκής επαρκής 6.5 Υπάρχει συνοχή/οµοιοµορφία της διεπιφάνειας χρήστη σε όλες τις ενόητες; Βαρύτητα για το παρόν σύστηµα : Μη οµοιοµορφία Πλήρης οµοιοµορφία Σελίδα 222 Παραρτήµατα

229 Παραρτήµατα άλλα σχόλια για την παρουσίαση πληροφορίας ΠΛΟΗΓΗΣΗ- ΑΚΟΛΟΥΘΙΑ ΟΘΟΝΩΝ Αξιολογήστε την ακολουθία των οθονών, τη ροή της κίνησης από οθόνη σε οθόνη και τα βοηθήµατα πλοήγησης. 7.1 Γενικά: Η ακολουθία οθονών προκαλεί Βαρύτητα για το παρόν σύστηµα : Σύγχυση Ήταν σαφής 7.2 Ακολουθία οθονών: Η επόµενη οθόνη στην ακολουθία ήταν Βαρύτητα για το παρόν σύστηµα : Απρόβλεπτη προβλέψιµη 7.3 Ακολουθία οθονών: Επιστροφή στην προηγούµενη οθόνη ήταν Βαρύτητα για το παρόν σύστηµα : Αδύνατη εύκολη 7.4 Ακολουθία οθονών: Ένδειξη θέσης σε σχέση µε το σύνολο του συστήµατος (π.χ. µε χρήση χάρτη αλληλουχίας οθονών, sitemap) Βαρύτητα για το παρόν σύστηµα : Ανύπαρκτη εµφανής 7.5 Τα παρεχόµενα βοηθήµατα πλοήγησης είναι ικανοποιητικά; Βαρύτητα για το παρόν σύστηµα : Ανύπαρκτα ικανοποιητικά 7.6 Υπάρχει η δυνατότητα εξόδου από το σύστηµα σε οποιοδήποτε σηµείο και επανεκκίνηση από το ίδιο σηµείο αργότερα; Βαρύτητα για το παρόν σύστηµα : Ανύπαρκτη παντού 7.7 Υπάρχει δυνατότητα µετάβασης σε άλλες ενότητες µε εύκολο και προφανή τρόπο; ιδακτορική διατριβή. Σελίδα 223

230 Παραρτήµατα Βαρύτητα για το παρόν σύστηµα : Ανύπαρκτη ικανοποιητική άλλα σχόλια για την παρουσίαση πληροφορίας ΟΡΟΛΟΓΙΑ - ΜΗΝΥΜΑΤΑ ΣΥΣΤΗΜΑΤΟΣ Αξιολογήστε την ορολογία που χρησιµοποιεί το σύστηµα στον διάλογο µε τον χρήστη και ειδικότερα στις περιπτώσεις µηνυµάτων λάθους και οδηγιών 8.1 Η ορολογία που χρησιµοποιήθηκε γενικά: Βαρύτητα για το παρόν σύστηµα : Είχε συνέπεια ήταν αντιφατική 8.2 Η ορολογία που χρησιµοποιήθηκε επεξηγείται όπου χρειάζεται: Βαρύτητα για το παρόν σύστηµα : ποτέ πάντοτε 8.3 Χρησιµοποιήθηκε αδικαιολόγητα ορολογία πληροφορικής Βαρύτητα για το παρόν σύστηµα : πολύ συχνά ποτέ 8.4 Μηνύµατα και άλλες πληροφορίες που εµφανίζονται στην οθόνη είναι: Βαρύτητα για το παρόν σύστηµα : αντιφατικά συνεπή 8.6 Η θέση των µηνυµάτων οδηγιών στην οθόνη είναι: Βαρύτητα για το παρόν σύστηµα : Όχι σταθερή σταθερή 8.7 Το περιεχόµενο των µηνυµάτων και µηνυµάτων οδηγιών στην οθόνη : Βαρύτητα για το παρόν σύστηµα : Σελίδα 224 Παραρτήµατα

231 Παραρτήµατα Προκαλεί σύγχυση Έχει σαφές νόηµα 8.8 Ο υπολογιστής κρατά τον µαθητή ενήµερο για τις ενέργειες του Βαρύτητα για το παρόν σύστηµα : Ποτέ συνεχώς 8.9 Το αποτέλεσµα ενεργειών µαθητή ήταν προβλέψιµο Βαρύτητα για το παρόν σύστηµα : Ποτέ πάντα 8.10 Η ποσότητα της παρεχόµενης ανάδρασης του συστήµατος µπορεί να ελεγχθεί από τον χρήστη (π.χ. υπάρχει δυνατότητα παραµετρικού προσδιορισµού του βαθµού λεπτοµέρειας των απαντήσεων του συστήµατος): Βαρύτητα για το παρόν σύστηµα : αδύνατο δυνατό 8.11 Η καθυστέρηση µεταξύ ενεργειών ήταν : Βαρύτητα για το παρόν σύστηµα : Απαράδεκτα µεγάλη ελάχιστη 8.12 Τα µηνύµατα σφάλµατος αποσαφηνίζουν το πρόβληµα ; Βαρύτητα για το παρόν σύστηµα : ποτέ πάντοτε 8.13 Μηνύµατα σφάλµατος: Η γλώσσα που χρησιµοποιείται στα µηνύµατα λάθους Βαρύτητα για το παρόν σύστηµα : Προσβλητικήδυσάρεστη Ευγενική-ευχάριστη Άλλες παρατηρήσεις και σχόλια για ορολογία και πληροφορίες συστήµατος... ΜΕΡΟΣ 9. ΕΚΜΑΘΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Αξιολογήστε την ευκολία εκµάθησης του συστήµατος από τυπικούς χρήστες (µαθητές και καθηγητές) 9.1 Γενικά η εκµάθηση λειτουργίας συστήµατος είναι: ιδακτορική διατριβή. Σελίδα 225

232 Παραρτήµατα Βαρύτητα για το παρόν σύστηµα : δύσκολη εύκολη 9.2 Εκµάθηση των βασικών λειτουργιών Βαρύτητα για το παρόν σύστηµα : δύσκολη εύκολη 9.3 Εκµάθηση προχωρηµένων- ειδικών λειτουργιών Βαρύτητα για το παρόν σύστηµα : δύσκολη εύκολη 9.4 Χρόνος που απαιτείται για την εκµάθηση Βαρύτητα για το παρόν σύστηµα : µεγάλος µηδαµινός 9.5 υνατότητα εκµάθησης λειτουργίας µε διερευνητικό τρόπο. Βαρύτητα για το παρόν σύστηµα : αδύνατο δυνατό 9.6 Αλληλουχία ενεργειών για επίτευξη στόχων : αριθµός ενεργειών που απαιτούνται για την ολοκλήρωση µιας λειτουργίας του συστήµατος είναι: Βαρύτητα για το παρόν σύστηµα : Υπερβολικά µεγάλος επαρκής 9.7 Αλληλουχία ενεργειών για επίτευξη στόχων : Οι ενέργειες ακολουθούν λογική σειρά : Βαρύτητα για το παρόν σύστηµα : Ποτέ πάντοτε 9.8 Αλληλουχία ενεργειών για επίτευξη στόχων : Παρέχεται ανάδραση στον χρήστη σχετικά µε την πρόοδο στην αλληλουχία Βαρύτητα για το παρόν σύστηµα : Ποτέ πάντοτε Άλλες παρατηρήσεις και σχόλια για εκµάθηση:.. Σελίδα 226 Παραρτήµατα

233 Παραρτήµατα. 10. ΣΥΝΟΛΙΚΗ ΕΚΤΙΜΗΣΗ ΤΟΥ ΣΥΣΤΗΜΑΤΟΣ Βαθµολογήστε συνολικά το σύστηµα: 10.1 Γενική εκτίµηση: Βαρύτητα για το παρόν σύστηµα : Απαράδεκτο εξαιρετικό 10.2 Ικανοποίηση που παρέχει η χρήση του: Βαρύτητα για το παρόν σύστηµα : Ενοχλητικό ικανοποιητικό 10.3 Κατά πόσο το σύστηµα παρακινεί τους χρήστες: Βαρύτητα για το παρόν σύστηµα : Βαρετό Κινεί το ενδιαφέρον του 10.4 Πόσο εύκολη θα είναι η χρήση του κατά τη γνώµη σας για τους µαθητές; Βαρύτητα για το παρόν σύστηµα : ύσκολο εύκολο 10.5 Το σύστηµα απαιτεί αδικαιολόγητα µεγάλη προσπάθεια (π.χ. πολλές πληκτρολόγησεις) εκ µέρους του χρήστη Βαρύτητα για το παρόν σύστηµα : Σε σηµαντικό βαθµό ποτέ Άλλες γενικές παρατηρήσεις και σχόλια για το σύστηµα... ΣΥΝΟΛΙΚΗ ΕΚΤΙΜΗΣΗ (Χρησιµοποιήστε τις απαντήσεις και τα σχόλια σας των προηγουµένων ενοτήτων ώστε να εκφράσετε την συνολική σας εκτίµηση για το σύστηµα) Σ.1. Η ποιότητα του συστήµατος από πλευράς τεχνικών χαρακτηριστικών και απόδοσης είναι ικανοποιητική και σύµφωνη µε τις απαιτήσεις του προβλήµατος(αυτοεκπαίδευση και προετοιµασία για το εργαστήριο ηλ.µηχανών); ιδακτορική διατριβή. Σελίδα 227

234 Παραρτήµατα Σ.2. Ποια είναι κατά τη γνώµη σας τα πιο σηµαντικά πλεονεκτήµατα του συστήµατος; Σ.3. Ποιες είναι κατά τη γνώµη σας οι µεγαλύτερες αδυναµίες του λογισµικού; Σ.4. Η εγκατάσταση του λογισµικού παρουσιάζει ιδιαίτερα προβλήµατα ; Εκτιµάτε ότι θα είναι εύκολη για τους τυπικούς χρήστες και τυπικές πλατφόρµες λειτουργίας του; Σ.5. Τα εγχειρίδια χρήσης του είναι σαφή και κατατοπιστικά, παρέχονται δε τα απαραίτητα βοηθήµατα µε ηλεκτρονικό τρόπο; Σ.6. Παρέχεται η δυνατότητα ηλεκτρονικής εκπαίδευσης χρήσης του συστήµατος (on-line tutorial) και πόσο αποτελεσµατική η υποστήριξη αυτή είναι κατά τη γνώµη σας ; Σ.7. Η ποιότητα και η ποικιλία των χρησιµοποιούµενων πολυµέσων είναι επαρκής για τους σκοπούς του Σελίδα 228 Παραρτήµατα

235 Παραρτήµατα συστήµατος ; Σ.8 Η πληροφορία παρουσιάζεται και οργανώνεται σύµφωνα µε τις αρχές εργονοµίας για σχεδιασµό λογισµικού, ώστε να µην κουράζει και επιβαρύνει νοητικά τον µαθητή; Σ.9. Η πλοήγηση στο σύστηµα γίνεται κατά φυσικό και εύκολο τρόπο ; Παρέχονται δε όλα τα σχετικά βοηθήµατα για την υποστήριξη του χρήστη ; Σ.10. Έχει υπάρξει πρόνοια ώστε τα µηνύµατα λάθους, µηνύµατα οδηγιών και γενικά η ορολογία που χρησιµοποιείται στον διάλογο χρήστη-συστήµατος να µην περιέχουν δυσνόητους όρους πληροφορικής, και να υπάρχει συνέπεια, ώστε να µην προκαλείται σύγχυση στον χρήστη ; Σ.11. Πιστεύετε ότι η εκµάθηση χρήσης του συστήµατος από τους τυπικούς χρήστες θα είναι εύκολη; Σ.12. Πιστεύετε ότι το σύστηµα υστερεί σε κάποιο επιµέρους τοµέα των λειτουργιών που επιτελεί (διδασκαλία/αυτοεξέταση/προετοιµασία) και αν ναι σε ποιο συγκεκριµένα και τι προτείνετε για τον εµπλουτισµό ιδακτορική διατριβή. Σελίδα 229

236 Παραρτήµατα του; Σ.14. Μπορείτε να κάνετε συγκεκριµένες προτάσεις για βελτιώσεις/τροποποιήσεις σε µελλοντικές εκδόσεις του συστήµατος ; Επιπλέον σχόλια και παρατηρήσεις: ΠΑΡΑΡΤΗΜΑ:Σενάρια Χρήσης Τα σενάρια χρήσης που µπορούν να χρησιµοποιηθούν για να είναι σε θέση να βγάλουν συµπεράσµατα οι συµµετέχοντες είναι τα κάτωθι: Α)Γενική χρήση προγράµµατος. Εκκίνηση εφαρµογής Εισαγωγή στοιχείων κλπ. Περιήγηση στο πρόγραµµα. Θεωρία-Ισοδύναµο κύκλωµα- ιάγραµµα µηχανής. Ερωτήσεις διαφόρων τύπων-αξιολόγηση Υποβοήθηση εργαστηρίου ιερεύνηση help-έξοδος από το πρόγραµµα. B)Τοπικά σενάρια χρήσης. Προτεινόµενος χρόνος :10 i. Εισήγαγε το όνοµά σου και όχι το επώνυµο.ύστερα βάλε και το επώνυµο, χρησιµοποίησε το help πριν προχωρήσεις στο κεντρικό πρόγραµµα και στη συνέχεια πήγαινε στο κεντρικό µέρος και επέλεξε κάθε γενική ενότητα και παρατήρησε τα µενού. ii. Πήγαινε στο διάγραµµα µηχανής βρες που είναι η Συγχρονή και η Ασύγχρονη Μηχανή, η ταχογεννήτρια το αµπερόµετρο και το βολτόµετρο δες όλες τις φωτογραφίες τους και παρατήρησε τις εναλλακτικές µορφές αναπαράστασης του τριφασικού ισοδύναµου καθώς και τα εναλλακτικά φορτία. iii. Επέλεξε τη περιοχή ερωτήσεων µε τη χρήση των πλήκτρων δεξιά, ύστερα το τµήµα θεωρίας-κάνε πάλι τα ίδια µε τη Σελίδα 230 Παραρτήµατα

237 Παραρτήµατα χρήση των µενού στο πάνω µέρος της οθόνης. iv. Πήγαινε στις ερωτήσεις και απάντησε από 2 σε κάθε κατηγορία-φάκελο.ύστερα δες την αξιολόγησή σου. v. Πήγαινε στο τµήµα διεξαγωγής του εργαστηρίου και στο ερώτηµα 3 συµπήρωσε 2 σειρές µε φανταστικές τιµές.προσπάθησε πας στο διάγραµµα µηχανής χωρίς να πατήσεις το µενού ή τα κουµπιά στα δεξιά. vi. Πήγαινε στο multimedia υλικό του εργαστηρίου,δες τις φωτογραφίες και τα video. Εν συνεχεία δες το περί της εφαρµογής και βγες από το πρόγραµµα. Προτεινόµενος χρόνος :20 ιδακτορική διατριβή. Σελίδα 231

238 Παραρτήµατα Παράρτηµα Β Β.1 Παρουσιάζονται τα αποτελέσµατα της ευρετικής αξιολόγησης, που περιγράφεται στη σχετική µελέτη περίπτωσης αξιολόγησης του ανοιχτού περιβάλλοντος CARME στην ενότητα 5.2. [ε1] Παρέχει το σύστηµα συνεχώς κατάλληλη ανάδραση της κατάστασης του σε εύλογο χρόνο; *Εργαλεία >επικάλυψη µε τη µονάδα: ο χρήστης δεν έχει ανάδραση ότι µπορεί πατώντας στη περιοχή σχεδίασης θα σχεδιαστεί κάτι. (Αλλαγή κατάστασης δείκτη ποντικιού). *Το ίδιο Σχεδίαση> Σχεδίαση πολυγώνου *Το ίδιο Σχεδίαση> Σχεδίαση Ευθυγράµµου σχήµατος. *Το ίδιο Επεξεργασία>Σβήσιµο *Το ίδιο Επεξεργασία>Επικόλληση * εν είναι φανερό σε κάποια γραµµή κατάστασης ποια διεργασία εκτελεί ο χρήστης εκείνη τη στιγµή. * εν είναι φανερό ποιός καµβάς έχει επιλεγεί εκείνη τη στιγµή. * εν είναι φανερό ποιό καρρέ έχει επιλεγεί εκείνη τη στιγµή. *Φτιάχνοντας ένα ισοδύναµο σχήµα δεν υπάρχει ένδειξη ποιο είναι το σχήµα αναφοράς. *Η κοπή και η επικόλληση δεν ενεργοποιούνται/απενεργοποιούνται όταν υπάρχει κάτι στο clipboard ή όχι. *Πολλές άλλες επιλογές δεν είναι απενεργοποιηµένες όταν δεν είναι δυνατον να επιλεγούν βάσει της τρέχουσας κατάστασης του συστήµατος. Συνολικά προβλήµατα:11 [ε2] Χρησιµοποιείται απλή και κατανοητή γλώσσα και εικονικές και συµβολικές αναπαραστάσεις που είναι προσαρµοσµένες στο νοητικό επίπεδο του χρήστη ; *Αποθήκευση σαν... ενδεχοµένως προκαλεί σύγχυση για το ότι αναφέρεται σε άλλο τύπο αρχείου και όχι σε άλλο όνοµα αρχείου (Αποθήκευση ως...) *Η ορολογία καµβάς,καρρέ δηµιουργεί πρόβληµα σαν ορολογία ως προς τη Σελίδα 232 Παραρτήµατα

239 Παραρτήµατα σηµασιολογία τους και τη διαφορά τους. * εν υπάρχει κάποια γραµµή εργαλείων µε τυπικά εικονίδια όπως εκτύπωση, σώσιµο, νέο αρχείο κλπ. *Το µενού <καθάρισµα οθόνης> πρέπει να αντικατασταθεί µε το πιο κατανοητό <Νέο αρχείο>,διότι στη πράξη κλείνει το αρχείο δεν καθαρίζει απλά την οθόνη. * εν υπάρχει δυνατότητα έκφρασης µετρήσεων γωνίας ως προς τον π παρά µόνο σε µοίρες. Συνολικά προβλήµατα:4 [ε3] Παρέχεται δυνατότητα ελέγχου και ελευθερία κίνησης στον χρήστη, π.χ. δυνατότητα αναίρεσης εσφαλµένης ενέργειας (undo) ; * εν υπάρχει δυνατότητα αναίρεσης κάποιας διεργασίας (π.χ. ένα πολύγωνο) ή κάποιας µικροενέργειας (π.χ. το τελευταίο ευθύγραµµο τµήµα που σχεδιάστηκε). *Σε περίπτωση που ο χρήστης ξεκινήσει να σχεδιάζει ένα ευθύγραµµο τµήµα και επιλέξει κάτι από το µενού χωρίς πρώτα να ολοκληρώσει τη σχεδίαση, το σύστηµα δεν του επιτρέπει να ολοκληρώσει τη σχεδίαση. *Για να γίνει στροφή ενός σχήµατος ως προς γωνία στροφής πρέπει πρώτα να σχεδιαστεί το σχήµα µετά η στροφή, να µετρηθεί και τέλος να γίνει η στροφή και µόνο µε αυτή τη σειρά. *Για να γίνει το συµµετρικό ενός σχήµατος ως προς άξονα συµµετρίας, πρέπει πρώτα να σχεδιαστεί το σχήµα µετά ο άξονας συµµετρίας, και τέλος να γίνει η στροφή και µόνο µε αυτή τη σειρά. * εν υπάρχει εναλλακτικός τρόπος σχεδίασης γωνίας.(µε απ ευθείας ορισµό µοιρών) Συνολικά προβλήµατα:5 [ε4] Υπάρχει συνέπεια στην χρήση ορολογίας επιλογών, σηµασιολογία συµβόλων κλπ, σε όλη τη διεπιφάνεια χρήστη; *Η επεξεργασία σαν µενού είναι δεύτερο στη σειρά στα προγράµµατα σε λειτουργικό windows. *Το <καθάρισµα οθόνης> εννοεί την εντολή <νέο αρχείο> και πρέπει να είναι η πρώτη εντολή στο µενού <αρχείο>. *Καµβάς καρρέ και µονάδες είναι σε διαφορετικό µενού. ιδακτορική διατριβή. Σελίδα 233

240 Παραρτήµατα *Στην απεικόνιση της βοήθειας όλα τα µενού εµφανίζονται µια θέση πιο δεξιά. *Η <στροφή> πρέπει να είναι κάτω από το µενού Ισοδύναµα σχήµατα και να µετονοµαστεί σε µετασχηµατισµοί. * Η επιλογή < συµµετρία ως προς άξονα> πρέπει να είναι κάτω από το µενού Ισοδύναµα σχήµατα και να µετονοµαστεί σε µετασχηµατισµοί. *Η <κατασκευή γωνίας στροφής> πρέπει να είναι κάτω από το µενού Σχεδίαση. * Η <εµφάνιση αριθµητικών στοιχείων σχηµάτων> πρέπει να είναι κάτω από το µενού Μέτρηση. *Η <κατασκευή άξονα συµµετρίας> πρέπει να είναι κάτω από το µενού Σχεδίαση. *Η επιλογές ορθογώνιο και επιπλεόν ορθογώνιο πρέπει να συγχωνευθούν *Η επιλογές τρίγωνο και επιπλεόν τρίγωνο πρέπει να συγχωνευθούν Συνολικά προβλήµατα:8 [ε5] Το σύστηµα προστατεύει τον χρήστη από πιθανά σφάλµατα; *Μέτρηση γωνίας σε κενή οθόνη δίνει αποτέλεσµα. *Μέτρηση επιφάνειας σε κενή οθόνη δίνει αποτέλεσµα. *Καθάρισµα οθόνης (δηλαδή νέο αρχείο) δεν δίνει δυνατότητα αναίρεσης της ενέργειας του συστήµατος. *Η έξοδος από το πρόγραµµα δεν απαιτεί επιβεβαίωση. *Ενώ επιτρέπεται µεγιστοποίηση του παραθύρου εργασίας, το καρρέ ή ο καµβάς δεν καταλαµβάνουν όλη την νέα επιφάνεια για ανάλυση >(640*480). *Στο µενού <ισοδύναµα σχήµατα> υπάρχει κάποια διαχωριστική γραµµή που επιτρέπεται να πατηθεί χωρίς να υλοποιεί κάποια λειτουργία. Συνολικά προβλήµατα: 6 [ε6] Γίνεται προσπάθεια ελαχιστοποίησης του µνηµονικού φορτίου του χρήστη, περιορίζονται στο ελάχιστο όσα ο χρήστης πρέπει να θυµάται; *Η σχεδίαση πολυγώνου απαιτεί να θυµάται ο χρήστης ότι πρέπει να επιλέξει τέλος σχεδίασης. *Η σχεδίαση ευθυγράµµου τµήµατος απαιτεί να θυµάται ο χρήστης ότι πρέπει να επιλέξει σχεδίαση ευθυγράµµου τµήµατος. *Η παραίνεση που εµφανίζεται για σχεδίαση γωνίας κάτω από 90 µοίρες Σελίδα 234 Παραρτήµατα

241 Παραρτήµατα απαιτεί από το χρήστη να µεταφέρει γνώση από ένα διάλογο σε άλλο. *Η διαδικασία παραγωγής ισοδύναµου σχήµατος από σχεδίαση πολυγώνου απαιτεί να θυµάται ο χρήστης ότι πρέπει να επιλέξει τέλος σχεδίασης. Συνολικά προβλήµατα: 3 [ε7] Το σύστηµα προσαρµόζεται στις ανάγκες των πεπειραµένων χρηστών, παρέχοντας συντοµεύσεις σε συχνές ακολουθίες ενεργειών; *Η παραίνεση που εµφανίζεται για σχεδίαση γωνίας κάτω από 90 µοίρες εξακολουθεί να υφίσταται ακόµα και µετά από πολύωρη χρήση. * εν υπάρχουν συντοµεύσεις για σώσιµο,εκτύπωση,νέο αρχείο κλπ. Συνολικά προβλήµατα: 2 [ε8] Το σύστηµα χαρακτηρίζεται από καλαισθησία και µινιµαλισµό στην παρεχόµενη πληροφορία ώστε να αποφεύγεται σύγχυση του χρήστη; *Στην εµφάνιση αριθµητικών στοιχείων σχηµάτων χρησιµοποιούνται έννοιες α1,α2 κλπ... που δεν αντιστοιχίζονται µε την επιφάνεια εργασίας. *Εµφανίζεται διάλογος που προειδοποιεί το χρήστη να µην σχεδιάσει γωνία µεγαλύτερη από 90 µοίρες. *Το µήκος των ευθυγράµµων τµηµάτων δεν εκφράζεται σε µοίρες. *Σε περίπτωση που ο χρήστης ξαναεπιλέξει την επιφάνεια εργασίας βλέποντας τα αριθµητικα δεδοµένα ο διάλογος µε τη πληροφορία αυτή εξαφανίζεται (χωρίς να απενεργοποιείται). Συνολικά προβλήµατα: 4 [ε9] Τα µηνύµατα σε περίπτωση σφάλµατος είναι σαφή και κατανοητά και προτείνουν διέξοδο από το σφάλµα *Όταν εµφανίζεται το µήνυµα ότι πρέπει να µετρήσει την γωνία στροφής,δεν υπάρχει επεξήγηση του πως να το κάνει αυτό. *Όταν δηµιουργεί µια γωνία στροφής µεγαλύτερη από 90 µοίρες που δεν είναι δυνατόν να την αξιοποιήσει µε κάποιο τρόπο δεν βγαίνει ένα µήνυµα επεξήγησης και προτροπής να σχεδιάσει µια νέα γωνία <90 µοιρών. Συνολικά προβλήµατα: 2 [ε10] Η παρεχόµενη βοήθεια και εγχειρίδια χρήσης είναι σύντοµα και περιεκτικά, και εστιάζουν σε εργασίες του χρήστη αντί για λειτουργίες του συστήµατος; *Η βοήθεια δεν εστιάζει σε διεργασίες παρά µόνο σε µεµονωµένες ιδακτορική διατριβή. Σελίδα 235

242 Παραρτήµατα λειτουργίες. * εν περιγράφονται βήµα-βήµα τυπικές λειτουργίες του συστήµατος * εν επιτρέπεται αναζήτηση της πληροφορίας στο σύστηµα. Συνολικά προβλήµατα: 3 Σύνολο προβληµάτων :48 Β.2 Προβλήµατα που αναγνωρίσθηκαν και καταγράφησαν στις ανελυµένες στρατηγικές του ΑΠΜ CARME (ενότητα 5.1). Dal5. Η στρατηγική αυτή αφορούσε στο µετασχηµατισµό πολυγώνου µε τεµαχισµό σε δύο κυρτά πολύγωνα,αυτόµατο µετασχηµατισµό πολυγώνων σε ισοδύναµα τετράγωνα και αναδιάταξη των σχηµάτων ώστε να δηµιουργείται νέο σχήµα. 1)Στο σχεδιασµό πολυγώνου ο χρήστης πρέπει πρώτα να σχεδιάσει όλες τις πλευρές εκτός από τη τελευταία και να επιλέξει τέλος σχεδίασης. Ο τρόπος αυτός δεν ταιριάζει στο νοητικό µοντέλο του χρήστη για το πως πρέπει να εκτελείται η διεργασία αυτή και πιστεύει ότι πρέπει να σχεδιάσει τη τελευταία γραµµή κοντά στο αρχικό σηµείο της 1 ης. Το πρόβληµα αυτό αναγνωρίστηκε σε πληθώρα στρατηγικών. *2)Στο σχεδιασµό πολυγώνου ο χρήστης πρέπει να δηλώσει στο σύστηµα ότι ξεκινά και τελειώνει τη σχεδίαση. Κάτι τέτοιο δεν είναι συνηθισµένο σε direct manipulation GUI. Από τη φύση των log files είναι δύσκολο να διαπιστωθεί το αν επηρεάζει αυτό τους χρήστες. 3)Στο τεµαχισµό του πολυγώνου ο χρήστης πρέπει να επιλέξει draw segment και να σχεδιάσει τη γραµµή χωρίς εδώ να υπάρχει απαίτηση για να επιλέξει end draw. εν υπάρχει λογική συµφωνία (συνέχεια), µε το τρόπο σχεδίασης πολυγώνου. 4)Επίσης ο χρήστης δηµιουργεί ένα ευθύγραµµο τµήµα χωρίς να είναι βέβαιος ότι αυτό εφάπτεται σε 2 ακµές του πολυγώνου που τεµαχίζει. 5)Στον αυτόµατο µετασχηµατισµό του τεµαχισµένου τµήµατος σε ισοδύναµο τετράγωνο πρέπει να µετρήσει πρώτα το εµβαδό του, που δεν συνδέεται νοητικά µε τη διεργασία. 6)Προκειµένου να µετρήσει το συγκεκριµένο σχήµα πρέπει να το επανασχεδιάσει από πάνω µε συνέπεια να υπάρχει κίνδυνος διαφοροποίησης του Σελίδα 236 Παραρτήµατα

243 Παραρτήµατα πραγµατικού µετρηθέντος εµβαδού. Επίσης η διεργασία επιβαρύνεται άσκοπα. Το πρόβληµα αυτό αναγνωρίστηκε σε πληθώρα στρατηγικών. 7)Ο µηχανισµός copy paste απαιτεί πρώτα να επιλεγεί η εντολή paste και µετά να επιλεγεί το σηµείο. Οι χρήστες µε εµπειρία από άλλα λογισµικά θα επιβαρυνθούν καθώς πάντα ακολουθεί αντίστροφη σειρά. 8)Η επιλογή επιλογή µέρους δεν παρέχει ανάδραση µε συνέπεια ο χρήστης να επιλέγει συνεχώς select χωρίς να είναι βέβαιος αν και ποιο σχήµα έχει επιλέξει. Γενικά προβλήµατα ανάδρασης υπάρχουν σχεδόν σε όλες τις λειτουργίες του συστήµατος. 9) εν υφίσταται µηχανισµός αναίρεσης κάποιων λειτουργιών (undo). Kal5 Χωρισµός του µη κυρτού πολυγώνου σε 2 κυρτά σχήµατα. Αυτόµατη µέτρηση του καθενός από αυτα και άθροιση των εµβαδών τους για τον υπολογισµό του εµβαδού του µη κυρτού πολυγώνου.εύρεση της τετραγωνικής ρίζας του εµβαδού του µη κυρτού πολυγώνου. Κατασκευή ενός νέου ισοδυνάµου σχήµατος τετραγώνου µε αυτό το εµβαδόν. 1) εν υφίσταται εργαλείο υπολογισµού πλευράς τετραγώνου µε γνωστό το εµβαδό του. 2) εν υποστηρίζεται η διεργασία σχεδίασης ευθ.τµήµατος µε δεδοµένο µήκος. 3) εν υπάρχει ανάδραση κατά το σχεδιασµό ενός ευθυγράµµου τµήµατος για το µήκος του. 4)Η σχεδίαση ευθυγράµµου τµήµατος απαιτεί να θυµάται ο χρήστης ότι πρέπει να επιλέξει σχεδίαση ευθυγράµµου τµήµατος. 5)Ο χρήστης δεν µπορεί να σχεδιάσει µε ακρίβεια τετράγωνο (κάθετες γραµµές µεταξύ των, ίσα ευθύγραµµα τµήµατα). 6) εν υπάρχει λειτουργία αυτόµατης δηµιουργίας τετραγώνου από δοθείσα πλευρά. Kal3 Προσπάθησε να αναπτύξει µια στρατηγική που να αξιοποιεί τη δυνατότητα κατασκευής προσωπικής µονάδας της «µονάδας του µαθητή". Κατέληξε στη δηµιουργία τριγωνικής µονάδας µε την οποία προσπαθούσε να επικαλύψει το σχήµα του. ηµιουργούνταν πολλές επικαλύψεις και κενά και αυτό τον οδήγησε να αφήσει αυτή τη στρατηγική και να προχωρήσει στη δηµιουργία της επόµενης. Xαρακτηριστικό αυτής της φάσης είναι ο πειραµατισµός µε τις παραπάνω λειτουργίες ιδακτορική διατριβή. Σελίδα 237

244 Παραρτήµατα του µικρόκοσµου. Kal7 Χρήση του τετραγωνικού καρρέ. Καταµέτρηση των µονάδων και σύνθεση όσων χρειάζεται από τα µέρη τους.κατασκευή ενός νέου ισοδυνάµου σχήµατος τετραγώνου µε τον ίδιο αριθµό µονάδων.το σχεδίασε µε τη βοήθεια των εργαλείων σχεδίασης στον τετραγωνικό καµβά. Αυτόµατος µετασχηµατισµός του ισοδυνάµου τετραγώνου σε τετράγωνο ορθογώνιο ισοσκελές τρίγωνο και σε ορθογώνιο. 1)Για περισσότερα του ενός παραλληλόγραµµα υπάρχει ξεχωριστή εντολή.η εντολή θα µπορούσε να είναι η ίδια και µε επανάληψή της να σχεδιάζονται περισσότερα παραλληλόγραµµα. 2)Ο µαθητής στη προσπάθειά του να µετρήσει το ισοδύναµο τετράγωνο,το σχεδιάζει από πάνω και επιλέγει µέτρηση επιφάνειας πριν επιλέξει τέλος σχεδίασης. *Πολλά προβλήµατα που εντοπίσθηκαν αναφέρονται και σε προηγούµενες διεργασίες. Alk5 Μετασχηµατισµός του σχήµατος σε νέο µε διατήρηση του σχήµατος και αλλαγή της θέσης του πάνω στην οθόνη του υπολογιστή ύστερα από επικόλληση και στροφή. 1)Στην επιλογή προς κοπή του πολυγώνου, αν δεν το κάνει αµέσως µετά το σχεδιασµό του πρέπει να το σχεδιάσει «από πάνω». 2)Για τη περιστροφή του πολυγώνου εισάγεται η έννοια της σχεδίασης γωνίας στροφής που είναι εννοιολογικά ανεξάρτητη. 3) εν είναι σαφής ο λόγος που εµφανίζεται ο περιορισµός για σχεδίαση κάτω από 90 µοίρες. 4)Επίσης αυτός ο περιορισµός δεν ενσωµατώνεται στην εκτέλεση της διεργασίας, αποτρέποντας το από σχεδίαση γωνίας πάνω από 90 µοίρες. 5) Παράλληλα δεν δίνεται άλλος τρόπος σχεδίασης γωνίας (όπως ακριβής δήλωση σε µοίρες). 6)Για να γίνει στροφή ενός σχήµατος ως προς γωνία στροφής πρέπει πρώτα να σχεδιαστεί το σχήµα µετά η στροφή, να µετρηθεί και τέλος να γίνει η στροφή και µόνο µε αυτή τη σειρά. 7)Το task θα µπορούσε να απλοποιηθεί, προσχεδιάζοντας αυτοµάτως τη µια πλευρά και περιµένοντας από το χρήστη να ορίσει την άλλη µειώνοντας τη χρήση του Σελίδα 238 Παραρτήµατα

245 Παραρτήµατα ποντικιού από τρεις σε µία επιλογές. Ag8 Επιλογή της τετραγωνικής µονάδας. Eπικάλυψη του µη κυρτού πολυγώνου µε την τετραγωνική µονάδα µε κενά και επικαλύψεις. 1)Στην επικάλυψη των σχηµάτων µε τη µονάδα δεν υφίσταται κάποιος µηχανισµός ώστε να γίνεται επικάλυψη χωρίς κενά ή χωρίς επικαλύψεις µεταξύ των µονάδων. 2)Στην δηµιουργία ισοδύναµου σχήµατος µε copy-paste αν δεν επιλεγεί το πολύγωνο αµέσως µετά τη σχεδίαση πολυγώνου θα πρέπει να σχεδιαστεί «από πάνω» 3)Η επιλογή select all δεν παρέχει ανάδραση για το ποιό σχήµα έχει επιλεγεί. Dol2 Επιλογή της τετραγωνικής µονάδας που διαθέτει ο µικρόκοσµος. Eπικάλυψη του µη κυρτού πολυγώνου µε την τετραγωνική µονάδα. Καταµέτρηση και αναδιάταξη των µονάδων και δηµιουργία ενός νέου σχήµατος (περίπου τετράγωνο) µε τον ίδιο αριθµό µονάδων µε το αρχικό σχήµα που έπρεπε να µετασχηµατίσει.αυτόµατη µέτρηση και των δύο σχηµάτων για επιβεβαίωση της ορθότητας του µετασχηµατισµού. *προβλήµατα που έχουν αναγνωριστεί και σε άλλες διεργασίες Dal3 Μετασχηµατισµός του σχήµατος σε νέο µε διατήρηση του σχήµατος και αλλαγή της θέσης του πάνω στην οθόνη του υπολογιστή ύστερα από παράλληλη µετατόπιση. 1)Για να γίνει το συµµετρικό ενός σχήµατος ως προς άξονα συµµετρίας, πρέπει πρώτα να σχεδιαστεί το σχήµα,µετά ο άξονας συµµετρίας, να επιλεγεί το σχήµα και τέλος να γίνει η στροφή και µόνο µε αυτή τη σειρά. 2)Επιλογή άλλου σχήµατος προς συµµετρία απαιτεί την επανασχεδίαση από πάνω του σχήµατος ιδακτορική διατριβή. Σελίδα 239

246 Παραρτήµατα Β3. Παρουσιάζονται τα αποτελέσµατα της ευρετικής αξιολόγησης, που περιγράφεται στη σχετική µελέτη περίπτωσης αξιολόγησης του ανοιχτού περιβάλλοντος CARME στην ενότητα ος αξιολογητής 1)Αποφυγή περιττών στοιχείων. Αποφυγή κατά το δυνατόν πολυλογίας, σύνθετων γραφικών, κλπ. Η επιπλέον πληροφορία διασπά την προσοχή του χρήστη από το στόχο του. 1)Στη φόρµα διαχείριση βιβλιοθηκών> υπάρχει πεδίο «επιλεγµένη βιβλιοθήκη» που είναι αχρείαστο. 2)Στην επιλογή ιδιότητας σε οντότητα εµφανίζεται πεδίο µε «Νέα ιδιότητα» που περιέχει και την ήδη επιλεγµένη που όµως είναι αχρείαστο. Έτσι αν έχει µόνο µια ιδιότητα το αντικείµενο η «νέα ιδιότητα» δεν µπορεί να πάρει καµία τιµή. 3)Στο συντάκτη εξισώσεων παρουσιάζονται οι πιθανές υποψήφιες µεταβλητές-τιµές ιδιότητας. Αφού εισαχθούν 2 µεταβλητές δεν επιτρέπεται να πατηθεί µια τρίτη και συνεπώς οι µεταβλητές αυτές έπρεπε να παρουσιάζονται «απενεργοποιηµένες». 2)Χρήση κατανοητής προς τους χρήστες γλώσσας. Αποφυγή χρήσης όρων συστήµατος και υπολογιστών. Αντίθετα επιδίωξη χρήσης όρων και φράσεων κατανοητών στο χρήστη, κατανόηση νοητικού µοντέλου χρήστη, προσοχή στη χρήση µεταφορών. 1)Οι περισσότεροι διάλογοι έχουν ΟΚ,Cancel αντί «Εντάξει,Ακύρωση». 2)Στην επιλογή «αποστολη προς» µιας οντότητας εµφανίζεται ένας διάλογος «Πληκρολόγησε την Ι...» (?) 3)Η «επιλογή ιδιοτήτων» τη στιγµή που επιλέγει ο χρήστης γράφηµα πρέπει να γίνει «επιλογή ιδιοτήτων γραφήµατος» για να έχει αίσθηση προόδου ο µαθητής. 4)Στο συντάκτη εξισώσεων ο «καθαρισµός» πρέπει να γίνει «καθαρισµός όλων» για να διαχωρίζεται από το «Σβήσιµο» που αναφέρεται σε σβήσιµο της τελευταίας εισόδου. Σελίδα 240 Παραρτήµατα

247 Παραρτήµατα 3)Ελαχιστοποίηση του µνηµονικού φορτίου του χρήστη. Υποστήριξη στον χρήστη ώστε να αναγνωρίζει και όχι να θυµάται. Εµφανή χειριστήρια. Χρήση προκαθορισµένων τιµών, παραδείγµατα χρήσης 1)Στην επιλογή ιδιοτήτων ο χρήστης πρέπει να θυµάται ότι πρώτα επιλέγει την ιδιότητα για το Χ και µετά για το Y. 2)Στην υπό συνθήκη σχέση ο χρήστης πρέπει να θυµάται το πεδίο τιµών της ιδιότητας. 3)Στο συντάκτη εξισώσεων ο χρήστης πρέπει να θυµάται ποιές µεταβλητές έχει επιλέξει. 4) ιατήρηση συνέπειας σε ολόκληρη την διεπιφάνεια. Ακολουθήστε τις συµβάσεις του συστήµατος, πάντα οι όροι και οι ενέργειες θα πρέπει να έχουν το ίδιο νόηµα σε όλη τη διεπιφάνεια 1) Η επιλογή τιµή σε µια ιδιότητα γίνεται µε dragging ενώ στην τιµή σχέσης όχι. 2)Στην επιλογή ιδιοτήτων για γράφηµα δεν φαίνεται η αντιστοιχία της σειράς επιλογών των ιδιοτήτων. 3)Οι επιλογές copy paste δεν εµφανίζονται µε δεξι κλικ σε οντότητα παρά µόνο µε τη χωρική επιλογή. 4)Στο πίνακα εξόδου υπάρχει εικονίδιο εξόδου. 5)Το εικονικό πληκτρολόγιο δεν έχει τη διάταξη τυπικού calculator. 6)Το copy paste δεν µεταφέρει τις συνθήκες µιας σχέσης αν επιλεγεί προς αντιγραφή. 7) εν µπορώ να εισάγω µια σχέση που να σχετίζεται µε µια παγωµένη σχέση, ενώ αντιθέτως µπορώ να το συσχετίσω µε µια κλειδωµένη ιδιότητα. 8)Κλειδώνοντας µια ιδιότητα παγώνει µια σχέση. εν παγώνει όµως µια ιδιότητα που σχετίζεται µε αυτή. 9)Τα tooltips στον συντάκτη εξισώσεων είναι σε italics. Στο υπόλοιπο σύστηµα είναι plain. 5)Παροχή ανάδρασης. ιδακτορική διατριβή. Σελίδα 241

248 Παραρτήµατα Πληροφόρηση στον χρήστη για το τι συµβαίνει στο σύστηµα αν η αναµονή > 10 s. ένδειξη προόδου εργασίας, αν 1-10s αλλαγή σχήµατος δροµέα. 1)Στην επιλογή οντοτήτων η επιλογή κατηγορίας δεν είναι προφανής γιατί αυτόµατα αλλάζει θέση. 2)Το ίδιο και στην επιλογή σχέσεων. 3)Στις υπό συνθήκες σχέσεις όταν έχω δύο αντικείµενα µε ίδια ιδιότητα δεν φαίνεται σε ποια οντότητας ιδιότητα αναφέροµαι. 4)Στον πίνακα τιµών όταν τρέχει το µοντέλο ο πίνακας δεν κυλίεται αντίστοιχα ώστε να δείχνει τις τρέχουσες τιµές. 5)Στο συντάκτη εξισώσεων ο κέρσορας δεν παίρνει τη σωστή θέση µέσα από εισαγωγή µεταβλητής. 6)Όταν εισάγει κανείς συνάρτηση, µετά περνώντας πάνω από τη σχέση θα έπρεπε να βγάζει σε tooltip την συνάρτηση ώστε να γνωρίζει ο χρήστης αν έχει εισαχθεί συνάρτηση και ποια. 6)Παροχή εύκολων και σαφών Εξόδων ιαφυγής. Χρήση σύντοµης εξόδου από εσφαλµένη κατάσταση. Παροχή δυνατότητας Cancel, Undo, Redo 1)Πατώντας pause εν συνεχεία το µοντέλο θα έπρεπε να συνεχίσει να τρέχει απο εκεί που σταµάτησε και όχι από την αρχή. 2)Με επιλεγµένο το πλήκτρο της επανάληψης θα έπρεπε το µοντέλο να τρέχει συνεχώς. 3) εν υπάρχει undo σε διαγραφές, µετακινήσεις οντοτήτων κλπ. 7)Παροχή συντοµεύσεων για γρήγορη εκτέλεση εργασιών από πεπειραµένους χρήστες. (π.χ. πλήκτρα εντολών, πρόβλεψη πληκτρολόγησης, επανάληψη πρόσφατων εντολών, πρόσφατα αρχεία, macros). Οι συντοµεύσεις, δεν πρέπει να είναι εµφανείς σε πρωτόπειρους χρήστες Σελίδα 242 Παραρτήµατα

249 Παραρτήµατα 1) εν υπάρχει λειτουργία αντιστροφής των ιδιοτήτων σε µια σχέση. 2) εν υπάρχει µηχανισµός αλλαγής των ιδιοτήτων ή οντοτήτων σε µια σχέση. 3)Οι επιλογές τιµών στην ιδιότητα και στη τιµή µιας σχέσης θα µπορούσαν να ορίζονται και µε πλήκτρα (<- και ->). 4)Επιλογή σχέσης κατά την επιλογή ιδιότητας θα µπορούσε να εισάγει κατευθείαν τις ιδιότητες της σχέσης στο γράφηµα. 5)Θα έπρεπε να υπάρχει δυνατότητα αυτόµατης προσαρµογής του πεδίου τιµών στην απεικόνιση της γραφικής παράστασης, Συναρτήσεις όπως πχ η cos(x) απεικονίζονται πολύ φτωχά λόγω του προβλήµατος αυτού. 8)Παροχή σαφών µηνυµάτων λάθους. Αποφυγή κωδικοποίησης µηνυµάτων σφάλµατος. Όχι επιθετική ή προσβλητική γλώσσα, ακριβής έκφραση, εποικοδοµητικός χαρακτήρας- υποδείξεις, σύνδεση µε βοηθήµατα. 1)Στις υπό συνθήκες σχέσεις το σύστηµα αναφέρει για τιµή ιδιότητας µεταξύ 0 και 1, ενώ σε συγκεκριµένες περιπτώσεις τιµές π.χ. 0 έως 80. 2)Αλλάζοντας τιµές σε ιδιότητες παίρνω µήνυµα ότι πρέπει να έχω τιµές από 0 έως 1. 3) Κατασκευή εξίσωσης τύπου S=a+S βγάζει σαν µήνυµα «συντακτικό λάθος» αντί για το «εν είναι στη µορφή y=f(x) που είναι το σωστό. 9)Σχεδιασµός για αποτροπή σφαλµάτων χρήστη. π.χ. επιλογή ονόµατος αρχείου αντί για πληκτρολόγηση του, επιβεβαίωση πριν από επικίνδυνη ενέργεια, αποφυγή χρήσης της ίδιας εντολής µε διαφορετική σηµασία σε διαφορετική κατάσταση κλπ. 1)Εισάγοντας σχέση, αν ο χρήστης δεν επιλέξει σωστά το ποδαράκι πάνω σε ιδιότητα η σχέση εξαφανίζεται. 2)Στην εισαγωγή στο σύστηµα η επιλογή cancel προκαλεί άµεση έξοδο από το σύστηµα. 3)Στην επιλογή ιδιοτήτων αν πατήσεις «ΟΚ» χωρίς ιδιότητες κρεµάει. ιδακτορική διατριβή. Σελίδα 243

250 Παραρτήµατα 4)Στην επιλογή «Αποστολή προς...» αν πατήσει κανείς Cancel και κουνήσει την οντότητα το σύστηµα κρεµάει. 5)Βάζοντας µια σχέση εµφανίζεται ένας δείκτης (+). Το (+) αλλάζει πατώντας οπουδήποτε στο χώρο εργασίας. 6) Στην επιλογή «υπό συνθήκη σχέση» στην τιµή ιδιότητας δεν φαίνεται το πεδίο τιµών. 7) Στο συντάκτη εξισώσεων αφού γραφεί µια εξίσωση ενηµερώνεται ότι πρέπει να είναι της µορφής Y=f(x) 8) Στο συντάκτη εξισώσεων το σβήσιµο δεν εξαρτάται από τη θέση του κέρσορα. 9)Ακόµα και έχω µόνο µια µεταβλητή στην υπό διαµόρφωση εξίσωση (εχοντας σβήσει την δεύτερη) δεν µπορώ να διαλέξω οποιαδήποτε 2 η. 10)Επαρκής υποστήριξη - Βοήθεια και Εγχειρίδια Στα εγχειρίδια πρέπει να είναι εύκολη η αναζήτηση, να δοµούνται σύµφωνα µε τις εργασίες του χρήστη, αν γίνεται εκτεταµένη χρήση παραδειγµάτων κλπ. 1) εν δούλευε το help 2) O online assistant (το λυχνάρι) δεν διαγράφεται µε προφανή τρόπο. Σελίδα 244 Παραρτήµατα

251 Παραρτήµατα 2 ος αξιολογητής 1)Αποφυγή περιττών στοιχείων. Αποφυγή κατά το δυνατόν πολυλογίας, σύνθετων γραφικών, κλπ. Η επιπλέον πληροφορία διασπά την προσοχή του χρήστη από το στόχο του. 1.Το συνεχώς on top Gini µε την κίνηση αποσπά την προσοχή του χρήστη χωρίς να προσφέρει, ένα µόνο πλήκτρο «βοήθειας» είναι αρκετό, αν µάλιστα προσφέρει βοήθεια αντίστοιχη της περιοχής της διεπιφάνειας ή της εργασίας του χρήστη (context-sensitive help) 2. Πολλές οθόνες διαλόγου είχαν υπόβαθρο που δυσχέραινε την αναγνωσιµότητα τους πχ 3. Τα πολλά πλήκτρα στην οθόνη δηµιουργίας-δοκιµής µοντέλων είναι περιττά και προκαλούν σύγχυση (π.χ. διάφορες επιλογές γραφικής αναπαράστασης) 4. Η συνεχής ύπαρξη στην επιφάνεια εργασίας πολλών βιβλιοθηκών Οντοτήτων και Σχέσεων δυσχεραίνει το χρήστη και του δαπανά χρήσιµο χώρο. Ο χρήστης θα πρέπει να είναι σε θέση να επιλέξει µία ή περισσότερες βιβλιοθήκες οντοτήτων µέσω κατάλληλου διαλόγου και να είναι σε θέση να τις αποκρύψει όταν το επιθυµεί. ιδακτορική διατριβή. Σελίδα 245

252 Παραρτήµατα 2)Χρήση κατανοητής προς τους χρήστες γλώσσας. Αποφυγή χρήσης όρων συστήµατος και υπολογιστών. Αντίθετα επιδίωξη χρήσης όρων και φράσεων κατανοητών στο χρήστη, κατανόηση νοητικού µοντέλου χρήστη, προσοχή στη χρήση µεταφορών. 1)Το χειριστήριο αλλαγής τιµής παραµέτρου σχέσεως (sliding rule) δεν έχει συµπεριφορά κύλισης 2)Οι µπάρες κύλησης του χώρου δοκιµής µοντέλων υποδηλώνουν την κίνηση σε ένα µεγάλο καµβά, τα όρια του οποίου θα έπρεπε να εµφανίζονται ώστε να µπορεί ο χρήστης να κατανοήσει τα ακρα του χώρου εργασίας 3)Ελαχιστοποίηση του µνηµονικού φορτίου του χρήστη. Υποστήριξη στον χρήστη ώστε να αναγνωρίζει και όχι να θυµάται. Εµφανή χειριστήρια. Χρήση προκαθορισµένων τιµών, παραδείγµατα χρήσης 1)Οι οντότητες εµφανίζονται στο χώρο εργασίας χωρίς λεκτική ένδειξη του τι αναπαριστούν, ο χρήστης θα πρέπει να µαντέψει τη σηµασία τους από την εικονική τους αναπαράσταση η οποία ούτως ή άλλως µεταβάλλεται. Θα έπρεπε το όνοµα της οντότητας να εµφανίζεται στο παράθυρο της. 2)Το χειριστήριο αλλαγής τιµής ιδιότητας κρύβει συχνά το όνοµα της, κατά συνέπεια ο χρήστης είναι αναγκασµένος να θυµάται το όνοµα της ιδιότητας, το χειριστήριο θα έπρεπε να είναι διάφανο ως προς το όνοµα 3)Το µήνυµα διαλόγου κατά την αλλαγή της µέγιστης και ελάχιστης τιµής µιας ιδιότητας είναι ασαφές (διαχείριση ιδιότητας) θα έπρεπε να λέει: «Αλλαγή τιµών της ιδιότητας ΧΥΖ» 4)Στον ίδιο διάλογο, θα πρέπει να δίδονται από πριν τα όρια τιµών για να αποφεύγεται λάθος του χρήστη, Η µέγιστη τιµή δεν πρέπει να υπερβαίνει το Α και η ελάχιστη τιµή δεν πρέπει να είναι µικρότερη του Β [ΟΚ] [ΑΚΥΡΟ] Σελίδα 246 Παραρτήµατα

253 Παραρτήµατα 5)Το παράθυρο ένδειξης τιµών ιδιότητας δεν δίδει έµφαση στην τρέχουσα τιµή 6)Το παράθυρο ένδειξης τιµών µιας ιδιότητας θα πρέπει να διατάξει τις τιµές: ΜΙΝ Current MAX 7)Το παράθυρο ένδειξης τιµών µιας ιδιότητας δεν ακολουθεί την οντότητα κατά την κύλιση 8)Το παράθυρο ένδειξης τιµών µιας ιδιότητας δεν ανανεώνεται όταν αλλάζουν τα όρια τιµών της ιδιότητας 9)Το παράθυρο ένδειξης τιµών µιας ιδιότητας δεν διαγράφεται όταν διαγράφεται η αντίστοιχη οντότητα 10)Το παράθυρο πληροφορίας µιας οντότητας δεν φέρει το όνοµα της οντότητας στην οποία αναφέρεται 11)Το παράθυρο πληροφορίας µιας οντότητας δεν επιτρέπει την αναδίπλωση του κειµένου (wrap up) 12)Το παράθυρο πληροφορίας µιας οντότητας δεν κυλίεται µαζί µε την οντότητα 13)Το παράθυρο πληροφορίας µιας οντότητας δεν διαγράφεται µαζί µε την οντότητα 14)Το παράθυρο πληροφορίας µιας οντότητας θα πρέπει να εµφανίζεται κοντά στην οντότητα όχι στη µέση της σελίδας 15)Το παράθυρο πληροφορίας µιας οντότητας θα πρέπει να έχει µορφή δηλωτική της πληροφορίας που περιέχει, πχ ένα Bubble οπως στα cartoon που αναφέρεται στην αντίστοιχη οντότητα 4) ιατήρηση συνέπειας σε ολόκληρη την διεπιφάνεια. Ακολουθήστε τις συµβάσεις του συστήµατος, πάντα οι όροι και οι ενέργειες θα πρέπει να έχουν το ίδιο νόηµα σε όλη τη διεπιφάνεια 1)Αλλού χρησιµοποιούνται εικονίδια (χώρος δηµιουργίας δοκιµής µοντέλων) αλλού µενού επιλογής (entities editor, editor θεµάτων µελέτης) ιδακτορική διατριβή. Σελίδα 247

254 Παραρτήµατα 2)sliding rule διαφορετική χρήση στην σχέση από ότι στην ιδιότητα οντότητας 3)Η διαγραφή µιας ιδιότητας της οντότητας γίνεται µε επιλογή NONE στη θέση της (βλέπε εικόνα), η διαγραφή µιας οντότητας γίνεται µέσω popup µενού, η διαγραφή µοντέλου γίνεται µέσω εικονιδίου στην κορυφή της επιφάνειας δηµιουργίας µοντέλων, ενώ η διαγραφή οντότητας από τη βιβλιοθήκη δεν είναι καθόλου δυνατή. 4)Η επιλογή ιδιοτήτων για το γράφηµα δεν γίνεται µε drag-and-drop δηλαδή µε το ίδιο στυλ αλληλεπίδρασης που χρησιµοποιείται για την επιλογή οντοτήτων και σχέσεων στο περιβάλλον δοκιµής 5)Παροχή ανάδρασης. Πληροφόρηση στον χρήστη για το τι συµβαίνει στο σύστηµα αν η αναµονή > 10 s. ένδειξη προόδου εργασίας, αν 1-10s αλλαγή σχήµατος δροµέα. 1)Σε διαλόγους πολλών βηµάτων δεν υπάρχει αντίστοιχη ένδειξη προειδοποίησης στον χρήστη στο µενού ανώτερου επιπέδου π.χ. «Αποστολή µηνύµατος...» 2)Όταν επιλεγεί αποστολή οντότητας -> αν δεν επιλεγεί διεύθυνση παραλήπτη δεν παρέχεται µήνυµα σφάλµατος 3)Ειδοποίηση για µέγεθος οντότητας, το µήνυµα δεν είναι κατατοπιστικό για το αν αποστέλλεται. Θα έπρεπε να παρέχει ένα µήνυµα πιο κατανοητό: Η αποστολή της οντότητας ΧΥΖ στον ΑΒΓ µπορεί να διαρκέσει αρκετά λεπτά (40 ΜΒ µέγεθος οντότητας), θέλετε να προχωρήσετε; 4)το όνοµα του παραθύρου θεµάτων µελέτης είναι µη-κατανοητό, τα εικονίδια δεν έχουν σαφή σηµασιολογία 5)Το εικονίδιο «ήχος» δεν είναι σαφές Σελίδα 248 Παραρτήµατα

255 Παραρτήµατα 6)Παροχή εύκολων και σαφών Εξόδων ιαφυγής. Χρήση σύντοµης εξόδου από εσφαλµένη κατάσταση. Παροχή δυνατότητας Cancel, Undo, Redo 1) εν υπάρχει η δυνατότητα UNDO κατά την δηµιουργία / δοκιµή µοντέλων 2)Ο χρήστης δεν µπορεί να κλείσει τα θέµατα µελέτης αφού ενεργοποιηθούν 3)Ο χρήστης δεν µπορεί καταργήσει το σηµειωµατάριο αφού ενεργοποιηθούν 7)Παροχή συντοµεύσεων για γρήγορη εκτέλεση εργασιών από πεπειραµένους χρήστες. (π.χ. πλήκτρα εντολών, πρόβλεψη πληκτρολόγησης, επανάληψη πρόσφατων εντολών, πρόσφατα αρχεία, macros). Οι συντοµεύσεις, δεν πρέπει να είναι εµφανείς σε πρωτόπειρους χρήστες 1)Ο χρήστης στο διάλογο αποθήκευσης οντότητας δεν παραµένει στην προηγούµενη βιβλιοθήκη εργασίας του, αλλά παραπέµπεται πάντα στην πρώτη βιβλιοθήκη 2)Ο χρήστης στο διάλογο αποθήκευσης µοντέλου SAVE.. δεν πάει στον ίδιο κατάλογο που ήταν την προηγούµενη φορά και δεν προτείνει όνοµα ( το υπάρχον) ιδακτορική διατριβή. Σελίδα 249

256 Παραρτήµατα 3)Στην αποστολή οντότητας / µοντέλου θα πρέπει να παρέχεται η δυνατότητα επιλογής των καταχωρηµένων διευθύνσεων αποστολής από µενού 8)Παροχή σαφών µηνυµάτων λάθους. Αποφυγή κωδικοποίησης µηνυµάτων σφάλµατος. Όχι επιθετική ή προσβλητική γλώσσα, ακριβής έκφραση, εποικοδοµητικός χαρακτήρας- υποδείξεις, σύνδεση µε βοηθήµατα. 1) Η δηµιουργία µιας νέας οντότητας (edit) από υφιστάµενη παράγει το παραπάνω δυσνόητο µήνυµα σφάλµατος (save µετά από αλλαγή του ονόµατος της οντότητας) 9)Σχεδιασµός για αποτροπή σφαλµάτων χρήστη π.χ. επιλογή ονόµατος αρχείου αντί για πληκτρολόγηση του, επιβεβαίωση πριν από επικίνδυνη ενέργεια, αποφυγή χρήσης της ίδιας εντολής µε διαφορετική σηµασία σε διαφορετική κατάσταση κλπ. 1)Η επιλογή οντοτήτων από µια βιβλιοθήκη γίνεται από τον χρήστη µε βάση µόνο το εικονίδιο αναπαράστασης χωρίς να παρέχεται πρόσθετη πληροφορία. Θα έπρεπε να παρέχεται κάποια πρόσθετη ανάδραση (info) υπό µορφή tip ώστε να διευκολυνθεί η επιλογή 2)Επιλογή διαγραφής οντότητας από περιοχή δοκιµής µοντέλου= διαγράφεται η οντότητα και όλες οι σχέσεις της χωρίς κανένα διάλογο επιβεβαίωσης (Confirm) 3)κατά την εµφάνιση του dropdown µενού από την ιδιότητα µέσω της Σελίδα 250 Παραρτήµατα

257 Παραρτήµατα οποίας γίνεται επιλογή µιας νέας ιδιότητας, εµφανίζεται η ιδιότητα που έχει ήδη ενεργοποιηθεί (δεν αποτρέπεται ο χρήστης από την εκ νέου επιλογή της) 4)Στα θέµατα µελέτης δεν είναι σαφής η διαφορά µεταξύ edit/ view mode 5)Στα θέµατα µελέτης δεν παρέχεται προστασία για θέµατα µελέτης έναντι διαγραφής τους 6)Στην αποθήκευση µοντέλου SAVE, αν επιλεγεί το όνοµα του µοντέλου που ήδη υπάρχει στον κατάλογο δεν ενεργοποιείται διάλογος προστασίας από τυχαία διαγραφή 7)Στην δηµιουργία ενός νέου µοντέλου, οι µπάρες κύλισης δεν επανέρχονται στην άνω αριστερή γωνία του καµβά δοκιµής µοντέλων 8)COPY-PASTE : η επιλογή COPY δεν συνεργάζεται µε κύλιση για επιλογή µεγάλης περιοχής, Η Paste δεν µπορεί να γίνει σε ορισµένο σηµείο 9)Η επιλογή Shift στο popup µενού copy/shift/delete δεν είναι σαφής 10)Επαρκής υποστήριξη - Βοήθεια και Εγχειρίδια Στα εγχειρίδια πρέπει να είναι εύκολη η αναζήτηση, να δοµούνται σύµφωνα µε τις εργασίες του χρήστη, αν γίνεται εκτεταµένη χρήση παραδειγµάτων κλπ. 1) Τα εγχειρίδια για τον δηµιουργό οντοτήτων θα πρέπει να ενσωµατωθούν, 2) Τα εγχειρίδια για τον δηµιουργό µοντέλων και τα εργαλεία του θα πρέπει να ενηµερωθούν ιδακτορική διατριβή. Σελίδα 251

258 Παραρτήµατα Β.5 Φύλλα εργασίας που δόθηκαν στους µαθητές κατά τη διεξαγωγή των πειραµάτων παρατήρησης πεδίου και δοκιµής ευχρηστίας του ηµιουργού Μοντέλων. 1 ο φύλλο εργασίας 1o θέµα µελέτης - ηµιουργία µοντέλου: "Τροφή: η βασική προϋπόθεση της ανάπτυξης κάθε ζωντανού οργανισµού" Όλοι οι ζωντανοί οργανισµοί που υπάρχουν στη γη έχουν ανάγκη από τροφή για να αναπτυχθούν και να διατηρηθούν στη ζωή. Έχοντας σαν παράδειγµα ζωντανού οργανισµού ένα φυτό, δηµιουργείστε ένα µοντέλο που να εξηγεί µε ποιο τρόπο η τροφή επηρεάζει την ανάπτυξη. Για να δηµιουργήσετε το µοντέλο σας, ακολουθείστε τα παρακάτω βήµατα: τοποθετείστε στο χώρο δηµιουργίας µοντέλων το κατάλληλο αντικείµενο επιλέξτε τις ιδιότητες που νοµίζετε συνδέστε τις ιδιότητες αυτές µεταξύ τους χρησιµοποιώντας την κατάλληλη σχέση Για να δοκιµάσετε τη συµπεριφορά του µοντέλου σας, µπορείτε: να µετακινήσετε χειροκίνητα τις µπάρες που βρίσκονται πάνω στις ιδιότητες να χρησιµοποιήσετε το πλήκτρο play ή το πλήκτρο βήµα-βήµα να ενεργοποιήσετε το ραβδόγραµµα που θα σας δώσει µία διαφορετική εικόνα της συµπεριφοράς του µοντέλου σας Για να πάρετε νέες ιδέες για το µοντέλο σας, προσπαθήστε να απαντήσετε στο ερώτηµα πώς χρησιµοποιεί την τροφή του κάθε ζωντανός οργανισµός; συµπληρώνοντας τα κενά: Κάθε ζωντανός οργανισµός την τροφή του, για να πάρει την και τα απαραίτητα υλικά που χρειάζεται για την ανάπτυξη και τη συντήρησή του. Οι απαντήσεις που δώσατε στα παραπάνω ερωτήµατα ίσως σας οδηγούν να Σελίδα 252 Παραρτήµατα

259 Παραρτήµατα αλλάξετε ή να προσθέσετε κάτι στο µοντέλο σας. Ενσωµατώστε τις νέες ιδέες, που πιθανώς έχετε, στο µοντέλο σας και ξαναδοκιµάστε τη συµπεριφορά του. 2ο θέµα µελέτης οκιµή µοντέλου: "Το φυτό και το έδαφος" Στον κήπο σας έχετε φυτέψει ένα µικρό φυτό που µεγαλώνει. Τι ρόλο νοµίζετε ότι παίζει το έδαφος του κήπου και συγκεκριµένα κάποια συστατικά του εδάφους, τα άλατα, στην ανάπτυξη του φυτού; Ανοίξτε το αρχείο το φυτό και το έδαφος. Έχετε τώρα έτοιµο ένα µοντέλο που δίνει µία απάντηση στο πρόβληµά σας. οκιµάστε τη συµπεριφορά του µοντέλου (χειροκίνητα, µε το play, ή µε ραβδόγραµµα) Συζητείστε σχετικά µε το µοντέλο αυτό: Τι ήθελε να πει αυτός που το κατασκεύασε για το ρόλο των αλάτων στην ανάπτυξη του φυτού; Πιστεύετε ότι είναι κατασκευασµένο σωστά ή όχι; Αν όχι, ποιες αλλαγές νοµίζετε ότι θα βελτίωναν το µοντέλο; Εξηγείστε τις απόψεις σας. Ας σκεφτούµε: Το φυτό για να αναπτυχθεί χρειάζεται τροφή. Επίσης, χρειάζεται και άλατα από το έδαφος. Όµως, η τροφή του φυτού είναι τα άλατα του εδάφους; ηλαδή, το φυτό παίρνει την τροφή του από το έδαφος όπως δείχνει αυτό το µοντέλο; Πολλοί άνθρωποι πιστεύουν ότι η απάντηση είναι ναι. Μήπως όµως κάνουν λάθος; Τον 17ο αιώνα, ένας επιστήµονας, ο Van Helmont, έκανε ένα απλό πείραµα που θα σας βοηθήσει να λύσετε αυτήν την απορία! Φύτεψε ένα µικρό φυτό σε µία γλάστρα και το πότιζε τακτικά για 5 χρόνια. Τα αποτελέσµατα που πήρε ήταν τα εξής: ιδακτορική διατριβή. Σελίδα 253

260 Παραρτήµατα Αρχή πειράµατος Τέλος πειράµατος Φυτό 2 κιλά 77 κιλά Χώµα στη γλάστρα 100 κιλά 99,94 κιλά (α) Κατά πόσα κιλά αυξήθηκε το φυτό στη διάρκεια του πειράµατος; (β) Κατά πόσα κιλά µειώθηκε το χώµα στη διάρκεια του πειράµατος; (γ) Υπογραµµίστε το σωστό στις παρακάτω προτάσεις: Το φυτό αυξήθηκε πολύ / λίγο Το χώµα µειώθηκε πολύ / λίγο (δ) Ποιο είναι το συµπέρασµά σας; Το φυτό θα µπορούσε να µεγαλώσει τόσο πολύ αν έτρωγε τόσο λίγο; ηλαδή, είναι δυνατόν το φυτό να παίρνει την τροφή του από το έδαφος; Εξηγείστε την απάντησή σας. Απαντήστε στα παρακάτω ερωτήµατα : 1. Τα άλατα του εδάφους δεν είναι η τροφή του φυτού, αλλά είναι απαραίτητα για την ανάπτυξη του (γιατί µε αυτά το φυτό συνθέτει ουσίες που του είναι πολύ χρήσιµες) ΣΩΣΤΟ ΛΑΘΟΣ 2. Το φυτό δεν παίρνει την τροφή του από το έδαφος ΣΩΣΤΟ ΛΑΘΟΣ Οι απαντήσεις που δώσατε στα παραπάνω ερωτήµατα ίσως σας οδηγούν να αλλάξετε ή να προσθέσετε κάτι στο µοντέλο σας. Ενσωµατώστε τις νέες ιδέες, που πιθανώς έχετε, στο µοντέλο σας και ξαναδοκιµάστε τη συµπεριφορά του. 3ο θέµα µελέτης - ηµιουργία µοντέλου: "Το φυτό και ο ήλιος" Στον κήπο σας έχετε φυτέψει ένα µικρό φυτό που µεγαλώνει. Τι ρόλο νοµίζετε ότι παίζει το φως του ήλιου στην ανάπτυξη του φυτού σας; ηµιουργείστε ένα µοντέλο που να εξηγεί πώς το φως του ήλιου επηρεάζει την ανάπτυξη ενός φυτού. Σελίδα 254 Παραρτήµατα

261 Παραρτήµατα Για να δηµιουργήσετε το µοντέλο σας, ακολουθείστε τα παρακάτω βήµατα: τοποθετείστε στο χώρο δηµιουργίας µοντέλων τα κατάλληλα αντικείµενα επιλέξτε τις ιδιότητες που νοµίζετε συνδέστε τις ιδιότητες αυτές µεταξύ τους χρησιµοποιώντας κάθε φορά την κατάλληλη σχέση Για να δοκιµάσετε τη συµπεριφορά του µοντέλου σας, µπορείτε: να µετακινήσετε χειροκίνητα τις µπάρες που βρίσκονται πάνω στις ιδιότητες να χρησιµοποιήσετε το πλήκτρο play ή το πλήκτρο βήµα-βήµα να ενεργοποιήσετε το ραβδόγραµµα που θα σας δώσει µία διαφορετική εικόνα της συµπεριφοράς του µοντέλου σας Για να πάρετε νέες ιδέες για το µοντέλο σας, προσπαθήστε να συµπληρώσετε τα κενά: Το φως του ήλιου είναι απαραίτητο για να µπορέσει το φυτό να κάνει τη διαδικασία της Η διαδικασία αυτή γίνεται στα πράσινα µέρη του φυτού και κυρίως στα _ Με τη διαδικασία αυτή παράγεται στα φύλλα µία ουσία, η _ που µεταφέρεται σε όλα τα µέρη του φυτού και αποτελεί την _ του φυτού. Με τη διάσπασή της το φυτό παίρνει την απαραίτητη για την του. Άρα: φως _ _ _ ανάπτυξη Οι απαντήσεις που δώσατε στα παραπάνω ερωτήµατα ίσως να σας οδηγούν να αλλάξετε ή να προσθέσετε κάτι στο µοντέλο σας. Ενσωµατώστε τις νέες ιδέες, που πιθανώς έχετε, στο µοντέλο σας και ξαναδοκιµάστε τη συµπεριφορά του. 4ο θέµα µελέτης - ηµιουργία µοντέλου: "Το φυτό και το νερό" Στον κήπο σας έχετε φυτέψει ένα µικρό φυτό που µεγαλώνει. Τι ρόλο νοµίζετε ότι παίζει στην ανάπτυξη του φυτού σας, το νερό που έχει στη διάθεσή του το φυτό; ηµιουργείστε ένα µοντέλο που να εξηγεί µε ποιο τρόπο το νερό που έχει στη διάθεσή του ένα φυτό επηρεάζει την ανάπτυξή του. ιδακτορική διατριβή. Σελίδα 255

262 Παραρτήµατα Για να δηµιουργήσετε το µοντέλο σας, ακολουθείστε τα παρακάτω βήµατα: τοποθετείστε στο χώρο δηµιουργίας µοντέλων τα κατάλληλα αντικείµενα επιλέξτε τις ιδιότητες που νοµίζετε συνδέστε τις ιδιότητες αυτές µεταξύ τους χρησιµοποιώντας κάθε φορά την κατάλληλη σχέση Για να δοκιµάσετε τη συµπεριφορά του µοντέλου σας, µπορείτε: να µετακινήσετε χειροκίνητα τις µπάρες που βρίσκονται πάνω στις ιδιότητες να χρησιµοποιήσετε το πλήκτρο play ή το πλήκτρο βήµα-βήµα να ενεργοποιήσετε το ραβδόγραµµα που θα σας δώσει µία διαφορετική εικόνα της συµπεριφοράς του µοντέλου σας Για να πάρετε νέες ιδέες για το µοντέλο σας, προσπαθήστε να συµπληρώσετε τα κενά: Η διαδικασία της είναι απαραίτητη για την ανάπτυξη του φυτού, γιατί µ' αυτήν το φυτό παράγει τη _, δηλ. την _ του, την οποία διασπά για να πάρει την που χρειάζεται. Το φυτό παίρνει µε τις ρίζες του από το έδαφος το, το οποίο µεταφέρεται σε όλα τα µέρη του φυτού και φυσικά στα _, όπου γίνεται η φωτοσύνθεση. Άρα: νερό _ _ _ ανάπτυξη Οι απαντήσεις που δώσατε στα παραπάνω ερωτήµατα ίσως να σας οδηγούν να αλλάξετε ή να προσθέσετε κάτι στο µοντέλο σας. Ενσωµατώστε τις νέες ιδέες, που πιθανώς έχετε, στο µοντέλο σας και ξαναδοκιµάστε τη συµπεριφορά του. 5ο θέµα µελέτης - ηµιουργία µοντέλου: "Η διαδικασία της φωτοσύνθεσης" Η φωτοσύνθεση είναι µία πολύ σηµαντική διαδικασία που γίνεται κυρίως στα κύτταρα των φύλλων και έχει σχέση µε την ανάπτυξη του φυτού, γιατί µε τη διαδικασία αυτή το φυτό παράγει τη γλυκόζη, που είναι η τροφή του. ηµιουργείστε ένα µοντέλο που να περιγράφει τι συµβαίνει κατά την αντίδραση της Σελίδα 256 Παραρτήµατα

263 Παραρτήµατα φωτοσύνθεσης. ηλαδή ένα µοντέλο που να δείχνει ποιες ουσίες χρειάζονται, ποιες παράγονται, και ποια η σχέση της φωτοσύνθεσης µε κάθε µία από αυτές. Για να πάρετε ιδέες για το µοντέλο σας, προσπαθήστε να συµπληρώσετε τα κενά: Το φυτό για να κάνει φωτοσύνθεση χρειάζεται τον ήλιο και κάποιες ουσίες. Η µία είναι ένα υγρό που το παίρνει από το έδαφος, το, και η άλλη είναι ένα αέριο που το παίρνει από τον αέρα και λέγεται _ του _. Το φυτό κάνοντας φωτοσύνθεση παράγει κάποιες ουσίες. Η µία είναι η _ και αποτελεί την τροφή του φυτού και η άλλη είναι ένα πολύτιµο για όλους µας αέριο που ελευθερώνεται στον αέρα και λέγεται _. Υπογραµµίστε το σωστό: Όταν το φυτό κάνει "πολλή" φωτοσύνθεση, τότε παράγονται λίγες / πολλές ουσίες Υπογραµµίστε το σωστό: Όταν το φυτό έχει στη διάθεσή του λίγες / πολλές τέτοιες ουσίες, τότε µπορεί να κάνει "πολλή" φωτοσύνθεση Για να δηµιουργήσετε το µοντέλο σας, ακολουθείστε τα παρακάτω βήµατα: τοποθετείστε στο χώρο δηµιουργίας µοντέλων τα κατάλληλα αντικείµενα επιλέξτε τις ιδιότητες που νοµίζετε συνδέστε τις ιδιότητες αυτές µεταξύ τους χρησιµοποιώντας κάθε φορά την κατάλληλη σχέση Για να δοκιµάσετε τη συµπεριφορά του µοντέλου σας, µπορείτε: να µετακινήσετε χειροκίνητα τις µπάρες που βρίσκονται πάνω στις ιδιότητες να χρησιµοποιήσετε το πλήκτρο play ή το πλήκτρο βήµα-βήµα να ενεργοποιήσετε το ραβδόγραµµα που θα σας δώσει µία διαφορετική εικόνα της συµπεριφοράς του µοντέλου σας ιδακτορική διατριβή. Σελίδα 257

264 Παραρτήµατα 2 ο φύλλο εργασίας Θέµα µελέτης: η ανάπτυξη του φυτού Σε µία εργασία µε θέµα τα φυτά, σας ζητούν να φτιάξετε ένα µοντέλο που να περιγράφει ποιοι παράγοντες του περιβάλλοντος επηρεάζουν την ανάπτυξη ενός φυτού και να εξηγεί µε ποιο τρόπο. Για να δηµιουργήσετε το µοντέλο σας, ακολουθείτε τα παρακάτω βήµατα: τοποθετείτε στο χώρο δηµιουργίας µοντέλων τα κατάλληλα αντικείµενα επιλέγετε τις ιδιότητες που νοµίζετε συνδέετε τις ιδιότητες αυτές µεταξύ τους χρησιµοποιώντας κάθε φορά την κατάλληλη σχέση Για να δοκιµάσετε τη συµπεριφορά του µοντέλου σας, µπορείτε: να µετακινήσετε χειροκίνητα τις µπάρες που βρίσκονται πάνω στις ιδιότητες να χρησιµοποιήσετε το πλήκτρο play ή το πλήκτρο βήµα-βήµα να ενεργοποιήσετε το ραβδόγραµµα που θα σας δώσει µία διαφορετική εικόνα της συµπεριφοράς του µοντέλου σας. Σελίδα 258 Παραρτήµατα