Παράγοντες Αξιολόγησης Εκπαιδευτικού Λογισμικού Γεωργιάδου Ελισάβετ (elisag@otenet.gr), Οικονομίδης Αναστάσιος (economid@uom.gr) Πανεπιστήμιο Μακεδονίας Περίληψη Σήμερα, το βασισμένο στην τεχνολογία των υπερμέσων Εκπαιδευτικό Λογισμικό (Ε.Λ.) θεωρείται απαραίτητο εκπαιδευτικό εργαλείο στην αναδυόμενη Κοινωνία της Πληροφορίας. Το Υπουργείο Παιδείας σε συνεργασία με το Παιδαγωγικό Ινστιτούτο βρίσκεται στη διαδικασία εξοπλισμού των σχολείων της ευτεροβάθμιας Εκπαίδευσης με εκπαιδευτικό λογισμικό υψηλής ποιότητας που θα χρησιμοποιηθεί για τη βελτίωση της μαθησιακής εμπειρίας. Μέσα σε αυτό το πλαίσιο ανατέθηκε στο Πανεπιστήμιο Μακεδονίας, το οποίο δραστηριοποιείται στον τομέα της εκπαιδευτικής αξιολόγησης, η επισκόπηση και η αξιολόγηση Ε.Λ. πάνω σε διάφορα γνωστικά αντικείμενα. Για αυτό το σκοπό σχεδιάστηκε ένα μοντέλο αξιολόγησης βασισμένο σε έρευνα πάνω στον εκπαιδευτικό σχεδιασμό και την αξιολόγηση συστημάτων. Οι δύο βασικοί άξονες αυτού του μοντέλου είναι η κοινωνική και πρακτική αποδοχή του Ε.Λ. Η κοινωνική αποδοχή σχετίζεται με την κοινωνική βάση ενός εκπαιδευτικού συστήματος, δηλαδή πιο είναι το μοντέλο εκπαίδευσης μιας συγκεκριμένης εκπαιδευτικής κοινότητας. Όσον αφορά την πρακτική αποδοχή, τέσσερις είναι οι βασικοί τομείς οι οποίοι σχετίζονται άμεσα με αυτήν. Ο πρώτος αφορά την αξιολόγηση της ύλης που παρουσιάζεται μέσω των σύγχρονων Τεχνολογιών της Πληροφορίας και της Επικοινωνίας (ΤΠΕ). Ο δεύτερος τομέας αφορά τη μορφή με την οποία παρουσιάζεται η ύλη, δηλαδή την παρουσίαση και την οργάνωση του λογισμικού καθώς και το περιβάλλον διεπαφής. Ο τρίτος τομέας καλύπτει τις διάφορες διαδικασίες τεχνικής υποστήριξης και ενημέρωσης του λογισμικού και ο τέταρτος σχετίζεται με την αξιολόγηση της μάθησης που προκύπτει από την χρήση και εφαρμογή του λογισμικού στο μαθητικό δυναμικό. Κάθε ένας από τους τέσσερις τομείς εμπεριέχει έναν αριθμό κριτηρίων, τα οποία θα πρέπει να καλύπτονται σε ικανοποιητικό βαθμό, ώστε ένα Ε.Λ. να χαρακτηριστεί άξιο αγοράς και διανομής σε εκπαιδευτικούς χώρους. Το μοντέλο αυτό θα παρουσιαστεί ως προτεινόμενο θεωρητικό υπόβαθρο για την παραγωγή τυποποιημένων εργαλείων συλλογής δεδομένων όπως ερωτηματολόγια, λίστες ελέγχου χαρακτηριστικών και προδιαγραφών κ.ά. 1. Εισαγωγή Σήμερα, το βασισμένο στην τεχνολογία των υπερμέσων Εκπαιδευτικό Λογισμικό (Ε.Λ.) θεωρείται απαραίτητο εκπαιδευτικό εργαλείο στην αναδυόμενη Κοινωνία της Πληροφορίας. Το Υπουργείο Παιδείας σε συνεργασία με το Παιδαγωγικό Ινστιτούτο βρίσκεται στη διαδικασία εξοπλισμού των σχολείων της ευτεροβάθμιας Εκπαίδευσης με εκπαιδευτικό λογισμικό υψηλής ποιότητας που θα χρησιμοποιηθεί για τη βελτίωση της μαθησιακής εμπειρίας. Μέσα σε αυτό το πλαίσιο ανατέθηκε στο Πανεπιστήμιο Μακεδονίας, το οποίο δραστηριοποιείται στον τομέα της εκπαιδευτικής αξιολόγησης, η επισκόπηση και η αξιολόγηση Ε.Λ. πάνω σε διάφορα γνωστικά αντικείμενα. Για αυτό το σκοπό σχεδιάστηκε ένα μοντέλο αξιολόγησης βασισμένο σε έρευνα πάνω στον εκπαιδευτικό σχεδιασμό και την αξιολόγηση συστημάτων το οποίο αποτελεί το θεωρητικό υπόβαθρο για την παραγωγή τυποποιημένων εργαλείων συλλογής δεδομένων όπως ερωτηματολόγια, λίστες ελέγχου χαρακτηριστικών και προδιαγραφών κ.ά. Στην παρούσα εισήγηση θα παρουσιαστούν εν συντομία οι επιμέρους τομείς του μοντέλου αξιολόγησης. 1
2. Μοντέλο αξιολόγησης Η συνολική αποδοχή ενός πληροφοριακού συστήματος, και κατ' επέκταση ενός Ε.Λ. αποτελεί συνδυασμό της κοινωνικής και πρακτικής του αποδοχής (Nielsen, 1990). Ο όρος κοινωνική αποδοχή σχετίζεται με την κοινωνική βάση ενός εκπαιδευτικού συστήματος, δηλαδή με το μοντέλο εκπαίδευσης μιας συγκεκριμένης εκπαιδευτικής κοινότητας. Για παράδειγμα όταν το μοντέλο είναι δασκαλοκεντρικό τότε ένα Ε.Λ. το οποία προσφέρει απεριόριστο έλεγχο στο μαθητή συνήθως δεν είναι κοινωνικά αποδεκτό και αντίστροφα. Αφού εξεταστεί η κοινωνική αποδοχή ενός Ε.Λ. τότε η αξιολόγηση προχωρά στο να εξετάσει την πρακτική αποδοχή. Τέσσερις είναι οι βασικοί τομείς οι οποίοι σχετίζονται άμεσα με την πρακτική αποδοχή ενός Ε.Λ. Ο πρώτος τομέας αφορά την αξιολόγηση της ύλης, ο δεύτερος επικεντρώνεται στην παρουσίαση και την οργάνωση της ύλης, ο τρίτος καλύπτει τις διαδικασίες υποστήριξης και ενημέρωσης του λογισμικού και ο τέταρτος σχετίζεται με την αξιολόγηση της μάθησης που προκύπτει από την χρήση και εφαρμογή του λογισμικού στο μαθητικό δυναμικό. Κάθε ένας από τους τέσσερις τομείς εμπεριέχει έναν αριθμό κριτηρίων τα οποία θα πρέπει να καλύπτονται σε ικανοποιητικό βαθμό, ώστε ένα Ε.Λ. να χαρακτηριστεί άξιο αγοράς και διανομής σε εκπαιδευτικούς χώρους. Τα κριτήρια αυτά βασίζονται σε έναν σημαντικό αριθμό εμπειρικά αποδεδειγμένων κατευθυντήριων γραμμών που υπάρχουν στην σχετική βιβλιογραφία και που λόγω ελλείψεως χώρου στην παρούσα εισήγηση δεν αναφέρονται αναλυτικά αλλά μόνο ως βιβλιογραφικές παραπομπές. Φυσικά, πέραν από αυτούς τους τέσσερις βασικούς τομείς σημαντικό ρόλο στην επιλογή ενός Ε.Λ. παίζει και η χρηματική του αξία, η οποία όμως είναι δεν είναι καθόλου ανεξάρτητη από αυτούς. Το κόστος θα πρέπει να εξεταστεί συγκριτικά σε περίπτωση που δύο ή περισσότερα προϊόντα φαίνεται να έχουν την ίδια εκπαιδευτική αξία. Το σχήμα 1 περιγράφει το προτεινόμενο μοντέλο αξιολόγησης. Σχ.1 Μοντέλο αξιολόγησης Ε.Λ. 2.1 Αξιολόγηση της ύλης Η ύλη που εμπεριέχεται σε ένα πακέτο Ε.Λ. είναι η πρώτη παράμετρος που θα πρέπει να αξιολογηθεί σύμφωνα με τα παρακάτω κριτήρια (Netskills, 2000, NCDPI, 1998): 2
Εγκυρότητα και Αυθεντικότητα: Έγκυρη και αξιόπιστη ύλη, Ευυπόληπτοι συγγραφείς και παραγωγοί. Ορθότητα: Ορθή πληροφορία, Ισορροπημένη παρουσίαση της πληροφορίας, Απόψεις και εικόνες χωρίς προκαταλήψεις, Ισορροπημένη αντιπροσώπευση πολιτισμικών, εθνικών και φυλετικών ομάδων, Ορθή χρήση γραμματικής και συντακτικού. Μοναδικότητα: Παρουσίαση πρωτότυπης γνώσης. Καταλληλότητα: Έννοιες και λεξιλόγιο σχετικές με τις ικανότητες των εκπαιδευομένων, Πληροφορία που ανταποκρίνεται στην ηλικιακή ομάδα και στη διδασκόμενη ύλη. Σκοπός: Σαφής καθορισμός των αντικειμενικών σκοπών και των στόχων της προβαλλόμενης γνώσης, Πλήρης πληροφορία και όχι αποσπασματική, Λογική διαδοχή των παρουσιαζόμενων θεμάτων με τρόπο βοηθητικό προς το μαθητή, Ποικιλία δραστηριοτήτων με ευχέρεια επιλογής του επιπέδου πολυπλοκότητας. Ευρύτητα: Ικανοποιητική κάλυψη του παρουσιαζόμενου θέματος. 2.2 Παρουσίαση και οργάνωση της ύλης Ο τομέας της παρουσίασης και οργάνωσης της ύλης διακρίνεται σε παιδαγωγικές παραμέτρους που σχετίζονται με τις γνωστικές και διδακτικές θεωρίες και σε παραμέτρους που αφορούν το σχεδιασμό του περιβάλλοντος διεπαφής. 2.2.1 Παιδαγωγικές παράμετροι Η αξιολόγηση των παιδαγωγικών παραμέτρων είναι μια περίπλοκη διαδικασία, μιας και υπάρχουν διαφορετικές πεποιθήσεις σχετικά με τη διαδικασία της μάθησης. Η διδακτική θεωρία ως η 'συνδετική επιστήμη' μεταξύ των γνωστικών θεωριών και της εκπαιδευτικής πρακτικής ακολουθεί αυτές τις διαφορετικές πεποιθήσεις. Παρόλα αυτά οι σύγχρονες γνωστικές θεωρίες υπογραμμίζουν πως η μάθηση είναι μια ενεργητική, εποικοδομητική, συνθετική, και αυτοελεγχόμενη διαδικασία όπου ο μαθητής παίζει σημαντικό ρόλο (Shuell, 1992). Επίσης οι σύγχρονες διδακτικές θεωρίες που εστιάζουν σε μαθησιοκεντρικές και εποικοδομητικές προσεγγίσεις (constructivism) βασίζονται στην πρόσβαση της πληροφορίας και σε περιβάλλον μάθησης που ενθαρρύνει την ελεύθερη αλληλεπίδραση με τις πηγές της πληροφορίας. Υπάρχουν πάρα πολλές θεωρίες, γενικές και εξειδικευμένες. Η υιοθέτηση μιας συγκεκριμένης διδακτικής θεωρίας εξαρτάται άμεσα από το γνωστικό αντικείμενο και από τα αντίστοιχα αναλυτικά προγράμματα. Κάποιοι διδακτικοί στόχοι απαιτούν ισχυρή καθοδήγηση ενώ κάποιοι άλλοι επιτυγχάνονται με πιο ελεύθερη διερεύνηση της πληροφορίας. Ιδιαίτερα σημαντικές είναι επίσης και οι απόψεις του Υπουργείου Παιδείας, του Παιδαγωγικού Ινστιτούτου και των διδασκόντων πάνω στο δίπτυχο διδασκαλία-μάθηση, ιδιαίτερα όταν το γνωστικό αντικείμενο που διαπραγματεύεται το Ε.Λ. αποτελεί τμήμα του αναλυτικού προγράμματος. Πέρα από τον έλεγχο των διδακτικών και γνωστικών θεωριών που ακολουθεί ο σχεδιασμός ενός Ε.Λ. θα πρέπει να αξιολογηθούν και οι παρακάτω παιδαγωγικές παράμετροι: α. Κίνητρο/α (Gagnθ, 1988) β. ομή και οργάνωση της ύλης (Jonassen, 1992) γ. Έλεγχος της μάθησης (Poncelet and Proctor, 1993; Ross and Morrison, 1989) δ. Προσαρμογή στις ατομικές διαφορές (Reeves and Harmon, 1994) ε. Συνεργατική μάθηση (Reeves and Harmon, 1994) 3
2.2.2 Σχεδιασμός περιβάλλοντος διεπαφής Οι παράμετροι που σχετίζονται με την αξιολόγηση του σχεδιασμού του περιβάλλοντος διεπαφής είναι: α) το τρίπτυχο αλληλεπίδραση - πλοήγηση ανατροφοδότηση, αφού το πιο σημαντικό χαρακτηριστικό των υπερμέσων, σε σχέση με άλλα πιο 'συμβατικά' μέσα που χρησιμοποιούνται σαν εκπαιδευτικά εργαλεία, είναι το στοιχείο της αυξημένης αλληλεπίδρασης μεταξύ του μαθητή και του μέσου, η οποία θα πρέπει να διευκολύνει μέσω της πλοήγησης την πρόσβαση στα διάφορα τμήματα του Ε.Λ.. Η αλληλεπίδραση συνδέεται στενά με την ανατροφοδότηση, γιατί ενέργεια χωρίς ανατροφοδότηση είναι τελείως αντιπαραγωγική για τον εκπαιδευόμενο αφού είναι απαραίτητη για να ενισχύσει την σωστή επίδοση και να αποτρέψει τη λανθασμένη (Orr, Golas and Yao, 1994, Locatis, Letourneau and Banvard, 1989, Shneiderman, 1998), και β) ο σχεδιασμός οθόνης μιας και ο τρόπος παρουσίασης της πληροφορίας σε ένα Ε.Λ. είναι σημαντικός παράγοντας κρίσης της αξίας του. Η πληροφορία πρέπει να παρουσιάζεται με τέτοιο τρόπο στην οθόνη ώστε να προκαλεί το μαθητή και να του δίνει κίνητρα στη διαδικασία κατάκτησης και ανάκλησης της γνώσης. Σημαντικό είναι επίσης να εξεταστούν κατά την αξιολόγηση Ε.Λ. τα ανθρώπινα ψυχολογικά όρια που σχετίζονται με το φόρτο της μνήμης, την αντίληψη και την προσοχή (Preece,1994, Clarke, 1992, McAteer and Shaw, 1995, IBM, 1998, Lynch, 2000, Γεωργιάδου, 1998). 2.3 Αξιολόγηση διαδικασιών υποστήριξης και ενημέρωσης Είναι κοινή παραδοχή πως καθημερινά προκύπτει νέα γνώση και συνεπώς τα διδακτικά εργαλεία θα πρέπει να ενημερώνονται τακτικά. Η ραγδαία ανάπτυξη των τεχνολογικών καινοτομιών είναι επίσης σημαντική, μιας και η τεχνολογία είναι η πλατφόρμα μεταφοράς του εκπαιδευτικού λογισμικού. Συνεπώς η αξία της πληροφορίας και του Ε.Λ. ως προϊόν κατά τη διάρκεια του χρόνου θα πρέπει να διερευνηθεί σύμφωνα με τα παρακάτω (Netskills, 2000): ιάρκεια της πληροφορίας στο χρόνο, Βαθμός δυσκολίας στις διαδικασίες ενημέρωσης, αλλαγής και προσθήκης περιεχομένου, Φορητότητα του προϊόντος, Είδος και εύρος τεχνικής κάλυψη του προϊόντος από την εταιρία παραγωγής, Περιγραφή των απαιτήσεων υλικού και λειτουργικού συστήματος, Οδηγίες για την εγκατάσταση και χρήση του λογισμικού, Περίληψη των περιεχομένων της εφαρμογής για τον καθηγητή, Προτάσεις για τη χρήση στην τάξη, πλάνα μαθημάτων και συσχετιζόμενες δραστηριότητες, υνατότητα εκτύπωσης, υνατότητα αποθήκευσης σε ενδιάμεσες δραστηριότητες. Σε περιπτώσεις που το Ε.Λ. διατίθεται μέσα από το ιαδίκτυο τότε θα πρέπει να ληφθούν υπ' όψιν και τα παρακάτω: Σταθερότητα των δεσμών και συχνότητα διακοπής λειτουργίας του συστήματος, ιαθεσιμότητα τοποθεσιών 'καθρέφτης' (mirror sites), Τακτική ανανέωση της πληροφορίας, Ικανοποιητική διαχείριση και συντήρηση της τοποθεσίας, το κατά πόσο δηλαδή οι εξωτερικοί και εσωτερικοί δεσμοί είναι ενεργοί και η όλη λειτουργία της είναι χωρίς προβλήματα καθώς και η ύπαρξη αρχείου από προηγούμενες εκδόσεις. 2.4 Αξιολόγηση της μάθησης Ο Marchionini (1990) υποστηρίζει πως η ιδιαιτερότητα των υπερμέσων να παρέχει στους εκπαιδευόμενους πρόσβαση σε μεγάλες ποσότητες πληροφορίας σε διάφορους τύπους, έλεγχο στη διαδικασία της μάθησης και δυνατότητα αλληλεπίδρασης με τον υπολογιστή και 4
άλλους εκπαιδευόμενους, αναγκάζει τους αξιολογητές της προκύπτουσας γνώσης να υιοθετήσουν ένα ευρύ φάσμα από μεθόδους και κριτήρια. Προτείνει μια πολύπλευρη προσέγγιση στην αξιολόγηση του Ε.Λ. σε μορφή υπερμέσων, η οποία απευθύνεται ταυτόχρονα στη διαδικασία και στο προϊόν της μάθησης. 2.4.1 Η διαδικασία της μάθησης Η διαδικασία της μάθησης σχετίζεται άμεσα με τη χρηστικότητα ενός προϊόντος και θα πρέπει να αξιολογείται κατά προτεραιότητα από τους τελικούς χρήστες του Ε.Λ., δηλαδή τους μαθητές. Η χρηστικότητα του Ε.Λ. σχετίζεται άμεσα με τις παρακάτω πέντε παραμέτρους (Nielsen, 1990): 1. Εύκολο να μάθεις να το χειρίζεσαι - Ο χρήστης μπορεί γρήγορα να εκτελέσει κάποιες εργασίες μέσα στο σύστημα, δηλαδή να κατανοήσει τις πιο βασικές εντολές λειτουργίας και επιλογές πλοήγησης και να τις χρησιμοποιήσει για να εντοπίσει τις πληροφορίες που ζητάει. 2. Αποτελεσματικό στη χρήση - Από τη στιγμή που ο χρήστης μαθαίνει να χειρίζεται ικανοποιητικά το σύστημα είναι δυνατόν να φτάσει σε υψηλά επίπεδα παραγωγικότητας. 3. Εύκολο στην απομνημόνευση - Ο μέσος χρήστης μπορεί να χρησιμοποιήσει αμέσως το σύστημα μετά από κάποια χρονική περίοδο που δεν έχει δουλέψει με αυτό, χωρίς να χρειάζεται να ξαναμάθει όλες τις λειτουργίες από την αρχή. 4. Λίγα λάθη - Οι μαθητές κάνουν λίγα λάθη κατά τη διάρκεια της χρήσης του Ε.Λ., αλλά και ακόμα αν κάνουν μπορούν εύκολα να τα επανορθώνουν. 5. Ευχάριστο στη χρήση - Οι τελικοί χρήστεςι είναι αντικειμενικά ικανοποιημένοι από τη χρήση του συστήματος, τους αρέσει να δουλεύουν με αυτό. 2.4.2 Το προϊόν της μάθησης Ο έλεγχος της επίδοσης είναι ο συνηθέστερος τρόπος για να μετρηθεί η ποσότητα και η ποιότητα της μάθησης. Ιδιαίτερα σε περιπτώσεις όπου ο στόχος είναι η απόκτηση γνώσεων και δεξιοτήτων ο έλεγχος επίδοσης θεωρείται έγκυρη και αξιόπιστη ένδειξη μάθησης. Το βασικό πλεονέκτημα των βαθμών επίδοσης είναι πως μπορούν να μετατραπούν εύκολα σε ποσοστά επί τοις εκατό δίνοντας έτσι τη δυνατότητα στατιστικής ανάλυσης για εξαγωγή συμπερασμάτων. Ο έλεγχος της επίδοσης μπορεί να γίνει με τους παρακάτω τρόπους: στην αρχή της εκπαιδευτικής διαδικασίας -προ-έλεγχος (pre-test)- στοχεύοντας τη διερευνήσει της ήδη υπάρχουσας γνώσης (background knowledge). Ο άμεσος μετά-έλεγχος (immediate posttest) στο τέλος της διαδικασίας, ο οποίος στοχεύει στο να εξακριβώσει πιθανή αύξηση στην κατανόηση, και ο ύστερος μετά-έλεγχος (delayed post-test) που εφαρμόζεται μετά την πάροδο κάποιου χρονικού διαστήματος για να ελεγχθεί η διάρκεια της αποκτηθείσας γνώσης. 3. Επίλογος Είναι φανερό πως η αξιολόγηση της ποιότητας Ε.Λ. είναι μια διαδικασία που απαιτεί μεγάλη προσοχή και βασικά τη συνεργασία διάφορων επιστημόνων: εκπαιδευτικούς με διδακτική εμπειρία στο κάθε φορά ορισμένο αντικείμενο, ειδικούς της διδακτικής, τεχνικούς και εργονόμους του περιβάλλοντος διεπαφής και ειδικούς επιστήμονες του κάθε εκπαιδευτικού κλάδου. Η έρευνα πάνω στην αξιολόγηση Ε.Λ. είναι σε εξέλιξη και τίποτα δεν είναι αυτονόητο ή κατοχυρωμένο μιας και η τεχνολογία αλλάζει καθημερινά και κατά συνέπεια αλλάζει και η σχέση μας με αυτήν. Η καθιέρωση αξιόπιστων μηχανισμών αξιολόγησης μπορεί να συμβάλλει δραστικά στη μείωση Ε.Λ. χαμηλής ποιότητας. Ωστόσο αυτοί οι μηχανισμοί θα πρέπει να μελετούν και να λαμβάνουν υπ' όψιν σημαντικά ζητήματα που προκύπτουν από έρευνες πάνω στον εκπαιδευτικό σχεδιασμό και της αξιολόγηση συστημάτων. Επιπροσθέτως, οι αξιολογητές θα πρέπει να θεωρούν το προς αξιολόγηση Ε.Λ. ως τμήμα ενός μεγαλύτερου 5
εκπαιδευτικού περιβάλλοντος και η ενσωμάτωση του στα αναλυτικά προγράμματα θα πρέπει να εξεταστεί ώστε ένα Ε.Λ. να συνεισφέρει αποτελεσματικά στη μαθησιακή διαδικασία. Βιβλιογραφικές αναφορές Clarke, A. (1992) The Principles of Screen Design for Computer Based Learning Materials. U.K: Department Of Employment. Gagné, R.M., Briggs, L.J, Wager W.W. (1988) Principles of Instructional Design (3rd edition). New York: Holt, Rinehart, and Winston. Jonassen, D.H. (1992) Designing Hypertext for Learning. In Scanlon, E., O'Shea, T. (eds.): New Directions in Educational Technology. Berlin New York: Springer-Verlag, 123-130. Locatis, C., Letourneau, G., Banvard, R. (1989) Hypermedia and Instruction. Educ. Tech. Res. and Dev. 37.4 65-77 Lynch, P.J. (2000) Yale WWW Style Manual. Yale Centre for Advanced Instructional Media, http://info.med.yale.edu/caim/manual/contents.html. Marchionini, G. (1990) Evaluating Hypermedia Based Learning. In Jonassen D., Mandl H. (eds.): Designing Hypermedia for Learning. Berlin: Springer-Verlag. 355-374. Mcateer, E., Shaw, R. (1995) The Design of Multimedia Learning Programs. University of Glasgow: The EMASHE Group. Netskills. (2000) Internet Detective. http://www.netskills.ac.uk/tonicng/content/detective/ Nielsen, J. (1990) Evaluating Hypertext Usability. In Jonassen D., H. Mandl (eds.): Designing Hypermedia for Learning. Berlin: Springer-Verlag. 147-166. North Carolina Department of Public Instruction. (1988) Criteria for Evaluating CD-ROM. http://www.sret.sreb.org/criteria/criter1.htm Orr, K.L., Golas, K.C., and Yao, K. (1994) Storyboard Development for Interactive Multimedia Training. J. of Interactive Instruction Development. Winter 18-31. Poncelet, G.M., Proctor, L.F. (1993) Design and Development Factors in the Production of Hypermedia-based Courseware. Can. J. of Ed. Com. 22.2 91-111 Preece, J., Rogers, Y., Benyon, D., Holland, S., and Carey, T. (1994). Human Computer Interaction. Wokingham: Addison-Wesley Publishing Company. Reeves, T.C., Harmon, S.W. (1994) Systematic Evaluation Procedures for Interactive Multimedia for Education and Training. In Resman, S. (ed.): Multimedia Computing: Preparing for the 21st Century. Harrisburg London: Idea Group Publishing. 472-505. Ross, S.M., Morrison, G.R. (1989) In Search of a Happy Medium in Instructional Technology Research: Issues Concerning External Validity, Media Replications, and Learner Control. Ed. Tech. Res. and Dev. 37.1 19-33 Shneiderman, B., Kearsley, G. (1989) Hypertext hands on!. Reading Massachusetts: Addison Wesley. Shuell T. J. (1992). Designing Instructional Computing Systems for Meaningful Learning. In Jones, M., Winnie, P. (eds.): Adaptive Learning Environments. Berlin Heidelberg: Springer-Verlag, 19-54. Γεωργιάδου, Ε. (1998) Web-based Hypermedia Courseware in Higher Education: A Proposed Framework, Unpublished PhD Thesis, U.K: De Montfort University. 6