Η Χρήση Φορητών Συσκευών στη Διαδικασία Αξιολόγησης

Transcript

1 Η Χρήση Φορητών Συσκευών στη Διαδικασία Αξιολόγησης Ευάγγελος Τριανταφύλλου Καθηγητής Πληροφορικής Περίληψη Η εισαγωγή των φορητών συσκευών, όπως τα κινητά τηλέφωνα, οι προσωπικές ψηφιακές βοηθητικές συσκευές (PDA) και τα tablet PC, στην παιδαγωγική διαδικασία έχει αρχίσει να επεκτείνει την ηλεκτρονική-μάθηση προς την μάθηση μέσω φορητών συσκευών. Τα τελευταία χρόνια, η διαθεσιμότητα φορητών συσκευών έδωσε την κατάλληλη ώθηση για τη δημιουργία ενός νέου καναλιού στην αξιολόγηση. Ως μια περίπτωση μελέτης αναπτύχθηκε ένα πρότυπο εκπαιδευτικό προσαρμοστικό σύστημα αξιολόγησης το οποίο καλείται CAT-MD (Computerized Adaptive Testing on Mobile Devices). Στο άρθρο αυτό θα γίνει μια σύντομη περιγραφή του συστήματος καθώς και του τρόπου υλοποίησης του. Λέξεις κλειδιά: προσαρμοστικά συστήματα αξιολόγησης, φορητές συσκευές. 1.Μάθηση με τη χρήση φορητών συσκευών Τα τελευταία χρόνια η χρήση των διαφορετικών φορητών συσκευών όπως τα κινητά τηλέφωνα, οι προσωπικές ψηφιακές βοηθητικές συσκευές (PDA - Personal Digital Assistant) και τα tablet PC έχει αυξηθεί με γοργό ρυθμό. Η αυξανόμενη χρήση των προσωπικών ψηφιακών βοηθητικών συσκευών και των διαφόρων γενεών κινητών τηλεφώνων καθώς και η συνεχής βελτίωση των δυνατοτήτων του Διαδικτύου έχει αλλάξει τη φύση της εκπαίδευσης (Luvai, 2007). Η διαθεσιμότητα των προηγμένων τεχνολογιών, όπως τα ασύρματα δίκτυα, και οι φορητές συσκευές, έχει αρχίσει να επεκτείνει την ηλεκτρονική-μάθηση προς την μάθηση μέσω φορητών συσκευών (ΜΦΣ) (Sharples, 2000). Η εισαγωγή των φορητών συσκευών στην παιδαγωγική διαδικασία μπορεί να ενισχύσει την ηλεκτρονική-μάθηση με τη δημιουργία ενός πρόσθετου καναλιού πρόσβασης της γνώσης για τους χρήστες με τις φορητές συσκευές όπως PDAs, κινητά τηλέφωνα, φορητοί υπολογιστές. Λόγω του κατάλληλου μεγέθους και της υπολογιστικής τους δύναμης, οι φορητές συσκευές έχουν αναδειχθεί ως πιθανή πλατφόρμα για την ηλεκτρονική-μάθηση. Η ΜΦΣ συνδυάζει την εξατομικευμένη (ή προσωπική) μάθηση με την «οποτεδήποτε» και «οπουδήποτε» μάθηση. Τα πλεονεκτήματα της ΜΦΣ περιλαμβάνουν: ευελιξία, χαμηλότερο κόστος, μικρό μέγεθος και ευκολία στη χρήση (Jones & Jo, 2004).

2 Η ΜΦΣ θεωρείται συχνά ως μια μορφή ηλεκτρονικής-μάθησης, αλλά οι Georgiev, Georgieva, και Smrikarov (2004) θεωρούν ότι θα οριζόταν σωστότερα ως ένα μέρος, ή ένα υποεπίπεδο, της ηλεκτρονικής-μάθησης. Θεωρούν ότι η ΜΦΣ είναι ένα νέο στάδιο στην πρόοδο της ηλεκτρονικής-μάθησης και ότι βρίσκεται μέσα στα όριά της. Η ΜΦΣ είναι όχι μόνο η ασύρματη ή βασισμένη στο Διαδίκτυο ηλεκτρονική-μάθηση αλλά περιλάβει την οποτεδήποτε/οποιαδήποτε έννοια θέσης χωρίς μόνιμη σύνδεση στα φυσικά δίκτυα (Jones & Jo, 2004). Αυτή η ανεξαρτησία των φορητών συσκευών παρέχει διάφορα οφέλη όπως η δυνατότητα των σπουδαστών και των εκπαιδευτικών να αξιοποιήσουν τον χρόνο τους κατά την μετακίνησή τους με ένα τραίνο ή ένα λεωφορείο για να τελειώσουν την προετοιμασία της εργασίας ή του μαθήματός τους. Επιπλέον, η ΜΦΣ έχει τη δυνατότητα να αλλάξει τον τρόπο που οι σπουδαστές συμπεριφέρονται και αλληλεπιδρούν ο ένας με τον άλλον (Luvai, 2007). Η αποτελεσματικότητα όμως της ΜΦΣ εξαρτάται από την αρχιτεκτονική των εκπαιδευτικών συστημάτων μάθησης που είναι διαθέσιμα για τις φορητές συσκευές. Η αρχιτεκτονική αυτών των συστημάτων πρέπει να ισορροπηθεί προσεκτικά μεταξύ του φυσικού μεγέθους της συσκευής, της υπολογιστικής ισχύς, τις δυνατότητες επικοινωνίας και της ενεργειακής ικανότητάς της συσκευής. Στόχος αυτών των συστημάτων είναι η εφαρμογή των προσαρμοστικών αρχιτεκτονικών για να μεγιστοποιήσουν την καθορισμένη από το χρήστη χρησιμότητα των φορητών συσκευών μέσα στα όρια των διαθέσιμων πόρων τους. 2.Προσαρμοστικά συστήματα αξιολόγησης Η χρήση των συστημάτων αξιολόγησης βασισμένης στον υπολογιστή (CBA - Computer Based Assessment) έχει ραγδαία αυξηθεί τις τελευταίες δύο δεκαετίες χάρη στα πλεονεκτήματα των τεχνολογιών της πληροφορίας και επικοινωνιών (ΤΠΕ). Στη βιβλιογραφία καταγράφεται ένας μεγάλος αριθμός πλεονεκτημάτων όπως: α) μεγάλος αριθμός εξετάσεων μπορεί να γίνει γρήγορα και με ακρίβεια, β) μπορούν να καταγραφούν οι αντιδράσεις των εξεταζόμενων, γ) οι εξετάσεις μπορούν να δοθούν σε ένα ανοικτό περιβάλλον πρόσβασης, δ) οι εξετάσεις μπορούν να αποθηκευτούν και να ξαναχρησιμοποιηθούν, ε) μπορεί να δοθεί άμεση ανταπόκριση στους εξεταζόμενους και στ) οι ερωτήσεις μπορούν αυτόματα και τυχαία να επιλεχθούν έτσι ώστε να δοθεί ξεχωριστή εξέταση σε κάθε εξεταζόμενο (Harvey & Mogey, 1999). Οι περισσότεροι τύποι αξιολόγησης με την χρήση του υπολογιστή βασίζονται σε προκαθορισμένου μεγέθους εξέταση η οποία παρουσιάζει τον ίδιο αριθμό ερωτήσεων σε κάθε εξεταζόμενο σε συγκεκριμένη σειρά και η βαθμολογία συνήθως εξαρτάται από τον αριθμό των σωστών απαντήσεων χωρίς να δίνεται η κατάλληλη (ή καθόλου) προσοχή στην ικανότητα του κάθε εξεταζόμενου χωριστά. Η προσαρμοστική αξιολόγηση με την χρήση του υπολογιστή (CAT - Computer Adaptive Testing) αποτελεί ένα ξεχωριστό είδος αξιολόγησης βασισμένη στον υπολογιστή, στην οποία 225

3 ο κάθε εξεταζόμενος δίνει ένα μοναδικό τεστ αξιολόγησης προσαρμοσμένο στις δικές του ικανότητες. Έτσι, αντί να υπάρχει ένα προκαθορισμένο τεστ για όλους τους εξεταζόμενους, το προσαρμοστικό σύστημα αξιολόγησης (ΠΣΑ) προσαρμόζεται στο επίπεδο ικανότητας του κάθε εξεταζόμενου χωριστά και ύστερα από κάθε απάντηση η ικανότητα του χρήστη επανεκτιμάται και η επόμενη ερώτηση επιλέγεται έτσι ώστε να είναι η πιο κατάλληλη στην νέα εκτίμηση για το επίπεδο του χρήστη (van der Linden & Glas, 2003). Παρόλο που στην βιβλιογραφία αναφέρονται κάποια μειονεκτήματα (υψηλό κόστος κατασκευής, βαθμονόμηση ερωτήσεων, η χρήση σε αθροιστική αξιολόγηση) (Boyd, 2003; Lilley & Barker, 2002), τα ΠΣΑ έχουν αρκετά πλεονεκτήματα. Με την χρήση ενός ΠΣΑ μπορεί να υλοποιηθεί αξιολόγηση κατά απαίτηση καθώς ο εξεταζόμενος μπορεί να κάνει το τεστ όποτε και όπου αυτός θελήσει. Άλλα πλεονεκτήματα είναι η ευελιξία της διαχείρισης, άμεση πρόσβαση στην βαθμολογία, αύξηση του κινήτρου, κ.λπ. Ωστόσο, το μεγαλύτερο πλεονέκτημα των ΠΣΑ είναι η αποτελεσματικότητα. Καθώς λιγότερες ερωτήσεις είναι απαραίτητες για να επιτευχθεί στατιστικά το επιθυμητό επίπεδο ακρίβειας, λιγότερος χρόνος χρειάζεται για την αξιολόγηση σε σχέση με τα συστήματα αξιολόγησης προκαθορισμένου μεγέθους με την χρήση του υπολογιστή. Τα τελευταία χρόνια, η διαθεσιμότητα των τεχνολογιών έδωσαν την κατάλληλη ώθηση για τη δημιουργία ενός νέου καναλιού στην αξιολόγηση με τη χρήση φορητών συσκευών όπως τα κινητά τηλέφωνα, προσωπικές ψηφιακές βοηθητικές συσκευές (PDAs) και tablet PCs. Πρόσφατα, έχουν αναπτυχθεί αρκετά εκπαιδευτικά συστήματα (Goh, Kinshuk & Lin, 2003; Mayorga, Fernández, 2003) και αλληλεπιδραστικά τεστ αξιολόγησης (Go test go Inc, 2009) εξειδικευμένα για την χρήση PDA και κινητών τηλεφώνων. Παρόλα αυτά μικρή έρευνα έχει πραγματοποιηθεί στην σχεδίαση ΠΣΑ με τη χρήση των φορητών συσκευών και σε αυτό το σημείο εστιάζει η έρευνα που παρουσιάζεται στο συγκεκριμένο άρθρο. Στόχος της έρευνας μας είναι να εξετασθούν τα ζητήματα σχεδίασης και ανάπτυξης τα οποία μπορεί να θεωρηθούν σημαντικά για την υλοποίηση ΠΣΑ με τη χρήση φορητών συσκευών. Ως μια περίπτωση μελέτης αναπτύχθηκε ένα πρότυπο εκπαιδευτικό προσαρμοστικό σύστημα αξιολόγησης το οποίο καλείται CAT-MD (Computerized Adaptive Testing on Mobile Devices). Στις επόμενες παραγράφους θα γίνει μια σύντομη περιγραφή του συστήματος καθώς και του τρόπου υλοποίησης του. 3. Προσαρμοστικό σύστημα αξιολόγησης με τη χρήση φορητών συσκευών Η εφαρμογή CAT-MD έχει αναπτυχθεί με τη χρήση του Macromedia Flash καθώς αυτό προσφέρει αρκετά ανταγωνιστικά πλεονεκτήματα. Είναι ελαφρύ, τρέχει σε όλες τις πλατφόρμες λειτουργικών συστημάτων (windows, mac, linux) και μπορεί να χρησιμοποιηθεί τόσο για σταθερές όσο και για φορητές συσκευές (κινητά τηλέφωνα, 226

4 tablet pc, κ.λπ.). Σύμφωνα με την εταιρεία Adobe (η οποία έχει εξαγοράσει την Macromedia), to 98% των υπολογιστών που συνδέονται στο Διαδίκτυο καθώς και πάνω από 30 εκατομμύρια φορητές συσκευές διαθέτουν το κατάλληλο πρόσθετο πρόγραμμα (plug-in player) για την αναπαραγωγή Flash εφαρμογών. Το σύστημα διεπαφής και οι λειτουργίες του CAT-MD είναι αποτέλεσμα των διορθώσεων που έγιναν με βάση την ανάλυση των δεδομένων μετά από διαμορφωτική αξιολόγηση (Triantafillou, Georgiadou & Economides 2008). Η διαμορφωτική αξιολόγηση πραγματοποιήθηκε σε τρία στάδια: αξιολόγηση από ειδικούς, ένας με έναν αξιολόγηση, αξιολόγηση από μικρή ομάδα χρηστών. Ο Tessmer (1993) έχει καθορίσει αυτές τις μορφές ως εξής: Αξιολόγηση από ειδικούς. Οι ειδικοί εξετάζουν το πρωτότυπο σύστημα με την παρουσία ή όχι του αξιολογητή του συστήματος. Οι ειδικοί μπορεί να είναι γνώστες του περιεχομένου, σχεδιαστές, εκπαιδευτές κ.ά. Ένας με έναν αξιολόγηση. Ένας χρήστης κάθε φορά εξετάζει το σύστημα και με τη συνεργασία του αξιολογητή σχολιάζει το σύστημα. Αξιολόγηση από μικρή ομάδα χρηστών. Ο αξιολογητής δοκιμάζει το σύστημα με μια μικρή ομάδα χρηστών και καταγράφει τις επιδόσεις, τις παρατηρήσεις και τα σχόλια τους. Οι υποδείξεις από τους ειδικούς και οι εισηγήσεις / προτάσεις από την ένα προς έναν αξιολόγηση και την αξιολόγηση από μικρή ομάδα χρηστών συνοψίζονται ως εξής: Το CAT-MD είναι ένα αποτελεσματικό και αποδοτικό εργαλείο προσαρμοστικής αξιολόγησης. Η δυνατότητα χρήσης φορητών συσκευών ελαχιστοποιεί την ανάγκη συγκεκριμένου εργαστηρίου υπολογιστών και μπορεί να χρησιμοποιηθεί παντού συμπεριλαμβανομένου και την παραδοσιακή αίθουσα διδασκαλίας. Το σύστημα πρέπει να υποδεικνύει πιο ξεκάθαρα όταν η επόμενη ερώτηση είναι έτοιμη να προβληθεί. Το σύστημα θα πρέπει να παρέχει άμεση ανάδραση στην απάντηση του χρήστη. Οι μαθητές θα πρέπει να μπορούν να έχουν πληροφόρηση σχετικά με το συνολικό αριθμό των ερωτήσεων που έχουν ήδη απαντήσει. Οι εικόνες θα πρέπει να είναι προσεκτικά επιλεγμένες λαμβάνοντας υπόψη τη μικρή ανάλυση και μέγεθος της οθόνης των φορητών συσκευών. Η εικόνα 1 παρουσιάζει δύο φωτογραφίες από την υλοποίηση του CAT-MD σε κινητό τηλέφωνο και σε PDA. Επιπλέον, το CAT-MD είναι φορητό σε κάθε συσκευή το οποίο διαθέτει το πρόγραμμα αναπαραγωγής εφαρμογών Flash (Macromedia Standalone-Flash Player). Ακόμη, αν το πρόσθετο (plug-in) έχει εγκατασταθεί στον φυλλομετρητή (Internet Explorer, Mozilla, κ.λπ.), τότε το CAT-MD είναι διαθέσιμο και ως flash shockwave film. 227

5 Το CAT-MD σε HP ipaq (PDA) Εικόνα 1. Διεπαφή του CAT-MD Το CAT-MD σε κινητό τηλέφωνο Motorola MPx220 Η εικόνα 2 δείχνει πως μια ερώτηση παρουσιάζεται στον εξεταζόμενο. Οι ερωτήσεις συνήθως διαθέτουν 4 απαντήσεις ως επιλογές και ο χρήστης μπορεί να επιλέξει τη σωστή επιλέγοντας το αντίστοιχο κουμπί. Το σύστημα ανταποκρίνεται άμεσα δηλώνοντας στο χρήστη αν η απάντησή του είναι σωστή ή λάθος. Ο χρήστης δεν μπορεί να πάει πίσω και να αλλάξει την επιλογή του. Κάθε στιγμή, το CAT-MD εκτιμά στατιστικά την ικανότητα του χρήση με βάση την απάντηση του και παρουσιάζει την επόμενη ερώτηση που ταιριάζει πιο πολύ στο επίπεδο του. Στην δεξιά κάτω γωνία, υπάρχει ένα κουμπί το οποίο γίνεται ενεργό όταν ο χρήστης απαντήσει στην συγκεκριμένη ερώτηση και που οδηγεί στην επόμενη ερώτηση. Έτσι ο χρήστης δεν μπορεί να προσπεράσει μια ερώτηση καθώς αυτό θα ερχόταν σε αντίθεση με τον αλγόριθμο επιλογής ερωτήσεων. Στην αριστερή κάτω γωνία εμφανίζεται ένας αριθμός που αντιστοιχεί στο συνολικό αριθμό ερωτήσεων στις οποίες ο χρήστης έχει ήδη απαντήσει. Ο χρήστης δεν γνωρίζει πότε το τεστ αξιολόγησης τελειώνει παρόλα αυτά θεωρήθηκε χρήσιμο να γνωρίζει πόσες ερωτήσεις έχει ήδη απαντήσει. 228

6 Εικόνα 2. CAT-MD Το CAT-MD χρησιμοποιεί την Item Response Theory (IRT) ως βάση ψυχομετρικής θεωρίας η οποία αποτελεί την βάση στα περισσότερα προσαρμοστικά συστήματα αξιολόγησης. Η IRT αναπαριστά την σχέση μεταξύ των εξεταζόμενων και των ερωτήσεων με τη χρήση μαθηματικών μοντέλων (Lord, 1980; Hambleton 1991). Το κύριο στοιχείο της θεωρίας είναι οι μαθηματικές συναρτήσεις που υπολογίζουν την πιθανότητα του συγκεκριμένου εξεταζόμενου να απαντήσει σωστά μια συγκεκριμένη ερώτηση. Η IRT χρησιμοποιείται για να εκτιμηθεί το επίπεδο γνώσης του εξεταζόμενου με στόχο να καθορισθεί η επόμενη ερώτηση η οποία θα εμφανισθεί στον χρήστη και επίσης για να καθορισθεί το τέλος της εξέτασης. Το τεστ αξιολόγησης έχει ως στόχο να μετρήσει το επίπεδο των χρηστών σε μια συγκεκριμένη ικανότητα / επιδεξιότητα. Η βασική υπόθεση είναι ότι κάθε εξεταζόμενος κατέχει ένα συγκεκριμένο επίπεδο ικανότητας. Έτσι με την προϋπόθεση ότι κάθε εξεταζόμενος έχει μια συγκεκριμένη τιμή, το τεστ βαθμολογεί τον εξεταζόμενο με ένα βαθμό στην κλίμακα ικανότητας. Αυτή η βαθμολογία δηλώνεται με το ελληνικό γράμμα θήτα (θ). Μετά από κάθε ερώτηση και βαθμολόγηση της ερώτησης, πραγματοποιείται η εκτίμηση της ικανότητας του εξεταζόμενου και το αποτέλεσμα αξιοποιείται από την διαδικασία επιλογής της επόμενης ερώτησης. 229

7 Ένα πολύ σημαντικό χαρακτηριστικό των προσαρμοστικών συστημάτων αξιολόγησης είναι το κριτήριο τερματισμού της αξιολόγησης. Το κριτήριο αυτό βασίζεται γενικά στην ακρίβεια με την οποία μπορεί να αξιολογηθεί η ικανότητα του εξεταζόμενου. Στα περισσότερα CAT, ο τερματισμός της αξιολόγησης είναι βασισμένος στον αριθμό των ερωτήσεων, στην ακρίβεια μέτρησης του επιπέδου ικανότητας ή στο συνδυασμό αυτών (Boyd, 2003). Η ακρίβεια μέτρησης συνήθως βασίζεται στο λάθος που συνδέεται με την συγκεκριμένη ικανότητα. Στη παρούσα έκδοση του CAT-MD, ύστερα από κάθε διαχείριση μιας νέας ερώτησης, το σύστημα υπολογίζει το σφάλμα μέσου όρου που συνδέεται με το συγκεκριμένο επίπεδο ικανότητας (θ) του εξεταζόμενου για να καθορίσει αν θα τερματίσει το τεστ ή ποια θα είναι η επόμενη ερώτηση. Η αξιολόγηση σταματάει όταν το σφάλμα μέσου όρου που συνδέεται με την συγκεκριμένη ικανότητα (θ) είναι μικρότερο από συγκεκριμένο νούμερο ή όταν τελειώσουν οι διαθέσιμες ερωτήσεις. 4. Επίλογος Η διαθεσιμότητα των προηγμένων τεχνολογιών έχει αρχίσει να επεκτείνει την ηλεκτρονική-μάθηση προς την μάθηση μέσω φορητών συσκευών. Η χρήση των διαφορετικών φορητών συσκευών όπως τα κινητά τηλέφωνα, οι προσωπικές ψηφιακές βοηθητικές συσκευές (PDAs) και τα tablet PC έδωσαν την κατάλληλη ώθηση για τη δημιουργία ενός νέου καναλιού στην αξιολόγηση με τη χρήση φορητών συσκευών. Στο παρόν άρθρο έγινε μια σύντομη περιγραφή του CAT-MD (Computerized Adaptive Testing on Mobile Devices) το οποίο σχεδιάσθηκε και αναπτύχθηκε ως μια περίπτωση μελέτης προσαρμοστικών συστημάτων αξιολόγησης με τη χρήση φορητών συσκευών. Στο μέλλον, θα αναπτυχθούν συστήματα τα οποία θα αξιοποιούν τις πληροφορίες για το χρόνο, τη θέση, το περιβάλλον του χρήστη. Το Διαδίκτυο θα γίνει προσωπικό και φορητό. Η μάθηση θα κινηθεί όλο και περισσότερο έξω από την τάξη προς το περιβάλλον του εκπαιδευόμενου (πραγματικό ή εικονικό). Η πρόκληση για τους εκπαιδευόμενους, τους εκπαιδευτικούς, τους σχεδιαστές εκπαιδευτικών συστημάτων, τους συγγραφείς προγραμμάτων σπουδών και όλων όσων συμμετέχουν στις διαδικασίες μάθησης και αξιολόγησης είναι να ανακαλυφτούν οι τρόποι αξιοποίησης των φορητών συσκευών στη δια βίου μάθηση έτσι ώστε η μάθηση να αποτελεί μέρος της καθημερινής ζωής και όχι μία διακριτή διαδικασία Βιβλιογραφία Boyd, A. M. (2003). Strategies for Controlling Testlet Exposure Rates in Computerized Adaptive Testing Systems. Unpublished PhD Thesis, The University of Texas at Austin. 230

8 Georgiev, T., Georgieva, E. and Smrikarov, A. (2004). M-Learning - a New Stage of e-learning, International Conference on Computer Systems and Technologies - CompSysTech 2004, Rousse, Bulgaria, June Available at Go test go Inc. (2009). Goh, T., Kinshuk, Lin, T. (2003). Developing an adaptive mobile learning system. Proc. of the International Conference on Computers in Education, Hong Kong 2003, pp Hambleton, R. K., Swamination, H. & Rogers, H. J. (1991). Fundamentals of Item Response Theory. California: Sage Publications Inc. Harvey, J. & Mogey, N. (1999). Pragmatic issues when integrating technology into the assessment of students. In Brown, S., Race, P. and Bull, J. (1999) (Eds), Computer-assisted assessment in higher education. London: Kogan-Page. Jones V. & Jo H. J. (2004).Ubiquitous learning environment: An adaptive teaching system using ubiquitous technology. Proceedings of the 21st ASCILITE Conference, Perth, Western Australia. Lilley, M. & Barker, T. (2002). The Development and Evaluation of a Computer- Adaptive Testing Application for English Language, 6th Computer Assisted Assessment Conference, Loughborough. Lord, F.M. (1980). Applications of Item Response Theory to Practical Testing Problems. New Jersey: Lawrence Erlbaum Associates, Publishers. Luvai F. M. (2007). Mobile learning: A framework and evaluation, Computers & Education, Vol. 49, Issue 3, , November Mayorga, M.C., Fernández, A. (2003). Learning Tools for Java Enabled Phones: An Application to Actuarial Studies. Proc. of the International Conference MLEARN, UK 2003, pp Sharples, M. (2000). The Design of Personal Mobile Technologies for Lifelong Learning, Computers and Education, vol. 34, , Tessmer M. (1993). Panning and Conducting Formative Evaluations. Kogan Page Limited. Triantafillou, E., Georgiadou, E., & Economides, A. (2008). The Design and Evaluation of a Computerized Adaptive Test on Mobile Devices. Computer & Education, 50 (4), van der Linden W.J. & Glas, C.A.W. (2003). Preface. In van der Linden, W.J., Glas, C.A.W (Eds). Computerised Adaptive Testing: Theory and Practice. Dordrecht, Boston, London: Kluwer Academic Publishers. 231