Ανάπτυξη ενός συστήματος τεστ αυτοαξιολόγησης σε δικτυακό τόπο

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ στην ΠΛΗΡΟΦΟΡΙΚΗ ΚΑΤΕΥΘΥΝΣΗ: ΤΕΧΝΟΛΟΓΙΕΣ ΠΛΗΡΟΦΟΡΙΑΣ & ΕΠΙΚΟΙΝΩΝΙΩΝ ΣΤΗΝ ΕΚΠΑΙΔΕΥΣΗ Δέσποινα Τζέλη Ανάπτυξη ενός συστήματος τεστ αυτοαξιολόγησης σε δικτυακό τόπο (Development of a web based self assessment adaptive testing system) Επιβλέπων: ΣΤΑΥΡΟΣ ΔΗΜΗΤΡΙΑΔΗΣ Επίκουρος Καθηγητής Διπλωματική Εργασία που υποβάλλεται στο πλαίσιο της μερικής εκπλήρωσης των απαιτήσεων για την απόκτηση Μεταπτυχιακού Διπλώματος στην Πληροφορική με εξειδίκευση στη Κατεύθυνση «Τεχνολογίες Πληροφορίας & Επικοινωνιών στην Εκπαίδευση» ΘΕΣΣΑΛΟΝΙΚΗ, 2010

2 Η ΤΡΙΜΕΛΗΣ ΕΞΕΤΑΣΤΙΚΗ ΕΠΙΤΡΟΠΗ Δημητριάδης Σταύρος, Επίκουρος Καθηγητής Τσιάτσος Θρασύβουλος Ιδιότητα Καρανίκας Κωνσταντίνος Καθηγητής Η έγκριση της Διπλωματικής αυτής Εργασίας από το Τμήμα Πληροφορικής του Αριστοτέλειου Πανεπιστήμιου Θεσσσαλονίκης δεν υποδηλώνει την αποδοχή των γνωμών του συγγραφέα. (Νόμος 5343/32, άρθρο 202, παρ. 2)

3

4 ΠΕΡΙΕΧΟΜΕΝΑ ΠΕΡΙΕΧΟΜΕΝΑ... 1 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή... 3 ΚΕΦΑΛΑΙΟ 2: Αυτοαξιολόγηση Η χρησιμότητα της αυτοαξιολόγησης Η γνωστική & η κονστρακτιβιστική θεωρία μάθησης & ενδυνάμωσης Μεταγνώση Αυτεπάρκεια Η διαδικασία της αυτοαξιολόγησης Τύποι ασκήσεων αξιολόγησης και οι προβληματισμοί Εργαλεία αυτοαξιολόγησης Βασικά χαρακτηριστικά Παραδείγματα Εργαλείων αυτοαξιολόγησης ΚΕΦΑΛΑΙΟ 3: Προσαρμοστικότητα Προσαρμοστική μάθηση Θεωρίες σχετικές με την προσαρμοστικότητα Decision Theory Item Response theory Κριτήρια επιλογής αντικειμένου CAT Μία γενική επισκόπηση των Computer-Adaptive Testing Τα μέρη ενός CAT Λειτουργία ενός CAT Αξιολόγηση ενός CAT Πλεονεκτήματα και μειονεκτήματα ενός CAT Παραδείγματα προσαρμοστικών συστημάτων αξιολόγησης PASS ένα προσαρμοστικό σύστημα αξιολόγησης Siette ΚΕΦΑΛΑΙΟ 4: Αυτοαξιολόγηση και Προσαρμοστικότητα ΚΕΦΑΛΑΙΟ 5: Ανάπτυξη συστήματος προσαρμοστικής αυτοαξιολόγησης Εισαγωγή Η αρχιτεκτονική του συστήματος Διεπαφή Βασικά μέρη Μοντέλο χρήστη Η αναπαραγωγή ενός τεστ (test generator) Η επιλογή αντικειμένου Η εκτίμηση του επιπέδου γνώσης Το κριτήριο τερματισμού Ο αλγόριθμος του συστήματος Υλοποίηση του συστήματος Αξιολόγηση του συστήματος Συμπεράσματα και Μελλοντικες υλοποιήσεις ΒΙΒΛΙΟΓΡΑΦΙΑ

5 2

6 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή Η σύγχρονη κοινωνία ξεχωρίζει για την πολυπλοκότητα του τρόπου ζωής και των προβλημάτων με τα οποία έρχεται αντιμέτωπος καθημερινά ο άνθρωπος. Είναι η εποχή της έκρηξης των γνώσεων και της ραγδαίας ανάπτυξης της τεχνολογίας, με ξεχωριστή θέση της τεχνολογίας των ηλεκτρονικών υπολογιστών. Η δειλή στην αρχή εμφάνιση των ηλεκτρονικών υπολογιστών και στη συνέχεια η εισβολή τους σχεδόν σε κάθε πτυχή της ζωής μας συμβάλλει στη αστραπιαία διακίνηση των γνώσεων και των ιδεών, καθώς και στην αντιμετώπιση πολλών πολύπλοκων καταστάσεων. Είναι αυτονόητο ότι η εκπαίδευση, δεν μπορούσε να μείνει ανεπηρέαστη. Η τεχνολογία έχει αυξηθεί ραγδαία και οι υπολογιστές αποτελούν πλέον απαραίτητο εργαλείο μετάδοσης και αξιολόγησης της γνώσης. Η αξιολόγηση και η αυτοαξιολόγηση των μαθητών μέσω υπολογιστή, όπως και η προσαρμοστικότητα σ αυτού του είδους τα συστήματα αποτελούν από τα μεγαλύτερα πεδία έρευνας στην επιστήμη της τεχνολογίας. Σε αυτή την εργασία γίνεται μία προσέγγιση της προσαρμοστικής αυτοαξιολόγησης. Αν και η προσαρμοστική αξιολόγηση είναι ένας τομέας που έχει ερευνηθεί αρκετά και υπάρχουν αρκετά συστήματα που να υλοποιούν αυτή τη θεωρία, η προσαρμοστική αυτοαξιολόγηση δεν έχει ερευνηθεί αρκετά. Σκοπός αυτής της εργασίας είναι διερεύνηση του όρου προσαρμοστική αυτοαξιολόγηση και η δημιουργία ενός συστήματος που θα στηρίζεται στο θεωρητικό και στο μαθηματικό υπόβαθρο που εξετάστηκε. Στα κεφάλαια ένα και δύο αναλύονται οι όροι αυτοαξιολόγηση και προσαρμοστικότητα αντίστοιχα. Στο κεφάλαιο τρία δίνονται επεξηγήσεις για τις διαστάσεις του όρου προσαρμοστική αυτοαξιολόγηση και στο τέταρτο κεφάλαιο αυτής της εργασίας περιγράφεται η υλοποίησης ενός συστήματος προσαρμοστικής αυτοααξιολόγησης,. Η προσαρμοστικότητα στο σύστημα αφορά στις γνώσεις του μαθητή. Σκοπός του εργαλείου που υλοποιήθηκε είναι η υποστήριξη των μαθητών για την καλύτερη μάθηση γνώσης. Μέσα από αυτό το σύστημα δίνεται στους μαθητές η δυνατότητα να ελέγξουν τις γνώσεις τους, με ένα γρήγορο και ακριβή τρόπο και ταυτόχρονα να διορθώσουν τα λάθη τους, καθοδηγούμενοι από την διάδραση του συστήματος. Το σύστημα αυτό όμως αποτελεί ένα δυναμικό εργαλείο και για τους καθηγητές. Οι καθηγητές μπορούν με εύκολο τρόπο να δημιουργούν τεστ αυτοαξιολόγησης, να ελέγχουν την απόδοση των μαθητών και από τα αποτελέσματα να αξιολογούν και οι ίδιοι τη διδασκαλία τους.. 3

7 ΚΕΦΑΛΑΙΟ 2: Αυτοαξιολόγηση Η αξιολόγηση στην εκπαίδευση χρησιμοποιείται ως διαμορφωτικό και επιταχυντικό μέσο βελτίωσης της παρεχόμενης εκπαίδευσης. Στη διδακτική πράξη ο όρος αξιολόγηση χρησιμοποιείται για να δηλώσει τη διαδικασία με την οποία επιδιώκεται η μέτρηση ποιοτικά και ποσοτικά της μάθησης ως αποτέλεσμα της διδασκαλίας και της χρήσης των προσφορότερων διδακτικών μέσων με σκοπό έναν επιθυμητό βαθμό επίτευξης των διδακτικών στόχων που έχουν τεθεί. Η αξιολόγηση θεωρείται ως ένα από τα αποτελεσματικότερα εκπαιδευτικά εργαλεία για την προαγωγή της μάθησης. Η αυτοαξιολόγηση θα μπορούσε να σημαίνει ότι οι μαθητές τσεκάρουν απλά τις απαντήσεις σε ερωτήσεις multiple choice και βαθμολογούνται από μόνοι τους. Στην ουσία όμως η αυτοαξιολόγηση περιλαμβάνει περισσότερα πράγματα από αυτό. Για την ακρίβεια η αυτοαξιολόγηση ορίζεται σαν μια διαδικασία κατά την οποία οι μαθητές 1)παρακολουθούν και αξιολογούν την ποιότητα της σκέψη τους και της συμπεριφορά τους όταν μαθαίνουν και 2) αναγνωρίζουν στρατηγικές που τους βοηθούν να αναπτύξουν τις δεξιότητες και την κατανόηση. Αυτή η άποψη για την αυτοαξιολόγηση ταιριάζει με την καθιερωμένη εκπαίδευση που ορίζει ξεκάθαρους στόχους και κριτήρια στο μαθητή διευκολύνοντας τον να αυτοξιολογηθεί. Η αυτοαξιολόγηση των μαθητών μπορεί να οριστεί σαν μια δυναμική διαδικασία κατά την οποία οι μαθητές ελέγχουν και αξιολογούν τον εαυτό τους και αναγνωρίζουν σωστούς τρόπους εκμάθησης. Στην ουσία οι μαθητές μέσα από την αυτοαξιολόγηση αυξάνουν την κριτική τους ικανότητα και ταυτόχρονα αποκτούν περισσότερα κίνητρα για μάθηση και αυξάνουν και την πιθανότητα επιτυχίας τους(dirk et al, 2002) Οι μαθητές όταν χρησιμοποιούν την αυτοαξιολόγηση στην εκπαίδευση τους, παρακινούνται να μειώσουν την αβεβαιότητα που έχουν για τις ικανότητες τους και τα χαρακτηριστικά της προσωπικότητας τους. Η αβεβαιότητα μειώνεται αποκτώντας μια αντικειμενική και ακριβή εικόνα από τις διαδικασίες αυτοαξιολόγησης που ακολουθούν. Τα διαγνωστικά τεστ καθώς και διάφορα μέρη ασκήσεων αυτοαξιολόγησης δίνουν στον μαθητή την ακριβή εικόνα για τις ικανότητες τους και τις γνώσεις του. Ιδιαίτερα οι διαγνωστικές ασκήσεις δίνουν αρκετή πληροφορία και μάλιστα σε μερικές περιπτώσεις μπορούν να διαχωρίσουν τους μαθητές σε κατηγορίες, για παράδειγμα αν έχει υψηλό ή χαμηλό επίπεδο ικανότητας, καθώς επίσης και αν κάποιος μαθητής είναι χαρισματικός ή όχι. Σύμφωνα με στατιστικά στοιχεία, οι περισσότεροι μαθητές προτιμούν τα τεστ υψηλής διάγνωσης για να αξιολογήσουν τον εαυτό τους, αδιαφορώντας για τα τυχόν αρνητικά για την προσωπικότητα τους αποτελέσματα. Τα αποτελέσματα των τεστ, η επιτυχία ή αποτυχία στις ασκήσεις, τα θετικά ή αρνητικά αποτελέσματα για την προσωπικότητα, και το υψηλό ή χαμηλό επίπεδο ικανότητας είναι άσχετα με τις διαγνωστικές προτιμήσεις. (Filip et al, 1997) Από τις πιο σημαντικές μορφές ασκήσεων είναι οι ασκήσεις αυτοαξιολόγησης. Πολλές φορές αναφέρονται στις ασκήσεις αυτοαξιολόγησης ως τις ασκήσεις που ο καθηγητής έχει θέση κάποια βασικά κριτήρια και οι μαθητές κάνουν τις ασκήσεις και αξιολογούν τον εαυτό τους. Ωστόσο υπάρχουν και οι ασκήσεις όπου οι μαθητές θέτουν τα κριτήρια και οι ασκήσεις αυτοαξιολόγησης έχουν πλέον ως στόχο είτε την προσωπική καθοδήγηση του εκάστοτε μαθητή είτε την επικοινωνία του καθηγητή με το μαθητή. 4

8 Σύμφωνα με το Hall(1995) υπάρχουν δύο βασικοί παράγοντας για γνήσιες ασκήσεις αυτοαξιολόγησης: ο μαθητής όχι μόνο κάνει τις ασκήσεις, αλλά είναι και αυτός που θα θέσει τα κριτήρια στα οποία βασίζονται οι ασκήσεις. Αυτού του τύπου οι ασκήσεις μειώνουν το χρόνο που χρειάζεται ο καθηγητής για να αξιολογήσει τους μαθητές. Ένα ακόμη πλεονέκτημα είναι ότι ο μαθητής αναπτύσσει και νέες δεξιότητες, όπως της επικοινωνίας, της αυτό- αποτίμησης, της παρατήρησης και της αυτοκριτικής. (Brusilovsky et al,2001) 2.1 Η χρησιμότητα της αυτοαξιολόγησης Υπάρχουν θεωρίες από τουλάχιστον τρία πεδία μάθησης που παρέχουν πιστευτές ορθές εξηγήσεις σύμφωνα με τις οποίες πρέπει να παρέχονται στους μαθητές περισσότερες και πιο εμπλουτισμένες και ασκήσεις αυτοαξιολόγησης. Τα τρία αυτά πεδία είναι :1)η γνωστική και η κονστρακτιβιστική θεωρία μάθησης και ενδυνάμωσης 2)η μεταγνωστική θεωρία και 3) η θεωρία της αυτό-αποτελεσματικότητας Η γνωστική & η κονστρακτιβιστική θεωρία μάθησης & ενδυνάμωσης Η αυτοαξιολόγηση είναι ένα ουσιώδες συστατικό της γνωστικής και η κονστρακτιβιστικής θεωρίας μάθησης και ενδυνάμωσης. Ο Shepard αποδεικνύει ότι ο αυτοέλεγχος στην μάθηση και στην σκέψη, είναι σημαντικός για την εποικοδόμηση της γνώσης, και η παραπάνω θεωρία βασίζεται κυρίως σε αυτό. Οι μαθητές, αποκτούν γνώση, μερικά, μέσα από την αυτοαξιολόγηση πριν και κατά τη διάρκεια της μάθησης. Οι μαθητές οργανώνουν, αξιολογούν και εσωτερικεύουν όταν μαθαίνουν και η αυτοαξιολόγηση είναι μέρος αυτής της διαδικασίας. Πρέπει να συνδέσουν τη νέα γνώση, τις νέες ερμηνείες και δεξιότητες με ότι ήδη ξέρουν και χρησιμοποιούν. Οι ασκήσεις αυτοαξιολόγησης καλλιεργούν στους μαθητές την ικανότητα να κάνουν αυτές τις συνδέσεις από μόνοι τους. Τους παρέχει το μηχανισμό για να εμπλουτίσουν τις γνώσεις τους με ένα ουσιαστικό, και όχι συνηθισμένο τρόπο, με δίνοντας στους μαθητές μεγαλύτερα κίνητρα και περισσότερη αυτοπεποίθηση. Η θεωρία στόχων από την οπτική των κινήτρων των μαθητών απεικονίζει τη γνωστική θεωρία για το πώς οι μαθητές εσωτερικεύουν διαφορετικούς τύπους στόχων ικανοτήτων και τα αποτελέσματα αυτών στην αυτοαξιολόγηση, την επιμονή και τα επιτεύγματα. Η έρευνα επικεντρώθηκε σε δύο τύπους στόχων: οι κυρίαρχοι στόχοι και οι στόχοι προσπάθειας. Ο κυρίαρχος στόχος είναι αυτός που ο μαθητής επικεντρώνεται στις ασκήσεις στο χέρι και στο τι χρειάζεται να κάνει για να βελτιώσει τις γνώσεις του, την κατανόηση, και τις δεξιότητες του. Με αυτό τον προσανατολισμό, οι μαθητές πρέπει να φτάσουν στην πλήρη γνώση μέσα από τη σκέψη, τον αυτοέλεγχο και την εύρεση λύσεων. Επιπροσθέτως, οι μαθητές τείνουν αν εμβυθίζονται από μόνοι τους σε ένα κομμάτι δουλειάς και να ελέγχουν συνεχώς την πρόοδο τους. Ο θεωρητικός στόχος όσον αφορά τα κίνητρα, αποτελεί μία γνωστική θεωρία για το πώς οι μαθητές εσωτερικεύουν διάφορα είδη στόχων για την ανάπτυξη ικανοτήτων και τα αποτελέσματα αυτών των στόχων σε σχέση με την αυτοαξιολόγηση, την επιμονή, και το επίτευγμα. Σε αντίθεση, οι στόχοι προσπάθειας επικεντρώνονται στο αποτέλεσμα και σε οτιδήποτε μπορεί να εγγυηθεί το αποτέλεσμα. Το τελικό αποτέλεσμα ή η βαθμολογία έχει περισσότερη αξία από το να 5

9 βελτιώσουν την ικανότητα της κατανόησης. Η κατεύθυνση αυτής της θεωρίας δεν προάγει την ανάπτυξη της σκέψης, αλλά επικεντρώνεται στον τρόπο με τον οποίο θα εξασφαλιστεί το σωστό αποτέλεσμα, το οποίο είναι πιο σημαντικό από την όλη διαδικασία ή τη βελτίωση της κατανόησης και άλλων δεξιοτήτων. Η απόκτηση της απαιτούμενης βαθμολογίας και του χαρακτηρισμού «γνώστη» είναι πιο σημαντικά από τη μάθηση. Ο στόχος προσπάθειας ασχολείται με τον έλεγχο και την αξιολόγηση επιφανειακά. Ο κυρίαρχος στόχος, ωστόσο, θεωρεί αυτά τα δύο ως τα βασικά του εργαλεία για τη μάθηση. Η αυτοαξιολόγηση είναι ενσωματωμένη στον προσανατολισμό του κυρίαρχου στόχου γιατί είναι μια δεξιότητα που δείχνει στους μαθητές κατά πόσο προοδεύουν στην απόκτηση γνώσεων και δεξιοτήτων. Αντιθέτως ο προσανατολισμός προσπάθειας βασίζεται κυρίως στους καθηγητές που θα βγάλουν το πρόγραμμα εκπαίδευσης και θα καθορίσουν την επιτυχία ή την αποτυχία και θα κρίνουν το τελικό προϊόν. Η βελτίωση της δεξιότητας της αυτοαξιολόγησης προάγει τον κυρίαρχο προσανατολισμό, μαζί με όλα τα θετικά αυτής της διαδικασίας Μεταγνώση Η μεταγνώση, που τη συναντάμε τόσο την εκπαιδευτική όσο και στη ψυχολογική βιβλιογραφία, ενεπλέκει την ικανότητα του μαθητή να ελέγχει, να αξιολογεί και να γνωρίζει τι χρειάζεται να βελτιώσει στην επίδοση του. Αυτό απαιτεί συνειδητό έλεγχο συγκεκριμένων γνωστικών δεξιοτήτων, όπως ελέγχου, κατανόησης, πρόβλεψης αποτελεσμάτων και σχεδιασμό δραστηριοτήτων, διαχειρισμό χρόνου και εναλλαγής ανάμεσα σ ε διάφορες μαθησιακές δραστηριότητες, είναι οι ικανότητες που τις επιδόσεις, και τέτοιες δεξιότητες πρέπει να διδάσκονται. Η βιβλιογραφία που αφορά τη μεταγνώση περιλαμβάνει θεωρία και εμπειρικά γεγονότα που υποστηρίζουν τον αυτοέλεγχο και την αυτοαποτίμηση σαν δύο από τις πολλές μεταγνωστικές επιδεξιότητες Αυτεπάρκεια Η αυτοαξιολόγηση παίζει σημαντικό ρόλο στην ανάπτυξη της αυτοδιαίσθησης που οδηγεί σε δημιουργία μεγαλύτερων κινήτρων. Είναι γνωστό ότι οι υποσχέσεις των μαθητών εξαρτώνται από τα πιστεύω της αυτεπάρκειας τους, δηλαδή από τη διαίσθηση των ικανοτήτων τους ότι θα τα καταφέρουν σε μια επιμέρους εργασία και από την εκτίμηση τους ότι προοδεύουν. Η αυτεπάρκεια ενεπλέκει τους μαθητές να εκτιμήσουν τι μπορούν να κάνουν και την πιθανότητα της πετυχημένης του επίδοσης. Έτσι η αυτοδιάθεση αναπτύσσεται βαθμιαία καθώς οι μαθητές συνδέουν τις επιτυχίες τους και τις αποτυχίες τους με τους παράγοντες που πιστεύουν ότι προκάλεσε τα αποτελέσματα. Είναι σημαντικό να τονιστεί η επίδραση της εκάστοτε κατάστασης και περιεχομένου πάνω στην επάρκεια. Η αυτοδιάθεση της ικανότητας είναι κομμάτι της αυτεπάρκειας και αναφέρεται στα πιστεύω για γενικές ικανότητες ή γνώσεις και δεξιότητες του να κάνουν κάτι καλά. Οι μαθητές με μεγάλες προσδοκίες είναι πολύ πιθανό να παραμείνουν σταθεροί. Αυτοί με χαμηλές προσδοκίες συνήθως αποφεύγουν ή παραιτούνται από κάποιες εργασίες. Η θετική αυτό-αποτίμηση τους ενθαρρύνει να αφιερώσουν περισσότερο χρόνο και προσπάθεια στο διάβασμα τους καθώς και να θέσουν υψηλότερους στόχους για το μέλλον. Οι μαθητές χρειάζονται την αυτοαξιολόγηση για να μπορούν να κατανοήσουν πότε μαθαίνουν, πόση προσπάθεια χρειάζεται για να επιτύχουν, πότε επιτυγχάνουν και πότε αποτυγχάνουν και ποια στρατηγική διαβάσματος είναι καλύτερη για αυτούς. Για την ακρίβεια, η αυτό-εκτίμηση δίνει στους μαθητές να καταλάβουν τι έχουν καταφέρει, και να αναγνωρίσουν που χρειάζεται να δουλέψουν περισσότερο. Οι 6

10 μαθητές που επιτυγχάνουν σε ασκήσεις διαφορετικού επιπέδου δυσκολίας και με διαφορετικό ενδιαφέρον κάθε φορά, θα αποδώσουν την επιτυχία τους στην ικανότητα και στην προσπάθεια, παρά σε εξωτερικούς παράγοντες όπως η τύχη και η βοήθεια από άλλους μαθητές. Με τις προσπάθειες αυτές οι μαθητές μαθαίνουν να αυτοαξιολογούνται και να κάνουν αυτοκριτική. Οι γνώσεις αυτές χτίζουν την αυτεπάρκεια για τις μελλοντικές τους επιδόσεις σε παραπλήσια προβλήματα. Η αυτοαξιολόγηση, που χαρακτηρίζεται ως μία δυναμική διαδικασία (Dirk et al, 2002) κατά την οποία οι μαθητές αυτοελέγχουν, αυτοαποτιμούν και βρίσκουν τρόπους να διορθώσουν τα λάθη τους στη μάθηση του. Είναι μια κριτική δεξιότητα που εμπλουτίζει το μαθητή με κίνητρα και επιτυχίες. Στην τρέχουσα περίοδο των υψηλών ανταγωνισμών και υπευθυνότητας, υπάρχει η πίεση για επικέντρωση μόνο στην επίδοση και στην ελαχιστοποίηση της επέκτασης της μάθησης, που η αυτοαξιολόγηση διδάσκει και επικροτεί. Η αυτοαξιολόγηση αναπαριστά μια διαδικασία που κάθε καθηγητής οφείλει να ενθαρρύνει. Η επαρκής έρευνα και θεωρία τεκμηριώνουν τη σημασία της. Όταν οι μαθητές θέτουν στόχους που βοηθούν την αναπτυγμένη αντίληψη τους και την αναγνώριση κριτηρίων, μπορούν να αξιολογήσουν την πρόοδο τους και να γενικεύσουν στρατηγικές για καλύτερη μάθηση. Θα βελτιώσουν έτσι την επίδοση τους και θα αποκτήσουν περισσότερα κίνητρα. Σίγουρα αυτά τα βήματα θα βοηθήσουν τους μαθητές να πετύχουν δύο στόχους, να βελτιώσουν την αυτεπάρκεια τους και την εμπιστοσύνη τους όσον αφορά τη μάθηση, αλλά και να επιτύχουν υψηλές βαθμολογίες σε διαγωνίσματα. 2.2 Η διαδικασία της αυτοαξιολόγησης Ο αυτό-έλεγχος (McMillan et al, 2008) είναι μία ικανότητα απαραίτητη για να μπορέσει να είναι αποτελεσματική η αυτοαξιολόγηση. Με αυτή την ικανότητα ο μαθητής μπορεί να δώσει προσοχή στον τρόπο με τον οποίο σκέφτεται ή συμπεριφέρεται. Με την ικανότητα αυτή οι μαθητές δίνουν κυρίως προσοχή στο τι πρέπει να κάνουν, λαμβάνοντας όμως υπόψη τους κάποια εξωτερικά κριτήρια. Επιπλέον ο αυτό-έλεγχος αφορά την ευαισθητοποίηση της σκέψης και της προόδου, και αυτό προσδιορίζει μέρος του τι κάνουν οι μαθητές κατά την αυτό αξιολόγηση. Ένα δεύτερο στοιχείο της αυτό-αξιολόγησης, η αυτο-κριτική, αφορά στην αναγνώριση τις προόδου προς τις προβλεπόμενες επιδόσεις. Η αυτοκριτική, σε συνδυασμό με τα καθιερωμένα πρότυπα και κριτικές, δίνει τη δυνατότητα στους φοιτητές να καταλάβουν τι ακριβώς γνωρίζουν και τι πρέπει να μάθουν. Τα πρότυπα αποτελούν σημείο αναφοράς και οι κριτικές είναι κατευθυντήριες γραμμές για την ερμηνεία του επιπέδου των επιδόσεων των μαθητών. Η ανάπτυξη και η εφαρμογή των κριτηρίων για την αξιολόγηση προσεχών επιδόσεων, προσδίδει νόημα στις αξιολογήσεις των μαθητών, μόνο εφόσον τα κριτήρια που έχουν επιλεγεί είναι τα κατάλληλα για να προκαλέσουν το ενδιαφέρον. Σύμφωνα με τον Rolheiser και τον Ross, "Οι μαθητές που διδάσκονται δεξιότητες αυτο-αξιολόγησης είναι πιο πιθανό να επιμένουν σε δύσκολα καθήκοντα, να είναι πιο σίγουροι για την ικανότητά τους, και να είναι πιο υπεύθυνοι στην εργασία τους ". Το τρίτο σημαντικό βήμα είναι ότι οι μαθητές επιλέγουν διαδοχικούς μαθησιακούς στόχους και δραστηριότητες για να βελτιώσουν κατά τμήματα τις σωστές απαντήσεις, να διορθώσουν παρερμηνείες και να αυξήσουν τις γνώσεις τους. Επειδή οι μαθητές σε αυτό το στάδιο χρειάζονται δεξιότητες για να αποφασίσουν τoυς μαθησιακούς τους στόχους καθώς και άλλες πληροφορίες που θα ενισχύσουν τις γνώσεις τους, Θα πρέπει να έχουν επίγνωση των επιλογών τους για τα περαιτέρω γκολ και οδηγίες. Μόλις οι διορθωτικές 7

11 αλλαγές τελειώσουν, οι μαθητές ξεκινούν τον αυτοέλεγχο. Η αυτοαξιολόγηση θα μπορούσε να συνδυαστεί με την διαμορφωτική αξιολόγηση. Στη διαμορφωτική αξιολόγηση οι ασκήσεις παρέχουν ανάδραση που ενισχύουν τα κίνητρα και αυξάνουν την επίτευξη της λήψεις γνώσης, όσο οι μαθητές μαθαίνουν. Υπάρχουν σημαντικά στοιχεία που αποδεικνύουν ότι η κατάλληλη διαμορφωτική αξιολόγηση των δραστηριοτήτων σχετίζεται θετικά με την δημιουργία κινήτρων και επιτευγμάτων των μαθητών. Επιπλέον, η αυτο-αξιολόγηση είναι πολύτιμο προσόν για την αποτελεσματική διαμορφωτική αξιολόγηση. Τόσο ο Sadler (1989) όσο και Black και o Wiliam (1998) ισχυρίζονται ότι είναι απαραίτητη στην αυτο-αξιολόγηση να χρησιμοποιείται η κατάλληλη ανατροφοδότηση, και μάλιστα τονίζουν ότι χωρίς αυτή δεν υπάρχει αποτελεσματική μάθηση. "Δεν αποτελεί απαραίτητη προϋπόθεση για την αποτελεσματική μάθηση".(dirk et al, 2002) 2.3 Τύποι ασκήσεων αξιολόγησης και οι προβληματισμοί Η αρχική ιδέα ήταν να δημιουργηθεί ένα εργαλείο ασκήσεων αυτοαξιολόγησης που να είναι βασισμένο σε ερωτήσεις πολλαπλής επιλογής. Έτσι οι μαθητές θα είχαν στη διάθεση τους ένα εργαλείο που θα τους επιτρέπει να έχουν πρόσβαση στη μάθηση που έχουν αποκτήσει. Αυτή η προσέγγιση είναι απλή, ωστόσο επέφερε αρκετούς προβληματισμούς. Από τη μία πλευρά, θα έπειθε τους μαθητές λανθασμένα ότι το μάθημα θα εξετάζεται με ερωτήσεις πολλαπλής επιλογής παρόλου που οι εξετάσεις θα είχαν και πρακτικό μέρος. Από την άλλη μεριά, αν αυτές οι ερωτήσεις δεν αλλάζονται με κάποια συχνότητα, τότε το τεστ θα μετατραπεί σε ένα απλό τεστ και όχι σε ουσιώδη μάθηση. Τέλος, αν το εργαλείο παρέχει μόνο απαντήσεις και όχι επεξηγήσεις, θα αποτρέπει τους μαθητές να το χρησιμοποιούν ή ακόμα χειρότερα θα τους απογοητεύει και θα μειώνονται τα κίνητρα τους. Γι αυτούς τους λόγους εξετάζονται διαφορετικές απόψεις για τις ερωτήσεις πολλαπλής επιλογής. (Guzman et al, 2007) Μετά από έρευνα, που χρησιμοποιήθηκαν αρκετά εργαλεία, εντοπίστηκε μια προσέγγιση διαφορετική από αυτές που υπήρχαν μέχρι τότε. Ανακάλυψαν ότι το εργαλείο Duck, θα μπορούσε να αποτελέσει παράδειγμα εργαλείου αξιολόγησης. Τρία πράγματα έκαναν το Duck να ξεχωρίσει από τα άλλα συστήματα: το είδος των ασκήσεων που είναι διαθέσιμα, οι ασκήσεις και η πλοήγηση. Σύμφωνα με το εργαλείο υπόδειγμα προς τα άλλα, τα εργαλεία αξιολόγησης είναι πιο πλήρη όταν περιέχουν περισσότερους τύπους ασκήσεων. Όταν δηλαδή υπάρχουν ερωτήσεις πολλαπλής επιλογής, ερωτήσεις σύντομης απάντησης και ερωτήσεις πλήρης ανάπτυξης. Οι τελευταίες για να αξιολογηθούν σωστά, θα πρέπει να αποστέλλονται στον καθηγητή. Ένας ακόμα προβληματισμός υπάρχει και για τον τρόπο βαθμολόγησης και την ανάδραση. Τα περισσότερα συστήματα αυτοαξιολόγησης, θα πρέπει ασχέτως με το αν βαθμολογούν ή όχι τις ερωτήσεις, θα πρέπει να παρέχουν κάποιου είδους ανάδρασης. Θα πρέπει ο μαθητής απαντώντας σε μια ερώτηση, το σύστημα να του παρέχει πληροφορίες σχετικά με αυτή την ερώτηση και να του διευκρινίζει το νόημα τις άσκησης καθώς και να λύνει τυχόν απορίες του. (Gayo-Avello et al, nd) 8

12 2.4 Εργαλεία αυτοαξιολόγησης Είναι σημαντικό να τονιστεί ότι η αυτοαξιολόγηση δεν θεωρείται μόνο ως άσκηση αλλά και σαν αποτέλεσμα αναγνώρισης των δυνάμεων σου καθώς και υποστηριχτικό εργαλείο ανάπτυξης των ικανοτήτων του μαθητή.(butler, 2007) Δύο είναι τα βασικά είδη μάθησης που συναντώνται στα εργαλεία αξιολόγησης. Η αποτελεσματική μάθηση και η ουσιώδης μάθηση. Η αποτελεσματική μάθηση είναι η διαδικασία κατά την οποία η συμπεριφορά του ατόμου εξαρτάται από τις συνέπειες των πράξεων του. Από την άλλη πλευρά, η ουσιώδης μάθηση, απαιτείται όταν οι μαθητές καλούνται να συσχετίσουν την προϋπάρχουσα γνώση με την καινούργια. Για παράδειγμα, όταν ο καθηγητής ξεκινά να εξηγεί τον τρόπο που υπολογίζεται το εμβαδό τριγώνου, ξεκινάει με την εξήγηση του τι είναι εμβαδό. Αν συσχετιστούν και τα δύο είδη μάθησης με τις ασκήσεις αξιολόγησης, θα μεγιστοποιηθεί η μάθηση για τους μαθητές. Από την αποτελεσματική μάθηση, θα δίνονται οι ερωτήσεις και απλά θα διευκρινίζεται κατά πόσο είναι σωστές ή λάθος, το οποίο όμως υπάρχει μεγάλη πιθανότητα να αποθαρρύνει τους μαθητές και να χάσουν λίγο το ενδιαφέρον τους. Με την ουσιαστική μάθησης, ο μαθητής θα έχει τη δυνατότητα να εμβαθύνει στη μάθηση, μιας και όποτε απαντά σε κάποια ερώτηση, θα παίρνει ως αποτέλεσμα μία ανάδραση, αντί για βαθμολογία, που θα τους βοηθά να κατανοήσουν την ερώτηση και να φτάσουν από μόνοι τους στην κατάλληλη λύση. (Gayo-Avello et al, nd) Βασικά χαρακτηριστικά Όταν δημιουργείται ένα τεστ, ο καθηγητής λαμβάνει υπόψη του τις εξής παραμέτρους: Προσβασιμότητα. Το τεστ είναι για συγκεκριμένους μαθητές? Είναι για βαθμολόγηση ή για να βοηθηθούν διαβάζοντας; Βαθμολόγηση. Μπορούν οι μαθητές να δουν τις απαντήσεις και αν ναι πότε. Χρόνος. Υπάρχει κάποιος χρονικός περιορισμός για την απάντηση; Βαθμωτή αξιολόγηση. Πόσα γνωστικά επίπεδα καλύπτει το τεστ; Κριτήριο επιλογής ερώτησης. Ποιο κριτήριο επιλέγεται για τη δυναμική επιλογή ερώτησης από την τράπεζα ερωτήσεων; για παράδειγμα, τυχαία, προσαρμοσμένο στο γνωστικό επίπεδο του μαθητή) Κριτήριο τερματισμού του τεστ. Πόσες ερωτήσεις θα πρέπει να γίνουν στο μαθητή; (για παράδειγμα, ένας ακριβής αριθμός ή θα πρέπει να υπολογίζεται αναλόγως το γνωστικό επίπεδο του μαθητή, με κάποια στατιστική ακρίβεια) (McMillan et al, 2008) Όλα τα εργαλεία αυοαξιολόγησης δίνουν κάποια ανάδραση στο χρήστη. Η ανάδραση αυτή περιλαμβάνει τουλάχιστον τα εξής: μια επαγγελματική περιγραφή του προφίλ του μαθητή περιοχές δυναμικότητας προτεινόμενες περιοχές ανάπτυξης, συμπεριλαμβανομένων και περιοχών υψηλής προτεραιότητας 9

13 ένα τελικό σκορ και μία γενική βαθμολογία. (Butler, 2007) Παραδείγματα Εργαλείων αυτοαξιολόγησης Τα ακόλουθα εργαλεία αυτο-αξιολόγησης έχουν κάνει μια χρήσιμη συμβολή στον τομέα της αξιολόγησης των δεξιοτήτων στη διδασκαλία και τη μάθηση. Τα εργαλεία αυτά έχουν συμβάλει στην ενημέρωση των τομέων των οργανώσεων εθνικών προγραμμάτων και στην ανάπτυξη του προσωπικού που απαιτείται. National Learning Network self-assessment tool Το NLN εργαλείο είναι το εργαλείο αυτοαξιολόγησης που αντανακλά το κατά πόσο τα πανεπιστήμια ή ιδιωτικές σπουδών μεταδίδουν σωστά τις τεχνολογικές πληροφορίες και τις γνώσεις που οφείλουν να παρέχουν στους μαθητές. Demonstrating transformation FERL Ένας βήμα-προς-βήμα οδηγός της ηλεκτρονική μάθηση αξιολόγησης, ελέγχου και αυτο-αξιολόγησης για κολέγια και τους φορείς παροχής εκπαίδευσης και κατάρτισης ενηλίκων ως μέρος του προγράμματος Επαγγελματιών FERL ακολουθώντας το πρόγραμμα ILT Champions. Becta matrix Αναπτύχθηκε από τη Becta and the National College for School Leadership(NCSL). Είναι ένα online εργαλείο αυτο-αξιολόγησης και σχεδιάστηκε για να παρέχει υποστήριξη, καθοδήγηση και την αξιολόγηση των αναγκών με επιπλέον υποστήριξη. Το matrix απευθύνεται κυρίως σε σχολεία και σε τοπικά εκπαιδευτικά ιδρύματα. E-skills passport Το e-skills Passpor t είναι ένα online σύστημα διαχείρισης των δεξιοτήτων που βοηθά στον προσδιορισμό των τεχνολογικών ικανοτήτων και των ικανοτήτων σε εργασίες που σχετίζονται με υπολογιστές, και κατόπιν στη δημιουργία ενός πλάνου για τη βελτίωση τους αλλά και για την απόκτηση επιπλέον προσόντων χρήσιμα στον επαγγελματικό τομέα. (Butler, 2007) Duck Είναι ένα εργαλείο που δημιουργήθηκε από το the Biology Computer Resource Center at UMASS, Amherst. Είναι μια συλλογή PHP scipts που επιτρέπουν την παροχή μαθημάτων. Τρία πράγματα κάνουν το Duck να ξεχωρίζει από τα άλλα συστήματα: το είδος των ασκήσεων που είναι διαθέσιμα, οι ασκήσεις και η πλοήγηση. (Gayo-Avello et al, nd) Quizpack Το Quizpack είναι ένα σύστημα που δημιουργεί και αξιολογεί παραμετροποιημένες ερωτήσεις στον τομέα της γλώσσας προγραμματισμού C. Αυτό το σύστημα επίσης χρησιμοποιείται και για αυτοαξιολόγηση σε διάφορες προγραμματιστικές κλάσεις (programming-related classes).για 10

14 παράδειγμα, οι εργασίες αυτοαξιολόγησης από το συγκεκριμένο εργαλείο δεν μπορούν να χρησιμοποιηθούν ως ένα αξιόπιστο εργαλείο για ασκήσεις για το σπίτι. Ο μαθητής μπορεί απλά να μεταγλωττίσει τον κώδικα για τη συγκεκριμένη ερώτηση και να πάρει την απάντηση χωρίς να χρειαστεί να σκεφτεί. Το περιεχόμενο των ασκήσεων αυτοαξιολόγησης μπορούν να χρησιμοποιηθούν περισσότερες από μία φορές αλλάζοντας κάθε φορά τις παραμέτρους, δίνοντας έτσι την ευκαιρία στο μαθητή να κατανοήσει σφαιρικά το θέμα χωρίς να βαρεθεί. (Brusilovsky et al, 2005) QuizGuide QuizGuide χρησιμοποιήθηκε σε ένα προπτυχιακό μάθημα «Εισαγωγή στον Προγραμματισμό». Με αυτό το πρόγραμμα οι μαθητές παρακινήθηκαν, κυρίως εξαιτίας της χρήσης προσαρμοστικού συστήματος πλοήγησης να δουλέψουν δυόμισι φορές περισσότερο στις ασκήσεις επαναξιολόγησης. Επίσης το ποσοστό των μαθητών που έδωσαν περισσότερος σωστές απαντήσεις αυξήθηκε όταν στο σύστημα QuizPack προστέθηκε η προσαρμοστικότητα στην πλοήγηση. Αυτή η βελτίωση οφείλεται σε δύο παράγοντες. Πρώτον, ότι η μαθητές είχαν την ικανότητα να δουν πρώτα την άσκηση, προτού την λύσουν και δεύτερον, το σύστημα παρακινούσε τους μαθητές να δουλέψουν με την κάθε άσκηση και δεύτερη φορά, αλλάζοντας βέβαια κάθε φορά κάποιες παραμέτρους στις ασκήσεις, έτσι ώστε να καταφέρουν να έχουν σφαιρική γνώση γύρω από ένα θέμα. Μετά από τη χρήση του συστήματος αυτοαξιολόγησης, περισσότεροι από τους μισούς μαθητές θεωρούν ότι η προσαρμοστική πλοήγηση κάνει το εργαλείο που χρηστικό. (Brusilovsky et al,2004) SWAD Η πλατφόρμα SWAD περιλαμβάνει χαρακτηριστικά μαθησιακής υποστήριξης, εκπαίδευσης και διαχείρισης των δεδομένων των μαθητών. Οι ερωτήσεις στις ασκήσεις αξιολόγησης επιλέγονται τυχαία από μία τράπεζα τεστ, η οποία έχει δημιουργηθεί από τους καθηγητές. Αυτή είναι μία από τις υπηρεσίες τις πλατφόρμας που η μαθητές την έχουν αξιολογήσει ως μία από τις πιο χρήσιμες, μιας και τους επιτρέπει να αποτιμήσουν τις ικανότητες τους και να μπορέσουν να προετοιμαστούν καλύτερα ώστε να δώσουν τις τελικές εξετάσεις με περισσότερη αυτοεκτίμηση. Έχει παρατηρηθεί επιπλέον μία αισθητή βελτίωση των αποτελεσμάτων στις εξετάσεις μετά τη χρήση της υπηρεσίας. Οι πιο σημαντικές υπηρεσίες ήταν η ανταλλαγή αρχείων, η εμφάνιση των βαθμολογιών και οι εξετάσεις επαναξιολόγησης. Το εργαλείο βρήκε αποδοχή τόσο από τους μαθητές όσο και από τους καθηγητές. Οι μαθητές χρησιμοποιούσαν αρκετά συχνά τις προσφερόμενες υπηρεσίες και δεν σχεδόν ποτέ δεν χρειάστηκαν οδηγίες χρήσης. Όσον αφορά τους καθηγητές, πρέπει να επισημανθεί ότι η χρήση του διαδικτυακών σελίδων για τομείς όπως συνδέσμους, συχνές ερωτήσεις,, τα τεστ αξιολόγησης των μαθητών, η διαδικασία των βαθμολογιών και τα φόρουμ, αποτελούν μία ελκυστική ιδέα, μιας και οι καθηγητές μπορούν να χρησιμοποιήσουν όλες αυτές τις υπηρεσίες μέσα σε μια διαμοιραζόμενη πλατφόρμα. Με τη συμβολή του SWAD, η εικόνα ενός μαθήματος βελτιώνεται, και δεν απαιτείται και μεγάλη προσπάθεια από την πλευρά των καθηγητών. (Baltasar et al, 2007) 11

15 ΚΕΦΑΛΑΙΟ 3: Προσαρμοστικότητα 3.1 Προσαρμοστική μάθηση Η προσαρμοστική μάθηση είναι σημαντική, διότι επιτρέπει στους εκπαιδευόμενους να επιλέξουν τα αρθρωτά στοιχεία τους για να προσαρμόσουν το μαθητοκεντρικό περιβάλλοντα μάθησης. Επιπλέον, δίνει στους μαθητές τη δυνατότητα να προσφέρει ευέλικτες λύσεις που προσαρμόζουν δυναμικά το περιεχόμενο, ώστε να ταιριάζει ατομικές ανάγκες μάθησης σε πραγματικό χρόνο. Καθώς οι μαθητές αρχίζουν να προσεγγίζουν την εκπαίδευση διαδικτυακά και οι εκπαιδευτές απομακρύνονται από το εκπαιδευτικό τοπίο, η προσαρμοστική μάθηση φαίνεται ότι είναι μια πιο εξεζητημένη λύση για την ανάπτυξη ουσιαστικών σχέσεων μέσω διαδικτύου. Η πείρα έχει δείξει ότι πάντοτε ο καλύτερος τρόπος για να βελτιωθεί η μάθηση είναι να ανταποκρίνεται σε σαφώς προσδιορισμένες ανάγκες και σαφώς καθορισμένη λύσεις. Η συμπερασματική τεχνολογία είναι το τεράστιο βήμα προς τη χρήση της τεχνολογίας για τη βελτίωση της μάθησης. Αν αναπτυχθεί στο πλαίσιο μιας παραδειγματικής ανοικτής αγοράς, τα ευφυή συστήματα ηλεκτρονικής μάθησης θα έχουν σαφώς θετικές επιπτώσεις για την προσβασιμότητα, τις προσιτές τιμές, την ποιότητα δημιουργώντας νέες προκλήσεις στην παγκόσμια εκπαίδευση και κατάρτιση. Στις μέρες μας η προσαρμοστικότητα αποτελεί ένα κεντρικό σημείο σχεδίασης αρκετών εκπαιδευτικών συστημάτων που θέλουν να προάγουν μία πιο εξατομικευμένη μάθηση. Βασικό ζητούμενο σε αυτές τις περιπτώσεις είναι η προσαρμοστικότητα να προέρχεται από τον ίδιο το χρήστη, να βασίζεται δηλαδή στις ανάγκες και προτιμήσεις του, οδηγώντας έτσι σε εξατομικευμένα συστήματα. Με αυτό τον τρόπο αυξάνεται η αποτελεσματικότητα και η ευελιξία του συστήματος σε σχέση με ένα σύστημα που προσφέρει το ίδιο περιεχόμενο σε όλους τους χρήστες. Γνωρίσματα του χρήστη που χρησιμοποιούνται από τα εκπαιδευτικά συστήματα ως βάση για να προσαρμόσουν τη συμπεριφορά τους είναι τα εξής: η γνώση, οι στόχοι, το υπόβαθρο, και οι προτιμήσεις του χρήστη. Αφού εντοπιστούν τα γνωρίσματα του χρήστη που θα χρησιμοποιηθούν για να επιτευχθεί προσαρμοστικότητα στη συμπεριφορά του συστήματος, στη συνέχεια θα πρέπει να καθοριστεί ο τρόπος με τον οποίο θα εκφραστεί αυτή η προσαρμοστικότητα στο σύστημα. Τα χαρακτηριστικά του συστήματος που μπορούν να προσαρμοστούν είναι τα στοιχεία εκείνα που το σύστημα μπορεί να παρουσιάσει με διαφορετικό τρόπο ανάλογα με το συγκεκριμένο χρήστη. Συγκεκριμένα, τέτοια χαρακτηριστικά είναι: η σειρά παρουσίασης της εκπαιδευτικής ύλης είτε πρόκειται για παράδοση μαθήματος είτε για κάποιο τεστ (curriculum sequencing), η ανάλυση των λύσεων των μαθητών (intelligent analysis of student solutions), η βοήθεια με αλληλεπίδραση κατά την επίλυση προβλημάτων (interactive problem solving support), o τρόπος παρουσίασης του περιεχομένου (adaptive content presentation) και ο τρόπος πλοήγησης (adaptive navigation support) Ο στόχος της προσαρμοστικότητας στην σειρά παρουσίασης του υλικού είναι να βρεθεί για τον κάθε μαθητή η πλέον κατάλληλη σειρά εκπαιδευτικών μονάδων και εκπαιδευτικών στόχων (παραδείγματα, ερωτήσεις, προβλήματα) με την παρακολούθηση των οποίων θα βελτιστοποιηθεί η μαθησιακή διαδικασία. Η ευφυής ανάλυση των λύσεων των μαθητών έχει να κάνει με τις τελικές απαντήσεις των 12

16 μαθητών σε εκπαιδευτικά προβλήματα και επιχειρεί να εντοπίσει ποιο ακριβώς είναι το λάθος ή η έλλειψη στη λύση, καθώς και ποια ελλιπής γνώση οδήγησε σε σφάλμα. Ο στόχος της βοήθειας με αλληλεπίδραση είναι το σύστημα παρακολουθώντας τις ενέργειες του μαθητή, να μπορέσει να του παρέχει βοήθεια σε κάθε βήμα κατά την επίλυση ενός προβλήματος. Ο στόχος της προσαρμοστικότητας στην παρουσίαση είναι να προσαρμόζεται το περιεχόμενο της σελίδας που εμφανίζεται στον χρήστη ανάλογα με τους στόχους, τη γνώση και άλλες πληροφορίες που είναι αποθηκευμένες στο προφίλ του. Ο στόχος της προσαρμοστικότητας στην πλοήγηση είναι να βρει ο μαθητής τα πιο κατάλληλα μονοπάτια στο εκπαιδευτικό υλικό, μέσα από την προσαρμογή του τρόπου παρουσίασης των συνδέσμων στις σελίδες που θα επισκεφτεί. Η υποστήριξη συνεργασίας ανάμεσα στους μαθητές είναι μια νέα τεχνική με στόχο να χρησιμοποιηθεί η γνώση του συστήματος για του χρήστες, που βρίσκεται αποθηκευμένη στα μοντέλα μαθητών, ώστε να δημιουργηθούν ομάδες συνεργασίας. (Βοζαλής et al,nd) 3.2 Θεωρίες σχετικές με την προσαρμοστικότητα Decision Theory Η Θεωρία Απόφασης (Decision Theory) (Hausler, 2006) αποτελεί μία αρκετά προσιτή θεωρία των προσαρμοστικών τεστ. Τα βασικά της πλεονεκτήματα είναι η απλότητα, η ευρεία αποδοχή σε πολλούς τομείς, η έλλειψη των υποθέσεων και η ευρωστία. Με το μοντέλο της Decision Theory, ο στόχος είναι να σχηματιστεί η καλύτερη υπόθεση ως προς την πρωταρχική κατάσταση του κάθε εξεταζόμενου μαθητή βασισμένη στις απαντήσεις του εξεταζόμενου στο θέμα, στην εκ των προτέρων γνώση τους, και στην εκ των προτέρων αναλογική ταξινόμηση τους σε αντιστοιχία με τον πληθυσμό. Παρακάτω φαίνεται το μοντέλο και η μαθηματική προσέγγιση που χρησιμοποιείται για την εξαγωγή των κατάλληλων συμπερασμάτων για το επίπεδο γνώσης του εξεταζόμενου. Το μοντέλο έχει τέσσερις συνιστώσες: πιθανές καταστάσεις γνώση για ένα εξεταζόμενο, βαθμονομημένα στοιχεία, πρότυπο των απαντήσεων του ατόμου, και οι αποφάσεις που μπορούν να επιλεχθούν για το εξεταζόμενο. Υπάρχουν Κ δυνατές καταστάσεις δεξιοτεχνίας, που παίρνουν τιμές m k. Στην περίπτωση που το τεστ είναι δύο καταστάσεων, επιτυχίας/αποτυχίας, υπάρχουν δύο πιθανές καταστάσεις και Κ = 2.Συνήθως είναι γνωστή εκ των προτέρων, η κατά προσέγγιση αναλογία του πληθυσμό όλων των εξεταζόμενων, σε κάθε επίπεδο γνώσης. Το δεύτερο στοιχείο είναι ένα σύνολο από αντικείμενα για τα οποία είναι γνωστή εκ των προτέρων η πιθανότητα κάθε δυνατή παρατήρησης, συνήθως σωστό ή λάθος, για κάθε επίπεδο. Οι απαντήσεις σε ένα σύνολο Ν αντικειμένων αποτελούν την τρίτη συνιστώσα. Κάθε αντικείμενο θεωρείται ότι είναι διακριτή τυχαία μεταβλητή στοχαστικά συσχετιζόμενη με τις καταστάσεις και κα παίρνει τιμές z N. Κάθε εξεταζόμενος έχει ένα διάνυσμα απάντησης, z, που αποτελείται από τα z 1, z 2,... z N. 13

17 Το τελευταίο στοιχείο είναι η λήψη απόφασης. Ένας μπορεί να πάρει οποιαδήποτε από τις D αποφάσεις που είναι δυνατόν να παρθούν με βάση τα δεδομένα. Συνήθως, όταν γίνεται η υπόθεση για την κατάσταση θεωρείται ότι θα υπάρξουν D=K αποφάσεις. Με τη χρήση προσαρμοστικών τεστ, μετά από κάθε απόφαση που θα παίρνεται για το τεστ αυτή θα προστίθεται και θα έχουμε D=K+1 αποφάσεις. Κάθε απόφαση θα δηλώνεται d k. Οι δοκιμές ξεκινούν με την αναλογία των εξεταζόμενων του πληθυσμού, σε κάθε μία από τις κατηγορίες Κ και το ποσοστό των εξεταζόμενων και την αναλογία εξεταζόμενων σε κάθε κάθε κατηγορία που να ανταποκρίνονται σωστά. Η αναλογία του πληθυσμού μπορεί να προσδιοριστεί με διάφορους τρόπους, συμπεριλαμβανομένων τεστ που γίνονται πριν το βασικό τεστ, μετασχηματισμοί των υπαρχόντων αποτελεσμάτων, οι υπάρχουσες κατατάξεις, και η κρίση του καθηγητή. Σε περίπτωση έλλειψης πληροφοριών τότε θεωρείται ότι όλοι έχουν το ίδιο επίπεδο. Οι πιθανότητες να ανταποκρίνονται σωστά μπορούν να προκύψουν από ένα μικρό πιλοτικό τεστ περιλαμβάνει εξεταζόμενων, που έχουν ήδη ταξινομηθεί. Μόλις αυτά τα σύνολα της προηγούμενης γνώσης είναι διαθέσιμα, δίνονται οι ερωτήσεις, και ταυτόχρονα και οι απαντήσεις (z 1, z 2,... z N ) που δόθηκαν, και στη συνέχεια παίρνεται μια απόφαση κατάταξης, D k, βασισμένη στις απαντήσεις σ αυτά τα αντικείμενα. Για το μοντέλο χρησιμοποιούνται τα εξής σύμβολα: Προηγούμενα: p(m k ) η πιθανότητα ενός τυχαία επιλεγμένου μαθητή που έχει επίπεδο κατάταξης m k p(z n m k ) η πιθανότητα της δοθείσας απάντησης z, που θα δώσει το k-οστό επίπεδο Παρατηρήσεις z είναι η απάντηση ενός ατόμου διάνυσμα απάντησης, z, που αποτελείται από τα z 1, z 2,... z N. Η εκτίμηση της ικανότητας του ατόμου βρίσκεται και σύμφωνα με τις προηγούμενες κατατάξεις, αλλά και τις νέες παρατηρήσεις. Σύμφωνα με τη θεωρία Bayes, Η μεταγενέστερη πιθανότητα P (m k z) ότι ο εξεταζόμενο βρίσκεται στο επίπεδο m k, δοσμένο από τις απαντήσεις του, είναι ίσο με το γινόμενο μιας κανονικοποιημένης σταθεράς (c), της πιθανότητα του διανύσματος απάντησης ανταπόκριση m k, και την εκ των προτέρων πιθανότητα κατάταξης. Για κάθε εξεταζόμενο, υπάρχουν Κ πιθανότητες, ένα για κάθε κατάταξη. Η κανονικοποιημένη σταθερά στην παρακάτω συνάρτηση, εγγυάται ότι το άθροισμα των μεταγενέστερων πιθανοτήτων ισούται με τη μονάδα. 14

18 Υποθέτοντας τοπική ανεξαρτησία Δηλαδή, η πιθανότητα του διανύσματος απάντησης είναι ίσο με το γινόμενο των υποθετικών πιθανοτήτων των απαντήσεων ανά αντικείμενο. Σε αυτό το μοντέλο, κάθε απάντηση είναι είτε σωστή (1) ή λάθος (0) και P (z 1 = 0 m k ) = 1 - P (z 1 = 1 m k ) Item Response theory Εισαγωγή Μια θεωρία (Lord, 1980) κατάλληλη για προσρμοστικά τεστ συζητήθηκε από Birnbaum (1958) ως θεωρία του λανθάνων γνωρίσματος, και εμφανίζεται στην έκθεση των Lord και Novick (1968) για τα τεστ. Ο Lord (1980) δημιούργησε τη θεωρία απόκρισης αντικειμένου (IRT). Η χρήση του λανθάνοντος χαρακτηριστικού έχει ένα επιπλέον νόημα. Το λανθάνων αυτό στοιχείο θέλει να δείξει ότι η ικανότητα ή η δεξιότητα που αξιολογούνται συνάγονται από τις απαντήσεις στα αντικείμενα, και ότι κατά αυτή την έννοια είναι λανθάνον στοιχείο μέσα στα τεστ. Το γνώρισμα αναφέρεται μερικώς σε ένα χαρακτηριστικό του εξεταζόμενου το οποίο μένει ικανοποιητικά σταθερό, έτσι ώστε να είναι μετρήσιμο. Ωστόσο, ορισμένοι μη ειδικοί μπορεί να ερμηνεύσουν το λανθάνων χαρακτηριστικό χρησιμοποιώντας μη τεχνικό όρο, σαν ένα κληρονομικό στοιχείο του ατόμου που παραμένει σταθερό και δεν μεταβάλλεται, ανεξαρτήτως της εκπαίδευσης που θα παρασχεθεί στο εξεταζόμενο άτομο. Αυτή η ερμηνεία είναι εσφαλμένη, και για να μην γίνει τέτοιες παρερμηνείες χρησιμοποιείται ο όρος item response theory. Όπως είναι γνωστό, η IRT θεωρία μοντελοποιεί την αλληλεπίδραση μεταξύ των ατόμων και των ατομικών αντικειμένων ενός τεστ. Ο Lord (1980) εξέφρασε ότι ο στόχος της IRT είναι ο εξής: «Πρέπει να περιγράφουν τα αντικείμενα από τις παραμέτρους τους και οι εξεταζόμενοι από τις παραμέτρους τους κατά τέτοιο τρόπο ώστε να μπορεί να προβλεφθεί η πιθανότητα της απάντησης του κάθε εξεταζόμενο σε οποιοδήποτε αντικείμενο, ακόμα και αν παρόμοιας συμπεριφοράς εξεταζόμενοι έκανα κάποιο παραπλήσιο τεστ προηγουμένως.» Η item response theory επομένως είναι μία μοντέρνα θεωρία για τεστ που περιγράφει τη σχέση ανάμεσα στα χαρακτηριστικά των αντικειμένων και στην ικανότητα των ανθρώπων. Τα IRT μοντέλα είναι στοχαστικά μοντέλα για τις απαντήσεις του εξεταζόμενου σε επιμέρους αντικείμενα του τεστ ενός μεμονωμένου εξεταζόμενου. Οι πιθανότητες των απαντήσεων του εξεταζόμενου καθορίζονται ως συνάρτηση των επιμέρους παραμέτρων του αντικειμένου και του άτομο, που αποτελούν τα χαρακτηριστικά του αντικειμένου, και την ικανότητα του εξεταζόμενου. Όταν η πιθανότητα μιας απάντησης αναπαρίσταται ως συνάρτηση της ανθρώπινης παραμέτρου υποθέτοντας ότι οι παράμετροι του αντικειμένου είναι γνωστοί, τότε η συνάρτηση είναι γνωστή ως συνάρτηση απάντησης του αντικειμένου (item response function IRF) και μερικές φορές ονομάζεται χαρακτηριστική καμπύλη του αντικειμένου (item characteristic curve - ICC). 15

19 Στην αρχή, η IRT θεωρία ασχολούνταν με δυαδικές απαντήσεις, υποθέτοντας ότι όλα τα αντικείμενα του τεστ μετράνε μία κοινή ικανότητα. Με τον καιρό δημιουργήθηκαν προεκτάσεις αυτής της θεωρίας που σχετίζονται με άλλες μορφές αντικειμένων ή διαδικασίες απόκρισης στο τεστ. Μία από αυτές τις επεκτάσεις είναι σε μοντέλα για τα αντικείμενα που μετρούν πολλαπλές ικανότητες ή απαιτούν διαδικασίες ανταπόκρισης με διαφορετικές γνωστικές συνιστώσες. Σε γενικές γραμμές, τα μοντέλα που ασχολούνται με τη διάσταση μίας ικανότητας αναφέρονται ως μονοδιάστατα IRT (unidimensional IRT- UIRT) μοντέλα ενώ εκείνα που αναφέροντα σε πολλαπλές ικανότητες ονομάζονται πολυδιάστατα IRT (multidimensional IRT- MIRT) μοντέλα, τα οποία είναι πιο περίπλοκα και ως εκ τούτου λιγότερο περιοριστικά από τα μονοδιάστατα μοντέλα. Επιπλέον, τα MIRT μπορούν να θεωρηθούν ως ειδική περίπτωση της παραγοντικής ανάλυσης (factor analysis). Στη βιβλιογραφία αναφέρεται ότι τα MIRT μοντέλα απαιτούν κάθε αντικείμενο να μετρά περισσότερες από μία υποκείμενες ικανότητες ή η απάντηση σε κάθε αντικείμενο να συνεπάγεται πολλαπλές γνωστικές διεργασίες. Στην περίπτωση που το συνολικό τεστ αποτελείται από διάφορα υποσύνολα-υποτεστ, και το καθένα να μετρά ένα ελαφρώς διαφορετικό γνώρισμα, τότε έχουμε τη δημιουργία ενός καινούργιου μοντέλου. Δεδομένου ότι κάθε υποσύνολο-υποτεστ είναι μονοδιάστατο (δηλαδή, τα στοιχεία σε κάθε υποσύνολο-υποτεστ είναι σχεδιασμένα για να μετρούν ένα γνώρισμα), αυτός ο εξειδικευμένος πολυδιάστατος πολυδιάστατη τύπος μπορεί να αναφερθεί ως the multi-unidimensional IRT μοντέλο. Σύμφωνα με τη IRT, ή ειδικά τη UIRT, η απάντηση ενός εξεταζόμενο για ένα συγκεκριμένο θέμα ή ζήτημα του τεστ προσδιορίζεται από ένα απαρατήρητο ή πνευματικά λανθάνων γνώρισμα του εξεταζόμενου. Κάθε ένα από αυτές τα βασικά γνωρίσματα, ή αυτό που συνήθως αποκαλείται ικανότητες, υποτίθεται ότι ποικίλει συνεχώς κατά μήκος μιας και μόνο διάσταση που συνήθως συμβολίζεται θ έτσι ώστε η ανταπόκριση του εξεταζόμενου στα αντικείμενα του τεστ να μπορεί να εμφανίζεται στη συνεχή σειρά θ από την χαμηλότερη έως την υψηλότερη τιμή. Βασικά χαρακτηριστικά IRT Η Item response theory είναι μία θεωρία που χρησιμοποιείται συχνά τα προσαρμοζόμενα τεστ σε υπολογιστή. Στη θεωρία IRT, μια τράπεζα των αντικειμένων πρέπει να βαθμονομείται σύμφωνα με ορισμένα μοντέλα. Στηριζόμενη στον αριθμό των παραγόντων και τα γνωρίσματα που υπολογίζονται σε ένα τεστ, η βαθμονόμηση της τράπεζας αντικειμένων μπορεί να είναι αναλόγως μονοδιάστατη ή πολυδιάστατη, λαμβάνοντας υπόψη τις πιθανές κατηγορίες απαντήσεων. Ανάλογα με τη συνάρτηση που χρησιμοποιείται για τη διαμόρφωση της σχέσης ανάμεσα στους εξεταζόμενους και στις σωστές απαντήσεις, η βαθμονόμηση της τράπεζας των αντικειμένων του τεστ μπορεί να είναι η logistic ή κανονική. Η IRT θεωρία βασίζεται σε δύο βασικές αρχές: (1) η απόδοση των εξεταζόμενων στο τεστ θα μετρηθεί με βάση ένα σύνολο παραγόντων που ονομάζονται λανθάνοντα γνωρίσματα, και (2) η σχέση μεταξύ των επιδόσεων των εξεταζόμενων και το σύνολο των επιδόσεων των αντικειμένων μπορούν να αναπαρασταθούν από μία μονοτονικά αυξανόμενη συνάρτηση ονομάζεται χαρακτηριστική καμπύλη του αντικειμένου (item characteristic curve- ICC) ή χαρακτηριστική συνάρτηση αντικειμένου. Η ΙCC αναπαριστά τις υπό όρους πιθανότητες των σωστών απαντήσεων σε ένα τεστ ερωτήσεων από έναν εξεταζόμενο με συγκεκριμένο λανθάνων χαρακτηριστικό (h), όπου το h θεωρείται ότι είναι πραγματικός 16

20 αριθμός. Στηριζόμενα στις διάφορες μαθηματικές εκφράσεις της ΙCC που χρησιμοποιούνται στα πιο χρησιμοποιημένα μοντέλα, υπάρχουν διάφορα μοντέλα IRT. Υπάρχουν τρεις κοινές κατατάξεις των παραμετρικών μοντέλων στη βιβλιογραφία ÚIRT, δηλαδή, η Rasch (μίας παραμέτρου ή 1P) μοντέλο, οι δύο παραμέτρων (2P) μοντέλο και τα τριών -παραμέτρων (3P) μοντέλο. (Van der Linden et al,2000) Ανάμεσα στα υπάρχοντα μοντέλα IRT, το λογιστικό μοντέλο των τριών παραμέτρων (3PL) είναι ένα από τα συνηθέστερα χρησιμοποιούμενα μοντέλα, το οποίο είναι μια πιο γενικευμένη μορφή του λογιστικού μοντέλου των δύο παραμέτρων (2PL) και του λογιστικού μοντέλου μίας παραμέτρου (1PL). Τα τρία μοντέλα είναι όλα μονοδιάστατα, μιας και λαμβάνεται υπόψη μόνο ένα χαρακτηριστικό για να μετρηθεί η ικανότητα και η τράπεζα αντικειμένων (Hambleton, 1989). Rasch model Το Rasch model (Rasch, 1960), συνήθως αναφέρεται στο μίας παραμέτρου logistic μοντέλο(pl), υποθέτοντας ότι το logit του αντικειμένου της συνάρτησης της απάντησης του αντικειμένου είναι μία γραμμική συνάρτηση του θ και ότι η κλίση αυτή της γραμμικής συνάρτησης είναι ίδια για όλα τα αντικείμενα. Οι τομές των j = j είναι κατασκευασμένες έτσι ώστε η παράμετρος β j να μπορεί να ερμηνευθεί ως η δυσκολία του αντικειμένου. Αυτό σημαίνει ότι, αντικείμενα με μεγάλες τιμές του β j έχουν χαμηλότερο ποσοστό εξεταζόμενων που τα απαντούν σωστά. Η παράμετρος διάκρισης α μπορεί να καθοριστεί με κάποια αυθαίρετη τιμή χωρίς να επηρεάζει την πιθανότητα, εφόσον η κλίμακα της ικανότητας του ατόμου επιτρέπεται να ποικίλει. Κοινές τιμές για τη διάκριση είναι α = 1 και α = 1.7. Η τελευταία τιμή είναι που συνήθως που επιλέγεται έτσι ώστε το IRF είναι παρόμοιο με το normal ogive model. Στα Rasch μοντέλα θεωρείται ότι τα σημεία διαφέρουν μόνο ως προς το επίπεδο δυσκολίας. Με άλλα λόγια, η IRF συναρτήσεις για κάθε αντικείμενο μπορεί να διαφέρουν μόνο στην τομή. Αν τα αναπαραστήσεις γραφικά, η IRFs δεν τέμνονται. Το στοιχείο αυτό αναφέρεται ως σταθερό σημείο αναφοράς (Sijtsma & Junker, 1996), το οποίο σχετίζεται με ένα άλλο στοιχείο του μοντέλου Rasch που ονομάζεται ειδική αντικειμενικότητα (specific objectivity ). Το σταθερό αυτό στοιχείο δείχνει ότι οι συγκρίσεις μεταξύ των δύο εξεταζόμενων (στοιχεία) είναι ανεξάρτητες από τα αντικείμενα (εξεταζόμενων) που χρησιμοποιούνται για τη μέτρησή τους. Πιο συγκεκριμένα, αν οι πιθανότητες P(y ij ) και P(y i'j ) είναι γνωστές για δύο εξεταζόμενους, i και i', τότε η διαφορά μεταξύ των ικανοτήτων είναι: 17

21 η οποία είναι ανεξάρτητη του χαρακτηριστικό του στοιχείο j που επιλέχθηκε για τη σύγκριση. Ομοίως, εάν είναι οι πιθανότητες P(yij) και P(yij') γνωστή για τα δύο σημεία j και j', τότε το διαφορά μεταξύ των δυσκολιών των δύο στοιχείων είναι: η οποία είναι ανεξάρτητη από τον εξεταζόμενο j που επιλέχθηκε για τη σύγκριση. Το μοντέλο Rasch φαίνεται να είναι το μόνο IRT μοντέλο που έχει αυτή την ιδιότητα και ως εκ τούτου θεωρείται ως συγκεκριμένα αντικειμενικό. Two parameter logistic model Σε πολλές περιπτώσεις η υπόθεση ότι τα αντικείμενα διαφέρουν μόνο ως προς το βαθμό δυσκολίας είναι πολύ περιοριστική. Ο Birnbaum (1968) εισήγαγε ένα μοντέλο που λέγεται logistic μοντέλο δύο παραμέτρων (2PL) UIRT, ή U2PL μοντέλο που γενικεύει το μοντέλο Rasch επιτρέποντας την κλίση να ποικίλει έτσι ώστε: Η παράμετρος της κλίσης α j, επίσης δείχνει την διακριτότητα ενός αντικειμένου και δείχνει πόση πληροφορία μπορεί να παρέχει ένα αντικείμενο για τη λανθάνουσα ικανότητα θ. Συγκρινόμενο με το Rasch μοντέλο, το U2PL μοντέλο δεν είναι συγκεκριμένα αντικειμενικό. Το μοντέλο U2PL model δεν έχει κάποια συγκεκριμένα στατιστικά για τις παραμέτρους της ικανότητας, εκτός εάν η διακριτότητα των παραμέτρων είναι σταθερή και γνωστή. (Arroyo et al,2001) Three parameter logistic model Μια πιο γενικευμένη μορφή του logistic μοντέλο δύο παραμέτρων είναι το μοντέλο των τριών παραμέτρων (Three parameter logistic model 3-PL) και χρησιμοποιείται και αυτό για τη βαθμολόγηση τις ικανότητας ενός εξεταζόμενου θ με βάση τις απαντήσεις του. Όπως υποδηλώνει το όνομά του, το 3-PL μοντέλο χρησιμοποιεί τρεις παραμέτρους. Πρώτα, η παράμετρος b, η οποία αντιπροσωπεύει τη δυσκολία του αντικειμένου. Δεύτερον, η παράμετρος a, η οποία αντιπροσωπεύει τη διάκριση του αντικειμένου, ή με άλλα λόγια, αναπαριστά το βαθμό στον οποίο μια συγκεκριμένη απάντηση ποικίλει ανάλογα με το επίπεδο ικανότητας (Lord, 1980). Τέλος, η παράμετρος γ, η οποία είναι γνωστή ως ψευδο-τυχαία ή υποθετική παράμετρος, αναπαριστά την τύχη ενός εξεταζόμενου απαντήσει σε μια ερώτηση σωστά μαντεύοντας την απάντηση. Το γεγονός ότι το 3- PL μοντέλο δείχνει την πιθανότητα του εξεταζόμενου να απαντήσει σωστά σε ένα αντικείμενο κατά 18

22 τύχη είναι ο κύριος λόγος για τον οποίο το μοντέλο αυτό το προτιμάτε από το μοντέλο μίας παράμετρο και το μοντέλο δύο παραμέτρων. Η συνάρτηση που μας δίνει αυτή την πιθανότητα είναι η παρακάτω: Το 3-PL μοντέλο χρησιμοποιείται την παραπάνω μαθηματική συνάρτηση για την αξιολόγηση της πιθανότητας P ενός εξεταζόμενου με ένα άγνωστη ικανότητα θ να απαντήσει σωστά σε ένα αντικείμενο. Οι τιμές των παραμέτρων b,a και c μπορούν να υπολογιστούν χρησιμοποιώντας μια διαδικασία βαθμονόμησης που αναφέρεται παρακάτω. Πρέπει να υπάρχουν πάντοτε επαρκή αντικείμενα στην item pool, προκειμένου να δοκιμαστούν οι εξεταζόμενοι σε όλες τις πιθανές τιμές της θ. Συνήθως οι τιμές του θ περιορίζονται σε κάποιο εύρος για να είναι πιο εύκολος ο υπολογισμός των πράξεων. Ο πιο συνήθης περιορισμός είναι το θ να παίρνει τιμές από -2 μέχρι 2. Ο περιορισμός αυτός επιτρέπει στα θεμελιώδη στοιχεία IRT να περιγράφουν και περιορίζεται και ο αριθμός των αντικειμένων που πρέπει να χρησιμοποιούνται για να υποστηριχτεί η θεωρία. Η παράμετρος β (δυσκολία του αντικειμένου), πρέπει να κυμαίνεται από την ελάχιστη μέχρι τη μέγιστη τιμή της ικανότητα θ, δηλαδή -2 β 2. Η παράμετρος a(διάκριση αντικειμένου) είναι συνήθως θετικός αριθμός, έτσι ώστε 0 <a <2. Όταν a> 1, αυτό δείχνει ότι το συγκεκριμένο στοιχείο έχει υψηλότερη διάκριση. Τέλος, συνήθεις τιμές για την παράμετρο c(ψευδοτυχαία) είναι θετικοί αριθμοί, έτσι ώστε 0 c 1. Για παράδειγμα, ένα καλά σχεδιασμένο πολλαπλής επιλογής αντικείμενο με πέντε επιλογές θα έχει συνήθως παράμετρο c = 0,2, δεδομένου ότι o εξεταζόμενος έχει μία στις πέντε πιθανότητα να μαντέψει τη σωστή απάντηση. Με την εφαρμογή του βασικού τύπου του μοντέλου που φαίνεται παραπάνω, είναι δυνατόν να σχεδιαστεί η χαρακτηριστική καμπύλη του αντικειμένου (Item Characteristic Curve- ICC) για ένα συγκεκριμένο αντικείμενο. Όταν χρησιμοποιείτε το 3PL μοντέλο, κάθε αντικείμενο στην τράπεζα αντικειμένων (ομάδα ερωτήσεων) θα έχει θέση μία χαρακτηριστική καμπύλη (ICC), που συνδέονται με αυτό. Μία χαρακτηριστικό ICC θα είναι παρόμοια με την καμπύλη φαίνεται στο παρακάτω σχήμα. Εικόνα 3.1 Χαρακτηριστική ICC καμπύλη 19

23 Αυτή η καμπύλη υποδεικνύει την πιθανότητα P(θ) του εξεταζόμενου να απαντήσει αυτό το θέμα σωστά. Όλες οι ICC έχουν αυτό το χαρακτηριστικό σχήμα S-καμπύλης, αλλά η κάθε μία θα διαφέρει στις λεπτομέρειες σύμφωνα με τις παραμέτρους που σχετίζονται με το θέμα. Δεδομένου ότι η πιθανότητα ενός αντικειμένου να απαντηθεί σωστά είναι P(θ), η πιθανότητα ότι το αντικείμενο δεν απαντήθηκε σωστά (δηλαδή λάθος) Q(θ) είναι ίση με 1-P(θ). Η καμπύλη που φαίνεται παρακάτω απεικονίζει την χαρακτηριστική καμπύλη της Q(θ). Εικόνα 3.2 Χαρακτηριστική καμπύλη Q(θ). Η πιθανότητα ένας εξεταζόμενος να απαντά σε μια σειρά από αντικείμενα μπορεί να βρεθεί πολλαπλασιάζοντας την ICC των σχετικών αντικειμένων, που είναι η καμπύλη πιθανότητα απόκρισης. Εάν ο εξεταζόμενος απαντήσει σε δύο στοιχεία σωστά, η πιθανότητα να συμβεί αυτό βρίσκεται για όλες τις τιμές του θ, πολλαπλασιάζοντας τις ICC για αυτά τα δύο αντικείμενο. Σε αυτήν την περίπτωση, η καμπύλη πιθανότητα απόκρισης θα έχει ακόμη S-σχήμα, το οποίο δεν θα παρέχει σημαντικές πληροφορίες σχετικά με την ικανότητα του εξεταζόμενο του. Εάν τουλάχιστον ένα αντικείμενο απαντηθεί σωστά και ένα αντικείμενο απαντηθεί λανθασμένα, η καμπύλη πιθανότητα παίρνει σχήμα κουδούνι όπως φαίνεται στην παρακάτω εικόνα. Η κορυφή της καμπύλης πιθανότητας αναπαριστά την πιο πιθανή τιμή της θ για μία συγκεκριμένη αλληλουχία των γεγονότων που συνέβησαν. Δεδομένου ότι είναι το υψηλότερο σημείο πιθανότητας, η τιμή της θ θεωρείται ως η πλέον πιθανή τιμή της ικανότητας του εξεταζόμενο του. (Van der Linden et al,2000) 20

24 Εικόνα 3.3 Χαρακτηριστική καμπύλη πιθανότητας Κριτήρια επιλογής αντικειμένου Bayesian Criterion Η αρχή Bayes υποθέτει ότι η εκ των προτέρων πιθανότητα του επιπέδου ενός μαθητή του επιδόσεις είναι διαθέσιμο, πριν από τη δοκιμή. Κάθε φορά που θα απαντηθεί μία ερώτηση, υπολογίζεται το νέο επίπεδο του μαθητή χρησιμοποιώντας τη θεωρία Item Response Theory και τις τιμές της εκ των προτέρων πιθανότητας. Οι δοκιμές συνεχίζονται για όσο δεν υπάρχει αρκετή πληροφορία για να ληφθεί η απόφαση ταξινόμησης. Μετά την επιλογή ενός στοιχείο που μεγιστοποιεί την πληροφορία, οι εκτιμώμενες πιθανότητες κατάταξης ενημερώνονται προκειμένου να αξιολογηθεί κατά πόσον η άσκηση θα πρέπει να τερματιστεί ή να συνεχιστεί.. Πιο επιστημονικά, η προσέγγιση Bayesian (Sheng,,2005)για τα προσαρμοστικά τεστ ορίζεται ως κάθε προσέγγιση που χρησιμοποιεί μία εκ των προτέρων ή εκ των υστέρων κατανομή για να καθοριστούν κανόνες για: (α) την επιλογή του πρώτου αντικειμένου (β) την εκτίμηση του θ (γ) την επιλογή του επόμενου αντικειμένου (δ)τη διακοπή του τεστ. Σύμφωνα με αυτό τον κανόνα, η χρήση μίας προηγούμενης πληροφορίας για την επιλογή του πρώτου αντικειμένου στο CAT αποτελεί ένα παράδειγμα μιας προσαρμοστικής διαδικασίας τεστ Bayesian. Η διαδικασία του Owen είναι προσαρμοστική στο ότι το κριτήριο επιλογής στοιχείου βασίζεται στην μέση τιμή της προγενέστερης και της μεταγενέστερης διακύμανση για να σταματήσει το τεστ. Ωστόσο, η διαδικασία δεν βασίζει την επιλογή του αντικειμένου εξ ολοκλήρου στην προγενέστερη πληροφορία την οποία, στο πλαίσιο Bayesian, είναι η καλύτερη αντανάκλαση της αβεβαιότητας στην τρέχουσα εκτίμηση ικανότητα. Αυτό το τμήμα παρουσιάζει διάφορα εναλλακτικά κριτήρια για την επιλογή αντικειμένων βασισμένα πλήρως στα προγενέστερα δεδομένα. (Van der Linden, 2008)Τα δύο πρώτα κριτήρια γενικεύουν την ιδέα της μέγιστης πληροφορίας σε ένα Bayesian μοντέλο. Το επόμενο κριτήριο είναι η αυτό που ελαχιστοποιεί τη διακύμανση, και επίσης χρησιμοποιείται και στη θεωρία του Owen(1975). Το τέταρτο κριτήριο 21

25 συνδυάζει τις ιδέες της προγενέστερης πληροφορίας-σταθμισμένη και της προγενέστερη πρόβλεψη στηριζόμενα στο πρώτο και στο δεύτερο κριτήριο, αντίστοιχα. 1.Maximum Posterior-Weighted Information Το πρώτο κριτήριο αναδιατυπώνει (Sheng,,2005)το κριτήριο μέγιστης πληροφορίας σε ένα από τα μοντέλα του Bayesian επιλέγοντας πρώτα τον καταλληλότερο τρόπο μέτρησης της πληροφορίας και στη συνέχεια, λαμβάνοντας υπόψη την προγενέστερη κατανομή. Το κύριο κίνητρο για αυτό το κριτήριο είναι η παρατήρηση ότι όσο η μεταγενέστερη κατανομή του εκτιμητή δεν έχει ακόμη συγκλίνει σε ένα μόνο σημείο, μπορεί να είναι σχεδόν ευνοϊκό να επιλεχθεί ένα στοιχείο με τη μέγιστη δυνατή πληροφορία σε ένα εκτιμώμενο σημείο, αγνοώντας τις τιμές της παραμέτρου ικανότητα, με παραπλήσια ευνοϊκή πιθανότητα. Αν το K-οστό αντικείμενο επιλεγεί, οι απαντήσεις για το K-1 αντικείμενο είναι ήδη γνωστές. Γι αυτό το λόγο, αυτά τα δεδομένα δεν μπορούν να αναπαρασταθούν πλέον με τυχαίες μεταβλητές, αλλά μόνο με πραγματικές, τυποποιημένες, τιμές. Σα συνέπεια, η πληροφορία Fisher, ορίζεται σαν μία αναμενόμενη τιμή ανάμεσα στα τυχαία δεδομένα και δεν θεωρείται πλέον έγκυρο μέτρο. Μία τυπική Bayesian επιλογή είναι να χρησιμοποιηθεί το κριτήριο της παρατηρούμενης πληροφορίας: Ωστόσο, για να γενικευτεί, θα πρέπει να διατηρηθεί μία σημειογραφική διάκριση μεταξύ των δύο μέτρων πληροφόρησης. Η πρόταση είναι να επιλεχθεί το επόμενο στοιχείο για να μεγιστοποιηθεί η αναμενόμενη τιμή της παρατηρούμενης πληροφορίας J (Π) με βάση τη μεταγενέστερη τιμή του θ. Ο δείκτης του K- ιοστού στοιχείου σύμφωνα το κριτήριο αυτό είναι: Όπου. Σε γενικές γραμμές, η Maximum Posterior-Weighted Information είναι μια βελτίωση του interval information criterion, αλλά για τα πρώτα στοιχεία η συνάρτηση πιθανότητα είναι ακόμα σχετικά επίπεδη και η επιλογή του αντικειμένου μπορεί να κατευθυνθεί και πάλι στις μεγάλες τιμές της a j ανεξάρτητα από την τιμή της b j. Ως μόνη διέξοδος φαίνεται να είναι η χρήση της μεταγενέστερης κατανομή της 22

26 παραμέτρου της ικανότητας για τη εξισορρόπηση των πληροφοριών, όπως γίνεται στο κριτήριο της παραπάνω εξίσωσης. (Arroyo et al,2001) 2. Maximum Expected Information Το ακόλουθο κριτήριο (Van der Linden, 2008) προβλέπει την πιθανοτική κατανομή των απαντήσεων του εξεταζόμενου στο κάθε στοιχείο j που ανήκε στο R k και επιλέγει το σημείο με τη μέγιστη αναμενόμενη πληροφορία κατά τη διάρκεια αυτής κατανομής πιθανοτήτων. Πιο συγκεκριμένα, για να διατηρήσει την Bayesian δομή, για κάθε j που ανήκε στο R k η κατανομή του Uj αυτή επιλέγεται να είναι η μεταγενέστερη προβλέψιμη κατανομή σύμφωνα με τις απαντήσεις στα προηγούμενα αντικείμενα. Η κατανομή έχει συνάρτηση πιθανότητας Ωστόσο, η παράμετρος ικανότητα εκτιμάται ακόμη ως εκτίμηση σημείου, u i,..., U ik-1, εξαγόμενο από τη μεταγενέστερη κατανομή. Η εκτίμηση μπορεί να υπολογιστεί, για παράδειγμα, χρησιμοποιώντας τηνμέθοδο maximum a posteriori (MAP) ή expected a posterior (EAP) εκτίμηση. Αν το αντικείμενο θα επιλεχθεί και θα δοθεί η απάντηση Uj = 0, η νέα εκτίμηση για το θ θα είναι u i,..., u ik-1, u j = 0 και η παρατηρούμενη πληροφορία θα είναι ίση με J u i,..., u ik-1, u j = 0 (θ). Αντιστοίχως, αν Uj = 1, η νέα παρατηρούμενη εκτίμηση θα γίνει u i,..., u ik-1, u j = 1 και η παρατηρούμενη πληροφορία θα είναι ίση με J u i,..., u ik-1, u j = 1 (θ). Το μέγιστο αναμενόμενο κριτήριο πληροφορίες επιλέγει ως K-ιοστό στοιχείο: 3. Minimum Expected Posterior Variance Εάν η μέτρηση της (Sheng,,2005) πληροφορίας στην πιο πάνω εξίσωση αντικαθίσταθει μεταγενέστερες διακυμάνσεις των θ για Uj = 0 και Uj = 1, το ακόλουθο κριτήριο γίνεται : από τις 23

27 4. Maximum Expected Posterior Weighted-Information Στο κριτήριο του Maximum Expected Information, (Sheng,,2005)οι παρατηρούμενες πληροφορίες προβλέπονται για σψστές και λάθος απαντήσεις και η προσδοκία εξάγεται από αυτές τις προβλέψεις. Ωστόσο, αντί να αξιολογείται η παρατηρούμενη πληροφορία στο προβλεπόμενο σημείο των εκτιμήσεων της παραμέτρου ικανότητας, μπορούν να χρησιμοποιηθούν οι προβλεπόμενες μεταγενέστερες τιμές. προσδοκία για την προβλεπόμενη πλήρη posteriors θα μπορούσαν να χρησιμοποιηθούν. το ακόλουθο κριτήριο είναι : Το κριτήριο μέγιστης πληροφορίας Πριν παρουσιαστεί το κριτήριο μέγιστης πληροφορίας θα πρέπει να γίνουν κάποιες παραδοχές. Το μοντέλο που χρησιμοποιείται είναι το μοντέλο των 2 παραμέτρων(2pl). Τα στοιχεία στην item pool είναι i = Ι. Για ευκολία, έστω ότι το προσαρμοστικό τεστ είναι σταθερού μήκους n, αν και η παρουσίαση μπορεί εύκολα να επεκταθεί σε ένα computer adaptive testing με κανόνα τερματισμού που βασίζεται σε ένα προδιαγεγραμμένο επίπεδο ακρίβειας της εκτίμησης της ικανότητας του εξεταζόμενου. Η κατάταξη των στοιχείων στο τεστ συμβολίζεται με δείκτη k = 1,..., n. Επομένως i k ότι είναι ο δείκτης του στοιχείου στην item pool που διαχειρίζεται ως το K-ιοστο στοιχείο στο τεστ. Έστω ότι k - 1 στοιχεία έχουν ήδη επιλεγεί. Οι δείκτες των ειδών αυτών αποτελούν το σύνολο S k-1 = (i k,, i k-1 ). Το υπόλοιπο σύνολο των στοιχείων στην item pool συμβολίζεται ως R k = {,,I}\ S k-1. Για απαντήσεις U i1 = u i,..... U ik-1 = U ik-1 που αποκτήθηκαν από τα πρώτα K - I αντικείμενα, η συνάρτηση πιθανότητα είναι: Ο εκτιμητής μέγιστης-πιθανότητας (ML) του θ βασισμένος στις απαντήσεις είναι μεγιστοποιών του (2) πάνω από 0, που είναι, 24

28 Η πληροφορία Fisher σχετικά με την άγνωστη τιμή θ των μεταβλητών των απαντήσεων συσχετιζόμενη με τα k - 1 στοιχεία ορίζεται ως εξής: Όπου και το τελευταίο βήμα (το προαναφερθέν) είναι γνωστό αποτέλεσμα για το μοντέλο του. Το κριτήριο μέγιστης-πληροφορίας στα προσαρμοστικά τεστ επιλέγει το είδος K-ιστό αντικείμενο έτσι ώστε μέγιστη πληροφορίες για την ικανότητα θ = u i,..., U ik-1, είναι, Επειδή το μέτρο της πληροφορίας είναι πρόσθετο, το κριτήριο είναι ισοδύναμο με Owen's Criterion Σαν εναλλακτική στο κριτήριο μέγιστης πληροφορίας. Ο Owen πρότεινε μία παραπλήσια με την εμπειρική διαδικασία του Bayes για τα προσαρμοστικά τεστ βασισμένο στο ακόλουθο κανονικής αθροιστικής συχνότητας μοντέλο τριών παραμέτρων.(normal ogive model) όπου Φ( )είναι η συνάρτηση κανονικής κατανομής και c i η χαμηλότερη ασύμπτωτη που μοντελοποιεί την πιθανότητα να έχει μαντευτεί το αντικείμενο i σωστά. Για το διάνυσμα των απαντήσεων στις πρώτες k - 1 ερωτήσεις, η συνάρτηση πιθανότητας δίνεται από ένα logistic παράγοντα αντικατεστημένο από την κανονική αθροιστική συχνότητα. Υποθέτοντας τον προηγούμενο g(θ), η ακόλουθη έκφραση για την επόμενη κατανομή θ, μετά από κ-1 αντικείμενα είναι η εξής : Το αντικείμενο k επιλέγεται έτσι ώστε να ικανοποιεί το εξής: 25

29 για μία μικρή τιμή του δ, όπου είναι η πρόβλεψη του θ πάνω παραπάνω θ, του γνωστού και αναμενόμενος εκ των υστέρων εκτιμητής του θ (Expected A Posteriori-EAP). Η διαδικασία σταματάει όταν η μεταβλητή θ είναι μικρότερη μιας προκαθορισμένης τιμής. (Sheng,,2005) Maximum likelihood estimatιοn Η Maximum likelihood estimation (MLE) είναι μία δημοφιλή στατιστική μέθοδος που χρησιμοποιείται για να προσαρμόσει ένα στατιστικό μοντέλο στα δεδομένα και να για να παρέχει εκτιμητές για τις παραμέτρους του μοντέλου. Η μέθοδος της maximum likelihood απευθύνεται σε πολλές γνωστές μεθόδους εκτίμησης στην στατιστική. Για ένα σταθερό σετ δεδομένων και ένα θεμελιώδες μοντελο πιθανότητας, η maximum likelihood επιλέγει τις τιμές για τις παραμέτρους του μοντέλου που κάνουν τα δεδομενα πιο πιθανά από ότι άλλες τιμές των παραμέτρων που θα μπορούσαν να δοθούν. Η. Η Maximum likelihood estimation δίνει ένα μοναδικό και εύκολο τρόπο να για να λύσεις στην περίπτωση μίας κανονικής κατανομής, όπως και σε πολλά άλλα, ωστόσο σε μερικά πολύπλοκα προβλήματα δεν είναι τόσο εύχρηστο. Αρχές Θεωρώντας μία οικογένεια από κατανομές πιθανοτήτων παραμετροποιημένες από μία άγνωστη παράμετρο θ, συσχετιζόμενη είτε με μία γνωστή συνάρτηση πιθανότητας της πυκνότητας(συνεχή κατανομή) ή αλλιώς γνωστή ως συνάρτηση πιθανότητας της μάζας(διακριτή κατανομή), που συμβολίζεται f(θ). Αρχικά σχεδιάζεται ένα δείγμα n τιμών από αυτή τη κατανομή, και στη συνέχεια, χρησιμοποιώντας f(θ) θα υπολογιστεί το (πολυμεταβλητή) η πιθανότητα πυκνότητας που συνδέεται με τα παρατηρούμενα δεδομένων, Ως συνάρτηση της θ με x1,..., xn σταθερό, αυτή είναι η συνάρτηση πιθανότητας: Η μέθοδος της μέγιστης πιθανότητας εκτιμά το θ βρίσκοντας την τιμή της θ που μεγιστοποιεί τη συνάρτηση. Αυτός είναι ο εκτιμητής μέγιστης πιθανότητα (MLE) του θ: Από μια απλή άποψη, το αποτέλεσμα της ανάλυσης της μέγιστης πιθανότητας είναι ο μέγιστος εκτιμητής. Αυτό μπορεί να συμπληρωθεί με μια προσέγγιση της πολυδιάστατης απόκλισης του MLE, όπου αυτή η προσέγγιση προέρχεται από τη συνάρτηση πιθανότητας. Ένα πιο πλήρες αποτέλεσμα από 26

30 την ανάλυση της μέγιστης πιθανότητας θα είναι η συνάρτηση πιθανότητας από μόνη της,, η οποία μπορεί να χρησιμοποιηθεί για την κατασκευή βελτιωμένων εκδόσεων των διαστημάτων εμπιστοσύνης σε σύγκριση με εκείνα που λαμβάνονται από την προσέγγιση της διακύμανσης. Συνήθως, κάποιοι υποθέτουν ότι τα δεδομένα που προέρχονται από μια συγκεκριμένη κατανομή είναι ανεξάρτητα, πανομοιότυπα κατανεμημένα(iid), με άγνωστες παραμέτρους. 3.3 CAT Μία γενική επισκόπηση των Computer-Adaptive Testing Τα προσαρμοστικά τεστ βασισμένα σε υπολογιστή (Computer Adaptive Testing - CATS) διαφέρουν κυρίως από τις παραδοσιακά τεστ βασισμένα σε υπολογιστή (Computer Based Testing- CBT) από τον τρόπο με τον οποίο επιλέγονται οι ερωτήσεις (Wainer, 1990). Σε ένα CAT οι ερωτήσεις που υποβάλλονται στους εξεταζόμενους επιλέγονται δυναμικά, και εξαρτώνται από τις ατομικές επιδόσεις του κάθε εξεταζόμενου κατά τη διάρκεια του τεστ. Εάν ο εξεταζόμενος απαντήσει σωστά στην ερώτηση, μια πιο δύσκολη ερώτηση παρουσιάζεται. Αντίθετα, εάν το εξεταζόμενο απαντήσεις στην ερώτηση λάθος, μια πιο εύκολη ερώτηση παρουσιάζεται. Στα προσαρμοστικά τεστ επιδιώκεται να παρουσιαστούν μόνο στοιχεία που είναι κατάλληλα για το εκτιμώμενο επίπεδο ικανότητας ή δεξιότητας του μαθητή. Οι ερωτήσεις που είναι πολύ εύκολες ή πολύ δύσκολες για τον μαθητή δίνουν πολύ μικρή πληροφορία για την ικανότητα του. Πιο συγκεκριμένα, η πρώτη ερώτηση κάθε μαθητή σε ένα προσαρμοστικό τεστ έχει περίπου μέτρια δυσκολία σε σχέση με τον υπόλοιπο πληθυσμό. Όσοι απαντήσουν σωστά θα έχουν μια πιο δύσκολη ερώτηση. Και εκείνοι που η απάντηση τους είναι λάθος θα έχουν μία πιο εύκολη ερώτηση. Η επόμενη ερώτηση που θα τεθεί θα είναι μία κάποια που θα μας δίνει πληροφορίες για το μαθητή της συγκεκριμένης ικανότητας, το οποίο γενικά σημαίνει ότι μετά από σωστές απαντήσεις θα τίθονται πιο δύσκολες ερωτήσεις, ενώ μετά από λάθος απαντήσεις θα ακολουθούν πιο εύκολες απαντήσεις. Η αλλαγή στη δυσκολία του αντικειμένου που γίνεται βήμα βήμα είναι συνήθως μεγάλη στην αρχή, αλλά γίνεται μικρότερη καθώς το σύστημα αποκτά περισσότερες πληροφορίες για την ικανότητα του μαθητή. Η διαδικασία συνεχίζεται μέχρι να υπάρχει αρκετή πληροφορία για την ικανότητα του μαθητή, και η πληροφορία αυτή να είναι σε ένα ικανοποιητικό επίπεδο ακριβής, ή μέχρι κάποια κριτήρια να τερματίσουν τη διαδικασία. Δεδομένου ότι τα ερωτήματα σε ένα CAT επιλέγονται με διαδραστικό τρόπο, ένα CAT σύστημα θα είναι σε θέση να μιμηθεί και τις δύο πτυχές, της παραδοσιακής «χαρτί και μολύβι-" εξέτασης και της προφορικής συνέντευξης (Freedle, 1997). Επιπλέον, έχει προταθεί ότι τα CAT συστήματα να μπορούν να συνεισφέρουν στην δημιουργία κινήτρων στους μαθητές κατά τη διάρκεια της αξιολόγησης. (Wainer, 1990). Κατά τη διάρκεια μιας δεδομένης συνόδου της αξιολόγησης, οι εξεταζόμενοι ενδέχεται να χάσουν το ενδιαφέρον τους εάν οι ερωτήσεις που παρουσιάζονται είναι πολύ εύκολες ή ενδέχεται να αισθανθούν απογοητευμένοι, αν οι ερωτήσεις που παρουσιάζονται είναι πολύ δύσκολες. Ως αποτέλεσμα, σε μια 27

31 ιδανική κατάσταση όπου διατηρούνται τα κίνητρα του εξεταζόμενου, οι ερωτήσεις που παρουσιάζονται θα πρέπει να έχουν το κατάλληλο επίπεδο δυσκολίας προσαρμοσμένες στον κάθε εξεταζόμενο. Οι αλγόριθμοι προσαρμοστικότητας που χρησιμοποιούνται σε CATS βασίζονται στη θεωρία Item Response Theory (IRT). Το κεντρικό στοιχείο της IRT είναι μια οικογένεια μαθηματικών συναρτήσεων που, σε γενικές γραμμές, υπολογίζει την πιθανότητα ένας συγκεκριμένος εξεταζόμενος να απαντήσει σωστά στο συγκεκριμένο ερώτημα. Όταν χρησιμοποιείτε η θεωρία IRT, τα ερωτήματα είναι συνήθως αναφέρεται ως στοιχεία του προσαρμοστικού τεστ. Επί του παρόντος, η IRT θεωρία προσφέρει περισσότερα από ότι ένα διαφορετικό μαθηματικό μοντέλο για την εκτίμηση της ικανότητας του εξεταζόμενου. Τα πιο γνωστά μοντέλα για τα αντικείμενα με διχοτομικά βαθμολογημένες απαντήσεις είναι το One- Parameter Logistic Model, το Two- Parameter Logistic Model και τοthree- Parameter Logistic Model. (Flaugher,nd) Ένα από τα κύρια επιχειρήματα για τις προσαρμοστική διαδικασίες τεστ (CAT, Computerized Adaptive Testing) - που ήταν γνωστό αρχικά ως προσαρμοσμένα τεστ - είναι το υψηλό επίπεδο οικονομίας που υπόσχονται για τα τεστ που δημιουργούνται με αυτόν τον τρόπο Υποθέτοντας ότι μία αρκετά μεγάλη βάση είναι διαθέσιμη, κάθε θέμα λαμβάνει τα συγκεκριμένα αντικείμενα κατάλληλα για την ικανότητά του κάθε ατόμου. Κάθε στοιχείο δημιουργεί επομένως το ανώτατο ποσό πληροφορίας σχετικά με το λανθάνων χαρακτηριστικό. Το αποτέλεσμα είναι ότι ένα προκαθορισμένο επίπεδο ακρίβειας μπορεί να επιτευχθεί με έναν ελάχιστο αριθμό αντικειμένων, μια διαδικασία που εκ πρώτης όψεως φαίνεται πολύ οικονομική. Επειδή, ωστόσο, το CAT μπορεί να χρησιμοποιηθεί μόνο στο πλαίσιο ενός πιθανολογικού μοντέλο τεστ - συνήθως το 1-PL μοντέλο του Rasch (Rasch, 1980) ή το 2-μοντέλο PL της Birnbaum (1968) - τα στοιχεία πρέπει να παρουσιάζονται με ξεκάθαρα μορφή. Η επιλογή του θέματος είναι αυτό που θα καθορίσει το χρόνο που θα επενδύσει ο εξεταζόμενος για να επεξεργαστεί αυτό το αντικείμενο. Κατά συνέπεια, ο χρόνος απάντησης ανά θέμα μπορεί να αυξηθεί σημαντικά και αυτό μπορεί να αντισταθμιστεί με την εξοικονόμηση στον αριθμό των αντικειμένων που πρέπει να δοθούν. Υπάρχουν προσεγγίσεις που επιχειρούν να αντιμετωπίσουν αυτό το πρόβλημα με τεστ προσαρμοσμένης ταχύτητας. Αυτή η μέθοδος περιλαμβάνει μια διερευνητική φάση κατά την οποία εκτιμάται η γραμμική ανταλλαγή ταχύτητας-ακρίβειας. Αυτή χρησιμοποιείται στο τεστ για να επιλεχθούν τα αντικείμενα εκείνα που με πολύ μεγάλη πιθανότητα να οδηγήσουν σε απαντήσεις εντός των χρονικών προθεσμιών που καθορίζονται για τα επιμέρους στοιχεία. Παρέχει συνεπώς, ένα μέσο για να εξουδετερωσει τις επιπτώσεων αυτών των προθεσμιών, οι οποίες αποτελούν μειονέκτημα για τα προσαρμοστικά τεστ. Επομένως τα προσαρμοστικά τεστ που θα ήταν βασισμένα σε δυναμικά μοντέλα και στην επιλογή των ερωτήσεων με βάση την ταχύτητα απόκρισης του μαθητή θα μπορούσε να λύσει αυτό το πρόβλημα πιο κομψά, αλλά τέτοιου είδους τεστ δεν υπάρχουν ακόμη. Στα προσαρμοστικά τεστ που γίνονται σε υπολογιστές (CAT), τα τεστ είναι προσαρμοσμένα στο επίπεδο των επιδόσεων των φοιτητών. Κατά τη διάρκεια του τεστ, τα στοιχεία διαχειρίζεται ένα κάθε φορά. Η επιλογή της επόμενης ερώτησης εξαρτάται από την απάντηση που έδωσε προηγουμένως ο μαθητής. Η προσαρμοστική αξιολόγηση έχει επιπλέον περισσότερα προτερήματα από την αξιολόγηση βασισμένη σε υπολογιστή, όπως η πιο ακριβή και αξιόπιστη αξιολόγηση της ικανότητας, τη μείωση του χρόνο διεξαγωγής της δοκιμής, και η αποφυγή των πολύ εύκολων ή δύσκολων στοιχείων που προκαλούν πλήξη ή άγχος, αντίστοιχα. Στα προσαρμοστικά τεστ που γίνονται σε υπολογιστές (CAT), δεν είναι κατάλληλα 28

32 μόνο για εποικοδομητική ή διαμορφωτική αξιολόγηση, αλλά και για αυτοαξιολόγηση. Εξυπακούεται ότι η αυτο-αξιολόγηση μπορεί να χρησιμοποιηθεί για εκπαιδευτικούς σκοπούς, όταν εμφανίζεται η διόρθωση των απαντήσεων συνοδεύεται με την αντίστοιχη ανάδραση. Ως εκ τούτου, τα CATS μπορούν να διευκολύνουν την ολοκλήρωση της αξιολόγησης στην μάθηση. (Lilley et al, 2002) Όταν ένας δάσκαλος αξιολογεί προφορικά ένα φοιτητή, αρχικά κάνει μια ερώτηση μέσης δυσκολίας. Αν ο μαθητής απαντήσει σωστά, η επόμενη ερώτηση θα είναι πιο δύσκολη. Στην περίπτωση που η απάντηση του είναι λανθασμένη, τότε η επόμενη ερώτηση θα είναι πιο εύκολη από την αρχική. Αυτή η διαδικασία συνεχίζεται μέχρι να μπορεί ο δάσκαλος να εκτιμήσει επ ακριβώς τις γνώσεις του μαθητή. Τα προσαρμοστικά τεστ στοχεύουν στην αναπαραγωγή αυτής της διαδικασίας γι αυτό και προβάλλουν μια ερώτηση την φόρα. Η επιλογή της ερώτησης γίνεται κυρίως σε σχέση με ένα προσωρινό μοντέλο του μαθητή, το οποίο ανανεώνεται κάθε φορά που ο μαθητής απαντάει σε μια ερώτηση. Επιπλέον η οριστικοποίηση του τεστ προσαρμόζεται σε σχέση με το μοντέλο που δημιουργείται από την ευστοχία του μαθητή. Κατά συνέπεια, στα προσαρμοστικά τεστ, η προσαρμοστικότητα επηρεάζει την έννοια της επιλογής. Πέρα από τον ιδιαίτερο τρόπο λειτουργίας και τα θετικά χαρακτηριστικά που αναφέρονται παραπάνω το CAT περιγράφεται συχνά ως υπερβολικά προκλητικό, πολύ κουραστικό και αδικαιολόγητα αποθαρρυντικό Αυτό έρχεται σε έντονη αντίθεση με την αρχική πρόθεση, η οποία έπρεπε να χρησιμοποιήσει την επιλογή αντικειμένου για να δημιουργήσει μια προκλητική και γεμάτη κίνητρο κατάσταση στην οποία το θέμα δεν αισθάνεται ούτε μεγάλη πρόκληση ούτε αμφισβήτηση. Τα πορίσματα του Heckhausen (1989) δημιούργησαν αμφιβολίες για το κατά πόσον όλα τα θέματα θα έπρεπε να έχουν μια πιθανότητα επιτυχίας p = 0,5. Σύμφωνα με τον Atkinson (1964) η υποκειμενική προσδοκία επιτυχίας ή αποτυχίας είναι καθοριστικός παράγοντας κινητοποίησης. Αυτό η προσδοκία εξαρτάται κυρίως από τη δυσκολία του αντικειμένου. Σύμφωνα με Koestler & McClelland (1990) μια μέτρια δυσκολία είναι να προτιμάται, όπου η επιτυχία μπορεί να επιτευχθεί με αρκετή προσπάθεια. Το αποτέλεσμα αυτών των προβλημάτων είναι ότι προσαρμοστικές εξετάσεις, παρά την καινοτόμο αρχή που έχουν κάνει, ακόμα δεν ημιουργούνται και δεν χρησιμοποιούνται με τον καταλληλότερο τρόπο που τους αξίζει. (Hambleton, 1989) Τα μέρη ενός CAT Πολλαπλής επιλογής, δοκιμασίες είναι τεχνική που χρησιμοποιείται ευρέως για την αξιολόγηση στον τομέα της εκπαίδευσης. Οι παραδοσιακές μέθοδοι σχεδιασμού εξαρτώνται σε μεγάλο βαθμό από την ατομική ή συλλογική φύση των τεστ. Τα τεστ που δίνονται στις ομάδες είναι λιγότερο χρονοβόρα κα καταναλώνονται λιγότεροι πόροι από ότι αυτά που δημιουργούνται ειδικά για ένα και μόνο πρόσωπο, και έχουν το πλεονέκτημα ότι όλοι οι εξεταζόμενοι κάνουν το τεστ κάτω από τις ίδιες συνθήκες. Ωστόσο, προκειμένου να αξιολογηθούν όλοι οι εξεταζόμενοι με ακρίβεια (δηλαδή, προκειμένου να είναι σε θέση να διακριθούν μεταξύ τους), τα τεστ αυτά θα πρέπει να περιέχουν τόσα αντικείμενα με επίπεδα δυσκολίας, όσα και τα επίπεδα γνώσης που υπάρχουν στην ομάδα των εξεταζόμενων, και αυτά τα 29

33 αντικείμενα θα πρέπει να επιλέγονται σωστά Μια μη επιθυμητή συνέπεια είναι ότι οι εξεταζόμενοι με υψηλότερα επίπεδα μπορεί να βαρεθούν, αν οι ερωτήσεις είναι πάρα πολύ εύκολες γι 'αυτούς, ή μπορεί να αποθαρρύνονται από την προσπάθεια να απάντηση αν οι ερωτήσεις είναι πάρα πολύ δύσκολες ερωτήσεις. Στις αρχές της δεκαετίας του 1970, επισημάνθηκε ότι η δημιουργία πιο ευέλικτων τεστ θα μπορούσε να επιλύσουν ορισμένα από αυτά τα προβλήματα. Στο (Lord, 1980), η θεωρητική δομή του προσαρμοστικού τεστ ορίστηκε, έτσι ώστε να μπορεί να γίνει και από ομάδες, αλλά και προσαρμόζονται σε κάθε άτομο. Η φιλοσοφία του προσαρμοστικού τεστ που περιγράφεται στο "The basic notion of an adaptive test is to mimic automatically what a wise examiner would do ", είναι ότι, εάν ένας εξεταστής θέτει ένα ερώτημα που αποδεικνύεται ότι είναι πάρα πολύ δύσκολο, τότε η επόμενη θα πρέπει να είναι ευκολότερη. Ωστόσο, η χρήση των προσαρμοστικών τεστ, δεν είναι σοβαρά ήταν δυνατή μέχρι τις αρχές της δεκαετίας του 1980, όπου οι υπολογιστές έγιναν πιο ισχυροί και λιγότερο ακριβοί. Ένα CAT μπορεί να οριστεί σαν ένα τεστ που ένας υπολογιστής αποφασίζει για την παρουσίαση του κάθε στοιχείου και η απόφαση για να ολοκληρωθεί το τεστ εγκρίνονται δυναμικά με βάση τις απαντήσεις του εξεταζόμενου, και ως εκ τούτου με βάση σχετικά η ικανότητά του. Σε πιο ακριβείς όρους, ένα CAT είναι ένας επαναληπτικός αλγόριθμος που ξεκινά με μια αρχική εκτίμηση του επιπέδου επάρκειας του εξεταζόμενο και έχει τα εξής βήματα: Όλες οι ερωτήσεις στη βάση δεδομένων (που δεν έχουν χορηγηθεί ακόμη) εξετάζονται για να καθοριστεί ποια θα είναι η καλύτερη για να δοθεί στον εξεταζόμενο σύμφωνα με την τρέχουσα εκτίμηση του επίπεδο του. Τίθεται το ερώτημα, και ο εξεταζόμενος ανταποκρίνεται. Σύμφωνα με την απάντηση, μια νέα εκτίμηση του επιπέδου επάρκειας υπολογίζεται. Τα βήματα 1 έως 3 επαναλαμβάνονται μέχρις ότου πληρείται το κριτήριο παύση ορίζεται κριτήριο πληρείται. Με τον τρόπο αυτό, τα βασικά στοιχεία για την ανάπτυξη ενός CAT είναι: Το μοντέλο που σχετίζει την απάντηση σε κάθε ερώτηση. Το μοντέλο αυτό περιγράφει τον τρόπο με τον οποίο απαντούν οι εξεταζόμενοι αναλόγως με το επίπεδο ικανότητας τους. Κατά τη μέτρηση της ικανότητας, το αποτέλεσμα που προκύπτει πρέπει να είναι ανεξάρτητο από το εργαλείο που χρησιμοποιείται, και, η μέτρηση αυτή πρέπει να μη διαφορετική όσον αφορά το είδος της δοκιμής και για το άτομο που λαμβάνει τη δοκιμή. Η πισίνα αντικειμένων(item pool) Αυτό είναι ένα από τα πιο σημαντικά στοιχεία σε ένα CAT. Μία καλή item pool θα πρέπει να περιέχει μεγάλο αριθμό αντικειμένων με σωστά βαθμονόμηση και σε κάθε επίπεδο ικανότητας (Flaugher, 1990). Προφανώς, όσο καλύτερη είναι η ποιότητα της item pool, τόσο πιο πετυχημένο μπορεί να είναι ένα CAT. Το αρχικό επίπεδο γνώσεων. Επιλέγοντας κατάλληλα το επίπεδο δυσκολίας της πρώτης ερώτησης σε ένα τεστ, μπορεί να μειωθεί σημαντικά η διάρκεια του τεστ. Μπορούν να χρησιμοποιηθούν διαφορετικά κριτήρια, για παράδειγμα, να ληφθεί υπόψην το μέσο επίπεδο 30

34 η μέθοδος επιλογής αντικειμένου. Στα προσαρμοστικά τεστ, η επιλογή του επόμενου αντικειμένου που θα δεθεί στον εξεταζόμενο, εξαρτάται από το εκτιμώμενο επίπεδο γνώσεων που έχει ο εξεταζόμενος(το οποίο είναι ανάλογο των απαντήσεων που έχει δώσει πρoηγουμένως). Επιλέγοντας το καλύτερο επόμενο αντικείμενο με βάση το κατ 'εκτίμηση επίπεδο επάρκειας μπορεί να βελτιώσει την ακρίβεια και να μειωθεί το μέγεθος του τεστ. Το κριτήριο τερματισμού. Διαφορετικά κριτήρια μπορούν να χρησιμοποιηθούν για να αποφασιστεί πότε το τεστ θα πρέπει να τελειώσει, ανάλογα με το σκοπό του τεστ. Ένα προσαρμοστικό τεστ μπορεί να τελειώσει όταν έχει επιτευχθεί μία ακριβή βαθμολογία, όταν έχει παρουσιαστεί ένας σταθερός αριθμός στοιχείων, όταν ο χρόνος έχει τελειώσει. Τα πλεονεκτήματα ενός CAT σε σχέση με τις παραδοσιακές PPTs είναι τα παρακάτω Μια σημαντική μείωση στο μήκος του τεστ (κατά συνέπεια, στο χρόνο διεξαγωγής του τεστ), και πιο ακριβείς εκτιμήσεις του επιπέδου γνώσεων των εξεταζόμενων, βελτίωση των κινήτρων των εξεταζόμενων», μεγάλες item pool στοιχείου μπορεί να αποθηκευτούν και να διαχειρίζονται, τα αντικείμενα μπορούν να περιλαμβάνουν περιεχόμενο πολυμέσων που είναι πιο δύσκολο και δαπανηρό να χρησιμοποιηθούν σε παραδοσιακά PPTs, όπως ήχος, βίντεο, εικόνες υψηλής ποιότητας, κλπ., οι αλγόριθμοι επιλογή μπορούν να πραγματοποιηθούν πιο αποτελεσματικά (Van der Linden et al,2000) Η τράπεζα αντικειμένων του τεστ Η τράπεζα αντικειμένων του τεστ (Marinagi et al, 2007)είναι ένα βασικό χαρακτηριστικό σε αυτό το σύστημα, το οποίο αποτελεί μια συλλογή αντικειμένων του τεστ που περιλαμβάνουν αρκετή πληροφορία, όπως το περιεχόμενο του αντικειμένου του τεστ, το επίπεδο δυσκολίας, την έκθεση και τις λέξεις-κλειδιά. Η ποιότητα μιας τράπεζας αντικειμένων είναι πολύ σημαντικό, διότι η επιτυχία του κάθε συστήματος τεστ είναι εξαρτάται σε μεγάλο βαθμό από αυτό για να γίνει αντιληπτή, ακολουθώντας δύο βασικούς κανόνες: (1) η τράπεζα αντικειμένων του τεστ πρέπει να έχει επαρκή αντικείμενα για την παροχή ενημερωτικών αντικειμένων κατά τη διάρκεια τμήματος του τεστ δοκιμής σύνοδο, και (2) η τράπεζα αντικειμένων πρέπει να παρέχει επαρκή στοιχεία που καλύπτουν διαφορετικά θέματα και διαφορετικά επίπεδα δυσκολίας που είναι χρήσιμα για προγραμματιστές του τεστ (Van der Linden et al,2000) Σε αυτό το σύστημα, το logistic μοντέλο μίας παραμέτρου εφαρμόζεται για την ανάπτυξη του προσαρμοστικού τεστ. Το 1PL είναι η απλούστερη μορφή του IRT μοντέλο, διότι υποθέτει ότι μόνο μια "παράμετρος σχετικά με τη δυσκολία των αντικειμένων είναι ικανή για να αναπαραστήσει τη διαδικασία απάντησης στο τεστ. Το επίπεδο δυσκολίας διαφέρει από το πολύ εύκολο μέχρι το ''πολύ δύσκολο» και χρησιμοποιεί πενταβάθμια κλίμακα για να καλύψει το φάσμα από -2 μέχρι 2. 31

35 Ενότητα προσαρμοστικού τεστ Ο σκοπός αυτής της ενότητας είναι να επιλεχθούν τα αντικείμενα που θα δοθούν το ένα μετά το άλλο στους μαθητές, εκτιμώντας σε κάθε ενότητα την ικανότητα του κάθε μαθητή και καθορίζοντας αν έχει τελειώσει το τεστ σύμφωνα με τα κριτήρια τερματισμού του τεστ. Η διαδικασία επιλογής των αντικειμένων βασίζεται στην προσέγγιση PSO προσέγγιση με πολλαπλά κριτήρια αξιολόγησης. Όσον αφορά τη διαδικασία εκτίμησης της ικανότητας του σπουδαστή, το μοντέλο αυτό εφαρμόζει το κριτήριο μέγιστης εκτίμησης της πιθανότητας για την εκτίμηση της ικανότητας. Επιπλέον, το τυπικό σφάλμα και ο αριθμό των αντικειμένων χρησιμοποιούνται για να κριθεί κατά πόσο το προσαρμοστική τεστ τερματίζεται. ΟΙ ακόλουθες παράγραφοι περιγράφουν τις διαδικασίες της προσαρμοστικής ενότητα ενός τεστ. Επιλογή αντικειμένου. Σε αυτή τη διαδικασία, επιλέγεται το επόμενο αντικείμενο που θα δοθεί στο χρήστη. Μία από τις πιο κοινώς χρησιμοποιούμενες διαδικασίες είναι αυτή που αναλύεται παρακάτω. Για την επιλογή του επόμενου αντικειμένου χρησιμοποιείται η maximum likelihood estimator (Lord, 1986)στο μοντέλο 3 logistic parameter. Η παρακάτω διαδικασία επιλογής, λέγεται TIS-PSO και χρησιμοποιεί τρία κριτήρια αξιολόγησης για τον καθορισμό των αντικειμένων του τεστ που θα επιλεχθούν για κάθε εξεταζόμενο από μια μεγάλη τράπεζα αντικειμένων. Τα τρία κριτήρια αξιολόγησης είναι η σχέση μεταξύ της ακρίβειας της μέτρησης και της ικανότητας του μαθητή, ο βαθμός συνάφειας μεταξύ του αντικειμένου και του επιλεγμένου θέματος, και η έκθεση, αντίστοιχα. Επιπλέον, η διαδικασία αυτή υπολογίζει την τιμή της ικανότητας ανάλογα με τη λειτουργία καταλληλότητας (Van der Linden et al,2000) που αποτελείται από τρία κριτήρια αξιολόγησης. Η λειτουργία καταλληλότητας είναι ίση με: Ο παραπάνω τύπος είναι η λειτουργία καταλληλότητας της TIS-PSO, η οποία αποτελείται από τρία κριτήρια αξιολόγησης που δίνονται από τις ακόλουθες εξισώσεις: όπου f είναι η αντιστροφή της συνάρτησης πληροφορίας του αντικειμένου (IIF), επειδή το TIS-PSO πρέπει να αναζητήσουμε την ελάχιστη τιμή. Η IIF είναι ζωτικής σημασίας στην IRT, και χαρακτηρίζει την ακρίβεια της μέτρησης των εξεταζόμενων, σε κάθε επίπεδο του γνωρίσματος θ. Στην IIF, P i (θ)ονομάζεται σημείο χαρακτηριστική καμπύλη. Σε αυτή τη μελέτη, χρησιμοποιείται το 1PL μοντέλο του IRT και ο τύπος φαίνεται από την ακόλουθη εξίσωση: όπου ui = 1 δείχνει ότι το i αντικείμενο έχει απαντηθεί σωστά από ένα εξεταζόμενο, P i (θ) είναι η υπό όρους πιθανότητες να έδωσε σωστή απάντηση, b i είναι δυσκολία του ελεγχόμενου στοιχείου i. 32

36 Στη συνέχεια, το δεύτερο κριτήριο αξιολόγησης περιγράφεται ως εξής από τον παρακάτω τύπο που αντιπροσωπεύει το βαθμό της συνάφειας μεταξύ των επιλεγμένων στοιχείων του τεστ και συγκεκριμένα θέματα: όπου w j είναι το βάρος του κάθε θέματος στο τεστ, r j είναι η συσχέτιση του αντικειμένου του συγκεκριμένου θέματος με τα υπόλοιπα θέματα του τεστ και Μ είναι τον αριθμό των θεμάτων στο τεστ. Η ακόλουθη εξίσωση είναι το τρίτο κριτήριο αξιολόγησης που περιγράφει την έκθεση: όπου n k είναι η συχνότητα της έκθεσης του επιλεγμένου στοιχείου ελέγχου, k είναι το αντικείμενο που βρίσκεται στην τράπεζα αντικειμένων το οποίο αποτελείται από Ν αντικείμενα του τεστ,το α είναι μια σταθερά, και ο παρονομαστής χρησιμοποιείται για την ομαλοποίηση της αξίας του C2. (Van der Linden et al,2000) Εκτίμησης της ικανότητα. Η διαδικασία εκτίμησης της ικανότητας (Lord, 1986) χρησιμοποιείται για την εκτίμηση της ικανότητας του μαθητή (h). Η πιο συχνά χρησιμοποιούμενη διαδικασία εκτίμησης της ικανότητας είναι η διαδικασία της μέγιστης πιθανότητας εκτίμησης (maximum likelihood estimation )της ικανότητας του μαθητή. Η MLE εκτιμά την ικανότητα του εξεταζόμενου με βάση τις απαντήσεις του στο τεστ και τις υπό όρους πιθανότητες να δώσει σωστή / λάθος απάντηση σε ένα αντικείμενο του τεστ. Μετά από κάθε αντικείμενο που δίνεται και απαντάται από τον μαθητή, υπολογίζεται η ικανότητά του με μια ενδιάμεση εκτίμηση και αυτή χρησιμοποιείται από το τεστ για την επιλογή τις επόμενης ερώτησης που θα δοθεί. Επιπλέον, όταν το τεστ έχει τελειώσει, το μαθητής μπορεί να κατανοήσει την ικανότητά του που υπολογίστηκε με τη διαδικασία MLE. Η MLE καθορίζεται από τον παρακάτω τύπο: όπου n είναι ο αριθμός των αντικειμένων του τεστ που απάντησε προηγουμένως, το Pi αντιπροσωπεύει την υπό όρους πιθανότητα θ για τη σωστή απάντηση στο αντικείμενο του τεστ, Qi είναι η υπό όρους πιθανότητα για λάθος απάντηση στο αντικείμενο i του τεστ, η οποία είναι ίση με 1- Pi, και ui είναι η απάντηση στο i αντικείμενο όπου u i = 1 είναι το αντικείμενο που απαντήθηκε σωστά από το μαθητή. Σε άλλη περίπτωση (u i = 0) είναι το αντικείμενο i εάν έχει απαντηθεί λανθασμένα. (Arroyo et al,2001) Το κριτήριο τερματισμού. Σε ένα προσαρμοστική τεστ μέσω υπολογιστή, το κριτήριο τερματισμού (Marinagi et al, 2007)συσχετίζεται με τον αριθμό των αντικειμένων που διαχειρίζεται το τεστ, την ακρίβεια της μέτρησης 33

37 ή συνδυασμό και των δύο. Όσον αφορά την ακρίβεια των μετρήσεων, συνήθως εκτιμάται με μια δοθείσα ικανότητα και με βάση κάποιο λάθος. Σε αυτό το σύστημα, ένα είδος από τα κριτήρια ολοκλήρωσης είναι να υπολογιστεί το τυπικό σφάλμα που δίδεται από την εξίσωση: Το τυπικό σφάλμα περιγράφει τη συνάφεια μεταξύ των πληροφορίες του τεστ και το τυπικό λάθος. Σε αυτό το σύστημα, το τυπικό σφάλμα είναι αποδίδεται 0,33 ή μικρότερο, διότι το τυπικό σφάλμα σε ένα CAT είναι περίπου 0,33 ή μικρότερο (Rudner, 1998). Το δίδεται από την ακόλουθη Η συνάρτηση πληροφορίας του τεστ είναι το άθροισμα των τιμών του IIF. Εκτός από την ακρίβεια των μετρήσεων, το δεύτερο κριτήριο τερματισμού είναι ο αριθμός των στοιχείων που διαχειρίστηκε το τεστ. Όταν ο μέγιστος αριθμός στοιχείων δοκιμής έχει απαντηθεί, το τεστ θα πρέπει επίσης να τελειώσει. (Green et al, 1984) Λειτουργία ενός CAT Τα περισσότερα CAT λειτουργούν σχεδόν με τον ίδιο τρόπο, και ο τρόπος λειτουργίας τους ποικίλει αναλόγως με τις θεωρίες στις οποίες βασίζεται το κάθε σύστημα. Παρακάτω περιγράφεται γενικευμένα, μέσα από κάποια βήματα, η λειτουργία ενός CAT. Βήμα 1. Ένας φοιτητής συνδέεται με το διακομιστή και εισέρχεται στο περιβάλλον του τεστ. Πριν ο μαθητής εισέλθει στο περιβάλλον δοκιμής, το σύστημα αναγνωρίζει το μέγεθος της οθόνης της συσκευής που ο μαθητής χρησιμοποιεί και στη συνέχεια τον οδηγεί στην ιστοσελίδα των εξετάσεων. Βήμα 2. Αρχικά, η προσαρμοστική ενότητα του τεστ θεωρεί ότι ο σπουδαστής είναι μεσαίας ικανότητας. Επίσης η αρχική επίδοση του μαθητή μπορεί να υπολογιστεί με ένα pre-test, σε περίπτωση που δεν είναι αποδεκτή η υπόθεση ότι όλοι οι μαθητές όταν ξεκινούν το τεστ, είναι μεσαίας ικανότητας. Στη συνέχεια επιλέγετε ένα αντικείμενο από την τράπεζα αντικειμένων σύμφωνα με την ικανότητα του μαθητή, την έκθεση των αντικειμένων του τεστ, το βαθμό συνάφειας μεταξύ των αντικειμένων και των θεμάτων, και πολλές φορές υπάρχει και μια έξτρα παράμετρος, που είναι η επεξεργαστική ισχύ των της συσκευής του φοιτητή. Βήμα 3. Μετά την προσαρμοστική ενότητα του τεστ, δίνεται το επιλεγμένο αντικείμενο προσαρμοστικό τεστ που έγινε πριν σε μία ενότητας αναπαραγωγής αντικειμένων. από το Βήμα 4. Όταν η ενότητας αναπαραγωγής αντικειμένων λαμβάνει το επιλεγμένο αντικείμενο από την προσαρμοστική ενότητα, θα ανακτήσετε τις πληροφορίες αντικείμενο του τεστ σύμφωνα με το αντικείμενο της προσαρμοστικής ενότητας. 34

38 Βήμα 5. Από τη στιγμή που η μονάδα παραγωγής αντικειμένων λαμβάνει τις πληροφορίες για το αντικείμενο του τεστ, το σύστημα το εμφανίζει στο μαθητή και του ζητάει να απαντήσει. Βήμα 6. Μετά ο φοιτητής στέλνει την απάντησή του, το σύστημα την ελέγχει και την καταγράφει στη βάση δεδομένων του τεστ. Στη συνέχεια, γίνεται η διαδικασία εκτίμησης της ικανότητας του. Η ικανότητα του θα εκτιμηθεί σύμφωνα με τα αποτελέσματα στα αντικείμενα που έχουν δοθεί μέχρι τώρα. Εδώ χρησιμοποιούνται οι θεωρίες των προσαρμοστικών συστημάτων IRT, Bayesian Criterion, Maximum Likelihood Criterion κ.α. Βήμα 7. Το προσαρμοστικό τεστ θα τερματιστεί, όταν έχει επιτευχθεί κάποιο από τα κριτήρια τερματισμού. Τα κριτήρια τερματισμού, αναλόγως με το τεστ θα μπορεί να τα έχει αποφασίσει ο ίδιος ο καθηγητής που έχει δημιουργήσει το τεστ, ή να είναι προεπιλεγμένα από το σύστημα. Αν δεν έχουν επιτευχθεί, τότε εκτιμάτε πάλι η ικανότητα του μαθητή και επαναλαμβάνονται τα βήματα από το 2 και μετά. Τα βήματα αυτά επαναλαμβάνονται έως δοτού πληρούνται κάποια από τα κριτήρια τερματισμού. Βήμα 8. Εάν το τεστ λήξει, το σύστημα δείχνει την ικανότητα του μαθητή στην ιστοσελίδα των εξετάσεων και αποθηκεύει τα τελικά αποτελέσματα στη βάση δεδομένων του τεστ για μεγαλύτερη ανάλυση.(green et al, 1984) Πιο συγκεκριμένα, μία εκδοχή λειτουργίας ενός συστήματος προσαρμοστικών τεστ θα μπορούσε να είναι η παρακάτω. Στο σύστημα αυτό χρησιμοποιείται η αρχή Bayes και ένα από τα τρία μοντέλα της IRT θεωρίας. Αρχικά, όταν ένας μαθητής κάνει ένα προσαρμοζόμενο τεστ, το σύστημα πρώτα αρχικοποιεί το μοντέλο μαθητή. Για κάθε έννοια που αξιολογείται κατά τη διάρκεια του τεστ, δημιουργεί μια κατανομή για το αντίστοιχο επίπεδο γνώσης. Αρχικά, όλα τα επίπεδα έχουν μια σταθερή κατανομή (όλες οι τιμές έχουν την ίδια πιθανότητα). Στη συνέχεια, η επαναληπτική διαδικασία ξεκινά. Το σύστημα επιλέγει κάθε ερώτηση σύμφωνα με το κριτήριο επιλογής που χρησιμοποιείται, το οποίο χρησιμοποιεί το μοντέλο κατανομής της γνώσης του φοιτητής για τον καθορισμό τις πιο κατάλληλης ερώτησης. Εάν ο καθηγητής αποφασίζει να χρησιμοποιήσει την προσέγγιση Bayesian το σύστημα θα επιλέξει αυτόματα τις έννοιες και ερωτήσεις στο ίδιο βήμα. Έτσι, για τα τεστ, που στοχεύουν στην αξιολόγηση πολλαπλές έννοιες ταυτόχρονα, το κριτήριο επιλογής Bayesian θα επιλέξει την πιο διδακτική που σχετίζεται με την έννοια για την οποία η εκτίμηση για τη γνώση των σπουδαστών είναι λιγότερο ακριβή. Ως εκ τούτου, όταν τελειώνει το τεστ, το σύστημα συνάγει το γνωστικό επίπεδο του μαθητή για όλες τις έννοιες με επαρκή ακρίβεια. Το σκεπτικό αυτού του κριτήριου επιλογής είναι να υπολογιστεί η αναμενόμενη μεταγενέστερη κατανομή του μοντέλου σπουδαστή. Το σύστημα εκτελεί τα ακόλουθα για κάθε ερώτηση: Υπολογίζει την πιθανότητα p ότι ο σπουδαστής θα απαντήσει σωστά στο ερώτημα και την πιθανότητα ότι ο μαθητής που δε θα απαντήσει σωστά (1 - p). Μπορούμε να εκτιμήσουμε p από το εσωτερικό γινόμενο των προϊόντων μεταξύ της τρέχουσας εκτιμώμενης κατανομής γνώσης και ICC, την κατανομή για την τρέχουσα θεωρία που εξετάζεται. Υπολογίζει τόσο τη μεταγενέστερη κατανομή του εκτιμώμενου επιπέδου γνώσης του μαθητή, εφαρμόζοντας τον κανόνα Bayes, εικάζοντας ότι ο μαθητής απαντά σωστά στην ερώτηση και στη συνέχεια, εικάζοντας ότι ο μαθητής αποτυγχάνει. Υπολογίζει τις μεταβλητές των δύο μεταγενέστερων κατανομών. 35

39 Υπολογίζει την αναμενομένη μεταβλητή χρησιμοποιώντας το σταθμισμένο άθροισμα των μεταβλητών του βήματος 3 και των ανταποκρινόμενων πιθανοτήτων τους, που υπολογίστηκαν στο βήμα 1. Το σύστημα επιλέγει την ερώτηση που θα παρέχει την ακριβέστερη εκτίμηση του επιπέδου γνώσεις του φοιτητή -ότι είναι η ερώτηση με την ελάχιστη μεταγενέστερη αναμενόμενη κατανομή. Το σύστημα ενημερώνει το μοντέλο μαθητή να αντικατοπτρίζει κατά πόσον ο μαθητής απαντά στην ερώτηση σωστά. Έτσι και αλλιώς, ενημερώνει μόνο την κατανομή της γνώσης του μαθητή που ανταποκρίνεται στη θεωρία που η επιλεγμένη ερώτηση στοχεύει να αξιολογήσει. Αυτό δεν αλλάζει τίποτα σχετικά με άλλες έννοιες. Αφού το σύστημα ενημερώσει μοντέλο φοιτητή, ελέγχει το κριτήριο τερματισμού-για παράδειγμα, το κριτήριο που απαιτεί υπολογισμό της μεταβλητής για κάθε κατανομής γνώσης. Εάν όλες οι κατανομές είναι κάτω από ένα όριο, αλγόριθμος του τεστ σταματάει. Διαφορετικά, το σύστημα επαναλαμβάνει την εφαρμογή του κριτηρίου επιλογής. Μετά το τεστ, το σύστημα μπορεί να υπολογίσει το επίπεδο γνώσεων με διάφορους τρόπους-για παράδειγμα, χρησιμοποιώντας την κατανομή γνώσης (δηλαδή, την πιο πιθανή τα τιμή). Μία ακόμα περιγραφή της λειτουργίας ενός CAT με διαφορετική μαθηματική προσέγγιση είναι η παρακάτω. Το σύστημα CAT μπορεί να ξεκινήσει όταν υπάρχει μία τράπεζα αντικειμένων με αντικείμενα που ακολουθούν την IRT θεωρία, για όλα τα θέματα και όταν έχει επιλεχτεί μια διαδικασία που θα εκτιμά την ικανότητα από την απόδοση των μαθητών, και όταν υπάρχει ένας αλγόριθμος που επιλέγεται για τον προσδιορισμό της αλληλουχίας των αντικειμένων που θα δίνονται στους μαθητές. Ο αλγόριθμος του CAT είναι συνήθως μια επαναληπτική διαδικασία με τα ακόλουθα βήματα. Όλα τα αντικείμενα που δεν έχουν ακόμη χορηγηθεί αξιολογούνται για να καθοριστεί ποια θα είναι το καλύτερο επόμενο αντικείμενο που θα δοθεί σύμφωνα με το εκτιμώμενο επίπεδο ικανότητας. Το "καλύτερο" επόμενο αντικείμενο δίνεται στον εξεταζόμενο και αυτός το απαντά. Υπολογίζεται η νέα εκτιμώμενη ικανότητα με βάση τις απαντήσεις σε όλα τα στοιχεία που έχουν τεθεί. Τα βήματα από το 1 μέχρι το 3 επαναλαμβάνονται μέχρι να συναντηθεί το κριτήριο τερματισμού. Πολλές διαφορετικές μέθοδοι μπορούν να χρησιμοποιούνται για τον υπολογισμό των στατιστικών που απαιτούνται σε κάθε ένα από αυτά τα τρία βήματα. Hambleton, Swaminathan, και Rogers (1991) Lord (1980) Wainer, Dorans, Flaughter, πράσινο, Mislevey, Steinberg, Thissen (1990) και άλλοι έχουν υποδείξει πώς αυτό μπορεί να γίνει χρησιμοποιώντας την Item Response Theory θεωρία. Μεταχειρίζοντας τις παραμέτρους των αντικειμένων όπως δίνονται, η εκτίμηση της ικανότητας είναι η τιμή του θήτα που ταιριάζει καλύτερα το μοντέλο. Όταν δίνεται στον εξεταζόμενο ένας επαρκής αριθμός των τεμαχίων, η αρχική εκτίμηση της ικανότητας δεν θα πρέπει να έχει σημαντική επίδραση στην τελική εκτίμηση της ικανότητας. Η προσαρμογή της διαδικασίας θα οδηγήσει γρήγορα στην διαχείριση ποιο λογικά αντικείμενα. Το κριτήριο τερματισμού θα μπορούσε να είναι ο χρόνος, ο αριθμό των στοιχείων που θα δοθούν, η αλλαγή στην εκτίμηση ικανότητας, εάν έχει καλυφτεί το περιεχόμενο διδασκαλίας, ή ένας συνδυασμός παραγόντων. Το βήμα 1 αναφέρεται στην επιλογή του καλύτερου επόμενου αντικείμενου. Λίγες πληροφορίες για το επίπεδο ικανότητας του εξεταζόμενου αποκτιέται όταν ο εξεταζόμενες απαντά σε ένα αντικείμενο που 36

40 είναι πάρα πολύ εύκολο ή πολύ πάρα πολύ δύσκολο. Είναι προτιμότερο να δίνεται ένα στοιχείο δυσκολίας σχετικά κοντά στην ικανότητα του εξεταζόμενου. Επιπλέον, είναι σημαντικό να δοθεί ένα αντικείμενο που βοηθά στη μεγαλύτερη διάκριση μεταξύ των εξεταζόμενων, των οποίων η ικανότητα είναι σε κοντινά επίπεδα. Χρησιμοποιώντας την IRT θεωρία, μπορεί να υπολογιστεί το ποσό των πληροφοριών που παρέχονται σε ένα δεδομένο επίπεδο ικανότητας. Σύμφωνα με την προσέγγιση μέγιστης πληροφορίας για το CAT, το "καλύτερο" επόμενο αντικείμενο είναι αυτό που παρέχει τις περισσότερες πληροφορίες (Στην πράξη περιορισμούς που έχουν ενσωματωθεί στη διαδικασία επιλογής.) Με την IRT θεωρία, η μέγιστη πληροφορία μπορεί να προσδιοριστεί ποσοτικά ως η τυποποιημένη κλίση της P(θ) σε. Με άλλα λόγια όπου P ι (θ) είναι η πιθανότητα να απαντήσει σωστά το αντικείμενο και P ι (θ) είναι η πρώτη παράγωγος του P ι (θ) και Ι ι (θ) είναι η συνάρτηση πληροφορίας του αντικειμένου ι. Στο βήμα 3, μια νέα εκτίμηση για την ικανότητα υπολογίζεται. Η προσέγγιση που χρησιμοποιείται, για παράδειγμα σε αυτό το σεμινάριο είναι μια τροποποίηση του Newton-Raphson επαναληπτική μέθοδο για την επίλυση εξισώσεων. Η εξέταση αρχίζει με μια αρχική εκτίμηση της S, υπολογίζει την πιθανότητα σωστή απάντηση για κάθε στοιχείο που χρησιμοποιούν S, και στη συνέχεια προσαρμόσει την εκτίμηση ικανότητα να επιτυγχάνεται βελτίωση της συμφωνίας των πιθανοτήτων και του φορέα που παρατηρήθηκαν απάντηση. Η διαδικασία αυτή επαναλαμβάνεται μέχρις ότου η προσαρμογή είναι εξαιρετικά μικρή. Έτσι: Όπου Η δεξιά πλευρά της παραπάνω εξίσωση είναι η προσαρμογή S+1, δηλώνει την προσαρμοζόμενη εκτίμηση της ικανότητα. Ο παρονομαστής της προσαρμογής ισούται με το άθροισμα των συναρτήσεων πληροφορίας του αντικειμένου που αξιολογείται σε S. Όταν S είναι η μέγιστη εκτίμηση της ικανότητας του εξεταζόμενου, το σύνολο των συναρτήσεων πληροφορίας του αντικειμένου είναι η συνάρτηση πληροφορίας του τεστ, IRR. (Van der Linden et al,2000) 37

41 3.3.4 Αξιολόγηση ενός CAT Πολλές οργανώσεις(van der Linden, 2008) έχουν παράσχει πρότυπα και τις κατευθυντήριες γραμμές για το σχεδιασμό και την αξιολόγηση των εκπαιδευτικών και ψυχολογικών τεστ. Το American Council on Education (ACE) δημοσίευσε το 1995, το Κατευθυντήριες γραμμές για την ανάπτυξη των προσαρμοστικών τεστ και τη χρήση τους στην Εκπαίδευση (ACE, 1995). Το 1999, τα Πρότυπα για Εκπαιδευτικά και Ψυχολογικά τεστ δημοσιεύθηκαν και εγκρίθηκαν από δημοσιεύθηκε και εγκρίθηκε από το American Educational Research Association(AERA), το American Psychological Association (APA), και το National Council on Measurement in Education (NCME).Τα πρότυπα δημοσιεύθηκαν για την παροχή κριτήριων για την αξιολόγηση των τεστ, την εξάσκηση των τεστ, καθώς και τα αποτελέσματα της χρήσης των τεστ. Αν και η αξιολόγηση της καταλληλότητας του τεστ ή εφαρμογή του τεστ θα πρέπει να εξαρτάται σε μεγάλο βαθμό σε επαγγελματική κρίση, τα πρότυπα παρέχουν ένα πλαίσιο αναφοράς για να διασφαλίζεται ότι αντιμετωπίζονται τα σχετικά ζητήματα. Το 2000, ο Association of Test Publishers (ATP), ενόψει της ταχείας ανάπτυξη των τεστ βασισμένα σε ηλεκτρονικούς υπολογιστές,δημοσιεύσε το Κατευθυντήριες γραμμές για τα τεστ βασισμένα σε υπολογιστές (ATP, 2000) με την πρόθεση να συμπληρώσει, να επεκτείνει, και να επεξεργαστεί τα Πρότυπα για τα Εκπαιδευτικά και ψυχολογικά τεστ όπως αυτά ισχύουν για τεστ και τις εργασίες που γίνονται σε υπολογιστή και στο Internet. Το 2004, η International Test Commission (ITC) δημοσιεύθηκε το International Guidelines on Computer-Based and Internet Delivered Testing (ITC, 2004), που απευθύνεται στους προγραμματιστές, τους εκδότες και τους χρήστες των τεστ. Αρκετές παράμετροι θα πρέπει να λαμβάνονται υπόψη κατά την αξιολόγηση ενός CAT. Οι βασικοί παράμετροι είναι η χρησιμότητα, η εγκυρότητα, η αξιοπιστία, η ικανοποίηση, η χρηστικότητα, η ανταπόκριση, η διαχείριση, η ασφάλεια, καθώς και εκείνα που συνδέονται με την προσαρμοστικότητα, την item pool, και την ψυχομετρική θεωρία. Βασικές παράμετροι Η χρησιμότητα είναι μια σημαντική παράμετρος για να εξεταστεί κατά την αξιολόγηση ενός CAT και σχετίζεται κυρίως για τους σκοπούς του τεστ. Τα μηχανογραφημένα συστήματα δεν είναι πάντα η καλύτερη επιλογή για τεστ για παράδειγμα, όταν οι εξετάσεις αφορούν εγγράφως δοκίμιο, κάθε τεστ μέσω υπολογιστή δεν είναι αρκετό. Το CAT αποτελεί σημαντικό μέσο για τη διενέργεια τεστ για : τον προσδιορισμό του κατά πόσον το εξεταζόμενο έχει επιτύχει τους ειδικούς στόχους των μαθημάτων τον προσδιορισμό του επίπεδου της επιτυχίας του εξεταζόμενου σε έναν τομέα δεξιοτήτων την προσδιορισμό τομέων στους οποίου ο φοιτητής χρειάζεται επιπλέον εκπαιδευτική εμπειρία τη διάγνωση των δεξιοτήτων του εξεταζόμενο σε κάποιο τομέα, τα προτερήματα και οι αδυναμίες του και 38

42 τον προσδιορισμό εάν οι υποψήφιοι έχουν εκπληρώσει τις ελάχιστες απαιτήσεις των μαθημάτων. Οι προγραμματιστές των CAT πρέπει να δηλώνουν με σαφήνεια τους σκοπούς της αξιολόγησης και να εξασφαλίζουν ότι το τεστ είναι σε θέση να μετρήσει το πραγματικό επίπεδο το εξεταζόμενο του. Για την επίτευξη αυτού του στόχου, το CAT θα πρέπει να παρέχει στον εξεταζόμενο μεγάλη ποικιλία περιεχομένου και επιμέρους τμήματα του τεστ μέτρησης των δεξιοτήτων ανάλογα σχετικά με το θέμα-για να διασφαλιστεί ότι το επίπεδο γνώσης του θα μετράται σωστά. Επειδή οι εξεταζόμενοι μπορεί να είναι υψηλού ή χαμηλού επιπέδου γνώσεων, το CAT θα πρέπει να είναι σχεδιασμένο κατά τέτοιο τρόπο ώστε να παρέχει επαρκή αξιολόγηση για όλο το φάσμα των ικανοτήτων που μπορεί να έχουν τα άτομα που εξετάζονται. (Green et al, 1984) Με άλλα λόγια, η item pool περιλαμβάνει αντικείμενα που αντιστοιχούν σε ολόκληρο φάσμα της ικανότητας, η οποία δεν προσδιορίζεται μόνο από το επίπεδο δυσκολίας, αλλά και από μια ποικιλία από τις σχεδιασμένες ασκήσεις, ανάλογα πάντα με το θέμα. Η εγκυρότητα αναφέρεται στο κατά πόσον ένα τεστ μετράει πράγματι αυτό που υποτίθεται ότι μετρά. Αυτό σχετίζεται με την καταλληλότητα των συμπερασμάτων με βάση τα αποτελέσματα του τεστ. Οι τρεις άξονες της εγκυρότητα είναι η εγκυρότητα περιεχομένου, η εγκυρότητα του κριτηρίου και η εγκυρότητα του σχεδιασμού του τεστ. Η εγκυρότητα περιεχομένου είναι η επιθεώρηση των τεστ για να ελεγχθεί αν τα στοιχεία που περιλαμβάνονται εξυπηρετούν τους σκοπούς του τεστ. Για παράδειγμα, ένα έγκυρο μαθηματικό τεστ για την έννοια της προσθήκης θα πρέπει να περιλαμβάνει κατά πάσα πιθανότητα ασκήσεις προσθήκη. Εάν η δοκιμή περιέχει περισσότερες ασκήσεις πολλαπλασιασμού, τότε η εγκυρότητα του τεστ είναι αμφισβητήσιμη. Επιπλέον, η εγκυρότητα περιεχομένου αφορά στο μέσο αντιπροσωπευτικό δείγμα του πληθυσμού, για παράδειγμα η γνώση και οι δεξιότητες που θα καλύπτονται θα πρέπει να αποτελούν αντιπροσωπευτικό τμήμα ενός μεγαλύτερου τομέα γνώσεων και δεξιοτήτων. Η εγκυρότητα του κριτηρίου αναφέρεται στο πώς το τεστ συγκρίνεται με ένα άλλο μέτρο κριτηρίου που θα μπορούσε, για παράδειγμα, να είναι ορισμένες άλλες πτυχές της επιτυχίας, όπως η επίτευξη του μέσου όρου βαθμού. Αυτού του είδους η εγκυρότητα καθορίζεται από τον έλεγχο της στατιστικής συσχέτισης μεταξύ του τεστ και του μέτρου του κριτηρίου(υψηλό θετικό,+1.0, σε χαμηλό,-1.0).. Για να είναι αποδεκτή η εγκυρότητα κριτηρίου θα πρέπει η αντιστοιχία να είναι θετική και υψηλή. Η εγκυρότητα σχεδιασμού είναι ο βαθμός στον οποίο ένα τεστ μέτρα το θεωρητικό σχεδιασμό που προτίθεται να μετρηθεί. Μια σειρά στατιστικών τεχνικών μπορεί να χρησιμοποιηθεί για να ελεγχθεί αν αυτό το τεστ συμπεριφέρεται σύμφωνα με το μοντέλο με βάση του οποίου σχεδιάστηκε. Για παράδειγμα, ένα νέο τεστ σε δεξιότητες προγραμματισμού αναμένεται να συσχετιστεί σε μεγάλο βαθμό με άλλα έγκυρα τεστ δεξιοτήτων ηλεκτρονικών υπολογιστών. Αντίθετα, θα υπάρξει επίσης και η προσδοκία ότι το νέο τεστ θα έχει ελάχιστη σχέση με ένα διαφορετικό είδος τεστ, όπως η δοκιμασία της κοινωνικής νοημοσύνης. Η αξιοπιστία αναφέρεται στην ακρίβεια και τη συνέπεια των αποτελέσματα που προέρχονται από ένα μέσο τεστ. Επομένως, εάν ένα τεστ είναι αξιόπιστο, το πρόσωπο που θα επιτύχει την ίδια βαθμολογία, με επαναλαμβανόμενα τεστ δοκιμή συν ή πλην αποδεκτό το σφάλμα της μέτρησης. Επίσης, η αξιοπιστία 39

43 είναι συνάρτηση της κατάστασης, καθώς και των επιμέρους παραγόντων που μπορούν να χρησιμοποιηθούν για να πλαισιώσει τις αξιολογικές ερωτήσεις για την ανάπτυξη του τεστ Γενικοί παράγοντες που επηρεάζουν την αξιοπιστία περιλαμβάνουν σαφείς και ρητές οδηγίες για τους εξεταζόμενους, και την εξοικείωση τους, με τη μορφή των CAT τεστ πριν από τη λήψη του τεστ. Υπάρχουν και οι παράγοντες που σχετίζονται με το περιβάλλον του τεστ, όπως το επίπεδο του θορύβου. Τέλος, οι επιμέρους παράγοντες περιλαμβάνουν μεταβατικές και σταθερούς παράγοντες, όπως η σωματική και ψυχολογική υγεία των εξεταζόμενων, καθώς και η εμπειρία των εξεταζόμενων, με παρόμοιες εξετάσεις. Συνεπώς, μόνο ένα τεστ υψηλής αξιοπιστίας είναι χρήσιμο για τη λήψη αποφάσεων για ένα εξεταζόμενο (Lilley et al, 2002) Υπάρχουν τρεις τύποι της αξιοπιστίας: test- retest, εσωτερική συνέπεια, και η εσωτερικής εκτίμησης αξιοπιστία. Η Test-retest αξιοπιστία μετριέται εξετάζοντας κατά πόσο ένας εξεταζόμενος λαμβάνει ισοδύναμη βαθμολογία στον ίδιο CAT σε δύο διαφορετικές χρονικές στιγμές. Η εσωτερική συνέπεια αξιοπιστίας μετριέται με την εξέταση της στατιστικής σχέσης μεταξύ των στοιχείων από ένα μόνο CAT. Εάν όλα τα στοιχεία υποτίθεται ότι μετρoύν τον ίδιο σχεδιασμό, τότε θα πρέπει να υπάρχει ισχυρή συσχέτιση μεταξύ των στοιχείων. Για παράδειγμα, για ένα δεδομένο εξεταζόμενο και και δεδομένο επίπεδο δυσκολίας, το να απαντηθεί ένα στοιχείο σωστά σημαίνει ότι είναι πιθανό και τα άλλα σχετικά στοιχεία, επίσης, ότι θα απαντηθούν σωστά. Η εσωτερικής εκτίμησης (Interrater )αξιοπιστία είναι ο βαθμός στον οποίο το όργανο μέτρησης παράγει παρόμοια αποτελέσματα ταυτόχρονα με περισσότερους του ενός αξιολογητή. Η παράμετρος ικανοποίησης αφορά στη συμπεριφορά του εξεταζόμενο απέναντι στο CAT από την άποψη της διεπαφής και της συνολική λειτουργία του. Όσον αφορά τη διεπαφή, τα θέματα που σχετίζονται με την ικανοποίηση του εξεταζόμενου είναι η ορολογία που χρησιμοποιείται, η ανατροφοδότηση που δίνεται από το σύστημα, ο σχεδιασμός της οθόνης και η βοήθεια και το κείμενο τεκμηρίωσης που δίνεται, η πληροφορία που θα παρέχει κίνητρα και θα βοηθήσει τους χρήστες στην διατήρηση και την υπενθύμιση της πληροφορίας. Οι ψυχολογικοί περιορισμοί που πρέπει να εξεταστούν κατά το σχεδιασμό υπερμέσων συστημάτων μάθησης- το CAT μπορεί να θεωρηθεί ως τέτοιο-είναι: (1) μνήμης φορτίου (δηλαδή, πόσες διαφορετικές εικόνες ελέγχου είναι λογικό για τους διδασκόμενους να θυμούνται σε μία φορά;), (2) αντίληψη (δηλαδή, τι χρώματα και τις γραμματοσειρές θα παρέχουν την καλύτερη αναγνωσιμότητα;), και (3) προσοχή (δηλαδή, πώς μπορεί ο χρήστης να προσηλωθεί σε μία πληροφορία ενώ στην οθόνη υπάρχουν παραπάνω από μία) Υπάρχει Ένας μεγάλος αριθμός των κατευθυντήριων γραμμών σχεδιασμού οθόνης που παράγεται από διάφορους ερευνητές. Μία από τις πιο σημαντικές μελέτες αξιολόγησης για τη μέτρηση της ευχρηστίας είναι η ευρετική αξιολόγηση, από τoν Nielsen (Lilley et al, 2002). Σε αυτή τη μελέτη, υπάρχουν 10 γενικές αρχές για το σχεδιασμό της διεπαφής του χρήστη. Ονομάζονται «heuristics» επειδή είναι περισσότερο γενικότερης φύσεως και δεν ακολουθούν τόσο συγκεκριμένες κατευθυντήριες γραμμές ευχρηστίας. Αυτοί έχουν ως εξής: 40

44 Ορατότητα του συστήματος: Το σύστημα θα πρέπει οπωσδήποτε να ενημερώνει συνεχώς τους χρήστες για το τι συμβαίνει σ αυτό με την ανάλογη ανταπόκριση εντός ενός εύλογου χρονικού διαστήματος. Μάχη μεταξύ του συστήματος και του πραγματικού κόσμου: Το σύστημα θα πρέπει να μιλάει στους χρηστές με λέξεις, φράσεις, έννοιες που να γνωρίζει ο χρήστης και όχι με όρους του συστήματος. Ακολουθώντας τον πραγματικό κόσμο, κάνει τα δεδομένα να εμφανίζονται σε μια φυσική και λογική σειρά. Ο έλεγχος και η ελευθερία του χρήστη: Οι χρήστες επιλέγουν συχνά λειτουργίες του συστήματος κατά λάθος και χρειάζονται μία σαφή ένδειξη "έξοδος κινδύνου" για να εγκαταλείψουν την ανεπιθύμητη κατάσταση χωρίς να χρειαστεί να κάνουν πολλές κινήσεις. (υποστήριξη λειτουργιών Undo και Redo). Συνέπεια και πρότυπα: Οι χρήστες δεν θα πρέπει να αναρωτηθούμε αν διαφορετικές λέξεις, καταστάσεις, ή ενέργειες σημαίνουν το ίδιο πράγμα. Ακολουθήστε τις συμβάσεις μιας πλατφόρμας. Σφάλμα πρόληψης: Ακόμα καλύτερο από ένα καλό μήνυμα λάθους είναι ένας προσεκτικός σχεδιασμός, ο οποίος θα εμποδίζει ένα πρόβλημα να εμφανίζεται αμέσως Αναγνώριση αντί της υπενθύμισης: θα πρέπει τα αντικείμενα, οι δράσεις και οι επιλογές να είναι ορατές. Ο χρήστης δεν θα πρέπει να θυμούνται πληροφορίες από το ένα μέρος του διαλόγου σε ένα άλλο. Οι οδηγίες για τη χρήση του συστήματος θα πρέπει να είναι ορατές ή εύκολα ανακτήσιμες οποτεδήποτε χρειαστεί. Η ευελιξία και η αποτελεσματικότητα της χρήσης: Επιταχυντές θα μπορούν να επιταχύνουν την αλληλεπίδραση για τον έμπειρο χρήστη, έτσι ώστε το σύστημα μπορεί να ανταποκριθεί τόσο σε άπειρους και όσο και έμπειρους χρήστες. Θα επιτρέπεται στους χρήστες να προσαρμόζουν τις συχνές ενέργειες τους. Αισθητική και μινιμαλιστική σχεδίαση: Ο διάλογος δεν πρέπει να περιέχουν πληροφορίες που είναι άνευ σημασίας ή που χρειάζονται σπάνια. Κάθε επιπλέον πληροφορία σε ένα διάλογο ανταγωνίζεται τις σχετικές πληροφορίες και μειώνει την ορατότητα τους. Η βοήθεια στους χρήστες να αναγνωρίζουν, τη διαγνώσουν, και να ανακάμπτουν από τα λάθη: Μηνύματα λάθους θα πρέπει να εκφρασμένα σε απλή γλώσσα (όχι σε κωδικούς), και να δείχνουν ακριβώς το πρόβλημα, και να προτείνουν μια λύση. Βοήθεια και τεκμηρίωση: Αν και είναι καλύτερα αν το σύστημα μπορεί να χρησιμοποιηθεί χωρίς την τεκμηρίωση, ίσως είναι απαραίτητο να παρέχει βοήθεια και τεκμηρίωση. Κάθε τέτοια πληροφορίες θα πρέπει να είναι εύκολο να αναζητηθεί, και να δίνεται σε μικρά σύντομα βήματα. (Van der Linden, 2008) Για να θεωρηθεί ένα προσαρμοστικό σύστημα ότι είναι χρήσιμο, θα πρέπει να έχει τις παρακάτω ιδιότητες. 41

45 Να παρουσιάζει στο μαθητή μόνο εκείνα τα στοιχεία που είναι πιο πιθανό να του αποφέρουν επιπλέον πληροφορία Να μπορεί να ξεχωρίζει την απροσεξία και την τυχαία επιλογή από την πραγματική γνώση με επαναλαμβανόμενα τεστ Να μπορεί να φτάσει σε ένα αρχικό μοντέλο μαθητή, με μεγάλη ακρίβεια και σε μικρό χρονικό διάστημα. 3.4 Πλεονεκτήματα και μειονεκτήματα ενός CAT Σε γενικές γραμμές, το CAT αυξάνει σημαντικά την ευελιξία της διαχείρισης του τεστ. Μερικά από τα οφέλη (Ware et al, 2000) είναι: Τα τεστ γίνονται "κατά παραγγελία" και αποτελέσματα είναι διαθέσιμα άμεσα. Δε χρειάζονται ούτε φύλλα απάντησης ούτε διαχειριστές του τεστ. Το τεστ έχει ατομικό ρυθμό έτσι ώστε ο εξεταζόμενος να μην πρέπει να περιμένει τους άλλους να τελειώσουν για να προχωρήσει στο επόμενο κεφάλαιο. Αυτό δίνει και σε μερικούς εξεταζόμενους επιπλέον χρόνο, που τα έχουν ανάγκη, μειώνοντας δυνητικά μια πηγή ανησυχίας για το τεστ. Η ασφάλεια του τεστ μπορεί να αυξηθεί, μιας και η σειρά των ερωτήσεων δεν είναι σταθερή.. Το CAT προσφέρει μια σειρά επιλογών για το χρονοδιάγραμμα και τη μορφοποίηση. Ως εκ τούτου, έχει τη δυνατότητα να έχει ένα ευρύτερο φάσμα διαφορετικών τύπων αντικειμένων. Σημαντικά λιγότερο χρόνο είναι και ο χρόνος διαχείρισης των CATS Τα CATS μπορούν να δώσουν ακριβή αποτελέσματα σε ένα ευρύ φάσμα ικανοτήτων ενώ οι παραδοσιακές εξετάσεις είναι συνήθως πιο ακριβή για το μέσο όρο εξεταζόμενων. Παρά τα παραπάνω πλεονεκτήματα, ο υπολογιστής τις προσαρμοστικές εξετάσεις, έχουν πολυάριθμους περιορισμούς, και εγείρουν διάφορα τεχνικά και διαδικαστικά θέματα: Τα CATS δεν ισχύουν για όλα τα θέματα και τις δεξιότητες. Τα περισσότερα CATS βασίζονται στο item-response theory μοντέλο, το οποίο δεν μπορεί να εφαρμοστεί σε όλες τις δεξιότητες και τους τύπους αντικειμένων. Hardware περιορισμοί μπορούν να περιορίσει τους τύπους των αντικειμένων που μπορούν να δοθούν από τον υπολογιστή. Για παράδειγμα γραφικές παραστάσεις ή εκτενή αποσπάσματα για ανάγνωση, μπορεί να είναι δύσκολο να παρουσιαστούν. Τα CATS απαιτούν προσεκτική βαθμονόμηση των αντικειμένων. Οι παράμετροι των αντικειμένων που χρησιμοποιούνται στα τεστ στο χαρτί δεν μπορούν να είναι τα ίδια με αυτά για τα τεστ στον υπολογιστή. 42

46 Τα CATS είναι εύχρηστα μόνο αν η εγκατάσταση έχει αρκετούς υπολογιστές για ένα μεγάλο αριθμό εξεταζόμενων, και οι εξεταζόμενων, θα πρέπει να έχουν εν μέρει-γνώσεις ηλεκτρονικών υπολογιστών. Αυτό μπορεί να είναι ένας μεγάλος περιορισμός. Με κάθε εξεταζόμενο που λαμβάνει ένα διαφορετικό σύνολο των ερωτήσεων, μπορεί να υπάρξει πρόβλημα για ανισότητα. 3.5 Παραδείγματα προσαρμοστικών συστημάτων αξιολόγησης PASS ένα προσαρμοστικό σύστημα αξιολόγησης Το PASS-Personalized ASSessment είναι ένα ολοκληρωμένο πλαίσιο για την αξιολόγηση, που βασίζεται στο ιντερνετ. Παρέχονται πολλαπλές επιλογές αξιολόγησης προσαρμοσμένες στις απαντήσεις του εκπαιδευόμενου : (i) πριν από τη δοκιμή και της αυτοαξιολόγησης που αντιστοιχούν στη διαμορφωτική αξιολόγηση, και (ii) αθροιστικά αξιολόγηση. Η διαδικασία αξιολόγησης βασίζεται στην κεντρική ιδέα της προσαρμοστικές εξέτασης και στις τεχνικές προσαρμοστικές ερωτήσεων. Η ενότητα PASS μπορεί να ενσωματωθεί σε οποιαδήποτε AEHS(Adaptive Educational Hypermedia Systems) με συγκεκριμένα χαρακτηριστικα. Η ενίσχυση της διαδικασίας αξιολόγησης με προσαρμοστικές ιδιότητες έχει νόημα για δύο τουλάχιστον λόγους: (i) η διαδικασία αξιολόγησης γίνεται δυναμική και εξατομικευμένη, όπως είναι προσαρμοσμένη στις επιδόσεις του εκπαιδευόμενου, και (ii) ο αριθμός των ερωτήσεων που απαιτούνται για να εκτιμηθεί το επίπεδο γνώσεων του εκπαιδευόμενου είναι συνήθως μειωμένο, με αποτέλεσμα να είναι λιγότερο κουραστική η διαδικασία αξιολόγησης. Οι προσαρμοστικές εξετάσεις και οι τεχνικές προσαρμοστικών ερωτήσεων, που μπορεί να χρησιμοποιηθούν για την εισαγωγή της προσαρμογής στο πλαίσιο της διαδικασίας αξιολόγησης, παρουσιάζονται παρακάτω. Οι προσαρμοστικές εξετάσεις περιλαμβάνουν έναν υπολογιστή που διαχειρίζεται το τεστ, κατά το οποίο η επιλογή/παρουσίαση της κάθε ερώτηση και η απόφαση τερματισμού της διαδικασίας είναι δυναμικά προσαρμοσμένα στις επιδόσεις του εκπαιδευόμενου στο τεστ. Οι προσαρμοστικές εξετάσεις που βασίζονται σε υπολογιστή στηρίζονται κυρίως στη θεωρία Item Response. Στην προσαρμοστική διαδικασία του τεστ, σε ένα μαθητή που απαντά σε ερωτήσεις σωστά (ή κακώς) θα του δοθούν σταδιακά πιο δύσκολες (ή πιο εύκολες) ερωτήσεις. Οι ερωτήσεις έχουν επιλεγεί έτσι ώστε η δυσκολία τους να ταιριάζει με το εκτιμώμενο γνωστικό επίπεδο του εκπαιδευόμενου. Οι ερωτήσεις που παρέχουν περισσότερη πληροφορία σχετικά με το πραγματικό επίπεδο των γνώσεων του μαθητής είναι συνήθως αυτές με δυσκολία ανάλογη με το επίπεδο γνώσεων του μαθητευομένου, όπως αυτό υπολογίζεται από το σύστημα, και με το χαμηλό συντελεστή υπόθεσης. Η εκτίμηση του επίπεδου γνώσης του μαθητή εξαρτάται από τον αριθμό των ερωτήσεων που θα απαντηθούν σωστά και το επίπεδο δυσκολίας των απαντημένων ερωτήσεων. Η διαδικασία αξιολόγησης θα φθάσει αισίως σε μία ακριβής εκτίμηση του επιπέδου γνώσεων του εκπαιδευόμενου μετά από μια σειρά ερωτήσεων. Η τεχνική των προσαρμοστικών ερωτήσεων ορίζει μια δυναμική σειρά ερωτήσεων που εξαρτάται από τις απαντήσεις του μαθητή. Συγκεκριμένες απαντήσεις ή επιδόσεις του μαθητή σε ορισμένες ερωτήσεις 43

47 ενεργοποιούν την επόμενη σειρά των ερωτήσεων σύμφωνα με πολλούς προκαθορισμένους κανόνες, σε αντίθεση με την τεχνική του προσαρμοστικού τεστ που αντίθεση η ερώτηση είναι αυτή που παρέχει το μεγαλύτερο ποσοστό πληροφορίας σχετικά με το πραγματικό επίπεδο των γνώσεων του εκπαιδευόμενου. Η τεχνική των προσαρμοστικών ερωτήσεων χρησιμοποιεί μια ομάδα από ερωτήματα, τα οποία είναι υψηλά δομημένα. Οι ερωτήσεις ομαδοποιούνται σε διάφορες κατηγορίες σύμφωνα με τα κριτήρια που καθορίζονται από τους καθηγητές, όπως για παράδειγμα ανάλογα με τα ειδικά μαθησιακά αποτελέσματα. Επιπλέον, κάθε κατηγορία μπορεί να περιέχει ένα αριθμό υποκατηγοριών με διαφορετικά χαρακτηριστικά η καθεμία, όπως το επίπεδο δυσκολίας των ερωτήσεων. Η απαντήσεις του μαθητή είναι ενεργοποιεί την κατηγορία /υποκατηγορία που θα ακολουθήσει. Κάθε φορά που μια κατηγορία / υποκατηγορία ενεργοποιείται, τίθονται όλα τα ερωτήματα τους. Έχουν χρησιμοποιηθεί Adaptive ερωτήσεις κυρίως στη έρευνες που έγιναν μεσω ηλεκτρονικού υπολογιστή. Ο Pitkow και Ο Recker έδειξαν ότι τα προσαρμοστικά ερωτηματολόγια που βασίζονται στο Web μπορούν να μειώσουν τον αριθμό και την πολυπλοκότητα των θεμάτων που τίθενται στους χρήστες. Επιπλέον, στο Cates, τα προσαρμοστικά ερωτηματολόγια χρησιμοποιούνται για να προσδιοριστεί η συμπεριφορά των χρηστών στο Web. (Gouli et al, 2002) Siette Το SIETTE είναι ένα διαδικτυακό σύστημα προσαρμοστικών τεστ κυκλοφόρησε πριν από μερικά χρόνια. Εφαρμόζει το Computerized Adaptive Tests.. Σε αυτά τα τεστ, οι ερωτήσεις που επιλέγονται τίθενται σε μαθητές, και ο τερματισμός του τεστ επιτυγχάνεται όταν ικανοποιηθεί το κριτήριο του τερματισμού. Σε αντίθεση με τις κλασικές τεχνικές προσαρμοστικών τεστ, το SIETTE επιτρέπει την ταυτόχρονη αξιολόγηση διαφόρων εννοιών σε ένα μόνο τεστ. Το τεστ SIETTE ξεκινά την διαδικασία διαλέγοντας αρχικά το θέμα με βάση το που οι γνώσεις του φοιτητή είναι λιγότερο ακριβείς. (Conejo et al, 2000) 44

48 ΚΕΦΑΛΑΙΟ 4: Αυτοαξιολόγηση και Προσαρμοστικότητα Στα περισσότερα συστήματα προσαρμοστικά συστήματα αυτοαξιολόγησης συναντώνται δύο είδη αξιολόγησης,, η αυτοαξιολόγηση και η αθροιστική αξιολόγηση. Η αυτοαξιολόγηση έχει ως στόχο να κεντρίσει το μαθητή να μελετήσει και να προβληματιστεί σχετικά με το περιεχόμενο που έχει μελετήσει, να αξιολογήσει τις επιδόσεις του μαθητή και να του παρέχει άμεση και πληροφοριακή ανατροφοδότηση. Η αθροιστικά αξιολόγηση σκοπεύει να αξιολογήσει τα μαθησιακά αποτελέσματα της διδασκαλίας υποδεικνύοντας μία δεξιότητα μάθησης για κάθε αποτέλεσμα. Ο μαθητής έχει πάντα τη δυνατότητα να επιλέξει την αυτό-αξιολόγηση ή την αθροιστική αξιολόγηση. Στα περισσότερα από αυτά τα συστήματα υπάρχει η δυνατότητα να προτείνει την πιο ενδεδειγμένη, σύμφωνα με συμπεριφορά πλοήγησης για την συμπεριφορά του μαθητή με βάση το περιεχόμενο, δηλαδή σε περίπτωση που ο μαθητής δεν έχει επισκεφθεί όλες τις κατηγορίες που προβλέπονται από μία ενότητα, προτείνεται αυτό-για το συγκεκριμένο που προσπεράστηκε. Η δημιουργία ενός τεστ αυτοαξιολόγησης και αθροιστικής αξιολόγησης είναι δυναμική, αναλόγως με το τρέχων γνωστικό επίπεδο των μαθητών. Επιπλέον, στην αυτοαξιολόγηση, έχει σημασία και η πλοήγηση του μαθητή στο περιεχόμενο. Λαμβάνεται επίσης υπόψη και το είδους του περιεχομένου που ο μαθητής επισκέφτηκε καθώς και ο χρόνος που παρατηρούσε κάποια ενότητα. Η διαδικασία αξιολόγησης λαμβάνει υπόψη το περιεχόμενο που ο μαθητής έχει επισκέφθηκε, καθώς και ο χρόνος που περάσει μελετώντας το υλικού. Τέτοιες πληροφορίες είναι χρήσιμες για να δημιουργηθεί το μοντέλο του μαθητή. Στις ερωτήσεις αθροιστικής αξιολόγησης οι ερωτήσεις που τίθενται, συνδέονται με τις απαραίτητες έννοιες και ερωτήσεις που σχετίζονται με το εκάστοτε αποτέλεσμα. Η τεχνική του προσαρμοστικού τεστ που χρησιμοποιείται τόσο για την αυτοαξιολόγηση όσο και για την αθροιστική αξιολόγηση, είναι η ίδια με κάποιες μικρές διαφορές. Η διαδικασία αξιολόγησης και στις δύο περιπτώσεις είναι η ακόλουθη : βήμα 1: Το σύστημα ψάχνει για την αρχική εκτίμηση του γνωστικού επιπέδου του μαθητή. Αν δεν υπάρχει κάποια εκτίμηση τότε του προσδίδεται η τιμή του μέσου όρου. βήμα 2: Αναλόγως τον τύπο αξιολόγησης που έχει επιλεχθεί, πχ. Αν είναι αυτοαξιολόγηση η αθροιστική αξιολόγηση, υπολογίζεται ο μέγιστος αριθμός ερωτήσεων που μπορούν να τεθούν. Στην περίπτωση της αξιολόγησης, η αξία του εκπαιδευτικού υλικού και η συμπεριφορά πλοήγησης του μαθητή, λαμβάνονται υπόψην. Στην περίπτωση της αθροιστικής αξιολόγησης μόνο, η αξία του εκπαιδευτικού υλικού προσμετράτε. βήμα 3: Επιλέγεται η υποψήφια ερώτηση σύμφωνα με την επιλογή της αξιολόγησης, τη συμπεριφορά πλοήγησης, και τον ελάχιστο και μέγιστο αριθμό ερωτήσεων για κάθε επίπεδο απόδοσης. Οι ερωτήσεις που σχετίζονται με σημαντικό εκπαιδευτικό υλικό, έχουν περισσότερες πιθανότητες να επιλεχθούν. βήμα 4: Για κάθε υποψήφια ερώτηση, το σύστημα υπολογίζει τη χαρακτηριστική καμπύλη του αντικειμένου the Item CharacteristicCurve (ICC) και την the Item Information Function (IIF)βασισμένη στην τρέχων εκτιμώμενο γνωστικό επίπεδο του μαθητή, η δυσκολία των 45

49 ερωτήσεων και τον παράγοντα υπόθεσης.το ICC αναπαριστά την πιθανότητα με την οποία ο μαθητής με ένα συγκεκριμένο γνωστικό επίπεδο θα είναι ικανός να δώσει τη σωστή απάντηση και η IFF είναι η αναπαράσταση της ποσότητας της πληροφορίας που δίνει η κάθε ερώτηση για το γνωστικό επίπεδο του μαθητή. Σύμφωνα με το βάρος κάθε εκπαιδευτικού υλικού και την πληροφορία που παρέχει η κάθε ερώτηση, το σύστημα επιλέγει την κατάλληλη ερώτηση. Συνήθως ερωτήσεις με δυσκολία παραπλήσια του γνωστικού επιπέδου του μαθητή και χαμηλό παράγοντα υπόθεσης παρέχουν την περισσότερη πληροφορία. Στην προτεινόμενη προσέγγιση, το επίπεδο δυσκολίας κάθε ερώτησης δίνεται από τον καθηγητή και όταν η ερώτηση χρησιμοποιείται, το επίπεδο δυσκολίας ξανά εκτιμάται σύμφωνα με το πόσες φορές έχει χρησιμοποιηθεί και πόσες φορές απαντήθηκε σωστά ή λάθος. Η βαθμονόμηση του επιπέδου δυσκολίας της ερώτησης είναι απαραίτητη.. βήμα 5: Το σύστημα, σύμφωνα με την ανταπόκριση του μαθητευομένου, εκτιμά το γνωστικό του επίπεδο. Το επίπεδο της γνώσης είναι προσαρμοσμένη κατά ποσότητα, η οποία εξαρτάται από την προηγούμενη εκτίμηση του επιπέδου γνώσης του μαθητευομένου και όλες του / προηγούμενες απαντήσεις του. Το σύστημα κατατάσσει το επίπεδο γνώσεων εκπαιδευόμενου για κάθε κομμάτι από αυτά του επιλεγμένου του στόχου, σε ένα από τα τέσσερα επίπεδα γλωσσικής επάρκειας: {In, RI, RS, S}. βήμα 6: Το σύστημα τερματίζει τη διαδικασία αξιολόγησης, όταν πραγματοποιείται οποιοδήποτε από τα παρακάτω προκαθορισμένα κριτήρια: (i) όταν ο αριθμός των ερωτήσεων που τίθενται υπερβαίνει το μέγιστο αριθμό των θεμάτων που καθορίζονται για το τεστ (ii) όταν όλα τα έχουν τα ερωτήματα της τράπεζας ερωτήσεων έχουν ήδη τεθεί, (iii) όταν ο βαθμός εμπιστοσύνης στο εκτιμώμενο γνωστικό επίπεδο του εκπαιδευόμενου είναι υψηλό, (iv) όταν ο αριθμός των ερωτημάτων υπερβαίνει το μέγιστο αριθμό των ερωτήσεων που υπολογίζεται για κάθε συγκεκριμένο επίπεδο επιδόσεων (βλέπε 2ο βήμα). Τα βήματα 4 και 5 επαναλαμβάνονται μέχρις ότου πληρούνται τα κριτήρια τερματισμού. Στο τέλος της διαδικασίας αξιολόγησης, παρέχονται πληροφορίες σχετικά με την επίδοση του εκπαιδευόμενου και τα διαγράμματα που δείχνουν την πρόοδο του εκπαιδευόμενου κατά τη διάρκεια της μαθησιακής διαδικασίας και αποθηκεύονται στο σύστημα για περαιτέρω αξιοποίηση από τον διδάσκοντα. (Gouli et al, 2002) Όταν δημιουργείται ένα τεστ, ο καθηγητής λαμβάνει υπόψη του τις εξής παραμέτρους: Προσβασιμότητα. Το τεστ είναι για συγκεκριμένους μαθητές? Είναι για βαθμολόγηση ή για να βοηθηθούν διαβάζοντας; Βαθμολόγηση. Μπορούν οι μαθητές να δουν τις απαντήσεις και αν ναι πότε. Χρόνος. Υπάρχει κάποιος χρονικός περιορισμός για την απάντηση; Βαθμωτή αξιολόγηση. Πόσα γνωστικά επίπεδα καλύπτει το τεστ; 46

50 Κριτήριο επιλογής ερώτησης. Ποιο κριτήριο επιλέγεται για τη δυναμική επιλογή ερώτησης από την τράπεζα ερωτήσεων; για παράδειγμα, τυχαία, προσαρμοσμένο στο γνωστικό επίπεδο του μαθητή) Κριτήριο τερματισμού του τεστ. Πόσες ερωτήσεις θα πρέπει να γίνουν στο μαθητή; (για παράδειγμα, ένας ακριβής αριθμός ή θα πρέπει να υπολογίζεται αναλόγως το γνωστικό επίπεδο του μαθητή, με κάποια στατιστική ακρίβεια) (McMillan et al, 2008) Όπως όλα τα εργαλεία αυοαξιολόγησης, έτσι και τα προσαρμοστικά τεστ αυτοαξιολόγησης δίνουν κάποια ανάδραση στο χρήστη. Η ανάδραση αυτή περιλαμβάνει τουλάχιστον τα εξής: μια επαγγελματική περιγραφή του προφίλ του μαθητή περιοχές δυναμικότητας προτεινόμενες περιοχές ανάπτυξης, συμπεριλαμβανομένων και περιοχών υψηλής προτεραιότητας ένα τελικό σκορ και μία γενική βαθμολογία. (Butler, 2007) Όσον αφορά τους διαγνωστικούς μηχανισμούς ενός συστήματος αυτοαξιολόγησης, αυτοί πρέπει να είναι: έγκυροι. Δεν πρέπει να εξαρτώνται από το εργαλείο από το οποίο εφαρμόζεται αξιόπιστοι. Η ακρίβεια της μέτρησης πρέπει να είναι ανεξάρτητη από τα χαρακτηριστικά που μετρώνται. Αντικειμενικοί. Τα αποτελέσματα δεν πρέπει να είναι υποκειμενικά στις απόψεις των παρατηρητών ή προσωπικών απόψεων. (Gayo-Avello et al, nd) 47

51 ΚΕΦΑΛΑΙΟ 5: Ανάπτυξη συστήματος προσαρμοστικής αυτοαξιολόγησης 5.1 Εισαγωγή Η συγκεκριμένη εφαρμογή αποτελεί ένα εργαλείο μάθησης. Με το εκπαιδευτικό αυτό σύστημα, ο καθηγητής ορίζει τα τεστ, τις ερωτήσεις, τη θεματολογία και τις διάφορες προδιαγραφές των τεστ γενικότερα, έτσι ώστε το κάθε τεστ να αποτελεί ένα ουσιαστικό εργαλείο μόρφωσης και εποικοδόμησης της γνώσης για το μαθητή. Ο μαθητής από τη δική του πλευρά, κάνει αυτό το τεστ το οποίο προσαρμόζεται στις δικές του γνώσεις. Το σύστημα παρέχει στο μαθητή τις ερωτήσεις σύμφωνα με τις επιλογές και τις προδιαγραφές που έχει ορίσει ο καθηγητής, αλλά και σύμφωνα με τις επιδόσεις του. Κατά τη διάρκεια του τεστ, μετά από κάθε ερώτηση, ο μαθητής ενημερώνεται κατά πόσο έχει απαντήσει σωστά ή λάθος και εάν έχει απαντήσει λάθος τότε το σύστημα του εξηγεί το κομμάτι αυτό. Εκτός από την ανάδραση του συστήματος κατά τη διάρκεια του τεστ, στο τέλος του κάθε τεστ ο μαθητής ενημερώνεται για το επίπεδο της γνώσης του στο συγκεκριμένο τομέα και επίσης του παρέχονται και μερικές πληροφορίες- παρατηρήσεις για το τι θα έπρεπε να διαβάσει καλύτερα. Σκοπός του συγκεκριμένου συστήματος δεν είναι να βαθμολογήσει το μαθητή, αλλά να αξιολογήσει τις γνώσεις του και να τον βοηθήσει να καλυτερέψει και να διορθώσει κάποια τυχόν λάθη του. Επίσης με αυτό το σύστημα ο καθηγητής θα μπορεί να δει τις αδυναμίες του μαθητή και να προσαρμόσει τη διδασκαλία του σύμφωνα με τα στατιστικά δεδομένα που του δίνει το σύστημα. 5.2 Η αρχιτεκτονική του συστήματος Ο καθηγητής και ο μαθητής θα αλληλεπιδρούν με το σύστημα μέσω της διεπαφής μέσω ιντερνετ. Πίσω όμως από αυτή τη διεπαφή κρύβεται ο μηχανισμός και η αρχιτεκτονική αυτού του συστήματος Διεπαφή Εφόσον το σύστημα απευθύνεται σε δύο είδη χρηστών, έχουμε δύο διαφορετικές διεπαφές. Η μία απευθύνεται στον καθηγητή και η άλλη στο μαθητή. Η διεπαφή του χρήστη μαθητή έχει μία σχετικά απλή δομή. Κατά βάση ο μαθητής θα μπορεί να βλέπει τα προσωπικά του δεδομένα, τα στατιστικά του στοιχεία και μία λίστα με τα τεστ που μπορεί να κάνει. Στη λίστα των τεστ που έχει κάνει θα μπορεί να δει αν έχει κάνει ήδη κάποιο τεστ προηγουμένως ή όχι. Ο μαθητής επίσης θα μπορεί να βλέπει τα τεστ που έχει κάνει και τα σχόλια που υπάρχουν για αυτά τα τεστ, τα στατιστικά του στοιχεία καθώς και το νέο τεστ που μπορεί να κάνει. Όσον αφορά τη διεπαφή του καθηγητή, επειδή αυτός θα είναι υπεύθυνος για τη δημιουργία του κάθε τεστ, θα βλέπει πράγματα που έχουν σχέση με το τεστ γενικά και τις ερωτήσεις, αλλά και με τα στατιστικά στοιχεία του κάθε μαθητή ξεχωριστά αλλά και όλων των μαθητών του στα διάφορα τεστ. 48

52 Όταν ο καθηγητής θα θέλει να ορίσει ή να επεξεργαστεί ένα υπάρχον τεστ, θα έχει στη διεπαφή του τις εξής επιλογές: Γενικά δεδομένα του τεστ: ο τίτλος, η γενική περιγραφή κα μια σύντομη περιγραφή Εμφάνιση του τεστ. Ο καθηγητής θα ορίζει πότε το τεστ θα είναι διαθέσιμο στους μαθητές και πότε όχι. Αν για ένα τεστ δεν υπάρχουν αρκετές ερωτήσεις στη βάση τότε το τεστ θα παραμένει κλειστό προς τους μαθητές ακόμα και αν ο καθηγητής θα προσπαθήσει να το ενεργοποιήσει. Επίσης, εξ ορισμού, όλα τα τεστ είναι κλειστά, όταν δημιουργούνται. Όταν ο καθηγητής θα θέλει να ορίσει ή να διορθώσει τις ερωτήσεις που θα υπάρχουν στα τεστ, θα έχει στη διεπαφή του τις εξής επιλογές Η ερώτηση: η ερώτηση θα πρέπει να είναι όσο το δυνατόν πιο απλή και πιο ξεκάθαρη γίνεται. ICC παράμετροι: Ο καθηγητής ορίζει τις αυτές τις παραμέτρους, για να μπορεί το σύστημα αναλόγως με τον αλγόριθμο που θα επιλεχθεί αργότερα να υπολογίζει την επίδοση του μαθητή. Οι παράμετροι αυτοί είναι η παράμετρος b, η οποία αντιπροσωπεύει τη δυσκολία του αντικειμένου, και παίρνει τιμές από το 1 μέχρι το 5 και η παράμετρος a, η οποία αντιπροσωπεύει τη διάκριση του αντικειμένου. Στην περίπτωση της παραμέτρου διάκρισης α, στο μοντέλο μιας παραμέτρου, η τιμή είναι σταθερή και είναι ίση με 1,5. Ανάδραση του συστήματος(feedback). Το σύστημα αναλόγως με την απάντηση του μαθητή θα δίνει με επεξήγηση μετά. Αν είναι σωστή τότε θα επιβραβεύει το μαθητή δίνοντας του μία ακόμη έξτρα πληροφορία που πιθανώς να του φανεί χρήσιμα, διαφορετικά θα του δώσει πληροφορίες για το ποια θα έπρεπε να είναι η σωστή απάντηση και γιατί είναι αυτή η σωστή απάντηση. Ο μαθητής επίσης θα έχει μία ανάδραση, κάθε φορά που θα ολοκληρώνει την ενότητα, και θα μπορεί να ελέγξει που θα πρέπει να επικεντρώσει την προσοχή του. Πιθανές απαντήσεις: ο καθηγητής ορίζει τη σωστή απάντηση και τις τρεις λάθος απαντήσεις που μπορούν να δοθούν για μια ερώτηση. Βασική ερώτηση: ο καθηγητής ορίζει αν η ερώτηση αυτή αποτελεί βασική ερωτηση στον τομέα διδασκαλίας που ανήκει ή όχι. Ο καθηγητής επίσης μπορεί να ορίσει σε ποια ενότητα ανήκει η κάθε ερώτηση. Μία ερώτηση μπορεί να ανήκει σε περισσότερες από μία ενότητες. Φυσικά και είναι εξασφαλισμένο ότι ο μαθητής δε θα λαμβάνει αυτή την ερώτηση δύο φορές σε ένα τεστ, επειδή η ερώτηση θα ανήκει σε δύο ενότητες του ίδιου μαθήματος. Όταν ο καθηγητής θέλει να δημιουργήσει, να δει ή να επεξεργαστεί μία ενότητα θα έχει στη διεπαφή του τις εξής επιλογές: Γενικά χαρακτηριστικά της ενότητας: ο τίτλος, ένα σύντομος τίτλος που χρησιμοποιείται στις λίστες που εμφανίζονται οι ενότητες και η περιγραφή της κάθε ενότητας. 49

53 Επίσης σε κάθε ενότητα ο καθηγητής έχει τη δυνατότητα να τη συνδέση με τις υπάρχουσες στο σύστημμα ερωτήσεις. Όταν ο καθηγητής θέλει να δημιουργήσει, να δει ή να επεξεργαστεί ένα μάθημα θα έχει στη διεπαφή του τις εξής επιλογές: Γενικά χαρακτηριστικά της ενότητας: ο τίτλος, ένα σύντομος τίτλος που χρησιμοποιείται στις λίστες που εμφανίζονται τα μαθήματα και η περιγραφή του κάθε μαθήματος. Επίσης σε κάθε μάθημα ο καθηγητής έχει τη δυνατότητα να το συνδέσει με τις υπάρχουσες στο σύστημα ερωτήσεις Είναι σημαντικό να κατανοήσει ο καθηγητής ότι δημιουργώντας ένα μάθημα στην ουσία δημιουργεί ένα νέο τεστ. Έτσι εξορισμού κάθε μάθημα ανήκει σε ένα τεστ. Και κάθε μάθημα αποτελείται από ενότητες. Και οι ενότητες αποτελούνται από ερωτ ησεις. Στη σελίδα με τα στατιστικά δεδομένα του κάθε μαθητή, ο καθηγητής θα μπορεί να δει ποια τεστ, έχει κάνει ο μαθητής και τα αποτελέσματα του σ αυτά τα τεστ. Θα μπορεί να δει τα αποτελέσματα είτε ανα μαθητή, είτε ανα μάθημα.στη σελίδα με τα γενικά στατιστικά χαρακτηριστικά ο καθηγητής θα μπορεί να συγκρίνει τις επιδόσεις των μαθητών του στα τεστ. Θα μπορεί επίσης να ελέγχει και την πορεία του μαθητή, καθώς ο μαθητής θα μπορεί να κάνει το τεστ του ίδιου μαθήματος, παραπάνω από μία φορά Βασικά μέρη Τα βασικά μέρη του συστήματος είναι: Η βάση με τις ερωτήσεις: είναι η βάση των ερωτήσεων ή των αντικειμένων που σχετίζονται με το τεστ. Όλες αυτές οι ερωτήσεις βαθμονομούνται με βάση κάποιες παραμέτρους που θα αναφερθούν παρακάτω. Η μονάδα της έκδοσης του τεστ: είναι το εργαλείο που έχουν οι διαχειριστές- καθηγητές για να ορίσουν τα τεστ και τη δομή τους- θέματα, ερωτήσεις, σχέσεις μεταξύ τους, και η βαρύτητα κάθε τομέα στο τεστ. Αυτές οι πληροφορίες αποθηκεύονται στη βάση των ερωτήσεων. Σ αυτή τη μονάδα ορίζεται η βασική δομή ενός τεστ που είναι η εξής: Κάθε τεστ θα δομείται από ερωτήσεις, που θα τίθενται στον μαθητή μία μία. Μετά από κάθε απάντηση μίας ερώτησης, το τεστ θα δίνει στο μαθητή μία επεξήγηση για αυτή την ερώτηση και θα τον επιβραβεύει ή θα τον διορθώνει αναλόγως αν έχει απαντήσει σωστά λάθος. Μετά από κάθε ερώτηση θα εκτιμάται το επίπεδο της γνώσης του μαθητή και με βάση αυτή την επίδοση, η μονάδα δημιουργίας τεστ θα θέτει στο μαθητή το επόμενο μπλοκ ερωτήσεων ή την επόμενη ερώτηση. Στο τέλος του τεστ θα δίνεται στο μαθητή η τελική του βαθμολογία, με τα ανάλογα σχόλια, ώστε να βοηθήσει το μαθητή να διορθώσει και να αυξήσει τις γνώσεις του Στη μονάδα έκδοσης ενός τεστ, ο σχεδιαστής του τεστ μπορεί επίσης να προσδιορίσει κάποιες προδιαγραφές του τεστ, που θα καθοδηγήσουν τη διαδικασία επιλογής του αντικειμένου, και το κριτήριο τερματισμού(ο μέγιστος αριθμός των ερωτήσεων που θα τεθούν, ο μικρότερος 50

54 αριθμός ερωτήσεων σε κάθε θέμα, ο βαθμός εμπιστοσύνης για το εκτιμώμενο επίπεδο γνώσης. Η μονάδα επικύρωσης και η ενεργοποίησης: Όταν τα τεστ έχουν προσδιοριστεί, η μονάδα επικύρωσης και η ενεργοποίησης ελέγχει τις λεπτομέρειες του τεστ και τα χαρακτηριστικά του για να επιβεβαιωθεί ότι είναι σωστά ορισμένο το τεστ(για παράδειγμα δεν μπορεί να προσδιοριστεί ένα τεστ που ο ελάχιστος αριθμός ερωτήσεων που θα τεθούν είναι 15, ενώ στη βάση ερωτήσεων περιέχονται 10 ερωτήσεις.) Τότε το τεστ ενεργοποιείται και είναι διαθέσιμο για τους μαθητές που θα δώσουν το τεστ. Το μοντέλο του μαθητή και του καθηγητή: Ένα προσωρινό μοντέλο μαθητή, που δημιουργείται και ανανεώνεται μέσα στο σύστημα για κάθε μαθητή που κάνει το τεστ. Επιπροσθέτως, το μοντέλο του μαθητή αποθηκεύει πληροφορίες για το ποιες ερωτήσεις έγιναν από το σύστημα. Στην ουσία το μοντέλο αυτό παρέχει τις γνώσεις στο σύστημα ώστε να επιλεχθούν σωστά οι ερωτήσεις για τον κάθε μαθητή. Η μονάδα παραγωγής του τεστ(test editor): Η μονάδα παραγωγής του τεστ είναι το βασικό κομμάτι του συστήματος. Είναι υπεύθυνη για την επιλογή των ερωτήσεων που θα τεθούν σε κάθε μαθητή καθώς επίσης για τον τρόπο με τον οποίο θα δομείται το τεστ. Ο συντάκτης του τεστ είναι το εργαλείο που χρησιμοποιείται από τους καθηγητές για να σχεδιάσουν το τεστ. Μέσω του συστήματος οι καθηγητές θα ορίζουν τις παραμέτρους των τεστ που θα υποβληθούν στους μαθητές και αυτές θα αποθηκευτούν στη βάση, έτσι ώστε αργότερα η μονάδα δημιουργίας του τεστ να τα χρησιμοποιήσει. Η διαδικασία διευθέτησης των ερωτήσεων θα καθοδηγείται από το μοντέλο του μαθητή και από τις προδιαγραφές του τεστ..(green et al, 1984) (Van der Linden et al,2000) Μοντέλο χρήστη Το μοντέλο του χρήστη αποτελεί μία ολοκληρωμένη περιγραφή κυρίως των γνώσεων του χρήστη βάσει του οποίου πραγματοποιείται η εφαρμογή του συστήματος. Το μοντέλο χρήστη αποθηκεύει πληροφορίες που αποθηκεύονται σε κάθε χρήστη ξεχωριστά. Οι στόχοι και οι γνώσεις του χρήστη αποτελούν μέρος των πληροφοριών του μοντέλου χρήστη. Υπάρχουν πολλά πιθανά χαρακτηριστικά που μπορούν να αποθηκευτούν στο μοντέλο χρήστη. Είναι πολύ σημαντικό να γίνεται η σωστή επιλογή των χαρακτηριστικών έτσι ώστε το μοντέλο του χρήστη να μην είναι ούτε ελλιπές, αλλά ούτε και αρκετά πολύπλοκο ώστε να επιβαρύνεται η λειτουργία του συστήματος. Στο συγκεκριμένο σύστημα, υπάρχουν δύο διαφορετικά μοντέλα χρήστη, το μοντέλο του καθηγητή και το μοντέλο του μαθητή. Το μοντέλο του καθηγητή είναι ένα αρκετά απλό μοντέλο χρήστη, μιας και το σύστημα επικεντρώνεται πιο πολύ στο μαθητή, και προσαρμόζεται στις δικές του ικανότητες. Ο καθηγητής έχει περισσότερο το ρόλο του διαχειριστή σ αυτό το σύστημα, και από τα βασικά χαρακτηριστικά του ρόλου του είναι οι στόχοι του, όσον αφορά το κάθε τεστ που θα δημιουργεί για τους μαθητές του. Το μοντέλο του μαθητή χρησιμοποιείται προκειμένου να προσφέρει στον κάθε μαθητή εξατομικευμένες υπηρεσίες. Η χρήση του μοντέλου του μαθητή είναι πολύ σημαντική γιατί χωρίς το μοντέλο μαθητή το σύστημα θα συμπεριφέρεται με τον ίδιο τρόπο σε όλους τους μαθητές χωρίς να λαμβάνει υπόψη της 51

55 ιδιαιτερότητές τους και δε θα προσαρμόζεται στην εξέλιξη των δεξιοτήτων τους. Βασικά χαρακτηριστικά του μοντέλου του μαθητή είναι: Οι στόχοι του μαθητή Η γνώση του σε σχέση με τη μονάδα γνώσης πεδίου Το γνωστικό υπόβαθρο και οι εμπειρίες Οι προτιμήσεις του μαθητή Να διευκρινιστεί ότι το επίπεδο γνώσης μετριέται με διακριτές τιμές από το 1 μέχρι το 5, όπου το 1 δηλώνει την πλήρη έλλειψη γνώσης και το 5 δηλώνει την άριστη γνώση. Το μοντέλο του μαθητή περιλαμβάνει πληροφορίες που ελέγχονται εξωτερικά από το χρήστη, αλλά και πληροφορίες που το σύστημα διατηρεί εσωτερικά. Οι πληροφορίες που ελέγχονται από το μαθητή είναι οι στόχοι του, η γνώσεις του, οι εμπειρίες του. Οι πληροφορίες αυτές, στην αρχή, εισάγονται στο σύστημα από το μαθητή. Το σύστημα ωστόσο είναι αυτό που θα ελέγχει τις γνώσεις του χρήστη σχετικά με τη μονάδα γνώσης πεδίου. Οι πληροφορίες αυτές θα προέρχονται από τα τεστ που θα κάνει ο χρήστης μέσω του συστήματος, και το σύστημα θα διατηρεί ένα ιστορικό των τεστ αυτών, με αποτέλεσμα να μπορεί να εμφανίζει οποιαδήποτε στιγμή το επίπεδο γνώσης του χρήστη πάνω σε ένα συγκεκριμένο θέμα που εξετάζεται. Στο μοντέλο θα διατηρείται το επίπεδο του μαθητή σε κάθε τομέα, οπότε κάθε φορά που ο μαθητής θα κάνει ένα τεστ, σε ένα τομέα, το σύστημα θα συμβουλεύεται το μοντέλο του μαθητή και θα προσαρμόζει το τεστ στο επίπεδο γνώσης που κατέχει ο μαθητής. Καθηγητής Μαθητές Τεστ editor Μοντέλο μαθητή Γεννήτρια προσαρμοστικού τεστ αυτοαξιολόγησης Ερωτήσεις, ενότητες προδιαγραφές του τεστ και αναδράσεις Επιλεγμένες ενότητες, Επιλεγμένες ερωτήσεις και αναδράσεις Επικύρωση και ενεργοποίηση 52

56 Εικόνα 5.1 Η αρχιτεκτονική του συστήματος 5.3 Η αναπαραγωγή ενός τεστ (test generator) Ο αλγόριθμος αναπαραγωγής του τεστ αποτελείται από τρεις βασικές διαδικασίες: Την επιλογή αντικειμένου Την εκτίμηση του επιπέδου γνώσης Και το κριτήριο τερματισμού Η επιλογή αντικειμένου Η επιλογή του επόμενου αντικειμένου γίνεται με βάση το κριτήριο μέγιστης πληροφορίας. Το σύστημα χαρακτηρίζεται από την προσαρμογή των ερωτήσεων αναλόγως με το επίπεδο γνώσης του μαθητή, και η επιλογή αυτού του κριτηρίου δίνει στο σύστημα αυτή τη δυνατότητα. εξεταζόμενων, των οποίων η ικανότητα είναι σε κοντινά επίπεδα. Χρησιμοποιώντας την IRT θεωρία και πιο συγκεκριμένα το Rasch μοντέλο, μπορεί να υπολογιστεί το ποσό των πληροφοριών που παρέχονται σε ένα δεδομένο επίπεδο ικανότητας. Σύμφωνα με την προσέγγιση μέγιστης πληροφορίας για το CAT, το "καλύτερο" επόμενο αντικείμενο είναι αυτό που παρέχει τις περισσότερες πληροφορίες (Στην πράξη περιορισμούς που έχουν ενσωματωθεί στη διαδικασία επιλογής.) Με την IRT θεωρία, η μέγιστη πληροφορία μπορεί να προσδιοριστεί ποσοτικά από την Fisher information theory. Ο τύπος είναι ο παρακάτω όπου P ι (θ) είναι η πιθανότητα να απαντήσει σωστά το αντικείμενο και qi(θ) η πιθανότητα να απαντήσει λάθος. Επίσης το σύστημα θα χαρακτηρίζεται και από κάποιες αρχές του Owen: Τυχαία επιλογή αντικειμένου. Αν το κριτήριο επιλογής δε διαφοροποιεί τις δύο ή περισσότερες ερωτήσεις μεταξύ τους, τότε η ερώτηση επιλέγεται τυχαία ανάμεσα από τις εναλλακτικές επιλογές. Αποφυγή των ίδιων ερωτήσεων. Σε περίπτωση που ο μαθητής, θέλει να ξανακάνει το τεστ, το σύστημα θα αποφύγει να το παρέχει τις ίδιες ερωτήσεις που του δόθηκαν προηγουμένως. Αυτή η στρατηγική επιλογής στηρίζεται στις πληροφορίες που αποθηκεύονται στο προσωρινό μοντέλο του μαθητή, σχετικά με το τεστ και ποιες ερωτήσεις του τεστ του τέθηκαν προηγουμένως. 53

57 5.3.2 Η εκτίμηση του επιπέδου γνώσης Επιλέγεται μία από τις καλύτερες ερωτήσεις, και το σύστημα τη θέτει στο μαθητή. Παρακάτω θα περιγράφει ο τρόπος με τον οποίο το σύστημα θα υπολογίζει το νέο επίπεδο γνώσης του μαθητή, κάθε φορά που απαντά σε μία ερώτηση. Το σύστημα θα αξιολογήσει τη γνώση του μαθητή χρησιμοποιώντας το logistic μοντέλο της μία παραμέτρου, μοντέλο Rasch. (Van der Linden et al,2000) Η παρακάτω εξίσωση δείχνει την υπολογιζόμενη πιθανότητα να απαντηθεί σωστά η ερώτηση, όταν η δοθούσα τιμή του επιπέδου γνώσεις είναι θ και είναι γνωστές οι τιμές της ICC παραμέτρου και α είναι σταθερά. Στη συνέχεια χρησιμοποείται η μέθοδος maximum likelihood, η οποία θα υπολογίσει την καλύτερη τιμή για τη γνώση του μαθητή λαμβάνοντας υπόψη της όλες τις προηγούμενες απαντήσεις του μαθητή. Η συνάρτηση που μας δίνει τη μέγιστη τιμή του επιπέδου γνώσης είναι η εξής: Οπου u i είναι η απάντηση του μαθητή και είναι 1 όταν η απαντήσει σωστά ο μαθητής και 0 όταν απαντήσει λάθος Το κριτήριο τερματισμού Το κριτήριο τερματισμού ορίζεται αυτόματα από το σύστημα. Έχουν τεθεί κάποιοι κανόνες τερματισμού, οι οποίοι, είναι οι παρακάτω: Το τεστ σταματάει όταν ο μαθητής έχει απαντήσεις στις ερωτήσεις όλων των ενοτήτων του τεστ. Ο μέγιστος αριθμός ερωτήσεων που μπορούν να τεθούν σε κάθε ενότητα είναι 10. Ο μαθητής βαθμολογείται σε κάθε ενότητα ξεχωριστά. Επομένως αν ο μαθητής φτάσει στο μέγιστο επίπεδο σε μια ενότητα, που είναι το 5, πριν από τις 10 ερωτήσει ς, τότε αλλάζει ενότητα, αν υπάρχει και άλλη ενότητα στο τεστ ή τερματίζεται το τεστ. Ένα από τα βασικά χαρακτηριστικά του συστήματος είναι ότι ο μαθητής, αφού απαντήσει σε μία ερώτηση, το σύστημα του παρέχει ανάδραση και του γνωστοποιεί αν απάντησε λάθος ή σωστά. Για να 54

58 μην μπορεί ο μαθητής να εξαπατήσει το σύστημα πατώντας το κουμπί της επιστροφής στην προηγούμενη σελίδα, έχει δημιουργηθεί ένας μηχανισμός έτσι ώστε να μην μπορεί ο μαθητής να επιστρέψει, αλλά να συνεχίζει στην επόμενη ερώτηση του τεστ, σύμφωνα με το νέο εκτιμώμενο επίπεδο γνώσης. Όπως φαίνεται και στο σχέδιο παρακάτω, σε κάθε περίπτωση που ο μαθητής μεταβιβάζεται από τη μία κατάσταση στην άλλη, υπολογίζεται κάθε φορά η νέα εκτιμώμενη επίδοση του. Επομένως αν ο μαθητής προσπαθήσει να επαναλάβει την ίδια ερώτηση, το σύστημα θα τον οδηγήσει είτε σε μία νέα ερώτηση προσαρμοσμένη στην νέα τιμή του επιπέδου γνώσης του, είτε στο τελικό αποτέλεσμα και στις τελικές παρατηρήσεις του συστήματος. ερώτηση Ανάδραση Τελικό αποτέλεσμα και σχόλια Εικόνα 5.2 Καταστάσεις συστήματος Ο αλγόριθμος του συστήματος Στο σύστημα αυτό χρησιμοποιείται ένας επαναληπτικός αλγόριθμος που ξεκινά με μια αρχική εκτίμηση του επιπέδου επάρκειας του εξεταζόμενο και έχει τα εξής βήματα: Ξεκινάει νέα ενότητα Όλες οι ερωτήσεις στη βάση δεδομένων (που δεν έχουν χορηγηθεί ακόμη) εξετάζονται για να καθοριστεί ποια θα είναι η καλύτερη για να δοθεί στον εξεταζόμενο σύμφωνα με την τρέχουσα εκτίμηση του επίπεδο του. Τίθεται το ερώτημα, και ο εξεταζόμενος ανταποκρίνεται. Σύμφωνα με την απάντηση, μια νέα εκτίμηση του επιπέδου επάρκειας υπολογίζεται. Τα βήματα 2 εως 4 επαναλαμβάνονται μέχρις ότου πληρείται το κριτήριο παύσης της ενότητας. Αν πληρούνται τα κριτήρια τερματισμού τις ενότητας, τότε επαναλαμβάνονται τα βήματα από το 1 ο, μέχρις ότου πληρούνται τα κριτήρια τερματισμού του τεστ. 55

59 ΑΡΧΗ επιλογή ενότητας επιλογή και παρουσίαση του πρώτου αντικειμένου επιλογή και παρουσίαση επόμενου αντικειμένου ΟΧΙ ΟΧΙ εκτίμηση ικανότητας απάντηση μαθητή Συνάντησε το κριτήριο τερματισμού της ενότητας? ΝΑΙ Τελική εκτίμηση ικανότητας ΝΑΙ Συνάντησε το κριτήριο τερματισμού του τεστ? ΤΕΛΟΣ Εικόνα 5.3 Διάγραμμα ροής του συστήματος 56

60 5.4 Υλοποίηση του συστήματος Το σύστημα αυτό δημιουργήθηκε ώστε οι καθηγητές και οι μαθητές να μπορούν να έχουν πρόσβαση σ αυτό μέσω Ιντερνετ. Υλοποιήθηκε με τη χρήση της PHP και της mysql. Το σύστημα μπορεί να χρησιμοποιηθεί με δύο βασικούς τρόπους: Από τον καθηγητή. Ο καθηγητής μπορεί χρησιμοποιώντας το σύστημα να δημιουργήσει quiz για κάθε μάθημα που δημιουργεί, εισάγοντας τις ενότητες του μαθήματος και τις ερωτήσεις που αντιστοιχούν σ αυτές τις ενότητες. Επίσης ο καθηγητής διαχειρίζεται και άλλα θέματα όπως τους χρήστες, είτε αυτοί είναι άλλοι καθηγητές, είτε είναι μαθητές. Και επίσης έχει τη δυνατότητα να δει τα στατιστικά στοιχεία που προκύπτουν από τα quiz που έχουν κάνει οι μαθητές. Από το μαθητή: ο μαθητής έχει περιορισμένες αλλά ουσιώδεις λειτουργίες. Μπορεί να ελέγχει τα δικά του προσωπικά στοιχεία και να βλέπει τα αποτελέσματα του σε όσα τεστ έχει κάνει. Καταλαβαίνοντας έτσι σε ποιο επίπεδο γνώσης βρίσκεται κ τι επιπλέον προσπάθειες μπορεί να χρειάζονται για να ανεβάσει το επίπεδο του. Η βασικότερη λειτουργία του μαθητή, είναι αυτή της διεξαγωγής του τεστ. Ο μαθητής στην αντίστοιχη σελίδα μπορεί να επιλέξει να κάνει κάποιο από τα τεστ που του προτείνει ο καθηγητής. 57

61 Παρακάτω βλέπουμε το διάγραμμα περιπτώσεων χρησης του συστήματος. Σ αυτό το διάγραμμα διακρίνονται οι λειτουργίες του καθηγητή και του μαθητή. Σύστημα αυτοαξιολόγησης εισαγωγ εμφάνισ επεξεργασία χρήστες διαγραφή εισαγωγ Μαθητης επεξεργασία προσωπικών στοιχείων εμφάνισ επεξεργασία ερωτηση διαγραφή εισαγωγ quiz Επιλογή μαθημάτος εμφάνισ επεξεργασία ενότητα διαγραφή καθηγητής Κάνει το quiz εισαγωγ εμφάνισ επεξεργασία διαγραφή μάθημα Αποτελέσματα από όλα τα quiz Εμφάνιση quiz Απόκρυψη quiz quiz Ανα μαθητή Ανά ενότητα Στατιστικά στοιχεια Επεξεργασία Προσωπικών στοιχείων Εικόνα 5.4 Διάγραμμα περιπτώσεων 58

62 Καταρχήν το σύστημα στην κεντρική του σελίδα καλωσορίζει το χρήστη και τον προτρέπει να εισάγει τον κωδικό του για να μπορέσει να μπει στο περιβάλλον. Εικόνα 5.5 Αρχική εικόνα του συστήματος Αν ο χρήστης είναι ο καθηγητής τότε θα μπει στην κυρίως σελίδα του καθηγητή και από το μενού στα δεξιά θα μπορεί να επιλέξει την επόμενη του κίνηση. Ο καθηγητής όπως φαίνεται και στις παρακάτω εικόνες μπορεί, αρχικά να δει τα δικά του προσωπικά στοιχεία, να ελέγχει τα στοιχεία των άλλων χρηστών(είτε αυτοί είναι καθηγητές είτε μαθητές) και να εισάγει νέους χρήστες. Μπορεί επίσης να δημιουργήσει τεστ, εισάγοντας αρχικά τις ερωτήσεις, τις ενότητες, τα μαθήματα και κατόπιν ενεργοποιώντας αυτό το τεστ, ώστε να εμφανίζεται στο χρήστη. Μπορεί φυσικά να επεξεργαστεί όλα τα προαναφερθέντα στοιχεία. Η παρακάτω εικόνα μας δείχνει τις επιλογές για τους χρήστες του συστήματος. Εικόνα 5.6 Κεντρική σελίδα χρηστών (διεπαφή καθηγητή) 59

63 Παρακάτω φαίνεται η διεπαφή του καθηγητή όσον αφορά τις ερωτήσεις. Εικόνα 5.7 Κεντρική σελίδα ερωτήσεων(διεπαφή καθηγητή) Εικόνα 5.8 Εισαγωγή νέας ερώτησης (διεπαφή καθηγητή) 60

64 Εικόνα 5.9 Εμφάνιση της ερώτησης (διεπαφή καθηγητή) Εικόνα 5.10 Επεξεργασία της ερώτησης (διεπαφή καθηγητή) 61

65 Παρακάτω φαίνεται η διεπαφή του καθηγητή όσον αφορά τις ενότητες. Εικόνα 5.11 Κεντρική σελίδα των ενοτήτων (διεπαφή καθηγητή) 62

66 Εικόνα 5.12 Εισαγωγή νέας ενότητας (διεπαφή καθηγητή) 63

67 Εικόνα 5.13 Εμφάνιση της ενότητας (διεπαφή καθηγητή) Εικόνα 5.14 Επεξεργασία της ενότητας (διεπαφή καθηγητή) 64

68 Παρακάτω φαίνεται η διεπαφή του καθηγητή όσον αφορά τα μαθήματα. Εικόνα 5.15 Κεντρική σελίδα των μαθημάτων (διεπαφή καθηγητή) Εικόνα 5.16 Εμφάνιση του μαθήματος (διεπαφή καθηγητή) 65

69 Παρακάτω φαίνεται η διεπαφή του καθηγητή όσον αφορά τα τεστ. Ο καθηγητής από αυτή τη σελίδα αποφασίζει αν θα φαίνετα το τεστ στο μαθητή ή όχι. Στοιχεία. Εικόνα 5.17 Εμφάνιση της κεντρικής σελίδας των τεστ (διεπαφή καθηγητή) Παρακάτω φαίνεται η διεπαφή του καθηγητή όσον αφορά τα στατιστικά στοιχεία. Εικόνα 5.18 Εμφάνιση της κεντρικής σελίδας των στατιστικών στοιχείων(διεπαφή καθηγητή) Αν ο χρήστης είναι ο μαθητής τότε θα μπει στην κυρίως σελίδα του μαθητή και από το μενού στα δεξιά θα μπορεί να επιλέξει την επόμενη του κίνηση. Ο μαθητής όπως φαίνεται και στις παρακάτω εικόνες μπορεί, αρχικά να δει τα δικά του προσωπικά στοιχεία, να πάει στη σελίδα των τεστ και να επιλέξει το τεστ που θέλει να κάνει. Και τελος μπορεί να δει τα στατιστικά του στοιχεία 66

70 Οι παρακάτω εικόνες μας δείχνει τη διεπαφή του χρήστη όσον αφορά το quiz. Από αυτή τη σελίδα ο μαθητής επιλέγει το τεστ που θέλει να κάνει. Εικόνα 5.19 Εμφάνιση της κεντρικής σελίδας των τεστ (διεπαφή μαθητή) Εικόνα 5.20 Η ερώτηση στο μαθητή και το feedback όταν απαντήσει (διεπαφή μαθητή) 67

71 Εικόνα 5.21 Τέλος της ενότητας και το feedback ανάλογα με το επίπεδο του(διεπαφή μαθητή) Εικόνα 5.23 Τέλος του quiz και η βαθμολογία ανα ενότητα και γενική (διεπαφή μαθητή) 68

72 Παρακάτω φαίνεται η διεπαφή του μαθητή όσον αφορά τα στατιστικά στοιχεία. Εικόνα 5.24 Στατιστικά στοιχεία (διεπαφή μαθητή) 5.5 Αξιολόγηση του συστήματος Το σύστημα που δημιουργήθηκε είναι ένα σύστημα προσαρμοστικής αυτοαξιολόγησης. Ο χαρακτηρισμός του ως προσαρμοστικό και ως σύστημα αυτοαξιολόγησης απαιτεί την αξιολόγηση του και ως προς τις δύο κατευθύνσεις. Το σύστημα θα πρέπει να αξιολογηθεί ως προς τη χρησιμότητα, την εγκυρότητα, την αξιοπιστία, την ικανοποίηση, τη χρηστικότητα, την ανταπόκριση, τη διαχείριση και την ασφάλεια. Η αξιολόγηση του συστήματος αποτελείται από δύο φάσεις. Στην πρώτη φάση, που υλοποιήθηκε κιόλας, έγινε μία εικονική αναπαράσταση, χρήσης του, από εικονικούς μαθητές. Στη δεύτερη φάση, που αποτελεί, ένα από τα άμεσα μελλοντικά κομμάτια υλοποίησης, θα ζητηθεί από πραγματικούς μαθητές να χρησιμοποιήσουν το σύστημα. Στην πρώτοι φάση, οι εικονικοί μαθητές εξετάστηκαν πάνω στο αντικείμενο «Πληροφορική για τους υποψήφιους στον ΑΣΕΠ». 30 άτομα στο σύνολο χρησιμοποίησαν το σύστημα για να κάνουν το προσαρμοστικό τεστ αυτοαξιολόγησης. Θεωρήθηκε ότι όλοι οι μαθητές ξεκίνησαν να κάνουν το τεστ αυτοαξιολόγησης, χωρίς να έχει δηλωθεί κάποιο επίπεδο. Το σύστημα, αφού ανίχνευσε στις πρώτες ερωτήσεις το επίπεδο των μαθητών, στη συνέχεια άρχισε να προσαρμόζεται δίνοντας πιο εύκολες, ή πιο δύσκολές ερωτήσεις, αναλόγως. Εφόσον έχει υλοποιηθεί μόνο οι πρώτη φάση της αξιολόγησης, δεν έχουν ελεγχθεί κάποιοι παράμετροι, όπως οι παράμετροι χρηστικότητα, ικανοποίησης, ανταπόκρισης και διαχείρισης που απαιτούν τη χρήση του συστήματος από πραγματικούς μαθητές. 69