Ανάλυση Ερωτημάτων σε Ερωτηματολόγια Πολλαπλής Επιλογής Άγγελος Μάρκος, Επίκουρος Καθηγητής ΠΤΔΕ, ΔΠΘ Μάθημα: Μέτρηση στην Εκπαίδευση (Η εξ.) *Το υλικό βρίσκεται αναρτημένο στο http://www.amarkos.gr/material/itemaalysis.pdf
Κλίμακα γνώσεων για τις θάλασσες και τους ωκεανούς 1. 2. 3. 1-2
Ερωτηματολόγιο μαθηματικής ικανότητας 1-3
Rave s IQ Test 1-4
Η Σημασία της Ανάλυσης Ερωτημάτων Τα ερωτήματα ενός τεστ μπορούν να αναλυθούν ποιοτικά αλλά κυρίως ποσοτικά. Η ποιοτική διερεύνηση αφορά κυρίως την εγκυρότητα του περιεχομένου, ενώ η ποσοτική ανάλυση βασίζεται σε στατιστικές μεθόδους. Στόχος της ανάλυσης ερωτημάτων είναι η επιλογή των ερωτημάτων εκείνων που σχετίζονται καλύτερα με την υπό μελέτη έννοια. Δύο βασικές ιδιότητες των ερωτημάτων που πρέπει να αξιολογούνται: Δυσκολία (Difficulty) Διαφοροποίηση (Discrimiatio) Άμεσα συνδεδεμένες με τις ψυχομετρικές ιδιότητες, όπως είναι η Αξιοπιστία και η Εγκυρότητα. 1-5
Δυσκολία Ερωτήματος όπου Ν ο συνολικός αριθμός των εξεταζόμενων. Ο δείκτης δυσκολίας D κυμαίνεται μεταξύ 0 και 1. Μια υψηλή τιμή, όπως 0,9 σημαίνει ότι τα περισσότερα άτομα έχουν απαντήσει σωστά και το ερώτημα είναι σχετικά εύκολο. Αντίθετα, όταν το D έχει μια χαμηλή τιμή, όπως 0,2 σημαίνει ότι τα περισσότερα άτομα έχουν απαντήσει λανθασμένα, δηλαδή ότι το ερώτημα είναι σχετικά δύσκολο. Ιδανικό επίπεδο δυσκολίας, D = 0,5 για μέγιστη διακύμανση. Τα περισσότερα ερωτήματα να κυμαίνονται μεταξύ 0,3 και 0,7, αλλά εξαρτάται από το είδος του τεστ. 1-6
Δυσκολία Ερωτήματος Τιμή δείκτη δυσκολίας Χαρακτηρισμός Κάτω από 0,2 Πολύ δύσκολο 0,21 0,40 Δύσκολο 0,41 0,60 Μέτριας δυσκολίας 0,61 0,80 Εύκολο 0,81 1,00 Πολύ εύκολο 1-7
Να υπολογίσετε το δείκτη δυσκολίας για τα Ερωτήματα 1 ως 5. Μαθητής Συνολικό σκορ Ερ. 1 Ερ. 2 Ερ. 3 Ερ. 4 Ερ. 5 Α 8 1 1 1 0 1 Β 6 0 1 0 1 1 Γ 6 1 0 0 1 0 Δ 4 1 1 0 0 0 Ε 2 0 0 0 0 0 Ζ 8 1 1 0 1 1 Η 10 1 1 1 1 1 Θ 6 1 1 0 0 1 Ι 8 1 0 1 1 1 Κ 4 1 0 1 0 0 Π.χ. D 1 = 8 / 10 = 0,8 άρα εύκολο ερώτημα. 1-8
Ανάλυση Διαφοροποίησης Ερωτημάτων Χρησιμοποιείται για τον προσδιορισμό των ερωτημάτων που μετρούν καλύτερα την έννοια ή το περιεχόμενο που αξιολογεί το τεστ. Η ανάλυση προσδιορίζει αν ένα ερώτημα διαφοροποιεί τα άτομα που αποδίδουν και τα άτομα που δεν αποδίδουν ικανοποιητικά. Ένα «καλό» ερώτημα είναι εκείνο στο οποίο τα άτομα που βαθμολογούνται με υψηλά σκορ στο σύνολο του τεστ δίνουν σωστή απάντηση, ενώ τα άτομα που βαθμολογούνται με χαμηλά σκορ στο σύνολο του τεστ δίνουν λανθασμένη απάντηση. Η διαφοροποίηση (discrimiatio) ερωτημάτων υπολογίζεται με δύο τρόπους: ο δείκτης διαφοροποίησης η συσχέτιση ερωτήματος συνολικού σκορ 1-9
Διαφοροποίηση Ερωτήματος Αρχικά, οι συμμετέχοντες χωρίζονται σε δύο ομάδες, την ομάδα υψηλών επιδόσεων (ανώτερο 25%, Q75 και άνω) και την ομάδα χαμηλών επιδόσεων (κατώτερο 25%, Q25 και κάτω). Ο δείκτης διαφοροποίησης ενός ερωτήματος (item discrimiatio) δίνεται από τον τύπο: όπου $ = & (! " +! # α: ο αριθμός των ατόμων στην ομάδα υψηλών επιδόσεων που απαντούν σωστά στο ερώτημα b: ο αριθμός των ατόμων στην ομάδα χαμηλών επιδόσεων που απαντούν σωστά στο ερώτημα! " : ο αριθμός των ατόμων στην ομάδα υψηλών επιδόσεων! # : ο αριθμός των ατόμων στην ομάδα χαμηλών επιδόσεων 1-10
Διαφοροποίηση Ερωτήματος Τιμές του δείκτη > 0,3 δείχνουν ικανοποιητική διαφοροποίηση για το συγκεκριμένο ερώτημα. Τιμές κοντά στο 0 δείχνουν ότι το ερώτημα δεν έχει καμία συνεισφορά στη διαφοροποίηση των ατόμων. Όσο πιο κοντά στο 1 τόσο το ερώτημα συμβάλλει θετικά στην εγκυρότητα του τεστ. Σε αντίθεση με το δείκτη δυσκολίας, ο δείκτης διαφοροποίησης μπορεί να λάβει και αρνητικές τιμές. Τα πιο προβληματικά ερωτήματα είναι εκείνα που ο δείκτης είναι αρνητικός (Γιατί;) 1-11
Διαφοροποίηση Ερωτήματος Τιμή δείκτη διαφοροποίησης Κάτω από 0,2 0,2 0,29 0,3 0,39 Χαρακτηρισμός Ερώτημα που πρέπει να αφαιρεθεί ή να αναθεωρηθεί Οριακά αποδεκτό ερώτημα, χρειάζεται αναθεώρηση Αρκετά καλό ερώτημα αλλά με περιθώρια βελτίωσης 0,4 και άνω Πολύ καλό ερώτημα 1-12
Να υπολογίσετε το δείκτη διαφοροποίησης για τα ερωτήματα 1 ως 5. Μαθητής Συνολικό σκορ Ερ. 1 Ερ. 2 Ερ. 3 Ερ. 4 Ερ. 5 Α 8 1 1 1 0 1 Β 6 0 1 0 1 1 Γ 6 1 0 0 1 0 Δ 4 1 1 0 0 0 Ε 2 0 0 0 0 0 Ζ 8 1 1 0 1 1 Η 10 1 1 1 1 1 Θ 6 1 1 0 0 1 Ι 8 1 0 1 1 1 Κ 4 1 0 1 0 0 Q25 = 4,5, Q75 = 8, Μέσος όρος = 6,2, Τυπική απόκλιση = 2,27 1-13
Να υπολογίσετε το δείκτη διαφοροποίησης για τα ερωτήματα 1 ως 5. Μαθητής Συνολικό σκορ Ερ. 1 Ερ. 2 Ερ. 3 Ερ. 4 Ερ. 5 Α 8 1 1 1 0 1 Β 6 0 1 0 1 1 Γ 6 1 0 0 1 0 Δ 4 1 1 0 0 0 Ε 2 0 0 0 0 0 Ζ 8 1 1 0 1 1 Η 10 1 1 1 1 1 Θ 6 1 1 0 0 1 Ι 8 1 0 1 1 1 Κ 4 1 0 1 0 0 Π.χ. S 1 = 4 / 4 2 / 3 = 1 2/3 = 1/3 = 0,33 (με περιθώρια βελτίωσης) 1-14
Συσχέτιση Ερωτήματος-Συνολικού Σκορ Η συσχέτιση ερωτήματος συνολικού σκορ υπολογίζεται με το δείκτη συσχέτισης poit-biserial, r pbs Γιατί δεν είναι κατάλληλος ο δείκτης r του Pearso; Οι τιμές του δείκτη κυμαίνονται από -1 μέχρι 1. Θετικές τιμές του δείκτη συσχέτισης δείχνουν ότι τα άτομα που απάντησαν σωστά στο ερώτημα έχουν την τάση να έχουν υψηλή επίδοση στο τεστ J Αρνητικές τιμές του δείκτη συσχέτισης δείχνουν ότι τα άτομα που απάντησαν σωστά στο ερώτημα έχουν την τάση να έχουν χαμηλή επίδοση στο τεστ, ενώ αντίθετα το απάντησαν σωστά τα άτομα με χαμηλή συνολική επίδοση L Τι πιστεύετε ότι δείχνουν οι τιμές κοντά στο 0; Τα ερωτήματα που διαφοροποιούν ικανοποιητικά τους συμμετέχοντες θεωρούνται αυτά με συσχετίσεις άνω του 0,3. 1-15
Συσχέτιση Ερωτήματος-Συνολικού Σκορ 1-16
Συσχέτιση Ερωτήματος-Συνολικού Σκορ 1-17
Να υπολογίσετε το δείκτη συσχέτισης για τα ερωτήματα 1 ως 5. Μαθητής Συνολικό σκορ Ερ. 1 Ερ. 2 Ερ. 3 Ερ. 4 Ερ. 5 Α 8 1 1 1 0 1 Β 6 0 1 0 1 1 Γ 6 1 0 0 1 0 Δ 4 1 1 0 0 0 Ε 2 0 0 0 0 0 Ζ 8 1 1 0 1 1 Η 10 1 1 1 1 1 Θ 6 1 1 0 0 1 Ι 8 1 0 1 1 1 Κ 4 1 0 1 0 0 Q25 = 4,5, Q75 = 8, Μέσος όρος = 6,2, Τυπική απόκλιση = 2,27 1-18
Ανάλυση Εναλλακτικών Απαντήσεων Ένας επιπλέπν τρόπος να εξεταστούν τα αποτελέσματα ενός τεστ είναι μέσω της ανάλυσης των εναλλακτικών απαντήσεων που δίνονται στα ερωτήματα πολλαπλής επιλογής (distractor aalysis). Έτσι μπορούν να εντοπιστούν παρανοήσεις (miscoceptios). Λόγοι λανθασμένης απάντησης σε ένα ερώτημα πολλαπλής επιλογής πέρα από το ότι ο εξεταζόμενος δε γνωρίζει την απάντηση: Το ερώτημα έχει παραπάνω από μία σωστές απαντήσεις Το περιεχόμενό του ερωτήματος δε διδάχθηκε Η σωστή απάντηση δεν περιλαμβάνεται στις απαντήσεις Η διατύπωση της εκφώνησης είναι προβληματική (διττό νόημα, διπλή άρνηση) Οι παραπάνω λόγοι συχνά οδηγούν τους εξεταζόμενους να απαντάνε στην τύχη (item guessig à πρόβλημα γιατί επηρεάζει με τεχνητό τρόπο τη δυσκολία των ερωτημάτων) 1-19