Εφαρμογές της Θεωρίας Απόκρισης Ερωτήματος (Item Response Theory) για την εξέταση των ψυχομετρικών ιδιοτήτων ερωτηματολογίων και κλιμάκων μέτρησης στις κοινωνικές επιστήμες Νικόλαος Τσιγγίλης Τμήμα Δημοσιογραφίας και ΜΜΕ, ΑΠΘ ntsigilis@jour.auth.gr
Η πρόκληση στις κοινωνικές επιστήμες Μέτρηση και αξιολόγηση λανθανουσών μεταβλητών (κατάθλιψη, αυτoεκτίμηση, επαγγελματική ικανοποίηση, σχέσεις μαθητού εκπαιδευτικού, μαθηματική ικανότητα) Βασικός στόχος, τουλάχιστον στο χώρο της ψυχολογίας και της εκπαίδευσης, είναι ο καθορισμός του βαθμού ύπαρξης της λανθάνουσας μεταβλητής Κλασσική θεωρία μέτρησης (Classical Test Theory, CTT) Παραγοντική ανάλυση, Εσωτερική συνοχή, Συσχέτιση ερωτήματος συνολικού σκορ
Αδυναμίες της CTT Ίση συνεισφορά των ερωτημάτων στη συνολική επίδοση Self-Harm Inventory (Sansone, Wiederman, & Sansone, 1998) 22 ερωτήματα ΝΑΙ ΟΧΙ Έχετε χαράξει τον εαυτό σας σκόπιμα; Έχετε οδηγήσει απερίσκεπτα; Έχετε επιχειρήσει αυτοκτονία; Σκορ 5 και πάνω ένδειξη προβλήματος 2 22 = 4.194.304
Αδυναμίες της CTT ΣΑ Σ Ο Δ ΔΑ 5 4 3 2 1 ΣΑ Σ Ο Δ ΔΑ 4 3 2 1 0 1 ος Συμμετέχων = 5 * ΣΑ = 25 2 ος Συμμετέχων = 5 * ΔΑ = 5 3 ος Συμμετέχων = 5 * Ο = 15 1 ος Συμμετέχων = 5 * ΣΑ = 20 2 ος Συμμετέχων = 5 * ΔΑ = 0 3 ος Συμμετέχων = 5 * Ο = 10 Bond & Fox (2007)
Τι είναι η Θεωρία Απόκρισης Ερωτήματος (Item Response Theory, IRT)? Επιχειρεί να μοντελοποιήσει τις αποκρίσεις στα ερωτήματα μιας κλίμακας ή ενός τεστ ως συνάρτηση της ικανότητας των συμμετεχόντων (theta, θ) και των παραμέτρων των ερωτημάτων Διαχωρίζει τη δυσκολία του ερωτήματος από την ικανότητα του συμμετέχοντα Χρησιμοποιεί τη λογαριθμική συνάρτηση για να μετατρέψει μια κλίμακα διάταξης (e.g., Likert scores) σε συνεχή κλίμακα (λογαριθμικές μονάδες - logits)
Εφαρμογές της IRT Ανάπτυξη ερωτηματολογίων και κλιμάκων Εξέταση ψυχομετρικών χαρακτηριστικών ήδη υπαρχόντων Δημιουργία συντομευμένων μορφών
Καμπύλη απόκρισης ερωτήματος Item Characteristic Curve (ICC), Item Response Function (IRF) Οπτική παρουσίαση των χαρακτηριστικών - παραμέτρων των ερωτημάτων Η μορφή της διαφέρει ανάλογα με τη συνθετότητα του μοντέλου
IRT παράμετροι (1) Παράμετρος δυσκολίας (Difficulty or Location parameter, b) Το ποσό της λανθάνουσας ικανότητας που απαιτείται για να υπάρχει 50% πιθανότητα να απαντηθεί σωστά το ερώτημα Μεγαλύτερες τιμές της παραμέτρου δηλώνουν δυσκολότερα ερωτήματα Παρουσιάζεται ως σημείο στο άξονα των x (λανθάνουσα ικανότητα) με τιμές από -3 to +3 1PL model - Rasch model
Ίδια διακριτότητα - Διαφορετική δυσκολία Τα ερωτήματα στα δεξιά απαιτούν μεγαλύτερα επίπεδα λανθάνουσας ικανότητας και συνεπώς είναι πιο δύσκολα
IRT παράμετροι (2) Παράμετρος διακριτότητας (Discrimination parameter, a) Δηλώνει το βαθμό στον οποίο το ερώτημα διαχωρίζει συμμετέχοντες με παραπλήσια λανθάνουσα ικανότητα Αρκετά χαμηλή.01 -.34 Χαμηλή.35 -.64 Μέτρια.65 1.34 Υψηλή 1.35 1.69 Αρκετά υψηλή > 1.70 Βaker, 2001
Διαφορετική διακριτότητα - Ίδια δυσκολία Όσο πιο απότομη είναι η καμπύλη τόσο υψηλότερη η διακριτότητα a = 0.5 2.0 στο χώρο των κλιμάκων προσωπικότητας (Moritz, Ainsworth, & Reise, 2007)
Πληροφορία (information) Έννοια ανάλογη με την αξιοπιστία στην CTT Ι(θ) = 1/se 2 (θ) Αφορά ερωτήματα (Item Information Curve, ΙIC) και κλίμακες (Test Information Curve, TIC) Η πληροφορία δεν είναι σταθερή για όλο το εύρος της λανθάνουσας ικανότητας αλλά μεταβάλλεται
Πληροφορία (information) Στη ανάπτυξη κλιμάκων Σε πιο εύρος λανθάνουσας ικανότητας το ερώτημα έχει υψηλότερη ακρίβεια μέτρησης Στη δημιουργία συντομευμένων μορφών Επικαλύψεις ερωτημάτων
Προϋποθέσεις ανάλυσης Ύπαρξη μίας λανθάνουσας μεταβλητής (Dimensionality) Ένας κυρίαρχος παράγοντας μπορεί να ερμηνεύσει τη μεταβλητότητα των ερωτημάτων Εφαρμογή EFA ή CFA Ο τύπος των ερωτημάτων (δίτιμες ή Likert) Κριτήριο στην EFA λόγος μεταξύ πρώτης και δεύτερης ιδιοτιμής πάνω από 3 (Moritz, Ainsworth, & Reise, 2007)
Προϋποθέσεις ανάλυσης Τοπική ανεξαρτησία (Local Independence) Ανεξαρτησία των ερωτημάτων αφού έχει αφαιρεθεί η επίδραση του παράγοντα CFA covariance residuals τιμές < 2 Εάν παραβιάζεται η τοπική ανεξαρτησία τότε μπορεί να οδηγήσει σε αυξημένες τιμές διακριτότητας (a) (a > 4, Edelen & Reeve, 2007)
Βήματα για την εφαρμογή της IRT Επιλογή του κατάλληλου μοντέλου Εξέταση των προϋποθέσεων της ανάλυσης Υπολογισμός των παραμέτρων των ερωτημάτων (a, b) Έλεγχος καλής προσαρμογής Ερμηνεία των παραμέτρων
Εφαρμογή της IRT Κλίμακα Ποιότητας Σχέσης Παιδαγωγού Παιδιού Young Children s Appraisals of Teacher Support (Y-CATS) (Mantzicopoulos, & Neuharth-Pritchett, 2003) Τρεις διαστάσεις: Συναισθηματική εγγύτητα, Συγκρουσιακή σχέση, Αυτονομία Αυτο-αναφορές από 1904 παιδιά προσχολικής εκπαίδευσης 1PL vs 2PL
Εφαρμογή της CTT CFA Μέθοδος εκτίμησης WLSMV CFI =.976 RMSEA =.036 Cronbach s α =.72 Φορτίσεις =.38 -.73
Καμπύλες απόκρισης ερωτήματος για τη συγκρουσιακή σχέση 1PL Ερωτή ματα Φόρτι ση Δυσκο λία v2co.655 1.328 v5co.524 0.414 v8co.543 0.367 v11co.572 0.505 v14co.725 0.935 v17co.441 0.713 v20co.686 0.491 v22co.378-1.027 v24co.684 0.715 v26co.599 0.491
Καμπύλη πληροφορίας ερωτημάτων
Σύγκριση της προσαρμογής 1PL 2PL 2PL = -2loglikelihood = 10439.14, df = 20 1PL = -2loglikelihood = 10516.15, df = 11 Likelihood Ratio Test = 77.03, df = 9, p <.001 Orlando & Thissen, 2000, 2003
Καμπύλες απόκρισης ερωτήματος για τη συγκρουσιακή σχέση 2PL v22co v17co Ερωτήμ ατα a b v2co 1.698 1.117 v5co.976.503 v8co 1.154.353 v11co 1.194.449 v14co 1.794.759 v17co.785 1.049 v20co 1.611.456 v22co.657-1.581 v24co 1.688.593 v26co 1.232.382
Πληροφορία της υποκλίμακας Σύγκρουση 2PL model
Κατάταξη στον άξονα της λανθάνουσας ικανότητας
CTT vs IRT Classical Test Theory (CTT) Ατομικές διαφορές - συνολικό σκορ Αξιοπιστία για το σύνολο του δείγματος Υψηλή εξάρτηση από τα χαρακτηριστικά του συγκεκριμένου δείγματος Item Response Theory (IRT) Ατομικές διαφορές - Θέση στον άξονα της λανθάνουσας ικανότητας Πληροφορία συνδέεται με το ποσό της λανθάνουσας ικανότητας Διαχωρίζει τη λανθάνουσα ικανότητα από τη δυσκολία του ερωτήματος Ανεξαρτησία από το δείγμα
Σας ευχαριστώ για την προσοχή σας