Νικόλαος Τσιγγίλης Τμήμα Δημοσιογραφίας και ΜΜΕ, ΑΠΘ

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Νικόλαος Τσιγγίλης Τμήμα Δημοσιογραφίας και ΜΜΕ, ΑΠΘ ntsigilis@jour.auth.gr"

Μάξιμος Ζερβός
8 χρόνια πριν
Προβολές:

1 Εφαρμογές της Θεωρίας Απόκρισης Ερωτήματος (Item Response Theory) για την εξέταση των ψυχομετρικών ιδιοτήτων ερωτηματολογίων και κλιμάκων μέτρησης στις κοινωνικές επιστήμες Νικόλαος Τσιγγίλης Τμήμα Δημοσιογραφίας και ΜΜΕ, ΑΠΘ

ερωτηματολογίων και κλιμάκων μέτρησης στις κοινωνικές

2 Η πρόκληση στις κοινωνικές επιστήμες Μέτρηση και αξιολόγηση λανθανουσών μεταβλητών (κατάθλιψη, αυτoεκτίμηση, επαγγελματική ικανοποίηση, σχέσεις μαθητού εκπαιδευτικού, μαθηματική ικανότητα) Βασικός στόχος, τουλάχιστον στο χώρο της ψυχολογίας και της εκπαίδευσης, είναι ο καθορισμός του βαθμού ύπαρξης της λανθάνουσας μεταβλητής Κλασσική θεωρία μέτρησης (Classical Test Theory, CTT) Παραγοντική ανάλυση, Εσωτερική συνοχή, Συσχέτιση ερωτήματος συνολικού σκορ

χώρο της ψυχολογίας και της εκπαίδευσης, είναι ο καθορισμός του βαθμού ύπαρξης της λανθάνουσας μεταβλητής

3 Αδυναμίες της CTT Ίση συνεισφορά των ερωτημάτων στη συνολική επίδοση Self-Harm Inventory (Sansone, Wiederman, & Sansone, 1998) 22 ερωτήματα ΝΑΙ ΟΧΙ Έχετε χαράξει τον εαυτό σας σκόπιμα; Έχετε οδηγήσει απερίσκεπτα; Έχετε επιχειρήσει αυτοκτονία; Σκορ 5 και πάνω ένδειξη προβλήματος 2 22 =

ΝΑΙ ΟΧΙ Έχετε χαράξει τον εαυτό σας σκόπιμα; Έχετε οδηγήσει απερίσκεπτα;

4 Αδυναμίες της CTT ΣΑ Σ Ο Δ ΔΑ ΣΑ Σ Ο Δ ΔΑ ος Συμμετέχων = 5 * ΣΑ = 25 2 ος Συμμετέχων = 5 * ΔΑ = 5 3 ος Συμμετέχων = 5 * Ο = 15 1 ος Συμμετέχων = 5 * ΣΑ = 20 2 ος Συμμετέχων = 5 * ΔΑ = 0 3 ος Συμμετέχων = 5 * Ο = 10 Bond & Fox (2007)

5 Τι είναι η Θεωρία Απόκρισης Ερωτήματος (Item Response Theory, IRT)? Επιχειρεί να μοντελοποιήσει τις αποκρίσεις στα ερωτήματα μιας κλίμακας ή ενός τεστ ως συνάρτηση της ικανότητας των συμμετεχόντων (theta, θ) και των παραμέτρων των ερωτημάτων Διαχωρίζει τη δυσκολία του ερωτήματος από την ικανότητα του συμμετέχοντα Χρησιμοποιεί τη λογαριθμική συνάρτηση για να μετατρέψει μια κλίμακα διάταξης (e.g., Likert scores) σε συνεχή κλίμακα (λογαριθμικές μονάδες - logits)

συμμετεχόντων (theta, θ) και των παραμέτρων των ερωτημάτων Διαχωρίζει τη δυσκολία του ερωτήματος από την ικανότητα

6 Εφαρμογές της IRT Ανάπτυξη ερωτηματολογίων και κλιμάκων Εξέταση ψυχομετρικών χαρακτηριστικών ήδη υπαρχόντων Δημιουργία συντομευμένων μορφών

7 Καμπύλη απόκρισης ερωτήματος Item Characteristic Curve (ICC), Item Response Function (IRF) Οπτική παρουσίαση των χαρακτηριστικών - παραμέτρων των ερωτημάτων Η μορφή της διαφέρει ανάλογα με τη συνθετότητα του μοντέλου

παρουσίαση των χαρακτηριστικών - παραμέτρων των

8 IRT παράμετροι (1) Παράμετρος δυσκολίας (Difficulty or Location parameter, b) Το ποσό της λανθάνουσας ικανότητας που απαιτείται για να υπάρχει 50% πιθανότητα να απαντηθεί σωστά το ερώτημα Μεγαλύτερες τιμές της παραμέτρου δηλώνουν δυσκολότερα ερωτήματα Παρουσιάζεται ως σημείο στο άξονα των x (λανθάνουσα ικανότητα) με τιμές από -3 to +3 1PL model - Rasch model

ερώτημα Μεγαλύτερες τιμές της παραμέτρου δηλώνουν δυσκολότερα ερωτήματα Παρουσιάζεται ως

9 Ίδια διακριτότητα - Διαφορετική δυσκολία Τα ερωτήματα στα δεξιά απαιτούν μεγαλύτερα επίπεδα λανθάνουσας ικανότητας και συνεπώς είναι πιο δύσκολα

10 IRT παράμετροι (2) Παράμετρος διακριτότητας (Discrimination parameter, a) Δηλώνει το βαθμό στον οποίο το ερώτημα διαχωρίζει συμμετέχοντες με παραπλήσια λανθάνουσα ικανότητα Αρκετά χαμηλή Χαμηλή Μέτρια Υψηλή Αρκετά υψηλή > 1.70 Βaker, 2001

συμμετέχοντες με παραπλήσια λανθάνουσα ικανότητα Αρκετά χαμηλή.01 -.

11 Διαφορετική διακριτότητα - Ίδια δυσκολία Όσο πιο απότομη είναι η καμπύλη τόσο υψηλότερη η διακριτότητα a = στο χώρο των κλιμάκων προσωπικότητας (Moritz, Ainsworth, & Reise, 2007)

12 Πληροφορία (information) Έννοια ανάλογη με την αξιοπιστία στην CTT Ι(θ) = 1/se 2 (θ) Αφορά ερωτήματα (Item Information Curve, ΙIC) και κλίμακες (Test Information Curve, TIC) Η πληροφορία δεν είναι σταθερή για όλο το εύρος της λανθάνουσας ικανότητας αλλά μεταβάλλεται

και κλίμακες (Test Information Curve, TIC) Η πληροφορία δεν είναι

13 Πληροφορία (information) Στη ανάπτυξη κλιμάκων Σε πιο εύρος λανθάνουσας ικανότητας το ερώτημα έχει υψηλότερη ακρίβεια μέτρησης Στη δημιουργία συντομευμένων μορφών Επικαλύψεις ερωτημάτων

14 Προϋποθέσεις ανάλυσης Ύπαρξη μίας λανθάνουσας μεταβλητής (Dimensionality) Ένας κυρίαρχος παράγοντας μπορεί να ερμηνεύσει τη μεταβλητότητα των ερωτημάτων Εφαρμογή EFA ή CFA Ο τύπος των ερωτημάτων (δίτιμες ή Likert) Κριτήριο στην EFA λόγος μεταξύ πρώτης και δεύτερης ιδιοτιμής πάνω από 3 (Moritz, Ainsworth, & Reise, 2007)

Εφαρμογή EFA ή CFA Ο τύπος των ερωτημάτων (δίτιμες ή Likert) Κριτήριο στην EFA

15 Προϋποθέσεις ανάλυσης Τοπική ανεξαρτησία (Local Independence) Ανεξαρτησία των ερωτημάτων αφού έχει αφαιρεθεί η επίδραση του παράγοντα CFA covariance residuals τιμές < 2 Εάν παραβιάζεται η τοπική ανεξαρτησία τότε μπορεί να οδηγήσει σε αυξημένες τιμές διακριτότητας (a) (a > 4, Edelen & Reeve, 2007)

residuals τιμές < 2 Εάν παραβιάζεται η τοπική ανεξαρτησία τότε μπορεί να

16 Βήματα για την εφαρμογή της IRT Επιλογή του κατάλληλου μοντέλου Εξέταση των προϋποθέσεων της ανάλυσης Υπολογισμός των παραμέτρων των ερωτημάτων (a, b) Έλεγχος καλής προσαρμογής Ερμηνεία των παραμέτρων

17 Εφαρμογή της IRT Κλίμακα Ποιότητας Σχέσης Παιδαγωγού Παιδιού Young Children s Appraisals of Teacher Support (Y-CATS) (Mantzicopoulos, & Neuharth-Pritchett, 2003) Τρεις διαστάσεις: Συναισθηματική εγγύτητα, Συγκρουσιακή σχέση, Αυτονομία Αυτο-αναφορές από 1904 παιδιά προσχολικής εκπαίδευσης 1PL vs 2PL

Neuharth-Pritchett, 2003) Τρεις διαστάσεις: Συναισθηματική εγγύτητα,

18 Εφαρμογή της CTT CFA Μέθοδος εκτίμησης WLSMV CFI =.976 RMSEA =.036 Cronbach s α =.72 Φορτίσεις =

19 Καμπύλες απόκρισης ερωτήματος για τη συγκρουσιακή σχέση 1PL Ερωτή ματα Φόρτι ση Δυσκο λία v2co v5co v8co v11co v14co v17co v20co v22co v24co v26co

414 v8co.543 0.367 v11co.572 0.505 v14co.725 0.935 v17co.

20 Καμπύλη πληροφορίας ερωτημάτων

Σύγκριση της προσαρμογής 1PL 2PL 2PL = -2loglikelihood = 10439.

21 Σύγκριση της προσαρμογής 1PL 2PL 2PL = -2loglikelihood = , df = 20 1PL = -2loglikelihood = , df = 11 Likelihood Ratio Test = 77.03, df = 9, p <.001 Orlando & Thissen, 2000, 2003

22 Καμπύλες απόκρισης ερωτήματος για τη συγκρουσιακή σχέση 2PL v22co v17co Ερωτήμ ατα a b v2co v5co v8co v11co v14co v17co v20co v22co v24co v26co

23 Πληροφορία της υποκλίμακας Σύγκρουση 2PL model

24 Κατάταξη στον άξονα της λανθάνουσας ικανότητας

25 CTT vs IRT Classical Test Theory (CTT) Ατομικές διαφορές - συνολικό σκορ Αξιοπιστία για το σύνολο του δείγματος Υψηλή εξάρτηση από τα χαρακτηριστικά του συγκεκριμένου δείγματος Item Response Theory (IRT) Ατομικές διαφορές - Θέση στον άξονα της λανθάνουσας ικανότητας Πληροφορία συνδέεται με το ποσό της λανθάνουσας ικανότητας Διαχωρίζει τη λανθάνουσα ικανότητα από τη δυσκολία του ερωτήματος Ανεξαρτησία από το δείγμα

26 Σας ευχαριστώ για την προσοχή σας

Σχετικά έγγραφα

ΨΥΧΟΛΟΓΙΚΗ ΕΤΑΙΡΕΙΑ ΒΟΡΕΙΟΥ ΕΛΛΑΔΟΣ (ΨΕΒΕ) ΗΜΕΡΙΔΑ Προχωρημένες μέθοδοι ανάλυσης ποσοτικών δεδομένων στις επιστήμες της συμπεριφοράς

ΨΥΧΟΛΟΓΙΚΗ ΕΤΑΙΡΕΙΑ ΒΟΡΕΙΟΥ ΕΛΛΑΔΟΣ (ΨΕΒΕ) ΗΜΕΡΙΔΑ Προχωρημένες μέθοδοι ανάλυσης ποσοτικών δεδομένων στις επιστήμες της συμπεριφοράς Σάββατο 8 Δεκεμβρίου 2018 9:00-13.30 Αμφιθέατρο Κεντρικής Βιβλιοθήκης