«ΕΡΓΑΛΕΙΑ ΣΥΛΛΟΓΗΣ ΔΕΔΟΜΕΝΩΝ. ΑΝΑΠΤΥΞΗ ΚΑΙ ΧΡΗΣΗ ΕΡΩΤΗΜΑΤΟΛΟΓΙΩΝ.» Κατασκευη Σταθμιση Εγκυροτητα και Αξιοπιστία Κωνσταντίνος Καφέτσιος Αναπλ. Καθηγητής, Κοινωνικής και Οργανωτικής Ψυχολογίας, Πανεπιστήμιο Κρήτης http://www.soc.uoc.gr/psycho/kafetsios/
Ιδέες βασισμένες στην θεωρία ή στην πράξη Θεωρία για την Συμπεριφορά Προβλέψεις στην βάση της Θεωρίας-Υποθέσεις Προβλέψεις δεν επιβεβαιώθηκαν Εμπειρική Μελέτη Έλεγχος των υποθέσεων Προβλέψεις Επιβεβαιώθηκαν 2
ΠΑΡΆΔΕΙΓΜΑ: ΤΟ ΕΡΕΥΝΗΤΙΚΌ ΕΡΏΤΗΜΑ Θέλουμε να εξετάσουμε αν οι βίαιες συμπεριφορές που βλέπουν στην τηλεόραση έχουν επίδραση πάνω στις επιθετικές τάσεις των παιδιών. 3
ΟΙ ΕΝΝΟΙΟΛΟΓΙΚΉ ΚΑΤΑΣΚΕΥΗ Μίμηση της επιθετικότητας όπως παρατηρείται στα προγράμματα της τηλεόρασης Λειτουργικός ορισμός Πώς ελέγχονται οι μεταβλητές. 4
ΘΕΩΡΊΑ ΚΑΙ ΜΕΘΟΔΟΣ ΣΤΗΝ ΚΟΙΝΩΝΙΚΉ ΨΥΧΟΛΟΓΙΑ Υποθέσεις: Πρόβλεψη για τα αποτελέσματα της έρευνας με βάση την διαδικασία μετατροπής αντικειμένου σε ικανό για χειρισμό Μέθοδοι: Διαδικασίες που χρησιμοποιούν οι ΚΨ για να συλλέξουν πληροφορίες ώστε να ελέγξουν εμπειρικά την θεωρία. Βοηθούν να μεταφράσουμε τις ΙΔΕΕΣ των ερευνητών σε ΠΡΑΞΗ (συλλογή δεδομένων). Μεθοδολογία: Όλες οι πλευρές της εφαρμογής των μεθόδων 5
ΕΡΕΥΝΗΤΙΚΆ ΣΧΈΔΙΑ 1. Περιγραφική Έρευνα: Π.χ. η αλληλεπίδραση παιδιών στη διάρκεια του παιχνιδιού 2. Συσχετιστική Έρευνα: Υπάρχει σχέση ανάμεσα στις πολιτικές πεποιθήσεις και το εκπαιδευτικό επίπεδο; 3. Πειραματική Έρευνα: Μεταλλαγές σε μία μεταβλητή ΠΡΟΚΑΛΟΥΝ αλλαγές σε άλλη μεταβλητή Π.χ. Η αλλαγή στάσεων οδηγεί στην αλλαγή της συμπεριφοράς; 6
Η ΧΡΗΣΗ ΕΡΩΤΗΣΕΩΝ ΑΥΤΟ- ΑΝΑΦΟΡΑΣ Ο ερευνητής θα πρέπει να αποφασίσει τι είναι αυτό που θα μελετήσει και σε ποιό πληθυσμό Ο ερευνητής θα πρέπει να αποφασίσει πώς οι συμμετέχοντες θα απαντήσουν τα ερωτήματα που τους τίθενται
Η ΕΡΩΤΗΣΗ «Τι έκανες σήμερα»; Έχεις πιεί μπύρα, κρασί, ουίσκυ, τζιν ή άλλα αλκοολούχα ποτά;» Φύλο: Α / Γ Πόσους φίλους έχετε; Όταν θέλω να νιώσω λιγότερο αρνητικό συναίσθημα, αλλάζω τον τρόπο που σκέφτομαι για την κατάσταση.
«Πόσο συχνά συναντιέστε με φίλους, συγγενείς ή συναδέλφους σε κοινωνικές εκδηλώσεις;» ώ ρ α Π ο δ 6 ί 2 α 1 ί 5 ν 6 Λ τ Μ ι ο Α Μ ρ Α ε Κ ρ β ά 9 Δ Γ
Πόση σημασία έχουν οι φίλοι για σας; 9,5 9,0 8,5 8,0 7,5 7,0 ch es gb hu il no pt sl cz fi gr ie nl pl se 10 country in numb
ΥΠΑΡΞΗ Ή ΌΧΙ ΙΚΑΝΟΤΗΤΑΣ ΕΝΔΟΣΚΟΠΗΣΗΣ; Αδυναμία να αναφέρουν την επίδραση κάποιων ερεθισμάτων Π.χ. σε πολυκατάστημα τους ρώτησαν γιατί επέλεξαν το συγκεκριμένο προϊών και δεν κατάλαβα ότι η θέση του έπαιζε ρόλο (δεξιά) Αναφέρουν την επίδραση ερεθισμάτων που δεν έχουν πράγματική επίδραση στην συμπεριφορά τους Κάνουν απόδοση αιτιών 11
ΟΙ ΑΝΘΡΩΠΟΙ ΕΧΟΥΝ ΕΠΊΓΝΩΣΗ ΤΗΣ ΣΥΜΠΕΡΙΦΟΡΑΣ ΚΑΙ ΤΩΝ ΨΥΧΟΛΟΓΙΚΩΝ ΑΙΤΙΩΝ (NISBETT AND WILSON, 1977) ; Οι άνθρωποι συχνά δεν είναι σε θέση να γνωρίζουν επακριβώς τα μετα-γνωστικά αίτια της συμπεριφοράς τους, τι ερέθισμα προξένησε την συγκεκριμένη αντίδραση Όταν οι άνθρωποι προσπαθούν να αναφέρουν τα ψυχολογικά αποτελέσματα κάποιων ερεθισμάτων δεν ανατρέχουν σε γνωστικές δομές ή σε διαδικασίες σχετικές με την μνήμη αλλά βασίζουν τις αναφορές τους σε γενικότερες θεωρίες για την αιτιακή σύνδεση ανάμεσα στα ερεθίσματα και τα αποτελέσματα (p. 233). 12
ΕΝΑΛΛΑΚΤΙΚΕΣ ΕΞΗΓΗΣΕΙΣ ΓΙΑ ΤΗΝ ΑΔΥΝΑΜΊΑ ΠΡΟΣΒΑΣΗΣ ΣΤΑ ΑΊΤΙΑ ΤΗΣ ΣΥΜΠΕΡΙΦΟΡΑΣ Προβλήματα μνήμης Περιορισμοί στον τρόπο εξήγησης των προβλημάτων Εστίαση σε ατομικά χαρακτηριστικά και όχι σε γενικά χαρακτηριστικά Το κίνητρο των συμμετεχόντων για να είναι ακριβείς στην εκτίμησή τους 13
ΤΑ ΓΝΩΣΤΙΚΑ ΕΡΓΑ ΠΟΥ ΠΡΈΠΕΙ ΝΑ ΚΑΝΕΙ Ο ΣΥΜΜΕΤΈΧΟΝΤΑΣ ΌΤΑΝ ΑΠΑΝΤΑ ΈΝΑ ΕΡΏΤΗΜΑ Βήμα 1: Να καταλάβει το ερώτημα Βήμα 2: Να ανακαλέσει τη σχετική συμπεριφορά Βήμα 3: Να κάνει έναν υπολογισμό ή μια αναγωγή Βήμα 4: Να προσαρμόσει την απάντηση στον τύπο της ερώτησης Βήμα 5: Να διαμορφώσει την απάντηση ανάλογα με παράγοντες κοινωνικής επιθυμητότητας
SWARTZ & OYSERMAN (2001) Η μελέτη για τις γνωστικές διαδικασίες των ατόμων όταν συμπληρώνουν ερωτηματολόγια δείχνουν ότι οι άνθρωποι δεν ακολουθούν αυτές τις γνωστικές διαδικασίες
ΕΡΩΤΗΜΑΤΟΛΟΓΙΟ Ένα ερευνητικό εργαλείο που προκαλεί και συλλέγει αντιδράσεις με ένα δομημένο τρόπο Το σχέδιό του θα πρέπει να επιτρέπει την εύκολη ανάλυση των αποτελεσμάτων ΣΚΟΠΟΣ: Να συλλέξει σχετικά δεδομένα Να καταστήσει τα δεδομένα συγκρίσιμα Η μείωση της μεροληψίας / στρεβλώσεων (bias) Να κινητοποιήσει το συμμετέχοντα 16
ΕΙΔΗ ΔΕΔΟΜΕΝΩΝ ΠΟΥ ΣΥΛΛΈΓΟΝΤΑΙ ΑΠΌ ΕΡΩΤΗΜΑΤΟΛΌΓΙΑ Γεγονότα Γνώμες Κίνητρα Συμπεριφορά (παρελθόν, παρόν, μέλλον) Στάσεις - πεποιθήσεις Χαρακτηριστικά του συμμετέχοντα Το είδος των δεδομένων μπορεί να είναι: Ποιοτικό ή Ποσοτικό 17
ΤΕΣΤ, & ΨΥΧΟΛΟΓΙΚΕΣ ΚΛΙΜΑΚΕΣ Τεστ νοημοσύνης, τεστ αντίληψης χωρικής ικανότητας Κλίμακες εκτίμησης άγχους, πεποιθήσεων για την υγεία, στάσεων, κοινωνικής υποστήριξης Καταγραφή συμπεριφορών
ΕΊΔΗ ΕΡΩΤΉΣΕΩΝ
Ανοιχτές ερωτήσεις Οι απαντήσεις δεν περιορίζονται «Ποιά είναι τα πιο σημαντικά ζητήματα που θα πρέπει να επιλύσει η νέα Διοίκηση του Νοσοκομείου;» Πολλαπλές ερωτήσεις, σωστό-λάθος, ναι-όχι, κλίμακες «Θα ήθελα να δώσω όλη την περιουσία μου στους φτωχούς» Ναι/Όχι 20
Πότε χρησιμοποιούμε τις ερωτήσεις: Ανάλογα με: Τους στόχους του ερωτηματολογίου Τη γνώση των συμμετεχόντων Την ευκολία ή τη διαθεσιμότητα των πληροφοριών που ζητούνται π.χ., για κάποια ευαίσθητα ζητήματα οικονομικά, σεξουαλικά κλπ. οι συμμετέχοντες θα διαμορφώσουν διαφορετικά τις απαντήσεις Κάποια ζητήματα ίσως δεν τα γνωρίζουν, π.χ., «ποιό 21 είναι το επίπεδο της συναισθηματικής σας νοημοσύνης»
Ανοιχτές ερωτήσεις Ανοιχτές ή κλειστές ερωτήσεις; Πιο αντιπροσωπευτικές των πραγματικών απόψεων των συμμετεχόντων Λιγότερο επηρεπείς σε επιδράσεις μεροληψίας του ερευνητή Πιο ρεαλιστικές/ νατουραλιστικές (οικολογική εγκυρότητα) Ενδεικτικά «αδύναμα σημεία» Μπορεί να είναι δύσκολο να αναλυθούν Indicate points of interest or weaknesses Συνήθως αναλύονται ως προς: Το περιεχόμενό τους (ανάλυση περιεχομένου ) Ερμηνευτικά στοιχεία (Nu-Dist, Atlas, Nvivo) Ιεράρχηση δημοφιλών ερωτημάτων 22
Κλειστού τύπου ερωτήσεις Εύκολη βαθμολόγηση και ανάλυση Προσδίδουν αναμενόμενα αποτελέσματα Περιορισμένο εύρος απαντήσεων Προκαλούν μεροληψίες/στρεβλώσεις στις απαντήσεις λόγω του ότι θέτουν ζητήματα που ίσως δεν έχει σκεφτεί ο συμμετέχων ή τα έχει σκεφτεί με διαφορετικό τρόπο Βοηθητική περίληψη αποτελεσμάτων Αναλύονται ως προς: - Περιγραφική στατιστική ανάλυση - Επαγωγική στατιστική ανάλυση 23
Είδη κλειστού τύπου ερωτήσεων (Ι) (i) Κλίμακα Thurstone : Επιλέγετε αυτό που συμφωνείτε: [ ] Ο Χ είναι ένας εξαίρετος πολιτικός [ ] Ο Χ είναι ένα υπέροχο άτομο [ ] Αν είχα γιό θα ήθελα να πάρει το όνομα του Χ [ ] Αν είχα μια μαιμού θα της έδινα το όνομα του Χ 24
(ii) Κλίμακα Likert Κυκλώστε την απάντηση με την οποία συμφωνείτε περισσότερο 1 2 3 4 5 Συμφωνώ Απόλυτα Συμφωνώ Ούτε συμφωνώ Ούτε διαφωνώ 1. Δεν υπάρχει τίποτε καλύτερο από ένα πρωινό μπάνιο στη θάλασσα 1 2 3 4 5 2. Η Γη θα καταστραφεί από τη δραστηριότητα του ανθρώπου 1 2 3 4 5 3. Τα χρήματα κάνουν τον κόσμο να «γυρίζει» 1 2 3 4 5 Διαφωνώ Διαφωνώ Απόλυτα 25
(iii) Η κλίμακα σημασιολογικής διαφοροποιίησης Likeable Active Cheerful Very much A lot A bit A bit Rather Very Not likeable Passive Gloomy (iv) Η οπτική κλίμακα απόκρισης Πόσο πονούσατε όταν ξυπνήσατε σήμερα το πρωί; Καθόλου Τον χειρότερο πόνο Που έχω βιώσει 26
Η ΣΕΙΡΑ ΠΑΡΟΥΣΙΑΣΗΣ Η επίδραση της σειράς παρουσίασης Κλιμακωτή σειρά παρουσίασης Ερωτήσεις φίλτρου Ερωτήσεις εξάσκησης Ερωτήσεις εξισορρόπησης (θετικό αρνητικό) Αποφυγή κάποιων σειρών σετ 27
Η ΚΛΙΜΑΚΩΤΗ ΣΕΙΡΑ ΠΑΡΟΥΣΙΑΣΗΣ (ΧΩΝΙ): Από το γενικό στο ειδικό: 1. Ποιό από τα παρακάτω είδη τηλεοπτικών προγραμμάτων παρκολουθείτε; (κυκλώστε όσες κατηγορίες επιθυμείτε) Ειδήσεις Κουίζ Παιχνίδια 2. Ποιό από τα παρακάτω είδη τηλεοπτικών προγραμμάτων σας αρέσει περισσότερο; (κυκλώστε όσες κατηγορίες επιθυμείτε) Ειδήσεις Κουίζ Παιχνίδια 3. Ποιές από τις παρακάτω σειρές παρακολουθήσατε τις τελευταίες επτά ημέρες; (Circle "yes" or "no" for each show listed). Οι πάνω και οι κάτω Ναι Όχι Ο πύργος του Downton Ναι Όχι 4 th Gear Ναι Όχι 28
Η ΑΝΤΕΣΤΡΑΜΜΕΝΗ ΚΛΙΜΑΚΩΤΗ ΣΕΙΡΆ ΠΑΡΟΥΣΙΑΣΗΣ (ΧΩΝΊ): Από το είδικό στο γενικό Παράδειγμα: Αν ενδιαφέρεστε για τη μέτρηση του προφίλ της ΧΧΧ επιχείρησης μια καλή πρακτική είναι να ρωτήσετε τους συμμετέχοντες τι πιστεύουν για τα χαρακτηριστικά αυτής της επιχείρησης (διαφημίσεις, προιόντα, εργαζόμενοι) και μετά να τους ρωτήσετε τη γενική τους εντύπωση για την εταιρία. 29
Η ΕΠΙΛΟΓΗ ΤΩΝ ΛΕΞΕΩΝ Χρήση πιλοτικών τεστ για να δείτε τις αντιδράσεις των συμμετεχόντων στο ερωτηματολόγιο Προσέξτε τις ερωτήσεις με Ασαφή διατύπωση Π.χ., «Είστε ικανοποιημένη από το μάθημα» (ως προς τι, ποιό είναι το πλαίσιο αναφοράς; 30
(i) Αποτυχαίνει να δώσει στο συμμετέχοντα ένα πλαίσιο αναφοράς π.χ., πώς αισθάνεστε; (ii) Γλώσσα που «μπερδεύει» τον συμμετέχοντα Μην χρησιμοποιείτε σειρά λέξεων-επεξηγήσεων ή παραθέσεων Υιοθετείστε το γλωσσικό επίπεδο του συμμετέχοντα Αποφεύγετε κοινές λέξεις με διαφορετικό νόημα Αποφύγετε τεχνικούς όρους Υιοθετείστε απλή γλώσσα αλλά όχι λέξεις του «δρόμου» 31
(iii) Αμφισημία: αν η ερώτηση είναι αμφίσημη, διαφορετικοί συμμετέχοντες θα απαντήσουν διαφορετικά μέρη της ερώτησης Η δουλειά σου έχει γίνει πιο δύσκολη γιατί περιμένεις παιδί; Ναι/Όχι όχι δεν περιμένω παιδί όχι- Η δουλειά μου δεν είναι πιο δύσκολη Ερωτήσεις διπλού νοήματος Θα πρέπει να δοθεί μεγαλύτερη ευελιξία και λιγότερη κατευθυντικότητα στη δουλειά; 32
(iv) Αφηρημένες λέξεις Μη-συγκεκριμένες ερωτήσεις οδηγούν σε μη συγκεκριμένες απαντήσεις Αποφεύγετε λέξεις όπως: γενικά, συνήθως, πολλά, πότε-πότε Αποφεύγετε γενικές ερωτήσεις, όπως: Ανησυχείτε μερικές φορές; Προσέξετε ερωτήσει με Γιατί Γιατί ήρθες στο μάθημα σήμερα (η έννοια του γιατί διαφέρει από άτομο σε άτομο και ανάλογα με τις συνθήκες (vi) Ερωτήσεις που προυποθέτουν κάτι για το συμμετέχοντα Όταν παρακολουθείς τηλεόραση συμβαίνει ποτέ να... ; (vii) Υποθετικές ερωτήσεις Σκόπεύεις να πας στον οδοντογιατρό για check-up πριν το τέλος του εξαμήνου; (vii) Προσωπικές ή προσβλητικές ερωτήσεις 33 Π.χ. Σεξουαλική συμπεριφορά
ΣΊΜΟΣ & ΚΟΜΙΛΗ (2003) 34
35
ΑΞΙΟΠΙΣΤΙΑ & ΕΓΚΥΡΟΤΗΤΑ
ΚΑΤΑΣΚΕΥΗ ΚΛΙΜΑΚΩΝ Μια ενδελεχής διαδικασία Τα ερωτήματα Ένας αριθμός ερωτημάτων αθροίζονται για να συστήσουν μια κλίμακα ή μια διάσταση της κλίμακας 37 Τρεις αρχές Αξιοπιστία Εγκυρότητα Στάθμιση
ΑΞΙΟΠΙΣΤΙΑ & ΕΓΚΥΡΟΤΗΤΑ
ΑΞΙΟΠΙΣΤΙΑ Επιβεβαίωση ότι η κλίμακα παρέχει συνεπή αποτελέσματα σε συνθήκες (ανάλογες μεταξύ τους) όπου κανείς αναμένει συνέπεια Σκορ μέτρησης = Ακριβή σκορ+ Λάθος 39 Τρόποι αξιολόγησης αξιοπιστίας Δοκιμή- επαναδοκιμή (Τest-retest) Ο συντελεστής r > 0.7 Split-half (Spearman, 1907) r a = 2r 1 + r
ΕΓΚΥΡΟΤΗΤΑ «Πόσο καλά ένα τεστ μετρά αυτο που θα πρέπει να μετρά;» 40 Σχέσεις μεταξύ αξιοπιστίας και εγκυρότητας Μπορεί να έχεις μια αξιόπιστη κλίμακα που δεν είναι έγκυρη Αλλά δεν μπορείς να έχεις ένα έγκυρο τεστ που να μην είναι αξιόπιστο
ΕΡΜΗΝΕΊΑ ΤΗΣ ΑΞΙΟΠΙΣΤΙΑΣ
SPSS - CRONBACH S ALPHA
Item-total Statistics Scale Scale Corrected Mean Variance Item- Alpha if Item if Item Total if Item Deleted Deleted Correlation Deleted MATHS1 25.2749 25.5752.6614.8629 MATHS2 25.0333 26.5322.6235.8661 MATHS3 25.0192 30.5174.0996.9021 MATHS4 24.9786 25.8671.7255.8589 MATHS5 25.4664 25.6455.6707.8622 MATHS6 25.0813 24.9830.7114.8587 MATHS7 25.0909 26.4215.6208.8662 MATHS8 25.8699 25.7345.6513.8637 MATHS9 25.0340 26.1201.6762.8623 MATHS10 25.4642 25.7578.6495.8638 Reliability Coefficients N of Cases = 1353.0 N of Items = 10 Alpha =.8790
Item-total Statistics Scale Scale Corrected Mean Variance Item- Alpha if Item if Item Total if Item Deleted Deleted Correlation Deleted MATHS1 22.2694 24.0699.6821.8907 MATHS2 22.0280 25.2710.6078.8961 MATHS4 21.9727 24.4372.7365.8871 MATHS5 22.4605 24.2235.6801.8909 MATHS6 22.0753 23.5423.7255.8873 MATHS7 22.0849 25.0777.6166.8955 MATHS8 22.8642 24.3449.6562.8927 MATHS9 22.0280 24.5812.7015.8895 MATHS10 22.4590 24.3859.6524.8930 Reliability Coefficients N of Cases = 1355.0 N of Items = 9 Alpha =.9024
INTERNAL RELIABILITIES FOR CLASSROOM BEHAVIOUR Behav.sav example: Factor 1 (Attentiveness) =.94 Factor 2 (Settledness) =.89 Factor 3 (Sociability) =.90
ΕΊΔΗ ΕΓΚΥΡΌΤΗΤΑΣ Εσωτερική Εγκυρότητα Ο βαθμός στον οποίο το εργαλείο-κλίμακα μετράει αυτό που θα πρέπει να μετράει Εξωτερική Εγκυρότητα Πόσο γενικεύσιμα είναι τα ευρήματα; Εγκυρότητα Κατασκευής Οι μεταβλητές ανταποκρίνονται στις θεωρητικές κατασκευές που υπέθεσαν 47
Προσεγγίσεις στην εκτίμηση εγκυρότητας μιας κλίμακς Εγκυρότητα όψεως Εγκυρότητα περιεχομένου Εγκυρότητα κριτηρίου Προδρομική Συγχρονική Εγκυρότητα κατασκευής Οικολογική εγκυρότητα 48
ΣΤΑΘΜΙΣΗ Παρουσιάζει η κλίμακα την δομή που αναμένεται από τη θεωρία; Μέθοδο παραγοντικής ανάλυσης
Yψηλή αποφυγή Αποφευκτικός Φοβικός Χαμηλή εμμονή Υψηλή Εμμονή Ασφαλής Εμμονος Χαμηλή αποφυγή
Εμμονή (18 items Ν > 1200, >.91) Αποφυγή (18 items Ν > 1200, >.90)
ΒΙΒΛΙΟΓΡΑΦΙΚΕΣ ΑΝΑΦΟΡΕΣ Ρούσσος, Π. Λ., & Τσαούσης, Γ. (2011) - Στατιστική στις επιστήμες της συμπεριφοράς με τη χρήση του SPSS, Αθήνα: Τόπος Σίμος, Π. & Κομίλη, Α. (2003). Μέθοδοι έρευνας στην Ψυχολογία και τη Γνωστική Επιστήμη. Αθήνα: Παπαζήσης Howitt, D., & Cramer, D. (2005). Chapter 13 Reliability and validity: Evaluating the value of tests and measures. In Introduction to research methods in psychology (pp. 218-231). Essex, UK: Pearson Crowne D. & Marlowe D. (1961) A new scale of social desirability independent of psychopathology. Journal of Consulting Psychology, 24: 349-354. Gudjonsson, G. H.: Gudjonsson Suggestibility Scales. Psychology Press. Likert, R.A. (1932). A technique for the measurement of attitudes. Arch. Psychol., 140: 55. Osgood, C.E., Suci, G. J. & Tannenbaum, P.H. (1957). The Measurement of Meaning. Urbana: University of Illinois. Thurstone, L. L. (1931). The measurement of social attitudes. Journal of Abnormal and Social Psychology, 26: 249-269. Nisbett, R.E. and Wilson, T.D. (1977). Telling more than we can know: Verbal reports on mental processes. Psychological Review, 84, 231-259. Rust, J. & Golombok, S. (1989) Modern Psychometrics. The Science of 53 Psychological Assessment. Routledge Kline, P. (1986) Handbook of Test Construction. Routledge. Kline, P. (1993). The Handbook of Psychological Testing. Routledge.