Οδηγός Ανάλυσης Αξιοπιστίας και Εγκυρότητας Ψυχομετρικών Κλιμάκων με το SPSS

Οδηγός Ανάλυσης Αξιοπιστίας και Εγκυρότητας Ψυχομετρικών Κλιμάκων με το SPSS Άγγελος Μάρκος Λέκτορας ΠΤΔΕ, ΔΠΘ Αλεξανδρούπολη 2012

1. Εισαγωγή Η μέτρηση στις επιστήμες της συμπεριφοράς συχνά στοχεύει στην αριθμητική έκφραση χαρακτηριστικών ή ιδιοτήτων του ανθρώπινου ψυχισμού, σύμφωνα με τυποποιημένους κανόνες. Μια ψυχομετρική κλίμακα θα μπορούσε να οριστεί ως ένα εργαλείο που έχει ως σκοπό τη συλλογή αντιπροσωπευτικών παρατηρήσεων που αφορούν συμπεριφορές, χαρακτηριστικά ή ιδιότητες του ατόμου. Όσον αφορά στο περιεχόμενό τους, υπάρχουν πολλά είδη ψυχομετρικών κλιμάκων στη διάθεση των ερευνητών. Ενδεικτικά μπορούμε να αναφέρουμε τα τεστ ή ερωτηματολόγια προσωπικότητας, νοημοσύνης, λόγου και ακοής, αξιολόγησης συμπεριφοράς, αισθητηριοκινητικά, ανάγνωσης, ενδιαφερόντων, ικανοτήτων κλπ. Οι δύο βασικές ιδιότητες μιας ψυχομετρικής κλίμακας είναι η αξιοπιστία και η εγκυρότητα. Η πρώτη αναφέρεται στη συνέπεια ή τη σταθερότητα των απαντήσεων στην κλίμακα και η δεύτερη στην εξακρίβωση του αν η κλίμακα μετράει πράγματι αυτό για το οποίο έχει κατασκευαστεί. Ανάμεσα στα διαφορετικά είδη αξιοπιστίας και εγκυρότητας ξεχωρίζουν η αξιοπιστία εσωτερικής συνέπειας ή συνοχής (internal consistency) και η εγκυρότητα εννοιολογικής κατασκευής (construct validity). Σε αυτά τα δύο είδη εστιάζει και η συγκεκριμένη μελέτη. Η αξιοπιστία εσωτερικής συνέπειας των μετρήσεων ενός εργαλείου αναφέρεται στο βαθμό στον οποίο οι ερωτήσεις που μετρούν το ίδιο ψυχομετρικό χαρακτηριστικό παρουσιάζουν υψηλή συνοχή ή συσχέτιση, τόσο μεταξύ τους όσο και με το χαρακτηριστικό αυτό. Η εκτίμηση της αξιοπιστίας αυτής της μορφής γίνεται συνήθως μέσω ενός δείκτη ή συντελεστή αξιοπιστίας, με πιο διαδεδομένο το δείκτη α του Cronbach. Τιμές του δείκτη μεγαλύτερες του 0,7 ή του 0,8 θεωρούνται συνήθως ικανοποιητικές. Ωστόσο, αξίζει να σημειωθεί ότι ο δείκτης α έχει δεχθεί αυστηρή κριτική, διότι η εφαρμογή του έχει αυστηρές προϋποθέσεις, οι οποίες δύσκολα πληρούνται στην πράξη, αλλά και δύσκολα μπορεί να αξιολογηθεί εάν πληρούνται. Ο υπολογισμός του δείκτη αξιοπιστίας συνοδεύεται συνήθως από τον υπολογισμό του βαθμού συσχέτισης κάθε ερώτησης μεταβλητής με το συνολικό άθροισμα (item total correlation) όλων των ερωτήσεων μεταβλητών. Ερωτήσεις που παρουσιάζουν χαμηλή συσχέτιση με το συνολικό άθροισμα, έχουν αρνητική επίδραση στην αξιοπιστία των μετρήσεων και είναι απαραίτητο να γίνουν διορθωτικές κινήσεις σχετικά με τις ερωτήσεις αυτές. Η εγκυρότητα εννοιολογικής κατασκευής αναφέρεται στο βαθμό στον οποίο ένα ψυχομετρικό εργαλειο μετράει πράγματι αυτό για το οποίο έχει κατασκευαστεί. Η μορφή αυτή εγκυρότητας μπορεί να εκτιμηθεί με τη βοήθεια στατιστικών μεθόδων οι οποίες χρησιμοποιούνται για να εξακριβωθεί έαν οι ερωτήσεις προτάσεις που ανήκουν στην ίδια διάσταση συνιστούν έναν κοινό παράγοντα (common factor). Για την εκτίμηση της εγκυρότητας εννοιολογικής κατασκευής εφαρμόζονται συνήθως μέθοδοι της οικογένειας της Ανάλυσης Παραγόντων (Factor Analysis). Οι μέθοδοι βασίζονται στην ανάλυση της δομής του πίνακα συσχετίσεων μεταξύ των ερωτήσεων μεταβλητών. Στην περίπτωση που η παραγοντική δομή ενός ψυχομετρικού εργαλείου είναι άγνωστη στον ερευνητή, τότε εφαρμόζεται συνήθως η Διερευνητική Ανάλυση Παραγόντων (Exploratory FA), ενώ στην περίπτωση που ο ερευνητής επιθυμεί να επιβεβαιώσει αν οι μετρήσεις προσαρμόζονται σε [2]

μια εκ των προτέρων γνωστή παραγοντική δομή, τότε μπορεί να εφαρμοστεί η Επιβεβαιωτική Ανάλυση Παραγόντων (Confirmatory Factor Analysis). Το λογισμικό SPSS διαθέτει μόνο τη διερευνητική μέθοδο, ενώ για την επιβεβαιωτική απαιτείται πιο εξειδικευμένο λογισμικό. 2. Παράδειγμα Εφαρμογή Στην ενότητα αυτή, περιγράφεται βήμα βήμα η διερεύνηση της αξιοπιστίας εσωτερικής συνέπειας και της εγκυρότητας εννοιολογικής κατασκευής μιας ψυχομετρικής κλίμακας. Τα δεδομένα του παραδείγματος προέρχονται από μια εμπειρική έρευνα που πραγματοποιήθηκε τον Οκτώβριο του 2012 σε δείγμα 209 φοιτητών/ τριών του Παιδαγωγικού Τμήματος Δημοτικής Εκπαίδευσης του Δημ. Πανεπιστημίου Θράκης. Στο πλαίσιο της έρευνας, χορηγήθηκε η ελληνική εκδοχή της κλίμακας SAS Statistics Anxiety Scale (Vigil Colet et al. 2008) για τη μέτρηση του Άγχους για τη Στατιστική. Πρόκειται για μία κλίμακα με 24 ερωτήσεις καταστάσεις σε καθεμιά από τις οποίες οι συμμετέχοντες κλήθηκαν να δηλώσουν πόσο αγχωμένοι ένιωθαν σε μια πεντάβαθμη κλίμακα από «1=Καθόλου» μέχρι «5=Πάρα πολύ». Μία από τις προτάσεις αυτές ήταν, για παράδειγμα, «Πόσο αγχωμένος/η νιώθεις την ώρα που εξετάζεσαι στο μάθημα της στατιστικής». Συμφωνά με τους κατασκευαστές της, η κλίμακα SAS περιλαμβάνει τρεις διαφορετικές διαστάσεις παράγοντες: 1. άγχος εξέτασης στο μάθημα (8 δηλώσεις), 2. άγχος αναζήτησης βοήθειας για το μάθημα (8 δηλώσεις) και 3. άγχος ερμηνείας στατιστικών (8 δηλώσεις). Το ερωτηματολόγιο βρίσκεται στο: http://www.amarkos.gr/courses/datasets/sas_desc.pdf και το αρχείο spss με τα δεδομένα στο: http://www.amarkos.gr/courses/datasets/sas.sav 2.1 Ανάλυση Αξιοπιστίας Στη συνέχεια παρουσιάζονται τα βήματα της Ανάλυσης Αξιοπιστίας (Reliability Analysis) των μετρήσεων με το λογισμικό SPSS. Η αξιοπιστία εσωτερικής συνέπειας των δηλώσεων της κλίμακας SAS, θα πρέπει να εκτιμηθεί ξεχωριστά για καθεμιά από τις τρεις διαστάσεις της κλίμακας. Στο αρχείο SPSS, τα ονόματα των μεταβλητών που αντιστοιχούν στις προτάσεις του παράγοντα «άγχος ερμηνείας» ξεκινούν με το γράμμα Ε, του παράγοντα «άγχος αναζήτησης βοήθειας» με το γράμμα Β και του παράγοντα «άγχος εξέτασης» με το γράμμα Α. (1) Στο βασικό μενού του SPSS επιλέγουμε Analyze Scale Reliability Analysis (Εικ. 1) Εικ 1. Επιλογή Reliability Analysis [3]

(2) Ας ξεκινήσουμε με τη διερεύνηση της αξιοπιστίας της διάστασης υποκλίμακας «άγχος ερμηνείας». Από τη λίστα με όλες τις μεταβλητές, που βρίσκεται στο αριστερό μέρος της φόρμας, επιλέγουμε και στέλνουμε στη λίστα Items (δεξιά) μόνο τις μεταβλητές της διάστασης Ε (άγχος ερμηνείας) (Εικ. 2). Εικ 2. Επιλογή των δηλώσεων της διάστασης «άγχος ερμηνείας» (3) Κλικ στο Statistics (επάνω δεξιά) Εικ 3. Η οθόνη Statistics (4) Στην οθόνη που εμφανίζεται επιλέγουμε Item, Scale, Scale if item deleted (Εικ. 3) και κλικ στο Continue (5) Κλικ στο OK για να δούμε τα αποτελέσματα της ανάλυσης [4]

Στον πρώτο πίνακα Reliability Statistics εμφανίζεται η τιμή του δείκτη α του Cronbach για τις προτάσεις της υποκλίμακας «άγχος ερμηνείας». Η τιμή 0,85 δείχνει υψηλή αξιοπιστία, με την έννοια της εσωτερική συνέπειας, της υποκλίμακας. Ο πίνακας που ακολουθεί Item Statistics περιλαμβάνει το μέσο όρο (mean) και την τυπική απόκλιση (std. deviation) για καθεμιά από τις 8 προτάσεις της υποκλίμακας. Με βάση τον Πίνακα Item Statistics, θα μπορούσε να σχολιαστεί η πρόταση ή οι προτάσεις με τις οποίες οι συμμετέχοντες συμφωνούν περισσότερο (ή λιγότερο), δηλαδή να εντοπιστούν οι καταστάσεις εκείνες που τους προκαλούν κατά δήλωσή τους το περισσότερο (ή το λιγότερο) άγχος. Ο τρίτος Πίνακας Item Total Statistics (στήλη Corrected Item Total Correlation ) περιλαμβάνει τη συσχέτιση κάθε πρότασης μεταβλητής με το συνολικό άθροισμα των υπολοίπων προτάσεων μεταβλητών. Η συσχέτιση έχει υπολογιστεί με το δείκτη γραμμικής συσχέτισης r του Pearson. Οι τιμές του δείκτη συσχέτισης κυμαίνονται από +0,495 (πρόταση Ε16) μέχρι +0,720 (πρότασηε6). Όλες οι τιμές είναι μεγαλύτερες από +0,3, ένα όριο που έχει καθοριστεί εμπειρικά, κατά συνέπεια έχουμε ακόμη μία ένδειξη ότι η εσωτερική συνοχή της υποκλίμακας είναι υψηλή. Η τελευταία στήλη του Πίνακα Cronbach s Alpha if Item deleted δείχνει, για κάθε πρόταση, την τιμή του δείκτη α του Cronbach εάν αφαιρεθεί η πρόταση αυτή. Εάν η [5]

αφαίρεση κάποιας πρότασης αναμένεται να οδηγήσει σε σημαντική αύξηση (βελτίωση) της τιμής του δείκτη αξιοπιστίας, τότε η πρόταση αυτή θα μπορούσε να αφαιρεθεί, εκτός αν συντρέχουν θεωρητικοί λόγοι για τη διατήρησή της. Από τον Πίνακα παρατηρούμε ότι σε καμία περίπτωση η τιμή του δείκτη αξοπιστίας δεν αναμένεται να βελτιωθεί, άρα όλες οι προτάσεις παραμένουν στην υποκλίμακα. Τα παραπάνω βήματα (1 έως 5) πρέπει να επαναληφθούν και τις άλλες δύο υποκλίμακες («άγχος εξέτασης» και «άγχος αναζήτησης βοήθειας»), κάτι που αφήνουμε ως άσκηση στον αναγνώστη. Για επαλήθευση, απλά αναφέρουμε ότι η τιμή του δείκτη α για τις προτάσεις της υποκλίμακας «άγχος εξέτασης» είναι 0,918 και για τις προτάσεις της υποκλίμακας «άγχος αναζήτησης βοήθειας» είναι 0,926. 2.2 Εγκυρότητα Εννοιολογικής Κατασκευής Για τον έλεγχο της εγκυρότητας εννοιολογικής κατασκευής της κλίμακας SAS, θα εφαρμοστεί η διερευνητική Ανάλυση Παραγόντων (ΑΠ) με το SPSS. Βασικές προϋποθέσεις εφαρμογής της μεθόδου Πριν εφαρμοστεί η διερευνητική ΑΠ θα πρέπει να διασφαλίσουμε ότι: Οι μεταβλητές της ανάλυσης είναι ποσοτικές, συνεχείς. Ωστόσο, σε ορισμένες περιπτώσεις η μέθοδος εφαρμόζεται και σε διακριτές μεταβλητές σε κλίμακα ιεράρχησης (π.χ. κλίμακα τύπου Likert). Οι σχέσεις μεταξύ των μεταβλητών θα πρέπει να είναι (περίπου) γραμμικές. Οι μεταβλητές θα πρέπει να συσχετίζονται επαρκώς μεταξύ τους, αλλά όχι υπερβολικά (π.χ. r > 0,9). Να περιλαμβάνονται τουλάχιστον 3 μεταβλητές ανά παράγοντα. Η αναλογία υποκειμένων/μεταβλητών θα πρέπει να είναι τουλάχιστον 5:1, δηλαδή μία μεταβλητή για κάθε πέντε υποκείμενα (π.χ για κλίμακα με 20 ερωτήσεις χρειαζόμαστε μέγεθος δείγματος τουλάχιστον 20 x 5 = 100 άτομα). (1) Στο βασικό μενού του SPSS επιλέγουμε Analyze Dimension Reduction Factor και εμφανίζεται η αντίστοιχη φόρμα (Εικ. 4) (2) Από τη λίστα με όλες τις μεταβλητές, που βρίσκεται στο αριστερό μέρος της φόρμας, επιλέγουμε και στέλνουμε στη λίστα Items (δεξιά) όλες τις μεταβλητές της κλίμακας SAS (24 δηλώσεις). [6]

Εικ 4. H οθόνη Factor (3) Κλικ στο Descriptives (επάνω δεξιά). Στην οθόνη που εμφανίζεται επιλέγουμε KMO and Bartlett s test of sphericity (Εικ. 5). Κλικ στο Continue. Εικ. 5 Η οθόνη Descriptives Εικ. 6 Η οθόνη Extraction (4) Κλικ στο Extraction. Στην οθόνη που εμφανίζεται, επιλέγουμε Fixed number of factors και στο πεδίο Factors to extract βάζουμε τον αριθμό 3, που αντιστοιχεί στον αριθμό των διαστάσεων του SAS (Εικ. 6). Κλικ στο Continue. (5) Κλικ στο Rotation. Στην οθόνη που εμφανίζεται, επιλέγουμε ως μεθοδο περιστροφής την Promax, διότι υποθέτουμε ότι οι τρεις παράγοντες συσχετίζονται μεταξύ τους (Εικ. 7). Σε διαφορετική περίπτωση (υπόθεση για ασυσχέτιστους παράγοντες), θα επιλέγαμε τη μέθοδο Varimax. Κλικ στο Continue. [7]

Εικ. 7 Η οθόνη Rotation Εικ. 8 Η οθόνη Options (6) Κλικ στο Options. Στην οθόνη που εμφανίζεται, επιλέγουμε ως Sorted by size και Suppress small coefficients. Στο πεδίο Absolute value below βάζουμε 0,40 (Εικ. 8). Κλικ στο Continue και ΟΚ για να δούμε τα αποτελέσματα της ανάλυσης. Ο πρώτος Πίνακας αποτελεσμάτων (Communalities) μας πληροφορεί για το ποσοστό της διακύμανσης κάθε μεταβλητής πρότασης που εξηγείται από τους τρεις παράγοντες. Τιμές μεγαλύτερες του 0,5 θεωρούνται ικανοποιητικές, ενώ τιμές αρκετά μικρότερες του 0,5 φανερώνουν ότι η διακύμανση των αντίστοιχων μεταβλητών δεν εξηγείται ικανοποιητικά από το αποτελέσμα της Ανάλυσης Παραγόντων. Στο παράδειγμα μας, οι προτάσεις Ε16, Ε18 και Ε19 είναι οι μόνο που έχουν τιμές μικρότερες του 0,5. Ωστόσο, όπως θα δούμε στη συνέχεια, οι προτάσεις αυτές συμφωνούν με την παραγοντική δομή που υποθέτει ο κατασκευαστής της κλίμακας SAS και για το λόγο αυτό δεν θα τις αφαιρέσουμε από την κλίμακα. Communalities Initial Extraction A1 1,000,611 E3 1,000,521 B1 1,000,669 A4 1,000,735 B5 1,000,491 E6 1,000,667 B7 1,000,782 E8 1,000,523 A9 1,000,634 E10 1,000,527 A11 1,000,504 [8]

B12 1,000,778 A13 1,000,704 A14 1,000,691 A15 1,000,675 E16 1,000,366 B17 1,000,783 E18 1,000,484 E19 1,000,423 A20 1,000,705 B21 1,000,757 E22 1,000,660 B23 1,000,710 B24 1,000,574 Extraction Method: Principal Component Analysis. Στον παρακάτω Πίνακα παρουσιάζονται οι Ιδιοτιμές (Eigenvalues) και το ποσοστό διακύμανσης που εξηγεί ο κάθε παράγοντας. Συνολικά, προέκυψαν 24 διαφορετικοί παράγοντες, αλλά ως πιο σημαντικοί επιλέγχθηκαν οι τρεις πρώτοι, διότι αυτός ο αριθμός συμβαδίζει με τη θεωρητικη δομή της κλίμακας SAS. Οι τρεις αυτοί παράγοντες εξηγούν το 63,39% της συνολικής διακύμανσης. Component Initial Eigenvalues Extraction Sums of Squared Loadings Total % of Variance Cumulative % Total % of Variance Cumulative % 1 10,499 43,748 43,748 10,499 43,748 43,748 2 2,706 11,276 55,023 2,706 11,276 55,023 3 1,768 7,366 62,389 1,768 7,366 62,389 4 1,052 4,385 66,775 5,840 3,502 70,276 6,791 3,296 73,573 7,713 2,971 76,543 8,675 2,812 79,356 9,560 2,332 81,688 10,513 2,136 83,824 11,450 1,876 85,700 12,426 1,776 87,475 13,379 1,581 89,056 14,360 1,500 90,556 15,345 1,436 91,992 16,309 1,288 93,281 17,274 1,142 94,423 18,262 1,093 95,516 [9]

19,237,988 96,504 20,205,853 97,357 21,185,772 98,129 22,162,673 98,802 23,149,622 99,424 24,138,576 100,000 Ο Πίνακας Pattern Matrix περιέχει τα φορτία (loadings) των προτάσεων σε κάθε παράγοντα. Τα φορτία μπορούν να διαβαστούν ως συντελεστές συσχέτισης κάθε πρότασης με τον παράγοντα στον οποίο ανήκουν. Εύκολα διαπιστώνουμε ότι ο πρώτος παράγοντας περιλαμβάνει όλες τις προτάσεις της διάστασης Αναζήτηση Βοήθειας (Β) με φορτία που κυμαίνονται από 0,533 ως 0,949. Παρόμοια, ο δεύτερος παράγοντας περιλαμβάνει όλες τις προτάσεις του παράγοντα «Άγχος Εξέτασης (Α) με φορτία που κυμαίνονται από 0,514 ως 0,930. Τέλος, ο τρίτος παράγοντας περιλαμβάνει όλες τις προτάσεις του παράγοντα «Άγχος Ερμηνείας (Ε)» με φορτία που κυμαίνονται από 0,445 ως 0,847. Όλα τα φορτία είναι μεγαλύτερα του 0,4, τιμή που είχαμε θέσει ως όριο σε προηγούμενο βήμα. Pattern Matrix a Component 1 2 3 B17,949 B23,870 B12,859 B1,820 B21,809 B7,803 B24,717 B5,533 A4,930 A15,877 A13,872 A20,849 A14,737 A9,702 A1,641 A11,514 E22,847 E6,779 E10,765 [10]

E18,715 E19,587 E8,577 E3,568 E16,445 Τέλος, ο Πίνακας Component Correlation Matrix περιέχει τις ενδο συσχετίσεις των τριών παραγόντων της ανάλυσης. Από τον Πίνακα αυτόν παρατηρούμε ότι μεγαλύτερη είναι η συσχέτιση του παράγοντα «άγχος ερμηνείας» με τον παράγοντα «άγχος εξέτασης» (r = 0,548), κάτι που είναι αναμενόμενο, δεδομένης της διατύπωσης των προτάσεων. Component Correlation Matrix Component 1 2 3 1 1,000,470,541 2,470 1,000,548 3,541,548 1,000 Extraction Method: Principal Component Analysis. Rotation Method: Promax with Kaiser Normalization. Αντιστροφή της Κλίμακας Μέτρησης μιας διακριτής μεταβλητής με το SPSS Η αντιστροφή της κλίμακας μιας διακριτής μεταβλητής σημαίνει ότι η υψηλότερη τιμή της κλίμακας θα αντιστοιχηθεί στην μικρότερη, η αμέσως επόμενη στην αμέσως μικρότερη κ.ο.κ. Για παράδειγμα, αν η κλίμακα μιας μεταβλητής είναι 5 βαθμη από το 1=ποτέ ως το 5=πάντα, τότε σκοπός είναι οι τιμές 5 να γίνουν 1, οι τιμές 4 να γίνουν 2, οι τιμές 3 να παραμείνουν 3, οι τιμές 4 να γίνουν 2 και οι τιμές 5 να γίνουν 1. Ας δούμε πως γίνεται αυτό με το SPSS. Βήμα 1 ο : Από το βασικό μενού επιλέγουμε Transform Recode into Same Variables, όπως στην παρακάτω εικόνα. [11]

Βήμα 2 ο : Στην οθόνη που εμφανίζεται επιλέγουμε και μεταφέρουμε στη λίστα Numeric Variables όλες τις δηλώσεις εκείνες που θέλουμε να αντιστρέψουμε (εδώ στο παράδειγμα είναι οι A1, A3 και A5). Βήμα 3 ο : Κλικ στο Old and New Values και στην οθόνη που εμφανίζεται βάζουμε στο πεδίο Value (αριστερά) την τιμή 5 και στο πεδίο Value (δεξιά) την τιμή 1. Έπειτα κλικ στο Add (δεξιά) για να τοποθετηθεί ο κανόνας 5 1 στη λίστα. Με τον ίδιο τρόπο προσθέτουμε τους κανόνες 4 2, 3 3, 2 4 και 1 5. Στο τέλος, η συμπληρωμένη λίστα θα φαίνεται όπως στην παρακάτω εικόνα. Κλικ στο Continue και μετά στο OK. [12]