Εγκυρότητα και Αξιοπιστία. Χριστίνα Καραμανίδου, PhD

Transcript

1 Εγκυρότητα και Αξιοπιστία Χριστίνα Καραμανίδου, PhD

2 Η έννοια της εγκυρότητας Η εγκυρότητα της έρευνας είναι το βασικό κριτήριο με βάση το οποίο θα ληφθεί η απόφαση για αξιοποίηση ή όχι των ευρημάτων. Η εγκυρότητα είναι μια σύνθετη έννοια...

3 Εσωτερική εγκυρότητα Η εσωτερική εγκυρότητα μετρά το κατά πόσο η επίδραση της ανεξάρτητης ης μεταβλητής στην εξαρτημένη μεταβλητή (συσχέτιση ή διαφορά) είναι αληθινή εικόνα και όχι αποτέλεσμα επίδρασης εξωγενών παραγόντων.

4 Απειλές στην εσωτερική εγκυρότητα Ιστορικό: Γεγονότα τα οποία συνέβησαν κατά τη διάρκεια της πειραματικής διαδικασίας αλλά δεν συνδέονται με την πειραματική διαδικασία ενώ μπορεί να έχουν επηρεάσει τα υποκείμενα. Ωρίμανση: Αλλαγές (ψυχολογικές, βιολογικές) που συμβαίνουν με το πέρασμα του χρόνου κατά τη διάρκεια της πειραματικής διαδικασίας (παρακίνηση, κούραση, ανία) και μπορούν να δικαιολογήσουν μέρος της επίδρασης που παρατηρείται. Δοκιμασία: Αλλαγές που συμβαίνουν στην απόδοση λόγω της εξοικείωσης με το τεστ

5 Απειλές στην εσωτερική εγκυρότητα Μέτρηση: Αξιοπιστία και ακρίβεια μετρήσεων. Πιο συχνή απειλή στη περίπτωση των επαναλαμβανόμενων μετρήσεων ειδικά όταν αλλάζει η μεθοδολογία μέτρησης. Για παράδειγμα μπορεί οι παρατηρητές/ συνεντευκτές να αλλάξουν ή ένα μηχάνημα ημ να χαλάσει. Επιλογή δείγματος: Η επιλογή και η κατανομή των ογή δε γμα ος ε ογή α η α α ομή ω υποκειμένων σε ομάδες είναι επίσης μια απειλή που μειώνεται με την τυχαία κατανομή σε ομάδες.

6 Απειλές στην εσωτερική εγκυρότητα Απώλεια συμμετεχόντων (πειραματική θνησιμότητα): Απόφαση εγκατάλειψης πειραματικής διαδικασίας εξαιτίας δυσκολίας, έλλειψης ενδιαφέροντος, έλλειψης παρακίνησης. Διαρροή πειραματικής διαδικασίας: Η γνώση της διαδικασίας δαδ ασαςεπηρεάζει τη συμμετοχή/ συμπεριφορά των συμμετεχόντων (π.χ. Η ομάδα ελέγχου μπορεί να γνωρίζει τι κάνει η ομάδα θεραπείας με αποτέλεσμα αντιπαλότητα ή αποθάρρυνση).

7 Εξωτερική εγκυρότητα Η εξωτερική εγκυρότητα σχετίζεται με το βαθμό γενίκευσης των αποτελεσμάτων στον πληθυσμό από τον οποίο επιλέχθηκε το δείγμα, σε άλλους πληθυσμούς, ή χρονικές στιγμές.

8 Οι απειλές στην εξωτερική εγκυρότητα (1) Επιλογή συμμετεχόντων: Όταν η πειραματική μεταχείριση εφαρμόζεται σε άτομα με κάποια συγκεκριμένα χαρακτηριστικά, η επίδραση της παρέμβασης μπορεί να έχει ισχύ μόνο για άτομα με παρόμοια χαρακτηριστικά. Πειραματικές συνθήκες: Ο αυστηρός έλεγχος των συνθηκών μπορεί να σημαίνει ότι η πειραματική μεταχείριση δεν θα έχει ισχύ έξω από το εργαστήριο.

9 Οι απειλές στην εξωτερική εγκυρότητα (2) Αλληλεπίδραση επιλογής και παρέμβασης (ποιά στοιχεία αποτελούν το δείγμα, ποια τα χαρακτηριστικά τους, πόσοι αρνήθηκαν να λάβουν μέρος, μήπως επηρεάζονται και τροποποιούν τη συμπεριφορά τους) Αλληλεπίδραση περιβάλλοντος και παρέμβασης (ποια πλαίσια, τμήματα, οργανισμοί έλαβαν μέρος) Αλληλεπίδραση ιστορίας και παρέμβασης (τι αλλαγές έλαβαν χώρα κατά τη διάρκεια της έρευνας που να μην επιτρέπουν την γενίκευση των αποτελεσμάτων)

10 Εργαλεία και Ερωτηματολόγια

11 Τι είναι η ψυχομετρία; Ονομάζεται ο κλάδος της ψυχολογίας του οποίου αντικείμενο είναι η ψυχολογική μέτρηση των γνωστικών ικανοτήτων και των ανθρώπινων χαρακτηριστικών π.χ. προσαρμογή (Stuart- Hamilton, 1995). Ασχολείται δηλαδή με τη μέτρηση και την κατασκευή ψυχολογικών δοκιμασιών (τεστ, ερωτηματολόγια). ) Είναι μια συστηματική προσπάθεια η οποία μπορεί να προβλέπει με έναν όσο το δυνατόν πιο αντικειμενικό τρόπο την ανθρώπινη συμπεριφορά (Rust & Golombok, 1989)

12 Χρήσεις των τεστ (1) Τα τεστ χρησιμεύουν σε διάφορους διερευνητικούς τομείς όπως: η ταξινόμηση η διάγνωση και ο προγραμματισμός θεραπείας η αυτογνωσία η αξιολόγηση προγράμματος η έρευνα

13 Χρήσεις των τεστ (2) Α. Ταξινόμηση Η ταξινόμηση έχει ως στόχο την τοποθέτηση ενός ατόμου σε κάποια κατηγορία με απώτερο σκοπό την κατάλληλη αντιμετώπισή του (τοποθέτηση placement, διαχωρισμός -screening, βεβαίωση - certification, επιλογή -selection). Β. Διάγνωση και θεραπευτικός προγραμματισμός Η διάγνωση αφορά τη φύση και την προέλευση μιας προβληματικής συμπεριφοράς καθώς επίσης και την ταξινόμηση της με βάση κάποιο επίσημο διαγνωστικό σύστημα όπως το DSM IV και το ICD 11.

14 Χρήσεις των τεστ (3) Γ. Αυτογνωσία Ψυχολογικά τεστ για τις ικανότητες και τις αδυναμίες ή γενικότερα για την συνολική εκτίμηση της προσωπικότητας του ατόμου. Δ. Αξιολόγηση προγράμματος Η χορήγηση κάποιων ψυχολογικών τεστ συχνά συντελεί στην αξιολόγηση κάποιων εκπαιδευτικών ή ψυχοκοινωνικών προγραμμάτων.

15 Χρήσεις των τεστ (4) Ε. Έρευνα Τα τεστ παίζουν σημαντικό ρόλο στην έρευνα ζ ημ ρ η ρ για την ανθρώπινη λειτουργία και συμπεριφορά.

16 Προβληματισμοί για τους κατασκευαστές ψυχολογικών τεστ (1) Τι μετρά το τεστ; Ποιος είναι ο σκοπός του τεστ; Υπάρχει ανάγκη γι αυτό το τεστ; Ποιος θα το χρησιμοποιεί; Σε ποιόν απευθύνεται; Τι περιεχόμενο θα καλύψει; Πώς θα χορηγηθεί; Ποιά είδη ερωτημάτων θα χρησιμοποιηθούν;

17 Προβληματισμοί για τους κατασκευαστές ψυχολογικών τεστ (2) Τι βαθμός και χρόνος εξάσκησης απαιτείται από τους χρήστες; Τι είδους απαντήσεις αναμένονται από τους χρήστες; Ποιοι θα ωφεληθούν από τη χρήση του τεστ; Υπάρχουν πιθανότητες βλάβης η οποία θα είναι απόρροια της χορήγησης του τεστ;

18 Σημαντικές έννοιες Οι ψυχομετρικές αρχές εφαρμόζονται κατά την κατασκευή ψυχολογικών εργαλείων δηλαδή τεστ μέτρησης νοημοσύνης, προσωπικότητας, ψυχοπαθολογίας κτλ που παράγουν ποσοτικά δεδομένα. Αξιοπιστία Εγκυρότητα

19 Η έννοια της Αξιοπιστίας Η αξιοπιστία ενός εργαλείου λί μέτρησης (π.χ. ερωτηματολόγιο) αφορά τη σταθερότητα του αποτελέσματος σε επαναληπτικές μετρήσεις υπό παρόμοιες συνθήκες. Σημαίνει ότι αναμένουμε τα ίδια αποτελέσματα σε δύο διαδοχικές μετρήσεις π.χ. ενός ψυχολογικού χαρακτηριστικού Εσωτερική αξιοπιστία: αξιολογεί τη συνοχή των αποτελεσμάτων των ερωτήσεων ενός τεστ. Εξωτερική αξιοπιστία: αναφέρεται στο βαθμό στον οποίο ένα τεστ ποικίλλει από μια χρήση στην άλλη.

20 Τρόποι εκτίμησης αξιοπιστίας (1) Αξιοπιστία επαναληπτικών μετρήσεων (ή εξωτερική αξιοπιστία) (ελέγχου μετελέγχου ή δοκιμασία - επαναδοκιμασία) Το ίδιο ψυχολογικό τεστ χορηγείται δύο φορές σε ένα δείγμα ατόμων κάτω από τις ίδιες συνθήκες και υπολογίζεται ο δείκτης συνάφειας μεταξύ των βαθμών κατά τις δύο χορηγήσεις

21 Τρόποι εκτίμησης αξιοπιστίας (3) Αξιοπιστία ισοδύναμων τύπων (εναλλακτικών ή παράλληλων μορφών) ή εσωτερική αξιοπιστία. Κατασκευάζονται και χορηγούνται σε ένα δείγμα ατόμων δύο παράλληλες μορφές του ίδιου τεστ. Υπολογίζεται η συνάφεια μεταξύ βαθμών στους δύο αυτούς τύπους του τεστ.

22 Τρόποι εκτίμησης αξιοπιστίας (3) συν. Τεχνική των δύο ημίσεων (split-half technique) Υπολογισμός του βαθμού συνοχής δύο γ μ ς β μ χής τμημάτων του ίδιου εργαλείου (συσχέτιση βαθμολογιών). Το εργαλείο (τεστ) χορηγείται μία φορά, και ο διαχωρισμός των τμημάτων γίνεται εκ των υστέρων από τους ερευνητές με αυθαίρετο τρόπο.

23 Τρόποι εκτίμησης αξιοπιστίας (4) Αξιοπιστία εσωτερικής συνέπειας (ή συνοχής) ) Σε αυτήν φαίνεται η συνέπεια των απαντήσεων και εκφράζεται με την τιμή του συντελεστή αξιοπιστίας alpha του Cronbach. Οι τιμές που παίρνει μπορεί να είναι από 0 μέχρι 1. Τιμή ίση με 0 σημαίνει ότι οι ερωτήσεις του τεστ μετρούν τελείως διαφορετικά χαρακτηριστικά. Μια τιμή από 0.7 ως 0.9 δείχνει ότι το ερωτηματολόγιο αντανακλά περισσότερο ρ τις μικρές διαφορές και τα επίπεδα της έννοιας.

24 Τρόποι εκτίμησης αξιοπιστίας (4) συν. Ο δείκτης α, είναι ένας δείκτης της εσωτερικής συνέπειας του τεστ (internal consistency), και υπολογίζεται από τη συσχέτισης της κάθε ερώτησης του τεστ με την κάθε μία ερώτηση ξεχωριστά. Γίνεται και στο SPSS, και είναι από τις περισσότερο δημοφιλείς τεχνικές υπολογισμού της αξιοπιστίας (Cronbach, 1951).

25 Η έννοια της εγκυρότητας Αναφέρεται στη διαδικασία εξακρίβωσης του αν μια δοκιμασία ή ένα εργαλείο μετράει αυτό για το οποίο κατασκευάστηκε, αυτό που υποτίθεται ότι μετράει.

26 Μορφές εγκυρότητας (1) Η εγκυρότητα λογικής (rational validity) σχετίζεται με τη φύση, τις ιδιότητες και το περιεχόμενο μιας δοκιμασίας. Υπάρχουν τρεις προσεγγίσεις για την εξακρίβωσή της:

27 Μορφές εγκυρότητας (2) Α. Η εγκυρότητα όψεως (face validity) δηλαδή κατά πόσον σε πρώτη ανάγνωση, οι ερωτήσεις της κλίμακας ανταποκρίνονται στις κοινά αποδεκτές απόψεις για το αντικείμενο που μετρά η κλίμακα.

28 Μορφές εγκυρότητας (2) Β. η εγκυρότητα περιεχομένου (content validity) αναφέρεται στο βαθμό που το περιεχόμενο μιας δοκιμασίας ή ενός ψυχομετρικού μέσου καλύπτει με επάρκεια και καταλληλότητα ένα δεδομένο τομέα. Εξαρτάται άμεσα από τον τρόπο ανάπτυξης του εργαλείου π.χ. Οι περιοχές που μπορεί να καθοριστούν μέσα από βιβλιογραφική ανασκόπηση ή χρήση ποιοτικών μεθόδων σε συνεργασία με τον πληθυσμό αναφοράς, συμμετοχή ειδικών κτλ.

29 Μορφές εγκυρότητας (3) Γ. η εγκυρότητα εννοιολογικής κατασκευής (construct validity) αναφέρεται στο βαθμό στον οποίο ένα τεστ μετράει την έννοια που μας ενδιαφέρει και οι μετρήσεις υποστηρίζουν την ύπαρξη μιας υποτιθέμενης ιδιότητας ή ικανότητας (π.χ. νοημοσύνη, προσωπικότητα, στρες) ρς) Μπορεί να εξετασθεί μέσω χορήγησης άλλων ερωτηματολογίων που μετρούν την ίδια ή συναφή έννοια (ή και το αντίθετο).

30 Μορφές εγκυρότητας (5) Η εγκυρότητα σε σχέση με το κριτήριο (Criterion - related validity) αναφέρεται στην αποτελεσματικότητα μιας δοκιμασίας (ή κλίμακας) να προβλέπει τη συμπεριφορά ενός ατόμου σε συγκεκριμένες καταστάσεις. Ενώ το κριτήριο αυτό αποτελεί μια άμεση και ανεξάρτητη μέτρηση της συμπεριφοράς που προβλέπει η δοκιμασία.

31 Μορφές εγκυρότητας (6) Υπάρχουν δύο προσεγγίσεις για την εξακρίβωση της εγκυρότητας σε σχέση με το κριτήριο: Α. η εγκυρότητα πρόβλεψης ή προγνωστική εγκυρότητα (Predictive validity), η οποία αναφέρεται φρ στη συσχέτιση ανάμεσα στην επίδοση σε μια δοκιμασία και σε ένα κριτήριο, όταν μεσολαβεί ένα χρονικό διάστημα μεταξύ των μετρήσεων της δοκιμασίας και του κριτηρίου (π.χ. εάν μετρήσουμε την νοημοσύνη ενός ατόμου μπορούμε να προβλέψουμε την επίδοσή του στο πανεπιστήμιο) Εάν οι μετρήσεις προβλέψουν το γεγονός τότε το εργαλείο είναι έγκυρο.

32 Μορφές εγκυρότητας (7) Β. η συντρέχουσα εγκυρότητα (Concurrent validity), όπου οι μετρήσεις σε μια δοκιμασία συσχετίζονται στατιστικά με τις μετρήσεις σ ένα κριτήριο, όταν και οι δύο ομάδες μετρήσεων γίνονται την ίδια χρονική στιγμή. Δηλαδή χρησιμοποιούμε κατά το ίδιο χρονικό διάστημα ένα τεστ και ένα άλλο, το οποίο αποδεδειγμένα μετράει αυτό που θέλουμε να μετρήσουμε (π.χ. όταν έχουμε ένα τεστ επίδοσης, συσχετίζουμε τη βαθμολογία στο τεστ αυτό με τους βαθμούς του μαθητή στο σχολείο).

33 Σχέση μεταξύ αξιοπιστίας και εγκυρότητας (1) Εγκυρότητα ενός τεστ αφορά το βαθμό που ένα τεστ μετρά τα χαρακτηριστικά ή τη συμπεριφορά για τη μέτρηση των οποίων κατασκευάστηκε. Η αξιοπιστία υποδεικνύει την ικανότητα του τεστ να προκαλεί σταθερές τιμές.

34 Σχέση μεταξύ αξιοπιστίας και εγκυρότητας (2) Και τα δύο είναι βασικά γνωρίσματα ενός καλού τεστ Και τα δύο εκτιμούν το βαθμό που οι τιμές ενός τεστ είναι ακριβείς μετρήσεις της συμπεριφοράς ή των χαρακτηριστικών που μετρά το τεστ Θεωρητικά μπορεί να υπάρχει ένα τεστ το οποίο να είναι αξιόπιστο αλλά όχι έγκυρο. Εάν ένα τεστ δεν είναι αξιόπιστο, οι πιθανότητες της εγκυρότητάς του περιορίζονται.

35 Σχέση μεταξύ αξιοπιστίας και εγκυρότητας (3) Η αξιοπιστία θεωρείται απαραίτητη αλλά μη επαρκής προϋπόθεση για την παρουσία της εγκυρότητας. Όλα τα έγκυρα τεστ είναι ταυτόχρονα και αξιόπιστα αλλά ένα αξιόπιστο τεστ δεν είναι απαραίτητα έγκυρο. Επειδή η αξιοπιστία ενός τεστ αποτελεί προϋπόθεση για την εγκυρότητα, οι αναλύσεις της αξιοπιστίας συνήθως προηγούνται στην αξιολόγηση ενός τεστ.