Μεθοδολογία Έρευνας. ΑΞΙΟΠΙςΤΙΑ- ΕΓΚΥΡΟΤΗΤΑ ΜΕΘΟΔΟΙ ΔΕΙΓΜΑΤΟΛΗΨΙΑΣ. Δρ Άννα Δελτσίδου Τμήμα Μαιευτικής

Transcript

1 1 Μεθοδολογία Έρευνας ΑΞΙΟΠΙςΤΙΑ- ΕΓΚΥΡΟΤΗΤΑ ΜΕΘΟΔΟΙ ΔΕΙΓΜΑΤΟΛΗΨΙΑΣ Δρ Άννα Δελτσίδου Τμήμα Μαιευτικής

2 Επιστημονική έρευνα 2 Βασική έρευνα (εξηγήσεις για τον κόσμο, ανάπτυξη θεωριών) Εφαρμοσμένη έρευνα (λύση σε προβλήματα). Βασική επιδίωξη είναι η βελτίωση στην καθημερινή πρακτική

3 ΟΡΙΣΜΟΙ 3 Ποσοτική έρευνα: είναι μια: τυπική, αντικειμενική και συστηματική διαδικασία με την οποία επιδιώκουμε να αποκτήσουμε κάποια πληροφορία για τον κόσμο μας χρησιμοποιώντας αριθμητικά δεδομένα. Περιλαμβάνει: περιγραφή μεταβλητών, σχέσεις μεταξύ τους, πρόβλεψη...

4 ΟΡΙΣΜΟΙ 4 Είναι μια: συστηματική και Ποιοτική έρευνα υποκειμενική προσέγγιση που χρησιμοποιούμε για να περιγράψουμε εμπειρίες ζωής και να τους δώσουμε κάποιο νόημα Η προσέγγιση αυτή πηγάζει από τις κοινωνικές επιστήμες και χρησιμοποιείται κυρίως για έννοιες που δεν μπορούν να ποσοτικοποιηθούν (φροντίδα, άνεση, ηθική...)

5 Ταξινόμηση Ποσοτικών Ερευνών 5 Περιγραφικές (περιγραφή φαινομένων, συχνότητας) Συσχέτισης (διερεύνηση συσχέτισης μεταξύ δύο ή περισσότερων φαινομένων-θετική ή αρνητική συσχέτιση, ένταση συσχέτισης) Πειραματικές (συστηματικές, αντικειμενικές, ελεγχόμενες με πρωταρχικό σκοπό τον έλεγχο της αιτιότητας) Οιωνεί-πειραματικές (πρόβλεψη και έλεγχος των φαινομένων) Ο έλεγχος δεν είναι πλήρης π.χ. στον κλινικό χώρο Μεθοδολογικές (ανάπτυξη και τελειοποίηση ερευνητικών τεχνικών, διαδικασιών) π.χ. Αξιολόγηση της αξιοπιστίας και εγκυρότητας ερωτηματολογίων Άλλη ταξινόμηση: προοπτικές, αναδρομικές, συγχρονικές, κλπ

6 Ταξινόμηση Ποιοτικών Ερευνών 6 Εθνογραφικές (αφηγηματικές- διερεύνηση πολιτισμικών διαφορών) Ιστορικές Φιλοσοφικές (αποσαφήνιση νοημάτων, αναγνώριση ηθικών προβληματισμών, επιχειρούν να λύσουν προβλήματα, να κάνουν υποθέσεις) Θεμελιωμένης Θεωρίας (ανάπτυξη θεωριών, ανάπτυξη σχέσων μεταξύ εννοιών) Φαινομενολογικές (περιγραφή εμπειριών όπως βιώνονται από τα άτομα π.χ. του πόνου) Κριτικές κοινωνιολογικές (ερμηνεία του τρόπου που οι άνθρωποι επικοινωνούν μέσα στην κοινωνία)

7 Ταξινόμηση Ερευνών 7 Μέθοδος triangulation=τριγωνοποίηση Χρήση πολλών μεθόδων για την μελέτη των ίδιων φαινομένων

8 Τριγωνοποίηση 8 Ο συνδυασμός των μεθόδων έχει χρησιμοποιηθεί για: την ανάπτυξη ερωτηματολογίων, την ανάπτυξη, δοκιμή, βελτίωση και διατύπωση θεωριών, την ερμηνεία και την τεκμηρίωση εννοιολογικών δομών και συσχετίσεων, την ανάπτυξη ερευνητικών ερωτημάτων και υποθέσεων. Ο συνδυασμός των μεθόδων απαιτεί ερευνητική εμπειρία και στα δύο πεδία και φυσικά αυξάνει κατά πολύ το κόστος της έρευνας.

9 H έννοια της εγκυρότητας στην ποσοτική έρευνα 9 Η εγκυρότητα της έρευνας (study validity) είναι μέτρο της αλήθειας και αφορά την ερευνητική διαδικασία στο σύνολό της. Η εγκυρότητα της έρευνας είναι το βασικό κριτήριο με βάση το οποίο θα ληφθεί η απόφαση για αξιοποίηση ή όχι των ευρημάτων. Είναι μια σύνθετη έννοια που είναι σημαντική τόσο για τον ερευνητή όσο και για εκείνους που θα διαβάσουν την έρευνα και θα σκεφθούν την εφαρμογή στην πράξη.

10 Τύποι εγκυρότητας 10 Οι Cook και Campell (1979) έχουν περιγράψει 4 βασικούς τύπους εγκυρότητας της έρευνας: α) εγκυρότητα δομής, β) εσωτερική εγκυρότητα γ) εγκυρότητα στατιστικού συμπεράσματος και δ) εξωτερική εγκυρότητα.

11 Εγκυρότητα δομής (Construct validity) 11 Η εγκυρότητα δομής απαντά στο ερώτημα: μετρά το εργαλείο μέτρησης που χρησιμοποιήθηκε τις εννοιολογικές δομές ή τις έννοιες που υποτίθεται ότι μετράει;

12 Απειλές στην εγκυρότητα δομής 12 Οι απειλές στην εγκυρότητα δομής πηγάζουν από: τη διαδικασία ανάπτυξης του εργαλείου μέτρησης ή/και τις τεχνικές και τη συγκεκριμένη μεθοδολογία μέτρησης που ακολουθήθηκε στη συγκεκριμένη έρευνα.

13 Απειλές στην εγκυρότητα δομής 13 Η εγκυρότητα δομής αυξάνει όταν: χρησιμοποιούνται περισσότερα του ενός εργαλεία μέτρησης ή μεθοδολογίες για τη μέτρηση της εξαρτημένης μεταβλητής.

14 Εσωτερική εγκυρότητα (Internal validity) 14 Η εσωτερική εγκυρότητα μετρά το κατά πόσο η επίδραση της ανεξάρτητης στην εξαρτημένη μεταβλητή (συσχέτιση ή διαφορά) που βρέθηκε είναι αληθινή εικόνα της πραγματικότητας και όχι το αποτέλεσμα της επίδρασης εξωγενών παραγόντων. Αν και πρέπει να διασφαλίζεται σε όλες τις έρευνες, αφορά περισσότερο τις έρευνες που διερευνούν αιτιότητα, δηλαδή τις πειραματικές ή οιωνεί πειραματικές όπου έχουμε ομάδα ελέγχου και ομάδα παρέμβασης.

15 Απειλές της εσωτερικής εγκυρότητας 15 Σημαντικότερες είναι: 1. Ιστορικό (History). Κάποια κατάσταση ή συμβάν που δεν συνδέεται με την ερευνητική διαδικασία μπορεί να έχει επηρεάσει τα υποκείμενα (άρα και τις μετρήσεις) (π.χ. εξωτερικά γεγονότα που συμβαίνουν ταυτόχρονα με την ανεξάρτητη μεταβλητή και μπορεί να επηρεάσουν την εξαρτημένη μεταβλητή). Πως εξουδετερώνεται; Η απειλή αυτή εξουδετερώνεται με την τυχαία επιλογή δείγματος και την τυχαία κατανομή σε ομάδες.

16 Απειλές της εσωτερικής εγκυρότητας 16 Π.χ. Μελέτη της αποτελεσματικότητας προγράμματος υιοθέτησης πρακτικών βελτίωσης της υγείας εγκύων γυναικών σε αγροτικές περιοχές: διακοπή καπνίσματος, πρώιμη προγεννητική φροντίδα, καλύτερες διατροφικές συνήθειες Σύγκριση μέσου βάρους νεογνών που γεννήθηκαν πριν 12 μήνες με αυτά που γεννήθηκαν 12 μήνες μετά την έναρξη του προγράμματος

17 Απειλές της εσωτερικής εγκυρότητας Ωρίμανση (Maturation). Ορίζεται ως το φαινόμενο κατά το οποίο τα υποκείμενα μιας έρευνας με το πέρασμα του χρόνου αποκτούν εμπειρία (και έτσι γνωρίζουν περισσότερα) ή/και επέρχεται κόπωση με συνέπεια την αλλαγή συμπεριφοράς των υποκειμένων σε μια έρευνα. Επίσης μπορεί να υπάρχουν γεγονότα που συμβαίνουν ως αποτέλεσμα του χρόνου. Π.χ. σωματική ανάπτυξη, συναισθηματική ωριμότητα, κόπωση

18 Απειλές της εσωτερικής εγκυρότητας 18 Π.χ. Αξιολόγηση προγράμματος παρέμβασης για την κινητικοαισθητηριακή ανάπτυξη παιδιών με αναπτυξιακή καθυστέρηση Πως εξουδετερώνεται; Σε αυτή την περίπτωση συνιστάται η όσο το δυνατό μικρή χρονική διάρκεια της έρευνας.

19 Απειλές της εσωτερικής εγκυρότητας Δοκιμασία (Testing). Μερικές φορές όταν υπάρχουν επανειλημμένες μετρήσεις (π.χ. πριν και μετά την παρέμβαση) τα υποκείμενα θυμούνται τις απαντήσεις και αυτό μπορεί να επηρεάσει τα αποτελέσματα. Πως μειώνεται; Η απειλή αυτή μειώνεται όταν χρησιμοποιείται ομάδα ελέγχου και ο χρόνος που μεσολαβεί μεταξύ μετρήσεων να είναι τόσος όσος απαιτείται για να μην θυμούνται τα υποκείμενα τις προηγούμενες απαντήσεις που έδωσαν (συνήθως είναι 3-4 εβδομάδες).

20 Απειλές της εσωτερικής εγκυρότητας 20 Π.χ. Αξιολόγηση σεμιναρίου για τη βελτίωση της στάσης του νοσηλευτικού προσωπικού προς τους ασθενείς με AIDS (σύγκριση της στάσης πριν και μετά το σεμινάριο) Μπορεί οι ερωτώμενοι να ευαισθητοποιηθούν με την προδοκιμασία και η βελτίωση στη στάση τους να μην οφείλεται στο σεμινάριο Πως θα αποφευχθεί; 4 ομάδες (2 ομάδες συμμετέχουν στην προδοκιμασία και την μεταδοκιμασία ενώ οι 2 μόνο στην μεταδοκιμασία

21 Εικόνα 1. Πειραματικός σχεδιασμός Solomon τεσσάρων ομάδων (Πειραματική με δύο πειραματικές ομάδες και δύο ομάδες ελέγχου, με προ-μέτρηση και μετά-μέτρηση μόνο στη μια πειραματική και τη μια ομάδα ελέγχου). 21 Ομάδα Α Μέτρηση Παρέμβαση Μέτρηση Ομάδα Β Μέτρηση Μέτρηση Παρέμβαση Ομάδα Γ Μέτρηση Ομάδα Δ Μέτρηση

22 Απειλές της εσωτερικής εγκυρότητας Μεθοδολογία μέτρησης. Η απειλή αυτή παρουσιάζεται όταν κατά τη διάρκεια επανειλημμένων μετρήσεων αλλάζει η μεθοδολογία μέτρησης. Π.χ. μπορεί οι παρατηρητές/συνεντευκτές να αλλάξουν (άρα να αλλάξει και ο τρόπος με τον οποίο ρωτούν) ή ένα μηχάνημα να χαλάσει. Πως εξουδετερώνεται; Απαιτείται τυποποίηση και σχολαστική τήρηση των διαδικασιών μέτρησης. Αν υπάρχουν πολλοί παρατηρητές ή συνεντευκτές θα πρέπει να έχει γίνει εκπαίδευση αυτών ώστε να διασφαλιστεί η ακρίβεια της μέτρησης.

23 Απειλές της εσωτερικής εγκυρότητας 23 Π.χ. Χρήση μιας κλίμακας κατά την πρώτη μέτρηση και μιας αναθεωρημένης κλίμακας κατά το follow-up Η διαφορά μπορεί να οφείλεται στην διαφορετική έκδοση του οργάνου μέτρησης

24 Απειλές της εσωτερικής εγκυρότητας Επιλογή του δείγματος. Σφάλματα που προκύπτουν από προϋπάρχουσες διαφορές μεταξύ των ομάδων του πληθυσμού που μελετώνται (όχι τυχαία κατανομή τους σε ομάδες) Πως εξουδετερώνεται; Με αποφυγή εθελοντών και με τυχαία κατανομή των υποκειμένων στις ομάδες.

25 Απειλές της εσωτερικής εγκυρότητας 25 Π.χ. Μελέτη κατάθλιψης γυναικών με πρόβλημα γονιμότητας (σύγκριση επιπέδου κατάθλιψης γυναικών που απέκτησαν παιδιά με αυτό των γυναικών που δεν απέκτησαν παιδιά μετά την προσπάθεια) Η σύγκριση του επιπέδου κατάθλιψης των γυναικών αυτών πρέπει να γίνει πριν την έναρξη της θεραπείας (πριν το αποτέλεσμα)

26 Απειλές της εσωτερικής εγκυρότητας Διαφυγή των υποκειμένων. Πολλές φορές κατά τη διάρκεια μιας έρευνας υπάρχει απώλεια των μελών του δείγματος λόγω αποχώρησης στο μέσον της έρευνας ή μη ανεύρεσή τους λόγω αλλαγής διευθύνσεως ή λόγω θανάτου.

27 Απειλές της εσωτερικής εγκυρότητας 27 Π.χ. Σε περιπτώσεις μακρόχρονων ερευνών (σε προοπτικές μελέτες) (Αποδεκτά όρια: <20%) Πως εξουδετερώνεται; Το πρόβλημα αυτό αντιμετωπίζεται με την επιλογή μεγαλύτερου δείγματος από το υπολογιζόμενο με βάση την ανάλυση ισχύος (power analysis).

28 Απειλές της εσωτερικής εγκυρότητας Παρέμβαση. Σε αυτή την περίπτωση κάποιοι ασθενείς έχουν πρόσβαση και σε άλλες συμπληρωματικές θεραπείες ή παρεμβάσεις ή υπάρχει μια αλλαγή της συμπεριφοράς και διαφυγή όσων δεν είναι ικανοποιημένοι από την εφαρμοζόμενη παρέμβαση ή θεραπεία.

29 Εγκυρότητα στατιστικού συμπεράσματος (Statistical conclusion validity) 29 Η εγκυρότητα στατιστικού συμπεράσματος μας βοηθάει στο να εκτιμήσουμε αν οι συσχετίσεις ή οι διαφορές που βρήκαμε με την στατιστική ανάλυση αποτελούν ακριβή απεικόνιση των όσων συμβαίνουν στην πραγματικότητα. Η εγκυρότητα του στατιστικού συμπεράσματος σχετίζεται κυρίως με: την επιλογή, την τήρηση των προϋποθέσεων και την εφαρμογή των στατιστικών δοκιμασιών.

30 Λόγοι για τους οποίους μπορεί να απειληθεί η εγκυρότητα του στατιστικού συμπεράσματος είναι όταν: Δεν έχει γίνει ανάλυση ισχύος (power analysis) για τον υπολογισμό του απαιτούμενου δείγματος ώστε να ανιχνευθεί μια συγκεκριμένη συσχέτιση ή διαφορά. 2. Δεν τηρούνται οι προϋποθέσεις των στατιστικών δοκιμασιών π.χ. κανονική κατανομή, κλίμακα διαστημάτων κτλ.

31 Λόγοι για τους οποίους μπορεί να απειληθεί η εγκυρότητα του στατιστικού συμπεράσματος είναι όταν: Χρησιμοποιούνται πολλαπλές αναλύσεις ή συγκρίσεις μεταξύ μεταβλητών (fishing error) π.χ. συγκρίνω τέσσερις ομάδες ως προς τη μέση τιμή ενός χαρακτηριστικού και εφαρμόζω T-test για τις συγκρίσεις μεταξύ των ομάδων (6 ζεύγη) αντί να εφαρμόσω τη δοκιμασία ANOVA.

32 Λόγοι για τους οποίους μπορεί να απειληθεί η εγκυρότητα του στατιστικού συμπεράσματος είναι όταν: Δεν υπάρχει αξιοπιστία των μετρήσεων π.χ. συμφωνία μεταξύ διαδοχικών μετρήσεων ενός ερωτηματολογίου. 5. Δεν υπάρχει αξιοπιστία στην εφαρμογή της παρέμβασης π.χ. γίνεται εκπαίδευση ασθενών, αλλά από διαφορετικά άτομα και όχι με τον ίδιο ακριβώς τρόπο.

33 Λόγοι για τους οποίους μπορεί να απειληθεί η εγκυρότητα του στατιστικού συμπεράσματος είναι όταν: Υπάρχουν εξωγενείς παράγοντες που επηρεάζουν την μέτρηση της εξαρτημένης μεταβλητής π.χ. σε μελέτη μέτρησης της ποιότητας φροντίδας (εξαρτημένη μεταβλητή) υπάρχουν παράμετροι όπως: διαφορετικό προσωπικό, διαφορετικό σύστημα εργασίας ή ένα πρόσφατο σημαντικό γεγονός που επηρεάζει την ποιότητα της φροντίδας που μετράει ο ερευνητής.

34 Λόγοι για τους οποίους μπορεί να απειληθεί η εγκυρότητα του στατιστικού συμπεράσματος είναι όταν: Υπάρχει τυχαία ετερογένεια των στοιχείων του δείγματος. Δηλαδή, όταν τα μέλη της πειραματικής ομάδας διαφέρουν ως προς αυτά της ομάδας ελέγχου και η διαφορά αυτή επηρεάζει την εξαρτημένη μεταβλητή π.χ. εφαρμόζεται ένα πρόγραμμα ενημέρωσης σε γυναίκες πριν την καισαρική τομή για να μελετηθεί η επίπτωση στο στρες μετά την επέμβαση, αλλά στην πειραματική ομάδα έχουν συμπεριληφθεί γυναίκες με υψηλότερο στρες σε σχέση με την ομάδα ελέγχου.

35 Εξωτερική εγκυρότητα (External validity) 35 Η εξωτερική εγκυρότητα σχετίζεται με το βαθμό γενίκευσης των αποτελεσμάτων στον πληθυσμό από τον οποίο επιλέχθηκε το δείγμα. Με την ευρεία έννοια η γενίκευση μπορεί να αφορά: τα υποκείμενα, το περιβάλλον ή/και τον χρόνο.

36 Εσωτερική vs εξωτερική εγκυρότητα 36

37 Οι απειλές για τη γενίκευση των αποτελεσμάτων σε σχέση με τον σχεδιασμό μπορεί να προέρχονται από: 1. Αλληλεπίδραση επιλογής και παρέμβασης. 37 To ερώτημα που πρέπει να γίνει εδώ είναι το εξής: Ποια άτομα αποτελούν το δείγμα; Ποια τα χαρακτηριστικά τους; Υπάρχουν εθελοντές; Πόσοι αρνήθηκαν συμμετοχή στην έρευνα; Για την αξιολόγηση της εξωτερικής εγκυρότητας απαιτείται μια καλή περιγραφή των παραπάνω στοιχείων. Μήπως τα υποκείμενα επηρεάζονται και τροποποιούν τη συμπεριφορά τους επειδή γνωρίζουν ότι συμμετέχουν στην έρευνα; (επίδραση προσδοκιών).

38 Οι απειλές για τη γενίκευση των αποτελεσμάτων σε σχέση με τον σχεδιασμό μπορεί να προέρχονται από: Αλληλεπίδραση περιβάλλοντος και παρέμβασης. Πολλά νοσοκομεία ή τμήματα είναι πρόθυμα για την συμμετοχή σε έρευνες ενώ άλλα είναι απρόθυμα. Οι διαφορές μεταξύ των τμημάτων ή των οργανισμών είναι δυνατό να είναι μεγάλες και για αυτό η γενίκευση σε αυτά να μην είναι δυνατή. Με την αυστηρή έννοια του όρου γενίκευση σε άλλους οργανισμούς ή περιβάλλοντα δεν μπορεί να γίνει.

39 Οι απειλές για τη γενίκευση των αποτελεσμάτων σε σχέση με τον σχεδιασμό μπορεί να προέρχονται από: Αλληλεπίδραση ιστορίας και παρέμβασης. Κατά την διάρκεια της έρευνας είναι δυνατό να συμβούν αλλαγές (οργανωτικές, νομοθετικές κτλ.) που να μην επιτρέπουν την γενίκευση των αποτελεσμάτων. Προκειμένου να αξιολογηθεί αυτή η παράμετρος θα πρέπει να είναι γνωστές οι αλλαγές στον ευρύτερο επαγγελματικό και επιστημονικό χώρο καθώς επίσης και αν έγιναν σημαντικά κοινωνικά ή οικονομικά συμβάντα. Υπό την αυστηρή έννοια του όρου γενίκευση στο μέλλον δεν μπορεί να γίνει.

40 Στρατηγικές για τη μείωση των παραγόντων που απειλούν την εγκυρότητα της έρευνας 40 Οι στρατηγικές για την μείωση των παραγόντων που απειλούν την εγκυρότητα βασίζονται στον έλεγχο των ακόλουθων παραμέτρων: 1. Περιβάλλον. Το περιβάλλον, ειδικά όταν γίνονται συγκρίσεις δεν θα πρέπει να διαφέρει ως προς παράγοντες που μπορεί να επηρεάσουν τις μετρήσεις

41 Στρατηγικές για τη μείωση των παραγόντων που απειλούν την εγκυρότητα της έρευνας Ισοδυναμία των υποκειμένων και των ομάδων του δείγματος. Η τυχαία δειγματοληψία και η τυχαία κατανομή σε ομάδες συνεισφέρουν σημαντικά στην μείωση αυτών των απειλών Θα πρέπει: τα κριτήρια επιλογής να είναι σαφή και τα χαρακτηριστικά των ομάδων θα πρέπει να μετρώνται, να συγκρίνονται και να αναφέρονται στην περιγραφή του δείγματος.

42 Στρατηγικές για τη μείωση των παραγόντων που απειλούν την εγκυρότητα της έρευνας Παρέμβαση. Πρώτα από όλα πρέπει να υπάρχει ξεκάθαρη και πλήρης περιγραφή της παρέμβασης η οποία θα πρέπει να είναι ακριβώς η ίδια για όλα τα υποκείμενα χωρίς αποκλίσεις. Π.χ. Αν η παρέμβαση είναι η πληροφόρηση στον ασθενή, θα πρέπει να διασφαλιστεί ότι γίνεται με τον ίδιο τρόπο και έχουν ελεγχθεί παράγοντες μεταβλητότητας όπως η ώρα, το άγχος, ο πόνος, η αλληλεπίδραση με άλλους ή ο χρόνος αναμονής για την παρέμβαση. Επίσης εάν η παρέμβαση είναι φαρμακευτική θα πρέπει να ελεγχθεί η αλληλεπίδραση με προηγούμενες θεραπείες.

43 Στρατηγικές για τη μείωση των παραγόντων που απειλούν την εγκυρότητα της έρευνας Μέτρηση. Η μεθοδολογία μέτρησης θα πρέπει να είναι η ίδια. Οι οδηγίες για παράδειγμα θα πρέπει να δοθούν σε όλους με τον ίδιο τρόπο και οι παρατηρητές να έχουν εκπαιδευτεί έτσι ώστε να έχουν υψηλό βαθμό συμφωνίας. 5. Εξωγενείς μεταβλητές. Οι παράγοντες αυτοί είναι συνήθως: η ηλικία, το φύλο, το μορφωτικό επίπεδο, η κοινωνική και η οικονομική κατάσταση, η σοβαρότητα της ασθένειας και η κατάσταση του αρρώστου, το λειτουργικό επίπεδο.

44 Στρατηγικές για την αποφυγή της επίδρασης των εξωγενών παραγόντων είναι: η τυχαία επιλογή του δείγματος, 44 η τυχαία κατανομή σε ομάδες, η επιλογή συγκεκριμένων ατόμων (ομοιογένεια) ή ατόμων με διαφορετικά χαρακτηριστικά (ετερογένεια) η προτύπωση, η επιλογή με συνδυασμό διαστρωμάτωσης και αναλογικής επιλογής, το ταίριασμα των μελών του δείγματος (matching) και ο στατιστικός έλεγχος (π.χ. ανάλυση της συνδιακύμανσης ή συμμεταβλητότητας).

45 ΑΞΙΟΠΙΣΤΙΑ ΚΑΙ ΕΓΚΥΡΟΤΗΤΑ ΜΕΤΡΗΣΗΣ 45 Αξιοπιστία μέτρησης Η αξιοπιστία (reliability) είναι μέτρο του τυχαίου σφάλματος της μέτρησης και αντανακλά την συνέπεια (consistency) με την οποία ένα εργαλείο μέτρησης μετράει ένα χαρακτηριστικό. Ένα εργαλείο μέτρησης είναι αξιόπιστο για ένα συγκεκριμένο πληθυσμό όταν σε επανειλημμένες μετρήσεις του ίδιου χαρακτηριστικού παράγει σύμφωνα αποτελέσματα, δηλαδή αποτελέσματα που δε διαφέρουν σε μεγάλο βαθμό. Η αξιοπιστία είναι δυνατό να αξιολογηθεί με βάση τρεις ιδιότητες: τη σταθερότητα (stability), την ισοδυναμία (equivalence) και την ομοιογένεια (homogeneity).

46 Α. Σταθερότητα Αφορά στη συμφωνία μεταξύ διαδοχικών μετρήσεων και συχνά αναφέρεται ως αξιοπιστία δοκιμασίας- επαναδοκιμασίας (test - retest reliability). Προκειμένου να αξιολογηθεί αυτή η ιδιότητα θα πρέπει το χαρακτηριστικό που μετράται να παραμένει το ίδιο κάτι που είναι δύσκολο σε κάποιες περιπτώσεις, όπως για παράδειγμα η ψυχολογική ή η σωματική κατάσταση σε ασθενείς που νοσηλεύονται στο νοσοκομείο. Στα μηχανήματα η επανάληψη μιας μέτρησης είναι δυνατό να γίνει άμεσα με το ίδιο δείγμα από την ουσία, ενώ στα ερωτηματολόγια πρέπει να μεσολαβήσει ένα διάστημα από 2-4 εβδομάδες μεταξύ των δύο μετρήσεων προκειμένου τα υποκείμενα να μη θυμούνται τις απαντήσεις που έδωσαν. 46

47 Αξιοπιστία επαναληπτικών μετρήσεων (test-retest reliability) 47 Σύμφωνα με αυτή τη μέθοδο, επαναλαμβάνουμε την ίδια δοκιμασία στα ίδια άτομα, κάτω από τις ίδιες συνθήκες και στη συνέχεια αναζητούμε συσχέτιση ανάμεσα στα αποτελέσματα. Συνήθως, όσο μικρότερος είναι ο χρόνος που μεσολαβεί για τη δεύτερη μέτρηση, τόσο ισχυρή είναι η συσχέτιση. Η συμφωνία μετριέται με την συσχέτιση μεταξύ των δύο μετρήσεων και συνήθως χρησιμοποιείται ο συντελεστής συσχέτισης του Pearson ή του Spearman και ο συντελεστής αλληλοσυσχέτισης (intercorrelation coefficient, ICC), των τιμών δύο μετρήσεων με το ίδιο όργανο, του ίδιου δείγματος.

48 B. Ισοδυναμία 48 Αφορά στη συμφωνία ανάμεσα σε δύο ή περισσότερες εκδόσεις ή τύπους του εργαλείου μέτρησης, οπότε και ονομάζεται αξιοπιστία εναλλακτικών ή παράλληλων μορφών (alternate or parallel forms reliability) ή στο βαθμό συμφωνίας ανάμεσα σε δύο ή περισσότερους διαφορετικούς παρατηρητές, οπότε και ονομάζεται αξιοπιστία μεταξύ παρατηρητών (interrater reliability).

49 Β. Ισοδυναμία 49 Για την αξιολόγηση των παράλληλων ή εναλλακτικών μορφών ενός εργαλείου μέτρησης χρησιμοποιείται η συσχέτιση όπως και προηγουμένως. Για την αξιοπιστία μεταξύ παρατηρητών, οι παρατηρητές θα πρέπει να αξιολογήσουν τουλάχιστον 10 υποκείμενα ή συμβάντα. Σ αυτή την περίπτωση η αξιολόγηση μπορεί να γίνει με απλό τρόπο με το ποσοστό συμφωνίας ή με τον υπολογισμό ειδικών συντελεστών όπως ο συντελεστής συσχέτισης Kappa (coefficient of agreement).

50 Αξιοπιστία παράλληλων τύπων (parallel-forms reliability) 50 Σε αυτή την περίπτωση, δίνουμε έναν παράλληλο τύπο της κλίμακάς μας στα ίδια άτομα, κάτω από τις ίδιες συνθήκες και μετά ελέγχουμε τη συσχέτισή τους. Ένας εναλλακτικός τρόπος είναι να δημιουργήσουμε μια μεγάλη ομάδα ερωτήσεων που αντιπροσωπεύουν την ίδια κατασκευή και μετά να χωρίσουμε τυχαία τις ερωτήσεις σε δύο κατηγορίες. Δίνουμε και τις δύο κατηγορίες ερωτήσεων στους ίδιους ανθρώπους. Ο συντελεστής συσχέτισης μεταξύ αυτών των δύο κατηγοριών ερωτήσεων θεωρείται δείκτης της αξιοπιστίας της κλίμακας. Ασφαλώς, η μέθοδος αυτή έχει πολλές δυσκολίες, καθώς είναι δύσκολο να δημιουργήσει κανείς ερωτήσεις που αντανακλούν την ίδια κατασκευή και να έχει δύο κατηγορίες παράλληλων ή ισοδύναμων ερωτήσεων.

51 Γ. Ομοιογένεια 51 Αφορά στη συμφωνία μεταξύ των ερωτήσεων που αποτελούν το εργαλείο μέτρησης (ερωτηματολόγιο). Βασίζεται στην αρχή ότι οι ερωτήσεις που αποτελούν ένα ερωτηματολόγιο θα πρέπει να μετρούν το ίδιο χαρακτηριστικό. Το ίδιο βέβαια θα πρέπει να ισχύει και για τις επιμέρους διαστάσεις (ή κατηγορίες ερωτήσεων) ενός ερωτηματολογίου. Αν η βαθμολογία αθροίζεται, τότε εκτιμάται τόσο η ομοιογένεια των επιμέρους διαστάσεων όσο και του ερωτηματολογίου συνολικά.

52 Αξιοπιστία των δύο ημίσεων ή των δύο ημικλάστων (split-half reliability) 52 Η μέθοδος της αξιοπιστίας των ημικλάστων (split-half) ουσιαστικά είναι μια μέθοδος αντίστοιχη της δοκιμασίας-επαναδοκιμασίας με τη διαφορά ότι δεν συγκρίνονται οι τιμές δύο μετρήσεων αλλά οι τιμές δύο τμημάτων του ερωτηματολογίου. Δηλαδή, με αυτή τη μέθοδο το ερωτηματολόγιο διαιρείται σε δύο μέρη και στη συνέχεια αξιολογείται η συμφωνία (συσχέτιση) των αποτελεσμάτων των δύο αυτών τμημάτων με τον συντελεστή Spearman-Brown. Η διαίρεση μπορεί να γίνει με τυχαίο τρόπο, μονά ζυγά κτλ.

53 Συντελεστής Cronbach 53 alpha Τελευταία, χρησιμοποιείται κυρίως η αξιολόγηση της ομοιογένειας των ερωτήσεων ολόκληρου του ερωτηματολογίου ή/και των διαστάσεών του με τον συντελεστή αξιοπιστίας εσωτερικής συνοχής (internal consistency reliability) που είναι: ο Cronbach alpha για διατάξιμα και ποσοτικά δεδομένα και ο KR-20 και 21 όταν τα δεδομένα είναι διχοτομικά (π.χ. του τύπου ναι-όχι και συμφωνώ-διαφωνώ).

54 Συντελεστής Cronbach alpha 54 Ο συντελεστής Cronbach alpha είναι ισοδύναμος εννοιολογικά με την μέση τιμή όλων των πιθανών τιμών της αξιοπιστίας των ημικλάστων και δείχνει κατά πόσο το εργαλείο μέτρησης έχει συμπεριλάβει όλες τις δυνατές ερωτήσεις που μετρούν την έννοια. Επίσης, θα μπορούσαμε να πούμε ότι εκφράζει τη «μέση» συσχέτιση των ερωτήσεων. Στην περίπτωση αυτή, διανέμεται η κλίμακα σε ένα δείγμα ατόμων, μία φορά, προκειμένου να εκτιμήσουμε την αξιοπιστία της, δηλαδή πόσο καλά οι ερωτήσεις αντανακλούν την ίδια κατασκευή (Kuder & Richardson, 1957)

55 Συντελεστής Cronbach alpha 55 Οι τιμές που παίρνει είναι από 0 έως 1. Τιμή ίση με τη μονάδα σημαίνει ότι όλες οι ερωτήσεις μετρούν ακριβώς το ίδιο χαρακτηριστικό. Δηλαδή κάθε υποκείμενο απαντά με τον ίδιο ακριβώς τρόπο σε όλες τις ερωτήσεις. Επομένως θα μπορούσε κάποιος να χρησιμοποιήσει μόνο μια ερώτηση. Τιμή ίση με μηδέν σημαίνει ότι οι ερωτήσεις μετρούν τελείως διαφορετικά χαρακτηριστικά. Επομένως θα πρέπει να προστεθούν ερωτήσεις για να καλυφθούν όλα τα χαρακτηριστικά της έννοιας που μετριέται. Μια τιμή από 0.7 έως 0.9 δείχνει ότι το ερωτηματολόγιο αντανακλά περισσότερο τις μικρές διαφορές και τα διάφορα επίπεδα της έννοιας

56 Συντελεστής Cronbach alpha 56 Κάποιοι ερευνητές προτείνουν ως αποδεκτούς τους ακόλουθους σταθμισμένους συντελεστές αξιοπιστίας: α=0,95 για την εσωτερική συνοχή της κλίμακας, r (Pearson coefficient) = 0,90 για επαναληπτική μέτρηση (test-retest) α = 0,85 για παραλλαγές της κλίμακας. Το όριο για το χαρακτηρισμό μιας κλίμακας ως αξιόπιστης είναι ένας συντελεστής α>0,70. Ο Nunnally, ωστόσο, υποστηρίζει ότι ένας συντελεστής εσωτερικής συνοχής Cronbach's alpha μεταξύ 0,50 και 0,60 είναι αρκετός στα αρχικά στάδια της μελέτης, ενώ όταν πρόκειται να εξαχθούν σημαντικά συμπεράσματα, το ελάχιστο είναι ένας α=0,90 με πιο επιθυμητή την τιμή α=0,95 (Nunnally, 1979, 1994; Payne, 1993)

57 Συντελεστής Cronbach alpha 57 Ιδιαίτερα σε ότι αφορά τη βιβλιογραφία για την ικανοποίηση των ασθενών, είναι συχνό φαινόμενο η αναφορά υψηλών συντελεστών εσωτερικής συνοχής Cronbach's alpha. O Fitzpatrick εξηγεί ότι αυτό το φαινόμενο οφείλεται στο γεγονός πως οι ασθενείς τείνουν να εκφράζουν υψηλά επίπεδα ικανοποίησης από όλες τις διαστάσεις της παρεχόμενης φροντίδας, σε σημείο που να καθίσταται προβληματική η εμπιστοσύνη στις συσχετίσεις μεταξύ των ερωτήσεων, ως δείκτη αξιοπιστίας της αντίστοιχης κλίμακας (Fitzpatrick, 1993)

58 Τι κλίμακα Likert πρέπει να χρησιμοποιήσω για να έχω έναν καλό συντελεστή αξιοπιστίας; 58 Η χρήση κλιμάκων, όπως του τύπου Likert, αποτελεί μια κοινή πρακτική στις περισσότερες έρευνες. Ο Garner (1960), προτείνει τη χρήση κλιμάκων με πάνω από 20 κατηγορίες απαντήσεων για την άντληση της μέγιστης δυνατής πληροφορίας. Οι Green και Rao (1970) προτείνουν τη χρήση 6 βαθμων ή 7βαθμων κλιμάκων, πιστεύοντας ότι η αύξηση του εύρους των απαντήσεων πέραν της 7βαθμης κλίμακας δίνει λίγη παραπάνω πληροφορία.

59 Τι κλίμακα Likert πρέπει να χρησιμοποιήσω για να έχω έναν καλό συντελεστή αξιοπιστίας; 59 Ο Symonds (1924) ήταν ο πρώτος που υποστήριξε τη θετική συσχέτιση της αξιοπιστίας με τη χρήση 7βαθμης κλίμακας απαντήσεων. Επίσης ο Miller (1956), υποστήριξε ότι το ανθρώπινο μυαλό έχει τη δυνατότητα να διακρίνει ένα εύρος 7 απαντήσεων με μια απόκλιση ±2. Η χρήση της 7βαθμης κλίμακας προτάθηκε και από άλλους. Κάποιοι ερευνητές ανέφεραν υψηλότερους συντελεστές αξιοπιστίας για τις 5βαθμες κλίμακες. Nunally & Bernstein, 1994; Finn, 1972; Ramsay, 1973; Jenkins & Taber, 1977; Lissitz & Green, 1975; McKelvie, 1978; Remmers & Wart, 1941)

60 Τι κλίμακα Likert πρέπει να χρησιμοποιήσω για να έχω 60 έναν καλό συντελεστή αξιοπιστίας; Αργότερα, ο Bendig διαπιστώνει: μια σταθερότητα στους συντελεστές αξιοπιστίας επαναληπτικών μετρήσεων για τις κλίμακες Likert με 2, 3, 5, 7 και 9 απαντήσεις, μια σταθερότητα στους συντελεστές αξιοπιστίας μεταξύ των παρατηρητών/βαθμολογητών (interrater) για τις κλίμακες με 3, 5, 7 απαντήσεις. Λίγοι μόνο ερευνητές συμφώνησαν με τον Bendig, ότι δηλαδή η αξιοπιστία είναι ανεξάρτητη από τον αριθμό των κατηγοριών των πιθανών απαντήσεων. (Bendig, 1953,1954; Boot, 1981; Brown et al., 1991; Komorita, 1963; Matell & Jacoby, 1971; Remington et al., 1979)

61 61 Σε μια πιο πρόσφατη έρευνα των Preston και Colman, στην οποία συμμετείχαν 149 φοιτητές ηλικίας ετών, διαπιστώθηκε ότι: η μικρότερη τιμή του συντελεστή Cronbach's alpha αντιστοιχεί στις δυαδικές και 3βαθμες κλίμακες (α=0,86-0,88), ενώ η μέγιστη δυνατή, στην 7βαθμη, 8βαθμη, 9βαθμη και 10βαθμη κλίμακα (α=0,94) (Preston & Colman, 2000)

62 Εγκυρότητα μέτρησης 62 Η εγκυρότητα (validity) είναι μέτρο του συστηματικού σφάλματος της μέτρησης και δείχνει κατά πόσο το εργαλείο μέτρησης μετρά αυτό που υποτίθεται ότι μετρά. Μπορεί επίσης να οριστεί ως ο βαθμός που το εργαλείο μέτρησης διακρίνει αυτούς που έχουν και αυτούς που δεν έχουν το χαρακτηριστικό ή τη συμπεριφορά που μετριέται. Ο βαθμός στον οποίο το εργαλείο μέτρησης μετράει κάτι άλλο και όχι την υπό μελέτη έννοια είναι συστηματικό σφάλμα. Όσο το συστηματικό σφάλμα μειώνεται τόσο η εγκυρότητα αυξάνει.

63 Εγκυρότητα μέτρησης 63 Η αξιοπιστία και η εγκυρότητα δεν είναι ανεξάρτητες. Ένα εργαλείο μέτρησης που δεν είναι αξιόπιστο δεν μπορεί να είναι έγκυρο. Το αντίθετο όμως μπορεί να συμβεί. Δηλαδή, ένα εργαλείο μέτρησης να είναι αξιόπιστο χωρίς να είναι έγκυρο. Π.χ., ένας ερευνητής μπορεί να θέλει να μετρήσει την ικανοποίηση των ασθενών με τον χρόνο που αφιερώνουν για να δουν τηλεόραση. Μπορεί η μέτρησή του να είναι αξιόπιστη (να υπάρχει δηλαδή συμφωνία ανάμεσα σε μετρήσεις), αλλά δεν μετράει αυτό που υποτίθεται ότι έπρεπε να μετράει.

64 Εγκυρότητα μέτρησης 64 Στην βιβλιογραφία αναφέρονται τρεις τύποι εγκυρότητας μέτρησης: η εγκυρότητα περιεχομένου η εγκυρότητα δομής και η εγκυρότητα κριτηρίου.

65 Α. Εγκυρότητα περιεχομένου (Content validity) 65 Παλαιότερα, ο μόνος τύπος εγκυρότητας που αναφερόταν στις περισσότερες έρευνες ήταν η εγκυρότητα όψεως ή φαινομενική (face validity) που απλά επιβεβαίωνε ότι το εργαλείο ή η τεχνική μέτρησης «έδινε την εντύπωση» ή «έδειχνε» ότι μετρούσε το περιεχόμενο μιας έννοιας. Π.χ. αν γινόταν μια αξιολόγηση της ποιότητας της φροντίδας με ένα συγκεκριμένο εργαλείο και τα αποτελέσματα συμφωνούσαν με την άποψη των ειδικών τότε θα μιλούσαμε για ενδείξεις εγκυρότητας.

66 Α. Εγκυρότητα περιεχομένου (Content validity) 66 Η εγκυρότητα περιεχομένου εξετάζει τον βαθμό στον οποίο ένα εργαλείο μέτρησης (π.χ. ερωτηματολόγιο) περιλαμβάνει ερωτήσεις που αντιπροσωπεύουν όλες τις πιθανές περιοχές που συνιστούν την έννοια που μετριέται και εξαρτάται άμεσα από τον τρόπο ανάπτυξής του. Οι περιοχές αυτές καθορίζονται: μέσω της εκτεταμένης βιβλιογραφικής ανασκόπησης ή/και με τη χρήση ποιοτικών μεθόδων, όπως της τεχνικής της ανάλυσης εννοιών (concept analysis).

67 Α. Εγκυρότητα περιεχομένου (Content validity) 67 Η εγκυρότητα περιεχομένου εφαρμόζεται τόσο: στις μετρήσεις στάσεων, συναισθημάτων και συμπεριφοράς όσο και στις μετρήσεις γνώσεων και η τεκμηρίωση μπορεί να βασιστεί: α) στην εκτεταμένη βιβλιογραφική ανασκόπηση β) στη χρησιμοποίηση εκπροσώπων από την πληθυσμό αναφοράς (representatives of the relevant populations) και γ) στην συμμετοχή ειδικών στο αντικείμενο της μελέτης.

68 Β. Εγκυρότητα δομής ή εννοιολογική εγκυρότητα (Construct validity) 68 Ένδειξη εγκυρότητας από παραγοντική ανάλυση (Factor analysis) Η μέτρηση μιας έννοιας μπορεί να περιλαμβάνει περισσότερα από ένα χαρακτηριστικά που συνιστούν τις περιοχές ή διαστάσεις της έννοιας αυτής. Η ανάλυση παραγόντων (factor analysis) είναι μια στατιστική μέθοδος ανάδειξης παραγόντων, δηλαδή ομάδων ερωτήσεων που συσχετίζονται περισσότερο μεταξύ τους παρά με τις άλλες. Επομένως ή παραγοντική ανάλυση αναδεικνύει τις διαστάσεις μιας έννοιας ή σε περίπτωση που αυτές είναι γνωστές (με βάση τη θεωρία ή άλλες έρευνες) δείχνει κατά πόσο το εργαλείο μέτρησης τις αντανακλά, άρα και αν το εργαλείο μέτρησης μετράει αυτό που υποτίθεται ότι μετράει

69 ΠΑΡΑΓΟΝΤΙΚΗ ΑΝΑΛΥΣΗ (FACTOR ANALYSIS) 69 Με τη διαδικασία αυτή, ένας μεγάλος αριθμός μεταβλητών μειώνεται σε ένα μικρότερο αριθμό παραγόντων. Έτσι, η παραγοντική ανάλυση «σχεδιάστηκε για να εξετάσει τη συνδιακύμανση μιας ομάδας μεταβλητών και να ερμηνεύσει τις συσχετίσεις ανάμεσα σε αυτές τις μεταβλητές, με την ομαδοποίησή τους σε παράγοντες» (Carr, 1992; Gorsuch, 1983)

70 ΠΑΡΑΓΟΝΤΙΚΗ ΑΝΑΛΥΣΗ (FACTOR ANALYSIS) 70 Για αυτό και η παραγοντική ανάλυση μπορεί να γίνει για διερεύνηση, δηλαδή για ανάδειξη παραγόντων οπότε ονομάζεται διερευνητική παραγοντική ανάλυση (exploratory factor analysis) ή για επιβεβαίωση ενός ορισμού ή ενός μοντέλου (θεωρητικού ή εμπειρικού), οπότε ονομάζεται επιβεβαιωτική παραγοντική ανάλυση (confirmatory factor analysis). Όταν αναπτύσσεται ένα ερωτηματολόγιο, οι ερωτήσεις που δεν εντάσσονται σε κάποιο παράγοντα είναι δυνατό να παραληφθούν.

71 Διερευνητική παραγοντική ανάλυση (exploratory factor analysis) 71 Η διερευνητική παραγοντική ανάλυση χρησιμοποιείται για τη διερεύνηση των δεδομένων που προσδιορίζουν τον αριθμό ή τη φύση των παραγόντων που εξηγούν τη συνδιακύμανση μεταξύ των μεταβλητών, όταν ο ερευνητής δεν έχει εκ των προτέρων την κατάλληλη μαρτυρία για να σχηματίσει μια υπόθεση για τον αριθμό των παραγόντων που ερμηνεύουν τα δεδομένα. Ως εκ τούτου, αυτό το είδος της παραγοντικής ανάλυσης προσφέρει υποστήριξη στη διάχυση μιας θεωρίας, παρά στον έλεγχο αυτής της θεωρίας (Stevens, 1996)

72 Επιβεβαιωτική παραγοντική ανάλυση (confirmatory factor analysis) 72 Η επιβεβαιωτική παραγοντική ανάλυση συνιστά ένα τρόπο ελέγχου μιας θεωρίας, καθώς ο ερευνητής ξεκινά με μια υπόθεση πριν από την ανάλυση. Η υπόθεση αυτή βασίζεται σε μια ισχυρή θεωρία ή μια παρατήρηση, ενώ ορίζει ποιες μεταβλητές θα σχετίζονται με ποιους παράγοντες, όπως επίσης και ποιοι παράγοντες θα σχετίζονται μεταξύ τους.

73 Επιβεβαιωτική παραγοντική ανάλυση (confirmatory factor analysis) 73 Εξ ορισμού, αυτού του είδους η παραγοντική ανάλυση είναι πιο αξιόπιστη στην αξιολόγηση της εγκυρότητας εννοιολογικής κατασκευής της κλίμακας. Έχοντας προσδιορίσει ο ερευνητής εκ των προτέρων τους παράγοντες, είναι σε θέση να τους συγκρίνει με αυτούς που βρέθηκαν από μια ομάδα δεδομένων, προκειμένου να προσδιορίσει την καταλληλότητα (goodness of fit) του μοντέλου.

74 Φορτίσεις 74 Σε γενικές γραμμές, παραγοντικές φορτίσεις της τάξης του: 0,71 θεωρούνται πολύ υψηλές, 0,63 υψηλές, 0,55 ικανοποιητικές, 0,45 μέτριες, 0,32 χαμηλές και κάτω από 0,30 μη αξιολογήσιμες. Οι περισσότεροι ερευνητές δεν συμφωνούν ως προς τις τιμές των αποδεκτών φορτίσεων, ωστόσο συμφωνούν στο όριο 0,30 ή 0,35 ως τη μικρότερη αποδεκτή τιμή φόρτισης. (Cormey, 1973; Norman & Streiner, 1994)

75 Επάρκεια δειγματοληψίας 75 Δεν υπάρχει επιστημονική απάντηση στην ερώτηση πόσες περιπτώσεις απαιτούνται για την εκτέλεση παραγοντικής ανάλυσης, καθώς οι απόψεις διίστανται. Από την ανασκόπηση της σχετικής βιβλιογραφίας προκύπτουν τα εξής: Ο κανόνας των 10. Θα πρέπει να υπάρχουν τουλάχιστον 10 περιπτώσεις για κάθε μία ερώτηση της κλίμακας που χρησιμοποιείται. Αναλογία ατόμων/μεταβλητές. Η αναλογία ατόμων προς μεταβλητές δεν πρέπει να είναι μικρότερη από 5 (Νunally, 1979; Hulka et al., 1971; Bryan & Yarnolds, 1995)

76 Επάρκεια δειγματοληψίας 76 Ο κανόνας των 100. Ο αριθμός των ατόμων του δείγματος πρέπει να είναι 5 φορές μεγαλύτερος του αριθμού των μεταβλητών ή να είναι 100. Ο κανόνας των 150. Οι Hutcheson και Sofroniou προτείνουν τουλάχιστον περιπτώσεις. Ο κανόνας των 200. Πρέπει να υπάρχουν τουλάχιστον 200 περιπτώσεις, ανεξάρτητα από την αναλογία ατόμων προς μεταβλητές (Gorsuch, 1983; Hatcer, 1994; Hutcheson & Sofroniou, 1999)

77 Ένδειξη εγκυρότητας από σύγκριση με άλλα εργαλεία μέτρησης ή σύγκλισης (Convergence validity) 77 Σε πολλές περιπτώσεις υπάρχουν διαθέσιμα άλλα εργαλεία μέτρησης που μετρούν την ίδια ή παραπλήσιες (συναφείς) έννοιες. Τότε γίνεται ταυτόχρονη μέτρηση σε ένα δείγμα με όλα τα διαθέσιμα ερωτηματολόγια. Αν οι μετρήσεις συσχετίζονται, τότε αυξάνεται η εγκυρότητα όλων των ερωτηματολογίων.

78 Ένδειξη εγκυρότητας από σύγκριση με άλλα εργαλεία μέτρησης ή σύγκλισης (Convergence validity) 78 Στην περίπτωση που αναπτύσσεται ένα ερωτηματολόγιο, τότε γίνεται ταυτόχρονη μέτρηση με ένα τουλάχιστον έγκυρο ερωτηματολόγιο που μετρά την ίδια έννοια, (ή συναφή έννοια αν δεν υπάρχει). Αν οι μετρήσεις συσχετίζονται τότε επειδή το ένα είναι έγκυρο τεκμηριώνεται ότι και το άλλο είναι έγκυρο.

79 Ένδειξη εγκυρότητας από ανάλυση διάκρισης με άλλα εργαλεία μέτρησης (Discriminant validity) 79 Αν στην προηγούμενη περίπτωση διαπιστωθεί ότι το κάθε ερωτηματολόγιο διακρίνει τις μικρές διαφορές που υπάρχουν μεταξύ των συναφών εννοιών τότε αυξάνεται η εγκυρότητα όλων των ερωτηματολογίων. Στην περίπτωση που αναπτύσσεται ένα ερωτηματολόγιο, τότε γίνεται ταυτόχρονη μέτρηση με ένα τουλάχιστον έγκυρο ερωτηματολόγιο που μετρά μια συναφή έννοια. Αν τώρα οι μετρήσεις δείξουν τις μικρές διαφορές τότε τεκμηριώνεται η εγκυρότητα του υπό ανάπτυξη εργαλείου μέτρησης.

80 Ένδειξη εγκυρότητας από σύγκριση (απόκλιση) με άλλα εργαλεία μέτρησης (Divergence validity) 80 Αν υπάρχουν διαθέσιμα εργαλεία μέτρησης που μετρούν αντίθετες έννοιες (ή αρνητικά συσχετιζόμενες) με αυτή που μετρά ένα υπό ανάπτυξη ή υπό έλεγχο εργαλείο μέτρησης τότε όπως και στην προηγούμενη περίπτωση δίνονται ταυτόχρονα στο ίδιο δείγμα και αν οι μετρήσεις επιβεβαιώσουν την αρνητική συσχέτιση τότε αυξάνεται η εγκυρότητα και των δύο εργαλείων μέτρησης (σύμπτυξη με την προηγούμενη κατηγορία;) Συνήθως γίνεται συνδυασμός των δύο περιπτώσεων, δηλαδή της σύγκλισης και της απόκλισης, με βάση την τεχνική που είναι γνωστή ως multi-trait- multi matrix method (Campbell & Fiske, 1959).

81 Γ. Εγκυρότητα με βάση κάποιο κριτήριο (Criterion validity) 81 Εδώ η ορολογία ποικίλλει. Σύμφωνα πάντως με τους περισσότερους ερευνητές η εγκυρότητα κριτηρίου μπορεί να διακριθεί σε προβλεπτική ή ταυτόχρονη, ανάλογα με το αν μεσολαβεί αρκετό διάστημα ανάμεσα στη μέτρηση και το κριτήριο.

82 Προβλεπτική εγκυρότητα (Predictive validity) 82 Αν υπάρχουν γεγονότα που θα συμβούν στο μέλλον και είναι δυνατό να προβλεφθούν από την ύπαρξη ή μη της υπό μελέτης έννοιας, τότε γίνεται μέτρηση με το εργαλείο μέτρησης και αν οι μετρήσεις αυτές προβλέψουν το γεγονός, δηλαδή συμβεί το γεγονός, τότε για το εργαλείο μέτρησης υπάρχει ένδειξη ότι είναι έγκυρο. Κλασσική περίπτωση είναι η αξιολόγηση της γνώσης των Αγγλικών με το GRE, και η συσχέτιση (πρόβλεψη) που έχει με την επιτυχή ή όχι ολοκλήρωση των σπουδών στο εξωτερικό. Το γεγονός μπορεί βέβαια να αφορά και μια μέτρηση ενός άλλου χαρακτηριστικού στο μέλλον π.χ. επίδοσης στην εργασία.

83 Προβλεπτική εγκυρότητα 83 Π.χ. το κριτήριο για την εκτίμηση της προβλεπτικής εγκυρότητας μιας κλίμακας που εκτιμά την ικανοποίηση των ασθενών από την ποιότητα της παρεχόμενης φροντίδας είναι η δυνατότητα πρόβλεψης της μελλοντικής συμπεριφοράς του ασθενούς, με την ερώτηση «θα προτείνατε αυτή την υπηρεσία σε ένα φίλο σας;», δεδομένου ότι η τάση του ανθρώπου να εκδηλώνει μια συμπεριφορά και η μελλοντική του συμπεριφορά θεωρούνται συνώνυμοι όροι.

84 Ταυτόχρονη εγκυρότητα (Concurrent validity) 84 Αν με βάση τη θεωρία, υπάρχει μια συσχέτιση (για παράδειγμα θετική) της υπό μελέτη έννοιας Α με μια άλλη έννοια Β που έχει τεκμηριωθεί και υπάρχει έγκυρο ερωτηματολόγιο για τη Β τότε αν δοθούν και τα δύο ερωτηματολόγια και επιβεβαιωθεί η θεωρητική συσχέτιση, τότε αφού το Β είναι έγκυρο τότε και το Α είναι έγκυρο.

85 Ταυτόχρονη εγκυρότητα 85 Ο έλεγχος της ταυτόχρονης εγκυρότητας γίνεται στη βάση της συνάφειας της αξιολογούμενης κλίμακας με ένα αντικειμενικό κριτήριο της εννοιολογικής κατασκευής για την οποία τη χρησιμοποιούμε. Π.χ. Για τον έλεγχο της εγκυρότητας της κλίμακας Self-Efficacy for Exercise Scale έγινε συσχέτιση της βαθμολογίας των συμμετεχόντων με το εάν είχαν τακτική δραστηριότητα, η οποία καθορίσθηκε ως αεροβική δραστηριότητα 20 λεπτών τρεις φορές/εβδομάδα

86 Εγκυρότητα σύγκρισης (ή αντιπαραβολής) γνωστών ομάδων (contrasted, known-groups technique) 86 Παραλλαγή της προηγούμενης περίπτωσης αποτελεί η ένδειξη εγκυρότητας σύγκρισης (ή αντιπαραβολής) γνωστών ομάδων (contrasted, known-groups technique). Σε αυτή την περίπτωση, η εγκυρότητα ενός εργαλείου μέτρησης είναι δυνατό να αξιολογηθεί με την σύγκριση ομάδων που αναμένεται να διαφέρουν ως προς την έννοια που μελετάται άρα και να έχουν διαφορετική βαθμολογία. Αν επιλεγούν δείγματα από τις δύο αυτές ομάδες και οι μετρήσεις επιβεβαιώσουν την αναμενόμενη αυτή διαφορά, τότε θεωρείται ότι υπάρχει ένδειξη (απόδειξη, τεκμηρίωση) εγκυρότητας.

87 Εγκυρότητα σύγκρισης (ή αντιπαραβολής) γνωστών ομάδων (contrasted, known-groups technique) 87 Π.χ. αν αξιολογείται ένα ερωτηματολόγιο που μετρά ικανοποίηση ασθενών και υπάρχουν δύο ομάδες που τεκμηριωμένα η μια είναι δυσαρεστημένη και η άλλη ικανοποιημένη και το ερωτηματολόγιο επιβεβαιώσει τις αναμενόμενες αυτές διαφορές τότε αυτό αποτελεί ένδειξη εγκυρότητας. Π.χ. Έλεγχος εγκυρότητας μιας κλίμακας που μετρά τον φόβο από την εμπειρία του τοκετού (συγκρίνουμε τη βαθμολογία των πολυτόκων και πρωτοτόκων γυναικών)

88 Σημαντική παρατήρηση 1 88 Η αξιοπιστία και η εγκυρότητα δεν είναι ιδιότητες που υπάρχουν ή όχι, αλλά είναι θέμα βαθμού. Κανένα εργαλείο μέτρησης δεν είναι απόλυτα έγκυρο. Για αυτό το λόγο αξιολογείται ο βαθμός και όχι η ύπαρξη ή μη της εγκυρότητας. Ανεξάρτητα από τις τεχνικές που θα χρησιμοποιηθούν και το κύρος των ερευνητών, η διαδικασία αξιολόγησης της εγκυρότητας είναι μια μακροχρόνια διαδικασία που ουσιαστικά αρχίζει με την ανάπτυξη του εργαλείου μέτρησης.

89 Σημαντική παρατήρηση 2 89 Η αξιοπιστία και η εγκυρότητα δεν είναι εγγενείς ιδιότητες του εργαλείου μέτρησης, αλλά της χρήσης του σε μια χρονική στιγμή σε ένα συγκεκριμένο πληθυσμό και σε ένα συγκεκριμένο περιβάλλον Η εγκυρότητα και η αξιοπιστία θα ποικίλλει από δείγμα σε δείγμα ή από μια κατάσταση σε μια άλλη και για αυτό η αξιολόγηση της εγκυρότητας ουσιαστικά αξιολογεί την (χρήση) εγκυρότητα ενός εργαλείου για μια συγκεκριμένη ομάδα ή σκοπό παρά το ίδιο το εργαλείο μέτρησης. Με απλά λόγια ένα εργαλείο μέτρησης είναι δυνατό να είναι περισσότερο έγκυρο ή αξιόπιστο σε μια συγκεκριμένη κατάσταση σε σχέση με μια άλλη. Για αυτό το λόγο πρέπει να αξιολογείται συνεχώς σε κάθε ερευνητική προσπάθεια (χρήση του).

90 Σημαντική παρατήρηση 3 90 Επειδή ακριβώς η αξιολόγηση ενός εργαλείου μέτρησης είναι μια διαδικασία που δεν τελειώνει ποτέ, στην πράξη ισχυρή ένδειξη εγκυρότητας αποτελεί ο αριθμός των ερευνών ή η έκταση στην οποία έχει χρησιμοποιηθεί ένα εργαλείο μέτρησης

91 91

92 ΕΠΙΛΟΓΗ ΜΕΘΟΔΟΛΟΓΙΑΣ ΜΕΤΡΗΣΗΣ 92 τι (υλικό και εξοπλισμός) πως (με ποιο τρόπο γίνεται η μέτρηση, βήματα), που (σε πoιο περιβάλλον) πότε (σε ποια χρονική στιγμή) γιατί (τεκμηρίωση επιλογής της συγκεκριμένης μεθόδου - πλεονεκτήματα και μειονεκτήματα αξιοπιστία και εγκυρότητα, ευαισθησία και ειδικότητα για διαγνωστικές μεθόδους κτλ.)

93 ΕΡΩΤΗΜΑΤΟΛΟΓΙΑ - ΚΛΙΜΑΚΕΣ Χρησιμοποιούνται για τη μέτρηση κλινικών παραμέτρων, συμπεριφορών, συναισθημάτων, στάσεων και απόψεων Τυποποιημένα μη τυποποιημένα Ερωτήσεις ανοικτού τύπου κλειστού τύπου Χρήση κλίμακας Συμπλήρωση τρόπος αποστολής - αυτοσυμπληρούμενο ή συμπλήρωση με συνέντευξη με ταχυδρομείο κτλ. Πλεονέκτημα: μειώνεται η πιθανότητα συστηματικού σφάλματος διότι ο τρόπος που τίθενται τα ερωτήματα είναι κοινός για όλους τους ερωτώμενους και διανέμεται σε μεγάλο αριθμό υποκειμένων 93

94 ΣΥΝΕΝΤΕΥΞΗ Περιλαμβάνει την προφορική επικοινωνία μεταξύ του ερευνητή και του υποκειμένου Χρησιμοποιείται για την αξιολόγηση κλινικών συμπτωμάτων, συμπεριφοράς, συναισθημάτων, άποψης κτλ. Δομημένη (με βάση κάποιο αδρό σχέδιο), μη-δομημένη, ημιδομημένη συνέντευξη Μη-δομημένη: στην ποιοτική προσέγγιση, στις περιγραφικές έρευνες και στα αρχικά στάδια ανάπτυξης ερωτηματολογίων προκειμένου να αναγνωρισθεί το περιεχόμενο της έννοιας που θα μετρηθεί Η ημιδομημένη συνέντευξη γίνεται με τη βοήθεια ενός αρχικού σχεδίου ή οδηγού που περιλαμβάνει θεματικά πεδία. Ο ερωτώμενος απαντά ελεύθερα με δικά του λόγια Η δομημένη συνέντευξη περιλαμβάνει στρατηγικές που παρέχουν αυξημένο έλεγχο του ερευνητή πάνω στο περιεχόμενο της συνέντευξης (ερωτηματολόγιο) Πρόσωπο με πρόσωπο ή τηλεφωνικά (ή μέσω Η/Υ ) 94

95 ΣΥΝΕΝΤΕΥΞΗ ΣΗΜΕΙΑ ΠΡΟΣΟΧΗΣ Η σειρά των ερωτήσεων (οι γενικές ερωτήσεις προηγούνται των ειδικών, οι ερωτήσεις μικρότερου ενδιαφέροντος και τα δημογραφικά στο τέλος ή βρίσκονται από άλλες πηγές) Η ομαδοποίηση των ερωτήσεων (διευκολύνει τον ερωτώμενο ώστε να συγκεντρώνει την προσοχή του) Ο τύπος της ερώτησης (οι ερωτήσεις που θεωρούνται ευαίσθητες μπαίνουν στο τέλος) Ύφος ερωτήσεων Η διατύπωση των ερωτήσεων (η φρασεολογία συμβαδίζει με το εκπαιδευτικό επίπεδο του ερωτώμενου και όχι του ερευνητή) Δοκιμή του σχεδίου της συνέντευξης (δοκιμή σε υποκείμενα με ανάλογα χαρακτηριστικά) Εκπαίδευση των συνεντευκτών Το περιβάλλον και η χρονική στιγμή που θα γίνει η συνέντευξη (άνετο, ήσυχο, ιδιωτικότητα, κλπ) Ενημέρωση των υποκειμένων οδηγίες - πληροφορημένη συναίνεση 95

96 Συνέντευξη 96 Πλεονεκτήματα: Μεγάλος δείκτης συμμετοχής (response rate) Είναι δυνατόν να συλλεγούν πληροφορίες από άτομα που δεν έχουν τη δυνατότητα να γράφουν ή να διαβάζουν Μειονέκτημα: Περισσότερος χρόνος για την έρευνα Μεγαλύτερο κόστος Δεν προστατεύεται η ανωνυμία και υπάρχει φόβος συστηματικού σφάλματος και του επηρεασμού των υποκειμένων

97 ΣΥΝΕΝΤΕΥΞΗ Συνέντευξη με εστίαση σε κάποια ομάδα (ομαδική συνέντευξη, focus group). Συνήθως αποτελείται από 6-12 άτομα με ένα συντονιστή συζήτησης. Η τεχνική αυτή χρησιμοποιείται κυρίως για την ανάπτυξη ερωτηματολογίων και στην ποιοτική έρευνα Τεχνική Delphi. Η τεχνική αυτή χρησιμοποιείται για να αποκτηθεί η γνώμη από ειδικούς που δεν είναι εύκολο να είναι συγκεντρωμένοι σε ένα χώρο (δεν υπάρχει φυσική παρουσία των ατόμων). Χρησιμοποιείται συχνά για την ανάπτυξη ερωτηματολογίων Αρχικά στέλνεται ένα ερωτηματολόγιο στους ειδικούς με τη δυνατότητα να κάνουν σχόλια Τα ερωτηματολόγια επιστρέφονται στον ερευνητή ο οποίος τα επεξεργάζεται και στέλνει τα αποτελέσματα και την νέα τροποποιημένη έκδοση του ερωτηματολογίου στους ειδικούς Η διαδικασία επαναλαμβάνεται μέχρι να επιτευχθεί μια συμφωνία ανάμεσα στους ειδικούς 97

98 ΠΑΡΑΤΗΡΗΣΗ 98 Μη δομημένη (αυθόρμητη παρατήρηση και καταγραφή των γεγονότων με βάση κάποιο αδρό σχεδιασμό- κίνδυνος υποκειμενικότητας και απώλειας πληροφοριών)- Μαγνητοφώνηση, βιντεοσκόπηση Δομημένη (με βάση συγκεκριμένο σχέδιο-τσεκάρισμα επιλογών) Σημειώσεις βιντεοσκόπηση Το μεγάλο πρόβλημα στην παρατήρηση είναι η αλληλεπίδραση παρατηρητών με τα υποκείμενα και η γνώση των υποκειμένων για την παρατήρηση (Hawthorne effect)

99 ΧΡΗΣΙΜΟΠΟΙΗΣΗ ΟΠΤΙΚΟΑΚΟΥΣΤΙΚΩΝ Ή ΑΛΛΩΝ ΜΕΣΩΝ 99 Οι συμμετέχοντες στην έρευνα θα πρέπει οπωσδήποτε να έχουν δώσει τη συγκατάθεσή τους για τη χρήση αυτών των μέσων

100 ΜΕΤΡΗΣΗ ΒΙΟΛΟΓΙΚΩΝ ΠΑΡΑΜΕΤΡΩΝ Οι μετρήσεις των βιολογικών παραμέτρων βασίζονται κύρια στην μεθοδολογία μέτρησης με αναφορά σε νόρμα (τιμές πρότυπα ή εύρος τιμών από τον πληθυσμό που προέρχεται το υποκείμενο που εξετάζεται) 100

101 ΚΡΙΤΗΡΙΑ ΕΠΙΛΟΓΗΣ ΤΕΧΝΙΚΗΣ Η ΕΡΓΑΛΕΙΟΥ ΜΕΤΡΗΣΗΣ 101 Διαθεσιμότητα. Υπάρχει στον χώρο που έχω πρόσβαση; Μπορώ να το βρω αλλού; Άμεση ή έμμεση μέτρηση. Εάν υπάρχουν αρκετές συσκευές προτιμάται αυτή που κάνει άμεση μέτρηση π.χ. μέτρηση πίεσης μέσω αρτηριακής γραμμής ή με σφυγμανόμετρο Ευαισθησία, ειδικότητα, αξιοπιστία, εγκυρότητα Επίπτωση στα υποκείμενα (έκθεση σε κίνδυνο) Κόστος

102 ΛΗΨΗ ΣΤΟΙΧΕΙΩΝ ΑΠΟ ΑΛΛΕΣ ΠΗΓΕΣ 102 Η συλλογή των δεδομένων σε αυτή την περίπτωση γίνεται από αρχεία που εμπεριέχουν τα δεδομένα όπως για παράδειγμα κυβερνητικά έγγραφα, εφημερίδες, άλλες έρευνες, ο φάκελος του ασθενούς κτλ. Τα δεδομένα μπορεί να είναι πρωτογενή και να απαιτείται επεξεργασία ή να αφορούν σε μετρήσεις που ήδη έχουν γίνει. Σε κάθε περίπτωση αυτά συλλέγονται με τη βοήθεια ειδικών πρωτοκόλλων συλλογής στοιχείων.

103 ΕΡΩΤΗΜΑΤΟΛΟΓΙΑ 103 Ερωτηματολόγια με αναφορά σε νόρμα (norm-referenced) (οι απαντήσεις κάθε ατόμου συγκρίνονται με τις απαντήσεις των άλλων) Αυτό επιτυγχάνεται με την μετατροπή των τιμών των απαντήσεων σε τυποποιημένες τιμές (z-values) Π.χ. Αξιολόγηση της απόδοσης του ατόμου σε σχέση με τη σχετική απόδοση των άλλων ατόμων που ανήκουν στην ίδια ομάδα (σε εθνικό, διεθνές επίπεδο, επίπεδο οργανισμού). Μετρήσεις ποιότητας ζωής, ικανοποίησης κλπ, τεστ GRE, Toefl Ερωτηματολόγια με αναφορά σε κριτήριο (criterion-referenced). Οι απαντήσεις συγκρίνονται με ένα κριτήριο (ένα πρότυπο) προκειμένου να αξιολογηθεί αν το άτομο έχει ή δεν έχει το χαρακτηριστικό και όχι σε ποιο βαθμό το έχει σε σχέση με τους άλλους όπως συμβαίνει με το ερωτηματολόγιο με αναφορά σε νόρμα

104 ΕΡΩΤΗΜΑΤΟΛΟΓΙΑ 104 Οι έννοιες τυποποίηση (standardization) και νόρμα (norm) δεν είναι ταυτόσημες. Το τυποποιημένα ερωτηματολόγια: έχουν αναπτυχθεί από ειδικούς για ευρεία χρήση, έχουν αξιολογηθεί για την εγκυρότητα και την αξιοπιστία τους, έχουν συγκεκριμένο περιεχόμενο και κυρίως αυστηρά καθορισμένες διαδικασίες για τη διανομή, βαθμολόγηση και την ερμηνεία των αποτελεσμάτων με βάση συγκεκριμένες οδηγίες. Χαρακτηριστικό των ερωτηματολογίων αυτών είναι η μεταβλητότητα (μετράει ένα χαρακτηριστικό με τέτοιο τρόπο ώστε να διακρίνει με επιτυχία τα άτομα ανάλογα με την ποσότητα του χαρακτηριστικού αυτού)

105 ΕΡΩΤΗΜΑΤΟΛΟΓΙΑ 105 Τα ερωτηματολόγια μετρούν: 1. Γνώσεις (ερωτηματολόγια γνώσεων ή αυτοαξιολόγησης) 2. Συναισθηματικές παραμέτρους όπως προδιάθεση, προτιμήσεις, αξίες στάσεις, συναισθηματική κατάσταση (ερωτηματολόγια αυτοαξιολόγησης) 3. Συμπεριφορά (με παρατήρηση ή ερωτηματολόγια αυτοαξιολόγησης) 4. Φυσική λειτουργικότητα (χρήση ειδικού εξοπλισμού, ΑΠ, αιμοσφαιρίνη, λευκά αιμοσφαίρια)

106 ΧΡΗΣΙΜΗ ΣΥΜΒΟΥΛΗ 106 Στα ερωτηματολόγια προσοχή χρειάζονται όχι μόνο οι ερωτήσεις αλλά και: οι οδηγίες συμπλήρωσης, ο τρόπος συμπλήρωσης, ο χρόνος συμπλήρωσης, η διάθεση του υποκειμένου, και το περιβάλλον μια δεδομένη στιγμή Όλα τα παραπάνω μπορούν να επηρεάσουν τη μέτρηση

107 ΕΠΙΛΟΓΗ ΕΡΩΤΗΜΑΤΟΛΟΓΙΟΥ 107 Εκτεταμένη βιβλιογραφική ανασκόπηση για επιλογή κατάλληλου εργαλείου μέτρησης. Ανάπτυξη νέου εργαλείου μέτρησης εάν δεν υπάρχει στη βιβλιογραφία. Η επιλογή ερωτηματολογίου βασίζεται σε: Διατύπωση σκοπού Περιγραφή θεωρητικού ή εννοιολογικού πλαισίου Περιγραφή διαδικασίας ανάπτυξης - ψυχομετρικές ιδιότητες Περιβάλλον -κουλτούρα, τεχνολογία και χρόνος που κατασκευάστηκε Περιγραφή πληθυσμού, έκτασης έρευνας Αριθμός ερωτήσεων, χρόνος συμπλήρωσης, τύπος Οδηγίες για διανομή και βαθμολόγηση Ευκολία να βρεθεί, άδειας χρήσης, κόστος

108 ΕΠΙΛΟΓΗ ΕΡΩΤΗΜΑΤΟΛΟΓΙΟΥ 108 Ελάχιστη προϋπόθεση για δημοσίευση (Norbeck 1984): 1. Εγκυρότητα περιεχομένου 2. Εννοιολογική εγκυρότητα ή εγκυρότητα κριτηρίου 3. Αξιοπιστία δοκιμασίας επαναδοκιμασίας 4. Αξιοπιστία εσωτερικής συνοχής

109 ΑΝΑΠΤΥΞΗ ΕΡΩΤΗΜΑΤΟΛΟΓΙΟΥ Αναγνώριση περιεχομένου (Θεωρητικό πλαίσιο, ορισμοί εννοιών, ανεύρεση επιμέρους χαρακτηριστικών) Π.χ. Ορισμός της υγείας: «η κατάσταση πλήρους σωματικής, ψυχικής και κοινωνικής ευεξίας και όχι απλά η απουσία ασθένειας ή αναπηρίας» Καθορισμός διαστάσεων της έννοιας (π.χ, υποκειμενικά και αντικειμενικά χαρακτηριστικά της υγείας) 2. Ανάπτυξη περιεχομένου (βιβλιογραφία, συμμετοχή υποκειμένων, ειδικών - εκπροσώπηση όλων των εμπλεκομένων-ανάπτυξη πίνακα προδιαγραφών, επιλογή τύπου απαντήσεων, διαμόρφωση ενός προσχεδίου του ερωτηματολογίου- τα 2 πρώτα στάδια καθοριστικά για την εγκυρότητα του ερωτηματολογίου)

110 ΑΝΑΠΤΥΞΗ ΕΡΩΤΗΜΑΤΟΛΟΓΙΟΥ Κριτική περιεχομένου (από ειδικούς 3-8 άτομα, τυχαία υποκείμενα του πληθυσμού άτομα - διαμόρφωση πρώτης έκδοσης του ερωτηματολογίου, αξιολόγηση ερωτήσεων από κάθε ειδικό χωριστά, αξιολόγηση από τους ειδικούς ως ομάδα και στη συνέχεια από τον κάθε ειδικό χωριστά) Δείκτης εγκυρότητας περιεχομένου: Οι ειδικοί αξιολογούν την σχετικότητα κάθε ερώτησης σε μια κλίμακα 4 σημείων: 1= όχι σχετικό, 2= ελάχιστα σχετικό, 3= σχετικό με μικρή τροποποίηση, 4= πολύ σχετικό

111 ΑΝΑΠΤΥΞΗ ΕΡΩΤΗΜΑΤΟΛΟΓΙΟΥ Πιλοτική δοκιμή (αξιολόγηση, αλλαγές, δοκιμή ερωτηματολογίου σε αντιπροσωπευτικό δείγμα του πληθυσμού στόχου, ατόμων, στατιστική ανάλυση-περιγραφική ανάλυση, αξιοπιστία εσωτερικής συνοχής- δεύτερη έκδοση του ερωτηματολογίου) 5. Δοκιμή πεδίου (δείγμα ατόμων ή 10 ατόμων ανά ερώτηση, στατιστική ανάλυση, αξιολόγηση, αλλαγές - τελική διαμόρφωση του ερωτηματολογίου) 6. Δημοσίευση αποτελεσμάτων 7. Αξιολόγηση αξιοπιστίας και εγκυρότητας σε άλλους πληθυσμούς, μετα-ανάλυση ερευνών που το χρησιμοποίησαν, τυποποίηση, νόρμες

112 Σημαντική παρατήρηση Σημαντικό πρόβλημα των γραπτών ερωτηματολογίων είναι ο μικρός δείκτης ανταπόκρισης Αυτά που στέλνονται ταχυδρομικά έχουν ακόμα χαμηλότερο δείκτη ανταπόκρισης Τεχνικές που αυξάνουν την ανταπόκριση: έτοιμος φάκελος με προπληρωμένο τέλος, τηλεφωνικές υπενθυμίσεις ή αποστολή διαδοχικών επιστολών

113 Σημαντική παρατήρηση Μερικές φορές δεν συμπληρώνεται μια ερώτηση (ποσοστό μεγαλύτερο του 10%) και τότε δημιουργούνται ερωτηματικά για τη διατύπωση της ερώτησης ή αν θα έπρεπε να συμπεριληφθεί η ερώτηση Ωστόσο, υπάρχει η επιλογή δεν ξέρω, δεν απαντώ

114 ΕΙΔΗ ΕΡΩΤΗΣΕΩΝ 114 Ανοικτή ερώτηση (open question) Ποιοι λόγοι σας οδήγησαν σε αυτή την επιλογή; Διχοτόμησης (dichotomous) Έχετε παιδιά; Ναι Όχι Ο Fayol είναι ο πατέρας των αρχών της διοίκησης. ΛΑΝΘΑΣΜΕΝΟ - ΣΩΣΤΟ Πολλαπλής επιλογής (multiple choice) Η αξιοπιστία είναι δείκτης: Α) του συστηματικού σφάλματος Β) του τυχαίου σφάλματος Γ) του σφάλματος δειγματοληψίας Δ) του σφάλματος επιλογής Οικογενειακή κατάσταση: Έγγαμος/η Άγαμος/η Διαζευγμένος/η Χήρος/α

115 ΕΙΔΗ ΕΡΩΤΗΣΕΩΝ 115 Ποιοί λόγοι σας οδήγησαν στο κάπνισμα; (μπορείτε να επιλέξετε περισσότερες από μία απαντήσεις) α. Άγχος β. Στενοχώρια γ. Περιέργεια δ. Μίμηση ε. Αντίδραση στ. Οι άλλοι Ιεράρχησης απαντήσεων (rank order) Τοποθετήσετε τα παρακάτω σε σειρά σπουδαιότητας σημειώνοντας έναν αριθμό από το 1 έως το 5 που δηλώνει και τη σειρά αυτή. 1 το πρώτο σε σπουδαιότητα, 2 το αμέσως επόμενο κτλ. Χρήματα Φήμη Εξουσία Κοινωνικές σχέσεις Ασφάλεια Κλίμακες (rating scales) Για το πρόβλημα της υγείας σας θα λέγατε ότι γνωρίζετε: Τίποτα λίγα αρκετά πολλά πάρα πολλά

116 ΚΛΙΜΑΚΕΣ 116 Με τις κλίμακες βαθμολόγησης (rating scales), η έννοια θεωρείται ως ένα ενιαίο και συνεχές σύνολο διατάξιμων (διαβαθμίσιμων, ιεραρχήσιμων) κατηγοριών και σε κάθε κατηγορία αποδίδεται μια αριθμητική τιμή. Η πιο συχνά χρησιμοποιούμενη μορφή κλίμακας είναι η κλίμακα τύπου Likert (γνώμες, στάσεις υποκειμένων για ένα συγκεκριμένο θέμα). Μετρούν συχνότητα, συμφωνία ή αξιολόγηση Οι απαντήσεις πρέπει να είναι αμοιβαία αποκλειόμενες και η κλίμακα πρέπει να είναι ζυγισμένη Ουδέτερο σημείο;;;;; Παράδειγμα: ΓΕΝΙΚΑ, ΠΟΣΟ ΣΥΧΝΑ ΤΙΣ ΤΕΛΕΥΤΑΙΕΣ ΔΥΟ ΕΒΔΟΜΑΔΕΣ ΑΙΣΘΑΝΘΗΚΑΤΕ ΠΟΝΟ ΣΤΟ ΣΤΗΘΟΣ ΕΝΩ ΚΑΝΑΤΕ ΤΙΣ ΚΑΘΗΜΕΡΙΝΕΣ ΣΑΣ ΔΡΑΣΤΗΡΙΟΤΗΤΕΣ: Συνεχώς Πολύ συχνά Συχνά Μερικές φορές Λίγες φορές Σπάνια Ποτέ

117 Αθροιστική (summated) ΚΛΙΜΑΚΕΣ 117 Συνολική βαθμολογία-άθροισμα, μέση τιμή Διαφορική εννοιολογική κλίμακα ή «ειδοποιούς διαφοράς» (semantic differential) Κλίμακα που αποτελείται από 2 αντίθετα επίθετα με μια κλίμακα 7 σημείων μεταξύ τους Oπτική αναλογική κλίμακα (visual analogue scale or magnitude scale). Οριζόντια ή κάθετη γραμμή με 2 άκρα ή δύο αντίθετες απαντήσεις για την κάλυψη όλου του εύρους του φαινομένου (π.χ. Καλύτεροχειρότερο, όχι πόνος-πόνος που δεν αντέχεται). Το υποκείμενο σημαδεύει το σημείο που το εκφράζει καλύτερα πάνω στην γραμμή και στη συνέχεια μετριέται με ένα χάρακα η απόσταση για την αξιολόγηση της έντασης της έννοιας που μετράται. Δυνατότητα ανίχνευσης πολύ μικρών μεταβολών. Εκτίμηση ψυχικής διάθεσης, του άγχους, της ποιότητας του ύπνου και της έντασης των κλινικών συμπτωμάτων Mεθοδολογία Q (Q- methodology). Για τη συγκριτική αξιολόγηση της άποψης σε ένα θέμα, ιεράρχηση σπουδαιότητας, αναγνώριση των σημαντικότερων χαρακτηριστικών μιας έννοιας. Χρήση καρτών

118 ΤΑ 10 ΣΥΝΗΘΕΣΤΕΡΑ ΛΑΘΗ Δεν υπάρχουν σαφείς οδηγίες για τη συμπλήρωση του ερωτηματολογίου. 2. Χρησιμοποίηση δυσνόητων λέξεων (συχνά τεχνικοί ή επιστημονικοί όροι απευθύνονται σε άτομα χαμηλού μορφωτικού επιπέδου), π.χ. είχατε και στο παρελθόν κοιλιακό άλγος; 3. Το ύφος των ερωτήσεων. Σε ερωτηματολόγια αξιολόγησης θα πρέπει να αποφεύγεται το β πρόσωπο γιατί δίνει την εντύπωση ότι το υποκείμενο ανακρίνεται. 4. Ερωτήσεις που καθοδηγούν ή υποβάλλουν την απάντηση, π.χ. πόσο χαμηλό είναι το επίπεδο της ποιότητας στα νοσοκομεία της περιοχής σας;

119 ΤΑ 10 ΣΥΝΗΘΕΣΤΕΡΑ ΛΑΘΗ 5. Διπλή ερώτηση. Η ερώτηση ουσιαστικά ρωτάει δύο διαφορετικά πράγματα, π.χ. πόσο ικανοποιημένος είστε από την ποιότητα και την ποσότητα του φαγητού; 6. Ερωτήσεις με διπλή άρνηση. (π.χ. Τι δεν θα προτείνατε για αποφυγή; Οι ερωτήσεις αυτές γίνονται πολύ δύσκολα κατανοητές και πρέπει να αποφεύγονται σε κάθε περίπτωση. 7. Σειρά ερωτήσεων. Συχνά οι ερευνητές τοποθετούν τα δημογραφικά στοιχεία στην αρχή. Αν τα στοιχεία αυτά δεν προκύψουν από άλλη πηγή, τότε αν τοποθετηθούν στην αρχή θα κουράσουν το υποκείμενο. Επίσης οι «ευαίσθητες» ερωτήσεις θα πρέπει να τοποθετούνται προς το τέλος (π.χ. ερωτήσεις για την συμπεριφορά του προσωπικού, το εισόδημα κτλ). 119

120 ΤΑ 10 ΣΥΝΗΘΕΣΤΕΡΑ ΛΑΘΗ Ανάμειξη πολλών διαφορετικών τύπων ερωτήσεων π.χ. ναι όχι, πολλαπλής επιλογής, κλίμακα ή ακόμα και θετικών αρνητικών ερωτήσεων. 9. Ομαδοποίηση ερωτήσεων. 10. Αριθμός ερωτήσεων. Πάρα πολύ σημαντική παράμετρος. Η εμπειρία δείχνει ότι ο μεγάλος αριθμός ερωτήσεων επιφέρει κόπωση, μειώνει την ποιότητα των δεδομένων ή ακόμα μειώνει και το δείκτη ανταπόκρισης (response rate). Ιδιαίτερα θα πρέπει να ληφθεί υπόψη η κουλτούρα και φυσικά το υπόβαθρο των υποκειμένων και η ψυχοσωματική τους κατάσταση.

121 ΜΕΤΑΦΡΑΣΗ ΕΡΩΤΗΜΑΤΟΛΟΓΙΩΝ 121 Απλή αντίστροφη μετάφραση Μετάφραση από την αρχική στην επιθυμητή γλώσσα και στη συνέχεια από την επιθυμητή στην αρχική γλώσσα από διαφορετικούς μεταφραστές Προϋπόθεση οι μεταφραστές να μιλούν εξίσου καλά και τις δύο γλώσσεςεπίσημοι μεταφραστές ή μητρική η αρχική γλώσσα Διπλή αντίστροφη μετάφραση Η μετάφραση γίνεται από δύο μεταφραστές σε κάθε φάση, έναν σχετικό με το αντικείμενο και έναν όχι

122 ΜΕΤΑΦΡΑΣΗ ΕΡΩΤΗΜΑΤΟΛΟΓΙΩΝ 122 Μεταφραστές Α και Α σχετικοί με το αντικείμενο Μεταφραστές Β και Β μη σχετικοί με το αντικείμενο