Μέτρηση (ΕΓΚΥΡΟΤΗΤΑ/ ΑΞΙΟΠΙΣΤΙΑ) (Babbie κεφ. 4, Bryman, κεφ. 2, Κυριαζή κεφ. 2, Mertens κεφ. 2, de Vaus, κεφ. 4). Γιώτα Παπαγεωργίου Σκοπός: Σκοπός της υποενότητας αυτής είναι η κατανόηση από τους καταρτιζόμενους των κριτηρίων εκείνων που καθιστούν τις έννοιες στην επιστημονική έρευνα έγκυρες και αξιόπιστες. Προσδοκώμενα αποτελέσματα: Εξοικείωση με την έννοια της εγκυρότητας και της αξιοπιστίας καθώς και του τρόπου χρήσης τους στην κοινωνική ανάλυση. Έννοιες κλειδιά: Εγκυρότητα (επιφανειακή, Περιεχομένου, κατασκευής της Έννοιας, Κριτηρίου, Εσωτερική/εξωτερική Εγκυρότητα, Συγχρονισμένη Εγκυρότητα, αξιοπιστία, η μέθοδος εξέτασης-επανεξέτασης, μέθοδος των εναλλασσόμενων τύπων, μέθοδος της διχοτόμησης. Εισαγωγικές Παρατηρήσεις: Η μέτρηση για τον κοινωνικό επιστήμονα είναι η διαδικασία όπου συνδέονται αφηρημένες έννοιες με εμπειρικούς δείκτες. Η διαδικασία αυτή δεν είναι εύκολη. Στις Κοινωνικές επιστήμες η στατιστική μέτρηση μετράει κατά προσέγγιση, γιατί απλά, μετράμε ένα μέρος του αγνώστου συνόλου. Π.χ., στην έννοια της «Δημοκρατίας», δεν γνωρίζουμε τον ορισμό της κατά 100%. Παρομοίως η κοινωνική μέτρηση δεν εξηγεί τα πάντα, γιατί δεν γνωρίζουμε τα πάντα για τις έννοιες συνεπώς, ούτε η εννοιολογική ανάλυση ενός φαινομένου είναι ικανοποιητική από μόνη της ούτε η μέτρησή του. Στη μέτρηση πρέπει να λάβουμε υπ όψη μας την εννοιολογική σημασία του φαινομένου γιατί οι έννοιες αντιπροσωπεύουν το γενικό, η μέτρηση το ειδικό, επιπλέον ο ερευνητής χρειάζεται να λάβει υπ όψη του ορισμένα πράγματα, όταν υιοθετεί κάποιου τύπου μέτρησης όπως: να έχει από την αρχή υπ όψη του την έννοια να είναι ανοικτός και να αποβλέπει στην μέτρηση εκείνη που μπορεί να του επιφέρει τα καλύτερα 1
αποτελέσματα να συμβουλεύεται άλλες παρόμοιου τύπου έρευνες να περιμένει διαφορές γιατί αναδύονται λογικά, πρακτικά και ηθικά ζητήματα στην μέτρηση των κοινωνικών φαινομένων. Με λίγη προσοχή ένα πρόβλημα μπορεί να προβλεφθεί και να ξεπεραστεί. Tέλος, ο ερευνητής να έχει από την αρχή υπ όψη του την μονάδα ανάλυσης γιατί μέσω αυτής θα γενικευθεί το αποτέλεσμα σ ένα ευρύτερο πληθυσμό. Προκειμένου ο/η ερευνητής/τρια να επιτύχει μια αξιόπιστη απάντηση για αυτό που μετράει στην έρευνά του, πρέπει να εξετάσει την σταθερότητα της εγκυρότητας και της αξιοπιστίας. Συνοπτική παρουσίαση Εγκυρότητα Για να είναι μια μέτρηση ακριβής, πρέπει να αντιστοιχεί στην έννοια την οποία προσπαθεί να μετρήσει. Πρέπει να υπάρχει μία συμφωνία μεταξύ της έννοιας και του δείκτη/δεικτών προκειμένου οι δείκτες ενός φαινομένου να αντιστοιχούν με τον εννοιολογικό ορισμό του φαινομένου. Η εγκυρότητα συνεπώς εξετάζει πόσο πραγματική είναι μια σχέση μεταξύ της έννοιας και των δεικτών. Εγκυρότητα στην Ποσοτική έρευνα Όταν εξετάζουμε την εγκυρότητα στην ποσοτική έρευνα (π.χ., έρευνα με την χρήση στατιστικής) μερικά σημεία που αποφασίζουν τον βαθμό εγκυρότητας πρέπει να εξεταστούν προσεκτικά. Στις κοινωνικές επιστήμες δεν έχουμε απόλυτη συμφωνία ή ανταπόκριση του δείκτη, γιατί τα μεγέθη δεν είναι απόλυτα αλλά με μεγέθη κατά προσέγγιση και όσο πιο κοντά είναι οι ομοιότητες ( ή οι προσεγγίσεις η συσχέτιση μεταξύ των εννοιών/δεικτών και μεταβλητών (για αυτό που εξετάζουμε), τόσο πιο στενή είναι η σχέση. Συνεπώς, όταν εξετάζουμε την ποσοτική στατιστική εγκυρότητα μιας σχέσης, υπάρχουν μερικοί τρόποι που μπορούμε να χρησιμοποιήσουμε προκειμένου να αξιολογήσουμε την εγκυρότητα μιας συγκεκριμένης μέτρησης. Επιφανειακή Εγκυρότητα (Face Validity) 2
Επιφανειακή εγκυρότητα σημαίνει ότι υπάρχει μια γενική συμφωνία στην επιστημονική κοινότητα ότι ο τύπος του δείκτη ή η μεταβλητή που χρησιμοποιείται από τον συγκεκριμένο/η ερευνητή/τρια, μετράει πραγματικά την έννοια. Π.Χ., αν ένας/μία ερευνητής/τρια θέλει να μετρήσει την έννοια «κομματική ταυτότητα» και επιθυμεί να κατασκευάσει ένα δείκτη ή μια μεταβλητή ας πούμε 4 ενοτήτων (κομμουνισμός, σοσιαλισμός, κεντρώος, και συντηρητικός) και βρει ότι οι συνάδελφοί του συμφωνούν τότε η μέτρησή του έχει επιφανειακή εγκυρότητα. Αυτό σχετίζεται με την πρακτική κοινή λογική, Εγκυρότητα Περιεχομένου (Content validity) Όπως και η επιφανειακή εγκυρότητα, η εγκυρότητα περιεχομένου είναι ένα λογικό συμπέρασμα και όχι ένα test. Σημαίνει ότι η μέτρηση πρέπει να αντικατοπτρίζει ή να καλύπτει όλες τις διαστάσεις που εφαρμόζονται από την έννοια. Π.χ., η έννοια Δημοκρατία, αποφασίζουμε ότι σημαίνει «ζωή, ελευθερία, και επιδίωξη της ευτυχίας» τότε χρειαζόμαστε να εφεύρουμε ένα δείκτη που να υπολογίσει και να μετρήσει τις τρεις διαστάσεις του απλού αυτού ορισμού της Δημοκρατίας. Εγκυρότητα Κατασκευής της Έννοιας (Construct validity) Ένας άλλος τρόπος αξιολόγησης της εγκυρότητας της μέτρησης είναι η εγκυρότητα της κατασκευής της έννοιας. Η εγκυρότητα της κατασκευής της έννοιας σχετίζεται με τους δείκτες. Εάν βρούμε εμπειρικά στοιχεία για να στηρίξουμε μια θεωρητική υπόθεση που εξετάζουμε τότε έχουμε εγκυρότητα κατασκευής της έννοιας. Π.χ., οι βαθμοί για το GRE τεστ, έχουν κατασκευαστεί για να μετρούν την ικανότητα των σπουδαστών που ενδιαφέρονται να εισαχθούν στο Πανεπιστήμιο. Εάν αυτή η θεωρητικά εξαγόμενη υπόθεση εξεταστεί και οι φοιτητές και τα αποτελέσματά τους συμφωνούν μεταξύ της ικανότητας των σπουδαστών και του βαθμού του GRE test, τότε έχουμε μια εγκυρότητα κατασκευής δηλαδή η θεωρητικά εξαγόμενη υπόθεση έχει γίνει αποδεκτή εμπειρικά. Εγκυρότητα Κριτηρίου 3
Η εγκυρότητα κριτηρίου είναι μια σταθερά που σχετίζεται με το πόσο ακριβής είναι η μέτρηση. Απαιτεί μία κλίμακα παρόμοια με το GRE τεστ, που χρησιμοποιείται για να μετρηθεί κάτι με ακρίβεια. Π.χ., δημιουργούμε ένα κανόνα σχετικά με το τι είναι σημαντικές δεξιότητες για μια π.χ., επιτυχή εξέταση φοιτητών/τριών στο τομέα που εξετάζουμε, μετά εξετάζουμε τους φοιτητές/τριες και να δούμε κατά πόσο οι βαθμοί τους αντιστοιχούν στους βαθμούς των ειδικών συνεπώς οι βαθμοί των ειδικών είναι το κριτήριο σύγκρισης των βαθμών μας με το εάν και πόσο ταιριάζουν. Συνεπώς έχουμε εγκυρότητα κριτηρίου. Εσωτερική Εγκυρότητα Συνδέεται με την αποφυγή θετικών ή αρνητικών συμπερασμάτων γύρω από μια αιτιακή υπόθεση (π.χ., γύρω από μία υπόθεση η οποία υποστηρίζει ότι π.χ., «ο καλοκαιρινός καύσωνας είναι αιτία των βιασμών». Προκειμένου να ενισχύσει ο ερευνητής τον ισχυρισμό του αυτό θα προσπαθήσει να ελαττώσει υποθετικές εναλλακτικές ερμηνείες με το να επιδεικνύει πειραματικά ότι άλλες πιθανές αιτίες (π.χ., λανθασμένες σχέσεις) έχουν ελαττωθεί. Έτσι, στο παράδειγμα μας ο ερευνητής θα προσπαθήσει να ελαττώσει τα προβλήματα που είναι άλλες αιτίες βιασμού π.χ., τουρισμός, γυμνότητα κατά τη διάρκεια του καλοκαιριού, κλπ. Εξωτερική Εγκυρότητα Ενώ η εσωτερική εγκυρότητα σχετίζεται με το βαθμό εγκυρότητας της αιτιακής σχέσης μεταξύ Α και Β, η εξωτερική εγκυρότητα από την άλλη πλευρά σχετίζεται με την γενίκευση των σχέσεων Α και Β σε διάφορα άτομα, περιβάλλοντα και χρονικές περιόδους. Π.χ., στο παράδειγμα της αιτιακής σχέσης του καύσωνα και των βιασμών στην εσωτερική εγκυρότητα, η εξωτερική εγκυρότητα σχετίζεται με το εάν η συγκεκριμένη σχέση, τον συγκεκριμένο χρόνο, τον τόπο και τα άτομα έχουν μια διεθνή ισχύ. Για να γίνει αυτό, ο ερευνητής απαιτείται να επαναλάβει παρόμοια τεστ, στις διαφορετικές κοινωνικές, πολιτικές., πολιτιστικές θρησκευτικές ομάδες/ κοινότητες και αν τ αποτελέσματα αντιστοιχούν στο πρωταρχικό του tests, μεταξύ καλοκαιριού και βιασμού τότε ο ερευνητής θα συμπέρανε ότι υπάρχει εξωτερική εγκυρότητα στην σχέση αυτή. 4
Συγχρονισμένη Εγκυρότητα (concurrent validity ) Για να είναι μια σχέση έγκυρη, Α και Β, πρέπει να συμφωνεί με μια προϋπάρχουσα σχέση. Χρησιμοποιούμε τα διαθέσιμα αποτελέσματα μεταξύ των παρόμοιων σχέσεων ως ένα κανόνα προκειμένου να δούμε σε ποιο βαθμό ισχύουν τα αποτελέσματά μας. Όσο πιο κοντά τα δικά μας τεστ είναι στα προϋπάρχοντα τεστ ή στους κανόνες τόσο πιο συγχρονισμένη είναι η εγκυρότητα των δικών μας τεστ. Συνεπώς αν θέλουμε να φτιάξουμε ένα τεστ προκειμένου να μετρήσουμε κάτι και να είναι συγχρονισμένη και έγκυρη (δηλαδή να συμφωνεί) με το υπάρχον ΙQ τεστ, χρειάζεται να χρησιμοποιήσουμε ένα είδος ορισμού που να ορίζει τον ευφυή, π.χ., ένα λογικό κανόνα. Εγκυρότητα στην Ποιοτική Έρευνα Ενώ η εγκυρότητα στην ποσοτική έρευνα στηρίζεται στην λογική και στα στατιστικά αποτελέσματα, στην ποιοτική προσέγγιση δεν υπάρχει τέτοια προσέγγιση για τον έλεγχο της εγκυρότητας. Στην ποιοτική έρευνα ο ερευνητής/τρια ενδιαφέρεται περισσότερο με την εμπιστοσύνη και λιγότερο με την επανάληψη. Η αλήθεια δεν είναι απόλυτη αλλά σχετική. Η αξιοπρέπεια αξιολογείται πιο πολύ από την επιστημονική αντικειμενικότητα. Όμως αν και η εγκυρότητα εγκαταλείπεται για την εμπιστοσύνη στην ποιοτική έρευνα, αυτοί που ασχολούνται με αυτού του είδους την έρευνα είναι καλά να λάβουν υπόψη τους μερικά σημαντικές παραινέσεις/συμβουλές. Αξιοπιστία Η αξιοπιστία σχετίζεται με την συνέπεια ή επανάληψη του εργαλείου μέτρησης. Εργαλεία μέτρησης υπάρχουν πολλών ειδών και τύπων, όπως π.χ., θερμόμετρο, χάρακας, ερωτήσεις, παρατηρήσεις, κ.λπ. Μερικά εργαλεία μέτρησης είναι πολύ ακριβή. Π.χ., αν τοποθετήσω το θερμόμετρο μέσα στο καυτό νερό, θα δείξει 100 βαθμούς κάθε φορά που κάνω το ίδιο. Στις κοινωνικές επιστήμες έχουμε ερωτήματα και παρατηρήσεις τα οποία ως εργαλεία μέτρησης είναι μάλλον υποκειμενικά και οι γνώμες και η συμπεριφορά των ατόμων που μετράμε 5
μεταβάλλεται συχνά. Στην περίπτωση της κοινωνικής έρευνας βέβαια δεν αναμένουμε απόλυτα 100% αποτελέσματα στις μετρήσεις μας. Αξιοπιστία και Ποσοτική Έρευνα Όλα τα εργαλεία μέτρησης δεν είναι αναξιόπιστα στην κοινωνική έρευνα. Για τον λόγο αυτό ο/η ερευνητής/τρια πρέπει πρώτα να κατασκευάσει ένα ερωτηματολόγιο (ή ένα εργαλείο) που αποφεύγει να περιέχει προσωπικές ή αξιολογικές ερωτήσεις (που χρησιμοποιούνται από άλλου ή από εμάς) σε διαφορετικές χρονικές στιγμές και συνεπώς μπορούν να βεβαιώσουν καλύτερα την αξιοπιστία της ερώτησής μας. Υπάρχουν πολλοί τρόποι που μπορεί κανείς να διαβεβαιώσει την αξιοπιστία: Η μέθοδος εξέτασης-επανεξέτασης (test-retest method). Π.χ., ας υποθέσουμε ότι θέλουμε να εξετάσουμε ένα χαρακτηριστικό όπως π.χ., «απόδοση» κατασκευάζουμε μια κλίμακα η οποία περιλαμβάνει μερικές προτάσεις, ερωτήσεις πολλαπλής επιλογής που πιστεύουμε ότι μπορούν να εξηγήσουν την έννοια του «απόδοση». Το μοιράζουμε σε μία τάξη από 50 τεταρτοετείς φοιτητές/τριες Κοινωνιολογίας και καταγράφουμε τα αποτελέσματα. Ένα μήνα αργότερα μοιράζουμε το ίδιο test στους ίδιους φοιτητές/τριες τεταρτοετείς της κοινωνιολογίας. Εάν συγκρίνουμε τα καινούρια αποτελέσματα με αυτά του προηγούμενου τεστ και παρουσιάζουν αρκετή ομοιότητα, (π.χ., 90%) τότε λέμε ότι τα εργαλεία μας (π.χ., ερωτήματα) είναι αξιόπιστα, γιατί μας δίνουν τα ίδια αποτελέσματα. Βέβαια υποθέτουμε ότι υπάρχει μια σταθερότητα στην τάξη και ότι στο μεσοδιάστημα που μεσολάβησε οι φοιτητές/τριες δεν έχουν αλλάξει την στάση τους σχετικά με τον ορισμό της «απόδοσης». Εάν το τεστ δείχνει αξιοπιστία, μπορούν να γίνουν ακόμη περισσότερα tests, και εφόσον έχει σταθεροποιηθεί η αξιοπιστία τους, μπορεί να χρησιμοποιηθούν για να μετρήσουμε τις αλλαγές. Η μέθοδος των εναλλασσόμενων τύπων (alternative forms method). Στην μέθοδο αυτή χρησιμοποιούμε το πιο πάνω παράδειγμα των τεταρτοετών φοιτητών/τριών που απαντούν σε ένα ερωτηματολόγιο με πολλαπλές ερωτήσεις 6
σχετικά με τον όρο «απόδοση». Όμως εδώ δεν χρησιμοποιούμε τις ίδιες ερωτήσεις στα ίδια υποκείμενα σε δύο διαφορετικές χρονικές περιόδους. Χρειαζόμαστε δύο διαφορετικές ερωτήσεις που καλύπτουν την έννοια της «απόδοσης». Δηλαδή, τα δύο ερωτηματολόγια θα καλύψουν τελείως την ίδια έννοια με διαφορετικές ερωτήσεις. Με αυτό το τρόπο τα υποκείμενα του τεστ μας δεν θα επηρεαστούν από το δεύτερο test. Εάν τα αποτελέσματα των δύο μετρήσεων (τεστ) είναι όμοια, τότε μπορούμε να πούμε ότι έχουμε ένα αξιόπιστο εργαλείο μέτρησης (ή ερωτηματολόγιο) προκειμένου να μετρήσουμε την έννοιά μας. Η μέθοδος της διχοτόμησης (split-halves method): σε αντίθεση με την μέθοδο εναλλασσόμενων τύπων όπου οι ερωτήσεις εξάγονται από το πρώτο ερωτηματολόγιο των 100 ερωτήσεων, στην μέθοδο αυτή τα ερωτήματα χωρίζονται σε δύο κομμάτια των 50 ερωτήσεων ή διπλών ή μονών ερωτήσεων για κάθε ερωτηματολόγιο ή παρόμοιες ερωτήσεις και των δύο τύπων. Δηλαδή, τοποθετούμε 50 ερωτήσεις αλλά με άλλα λόγια παρόμοιες ερωτήσεις σε κάθε ερωτηματολόγιο. Τα δύο τεστ δίνονται στους ίδιους ερωτώμενους και αν τα αποτελέσματα είναι όμοια, τότε έχουμε καθιερώσει την αξιοπιστία για την έννοια του «επαγγελματισμού». Αξιοπιστία στην Ποιοτική Έρευνα Στην ποσοτική έρευνα εξετάζουμε την αξιοπιστία όσον αφορά την επανάληψη της έρευνας και τα αριθμητικά αποτελέσματα από την άλλη πλευρά στην ποιοτική έρευνα η έμφαση δίνεται στην σταθερότητα την προσεκτική απόδειξη και καταλογοποίηση των διαδικασιών για την δημιουργία και την ερμηνεία των δεδομένων. Στην ποιοτική έρευνα ο/η ερευνητής/τρια δεν περιμένει επανάληψη των ίδιων αποτελεσμάτων της έρευνας τους ή την δυνατότητα να αντιγράψει την έρευνα κάποιου άλλου, γιατί οι μέθοδοι είναι διαφορετικές. Αντίθετα στηρίζεται στην εγκυρότητα π.χ., την ακριβή περιγραφή της ανθρώπινης δράσης. Έτσι, το καλύτερο που μπορεί να κάνει ένας ποιοτικός ερευνητής είναι να αναφέρει με ακρίβεια την συμπεριφορά μιας ομάδας καθώς και τους ατομικούς ρόλους και λειτουργίες μέσα σε αυτήν την ομάδα. Προτείνεται ο ερευνητής/τρια να 7
ακολουθήσει μερικούς κανόνες προκειμένου να αυξήσει την σταθερότητα των αποτελεσμάτων του. Π.χ., να δώσει έμφαση στον προφορική έκθεση/αναφορά π.χ., αναφέρεσαι μόνο στα γεγονότα να χρησιμοποιεί περισσότερους από έναν ερευνητή προκειμένου να συγκρίνει τα αποτελέσματα να χρησιμοποιεί συμμετέχοντες ερευνητές (άτομα ειδικευμένα στην μέθοδο της παρατήρησης): να χρησιμοποιεί συναδέλφους π.χ., άτομα με παρόμοιο υπόβαθρο και προσόντα, και εμπειρίες και μεθόδους για να εξετάσει και να συγκρίνει τις μεταξύ τους εμπειρίες και παρατηρήσεις και τέλος να κάνει χρησιμοποιεί videos, tapes ή ταινίες προκειμένου να έχει την δυνατότητα να ελέγχει τα αποτελέσματα εάν χρειαστεί. Βιβλιογραφία Ελληνική Babbie E. (2011) Εισαγωγή στην Κοινωνική Ερευνα. Αθήνα: Ελληνικά Γράμματα. Keith H. & J. A. Sharp, (1994) Η Επιστημονική Μελέτη. Αθήνα: εκδόσεις Gutenberg. Κατσίλης, Γ. (2006) Επαγωγική Στατιστική. Αθήνα: εκδόσεις Gutenberg. Κυριαζή,N. (1999) Η Κοινωνιολογική Ερευνα: Κριτική Επισκόπηση των Μεθόδων και των Τεχνικών. Αθήνα: Ελληνικά Γράμματα. Λαμπίρη-Δημάκη, Ι. & Θ. Κ Παπαχρήστου, (1995) Κοινωνικές Έρευνες με Στατιστικές Μεθόδους. Αθήνα: εκδόσεις Σάκκουλα. Martin, O (2008) Η Ανάλυση Ποσοτικών Δεδομένων. Αθήνα: εκδόσεις Τοπος. Mertens, D. M. (2009) Ερευνα και Αξιολόγηση στην Εκπαίδευση και την Ψυχολογία. Αθήνα: Μεταίχμιο Παπαγεωργίου, Γ. (1998), Μέθοδοι στην Κοινωνιολογική Έρευνα. Αθήνα: Gutenberg- Τυπωθήτω. Robson, C. (2007) Η Έρευνα του Πραγματικού Κόσμου. Αθήνα: εκδόσεις Gutenberg. Pούσσος, Π. Τσαούσης. Γ. (2002) Στατιστική Εφαρμοσμένη στις Κοινωνικές Επιστήμες. Αθήνα: Ελληνικά Γράμματα. Verma G. K. & K. Mallick (2004), Εκπαιδευτική Έρευνα. Αθήνα: εκδόσεις Τυπωθήτω. Ξενόγλωσση Babbie, E. (1992) (sixth edition) The Practice of Social Research. California: Wadsworth. Blaikie N. (2004) Analyzing Quantitative Data: from description to explanation. London: Sage Bryman, A. (2004) Social Research Methods (second edition). Oxford University Press. Sapsford R. (2007) (second edition), Survey Research. London: Sage de Vaus, D.A. (1993) Surveys in Social Research, (3 ed.). London: UCL Press. 8