ΤΕΧΝΙΚΕΣ ΕΡΕΥΝΑΣ (# 252) Ε ΕΞΑΜΗΝΟ 4 η ΕΙΣΗΓΗΣΗ ΣΗΜΕΙΩΣΕΙΣ ΟΡΙΟΘΕΤΗΣΕΙΣ & ΠΕΡΙΟΡΙΣΜΟΙ ΤΗΣ ΕΡΕΥΝΑΣ ΠΙΘΑΝΕΣ ΑΠΕΙΛΕΣ ΕΣΩΤΕΡΙΚΗΣ & ΕΞΩΤΕΡΙΚΗΣ ΕΓΚΥΡΟΤΗΤΑΣ ΤΗΣ ΕΡΕΥΝΑΣ Σε μία από τις πρώτες ενέργειες που πρέπει να προβεί ο ερευνητής κατά το σχεδιασμό της έρευνάς του είναι να εντοπίσει τις πιθανές πηγές απειλών εγκυρότητας του σχεδιασμού του. Είναι σημαντικό, να εντοπισθούν οι πηγές αυτές πριν τη διεξαγωγή της έρευνας έτσι ώστε να γίνει η σωστή διαχείριση και να μειωθούν ή να εξαλειφθούν οι παρενέργειες-επιδράσεις των πιθανών απειλών. Η καταγραφή και ο τρόπος διαχείρισης των απειλών ενός ερευνητικού σχεδιασμού αναφέρονται-παρατίθενται στα υποκεφάλαια «Περιορισμοί» και «Οριοθετήσεις» της Εισαγωγής της Πρότασης μίας έρευνας. Περιορισμοί: αδυναμίες/απειλές της έρευνας, που μας εμποδίζουν από το να κάνουμε μία σωστή έρευνα αφαιρεί από την εγκυρότητα! Πρόκειται για περιορισμούς που θέτει το περιβάλλον στο σχεδιασμό της έρευνάς και που, είτε δεν μπορούμε να τους ελέγξουμε πλήρως είτε χρειάζεται προσπάθεια για να τους ελαττώσουμε (καταφέρουμε). Είναι πολύ σημαντικό όμως να αναφέρουμε το τι κάναμε εμείς (σαν ερευνητές) για να μειώσουμε/εξαλείψουμε την αρνητική επίδραση αυτών των απειλών. o Πχ. Η ειλικρίνεια με την οποία απαντούν οι ερωτώμενοι σε ένα ερωτηματολόγιο δεν μπορεί να ελεγχθεί πλήρως! o Πχ. Το ότι οι εξεταζόμενοι καταβάλουν τη μέγιστη προσπάθειά τους σε μία κινητική δοκιμασία δεν μπορεί να ελεγχθεί πλήρως!
Οριοθετήσεις: τα όρια που θέτουμε σε μία μελέτη (μόλις καθορίσεις τις οριοθετήσεις σου καθορίζεις την εξωτερική εγκυρότητα της έρευνας). Είναι οι περιορισμοί/όρια που θέτουμε εμείς στην έρευνά μας. Συνεπώς, έχουμε τον απόλυτο έλεγχο αυτών των περιορισμών, ώστε να μην αφαιρούν από την εγκυρότητα της έρευνας. o Πχ. Ο τόπος & το γεωγραφικό εύρος της έρευνάς μας το θέτουμε εμείς & μπορεί να ελεγχθεί πλήρως! o Πχ. Τα όργανα μέτρησης τα επιλέγουμε εμείς & αυτό μπορεί να ελεγχθεί πλήρως! Ακολουθούν οι ορισμοί της Εσωτερικής & Εξωτερικής εγκυρότητας ενός ερευνητικού σχεδιασμού, ενώ στον Πίνακα 1 αναφέρονται αναλυτικά οι σημαντικότερες πηγές απειλών: Εσωτερική εγκυρότητα: αναφέρεται στις σχέσεις αιτίας-αποτελέσματος μεταξύ εξαρτημένης (ΕΜ) & ανεξάρτητων μεταβλητών (ΑΜ, δηλ. εάν για τη διαφορά στην έρευνά μας την έκανε η ΑΜ ή η παρέμβαση). O βαθμός στο οποίο μπορούμε να εξάγουμε ακριβή συμπεράσματα για τα αποτελέσματα της ανεξάρτητης μεταβλητής. Με λίγα λόγια, πόσο καλός είναι ο σχεδιασμός της έρευνάς μας! Εξωτερική εγκυρότητα: αναφέρεται στην δυνατότητα γενίκευσης των αποτελεσμάτων/στην αντιπροσωπευτικότητα της έρευνας (δηλ. μπορούν τα αποτελέσματα να γενικευθούν/εφαρμοσθούν και σε άλλες καταστάσεις?). Συχνά, όσο καλός και εάν είναι ο σχεδιασμός της έρευνάς μας, η εξωτερική εγκυρότητα μπορεί να είναι μικρή o εφόσον Πχ. η πολύ καλά σχεδιασμένη- έρευνα μας πραγματοποιήθηκε μόνο σε δύο σχολεία της Κομοτηνής και συνεπώς
δεν μπορούμε να ισχυρισθούμε πως αυτά που βρήκαμε ισχύουν για τους μαθητές ολόκληρης της επικράτειας! Πίνακας 1. Πιθανές πηγές εσωτερικής & εξωτερικής απειλής για την εγκυρότητας μίας έρευνας ΕΣΩΤΕΡΙΚΕΣ ΑΠΕΙΛΕΣ Ιστορία Ωρίμανση Μέτρηση Όργανα o Αξιοπιστία o Εγκυρότητα Επιλογή συμμετεχόντων Χρήση ακραίων τιμών Θνησιμότητα δείγματος ΕΞΩΤΕΡΙΚΕΣ ΑΠΕΙΛΕΣ Πληθυσμός o Πειραματικά προσβάσιμος στόχος o Αλληλεπίδραση παρέμβασηςχαρακτηριστικών δείγματος Οικολογικές απειλές o Περιγραφή ανεξάρτητων μεταβλητών & εξαρτημένων μεταβλητών o Πολλαπλή παρέμβαση o Αλληλεπίδραση ιστορίας-παρέμβασης o Αλληλεπίδραση χρόνου-μέτρησης o Ευαισθητοποίηση pretest-posttest o Επίδραση Hawthorne o Νεωτερισμός-διακοπή (ενόχληση) o Επίδραση Rosenthal ΑΠΕΙΛΕΣ ΕΣΩΤΕΡΙΚΗΣ ΕΓΚΥΡΟΤΗΤΑΣ ΙΣΤΟΡΙΑ: Κάθε συγκεκριμένο περιστατικό που συμβαίνει μεταξύ δύο ή περισσότερων μετρήσεων (πχ. μεταξύ 1ης & 2ης μέτρησης πριν και μετά την παρέμβαση). Όσο μεγαλύτερο το διάστημα τόσο πιο κοντά έρχεται αυτή η απειλή! Οι έρευνες με επαναλαμβανόμενες μετρήσεις (π.χ. έρευνα με μία ομάδα) είναι ευάλωτες ΩΡΙΜΑΝΣΗ Βιολογικές και ψυχολογικές αλλαγές των συμμετεχόντων κατά τη διάρκεια της έρευνας (πχ. Κούραση, ανία, ωρίμανση, πείνα κλπ)
Οι έρευνες με επαναλαμβανόμενες μετρήσεις (π.χ. έρευνα με μία ομάδα) είναι ευάλωτες ΜΕΤΡΗΣΗ & ΟΡΓΑΝΑ ΜΕΤΡΗΣΗΣ Κάθε τι που επηρεάζει ή αλλάζει τις συνθήκες μέτρησης Κάθε επίδραση ή αλλαγή στις τεχνικές παρατήρησης ή μέτρησης που φυσικά θα επηρεάσουν την εξαρτημένη μεταβλητή! Οι χρήση κριτών-παρατηρητών κρύβει απειλές (κούραση, ανία, ελλιπείς γνώσεις κλπ) Οι έρευνες με επαναλαμβανόμενες μετρήσεις (π.χ. έρευνα με μία ομάδα) είναι ευάλωτες ΑΞΙΟΠΙΣΤΙΑ ΟΡΓΑΝΩΝ ΜΕΤΡΗΣΗΣ Γενικά, η αξιοπιστία μιας μεθόδου αξιολόγησης αναφέρεται στη «σταθερότητα» ή την «ελευθερία» από κάθε συστηματικό «λάθος» της μέτρησης. Η βασικότερες κατηγορίες αξιοπιστίας είναι η αξιοπιστία στο χρόνο (test-retest) και η αξιοπιστία μεταξύ παρατηρητών. αξιοπιστία στο χρόνο! Η αξιοπιστία στο χρόνο είναι ένας τύπος. Είναι γνωστή σαν «test-retest reliability». Υπάρχουν βέβαια και οι «γκρίζες» περιοχές! o Εάν, για παράδειγμα, η μέθοδος είναι προσανατολισμένη σε δεξιότητες (κινητικό τεστ), το παιδί μπορεί να θυμάται τη δεξιότητα και έτσι να εξοικειωθεί ή ακόμη και να εξασκηθεί σε αυτήν. o Αντίστοιχα, εάν είναι σε μορφή ερωτηματολογίου, αυτός που το συμπληρώνει μπορεί να θυμάται τις απαντήσεις που έδωσε την προηγούμενη φορά και έτσι να επηρεάσει και να «νοθεύσει» την επανεξέταση (επίδραση πράξης). αξιοπιστία μεταξύ παρατηρητών! Ένας δεύτερος και σημαντικός τύπος αξιοπιστίας είναι η αξιοπιστία μεταξύ αξιολογητών
«αντικειμενικότητα», πχ: διαφορετικοί παρατηρητές-κριτές θα πρέπει να λαμβάνουν παρόμοια αποτελέσματα από την ίδια μέτρηση, όσον αφορά το γενικό σκορ αλλά και τους υποτομείς του τεστ Η σημαντικότερη δυσκολία στη χρήση διαφορετικών αξιολογητών είναι η απαίτηση να βρίσκονται στο ίδιο επίπεδο ικανότητας. Υπάρχουν πολλοί παράγοντες που επηρεάζουν αρνητικά αυτόν τον τύπο αξιοπιστίας: Διαφορετικό επίπεδο αξιολογητών Διαφορετική συναισθηματικό-ψυχολογική κατάσταση αξιολογητών όπως Κούραση, Ανία, Υπέρμετρος ζήλος. ΕΓΚΥΡΟΤΗΤΑ ΟΡΓΑΝΩΝ ΜΕΤΡΗΣΗΣ Δηλαδή, μετρά το τεστ αυτό που υποτίθεται ότι μετρά? Π.χ. ένα test που μετρά την ανησυχία δεν μπορεί να μετρά ταυτόχρονα και το stress. Όπως και η αξιοπιστία έτσι και η εγκυρότητα μπορεί να μετρηθεί με πολλούς τρόπους: Εγκυρότητα όψης! Ο ερευνητής προσδιορίζει με την «πρώτη ματιά» (αδρά) αν το περιεχόμενο των ερωτήσεων-μετρήσεων είναι συμβατό μ ότι μετράται Εγκυρότητα κατασκευαστική! Εκφράζει το βαθμό που ένα εργαλείο μέτρησης αποτυπώνει τις ιδέες μιας θεωρίας (factorial valididty). Εγκυρότητα περιεχομένου! Κατά πόσο ένα εργαλείο μέτρησης καλύπτει εννοιολογικά το θέμα που μετράει. Εγκυρότητα πρόβλεψης! Όταν ένα εργαλείο (test) μπορεί να προβλέψει μελλοντική απόδοση στο ίδιο ή άλλο εργαλείο (test). ΕΠΙΛΟΓΗ ΣΥΜΜΕΤΕΧΟΝΤΩΝ Η επίδραση ακατάλληλης η προκατειλημμένης επιλογής των συμμετεχόντων ΘΝΗΣΙΜΟΤΗΤΑ ΔΕΙΓΜΑΤΟΣ Αναφέρεται στο «χάσιμο» συμμετεχόντων μεταξύ 1ης & 2ης μέτρησης
Εάν οι συμμετέχοντες που αποχωρούν δεν είναι ίδιοι με αυτούς που παραμένουν, τότε τα αποτελέσματα της 2ης μέτρησης μπορεί να είναι επηρεασμένα από τα χαρακτηριστικά τους ΧΡΗΣΗ ΑΚΡΑΙΩΝ ΤΙΜΩΝ Χρήση ακραίων τιμών είτε από λάθος μέτρηση (πχ λόγω αναξιόπιστου οργάνου) είτε λόγω πολύ εύκολης ή δύσκολής μέτρησης (επίδραση «ceiling»-οροφή- & «floor»-πάτωμα- όπου οι τιμές δεν έχουν που αλλού να κατευθυνθούν παρά χαμηλότερα ή υψηλότερα) ΑΛΛΗΛΕΠΙΔΡΑΣΗ ΕΠΙΛΟΓΗΣ ΔΕΙΓΜΑΤΟΣ & ΩΡΙΜΑΝΣΗΣ Η πιθανότητα η μεροληπτική επιλογή να αλληλεπιδρά με άλλες μεταβλητές όπως ωρίμανση, θνησιμότητα κλπ. (Πχ τα κέρδη στην μάθηση θα είναι πιο εμφανή σε πρωτοετείς φοιτητές σε σύγκριση με τριτοετείς). ΑΠΕΙΛΕΣ ΕΞΩΤΕΡΙΚΗΣ ΕΓΚΥΡΟΤΗΤΑΣ (1) ΠΛΗΘΥΣΜΟΣ (αναφέρονται σε απειλές που έχουν σχέση με τον πληθυσμό της έρευνας και επηρεάζουν την αντιπροσωπευτικότητα) ΠΕΙΡΑΜΑΤΙΚΑ ΠΡΟΣΒΑΣΙΜΟΣ ΠΛΗΘΥΣΜΟΣ vs πληθυσμός-στόχος (πολλές φορές επιλέγουμε δείγμα ευκολίας, γιατί σε αυτό έχουμε ευκολότερη πρόσβαση. Αυτό συνιστά πολύ σοβαρή απειλή) Η τυχαία επιλογή του δείγματος ενισχύει την εξωτερική εγκυρότητα Η τυχαία κατανομή του δείγματος σε ομάδες (πχ ελέγχου & πειραματική) ενισχύει την εσωτερική εγκυρότητα) ΑΛΛΗΛΕΠΙΔΡΑΣΗ ΠΑΡΕΜΒΑΣΗΣ-ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ ΔΕΙΓΜΑΤΟΣ Η πιθανότητα διαφορετικές παρεμβάσεις να λειτουργούν διαφορετικά σε διάφορούς τύπους συμμετεχόντων Πχ. ένα πρόγραμμα ενδυνάμωσης θα δουλέψει διαφορετικά σε αθλητές του body building από ότι σε αγύμναστους
(2) ΟΙΚΟΛΟΓΙΚΕΣ (αναφέρονται σε απειλές που έχουν σχέση με το σχεδιασμό παρέμβαση & μετρήσεις- της έρευνας και επηρεάζουν τη γενίκευση των αποτελεσμάτων) ΠΕΡΙΓΡΑΦΗ ΑΝΕΞΑΡΤΗΤΩΝ & ΕΞΑΡΤΗΜΕΝΩΝ ΜΕΤΑΒΛΗΤΩΝ Όταν οι διαδικασίες, δραστηριότητες η/και το χρονικό διάστημα της παρέμβασης δεν εξηγούνται με σαφήνεια τα αποτελέσματα δεν μπορούν να γενικευθούν! Πρέπει να δίνεται αναλυτική περιγραφή των εξαρτημένων μεταβλητών και των διαδικασιών μέτρησης (Λειτουργικοί ορισμοί, εγκυρότητα μετρήσεων, ανάλυση δεδομένων) για να γνωρίζουμε αν μπορούμε να γενικεύσουμε τα δεδομένα ή όχι. ΠΟΛΛΑΠΛΗ ΠΑΡΕΜΒΑΣΗ Στην περίπτωση που χρησιμοποιούνται δύο η περισσότερες παρεμβάσεις δεν μπορούμε να διαχωρίσουμε τα αποτελέσματα της μίας από την άλλη! ΑΛΛΗΛΕΠΙΔΡΑΣΗ ΙΣΤΟΡΙΑΣ-ΠΑΡΕΜΒΑΣΗΣ Αναφέρεται στο γεγονός κάποια γεγονότα που συμβαίνουν στη διάρκεια να επηρεάσουν την επίδραση της παρέμβασης. Πχ. οι διακοπές των Χριστουγέννων θα «νοθεύσουν» μία παρέμβαση υγιεινής διατροφής σε μαθητές δημοτικού!!! ΑΛΛΗΛΕΠΙΔΡΑΣΗ ΧΡΟΝΟΥ-ΜΕΤΡΗΣΗΣ Αναφέρεται στο διάστημα αδράνειας μεταξύ του τέλους της παρέμβασης και της επαναμέτρησης. Η απειλή γίνεται μεγαλύτερη όταν υπάρχει και τεστ διατήρησης. Πχ. Ένα μεγάλο χρονικό διάστημα μπορεί να οδηγήσει σε «χάσιμο» πληροφορίας αντίθετα, και ένα πολύ μικρό διάστημα μπορεί να έχει το ίδιο αποτέλεσμα!!! ΕΥΑΙΣΘΗΤΟΠΟΙΗΣΗ ΣΕ ΕΠΑΝΑΛΑΜΒΑΝΟΜΕΝΕΣ ΜΕΤΡΗΣΕΙΣ Η πιθανότητα οι μετρήσεις της εξαρτημένης μεταβλητής να μην αναδείξουν τα αποτελέσματα της παρέμβασης εξαιτίας της ευαισθητοποίησης των συμμετεχόντων στο πείραμα!
ΕΠΙΔΡΑΣΗ HAWTHORNE Η πιθανότητα πως μπορεί η γνώση των συμμετεχόντων πως συμμετέχουν σε ένα πείραμα να επηρεάσουν την επίδραση της παρέμβασης! Υποψία, ανησυχία, επιθυμία, placebo! ΕΠΙΔΡΑΣΗ Η ΕΝΟΧΛΗΣΗ ΑΠΟ ΚΑΤΙ ΝΕΟ Η ΚΑΙΝΟΤΟΜΟ Η νεωτεριστική ή καινοτομική φύση της παρέμβασης σε σύγκριση με τη ρουτίνα της καθημερινότητας μπορεί να επηρεάσει περισσότερο από την ίδια την παρέμβαση! Η ενόχληση αναφέρεται στην πιθανότητα ένας συμμετέχων να νιώθει άβολα με την καινοτομία και να μη μπορεί να προσαρμοσθεί, Πχ. Σε μία βιντεοκάμερα! ΕΠΙΔΡΑΣΗ ROSENTHAL Αναφέρεται στην πιθανότητα ο ερευνητής υποσυνείδητα να μεταβάλει τη συμπεριφορά των συμμετεχόντων μέσω ενεργητικών (σιωπηρές ή λεκτικές προτροπές) ή παθητικών ενεργειών (εμφάνιση, φύλο, φυλή, ντύσιμο κλπ)