Σεμινάριο Εκπαιδευτικής Αξιολόγησης ΣΕΜ 133 Φιλοσοφία & διαδικασία της εκπαιδευτικής έρευνας & αξιολόγησης Βασίλης Γραμματικόπουλος Επίκουρος Καθηγητής - ΠΤΠΕ Ορισμός Η έρευνα είναι ένας τρόπος, μία διαδικασία κατάκτησης της γνώσης Ορισμός της έρευνας Άλλοι τρόποι είναι: ενόραση, θεία έμπνευση, αποδοχή δογμάτων & αξιωμάτων Διαδικασία συστηματικής διερεύνησης που σχεδιάζεται για να συλλέξει, αναλύσει, ερμηνεύσει δεδομένα με σκοπό να κατανοήσει,περιγράψει, προβλέψει/ελέγξει ένα φαινόμενο ή να ενδυναμώσει τα άτομα μέσα σε τέτοια περιβάλλοντα-πλαίσια 1
Ορισμός Η έρευνα είναι μία διαδικασία λογικών βημάτων: α) Θέτουμε ένα ερώτημα, β) συλλέγουμε δεδομένα για να απαντήσουμε, γ) παρουσιάζουμε την απάντηση Η έρευνα είναι μία διαδικασία για τη συγκέντρωση και ανάλυση πληροφοριών ώστε να αυξήσουμε την κατανόηση ενός θέματος ή ζητήματος (Creswell, 2015) Παραδείγματα Στα τέλη του 19 ου αιώνα επικρατούσε η άποψη ότι οι γυναίκες υστερούν σε ευφυία σε σχέση με τους άνδρες Mary Calkins, 1887 Στα μέσα του 19 ου αιώνα επικρατούσε η άποψη της σταθερότητας των ειδών μέσα από την οπτική φυσικής θεολογίας Charles Darwin, 1859 Σημασία της έρευνας 1/3 Σημασία της έρευνας 2/3 Η έρευνα αυξάνει τις γνώσεις μας Καλύπτει κενά Επεκτείνει Επαναλαμβάνει/επαληθεύει Εμπλουτίζει τις γνώσεις Η έρευνα συνεισφέρει στη βελτίωση της πρακτικής στην εκπαίδευση Ερευνητικά δεδομένα ενισχύουν την αποτελεσματικότητα των εκπαιδευτικών Προσφέρει νέες, φρέσκιες ιδέες για εφαρμογή στην πράξη Βοηθάει τους εκπαιδευτικούς να αξιολογούν διαδικασίες 2
Σημασία της έρευνας 3/3 Προβλήματα Η έρευνα ενημερώνει/πληροφορεί την πολιτική (p0licy makers) Βοηθάει στην αξιολόγηση διαφόρων απόψεων Προσφέρει νέες, φρέσκιες ιδέες για εφαρμογή στην πράξη Ενημερώνονται για τους πιο επίκαιρους προβληματισμούς Αντιφατικά ή αόριστα ευρήματα Αμφισβητήσιμα δεδομένα Ασάφειες σχετικά με το σκοπό και τη διατύπωση του προβλήματος Αδιαφάνεια της διαδικασίας συλλογής δεδομένων Η διαδικασία της έρευνας 1. αναγνώριση ενός ερευνητικού προβλημάτος 2. ανασκόπηση της βιβλιογραφίας 3. προσδιορισμός του σκοπού της έρευνας 4. συγκέντρωση δεδομένων 5. ανάλυση και ερμηνεία των δεδομένων 6. αναφορά και αξιολόγηση της έρευνας 3
Τι είναι «ερευνητικό πρόβλημα» 1/2... είναι ένα εκπαιδευτικό θέμα ή ζήτημα που ένας ερευνητής παρουσιάζει και αιτιολογεί σε μία έρευνητική μελέτη Εντοπισμός ερευνητικού προβλήματος 1/2 Τι είναι «ερευνητικό πρόβλημα» 2/2 Μπορεί να είναι: ένα εκπαιδευτικό ζήτημα μία διαμάχη Εντοπίζουμε ένα θέμα για μελέτη Προσδιορίζοντας το θέμα εστιάζουμε στο «πρόβλημα» π. χ. Το κάπνισμα στους εφήβους οδηγεί σε πολλούς πρόωρους θανάτους ή η έξαρση της ενδοσχολικής βίας στις αστικές περιοχές ένας προβληματισμός 4
Εντοπισμός ερευνητικού προβλήματος 2/2 Εντοπισμός του προβλήματος διαβάζοντας μία έρευνα ποιό είναι το ζήτημα, η διαμάχη που προσεγγίζει ο ερευνητής; ποιά διαμάχη οδηγεί σε αυτήν τη μελέτη; ποιό ζήτημα προσεγγίζεται; υπάρχει η διατύπωση π.χ. «το πρόβλημα που μας απασχόλησε σε αυτήν τη μελέτη...» τα προβλήματα εντοπίζονται στην αρχή μιας εργασίας Γιατί είναι σημαντικό; Σηματοδοτεί τη σημαντικότητα του ζητήματος Δημιουργεί ενδιαφέρον στο κοινό που απευθύνεται Επικεντρώνει την προσοχή του αναγνώστη στο πως η μελέτη συνεισφέρει στη βιβλιογραφία Ερευνητικό πρόβλημα & άλλα μέρη της έρευνας Ερευνητικό θέμα Ερευνητικό πρόβλημα Σκοπός της έρευνας Ερευνητικά ερωτήματα Ερευνητικό πρόβλημα & άλλα μέρη της έρευνας Ερευνητικό θέμα ένα ευρύτερο ζήτημα που ασχολείται μία μελέτη Ερευνητικό πρόβλημα ένα πρόβλημα, διαμάχη, ένα γενικό ζήτημα που εξετάζεται μέσα σε ένα πλαίσιο που καθορίζει η έρευνα Σκοπός της έρευνας η κύρια πρόθεση της έρευνας, το γιατί της έρευνας Ερευνητικά ερωτήματα η κατάτμηση του σκοπού σε συγκεκριμένες ερωτήσεις που θέλει να απαντήσει η έρευνα 5
γενικό θέμα πρόβλημα σκοπός - ερωτήματα θέμα πρόβλημα μάθηση μέσω νέων τεχνολογιών η έλλειψη δεξιοτήτων χρήσης νέων τεχνολογιών από τους εκπαιδευτικούς Αξιολόγηση ερευνητικού προβλήματος 1/2 Μπορεί να μελετηθεί; Πρόσβαση στην ερευνητική τοποθεσία Χρόνος, πόροι, δεξιότητες ειδικό σκοπός ερωτήματα να διαπιστωθεί εάν η μη χρήση νέων τεχνολογιών από τους εκπαιδευτικούς οφείλεται σε έλλειψη επιμόρφωσης τους οι εκπαιδευτικοί που έχουν γνώσεις χρήσης νέων τεχνολογιών τις χρησιμοποιούν στη διδασκαλία τους; οι εκπαιδευτικοί εάν επιμορφωθούν στη χρήση νέων τεχνολογιών θα ενσωματώσουν τη χρήση τους στην διδασκαλία τους; Πρέπει να μελετηθεί; Προαγωγή γνώσης Συνεισφορά στην εκπαιδευτκή πράξη/πρακτική Αξιολόγηση ερευνητικού προβλήματος 2/2 Ερευνάται ένα «κενό» στην υπάρχουσα βιβλιογραφία; Επαναλαμβάνεται μία μελέτη με διαφορετικούς συμμετέχοντες σε διαφορετικό περιβάλλον; Επεκτείνει ένα θέμα προηγούμενων ερευνών ή εξετάζει το θέμα αυτό σε μεγαλύτερο βάθος; Δίνει φωνή σε πληθυσμούς που δεν έχουν μέχρι τώρα ακουστεί; Θα βελτιώσει την εκπαιδευτική πράξη/πρακτική; 6
Ορισμός αξιολόγησης Αξιολόγηση ορισμός Συστηματική & οργανωμένη διαδικασία παραγωγής γνώσης ώστε να ληφθούν αποφάσεις για τη διαδικασία που αξιολογείται Κρίση της αξίας της διαδικασίας που αξιολογείται «Αξιολογική έρευνα» είναι μία δραστηριότητα των κοινωνικών επιστημών καθοδηγούμενη να συλλέγει, αναλύει, ερμηνεύει και να διαχέει/επικοινωνεί πληροφορίες σχετικά με τις λειτουργίες και αποτελεσματικότητα κοινωνικών προγραμμάτων Evaluation research (Rossi, Lipsey, & Freeman, 2004) Αξιολόγηση ορισμός Δεν υπάρχει ομοφωνία για τον ορισμό της αξιολόγησης ανάμεσα στους ερευνητές του χώρου Αναφέρεται ότι περίπου 60 διαφορετικοί όροι χρησιμοποιούνται για την αξιολόγηση Αξιολόγηση ορισμός Η αξιολόγηση εφαρμόζεται σε: Κοινωνικές πολιτικές Εκπαιδευτικές πολιτικές Κοινωνικά προγράμματα Εκπαιδευτικά προγράμματα Προσωπικό άτομα (εκπαιδευτικοί, μαθητές κλπ.) 7
Αξιολόγηση - Έρευνα Αξιολόγηση - Έρευνα Η καθαρή επιστημονική έρευνα έχει μία αξία πάντα αμόλυντη από κάθε πλαίσιο έχει εσωτερική αξία (context-free value) Η εφαρμοσμένη έρευνα έχει πάντα πρακτική αξία, μία χρησιμότητα σε ένα πλαίσιο έχει εξωτερική αξία (contextdetermined value) Η έρευνα είναι μία διαδικασία για τη συγκέντρωση και ανάλυση πληροφοριών ώστε να αυξήσουμε την κατανόηση μας για ένα θέμα ή ζήτημα (Creswell, 2015) Υπάρχουν πολλά κοινά αλλά και πολλές διαφορές Αξιολόγηση - Έρευνα Η αξιολόγηση διαφοροποιείται λόγω της «πολιτικής της ενύπαρξης». Η πολιτική είναι ουσιώδες συστατικό & εγγενώς συνυφασμένη με την αξιολόγηση. Η αξιολόγηση διαφοροποιείται λόγω των οργανωσιακών και πολιτικών πλαισίων μέσα στα οποία διεξάγεται, απαιτώντας ικανότητες διοικητικές, πολιτικών ελιγμών κλπ. Η αξιολόγηση χαρακτηρίζεται από διεπιστημονικότητα (Greene, 20oo) (Trochim, 20o6) (Scriven, 20o3) Αξιολόγηση Έρευνα βασικές διαφορές σε: Σκοπούς Υποθέσεις Γενικευσιμότητα αποτελεσμάτων Προτιθέμενη χρήση αποτελεσμάτων Πρότυπα (standards) για την κρίση της επάρκειας Γνώση & δεξιότητες Σχέσεις με τους πελάτες - εμπλεκόμενους 8
Αξιολόγηση Έρευνα 1/7 Σκοποί Αξιολόγηση Έρευνα 1/7 Σκοποί Βασικός σκοπός της έρευνας γνώση σε ένα πεδίο / Δευτερεύων σκοπός για την αξιολόγηση Βασικός σκοπός της αξιολόγησης χρήσιμες πληροφορίες για τους μετόχους (stakeholders) της διαδικασίας που αξιολογείται / Δεν προτιμάται στους σκοπούς της έρευνας Η έρευνα επιδιώκει συμπεράσματα Η αξιολόγηση οδηγεί σε κρίσεις Είναι αποτυχία εάν μία μελέτη δε μπορέσει να παράξει δεδομένα για την αξία του αντικειμένου που μελετάται; Διαφορετικοί σκοποί οδηγούν σε διαφορετικές προσεγγίσεις Η έρευνα διερευνά και δημιουργεί αιτιακές σχέσεις Η αξιολόγηση μελετά και περιγράφει ένα συγκεκριμένο αντικείμενο (evaluand) για να εξετάσει την αξία του σε ένα πλαίσιο αναφοράς Η αξιολόγηση ασχολείται με αιτιακές σχέσεις μόνον εάν ενδιαφέρει τους μετόχους Αξιολόγηση Έρευνα 2/7 Στην έρευνα οι υποθέσεις της τίθενται και ερευνώνται από τον ερευνητή Στην αξιολόγηση οι υποθέσεις/ερωτήματα δεν τίθενται από τον αξιολογητή αλλά από πολλαπλές πηγές και κυρίως από τους σημαντικούς μετόχους (significant stakeholders) Υποθέσεις Στην αξιολόγηση θεωρείται ηθικά προβληματικό (unethical) να τίθενται τα ερωτήματα μόνο από τον αξιολογητή οι λόγοι: εξασφάλιση της εξυπηρέτησης των αναγκών των μετόχων, τη βελτίωση της εγκυρότητας των αποτελεσμάτων, επαύξηση χρήσης Αξιολόγηση Έρευνα 3/7 Γενικευσιμότητα Η καλή αξιολόγηση είναι πολύ συγκεκριμένη όσον αφορά στο πλαίσιο που βρίσκεται το αντικείμενο αξιολόγησης οι μέτοχοι ενδιαφέρονται για τη χρησιμότητα των αποτελεσμάτων στο πλαίσιο αναφοράς Η ουσία της έρευνας είναι να μπορέσει γενικεύσει τα αποτελέσματα της σε άλλα και διαφορετικά περιβάλλοντα, ώστε να επαληθεύσει ή να αντικρούσει ή να παράγει νέα γνώση 9
Αξιολόγηση Έρευνα 4/7 Χρήση αποτελεσμάτων Η αξιολόγηση θεωρείται ότι πρέπει να έχει μία σχετικά άμεση επίδραση στο πλαίσιο που εφαρμόζεται άμεσες αποφάσεις ή έστω μεσοπρόθεσμες, η ουσία είναι ότι η αξιολόγηση σχεδιάζεται για να έχει άμεση χρήση Η έρευνα όχι... πολλές φορές περνούν χρόνια για να αναδειχθεί η αξία των ευρημάτων η αποδοχή νέας γνώσης είναι χρονοβόρα Αξιολόγηση Έρευνα 5/7 Έρευνα: α) εσωτερική εγκυρότητα: απόδειξη αιτιότητας (establishing causality), β) εξωτερική εγκυρότητα: γενίκευση των αποτελεσμάτων Standards Αξιολόγηση Έρευνα 5/7 Standards Αξιολόγηση Έρευνα 6/7 Αξιολόγηση: α) ακρίβεια (accuracy): οι πληροφορίες να αποκτώνται με ακρίβη αναστοχασμό β) χρησιμότητα (utility): τα αποτελέσματα να εξυπηρετούν τους χρήστες γ) εφαρμόσιμη (feasibility): ρεαλιστική, διπλωματική, λιτή, συνετή δ) σύμφωνη με αποδεκτά πρότυπα συμπεριφοράς & ηθικής (propriety): νομικά, ηθικά, λαμβάνει υπόψη τα δικαιώματα των εμπλεκομένων ε) λογοδοσία (accountability) Έρευνα: σε βάθος γνώση ενός γνωστικού αντικειμένου Ο ερευνητής παραμένει συνήθως σε ένα περιορισμένο γνωστικό αντικείμενο Χρησιμοποιεί τις ίδιες μεθόδους Γνώση & δεξιότητες 10
Αξιολόγηση Έρευνα 6/7 Αξιολόγηση Έρευνα 7/7 Αξιολόγηση: πολλά διαφορετικά αντικείμενα πολλές διαφορετικές ανάγκες να ανταποκριθούν Ευρύτερη μεθοδολογική κατάρτιση Πολλαπλές και διαφορετικές μέθοδοι Γνώση & δεξιότητες Η αξιολόγηση δανείζεται αδιάκριτα από πολλά γνωστικά αντικείμενα Αξιολόγηση: συχνή η ανάγκη να αναπτύξουν διαπροσωπικές και επικοινωνιακές ικανότητες Έρευνα: μη αναγκαίο πολλές φορές δεοντολογικά προβληματικό (unethical) Σχέσεις Αξιολόγηση - Έρευνα Πολλές φορές επικαλύπτονται Η αξιολόγηση μπορεί να παράγει νέα γνώση Η έρευνα μπορεί να οδηγήσει σε κρίσεις & αποφάσεις Οι διαφορές παραμένουν & δημιουργούν ένα διακριτό πλαίσιο για τις δύο Πολλαπλοί σκοποί της αξιολόγησης Βοήθεια στη λήψη αποφάσεων Βελτίωση προγραμμάτων οργανισμών κοινωνίας Βοήθεια σε αδύναμες ομάδες να ακουστούν Παραγωγή νέας γνώσης Βασικός σκοπός Καθορισμός της εσωτερικής & εξωτερικής αξίας ενός αντικειμένου αξιολόγησης 11
Αναγκαιότητα εφαρμογής αξιολόγησης Σε όλους του οργανωμένους τομείς της κοινωνίας έχει γίνει η αξιολόγηση αναπόσπαστο μέρος της ύπαρξης & λειτουργίας 12