XVI Μεθοδολογία και Τεχνική προσέγγιση του έργου

XVI Μεθοδολογία και Τεχνική προσέγγιση του έργου Βασικές Αρχές της Μεθοδολογίας για την Ανάπτυξη του ΠΣΑ Ένας από τους πιο σημαντικούς παράγοντες του σχεδιασμού και ανάπτυξης του ΠΣΑ, ήταν ο λεπτομερής σχεδιασμός και υιοθέτηση της κατάλληλης μεθοδολογίας. Η μεθοδολογία στην οποία στηρίχθηκε η ανάπτυξη του ΠΣΑ διέπεται από συγκεκριμένες αρχές, οι οποίες παρουσιάζονται στη συνέχεια: Το Προτεινόμενο Σχέδιο Αξιολόγησης (ΠΣΑ) είναι σε πλήρη συνάρτηση με το όραμα και τις αξίες του Υπουργείου Παιδείας και Πολιτισμού (ΥΠΠ) καθώς επίσης και με το ρόλο που αναμένεται να διαδραματίσουν οι Εκπαιδευτικοί Λειτουργοί για την εκπλήρωση του οράματος και των στόχων της παιδείας μας. Έχει επιδιωχθεί η ύπαρξη στενής συνεργασίας ανάμεσα στην ομάδα εργασίας, την Καθοδηγητική Επιτροπή και το ΥΠΠ τόσο για σκοπούς ενημέρωσης για την πρόοδο του έργου όσο και για τη συζήτηση και τον προβληματισμό καθ όλο το σχεδιασμό του ΠΣΑ, αφού το ΠΣΑ αποτελεί αναπόσπαστο μέρος της εκπαιδευτικής πολιτικής του ΥΠΠ. Έχει σχεδιαστεί ένα ολοκληρωμένο σύστημα αξιολόγησης που βασίζεται στις βασικές αρχές της εκπαιδευτικής αξιολόγησης και έχει ελεγχθεί ως προς την εγκυρότητα, αξιοπιστία και πρακτικότητά του. Ταυτόχρονα, το ΠΣΑ είναι προσαρμοσμένο στο εκπαιδευτικό συγκείμενο της παιδείας μας, ώστε τα δεδομένα που θα προκύπτουν από αυτό να αξιοποιούνται τόσο σε μικρο-επίπεδο όσο και σε μάκρο-επίπεδο. Έχουμε επιδιώξει τη μετάδοση των σωστών μηνυμάτων στους εμπλεκόμενους φορείς με στόχο την αλλαγή της νοοτροπίας των εκπαιδευτικών και επιθεωρητών της Κύπρου σε σχέση με τη διαδικασία αξιολόγησης. Για το σκοπό αυτό έχουν αξιοποιηθεί πρακτικές διαχείρισης αλλαγής και ως εκ τούτου ο ρόλος μας στο έργο αυτό δεν περιορίστηκε μόνο στην επιστημονική και τεχνοκρατική εμπειρογνωμοσύνη μας αλλά και στο ρόλο μας ως καταλύτες στην προσπάθεια ανάπτυξης συναινετικής αντίληψης για την αξιολόγηση και τη βελτίωση της εκπαιδευτικής αποτελεσματικότητας. Θεωρούμε ότι ειδικά στην Κύπρο είναι σημαντικό να αξιοποιήσουμε δεξιότητές μας στη χρήση συμβουλευτικών τεχνικών που οδηγούν από πιθανή αντιπαράθεση σε συναίνεση. Η προσπάθειά μας για τη συμμετοχή των εμπλεκόμενων φορέων στη διαδικασία ήταν συνεχής, αφού η εμπλοκή τους θα αποτελέσει κλειδί στην αποδοχή του ΠΣΑ. Αυτό είναι ιδιαίτερα σημαντικό δεδομένου ότι στην Κύπρο υπάρχει προϊστορία έντασης στον τομέα αξιολόγησης στην εκπαίδευση και ενδεχομένως να υπάρξει επιφυλακτικότητα και αντίσταση από κάποιους εμπλεκόμενους φορείς. Έχει εξασφαλιστεί από τα αρχικά στάδια η εμπλοκή των περισσοτέρων φορέων στη διαδικασία ανάπτυξης του ΠΣΑ, ώστε να δοθεί η ευκαιρία για προβληματισμό και 238

ανταλλαγή απόψεων στις βασικές αρχές του ΠΣΑ και να καταλήξουμε σε ένα σύστημα που θα «ανήκει» σε όλους τους φορείς. Λόγω του μεγάλου αριθμού των εμπλεκόμενων φορέων και κυρίως λόγω της ύπαρξης διαφορετικών απόψεων τόσο μεταξύ των μελών του κάθε φορέα όσο και μεταξύ των φορέων, κατά την άποψή μας, καθίσταται ιδιαίτερα σημαντικό το γεγονός πως έχει επιτευχθεί συναίνεση όσον αφορά στους γενικούς άξονες φιλοσοφίας του ΠΣΑ μεταξύ όλων των εμπλεκόμενων φορέων. Για το λόγο αυτό έχουν οργανωθεί αντίστοιχα εργαστήρια με εκπροσώπους των φορέων στα οποία χρησιμοποιήθηκαν τεχνικές ομαδικής συνέντευξης (Cohen et al., 2000, Robson, 1993), η τεχνική Delphi (Gordon & Hemer, 1964, Teddlie, Hackett, & Morrison, 1982, Teddlie, Kyriakides & Yu, 2004) και η ανάλυση εναλλακτικών σεναρίων, κάτι που οδήγησε στη σταδιακή ανάπτυξη κοινής αντίληψης για τα θέματα της αξιολόγησης και για τις αρχές του ΠΣΑ. Επίσης, έχουμε επιδιώξει να επιτύχουμε συναίνεση και σε σχέση με τις επιμέρους πτυχές του ΠΣΑ, με τρόπο που να εξυπηρετούνται κατά το δυνατόν καλύτερα οι οι σκοποί του ΠΣΑ και οι βασικές του αρχές. Λόγω της μεγάλης διάρκειας και έκτασης του έργου αυτού, έχουν χρησιμοποιηθεί τεχνικές διαχείρισης έργων (Goal Directed Project), ώστε να επιτευχθεί η τήρηση των χρονοδιαγραμμάτων. Έχουμε συλλέξει πληροφορίες σε σχέση με την αξιολόγηση από διαφορετικές πηγές, ώστε να εξασφαλίσουμε σφαιρική, αντικειμενική και ολοκληρωμένη αντίληψη των θεμάτων καθώς επίσης να ενθαρρύνουμε την εμπλοκή μεγαλύτερου κατά το δυνατόν αριθμού ατόμων στη συλλογή πληροφοριών και απόψεων. Για το σκοπό αυτό έχουμε διεξάγαγει έρευνα επισκόπησης ανάμεσα στους εκπαιδευτικούς. Ιδιαίτερη προσοχή έχει δοθεί στη δειγματοληψία, ώστε να χρησιμοποιηθούν μέθοδοι που θα περιορίζουν το σφάλμα στο 1% για 99 από τα 100 πιθανά δείγματα (Coolican, 1990). Τα αποτελέσματα της έρευνας αυτής παρουσιάζονται στην Ενότητα 2. Έχουν αξιοποιηθεί οι εμπειρίες άλλων χωρών σε παρόμοια θέματα και για το λόγο αυτό ο ένας από τους πέντε (5) εμπειρογνώμονες ήταν επιστήμονας από το εξωτερικό ο οποίος έχει εξειδικευμένες γνώσεις και εμπειρίες στον τομέα της αποτελεσματικότητας/ αξιολόγησης στην εκπαίδευση. Επιπρόσθετα, στην ομάδα έργου υπάρχουν ερευνητές παγκόσμιας εμβέλειας στο χώρο της εκπαιδευτικής διοίκησης και αξιολόγησης με εμπειρίες σε μελέτες ανάπτυξης συστημάτων αξιολόγησης σε διάφορες χώρες. Ερευνητικές μέθοδοι και τεχνικές συγκέντρωσης δεδομένων Με βάση τις πιο πάνω αρχές, έχουμε υιοθετήσει συγκεκριμένες μεθόδους και διαδικασίες ανάπτυξης του ΠΣΑ. Επίσης, έχουμε χρησιμοποιήσει διάφορες τεχνικές συγκέντρωσης και ανάλυσης δεδομένων που σύμφωνα με τους Hopkins, Reynolds και Gray, (1999) θεωρούνται ως οι καταλληλότερες από το σύνολο των ερευνητών στο χώρο της εκπαιδευτικής διοίκησης και αξιολόγησης την τελευταία δεκαετία. Όπως φαίνεται στη λεπτομερή περιγραφή των σταδίων της μεθοδολογίας μας που ακολουθεί, οι τεχνικές συγκέντρωσης δεδομένων που 239

χρησιμοποιήθηκαν, διαφοροποιούνται κατά φορέα. Η επιλογή της τεχνικής που έχει χρησιμοποιηθεί κατά περίπτωση βασίστηκε κυρίως στα πιο κάτω: Ανάγκη για μεταφορά μηνυμάτων και γενικότερα καταλληλότητα τεχνικής στην επίτευξη αλλαγής νοοτροπίας Μέγεθος δείγματος του κάθε φορέα Δυνατότητα γενικευσιμότητας (generalisability) των αποτελεσμάτων Με βάση τα πιο πάνω, έχουμε επιλέξει να χρησιμοποιήσουμε τις ακόλουθες μεθόδους έρευνας και τεχνικές ανάλυσης δεδομένων: Εργαστήρια ανάπτυξης συναινετικών προσεγγίσεων: Τα εργαστήρια είναι μια μέθοδος η οποία επιτρέπει την ανταλλαγή θέσεων και απόψεων, τη συζήτηση και την εξεύρεση λύσεων σε θέματα που απασχολούν διάφορους φορείς. Επιπρόσθετα, κατά τα εργαστήρια έχει επιδιωχθεί η μεταφορά μηνυμάτων στους εμπλεκόμενους φορείς. Έγιναν συνολικά 23 εργαστήρια, που διάρκεσαν συνολικά 73 ώρες. Ομαδικές και Ατομικές Συνεντεύξεις: Οι προσωπικές συνεντεύξεις είναι ιδιαίτερα αποτελεσματικές στη συλλογή έγκυρων πληροφοριών σε σχέση με τις αντιλήψεις προσώπων ή/και ομάδων καθώς επίσης και στην ανάπτυξη συναινετικών απόψεων μέσα από αντιπαράθεση απόψεων των διάφορων φορέων (Κυριακίδης, 2004; Maykut, & Morehouse, 1994). Για να μπορέσουμε να εξασφαλίσουμε και την αξιοπιστία της μεθόδου έχουν χρησιμοποιηθεί ημιδομημένες συνεντεύξεις, οι οποίες διενεργήθηκαν από περιορισμένο αριθμό ερευνητών με πείρα στη χρήση της μεθόδου αυτής. Για την ανάλυση των δεδομένων που προέκυψαν από την απομαγνητοφώνηση των συνεντεύξεων, έχει χρησιμοποιηθεί η τεχνική της «συνεχούς σύγκρισης» (Constant Comparative Method) και έχουν διενεργηθεί αναλύσεις κατά άτομο (within-case analysis) και κατά φορέα (cross-case analysis) (Denzin & Lincoln, 1998). Έγιναν συνολικά 13 συνεντεύξεις, που διάρκεσαν συνολικά 24 ώρες. Έρευνα τύπου επισκόπησης: Η έρευνα τύπου επισκόπησης μας έδωσε τη δυνατότητα να εμπλέξουμε στη διαδικασία ανάπτυξης του ΠΣΑ μεγάλο αριθμό εκπαιδευτικών στο στάδιο της συλλογής απόψεων και θέσεων για τις βασικές αρχές του ΠΣΑ. Για την επιλογή του δείγματος έχει χρησιμοποιηθεί η τεχνική της διαστρωματικής δειγματοληψίας. Για σκοπούς ελέγχου της εσωτερικής αξιοπιστίας των κλιμάκων έχουν υπολογιστεί οι αντίστοιχοι συντελεστές αξιοπιστίας Cronbach alpha και KR20 (Cronbach, 1990). Επίσης, έχουν χρησιμοποιηθεί τεχνικές ανάλυσης δεδομένων τόσο της παραμετρικής όσο και της απαραμετρικής στατιστικής (Siegel & Castellan, 1988). Τέλος, έχει εκτιμηθεί το μέγεθος του βαθμού στον οποίο υπήρχαν διαφορές ανάμεσα στις αντιλήψεις υποομάδων του κάθε φορέα (Cohen s effect size δ) με τη χρήση τεχνικών που εισηγούνται οι Hedges (1981) και Cohen (1988). Τα αποτελέσματα της έρευνας παρουσιάζονται στην Ενότητα 2. Εργαλεία για αντίληψη των θεμάτων: Έχουμε χρησιμοποιήσει ευρέως διαδεδομένα διευθυντικά εργαλεία όπως, Force Field Analysis (Levin, 1947) για σκοπούς εξέτασης θετικών και περιοριστικών παραγόντων, και (StakeholderAnalysis) για σκοπούς εντοπισμού της επίδρασης των εμπλεκομένων φορέων στην επιτυχία του έργου. 240

Ανάλυση Περιεχομένου (content analysis): Η τεχνική αυτή μας έχει επιτρέψει να αναλύσουμε συστηματικά και με κριτική στάση τη βιβλιογραφία και τα συστήματα αξιολόγησης δυτικοευρωπαϊκών χωρών. Συγκεκριμένα, έχουμε χρησιμοποιήσει τεχνικές ανάλυσης περιεχομένου για σκοπούς εντοπισμού των βασικών αρχών και στοιχείων που συνθέτουν τα συστήματα αξιολόγησης που υπάρχουν σε δυτικοευρωπαϊκές χώρες καθώς και για εξεύρεση των βασικών αδυναμιών τους. Επίσης, έχουν εντοπιστεί τα υπαλλακτικά σενάρι α που προκύπτουν απ ό την υιοθέτηση διαφορετικών συστημάτων αξιολόγησης. Ακόμη, η τεχνική αυτή έχει χρησιμοποιηθεί για εξεύρεση των πηγών συγκέντρωσης δεδομένων και των εργαλείων μέτρησης που χρησιμοποιούνται στα συστήματα αξιολόγησης των δυτικοευρωπαϊκών χωρών. Τέλος, η ανάλυση περιεχομένου συνέβαλε στην κατανόηση των βασικών διαστάσεων που καλύπτουν τα ερευνητικά εργαλεία που έχουν αναπτυχθεί για σκοπούς μέτρησης της αποτελεσματικότητας από μέλη της ερευνητικής μας ομάδας (Κυριακίδης, Πασιαρδής, Creemers, Borich, Campbell, Teddlie) και από άλλους ερευνητές (π.χ., Shavelson, Fraser, Brophy, Good, Levy). Ανάπτυξη και εγκυροποίηση εργαλείων μέτρησης: Η διαδικασία ανάπτυξης των εργαλείων μέτρησης που έχουν αναπτυχθεί είναι ανάλογη των βασικών οδηγιών ανάπτυξης εργαλείων που υιοθετούνται από τους αντίστοιχους διεθνείς οργανισμούς μέτρησης (AERA, APA, & NCME, 1999). Συγκεκριμένα, αρχικά έχει καθοριστεί ο πίνακας προδιαγραφών του κάθε εργαλείου, ενώ στη συνέχεια έχει γίνει πιλοτική χορήγηση για σκοπούς ελέγχου της πρακτικότητας των εργαλείων και βελτίωσης της προκαταρτικής μορφής τους. Η τελική μορφή των εργαλείων έχει χορηγηθεί σε αντίστοιχο δείγμα και έχει ελεγχθεί η εγκυρότητα γνωρίσματος του στατιστικού εργαλείου (construct validity) με τη βοήθεια τεχνικών που ανήκουν τόσο στο χώρο της κλασικής θεωρίας μέτρησης (π.χ. επιβεβαιωτική παραγοντική ανάλυση) όσο και της σύγχρονης θεωρίας μέτρησης (Item Response Theory). Χρήση σύγχρονης θεωρίας μέτρησης: Η σύγχρονη θεωρία μέτρησης μας έχει βοηθήσει να αναπτύξουμε κλίμακες μέτρησης της αποτελεσματικότητας οι οποίες μπορούν να αξιοποιηθούν για σκοπούς ανάπτυξης αντίστοιχων προφίλ δεξιοτήτων/ικανοτήτων των εκπαιδευτικών. Με τον τρόπο αυτό μπορούμε να εξασφαλίσουμε τη χρήση του ΠΣΑ στην επίτευξη του διαμορφωτικού του σκοπού. Τα μοντέλα της σύγχρονης θεωρίας μέτρησης (π.χ. το μοντέλο Rasch) χρησιμοποιούνται και για ανάπτυξη μονοδιάστατων κλιμάκων που θα χρησιμοποιούνται για σκοπούς τελικής αξιολόγησης. Τέλος, τα μοντέλα αυτά μας έχουν επιτρέψει να εξετάσουμε τις ψυχομετρικές ιδιότητες των κλιμάκων μας και άρα να προβούμε σε αναγκαίες ενέργειες βελτίωσης των εργαλείων του ΠΣΑ. Έλεγχος τη ς γενικευσιμότητας των αποτελεσμάτων: Η θεωρία γενικευσιμότητας (Generalisability Theory) (Cronbach, Gleser, Nanda, & Rajaratnam, 1972; Shavelson, Webb, & Rowley, 1989) έχει χρησιμοποιηθεί για την ανάπτυξη αντίστοιχων μοντέλων κατά την πρώτη φάση του έργου. Συγκεκριμένα, τα μοντέλα αυτά μας έχουν επιτρέψει να εντοπίσουμε το βαθμό στον οποίο οι αρχές του ΠΣΑ είναι αποδεκτές από όλα τα άτομα που συμμετείχαν σε κάθε εργαστήριο ανεξαρτήτως του φορέα στον οποίο ανήκουν. Έχουν αναπτυχθεί, επίσης, αντίστοιχα μοντέλα που επιτρέπουν τον έλεγχο 241

της ποιότητας των δεδομένων που θα προκύπτουν από την εφαρμογή του ΠΣΑ. Με τη χρήση των μοντέλων αυτών μπορούμε να εντοπίσουμε τυχόν αδυναμίες στη συγκέντρωση αξιόπιστων δεδομένων από συγκεκριμένες πηγές αξιολόγησης ή/και εργαλεία. Παρουσιάσεις: Έχουμε διοργανώσει ημερίδες ενημέρωσης και παρουσιάσεις των αποτελεσμάτων προς όλους τους εμπλεκόμενους φορείς. Οι παρουσιάσεις αυτές έχουν αξιοποιηθεί κυρίως για ενημέρωση των φορέων για τις κύριες πτυχές του προσχεδίου του ΠΣΑ και αποτέλεσαν το μέσο μέτρησης της ερμηνευτικής εγκυρότητας του ΠΣΑ (Kyriakides, 2004b). Εμπλεκόμενοι φορείς Όπως έχει αναφερθεί και πιο πάνω ένας κρίσιμος παράγοντας για την επιτυχή υλοποίηση του συστήματος είναι η συνεχής εμπλοκή των εμπλεκόμενων φορέων. Με βάση αυτή μας την αντίληψη, οι κύριοι φορείς που έχουν εμπλακεί στη διαδικασία ανάπτυξης του ΠΣΑ παρατίθενται πιο κάτω: Υπουργείο Παιδείας & Πολιτισμού: - Υπουργός - Γενική Διευθύντρια - Διευθυντές Τμημάτων - Σύμβουλοι του Υπουργού και του Γενικού Διευθυντή ΠΟΕΔ Εκπαιδευτικοί Δημοτικής Εκπαίδευσης ΟΕΛΜΕΚ Εκπαιδευτικοί Μέσης Εκπαίδευσης ΟΛΤΕΚ Εκπαιδευτικοί Τεχνικής Εκπαίδευσης Οργάνωση Επιθεωρητών Δημοτικής Εκπαίδευσης (ΟΕΔΕ) Οργάνωση Επιθεωρητών Μέσης Γενικής και Τεχνικής Εκπαίδευσης Επιτροπή Εκπαιδευτικής Υπηρεσίας Ομοσπονδία Γονέων Μέσης Εκπαίδευσης Συνομοσπονδία Γονέων Δημοτικής Εκπαίδευσης Οργανωμένα Μαθητικά Συμβούλια Επιτροπή Παιδείας Βουλής Πολιτικά κόμματα Εκπρόσωποι της κοινοπραξίας διεξήγαγαν με τους πιο πάνω φορείς 23 εργαστήρια (συνολικής διάρκειας 73 ωρών) και 13 συνεντεύξεις (συνολικής διάρκειας 24 ωρών). 242

Παρακολούθηση της προόδου της μελέτης Στα πλαίσια της εργασίας αυτής, έχουμε χρησιμοποιήσει τεχνικές διαχείρισης έργων (E. Andersen, K. Grude and T. Haug, 1980), ώστε να επιτευχθεί η τήρηση των χρονοδιαγραμμάτων. Έχουμε επίσης επιδιώξει το συνεχή και έγκαιρο συντονισμό με την Καθοδηγητική Επιτροπή μέσω της ετοιμασίας περιληπτικών εκθέσεων προόδου καθώς και τακτικές μηνιαίες συναντήσεις κατά τις οποίες διεξαγόταν σ υζήτηση αναφορικά με την πρόοδο της μελέτης και τις ενέργειες που έπρεπε να οργανωθούν για τα επόμενα στάδια. Αναλυτική περιγραφή της μεθοδολογικής και τεχνικής προσέγγισης του έργου Πιο κάτω παραθέτουμε αναλυτικά τη μεθοδολογία που χρησιμοποιήσαμε κα τά την πρώτη φάση του έργου. 1 η Φάση Σχεδιασμός και Ανάπτυξη Συστήματος Η πρώτη φάση αποσκοπούσε στο σχεδιασμό και ανάπτυξη του προκαταρτικού συστήματος αξιολόγησης του εκπαιδευτικού και του εκπαιδευτικού έργου. Συγκεκριμένα, περιέλαβε από τα πιο κάτω στάδια που αναλύονται λεπτομερώς στις επόμενες παραγράφους: Στάδιο Α: Έναρξη μελέτης Στάδιο Β: Συλλογή και ανάλυση πληροφοριών (Το στάδιο αυτό αποτελείται από 6 υποστάδια) Στάδιο Γ: Σχεδιασμός Προδιαγραφών Βασικών Αρχών του Συστήματος (Το στάδιο αυτό αποτελείται από 5 υποστάδια) Στάδιο Δ: Ετοιμασία συστήματος αξιολόγησης και σχετικής έκθεσης (Το στάδιο αυτό αποτελείται από 13 υποστάδια) Στάδιο Ε: Υποβολή και παρουσίαση τελικής έκθεσης Στάδιο Α: Έναρξη μελέτης Περιγραφή Σταδίου Στόχος του σταδίου αυτού ήταν η ενημέρωση όλων των εμπλεκόμενων φορέων για το: α) προτεινόμενο πρόγραμμα εργασίας που ακολουθήθηκε, β) την προτεινόμενη μεθοδολογία και δομή της εργασίας, και γ) το χρονοδιάγραμμα διεκπεραίωσης της μελέτης. Δραστηριότητες Στο στάδιο αυτό έγιναν οι πιο κάτω ενέργειες: Συνάντηση με την Καθοδηγητική Επιτροπή για παρουσίαση, συζήτηση και οριστικοποίηση του προγράμματος εργασίας, της δομής και της μεθοδολογίας της μελέτης καθώς και του χρονοδιαγράμματος διεκπεραίωσης της μελέτης. 243

Συνάντηση με τον Υπεύθυνο Συντονιστή για ανάλυση των στόχων της εργασίας, παρουσίαση της μεθοδολογίας και των χρονοδιαγραμμάτων καθώς και εντοπισμό των κρίσιμων παραγόντων επιτυχίας της μελέτης. Επιβεβαίωση της σημασίας εμπλοκής των προτεινόμενων Φορέων και του τρόπου επίτευξης της εμπλοκής τους στην υλοποίηση της μελέτης. Συνάντηση με τον Υπουργό ή / και το Γενικό Διευθυντή του Υπουργείου Παιδείας και Πολιτισμού για εξακρίβωση του οράματός του(ς) και τους στόχους που επιδιώκουν να πετύχουν με τη διεκπεραίωση της μελέτης αυτής. Στάδιο Β: Συλλογή και ανάλυση πληροφοριών Περιγραφή Σταδίου Το Στάδιο Β περιελάμβανε τη συλλογή και ανάλυση δεδομένων που αφορούν στις απόψεις για την αξιολόγηση όλων των υπηρεσιών του ΥΠΠ και των φορέων που εμπλέκονται ή είναι σχετικοί με το θέμα της αξιολόγησης. Επίσης, στο στάδιο αυτό, περιλαμβάνεται η ανασκόπηση της βιβλιογραφίας και μετα-ανάλυση των πορισμάτων εξειδικευμένων ερευνών σε θέματα διοίκησης και αξιολόγησης και των εμπειριών χωρών που επιδίωξαν τις τελευταίες δύο δεκαετίες να αναπτύξουν αντίστοιχα συστήματα αξιολόγησης. Από το στάδιο αυτό, προέκυψαν διαφορετικές πρακτικές που ακολουθούνται σε ό,τι αφορά στην ανάπτυξη συστημάτων αξιολόγησης καθώς και οι τάσεις που διαμορφώνονται σε διεθνές επίπεδο σε σχέση με την εκπαιδευτική αποτελεσματικότητα. Τέλος, καθορίστηκαν οι αντιλήψεις ανεξάρτητων εμπειρογνωμόνων για τις βασικές αρχές στις οποίες στηρίχθηκε το ΠΣΑ. Υποστάδιο Β1: Καθορισμός σκοπών και μορφών αξιολόγησης του ΠΣΑ όπως αυτές προκύπτουν από ανάλυση των αδυναμιών του υφιστάμενου συστήματος αξιολόγησης και των διεθνών πρακτικών και τάσεων σε θέματα αξιολόγησης Περιγραφή υποσταδίου: Στο υποστάδιο αυτό εξετάστηκαν όλες οι παράμετροι που συνθέτουν το συγκείμενο μέσα στο οποίο εντάσσεται το νέο σύστημα αξιολόγησης. Επίσης, διηξήχθη μετα-ανάλυση εξειδικευμένων ερευνών που σχετίζονται με την αξιολόγηση προσωπικού και εκπαιδευτικού έργου. Ακόμη, μελετήθηκαν οι εμπειρίες κρατών που επιχείρησαν την τελευταία δεκαετία να αναπτύξουν νέα συστήματα αξιολόγησης. Μέσα από τη μελέτη αυτή, μπορέσαμε να καθορίσουμε τις διεθνείς πρακτικές και κατευθύνσεις στο χώρο της αξιολόγησης και να τις συγκρίνουμε με τις ανάγκες διαφοροποίησης του υφιστάμενου συστήματος αξιολόγησης, ώστε να προκύψουν συγκεκριμένες εισηγήσεις για τους σκοπούς, τις μορφές (π.χ., αυτοαξιολόγηση, ετεροαξιολόγηση, αξιολόγηση προϊσταμένων από υφιστάμενούς τους) και τα υποσυστήματα αξιολόγησης (π.χ. σύστημα διαμορφωτικής αξιολόγησης της σχολικής μονάδας, διεξαγωγή κριτηριακής αξιολόγησης (criterion-reference evaluation) μη μόνιμου εκπαιδευτικού προσωπικού) του ΠΣΑ. 244

Δραστηριότητες: Ανάλυση των παραμέτρων που συνθέτουν το συγκείμενο του ΠΣΑ και που προκύπτουν από τους ιδιαίτερους σκοπούς της παιδείας μας, τις αντιλήψεις των φορέων για το ρόλο της αξιολόγησης, τις εμπειρίες των φορέων από το υφιστάμενο σύστημα και τις προσδοκίες των φορέων και του ΥΠΠ από το νέο σύστημα αξιολόγησης. Συγκεκριμένα διεκπεραιώθηκαν οι ακόλουθες ενέργειες: - σύνθεση μελετών για τις αδυναμίες του υφιστάμενου συστήματος αξιολόγησης - συλλογή και ανάλυση πληροφοριών για τις θέσεις των εμπλεκόμενων φορέων για το υφιστάμενο σύστημα μέσω ανασκόπησης αρχείων, υπομνημάτων, εγκυκλίων και αρθρογραφίας - εξέταση του νομικού πλαισίου που διέπει το εκπαιδευτικό σύστημα της Κύπρου και το υφιστάμενο σύστημα αξιολόγησης, τους Κανονισμούς αξιολόγησης και ανάλογε ς νομολογίες Μετα-ανάλυση εξειδικευμένων ερευνών που διεξήχθησαν σε σχέση με την αξιολόγηση προσωπικού και εκπαιδευτικού έργου και που δημοσιεύτηκαν τα τελευταία 15 χρόνια σε σχετικά διεθνή περιοδικά με σύστημα κριτών. Εις βάθος μελέτη της διεθνούς εμπειρίας και συλλογή πληροφοριών ως προς τις πρακτικές που ακολουθούνται και ως προς τις τάσεις που διαμορφώνονται με ιδιαίτερη έμφαση στις εμπειρίες και τα εργαλεία χωρών της Ευρωπαϊκής Ένωσης και χωρών οι οποίες θεωρούνται ως εκπαιδευτικά προηγμένες. Συγκεκριμένα διεκπεραιώθηκαν οι ακόλουθες ενέργειες: - Διεξαγωγή εκτενούς έρευνας για διεθνείς πρακτικές και κατεύθυνση στα θέματα αξιολόγησης απόδοσης στον εκπαιδευτικό τομέα, κυρίως σε Ευρωπαϊκές χώρες. Επιδιώξαμε να συλλέξουμε στοιχεία από διάφορες χώρες περιλαμβανομένων της Ελλάδα ς, Ολλανδίας, Ηνωμένου Βασιλείου, Ιρλανδίας, Αυστραλία ς, ΗΠΑ, Νέας Ζηλανδίας, Πορτογαλίας και Μάλτας. Υποστάδιο Β2: Καθορισμός των απόψεων των εμπλεκόμενων φορέων για τις βασικές αρχές του ΠΣΑ και τα κριτήρια αξιολόγησης κάθε υποσυστήματός του Περιγραφή υποσταδίου: Στο υποστάδιο αυτό εντοπίστηκαν οι απόψεις των εμπλεκόμενων φορέων για τους σκοπούς του ΠΣΑ, τις θεωρητικές παραδοχές του και τα κριτήρια αξιολόγησης κάθε υποσυστήματος. Επίσης, διαπιστώθηκε ο βαθμός στον οποίο μπορούσε να επιτευχθεί συναίνεση ανάμεσα στους φορείς σε σχέση με τα πιο πάνω βασικά στοιχεία του ΠΣΑ. Τέλος, εντοπίστηκαν τα σημεία όπου πιθανόν να υπάρχουν διαφορετικές απόψεις και αναπτύχθηκαν αντίστοιχα σενάρια πιθανών συστημάτων αξιολόγησης, ώστε να συζητηθούν οι επιπτώσεις που το καθένα μπορεί να έχει στην αποτελεσματικότητα του εκπαιδευτικού μας συστήματος. 245

Δραστηριότητες: Καταγραφή θεμάτων που θέλαμε να καλύψουμε στις ατομικές συνεντεύξεις και ανάπτυξη της δομής της κάθε ημιδομημένης συνέντευξης. Η δομή της συνέντευξης παρουσιάζεται στο Παράρτημα 12.1. Διεξαγωγή ημιδομημένων ατομικών συνεντεύξεων με: - Υπουργείο Παιδείας Υπουργός Παιδείας και Πολιτισμού Γενική Διευθύντρια Υπουργείου Παιδείας και Πολιτισμού, Διευθυντές Τμημάτων Υπουργείου Παιδείας και Πολιτισμού Σύμβουλοι του Υπουργού, του Γενικού Διευθυντή και των Τμημάτων τους οποίους μας έχει υποδείξει η καθοδηγητική επιτροπή - Ομοσπονδία Γονέων Μέσης Εκπαίδευσης. (Διεξήχθη συνέντευξη με τον Πρόεδρο και μέλη της Ομοσπονδίας Γονέων Μέσης Εκπαίδευσης). - Συνομοσπονδία Γονέων Δημοτικής Εκπαίδευσης. (Διεξήχθη συνέντευξη με τον Πρόεδρο και μέλη της Ομοσπονδίας Γονέων Δημοτικής Εκπαίδευσης). - Επιτροπή Εκπαιδευτικής Υπηρεσίας. (Διεξήχθη συνέντευξη με τον Πρόεδρο και τα μέλη της Επιτροπής). - Επιτροπή Παιδείας της Βουλής των Αντιπροσώπων. (Διεξήχθησαν συναντήσεις με τον Πρόεδρο και τον Αντιπρόεδρο της Επιτροπής Παιδείας της Βουλής καθώς και με εκπροσώπους των πολιτικών κομμάτων που είναι μέλη της Επιτροπής). Απομαγνητοφώνηση των συνεντεύξεων Ανάλυση των αποτελεσμάτων που προέκυψαν από τις συνεντεύξεις με τη βοήθεια της τεχνικής συνεχούς σύγκρισης Καταγραφή των θεμάτων που καλύφθηκαν στις ομαδικές συνεντεύξεις και της μορφής που έλαβαν, ώστε χρησιμοποιώντας την τεχνική Delphi να επιτευχθεί η μεγαλύτερη δυνατή συναίνεση ανάμεσα στους εκπροσώπους του κάθε εμπλεκόμενου φορέα Διεξαγωγή εργαστηρίων με τη μορφή ομαδικών συνεντεύξεων. Η δομή της διάταξης που ακολουθήθηκε κατά τη συζήτηση παρουσιάζεται στο παράρτημα12.2. Επιπλέον, αναπτύχθηκαν και χορηγήθηκαν στους εμπλεκόμενους φορείς έντυπα που αποσκοπούσαν στον καθορισμό των κριτηρίων αξιολόγησης. Τα έντυπα αυτά παρουσιάζονται στα παραρτήματα 3 και 4. Συγκεκριμένα, διεξήχθησαν ξεχωριστά εργαστήρια με εκπροσώπους των ακόλουθων εμπλεκόμενων φορέων: - ΠΟΕΔ - ΟΕΛΜΕΚ - ΟΛΤΕΚ - Οργάνωση Επιθεωρητών Δημοτικής Εκπαίδευσης (ΟΕΔΕ) - Οργάνωση Επιθεωρητών Μέσης, Γενικής και Τεχνικής Εκπαίδευσης Με την ολοκλήρωση των εργαστηρίων, έγινε κωδικοποίηση των αποτελεσμάτων και μελετήθηκαν εις βάθος οι απόψεις και οι εισηγήσεις των μελών που έλαβαν μέρος στα εργαστήρια. Επίσης αναλύθηκαν στατιστικά τα δεδομένα που προέκυψαν από τη 246

χρήση της τεχνικής Delphi (Gordon & Hemer, 1964, Teddlie, Hackett, & Morrison, 1982, Teddlie, Kyriakides & Yu, 2004), ώστε να εντοπιστεί ο βαθμός στον οποίο είχε επιτευχθεί συναίνεση ανάμεσα στους εκπροσώπους του κάθε φορέα. Ακόμη, αναλύθηκαν τα δεδομένα με τη βοήθεια αντίστοιχων μοντέλων γενικευσιμότητας για να διαπιστωθεί ο βαθμός στον οποίο ήταν δυνατή η ανάπτυξη συναίνεσης ανάμεσα στους φορείς για τις πτυχές του συστήματος αξιολόγησης που αναφέρονται πιο πάνω. Τέλος, διενεργήθηκε σύγκριση των αποτελεσμάτων που προέκυψαν από τις ατομικές και ομαδικές συνεντεύξεις για να εντοπιστεί ο βαθμός στον οποίο οι εμπλεκόμενοι φορείς συμφωνούσαν με τους υπεύθυνους για τη χάραξη εκπαιδευτικής πολιτικής. Υποστάδιο Β3: Καθορισμός των απόψεων των συμβούλων για τις βασικές αρχές του ΠΣΑ κ αι τα κριτήρια αξιολόγησης κάθε υποσυστήματός του Περιγραφή υποσταδίου: Στο στάδιο αυτό εντοπίστηκαν οι απόψεις των συμβούλων για τους σκοπούς του ΠΣΑ, τις θεωρητικές παραδοχές του και τα κριτήρια αξιολόγησης κάθε υποσυστήματός του. Επίσης, διαπιστώθηκε ο βαθμός στον οποίο οι απόψεις των συμβούλων συνάδουν με τις θέσεις των εμπλεκόμενων φορέων. Δραστηριότητες: Συλλογή των απόψεων των συμβούλων της ομάδας εργασίας με τη βοήθεια ατομικών ημιδομημένων συνεντεύξεων. Οι σύμβουλοι επιλέχθηκαν λόγω της εμπειρογνωμοσύνης τους σε θέματα σχετικά με την αξιολόγηση προσωπικού και την αξιολόγηση εκπαιδευτικού έργου. Επίσης, λήφθηκε υπόψη το γεγονός ότι είχαν τις λιγότερες κατά το δυνατόν, προκαταλήψεις τις οποίες αναπόφευκτο δημιουργεί η σχέση κάθε μέλους της ομάδας εργασίας με το εκπαιδευτικό συγκείμενο της Κύπρου. Οι πληροφορίες σχετίζονταν με τους: - σκοπούς του συστήματος αξιολόγησης - τις βασικές αρχές και το θεωρητικό υπόβαθρο στο οποίο στηρίζεται κάθε σύστημα αξιολόγησης - τις μορφές και υποσυστήματα του συστήματος αξιολόγησης - τα κριτήρια αξιολόγησης κάθε υποσυστήματος του ΠΣΑ - τα πλεονεκτήματα και μειονεκτήματα του κάθε εναλλακτικού μοντέλου αξιολόγησης, όπως προέκυψαν από το υποστάδιο Β2 - τις πιθανές επιπτώσεις που κάθε εναλλακτικό μοντέλο θα έχει στην αποτελεσματικότητα του εκπαιδευτικού συστήματος Εντοπίστηκε ο βαθμός στον οποίο οι σύμβουλοι συμφωνούν μεταξύ τους για τις πιο πάνω πτυχές του ΠΣΑ και έγινε σύγκριση των απόψεων που είχαν ως ομάδα με τα πορίσματα που προέκυψαν από το υποστάδιο Β1. Έγινε σύγκριση των απόψεων των συμβούλων με τις απόψεις των φορέων και εξήχθησαν συμπεράσματα για τις πτυχές του ΠΣΑ στις οποίες υπήρχε ομοφωνία 247

ανάμεσα στη βιβλιογραφία (υποστάδιο Β1), στους εμπλεκόμενους φορείς και υπεύθυνους για τη χάραξη πολιτικής (υποστάδιο Β2) και στους εμπειρογνώμονες (υποστάδιο Β3). Υποστάδιο Β4: Έρευνα επισκόπησης των απόψεων των εκπαιδευτικών και επιθεωρητών για το ΠΣΑ Περιγραφή υποσταδίου: Κατά το στάδιο αυτό διεξήχθη έρευνα τύπου επισκόπησης ανάμεσα στους εκπαιδευτικούς για τις απόψεις τους αναφορικά με την αξιολόγηση του εκπαιδευτικού και του εκπαιδευτικού έργου καθώς και με τις προσδοκίες τους από το ΠΣΑ. Τα αποτελέσματα της έρευνας αυτής παρουσιάζονται στον Τόμο Δ. Δραστηριότητες: Έγινε καταγραφή των θεμάτων για τα οποία χρειαζόταν να γίνει συλλογή απόψεων. Τα θέματα αυτά περιλαμβάνουν: - τους επιθυμητούς στόχους του συστήματος αξιολόγησης - τις βασικές αρχές και το θεωρητικό υπόβαθρο του νέου συστήματος αξιολόγησης - τις μορφές και υποσυστήματα του ΠΣΑ - τα κριτήρια αξιολόγησης κάθε υποσυστήματος, - την καταλληλότητα των πηγών συγκέντρωσης δεδομένων - τις ιδιότητες των εργαλείων μέτρησης - τις μορφές τήρησης και κοινοποίησης αποτελεσμάτων - την κατάρτιση που αναμένεται να δοθεί στους αξιολογητές και αξιολογούμενους για την αποτελεσματική εφαρμογή του νέου συστήματος αξιολόγησης. Καθορισμός δείγματος: Χρησιμοποιήθηκε διαστρωματική δειγματοληψία και επιλέγηκαν 500 εκπαιδευτικοί δημοτικής και 516 εκπαιδευτικοί μέσης και τεχνικής εκπαίδευσης. Το μέγεθος του δείγματος είναι τέτοιο που επιτρέπει την εξαγωγή συμπερασμάτων με σφάλμα μικρότερο του 1% για 99 από τα 100 δείγματα. Έγινε σχεδιασμός και πιλοτικός έλεγχος των ερωτηματολογίων. Χορηγήθηκαν τα ερωτηματολόγια στο δείγμα της έρευνάς μας. Έντυπο του ερωτηματολογίου που χρησιμοποιήθηκε παρουσιάζεται στο παράρτημα 12.6. Καταχωρίθηκαν τα δεδομένα των ερωτηματολογίων στον ηλεκτρονικό υπολογιστή και έγινε στατιστική επεξεργασία των δεδομένων. Συγκεκριμένα, ελέγχθηκε αρχικά η εσωτερική αξιοπιστία των κλιμάκων και υπολογίστηκαν οι αντίστοιχοι συντελεστές Cronbach alpha και KR20 (Cronbach, 1990). Επίσης, χρησιμοποιήθηκαν τεχνικές ανάλυσης δεδομένων τόσο της παραμετρικής όσο και της απαραμετρικής στατιστικής (Siegel & Castellan, 1988). Καταγράφηκαν τα κύρια αποτελέσματα της έρευνας ανά φορέα, εντοπίστηκαν οι διαφορές που υπήρχαν ανάμεσα στις αντιλήψεις των εκπαιδευτικών ανά βαθμίδα και έγινε ερμηνεία των αποτελεσμάτων. 248

Τέλος, έγινε σύγκριση των αποτελεσμάτων της παρούσας έρευνας με αντίστοιχες έρευνες που διεξήχθησαν από μέλη της ερευνητικής μας ομάδας (Κυριακίδης, 2001, Κυριακίδης & Δημητρίου 2002, 2004, Πασιαρδής, 1996). Υποστάδιο Β5: Ανάλυση εναλλακτικών βαθμίδων ανέλιξης και αξιοποίησης του ανθρώπινου δυναμικού στα σχολεία μας Περιγραφή υποσταδίου: Στο υποστάδιο αυτό, συγκεντρώθηκαν πληροφορίες και στοιχεία σε σχέση με τις βαθμίδες ανέλιξης των εκπαιδευτικών λειτουργών με στόχο την πιθανή λειτουργία υπαλλακτικών τρόπων ανέλιξης και την καλύτερη αξιοποίηση του ανθρώπινου δυναμικού των σχολείων μας. Δραστηριότητες: Συλλογή πληροφοριών για τις υφιστάμενες βαθμίδες ανέλιξης, τις μισθολογικές κλίμακες, τα σχέδια υπηρεσίας των εκπαιδευτικών λειτουργών καθώς και για την οργανωτική δομή του ΥΠΠ. Συλλογή και ανάλυση πληροφοριών για τις θέσεις των εμπλεκόμενων φορέων αναφορικά με τις υφιστάμενες βαθμίδες ανέλιξης μέσω ανασκόπησης αρχείων, υπομνημάτων, εγκυκλίων και αρθρογραφίας. Διεξαγωγή εκτενούς έρευνας για διεθνείς πρακτικές αναφορικά με βαθμίδες ανέλιξης, σχέδια υπηρεσίας και οργανωτική δομή που υιοθετούν διάφορα εκπαιδευτικά συστήματα Ευρωπαϊκών και άλλων χωρών. Ανάλυση των πληροφοριών που έχουν συγκεντρωθεί με την χρήση ποιοτικών τεχνικών με στόχο τον καθορισμό εναλλακτικών σεναρίων για βαθμίδες ανέλιξης και εντοπισμού των συνεπειών που θα έχουν στην αξιοποίηση του ανθρώπινου δυναμικού των σχολείων μας. Υποστ άδιο Β6: Καθορισμός των απόψεων των εμπλεκόμενων φορέων για όλα τα επιμέρους στοιχεία που θα συνθέτουν το ΠΣΑ συμπεριλαμβανομένων και των βαθμίδων ανέλιξης Περιγραφή υποσταδίου: Στο υποστάδιο αυτό εντοπίστηκαν οι απόψεις των εμπλεκόμενων φορέων για τις πηγές συγκέντρωσης δεδομένων, τα εργαλεία μέτρησης, τους τρόπους τήρησης και κοινοποίησης αποτελεσμάτων, την ανάπτυξη νέων βαθμίδων ανέλιξης και πιθανές διαφοροποιήσεις στους ρόλους των στελεχών της εκπαίδευσης, με στόχο την αποτελεσματικότερη αξιοποίηση του ανθρώπ ινου δυναμικού των σχολείων μας. Επίσης, διαπιστώθηκε ο βαθμός στον οποίο μπορεί να επιτευχθεί συναίνεση ανάμεσα στους φορείς σε σχέση με τα πιο πάνω στοιχεία του ΠΣΑ. Τέλος, εντοπίστηκαν τα σημεία όπου πιθανόν να υπάρχουν διαφορετικές απόψεις ανάμεσα 249

στους φορείς και αναπτύχθηκαν αντίστοιχα σενάρια πιθανών συστημάτων αξιολόγησης για να συζητηθούν οι επιπτώσεις που το καθένα μπορεί να έχει στην αξιοποίηση του ΠΣΑ στο εκπαιδευτικό σύστημα της Κύπρου. Δραστηριότητες: Έγινε καταγραφή των θεμάτων που καλύφθηκαν στις ομαδικές συνεντεύξεις καθώς και της μορφής που έλαβαν, ώστε χρησιμοποιώντας την τεχνική Delphi να επιτευχθεί η μεγαλύτερη δυνατή συναίνεση ανάμεσα στους εκπροσώπους του κάθε εμπλεκόμενου φορέα. Διεξήχθησαν εργαστήρια που είχαν τη μορφή ομαδικών συνεντεύξεων. Συγκεκριμένα, διεξήχθησαν ξεχωριστά εργαστήρια με εκπροσώπους των ακόλουθων εμπλεκόμενων φορέων: - ΠΟΕΔ - ΟΛΤΕΚ - Οργάνωση Επιθεωρητών Δημοτικής Εκπαίδευσης ΟΕΔΕ - Οργάνωση Επιθεωρητών Μέσης, Γενικής και Τεχνικής Εκπαίδευσης Στα εργαστήρια αυτά οι φορείς καλούνταν όπως συμπληρώσουν το «Έντυπο Καθορισμού των Πηγών Συλλογής Δεδομένων και του Τρόπου Τήρησης και Κοινοποίησης των αποτελεσμάτων» το οποίο παρουσιάζεται στο παράρτημα 12.5. Με το τέλος, των εργαστηρίων έγινε κωδικοποίηση των αποτελεσμάτων και μελετήθηκαν εις βάθος οι απόψεις και οι εισηγήσεις των μελών που έλαβαν μέρος στα εργαστήρια. Επίσης, αναλύθηκαν τα δεδομένα που προέκυψαν από τη χρήση της τεχνικής Delphi, ώστε να εντοπιστεί ο βαθμός στον οποίο είχε επιτευχθεί συναίνεση ανάμεσα στους εκπροσώπους του κάθε φορέα. Τέλος, αναλύθηκαν τα δεδομένα με τη βοήθεια αντίστοιχων μοντέλων γενικευσιμότητας για να διαπιστωθεί ο βαθμός στον οποίο ήταν δυνατή η ανάπτυξη συναίνεσης ανάμεσα στους φορείς για τις πτυχές του συστήματος αξιολόγησης που αναφέρονται πιο πάνω. Τέλος, διενεργήθηκε σύγκριση των αποτελεσμάτων που προέκυψαν από τις ατομικές και ομαδικές συνεντεύξεις για να εντοπιστεί ο βαθμός στον οποίο οι απόψεις των εμπλεκόμενων φορέων ήταν σύμφωνες με τις θέσεις των υπεύθυνων για τη χάραξη εκπαιδευτικής πολιτικής. 250

Στάδιο Γ: Σχεδιασμός προδιαγραφών βασικών αρχών του Συστήματος Περιγραφή Σταδίου Στο στάδιο Γ έγινε ανασκόπηση των υπαλλακτικών επιλογών/μοντέλων αξιολόγησης από όλους τους εμπλεκόμενους φορείς σε κοινά εργαστήρια με στόχο την επίτευξη συναίνεσης σε σχέση με τους σκοπούς, τις βασικές αρχές, τις μορφές και τα κριτήρια αξιολόγησης του ΠΣΑ. Επίσης, το ΠΣΑ ελέγχθηκε από τους εσωτερικούς συμβούλους. Συγκεκριμένα, το στάδιο περιλαμβάνει τις πιο κάτω ενέργειες: Υποστάδιο Γ1: Σύνθεση των πορισμάτων που προέκυψαν από τη συγκέντρωση δεδομένων για τις βασικές αρχές του ΠΣΑ Περιγραφή υποσταδίου: Στο υποστάδιο αυτό επιδιώξαμε να συνθέσουμε τα πορίσματα που προέκυψαν από τη χρήση διαφορετικών μεθόδων συγκέντρωσης δεδομένων για τις βασικές αρχές του ΠΣΑ. Δραστηριότητες: Συγκεκριμένα, αναλύθηκαν και συγκρίθηκαν τα πορίσματα των υποσταδίων Β1, Β2, Β3 και Β4. Υποστάδιο Γ2: Διερεύνηση των απόψεων των εσωτερικών συμβούλων για τις βασικές αρχές του ΠΣΑ και τα κριτήρια αξιολόγησης κάθε υποσυστήματός του Περιγραφή υποσταδίου: Στο υποστάδιο αυτό, εντοπίστηκαν οι απόψεις των εσωτερικών συμβούλων για τους σκοπούς του ΠΣΑ, τις θεωρητικές παραδοχές του και τα κριτήρια αξιολόγησης κάθε υποσυστήματος. Επίσης, διαπιστώθηκε ο βαθμός στον οποίο οι απόψεις των συμβούλων συνάδουν με τις θέσεις των εμπλεκόμενων φορέων. Δραστηριότητες: Συλλογή των απόψεων των εσωτερικών συμβούλων με τη βοήθεια ατομικών ημιδομημένων συνεντεύξεων. Οι εσωτερικοί σύμβουλοι έχουν ήδη επιλεγεί με βάση τις εμπειρίες που έχουν από το εκπαιδευτικό σύστημα της Κύπρου και ειδικότερα την εμπλοκή που είχαν στις προσπάθειες που έγιναν για διαφοροποίηση του συστήματος αξιολόγησης του εκπαιδευτικού τις τελευταίες δύο δεκαετίες. Οι πληροφορίες σχετίζονται με τους: - σκοπούς του συστήματος αξιολόγησης - τις βασικές αρχές και το θεωρητικό υπόβαθρο στο οποίο πρέπει να στηρίζεται κάθε σύστημα αξιολόγησης - τις μορφές και υποσυστήματα του ΠΣΑ - τα κριτήρια αξιολόγησης κάθε υποσυστήματος του ΠΣΑ 251

- τα πλεονεκτήματα και μειονεκτήματα του κάθε εναλλακτικού μοντέλου αξιολόγησης που θα προκύψει από το υποστάδιο Β2 - τις πιθανές επιπτώσεις που κάθε εναλλακτικό μοντέλο θα έχει στον τρόπο λειτουργίας του εκπαιδευτικού συστήματος της Κύπρου και ειδικότερα στις αντιδράσεις που πιθανότατα θα προκαλέσει η υιοθέτησή του Απομαγνητοφώνηση των συνεντεύξεων και έλεγχος των απομαγνητοφωνήσεων από τον κάθε σύμβουλο Ανάλυση των ποιοτικών δεδομένων που προέκυψαν από τις συνεντεύξεις με τη χρήση της τεχνικής συνεχούς σύγκρισης Εξεύρεση του βαθμού στον οποίο οι σύμβουλοι συμφωνούν μεταξύ τους για τις πιο πάνω πτυχές του ΠΣΑ και σύγκριση των απόψεων που έχουν ως ομάδα με τις απόψεις που έχουν οι εξωτερικοί σύμβουλοι Σύγκριση των απόψεων των συμβούλων με τις απόψεις των φορέων και εξαγωγή συμπερασμάτων για τις πτυχές του ΠΣΑ στις οποίες υπάρχει ομοφωνία ανάμεσα α) στις απόψεις των συμβούλων, β) στα πορίσματα που προέκυψαν από ανάλυση της βιβλιογραφίας, γ) στις απόψεις των εμπλεκόμενων φορέων και των υπεύθυνων για τη χάραξη πολιτικής και δ) στις απόψεις των εξωτερικών συμβούλων Υποστάδιο Γ3: Διατύπωση πρότασης για τους σκοπούς, και τις βασικές αρχές στις οποίες θα στηρίζεται το ΠΣΑ καθώς και για τα κριτήρια αξιολόγησης του κάθε υποσυστήματός του Περιγραφή υποσταδίου: Στο υποστάδιο αυτό διατυπώθηκαν οι αρχικές προτάσεις και εισηγήσεις σχετικά με τους σκοπούς και τις βασικές αρχές του ΠΣΑ, ενώ παρουσιάστηκαν και τα κριτήρια αξιολόγησης του κάθε υποσυστήματός του. Η αρχική πρόταση για τη μορφή του ΠΣΑ παρουσιάστηκε σε εργαστήρι με όλους τους εμπλεκόμενους φορείς. Στο εργαστήριο αυτό παρουσιάστηκαν επίσης τα πορίσματα όλων των προηγούμενων υποσταδίων. Δραστηριότητες: Διεξαγωγή εργαστηρίου με όλους τους εμπλεκόμενους φορείς στο οποίο παρουσιάστηκαν τα πορίσματα όλων των προηγούμενων υποσταδίων. Αφού απαντήθηκαν διευκρινιστικές ερωτήσεις, συζητήθηκαν με όλους τους φορείς τα πορίσματα της έρευνας. Επιδίωξή μας ήταν η σύνδεση των πορισμάτων της έρευνας με την πολιτική διάσταση της αξιολόγησης, ώστε να επιτρέψουμε σε κάθε φορέα να εκφράσει τις ανησυχίες του από την υιοθέτηση ενός νέου συστήματος αξιολόγησης. Θεωρούμε ότι με αυτό τον τρόπο κατορθώσαμε να εκτιμήσουμε καλύτερα τα εναλλακτικά σενάρια που θα έχουν προκύψει στο υποστάδιο Γ1 και καταλήξαμε στην ανάπτυξη ενός συστήματος αξιολόγησης που οι βασικές του πτυχές είναι αποδεκτές από όλους τους φορείς. 252

Υποστάδιο Γ4: Διερεύνηση των απόψεων των εσωτερικών συμβούλων για την πρόταση των εμπλεκόμενων φορέων σε σχέση με τις γενικές αρχές του ΠΣΑ και τα κριτήρια αξιολόγησης κάθε υποσυστήματός του Περιγραφή υποσταδίου: Στο υποστάδιο αυτό εξετάστηκαν οι απόψεις των εσωτερικών συμβούλων σε σχέση με τις βασικές αρχές αξιολόγησης, τις μορφές και τα κριτήρια αξιολόγησης που θεωρούμε ότι μπορούν να συμπεριληφθούν στο ΠΣΑ. Δραστηριότητες: Διεξαγωγή ομαδικής συνέντευξης με τους εσωτερικούς συμβούλους. Στη συνάντησή μας αυτή παρουσιάσαμε τα αποτελέσματα του εργαστηρίου συναίνεσης (υποστάδιο Γ3) στους εσωτερικούς συμβούλους και εντοπίσαμε το βαθμό στον οποίο οι εσωτερικοί σύμβουλοι θεωρούν ορθή την πρότασή μας. Οριστικοποίηση των βασικών αρχών και προδιαγραφών του ΠΣΑ καθώς και των κριτηρίων αξιολόγησης κάθε υποσυστήματος του ΠΣΑ Υποστάδιο Γ5: Παρουσίαση των γενικών αρχών του ΠΣΑ και των κριτηρίων αξιολόγησής του στους υπεύθυνους για τη χάραξη εκπαιδευτικής πολιτικής Περιγραφή υποσταδίου: Στο υποστάδιο αυτό παρουσιάσαμε στο ΥΠΠ την πρότασή μας για τους σκοπούς του ΠΣΑ, τις θεωρητικές παραδοχές του και τα κριτήρια αξιολόγησης κάθε υποσυστήματός του. Επίσης, αναφερθήκαμε σε όλα τα αποτελέσματα των σταδίων Β και Γ. Δραστηριότητες: Παρουσίαση στο ΥΠΠ των προτεινόμενων προδιαγραφών, των βασικών αρχών του νέου συστήματος αξιολόγησης και των κριτηρίων αξιολόγησής του. Στην πρότασή μας λαμβάνεται υπόψη η ανάγκη το νέο σύστημα αξιολόγησης να περιλαμβάνει τα πιο κάτω υποσυστήματα αξιολόγησης: - Υποσύστημα αυτοαξιολόγησης της σχολικής μονάδας με στόχο τη βελτίωση της αποτελεσματικότητάς της - Υποσύστημα διαμορφωτικής αξιολόγησης του εκπαιδευτικού προσωπικού που θα επιτυγχάνει τη συνεχή βελτίωσή του - Υποσύστημα κριτηριακής αξιολόγησης των επί δοκιμασί α εκπαιδευτικών για σκοπούς μονιμοποίησής τους - Υποσύστημα συγκριτικής αξιολόγησης του προσωπικού για σκοπούς ανέλιξης 253

Στάδιο Δ: Ετοιμασία συστήματος αξιολόγησης και σχετικής έκθεσης Περιγραφή σταδίου: Κατά το στάδιο αυτό, έχει διατυπωθεί ολοκληρωμένη πρόταση για το νέο σύστημα αξιολόγησης του προσωπικού και του εκπαιδευτικού έργου που περιλαμβάνει τα πιο κάτω: ολοκληρωμένο σύστημα αξιολόγησης στο οποίο πέρα από τους σκοπούς, αρχές και κριτήρια κάθε υποσυστήματός του, παρουσιάζονται οι πηγές συγκέντρωσης δεδομένων, τα εργαλεία μέτρησης και οι τρόποι τήρησης και κοινοποίησης αποτελεσμάτων εισηγήσεις για εναλλακτικές βαθμίδες ανέλιξης ανάλυση των οικονομικών επιπτώσεων της εφαρμογής του ΠΣΑ μηχανισμοί και τρόποι μετα-αξιολόγησης του ΠΣΑ Υποστάδιο Δ1: Καθορισμός των πηγών συγκέντρωσης δεδομένων κάθε υποσυστήματος του ΠΣΑ Περιγραφή υποσταδίου: Το υποστάδιο αυτό περιλαμβάνει τον καθορισμό των πηγών συγκέντρωσης δεδομένων που κάθε υποσύστημα αξιολόγησης περιλαμβάνει. Για το σκοπό αυτό έχει οργανωθεί εργαστήριο με εκπρ οσώπους των εμπλεκόμενων φορέων για να εκφράσουν αρχικά τις απόψεις τους για την κάθε πηγή που είναι δυνατόν να περιλαμβάνει το κάθε υποσύστημα αξιολόγησης. Πρόθεσή μας, όπως αναφέρθηκε και πιο πάνω, είναι να αξιοποιούνται όσο το δυνατόν περισσότερες πηγές, ώστε να υπάρχει δυνατότητα ελέγχου της εσωτερικής εγκυρότητας των δεδομένων κάθε υποσυστήματος αξιολόγησης του ΠΣΑ. Τέλος, έχουν ληφθεί αποφάσεις γύρω από τα εργαλεία που έπρεπε να αναπτυχθούν ώστε να συγκεντρώνονται έγκυρα και αξιόπιστα δεδομένα από κάθε πηγή. Δραστηριότητες: Οργάνωση του εργαστηρίου και ειδικότερα προετοιμασία του τρόπου με τον οποίο αναμενόταν να αναπτυχθεί συναίνεση ανάμεσα στους φορείς για τις πηγές συγκέντρωσης δεδομένων κάθε υποσυστήματος Καταγραφή των πορισμάτων του σταδίου Β που αφορούν στις πηγές συγκέντρωσης δεδομένων κάθε υποσυστήματος αξιολόγησης Διεξαγωγή εργαστηρίων που είχαν τη μορφή ομαδικών συνεντεύξεων με τους πιο κάτω φορείς: - ΠΟΕΔ - ΟΕΛΜΕΚ - ΟΛΤΕΚ - Οργάνωση Επιθεωρητών Δημοτικής Εκπαίδευσης (ΟΕΔΕ) - Οργάνωση Επιθεωρητών Μέσης, Γενικής και Τεχνικής Εκπαίδευσης 254

Με το τέλος της πρώτης φάσης των εργαστηρίων είχαμε καταλήξει σε απόφαση σχετικά με τις πηγές συλλογής δεδομένων κάθε υποσυστήματος αξιολόγησης. Στη συνέχεια εκφράστηκαν απόψεις για τα εργαλεία που χρειαζόταν να αναπτυχθούν, ενώ ακούστηκαν με ιδιαίτερη προσοχή οι ανησυχίες των φορέων για την εγκυρότητα και αξιοπιστία των δεδομένων που θα προκύπτουν από κάθε πηγή. Η ερευνητική ομάδα δεσμεύτηκε να αναπτύξει εργαλεία με συγκεκριμένες προδιαγραφές ώστε να διασκεδάσει τις ανησυχίες των φορέων Με την κωδικοποίηση των θέσεων των φορέων, ζητήθηκε από τον κάθε σύμβουλο ξεχωριστά να κρίνει την πρότασή μας για τις πηγές και τα εργαλεία αξιολόγησης κάθε υποσυστήματος. Οι απόψεις των συμβούλων έτυχαν ανάλυσης με τη βοήθεια ποιοτικών μεθόδων ανάλυσης περιεχομένου (content analysis) και εξετάστηκαν οι πιθανότητες βελτίωσης της πρότασής μας για τις πηγές και τα εργαλεία αξιολόγησης Υποστάδιο Δ2: Μετα-ανάλυση των εργαλείων μέτρησης που χρησιμοποιήθηκαν στις σημαντικότερες έρευνε ς εκπαιδευτικής αποτελεσματικότητα ς Περιγραφή υποσταδίου: Στο υποστάδιο αυτό συγκεντρώθηκαν τα σημαντικότερα εργαλεία μέτρησης που τα τελευταία 35 χρόνια χρησιμοποιήθηκαν σε διεθνείς έρευνες στο χώρο της εκπαιδευτικής αποτελεσματικότητας. Επίσης, εντοπίστηκαν όλες οι πληροφορίες που υπάρχουν για τις ψυχομετρικές ιδιότητές τους. Ιδιαίτερη σημασία δόθηκε στην εγκυρότητα περιεχομένου και στην εγκυρότητα γνωρίσματός τους. Στη συνέχεια διεξήχθη μετα-ανάλυσή τους και εντοπίστηκαν οι διαστάσεις που καλύπτουν καθώς και τα πλεονεκτήματα και μειονεκτήματα κάθε εργαλείου. Δραστηριότητες: Εντοπισμός και συγκέντρωση των σημαντικότερων εργαλείων μέτρησης που τα τελευταία 35 χρόνια χρησιμοποιήθηκαν σε διεθνείς έρευνες στο χώρο της εκπαιδευτικής αποτελεσματικότητας (π.χ. The Virgilio Teacher Behaviour Inventory, QTI, ISTOF). Συγκέντρωση πληροφοριών για τις ψυχομετρικές ιδιότητες του κάθε εργαλείου και εξέταση της εγκυρότητας περιεχομένου και της εγκυρότητας γνωρίσματός του. Ανάλυση περιεχομένου του. του κάθε εργαλείου και ανάπτυξη του πίνακα προδιαγραφών Μετα-ανάλυση των πληροφοριών που συγκεντρώθηκ αν για κάθε εργαλείο με στόχο τον εντοπισμό των διαστάσεων που συνήθως αξιολογούνται καθώς και των πλεονεκτημάτων και μειονεκτημάτων του κάθε εργαλείου. 255

Υποστάδιο Δ3: Ανάπτυξη εργαλείων μέτρησης κάθε υποσυστήματος του ΠΣΑ Περιγραφή υποσταδίου: Για την υλοποίηση του σταδίου αυτού ακολουθήθηκαν οι διαδικασίες ανάπτυξης ερευνητικών εργαλείων στο χώρο των κοινωνικών επιστημών που προτείνονται από τις αντίστοιχες διεθνείς ακαδημαϊκές οργανώσεις (AERA, APA, & NCME, 1999). Συγκεκριμένα, αναπτύχθηκε ο πίνακας προδιαγραφών του κάθε εργαλείου και ελέγχθηκε η εγκυρότητα περιεχομένου. Στη συνέχεια εξετάστηκε η πρακτικότητά τους και διατυπώθηκαν εισηγήσεις για τον τρόπο χορήγησής τους και αξιοποίησης των αποτελεσμάτων που προκύπτουν από αυτά. Δραστηριότητες: Αρχικά αναπτύχθηκε ο πίνακας προδιαγραφών του κάθε εργαλείου με τρόπο που να συνάδει με τα πορίσματα των υποσταδίων Β1 και Β2 Στη συνέχεια αναπτύχθηκε η αρχική μορφή του κάθε εργαλείου στην οποία γίνεται αναφορά: α) στις δηλώσεις και κλίμακες που πρέπει να χρησιμοποιούν οι αξιολογητές για να συγκεντρώσουν συγκεκριμένα ποσοτικά ή/και ποιοτικά δεδομένα, β) στη σχέση κάθε δήλωσης με το κριτήριο αξιολόγησης στο οποίο αναφέρεται, γ) στον τρόπο χρήσης του εργαλείου, δ) στον τρόπο τήρησης αποτελεσμάτων και ε) στον τρόπο κοινοποίησης των αποτελεσμάτων στον αξιολογούμενο Ακολούθως, ζητήθηκε από τους χρήστες του κάθε εργαλείου, τους αξιολογούμενους και τους συμβούλους να κρίνουν το εργαλείο ως προς την εγκυρότητα περιεχομένου του και την αντιπροσωπευτικότητά του Τα αποτελέσματα από τις απόψεις των κριτών των εργαλείων αναλύθηκαν και συνέβαλαν στη λήψη διορθωτικών μέτρων που αποσκοπούσαν στην ανάπτυξη μιας βελτιωμένης μορφής για κάθε εργαλείο μέτρησης Χορηγήθηκε πιλοτικά και εξετάστηκε η δυνατότητα χρήσης του κάθε εργαλείου στο εκπαιδευτικό μας συγκείμενο καθώς και η πρακτικότητά του Η πιλοτική χορήγηση του κάθε εργαλείου μας επέτρεψε να πάρουμε αποφάσεις για τον τρόπο με τον οποίο ήταν δυνατόν να βελτιωθεί το κάθε εργαλείο 256

Υποστάδιο Δ4: Ανάπτυξη του τρόπου λειτουργίας κάθε υποσυστήματος αξιολόγησης του ΠΣΑ Περιγραφή υποσταδίου: Στο υ ποστάδιο αυτό διατυπώθηκαν εισηγήσεις για τον τρόπο με τον οποίο θα χρησιμοποιούνται τα διάφορα εργαλεία μέτρησης, ώστε να αναπτυχθεί ένα ολιστικό μοντέλο αξιολόγησης για το κάθε υποσύστημα του ΠΣΑ. Δραστηριότητες: Εξετάστηκε ο τρόπος χρήσης του κάθε εργαλείου ώστε να εξασφαλίζεται η κατά το δυνατόν μεγαλύτερη γενίκευση των αποτελεσμάτων που θα προκύπτουν από τη χρήση του και να εξασφαλίζεται η βέλτιστη χρήση του Στη συνέχεια, η χρήση του κάθε εργαλείου εντάχθηκε σε ένα ολοκληρωμένο σχέδιο αξιολόγησης, το οποίο αναφέρεται σε διαδικασίες που εξασφαλίζουν τη σύνδεση στη χρήση των διάφορων εργαλείων και δε μετατρέπουν το κάθε υποσύστημα αξιολόγησης σε ένα πολύπλοκο και μη πρακτικό μηχανισμό αξιολόγησης. Για παράδειγμα, έχει αναπτυχθεί ημερολόγιο με τις χορηγήσεις του κάθε εργαλείου, ώστε να ελεγχθεί ότι το υποσύστημα δεν προκαλεί φόρτο εργασίας σε συγκεκριμένα άτομα. Επίσης, αναπτύχθηκαν ασφαλιστικές δικλίδες που ενθαρρύνουν την ομοιόμορφη χρήση των εργαλείων κάθε υποσυστήματος από τους αξιολογητές σε μικρο-επίπεδο και μακρο-επίπεδο Ακολούθως, καθορίστηκε το διάγραμμα των ενεργειών που χρειαζόταν να λάβουν χώρα για την υλοποίηση κάθε υποσυστήματος αξιολόγησης στο οποίο καθορίζονταν τα άτομα που αναλαμβάνουν κάθε δραστηριότητα, οι υποχρεώσεις που έχουν και η χρονική περίοδος που χρειάζεται να αφιερώνουν για να εφαρμόσουν ορθά το κάθε υποσύστημα αξιολόγησης Τέλος, αναπτύχθηκε το τελικό μοντέλο του ΠΣΑ σε επίπεδο διαδικασιών και στο οποίο διαφαίνεται η σχέση ορισμένων υποσυστημάτων. Με τον τρόπο αυτό έχει ελεγχθεί και η πρακτικότητα ολόκληρου του ΠΣΑ αφού διαφάνηκαν στο σύνολό τους οι ενέργειες που πρέπει να λαμβάνουν χώρα αλλά και οι υποχρεώσεις όλων των μελών του εκπαιδευτικού μας συστήματος Υποστάδιο Δ5: Έλεγχος της ερμηνευτικής εγκυρότητας των εργαλείων του ΠΣΑ Περιγραφή υποσταδίου: Στο υποστάδιο αυτό, διατυπώθηκε ο βαθμός στον οποίο οι χρήστες του ΠΣΑ (αξιολογούμενοι και αξι ολογητές) θεωρούν ότι το ΠΣΑ σχεδιάστηκε με τέτοιο τρόπο ώστε με τη χρήση των εργαλείων μέτρησής του να επιτυγχάνονται οι σκοποί του κάθε υποσυστήματος αξιολόγησης. Για να επιτύχουμε το στόχο αυτό ελέγξαμε την ερμηνευτική εγκυρότητα των εργαλείων του ΠΣΑ και ζητήσαμε από τους χρήστες του ΠΣΑ να κρίνουν όλες τις διαδικασίες που 257