Πανεπιστήμιο Πατρών Τμήμα Διοίκησης Επιχειρήσεων

Transcript

1 Πανεπιστήμιο Πατρών Τμήμα Διοίκησης Επιχειρήσεων ΠΑΡΑΓΟΝΤΕΣ ΠΟΥ ΕΠΗΡΕΑΖΟΥΝ ΤΗΝ ΠΙΣΤΟΠΟΙΗΣΗ ΓΝΩΣΕΩΝ ΚΑΙ ΔΕΞΙΟΤΗΤΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΕ ΧΡΗΣΗ ΑΥΤΟΜΑΤΟΠΟΙΗΜΕΝΩΝ ΣΥΣΤΗΜΑΤΩΝ ΕΞΕΤΑΣΗΣ Διατριβή που υπεβλήθη για τη μερική ικανοποίηση των απαιτήσεων για την απόκτηση Διδακτορικού Διπλώματος Χριστακούδης Ξ. Χρήστος Διπλωματούχος Μηχανικός Η/Υ & Πληροφορικής Απρίλιος 2013

2 (c) Copyright by Χρήστος Ξ. Χριστακούδης 2013 All Rights Reserved ~ii~

3 Η παρούσα Διδακτορική Διατριβή του Χρήστου Ξ. Χριστακούδη με τίτλο «Παράγοντες που επηρεάζουν την πιστοποίηση γνώσεων και δεξιοτήτων πληροφορικής με χρήση αυτοματοποιημένων συστημάτων εξέτασης» εξετάστηκε και εγκρίθηκε από την ακόλουθη Επταμελή Εξεταστική Επιτροπή: Γεώργιος Ανδρουλάκης Επίκουρος Καθηγητής - Επιβλέπων Ζαγούρας Χαράλαμπος Καθηγητής Μέλος Τριμελούς Επιτροπής Αλεβίζος Φίλιππας Αναπληρωτής Καθηγητής Μέλος Τριμελούς Επιτροπής Βουτσινάς Βασίλειος Αναπληρωτής Καθηγητής Σταματίου Ιωάννης Αναπληρωτής Καθηγητής Κόμης Βασίλειος Καθηγητής Δαγδιλέλης Βασίλειος Καθηγητής ~iii~

4 Περίληψη Η πιστοποίηση των ικανοτήτων που διαθέτουν οι πολίτες αποτελεί τη βάση πάνω στην οποία στηρίζεται η σύγχρονη κοινωνία για την προσαρμογή της στις έντονα μεταλλασσόμενες συνθήκες της αγοράς και της εργασίας. Στο πλαίσιο αυτό προκύπτει επιτακτικά η ανάγκη εφαρμογής μετρικών για την εκτίμηση της διάχυσης των ικανοτήτων σε μεγάλες ομάδες πληθυσμών. Πολλά εργαλεία διερεύνησης χρησιμοποιούνται σε μεγάλη κλίμακα και βασίζονται κυρίως στο χαρτί-μολύβι αλλά με την πάροδο του χρόνου όλο και ποιο έντονα επηρεάζονται από τη χρήση εργαλείων πληροφορικής τόσο για την ανάλυση όσο και για τη διάθεσή των διαγωνισμάτων (Chalhoub Deville & Deville, 1999; Ripley, 2007; Gardner,, Holmes,, & Leitch,, 2009; OECD, 2010). Στο πλαίσιο της παρούσας διδακτορικής διατριβής παρουσιάζονται τα βασικά χαρακτηριστικά ενός αυτοματοποιημένου συστήματος εξέτασης που χρησιμοποιείται για την πιστοποίηση εκπαιδευτικών πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης στη βασική χρήση εργαλείων πληροφορικής και αξιολογείται η εφαρμογή του συστήματος στον ελλαδικό χώρο για μεγάλο χρονικό διάστημα (~10 έτη), σε μεγάλο δείγμα εκπαιδευτικών (~ ) που καλύπτει με πληρότητα το φάσμα ειδικοτήτων (δάσκαλοι, φιλόλογοι, μαθηματικοί, φυσικοί κ.α) της πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης και τις γεωγραφικές περιοχές της Ελλάδος (αστικές και μη αστικές περιοχές, νησιωτική ελλάδα κλπ). Στο πλαίσιο της έρευνας προτείνεται ένα μοντέλο για τη σχεδίαση, οργάνωση και συντήρηση τράπεζας δοκιμασιών που υποστηρίζει την παραγωγή διαχρονικά ισοδύναμων ηδιαγωνισμάτων, παρουσιάζονται εργαλεία για την καταγραφή των επιμέρους ιδιοτήτων και την αξιολόγηση ενός συστήματος αυτοματοποιημένης εξέτασης, αξιοποιούνται ποσοτικές μέθοδοι ανάλυσης και τεκμηριώνεται κώδικας για την αποδοτική στατιστική ανάλυση μεγάλου πλήθους δεδομένων που αφορούν στις αποκρίσεις εξεταζόμενων σε διαδοχικά ηδιαγωνίσματα. ~iv~

5 Abstract Certification of skills is the basis upon which modern society is organized in order to adapt to the highly changing market conditions and labor. Due to this context, the need for measures to estimate the diffusion of skills in large population groups is rised. Many measures are used in large scale assessment that are mainly based on paper-pencil. Over the time all these measures are strongly affected by the use of ICT tools for item analysis and for the test delivering as well.(chalhoub Deville & Deville, 1999; Ripley, 2007; Gardner,, Holmes,, & Leitch,, 2009; OECD, 2010). This Phd thesis presents the main features of a Computer Based Testing system used for the certification of teachers in primary and secondary education concerning the basic use of ICT tools. A detailed evaluation of the project has been taken place based on data concerning a long time (~ 10 years), large number of teachers (~ 100,000) with wide dispersion on cognitive objects (religious teachers, mathematicians, physicists, philogists etc.) and on geographic areas (urban and non-urban areas, insular Greece etc). The current research proposes a model for designing, organizing and maintaining an item bank in order to support the production of equivalent tests, a set of tools for estimating the properties of a Computer Based System system is presented, a number of statistical process algorithms is implemented and scripts for efficient statistical analysis of large amount of data is documented. ~v~

6 Την ερευνητική μου εργασία την αφιερώνω στους μέντορες και στους συνεργάτες που είχα την τιμή να γνωρίσω στο ITYE στη διάρκεια των χρόνων ~vi~

7 Η συνεισφορά της διατριβής και του συγγραφέα Χριστακούδης Ξ. Χρήστος Το επιστημονικό πεδίο στο οποίο εντάσσεται η παρούσα διδακτορική διατριβή αφορά στα Αυτοματοποιημένα Συστήματα Εξέτασης (Computer Based Assessment CBA) όπου οι αποκρίσεις των εξεταζόμενων καταγράφονται ηλεκτρονικά και βαθμολογούνται χωρίς τη διαμεσολάβηση του ανθρώπου. Η συγκεκριμένη διατριβή συνεισφέρει στην τεκμηρίωση ενός συνόλου από θεωρητικές και πρακτικές μεθόδους που μπορούν να εφαρμοστούν κατά τη διαχείριση εξετάσεων μεγάλης κλίμακας. Αναλυτικότερα, η συμβολή της διατριβής στο συγκεκριμένο επιστημονικό πεδίο περιλαμβάνει: την αναλυτική περιγραφή ενός μοντέλου για τη σχεδίαση, οργάνωση και συντήρηση της τράπεζας θεμάτων ενός Αυτοματοποιημένου Συστήματος Εξέτασης (Computer Based Assessment, Computer Based Testing) τη σχεδίαση ενός εργαλείου αξιολόγησης αυτοματοποιημένων συστημάτων εξέτασης για διαχείριση εξετάσεων μεγάλης κλίμακας που μπορεί να αξιοποιηθεί για την εκτίμηση της συμμόρφωσης ενός ΑΣΕ με τις διεθνείς προδιαγραφές ή για τη σχεδίαση τέτοιων συστημάτων την αξιολόγηση του αυτοματοποιημένου συστήματος που χρησιμοποιείται για την πιστοποίηση των ελλήνων εκπαιδευτικών πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης ( ) στις βασικές ικανότητες πληροφορικής τον προσδιορισμό των παραγόντων που επηρέασαν διαχρονικά τη συμπεριφορά των ελλήνων εκπαιδευτικών κατά τη διάρκεια των εξετάσεων αλλά και των ερωτημάτων της σχετικής τράπεζας θεμάτων την περιγραφή μεθοδολογίας για τη διερμήνευση των στατιστικών αποκλίσεων που παρατηρούνται σε οικογένειες ερωτημάτων που μοιράζονται το χαρακτηριστικό του αμοιβαίου αποκλεισμού η οποία βασίζεται στη σύγχρονη θεωρία ανάλυσης αποκρίσεων (Item Response Theory IRT) την τεκμηριωμένη παράθεση μιας σειράς από κανόνες που πρέπει να ακολουθούνται ώστε να εξασφαλίζεται η διαχρονική ισοδυναμία ηδιαγωνισμάτων στο πλαίσιο εξετάσεων πιστοποίησης ικανοτήτων σε μεγάλη κλίμακα την τεκμηριωμένη παράθεση κώδικα και συναρτήσεων που υλοποιούν πρωτότυπους αλγορίθμους ανάλυσης μεγάλου όγκου δεδομένων αξιοποιώντας πακέτα (packages) που διατίθονται ελεύθερα στην επιστημονική κοινότητα μέσω της εφαρμογής στατιστικής επεξεργασίας R. ~vii~

8 Οι επιστημονικές εργασίες που τεκμηριώνουν τα αποτελέσματα και τα συμπεράσματα της διατριβής έχουν εκτεθεί στην κρίση της επιστημονικής κοινότητας, έχουν ανακοινωθεί σε ελληνικά και διεθνή συνέδρια με κριτές και έχουν δημοσιευτεί σε έγκριτα διεθνή περιοδικά: Christakoudis, X. C., Androulakis, S. G., & Zagouras, C. (2012). Teachers Certification on Basic Computer Skills. International Journal of Cyber Ethics in Education, vol 2, No.2, Christakoudis, C., Androulakis, S. G., & Zagouras, C. (2012). Παράγοντες που Επηρεάζουν την Αυτοματοποιημένη Εξέταση Σπουδαστών (σσ ). Παρουσιάστηκε στο 6ο Πανελλήνιο Συνέδριο «Διδακτική της Πληροφορικής», ΦΛΩΡΙΝΑ. Christakoudis, C., Panoutsou, A., Androulakis, S. G., & Zagouras, C. (2012). Αυτοματοποιημένη Εξέταση Μαθητών στο Μάθημα της Πληροφορικής. 6ο Πανελλήνιο Συνέδριο Καθηγητών Πληροφορικής «Πληροφορική και Νέο Σχολείο». Παρουσιάστηκε στο 6ο Πανελλήνιο Συνέδριο Καθηγητών Πληροφορικής «Πληροφορική και Νέο Σχολείο», ΠΑΤΡΑ: Πανελλήνια Ένωση Καθηγητών Πληροφορικής - ΠΕΚΑΠ. Christakoudis, C., Androulakis, S. G., & Zagouras, C. (2011). Prepare items for Large Scale Computer Based Assessment: Case study for Teachers Certification on Basic Computer Skills. Procedia - Social and Behavioral Sciences, 29(0), Christakoudis, C., Androulakis, S. G., & Zagouras, C. (2011). Teachers Certification on Basic Computer Skills. Education and Technology: Innovation and Research (σσ ). Παρουσιάστηκε στο International Conference on Information Communication Technologies in Education, Rhodos. Christakoudis, C., & Androulakis, S. G. (2010). Αυτοματοποιημένο Σύστημα Αξιολόγησης αξιοποιώντας το λογισμικό TCExam. Παρουσιάστηκε στο Συνέδριο ΕΛΛΑΚ, Πάτρα. Christakoudis, C., Androulakis, S. G., & Zagouras, C. (2010). Πιστοποίηση Εκπαιδευτικών σε Γνώσεις και Δεξιότητες Πληροφορικής: Προκαταρκτική έρευνα. Πρακτικά Εργασιών 5ου Πανελλήνιου Συνεδρίου Διαδακτική της Πληροφορικής. Παρουσιάστηκε στο 5ο Πανελλήνιο Συνέδριο Διδακτικής της Πληροφορικής, Athens. Christakoudis, C., Androulakis, S. G., & Zagouras, C. (2010). Κατασκευή ισοδύναμων ερωτημάτων για την πιστοποίηση εκπαιδευτικών στις βασικές δεξιότητες πληροφορικής. Πρακτικά Εργασιών 7ου Πανελλήνιου Συνεδρίου με Διεθνή Συμμετοχή «Οι ΤΠΕ στην Εκπαίδευση» (Τ. II, σσ ). Παρουσιάστηκε στο 7ο Πανελλήνιου Συνεδρίου με Διεθνή Συμμετοχή «Οι ΤΠΕ στην Εκπαίδευση», Korinthos. ~viii~

9 Christakoudis, C., Androulakis, S. G., & Zagouras, C. (2010). Πιστοποίηση Εκπαιδευτικών σε Γνώσεις και Δεξιότητες πληροφορικής: η περίπτωση της Αθμιας. Πρακτικά Εργασιών 7ου Πανελλήνιου Συνεδρίου ΕΕΕΠ-ΔΤΠΕ (σσ ). Παρουσιάστηκε στο 7ο Πανελλήνιο Συνέδριο Το μέλλον της μάθησης, Πειραιας: ΕΠΙΣΤΗΜΟΝΙΚΗ ΕΝΩΣΗ ΕΚΠΑΙΔΕΥΤΙΚΩΝ ΠΡΩΤΟΒΑΘΜΙΑΣ ΓΙΑ ΤΗ ΔΙΑΔΟΣΗ ΤΩΝ Τ.Π.Ε. ΣΤΗΝ ΕΚΠΑΙΔΕΥΣΗ (ΕΕΕΠ ΔΤΠΕ). Χριστακούδης, Χρήστος, & Πανούτσου, Αντωνία. (2008). Ανάπτυξη βασικών δεξιοτήτων χρήσης υπολογιστών μέσα από δραστηριότητες δημιουργίας υλικού αυτοαξιολόγησης. Πρακτικά 1ου Πανελλήνιου Εκπαιδευτικού Συνέδριου Ημαθίας με θέμα : Ψηφιακό Υλικό για την Υποστήριξη του Παιδαγωγικού Εργου των Εκπαιδευτικών Π/θμιας & Δ/θμιας Εκπαίδευσης, ΝΑΟΥΣΑ. Χριστακούδης, Χρήστος, & Κορδάκη, Μαρία. (2004). Αντιλήψεις Καθηγητών για τα Ουσιώδη και Βασικά στη Διδασκαλία της Πληροφορικής στο Γυμνάσιο (σσ ). Παρουσιάστηκε στο 4ο Συνέδριο ΕΤΠΕ- Οι ΤΠΕ στην Εκπαίδευση, Αθήνα. Το ευρύτερο πεδίο της αξιολόγησης των βασικών δεξιοτήτων πληροφορικής εντάσσεται στον τομέα της διδακτικής της πληροφορικής. Οι επιστημονικές εργασίες στις οποίες συμμετείχε ο συγγραφέας στο χώρο της διδακτικής της πληροφορικής παρατίθονται στη συνέχεια: Καραγιάννη, Ερμιόνη, Χριστακούδης, Χρήστος, Αθανασόπουλος, Δημήτριος, Παπαδάκης, Σπύρος, & Ζαγούρας, Χαράλαμπος. (2009). Η επιμόρφωση των καθηγητών πληροφορικής. Στοιχεία υλοποίησης και συμπεράσματα από την επιμόρφωση 3200 εκπαιδευτικών ΠΕ Αξιοποίηση των Τεχνολογιών της Πληροφορίας και της Επικοινωνίας στη Διδακτική Πράξη. Παρουσιάστηκε στο 5ο Πανελλήνιο Συνέδριο των εκπαιδευτικών για τις ΤΠΕ-Αξιοποίηση των Τεχνολογιών της Πληροφορίας και της Επικοινωνίας στη Διδακτική Πράξη, ΣΥΡΟΣ. Χριστακούδης, Χρήστος, Καραγιάννη, Ερμιόνη, Αθανασόπουλος, Δημήτριος, Παπαδάκης, Σπύρος, & Ζαγούρας, Χαράλαμπος. (2009). Ο Αλγόριθμος Ανάπτυξης Επιμορφωτικού Υλικού για Καθηγητές Πληροφορικής. Αξιοποίηση των Τεχνολογιών της Πληροφορίας και της Επικοινωνίας στη Διδακτική Πράξη. Παρουσιάστηκε στο 5ο Πανελλήνιο Συνέδριο των Εκπαιδευτικών για τις ΤΠΕ, ΣΥΡΟΣ. Χριστακούδης, Χρήστος, Εγκαρχου, Δήμητρα, & Ζαγούρας, Χαράλαμπος. (2008). Εμπειρίες από την αξιοποίηση εργαλείων web 2.0 για την αναζωογόνηση σχολείων και την ενίσχυση της δια βίου μάθησης σε απομακρυσμένες περιοχές της Ευρώπης. Πρακτικά 6ου Πανελλήνιου Συνέδριου Εκπαιδευτικών για τις ΤΠΕ-Αξιοποίηση των Τεχνολογιών της Πληροφορίας και της Επικοινωνίας στη Διδακτική Πράξη. ~ix~

10 Παπαδάκης, Σπύρος, Αθανασόπουλος, Δημήτριος, Χριστακούδης, Χρήστος, & Καραγιάννη, Ερμιόνη. (2007). Πώς μπορούμε να δώσουμε κίνητρα και να ενθαρρύνουμε τη συμμετοχή στη δια βίου μάθηση ατόμων από ευάλωτες κοινωνικές ομάδες; Παρουσιάστηκε στο 4o Διεθνές Συνέδριο για την Ανοικτή και εξ Αποστάσεως Εκπαίδευση Μορφές Δημοκρατίας στην Εκπαίδευση: Ανοικτή Πρόσβαση και εξ Αποστάσεως Εκπαίδευση, Πειραιάς. Χριστακούδης, Χρήστος, & Πανούτσου, Αντωνία. (2005). Ιστοεξερεύνηση για τη Διδασκαλία της Ενότητας «Ο Υπολογιστής στη Ζωή μας». Πρακτικά Εργασιών 3ου Πανελλήνιου Συνεδρίου «Διδακτική της Πληροφορικής». Παρουσιάστηκε στο 3ο Συνέδριο Διδακτική της Πληροφορικής, Κόρινθος: Πανεπιστήμιο Πελοποννήσου. Χριστακούδης, Χρήστος. (2005). Στρεβλώσεις από τη χρήση των ΤΠΕ στη διοίκηση της εκπαίδευσης. Παρουσιάστηκε στο 2ο Πανελλήνιο Συνέδριο με θέμα Διοίκηση Αθμιας και Βθμιας Εκπαίδευσης, ΑΡΤΑ. Χριστακούδης, Χρήστος. (2005). Η τεχνική της Ιστοεξερεύνησης (WebQuest) στη διδασκαλία της Πληροφορικής στο Γυμνάσιο". Παρουσιάστηκε στο Διδακτική της Πληροφορικής. Χριστακούδης, Χρήστος. (2004). Διδακτική προσέγγιση των διαγραμμάτων ροής σε περιβάλλον συνεργατικής μάθησης στο Γυμνάσιο. Παρουσιάστηκε στο 2η Πανελλήνια Διημερίδα με Διεθνή συμμετοχή Διδακτική της Πληροφορικής, ΒΟΛΟΣ: Παιδαγωγικό Τμήμα Δημοτικής Εκπαίδευσης. Παπαδάκης, Σπύρος, Χριστακούδης, Χρήστος, & Αθανασόπουλος, Δημήτριος. (2005). ΔΙΑΔΙΚΤΥΑΚΗ ΚΟΙΝΟΤΗΤΑ ΜΑΘΗΣΗΣ ΚΑΙ ΑΥΤΟ-ΕΠΙΜΟΡΦΩΣΗΣ ΕΚΠΑΙΔΕΥΤΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ. 3ο ΣΥΝΕΔΡΙΟ ΣΤΗ ΣΥΡΟ-ΤΠΕ ΣΤΗΝ ΕΚΠΑΙΔΕΥΣΗ (σσ ). Παρουσιάστηκε στο 3ο ΣΥΝΕΔΡΙΟ ΣΤΗ ΣΥΡΟ-ΤΠΕ ΣΤΗΝ ΕΚΠΑΙΔΕΥΣΗ, Σύρος. Βογιατζάκη, Ελένη, Χριστακούδης, Χρήστος, & Μαργαρίτης, Μελέτης. (2005). ΣΧΕΔΙΑΣΗ ΕΚΠΑΙΔΕΥΤΙΚΩΝ ΔΡΑΣΤΗΡΙΟΤΗΤΩΝ ΑΠΟ ΕΚΠΑΙΔΕΥΤΙΚΟΥΣ: ΣΥΝΕΡΓΑΤΙΚΗ ΠΡΟΣΕΓΓΙΣΗ ΣΕ ΣΥΓΧΡΟΝΑ ΚΑΙ ΑΣΥΓΧΡΟΝΑ ΠΕΡΙΒΑΛΛΟΝΤΑ ΣΥΝΕΡΓΑΣΙΑΣ ΥΠΟΣΤΗΡΙΖΟΜΕΝΑ ΑΠΟ ΥΠΟΛΟΓΙΣΤΗ. 3ο Συνέδριο Σύρου στις ΤΠΕ (σσ ). Παρουσιάστηκε στο 3ο Συνέδριο Σύρου στις ΤΠΕ, ΣΥΡΟΣ. Βογιατζάκη, Ελένη, & Χριστακούδης, Χρήστος. (2004). Conceptual Change in Algorithms Teaching: A Collaborative Approach. Παρουσιάστηκε στο Οι ΤΠΕ στην Εκπαίδευση, ΑΘΗΝΑ. Βογιατζάκη, Ελένη, Χριστακούδης, Χρήστος, & Μαργαρίτης, Μελέτης. (2004). Διδασκαλία αλγορίθμων σε περιβάλλον συνεργασίας με υπολογιστή. Πρακτικά 4ου Συνέδριο ΕΤΠΕ Οι ΤΠΕ στην Εκπαίδευση (σσ ). Παρουσιάστηκε στο 4ο Συνέδριο ΕΤΠΕ Οι ΤΠΕ στην Εκπαίδευση. ~x~

11 Χριστακούδης, Χρήστος, Βογιατζάκη, Ελένη, & Βαμβακά, Κυριακή. (2004). Σχεδίαση διαθεματικών δραστηριοτήτων επικοινωνίας στα πλαίσια του ευρωπαϊκού έργου MULTIVERSUM: Ο ρόλος της Πληροφορικής (σσ ). Παρουσιάστηκε στο 2η Πανελλήνια Διημερίδα με διεθνή συμμετοχή «Διδακτική της Πληροφορικής». Χριστακούδης, Χρήστος. (2004). Επαναχρησιμοποίηση Ιστοσελίδων Σχολείων μέσα από αυθεντικές και Διαθεματικές Δραστηριότητες Επικοινωνίας. Παρουσιάστηκε στο 2ο ΠΑΝΕΛΛΗΝΙΟ Συνέδριο Πληροφορικής με θέμα Πληροφορική και Εκπαίδευση, ΘΕΣΣΑΛΟΝΙΚΗ: Πανεπιστήμιο Μακεδονίας. Χριστακούδης, Χρήστος. (2004). Εμπειρίες από την εισαγωγή καινοτομιών στο Ελληνικό Σχολείο. Το πρόγραμμα Σωκράτης Comenius 3.1 Multiversum. Παρουσιάστηκε στο Εκπαιδευτική Συνάντηση για την Παιδεία με θέμα: Εκπαιδευτικοί Προβληματισμοί - Καινοτομίες, ΠΑΤΡΑ. Χριστακούδης, Χρήστος. (2004). Δραστηριότητα Ηλεκτρονικής Συνεργασίας. Η εμπειρία του Γυμνάσιου Βραχνεΐκων στο πλαίσιο του Ευρωπαϊκού Προγράμματος Comenius 3.1 Multiversum. Παρουσιάστηκε στο e-collaboration for Students and Teachers: Tools, Methods and Exambles of Good Practice, ΠΑΤΡΑ. Γάκης, Παναγιώτης, & Χριστακούδης, Χρήστος. (2000). Η ΟΔΥΣΣΕΙΑ ΕΝΟΣ ΕΠΙΜΟΡΦΩΤΗ ΤΗΣ ΟΔΥΣΣΕΙΑΣ... 1ο ΣΥΝΕΔΡΙΟ ΣΤΗ ΣΥΡΟ ΤΠΕ ΣΤΗΝ ΕΚΠΑΙΔΕΥΣΗ (σσ ). Παρουσιάστηκε στο 1ο ΣΥΝΕΔΡΙΟ ΣΤΗ ΣΥΡΟ ΤΠΕ ΣΤΗΝ ΕΚΠΑΙΔΕΥΣΗ, Σύρος. ~xi~

12 Πίνακας Περιεχομένων Η συνεισφορά της διατριβής και του συγγραφέα... vii Ευχαριστίες Εισαγωγή Αυτοματοποιημένα Συστήματα Εξέτασης και ηαξιολόγηση Εξετάσεις μεγάλης κλίμακας στην Ελλάδα Περιγραφή του ερευνητικού προβλήματος Θεωρητικό Πλαίσιο Κατηγορίες εξετάσεων Προδιαγραφές ανάπτυξης Αυτοματοποιημένων Συστημάτων Εξέτασης Η σημασία της κατασκευής ισοδύναμων ηδιαγωνισμάτων Τα βασικά χαρακτηριστικά μιας Τράπεζας Θεμάτων (item bank) Ανάλυση ερωτημάτων (item analysis) και ηδιαγωνισμάτων (test analysis) Κλασσική Θεωρία Ανάλυσης Διαγωνισμάτων (Classical Test Theory - CTT) Ανάλυση διαγωνίσματος (test analysis) στο πλαίσιο της Κλασσικής θεωρίας Αξιοπιστία διαγωνίσματος (reliability): Εγκυρότητα διαγωνίσματος (validity): Ανάλυση ερωτημάτων (item analysis) στο πλαίσιο της Κλασσικής θεωρίας Δείκτης δυσκολίας Δείκτης διακριτικότητας (item discrimination) Συγκρισιμότητα της βαθμολογίας των εξεταζόμενων Θεωρία Ανάλυσης Αποκρίσεων (Item Response Theory) Ανάλυση ερωτημάτων (item analysis) στο πλαίσιο της IRT Ανάλυση η-διαγωνισμάτων (test analysis) στο πλαίσιο της IRT Χαρακτηριστική Καμπύλη Διαγωνίσματος (Test Characteristic Curve TCC) Συνάρτηση Πληροφορίας Διαγωνίσματος (Test Information Function TIF) Έλεγχος διαφοροποιήσεων (Differential Item Functioning - DIF) Εκτίμηση της σημαντικότητας των διαφορών δύο χαρακτηριστικών εξισώσεων Εκτίμηση της λανθάνουσας ικανότητας των εξεταζόμενων... 57

13 2.6 Ποιοι παράγοντες επηρεάζουν τις ικανότητες χειρισμού ενός υπολογιστή; Αρχές σχεδίασης ΑΣΕ για πιστοποίηση βασικών ικανοτήτων πληροφορικής Πίνακας εξεταζόμενης ύλης (syllabus) Οργάνωση της τράπεζας θεμάτων Ο κύκλος ανάπτυξης των ερωτημάτων Οι ρόλοι των ανθρώπων που εμπλέκονται Οι ενδιάμεσες καταστάσεις ενός ερωτήματος Η διαδικασία της κλωνοποίησης δοκιμασιών για τη δημιουργία οικογενειών (families) Γεννήτορας παραγωγής η-διαγωνισμάτων Υποστηρικτικά Εργαλεία Διαδικασίες πιστοποίησης Ερευνητική εργασία Έλεγχος συμμόρφωσης του ΑΣΕ εκπαιδευτικών με τις διεθνείς προδιαγραφές Α. Τεχνολογικές προδιαγραφές Β. Προδιαγραφές ποιότητας Γ. Προδιαγραφές πρόσβασης και ελέγχου Δ. Προδιαγραφές ασφάλειας Το προφίλ των καταγεγραμμένων δεδομένων του δείγματος Άξονας ηδιαγωνισματα Μεθοδολογία ανάλυσης ηδιαγωνισματων Ανάλυση του ΧΡΟΝΟΥ ολοκλήρωσης των ηδιαγωνισματων Ανάλυση της πληροφορίας (information) που εμπεριέχουν τα ηδιαγωνίσματα Έκθεση των κόμβων εξεταζόμενης ύλης από τα ηδιαγωνίσματα Άξονας ΕΡΩΤΗΜΑΤΑ Μεθοδολογία ανάλυσης ΕΡΩΤΗΜΑΤΩΝ Ανάλυση χρόνου απόκρισης ανά επίπεδο δυσκολίας ερωτήματος Χρόνος απόκρισης ανά γνωστικό αντικείμενο Χρόνος απόκρισης ανά τύπο ερώτησης Χρόνος απόκρισης σωστών και λανθασμένων ερωτημάτων Σταδιακή έκθεση των ερωτημάτων Εκτίμηση της ποιότητας των ερωτημάτων Δείκτης δυσκολίας των ερωτημάτων Δείκτης διακριτικής ικανότητας P a g e

14 4.8.8 Μελέτη οικογενειών Άξονας ΕΞΕΤΑΖΟΜΕΝΟΙ Μεθοδολογία ανάλυσης για ΕΞΕΤΑΖΟΜΕΝΟΥΣ Αποτελέσματα παραγοντικής ανάλυσης για ΕΞΕΤΑΖΟΜΕΝΟΥΣ Το προφίλ ομάδων εξεταζόμενων Ανάλυση της συμπεριφοράς των κλάδων Συμπεράσματα ΠΑΡΑΡΤΗΜΑΤΑ Παράρτημα Α (πίνακας εξεταζόμενης ύλης syllabus) Παράρτημα Β (δείγματα ερωτημάτων) Παράρτημα Γ (εργαλείο αξιολόγησης ΑΣΕ) Α. Τεχνολογικές προδιαγραφές Β. Προδιαγραφές ποιότητας Γ. Προδιαγραφές πρόσβασης και ελέγχου Δ. Προδιαγραφές ασφάλειας Παράρτημα Δ (ερωτήματα με μεγάλο δείκτη έκθεσης) Παράρτημα Ε (ερωτήματα με μη-αποδεκτό δείκτη δυσκολίας) Παράρτημα Ζ (ερωτήματα με μη-αποδεκτό δείκτη διακριτικής ικανότητας) Παράρτημα Η (δείγμα κώδικα για IRT ανάλυση) Παράρτημα Θ (κώδικας για αυτοματοποιημένη ανάλυση ερωτημάτων) Πίνακας όρων ΒΙΒΛΙΟΓΡΑΦΙΑ P a g e

15 Κατάλογος Πινακων Πίνακας 1: Πως τεκμηριώνεται η εγκυρότητα ενός διαγωνίσματος Πίνακας 2: Πίνακας αξιολόγησης ερωτήματος (Ebel & Frisbie, 1991) Πίνακας 3: Συναρτήσεις πληροφορίας για τα βασικά μοντέλα IRT Πίνακας 4: Ποσότητες SA kl και UA kl για μοντέλο μιας παραμέτρου (1PL) Πίνακας 5: Ποσότητες SA 2l και UA 2l για μοντέλο δύο παραμέτρων (2PL) Πίνακας 6: Ποσότητες SA 3l και UA 3l για μοντέλο τριών παραμέτρων (3PL) Πίνακας 7: Εκτίμηση της σημαντικότητας των παρατηρούμενων διαφορών σε ICCs Πίνακας 8 : Τύποι ερωτήσεων που συμμετέχουν στις εξετάσεις πιστοποίησης Πίνακας 9: Το προφίλ ενός ηδιαγωνίσματος Πίνακας 10: Κάλυψη προδιαγραφών του ΑΣΕ εκπαιδευτικών Πίνακας 11: Κάλυψη προδιαγραφών του ΑΣΕ Πίνακας 12: Προτάσεις βελτίωσης του ΑΣΕ εκπαιδευτικών Πίνακας 13: Αποτελέσματα πιστοποιήσεων στη διάρκεια των χρόνων Πίνακας 14: Εκτίμηση της μέσης έκθεσης των ενοτήτων στα ηδιαγωνίσματα Πίνακας 15: Εκτίμηση της έκθεσης των υποενοτήτων στα ηδιαγωνίσματα Πίνακας 16: Εκτίμηση της έκθεσης των θεμάτων στα ηδιαγωνίσματα Πίνακας 17: Μέτρα θέσης και απόκλισης για το χρόνο απόκρισης στα ερωτήματα Πίνακας 18: Στατιστικά στοιχεία ερωτημάτων με τη μεγαλύτερη έκθεση Πίνακας 19: Αξιολόγηση ερωτημάτων με την κλίμακα των Ebel & Frisbie Πίνακας 20: Διαφορές στα στατιστικά χαρακτηριστικά οικογενειών Πίνακας 21:Τιμές pvalues μονοπαραγοντικών, μη-παραμετρικών ελέγχων Kruskal-Wallis Πίνακας 22: Προφίλ επιτυχιών Πίνακας 23: Προφίλ εγκαταλείψεων (give ups) Πίνακας 24: Μέτρα θέσης μεταβλητών Πίνακας 25: Αντιστοίχιση κλάδων με ειδικότητες εκπαιδευτικών Πίνακας 26: Χρόνος απόκρισης ανά ειδικότητα εξεταζόμενου Πίνακας 27: Χρόνος απόκρισης ανά ηλικία εξεταζόμενου Πίνακας 28: Η γραμμογράφιση του αρχείου με τις απαντήσεις των εξεταζόμενων P a g e

16 Κατάλογος Σχημάτων Σχήμα 1: Η μορφή της χαρακτηριστικής καμπύλης ενός ερωτήματος (ICC) Σχήμα 2: H μορφή μιας χαρακτηριστικής καμπύλης διαγωνίσματος Σχήμα 3: Συνάρτηση Πληροφορίας Διαγωνίσματος (Test Information Function) Σχήμα 4: Παράδειγμα χαρακτηριστικών ενός ερωτήματος (α) P(θ) και (β) Q=1-P(θ) Σχήμα 5: Μέγιστο σημείο της συνάρτηση L Σχήμα 6: Διαχείριση του πίνακα εξεταζόμενης ύλης στο εργαλείο συγγραφής δοκιμασιών Σχήμα 7: Τυπικό δείγμα μεικτού ερωτήματος (τύπου ΙΙΙ) Σχήμα 8: Παράδειγμα ερωτήματος εφαρμογής (τύπου ΙΙ) Σχήμα 9: Η μορφή του προγράμματος βαθμολόγησης για ένα ερώτημα εφαρμογής Σχήμα 10: Η εσωτερική δομή ενός ερωτήματος Σχήμα 11: Τα στάδια ανάπτυξης ενός ερωτήματος Σχήμα 12: Τα βασικά εργαλεία που αναπτύχθηκαν και χρησιμοποιήθηκαν Σχήμα 13: Κατανομή ηλικίας ανά βαθμίδα εκπαίδευσης Σχήμα 14: Μέσος χρόνος ολοκλήρωσης των ηδιαγωνισμάτων Σχήμα 15: Κατανομή του χρόνου που επιτυγχάνεται η βάση εξέτασης Σχήμα 16: Χαρακτηριστικές Καμπύλες Διαγωνισμάτων δείγματος Σχήμα 17: Μέση πληροφορία των ηδιαγωνισμάτων του δείγματος Σχήμα 18: Η έκθεση των γνωστικών αντικειμένων σε κάθε ηδιαγώνισμα Σχήμα 19: Θηκογράμματα της έκθεσης των κόμβων του πίνακα εξεταζόμενης ύλης Σχήμα 20: Αλγόριθμος ανάλυσης οικογενειών Σχήμα 21: Αντιπαραβολή ερωτημάτων μιας οικογένειας βασισμένη στο IRT προφίλ τους Σχήμα 22: Μέσος χρόνος απόκρισης στα ερωτήματα (α) ιστόγραμμα (β) θηκόγραμμα Σχήμα 23: Μέσος χρόνος απόκρισης στα ερωτήματα Σχήμα 24: Θηκογράμματα ανά γνωστικό αντικείμενο Σχήμα 25: θηκογράμματα χρόνου απόκρισης Σχήμα 26: θηκογράμματα μέσου χρόνου απόκρισης Σχήμα 27: Έκθεση ερωτημάτων σε εξεταζόμενους Σχήμα 28: Τα ερωτήματα με το μεγαλύτερο βαθμό έκθεσης Σχήμα 29: Σχέση του βαθμού έκθεσης με το ποσοστό επιτυχίας P a g e

17 Σχήμα 30: Δείκτης δυσκολίας (difficulty index) Σχήμα 31: Κατανομή των μη-αποδεκτών ερωτημάτων με βάση το δείκτη δυσκολίας Σχήμα 32: Παραδείγματα ερωτήσεων που εμφανίζουν ακραία ποσοστά επιτυχίας/αποτυχίας 119 Σχήμα 33: Διακριτική ισχύς των ερωτημάτων Σχήμα 34: Δείκτης διακριτικότητας ανά γνωστικό αντικείμενο Σχήμα 35: Το προφίλ ομάδων ανάλογα με το χρόνο ολοκλήρωσης και το αποτέλεσμα P a g e

18 18 P a g e

19 Ευχαριστίες Χριστακούδης Ξ. Χρήστος Το ταξίδι στην έρευνα δεν είναι (ή δεν πρέπει να είναι) ποτέ μοναχικό. Τα αποτελέσματα συνήθως στηρίζονται στη γόνιμη συνεργασία καθηγητών, συναδέλφων και φίλων που μοιράζονται την καθημερινότητά τους στο χώρο εργασίας και διδασκαλίας. Η παρούσα διδακτορική διατριβή βασίζεται στην εμπειρία που συνδιαμορφώθηκε από πλειάδα συνεργατών στη Διεύθυνση Εκπαίδευσης και Πιστοποίησης του Ινστιτούτου Τεχνολογίας Υπολογιστών και Εκδόσεων - Διόφαντος, στο πλαίσιο έργων πιστοποίησης εκπαιδευτικών σε ένα χρονικό παράθυρο δέκα ετών. Στο πλαίσιο αυτής της μακράς πορείας αισθάνομαι την υποχρέωση να ευχαριστήσω και να αναφερθώ σύντομα στους ανθρώπους που με στήριξαν, με βοήθησαν και με παρότρυναν να συνεχίσω την έρευνα. Ο επιβλέπων της διατριβής μου, επίκουρος καθηγητής στο τμήμα Διοίκησης Επιχειρήσεων του Πανεπιστήμιου Πατρών κος Γεώργιος Ανδρουλάκης, με καθοδήγησε αποτελεσματικά με την απλότητα και την αμεσότητά που τον διακρίνει σε όλα τα βήματα της έρευνάς μου. Ο καθηγητής του τμήματος Μαθηματικών του Πανεπιστήμιου Πατρών και διευθυντής της Διεύθυνσης Εκπαίδευσης και Κατάρτισης του ΙΤΥΕ κος Χαράλαμπος Ζαγούρας με εμπιστεύτηκε και με διευκόλυνε στην προσπάθεια ανάληψης πρωτοβουλιών στο πλαίσιο της ερευνητικής μου εργασίας. Ο αναπληρωτής καθηγητής του τμήματος Μαθηματικών στο Πανεπιστήμιο της Πατρών κος Αλεβίζος Φίλιππος, με την ιδιότητα του μέλους της τριμελούς επιτροπής, με βοήθησε στο να βελτιώσω τα στατιστικά μοντέλα που εφάρμοσα στην πρωτογενή έρευνα με τις καίριες επισημάνσεις του. Ο αναπληρωτής διευθυντής της Διεύθυνσης Εκπαίδευσης και Κατάρτισης του ΙΤΥΕ κος Παναγιώτης Σκοινιώτης μοιράστηκε μαζί μου ατέλειωτες ώρες γόνιμων συζητήσεων γύρω από μεθόδους και τεχνικές ανάλυσης δεδομένων διερύνοντας έτσι τους γνωστικούς μου ορίζοντες. Ιδιαίτερες ευχαριστίες οφείλω στους συνεργάτες μου Αναστάσιο Τριάντη, Γιάννη Λαμπρινό και Χρήστο Ροδοσθένους που μου παρείχαν αμέριστη συμπαράσταση σε κάθε εξειδικευμένο θέμα που απαιτούσε ειδική λύση στη διάρκεια των χρόνων. Δεν μπορώ να ξεχάσω την Αναστασία Κολιού, την Ασημίνα Χρυσοφάκη, την Χριστίνα Μαρκέα και τον Γιώργο Πανόπουλο που με τις εύστοχες παρατηρήσεις τους βοήθησαν στο να βελτιωθεί η τράπεζα θεμάτων του αυτοματοποιημένου συστήματος εξέτασης. Ευχαριστώ επίσης τους νεώτερους συνεργάτες μου Νένα Καραγιάννη, Ιωάννη Κάτσενο, Γεώργιο Ζαγούρα, Λεωνίδα Σιούτη, Σπύρο Χριστοδούλου, Μυρτώ Πυρλή, Τσουραπούλη Μαρία, Μπούρου Αναστασία και Βαρβάρα Γιαννούλη που με τις ικανότητές τους αλλά και τον κρυστάλλινο χαρακτήρα τους δημιουργούν καθημερινά ένα ευχάριστο κλίμα συνεργασίας. 19 P a g e

20 Ιδιαίτερη αναφορά oφείλω στους αγαπητούς φίλους και συνεργάτες Δημήτρη Αθανασόπουλο και Σπύρο Παπαδάκη που αξιολόγησαν τα ερωτήματα τόσο από εκπαιδευτική όσο και από τεχνική σκοπιά, στην Ντίνα Πλέσσα και στην Κωνσταντίνα Νικολαϊδη που συνέβαλαν καθοριστικά στη συγγραφή των ερωτημάτων της τράπεζας θεμάτων και στον μαθηματικό κο Παναγιώτη Τάγιο που με παρέσυρε στον όμορφο κόσμο της στατιστικής ανάλυσης με το R. Αναγνωρίζω με ευγνωμοσύνη τη βοήθεια και την αμέριστη υποστήριξη της γυναίκας μου Αντωνίας Πανούτσου που επωμίστηκε αγόγγυστα τα οικογενειακά βάρη και εύχομαι η προσπάθειά μου να αποτελέσει παράδειγμα για τις κόρες μου Αναστασία και Μαργαρίτα και να παρακινήσει τα δικά τους βήματα στο στίβο της μάθησης και της επιστήμης αργότερα. Η βάση πάνω στην οποία στηρίχθηκε η παρούσα διατριβή είναι προηγούμενες επιστημονικές έρευνες και ιδέες συνεργατών αλλά, όπως συμβαίνει σε κάθε συγγραφικό έργο, η τελική ευθύνη για το αποτέλεσμα βαρύνει εμένα προσωπικά. 20 P a g e

21 1. Εισαγωγή Χριστακούδης Ξ. Χρήστος Η πιστοποίηση των ικανοτήτων που διαθέτουν οι πολίτες αποτελεί τη βάση πάνω στην οποία στηρίζεται η σύγχρονη κοινωνία στο πλαίσιο ενός αγώνα για την προσαρμογή της στις έντονα μεταλλασσόμενες συνθήκες της αγοράς και της εργασίας. Τα τελευταία χρόνια στο πλαίσιο της ενιαίας Ευρωπαϊκής πολιτικής έχει οριστεί ένα σύνολο ικανοτήτων που είναι επιθυμητό να κατέχουν οι Ευρωπαίοι πολίτες. Στο πλαίσιο αυτό προσδιορίζεται με σαφήνεια το τι πρέπει να ξέρει (knowledge), το τι μπορεί να κάνει (skills) και το ποιες στάσεις πρέπει να έχει (attitudes) ο πολίτης. Το πλαίσιο αυτό ορίζει οκτώ βασικές ικανότητες: 1. ικανότητα επικοινωνίας στη μητρική γλώσσα 2. ικανότητα επικοινωνίας χρησιμοποιώντας άλλες γλώσσες (γλωσσομάθεια) 3. ικανότητα εφαρμογής μαθηματικών και τεχνολογικών γνώσεων 4. ικανότητα διαχείρισης του ψηφιακού κόσμου 5. ικανότητα να μαθαίνει 6.ικανότητα κοινωνικής συνύπαρξης 7. ικανότητα ανάληψης πρωτοβουλιών και επιχειρηματικότητα 8. ικανότητα έκφρασης και πολιτιστικής συνείδησης Όλες αυτές οι ικανότητες θεωρούνται πλέον ισοδύναμες και αποτελούν το αντικείμενο καλλιέργειας και ανάπτυξης των εκπαιδευτικών συστημάτων στο χώρο της Ευρώπης. Στο πλαίσιο αυτό προκύπτει επιτακτικά η ανάγκη εφαρμογής μετρικών για την εκτίμηση της διάχυσης των ικανοτήτων σε μεγάλες ομάδες πληθυσμών. Πολλά εργαλεία διερεύνησης χρησιμοποιούνται σε μεγάλη κλίμακα και βασίζονται κυρίως στο χαρτί-μολύβι αλλά με την πάροδο του χρόνου όλο και ποιο έντονα επηρεάζονται από τη χρήση εργαλείων πληροφορικής τόσο για την ανάλυση όσο και για τη διάθεσή των διαγωνισμάτων (Chalhoub Deville & Deville, 1999; Ripley, 2007; Gardner,, Holmes,, & Leitch,, 2009; OECD, 2010) 1.1 Αυτοματοποιημένα Συστήματα Εξέτασης και ηαξιολόγηση Η διαδικασία αξιολόγησης των γνώσεων, δεξιοτήτων και στάσεων ενός εκπαιδευόμενου μπορεί να εξυπηρετεί δύο διακριτούς σκοπούς: (α) αξιολόγηση με σκοπό την υποστήριξη της μαθησιακής διαδικασίας (τυπική αξιολόγηση) και αξιολόγηση των μαθησιακών αποτελεσμάτων (αθροιστική αξιολόγηση). Στο πλαίσιο αυτό η μέτρηση των εκπαιδευτικών αποτελεσμάτων αποκτά ιδιαίτερη σημασία όταν αφορά μεγάλες ομάδες πληθυσμών. Οι διαδικασίες αποτίμησης του εκπαιδευτικού αποτελέσματος έχουν επηρεαστεί τις τελευταίες δεκαετίες από την έντονη χρήση εργαλείων πληροφορικής. Τις διάφορες τεχνικές αποτίμησης της εκπαιδευτικής απόδοσης μπορούμε να τις 21 P a g e

22 οργανώσουμε στις παρακάτω γενικές κατηγορίες: (α) εξετάσεις με υπολογιστή όπου έχουμε απλή μεταφορά των παραδοσιακών διαγωνισμάτων σε ηλεκτρονική μορφή (β) προσαρμοστικά διαγωνίσματα όπου η προβολή των δοκιμασιών δεν είναι προκαθορισμένη από την αρχή και προσαρμόζεται ανάλογα με τις απαντήσεις του εξεταζόμενου (γ) συνολική αποτίμηση της πορείας ενός εξεταζόμενου καθώς εκπαιδεύεται μέσα από τη δημιουργία ενός φακέλου που διαμορφώνει το μαθησιακό του προφίλ (portfolios) και (δ) ευέλικτες πολιτικές βαθμολόγησης με απώτερο στόχο την ανατροφοδότηση της εκπαιδευτικής διαδικασίας (Bunderson & And Others, 1988) Η έντονη χρήση της πληροφορικής στην εκπαίδευση (και όχι μόνο) οδήγησε στην καθιέρωση νέων μορφών δραστηριότητας που συχνά χαρακτηρίζονται σαν ηλεκτρονικές δηλώνοντας την αξιοποίηση εφαρμογών και εργαλείων πληροφορικής (elearning, eassessment κλπ). Στο πλαίσιο αυτό η ηαξιολόγηση (eassessment) αφορά στη χρήση της τεχνολογίας για την ψηφιοποίηση του παρεχόμενου υλικού, τη διάθεσή του μέσα από υπολογιστικές συσκευές και την αναδιοργάνωση των διαδικασιών εξέτασης-αξιολόγησης (JISC, 2006). Η εφαρμογή τέτοιων μορφών εξέτασης μπορεί να αφορά σε τυπικές εξετάσεις μέσα στο σχολείο ή στην τάξη αλλά και σε μεγάλα έργα αξιολόγησηςπιστοποίησης σε εθνική ή διεθνη κλίμακα που δεν έχουν απαραίτητα σχέση με το τυπικό εκπαιδευτικό σύστημα και απλά αποσκοπούν στην πιστοποίηση μιας σειράς προσόντων. Τα τελευταία χρόνια παρατηρείται έντονη τάση για εφαρμογή Αυτοματοποιημένων Συστημάτων Εξέτασης ΑΣΕ (Computer Based Assessment - CBA, Computer Based Testing - CBT) στη διαχείριση εξετάσεων ευρείας κλίμακας (large scale certification). Τα ΑΣΕ είναι ολοκληρωμένες εφαρμογές για την υλοποίηση της ηαξιολόγησης κυρίως μέσα από τη διαχείριση ηδιαγωνισμάτων όπου οι αποκρίσεις των εξεταζόμενων καταγράφονται ηλεκτρονικά, οργανώνονται σε μεγάλες βάσεις δεδομένων και τα τελικά αποτελέσματα υπόκεινται σε μαζική επεξεργασία. Συνήθως οι δοκιμασίες από τις οποίες αποτελούνται τα ηδιαγωνίσματα οργανώνονται σε μεγάλες τράπεζες θεμάτων (item banks) και η στάθμιση των επιμέρους ερωτημάτων γίνεται με ποσοτικές μεθόδους ανάλυσης. Τα ΑΣΕ έχουν μερικά πολύ σημαντικά πλεονεκτήματα σε σχέση με τις παραδοσιακές εξετάσεις σε χαρτί-μολύβι: αποδοτική συλλογή δεδομένων, ευελιξία στη βαθμολόγηση, εύκολη παραγωγή αναφορών, αυτοματοποιημένη επεξεργασία, ευελιξία στην εφαρμογή κανόνων βαθμολόγησης, καταλληλότητα για αποδοτική εξέταση μεγάλου πλήθους εξεταζόμενων κ.α. Τα ιδιαίτερα πλεονεκτήματα των συστημάτων αυτών βρίσκουν εφαρμογή στη διαχείριση εξετάσεων μεγάλης κλίμακας και πολλά επιτυχή συστήματα έχουν αναπτυχθεί τα τελευταία χρόνια (Asuni, 2008; Funke, 2002). Παρόλα αυτά, κατά την αξιοποίηση τέτοιων συστημάτων μια σειρά από παράγοντες συνεχίζουν 22 P a g e

23 να επηρεάζουν τη διαδικασία της εξέτασης όπως είναι η διαχρονική ισοδυναμία των εξετάσεων ή ο βαθμός έκθεσης των δοκιμασιών σε μεγάλες ομάδες εξεταζόμενων (MARTIN, 2003). Οι μέθοδοι που προτείνονται για τη στατιστική ανάλυση των δοκιμασιών πολλές φορές συνοδεύονται από όρια και προϋποθέσεις (για παράδειγμα στατιστική ανεξαρτησία ανάμεσα στις επιμέρους δοκιμασίες τις οποίες αντιμετωπίζει ο εξεταζόμενος). Παρά τη μεγάλη αποδοχή της επιστημονικής κοινότητας για τη συνεισφορά της πληροφορικής στη διαδικασία αποτίμησης της εκπαιδευτικής απόδοσης μέσα από αυτοματοποιημένα ηδιαγωνίσματα, ενστάσεις εγείρονται για το ότι προσπαθούμε να εκτιμήσουμε ποσοτικά μια καθαρά ποιοτική διαδικασία όπως είναι η διαδικασία της μάθησης. Έτσι, αντί για την οργάνωση τεράστιων βάσεων δεδομένων με δοκιμασίες που ελέγχουν στοιχειώδεις γνώσεις ή δεξιότητες αντιπροτείνεται η αξιοποίηση υπολογιστικών συστημάτων για την αξιολόγηση σύνθετων γνωστικών σχημάτων μέσα από την αντιμετώπιση πραγματικών προβλημάτων που μπορούν να παρουσιαστούν ή να προσομοιαστούν με τη χρήση υπολογιστών. Στο πλαίσιο τέτοιων σύνθετων έργων ο εξεταζόμενος καλείται να ακολουθήσει ένα σύνολο από μη στοιχειώδη βήματα που έχουν άμεση σχέση με το γνωστικό αντικείμενο στο οποίο εξετάζεται και παράλληλα πρέπει να εκτελεί κάποιες νοητικές λειτουργίες. Έτσι, η αξιολόγηση των μεμονωμένων λύσεων που δίνει ο εξεταζόμενος αντιμετωπίζονται σαν ένα ενιαίο και ανεξάρτητο σύνολο για το οποίο δεν μπορούμε να βασιστούμε στην υπόθεση της στατιστικής ανεξαρτησίας (Williamson, Mislevy, & Bejar, 2006). Στο πλαίσιο αυτό γίνεται προσπάθεια να ενσωματωθεί η διαδικασία της αξιολόγησης μέσα στη διαδικασία της μάθησης έτσι ώστε να συνεισφέρει στη διαμορφωτική αξιολόγηση. Παρόλα αυτά, υπάρχουν περιπτώσεις όπου η ανάγκη για πιστοποίηση ικανοτήτων δε σχετίζεται απαραίτητα με μια φάση τυπικής εκπαίδευσης. Η δυνατότητα αυτοματοποιημένης καταγραφής των αποκρίσεων των εξεταζόμενων σε συνδυασμό με την ανάπτυξη νέων μορφών δοκιμασιών που αξιοποιούν την παρουσία των υπολογιστών καθώς και οι αλγόριθμοι παραγωγής ηδιαγωνισμάτων συνεχίζουν να αποτελούν αντικείμενο έρευνας που ξεπερνά τα όρια της πληροφορικής και αγγίζει τα όρια των γνωστικών επιστημών. 1.2 Εξετάσεις μεγάλης κλίμακας στην Ελλάδα Κλασσικό παράδειγμα εξετάσεων μεγάλης κλίμακας αποτελούν οι εξετάσεις για την πιστοποίηση του επιπέδου γνώσης μιας ξένης γλώσσας. Οι εξετάσεις αυτές οργανώνονται συνήθως από πανεπιστήμια που εδρεύουν στη χώρα που ομιλείται η πιστοποιούμενη γλώσσα αξιοποιώντας ένα διεθνές δίκτυο συνεργαζόμενων φορέων σε κάθε χώρα. Πολλές φορές οι εξετάσεις αυτές οργανώνονται από κρατικούς φορείς όπως είναι το παράδειγμα του Κρατικού Πιστοποιητικού Γλωσσομάθειας (ΚΠΓ) στην Ελλάδα. Αν και υπάρχουν εξετάσεις που γίνονται με αυτοματοποιημένα 23 P a g e

24 συστήματα στη μεγάλη πλειοψηφία των περιπτώσεων οι εξετάσεις αυτές γίνονται ακόμη με χαρτίμολύβι. Τα τελευταία χρόνια γίνεται προσπάθεια να αξιοποιηθούν αυτοματοποιημένα συστήματα εξέτασης στο πλαίσιο του Κρατικού Πιστοποιητικού Γλωσσομάθειας (Αρβανίτης & Παναγιωτίδης, 2003). Το Υπουργείο Παιδείας & Θρησκευμάτων, Πολιτισμού & Αθλητισμού (ΥΠAIΘΠΑ) προωθεί και το Πιστοποιητικό Μαθητών στην Πληροφορική το οποίο θα βασίζεται επίσης σε αυτοματοποιημένο σύστημα εξέτασης και θα είναι συνδεδεμένο με την παρεχόμενη εκπαίδευση στη δευτεροβάθμια εκπαίδευση, με το ωρολόγιο πρόγραμμα στο μάθημα της Πληροφορικής αλλά και τη γενικότερη αξιοποίηση της πληροφορικής ως μέσου διδασκαλίας και άσκησης σε άλλα μαθήματα ή γνωστικά αντικείμενα όπως αυτή παρέχεται μέσω του σχολικού συστήματος των γυμνασίων και των λυκείων (PLANNER, 2010). Ευρέως διαδεδομένη είναι και η πιστοποίηση πολιτών σε γνώσεις και δεξιότητες πληροφορικής μέσα από ένα διεθνές σύστημα πιστοποιητικών. Τα πιστοποιητικά αυτά τα διαχειρίζονται συνήθως ιδιωτικοί φορείς ενώ σχετικά πρόσφατα θεσμοθετήθηκαν κριτήρια για το ποιος και με ποιον τρόπο μπορεί να πιστοποιεί τους πολίτες σε δεξιότητες πληροφορικής. Η πιστοποίηση γνώσεων και δεξιοτήτων πληροφορικής στην Ελλάδα πραγματοποιείται από φορείς που έχουν πιστοποιηθεί από τον Εθνικό Οργανισμό Πιστοποίησης Προσόντων και Επαγγελματικού Προσανατολισμού (Ε.Ο.Π.Π.Ε.Π., 2012a) ο οποίος εποπτεύεται από τον Υπουργό Παιδείας & Θρησκευμάτων, Πολιτισμού και Αθλητισμού. Τα τελευταία χρόνια στο πλαίσιο στοχευόμενων δράσεων του υπουργείου παιδείας για την ενσωμάτωση των υπολογιστών στην καθημερινή μαθησιακή διαδικασία έχει θεσμοθετηθεί η παροχή δύο πιστοποιητικών που έχουν σχέση με την αξιοποίηση των υπολογιστών. Το πιστοποιητικό Α επιπέδου αφορά στις βασικές ικανότητες χρήσης ενός υπολογιστή που πρέπει να έχει ο εκπαιδευτικός που διδάσκει στο σύγχρονο σχολείο. Το πιστοποιητικό Β επιπέδου πιστοποιεί τις ικανότητες εκείνες που πρέπει να έχει ο εκπαιδευτικός προκειμένου να αξιοποιεί εκπαιδευτικό λογισμικό για να ενισχύσει το διδακτικό του έργο. Τα δύο αυτά πιστοποιητικά παρέχονται μέσα από αντικειμενικές διαδικασίες αξιολόγησης που καλύπτουν όλο τον ελλαδικό χώρο και έχουν διαχρονική εφαρμογή. Στο πλαίσιο του πιστοποιητικού Α επιπέδου σχεδιάστηκε ένα σύστημα αυτοματοποιημένης αξιολόγησης βασικών δεξιοτήτων πληροφορικής που καλύπτει τις ανάγκες του έργου πιστοποίησης για τα τελευταία δέκα χρόνια ( ). Τα δεδομένα που έχουν συγκεντρωθεί κατά τη λειτουργία του αυτοματοποιημένου συστήματος εξέτασης παρουσιάζουν ιδιαίτερο ερευνητικό ενδιαφέρον για το χώρο της εκπαίδευσης γιατί: (α) αφορούν σε μεγάλο δείγμα ανθρώπων από όλες τις γνωστικές 24 P a g e

25 περιοχές της ανώτατης εκπαίδευσης (δάσκαλοι, μαθηματικοί, φιλόλογοι, θεολόγοι, γυμναστές κλπ) (β) η γεωγραφική κατανομή των εξεταζόμενων καλύπτει με πληρότητα ολόκληρο τον Ελλαδικό χώρο (γ) αφορούν σε αποτελέσματα πιστοποίησης για μια ποικιλία γνωστικών αντικειμένων που σχετίζονται με τις βασικές δεξιότητες πληροφορικής (επεξεργασία κειμένου, υπολογιστικά φύλλα, διαδίκτυο κλπ) (δ) καταγράφουν χρονικές (πχ μέρα, ώρα) και χωρικές (πχ. νομός, πόλη) παραμέτρους για τις απόπειρες πιστοποίησης που έχουν πραγματοποιηθεί (Christakoudis, Androulakis, & Zagouras, 2010a). 1.3 Περιγραφή του ερευνητικού προβλήματος Ακολουθώντας τη σύγχρονη τάση, η χώρα μας προσπαθεί να αναδιοργανώσει παραδοσιακές εξετάσεις μεγάλης κλίμακας που βασίζονται στην παρέμβαση του ανθρώπινου παράγοντα (βαθμολογητής, επιτηρητής κλπ) έτσι ώστε όχι μόνο να αξιοποιηθούν πληροφοριακά συστήματα για την αυτοματοποίηση των διαδικασιών εξέτασης αλλά και να αυξηθεί η αποδοτικότητα και η αντικειμενικότητα τέτοιων εξετάσεων με χρήση αυτοματοποιημένων συστημάτων εξέτασης. Τα ερευνητικά ερωτήματα στα οποία απαντά η παρούσα εργασία είναι: ποιο μοντέλο μπορεί να ακολουθηθεί για την παραγωγή, οργάνωση και συντήρηση μιας τράπεζας θεμάτων που υποστηρίζει την παραγωγή διαχρονικά ισοδύναμων ηδιαγωνισμάτων σε εξετάσεις ευρείας κλίμακας; πώς επηρεάζουν τα ιδιαίτερα χαρακτηριστικά των εξεταζόμενων (π.χ φύλο, ηλικία, γνωστικό αντικείμενο-σπουδές κλπ) τη συμπεριφορά τους κατά τη διάρκεια των εξετάσεων; πως επηρεάζουν τα ιδιαίτερα χαρακτηριστικά των δοκιμασιών (π.χ βαθμός δυσκολίας, εκφωνήσεις, αρχεία εργασίας κλπ) την απόδοση των εξεταζόμενων; Η συσσωρευμένη δεκαετής εμπειρία που αναπτύχθηκε στη Διεύθυνση Εκπαίδευσης και Κατάρτισης του Ινστιτούτου Τεχνολογίας Υπολογιστών & Εκδόσεων ΔΙΟΦΑΝΤΟΣ (ITYE - ΔΕΚ, 2012) στο πλαίσιο έργων για την πιστοποίηση εκπαιδευτικών σε δεξιότητες πληροφορικής μπορεί να αποτελέσει τη βάση για την ανάπτυξη συστημάτων αυτοματοποιημένης εξέτασης σε μεγάλη κλίμακα στον ευρύτερο χώρο της εκπαίδευσης. Για να προσεγγιστούν τα ερευνητικά ερωτήματα μελετήθηκε σε βάθος και αξιολογήθηκε το μοντέλο πιστοποίησης εκπαιδευτικών σε βασικές δεξιότητες πληροφορικής και έγινε ανάλυση των αποκρίσεων που έχουν καταγραφεί και αφορούν σε πολύ μεγάλο δείγμα Ελλήνων εκπαιδευτικών κατά τη διάρκεια ενός 10ετούς έργου πιστοποίησης. Στο πλαίσιο της παρούσας διατριβής: αξιοποιούνται ποσοτικές μέθοδοι για την ανάλυση μεγάλου όγκου δεδομένων και την αξιολόγηση του μοντέλου ανάπτυξης δοκιμασιών που ακολουθήθηκε για την πιστοποίηση των Ελλήνων εκπαιδευτικών 25 P a g e

26 προτείνεται ένας πρακτικός οδηγός για τη σχεδίαση, οργάνωση και συντήρηση τράπεζας δοκιμασιών και την παραγωγή διαχρονικά ισοδύναμων ηδιαγωνισμάτων προτείνονται εργαλεία για την καταγραφή των επιμέρους ιδιοτήτων και την αξιολόγηση ενός συστήματος αυτοματοποιημένης εξέτασης (πίνακας προδιαγραφών) παρουσιάζεται και τεκμηριώνεται κώδικας για την αποδοτική στατιστική ανάλυση μεγάλου πλήθους δεδομένων που αφορούν στις αποκρίσεις εξεταζόμενων σε διαδοχικά ηδιαγωνίσματα (βιβλιοθήκες με ελεύθερο κώδικα για στατιστική ανάλυση) 2. Θεωρητικό Πλαίσιο Η ραγδαία ανάπτυξη των Τεχνολογιών Πληροφορίας και Επικοινωνίας (ΤΠΕ) τις τελευταίες δεκαετίες επηρεάζει το εκπαιδευτικό, κοινωνικό και εργασιακό περιβάλλον και αναδεικνύει μια σειρά από ιδιαίτερα προσόντα και ικανότητες που πρέπει να έχει ο σύγχρονος άνθρωπος. Η έννοια της ικανότητας (competence) ενός ατόμου ορίζεται με διαφορετικό τρόπο και ανάλογα με το επιστημονικό, επαγγελματικό, εκπαιδευτικό ή κοινωνικό πεδίο στο οποίο αναφέρεται. Αρχικά με τον όρο ικανότητα χαρακτηρίστηκε η συμπεριφορά εκπαιδευτικών μετά την ολοκλήρωση ενός εκπαιδευτικού προγράμματος (Bowden & Masters, 1993). Για να αναγνωρίσουμε και να αξιολογήσουμε τις ικανότητες ενός ατόμου μπορούμε να αναζητήσουμε ενδείξεις είτε για την απόδοσή του (competence performance) όταν αναφερόμαστε κυρίως στα αποτελέσματα (outputs) μιας διαδικασίας που σκοπό έχει την κατάρτισή του σε κάποιο γνωστικό αντικείμενο είτε για τα χαρακτηριστικά (competence s attributes) που διαθέτει το άτομο ώστε να μπορεί να αποδώσει ικανοποιητικά. Έτσι, η έννοια της ικανότητας μπορεί να προσεγγιστεί με διαφορετικούς τρόπους ανάλογα με το περιβάλλον στο οποίο αξιοποιείται ή ελέγχεται. Οι παραπάνω παραλλαγές χρησιμοποιούνται για να αποδώσουν την έννοια της ικανότητας και σε ατομικό επίπεδο και σε επίπεδο συλλογικό ή επίπεδο ενός οργανισμού (organizational competencies) (Hoffmann, 1999) Η ικανότητα ενός ατόμου δεν αποτελεί μια σταθερή ιδιότητα που κάποιος την έχει ή δεν την έχει αλλά είναι η ενορχηστρωμένη αξιοποίηση γνωστικών, κοινωνικών, και συμπεριφοριστικών δεξιοτήτων ώστε το άτομο να μπορεί να αντιμετωπίσει συγκεκριμένες καταστάσεις. Πολλές φορές είναι διαφορετικό το να έχει κάποιος γνώσεις και δεξιότητες και διαφορετικό να μπορεί να τις εφαρμόζει στο πλαίσιο αντιμετώπισης ρεαλιστικών καταστάσεων. Σε πρακτικό επίπεδο η ικανότητα ενός ατόμου μπορεί να αναφέρεται: (α) στην παρατηρήσιμη συμπεριφορά του (Boam & Sparrow, 1992) (β) στα πρότυπα συμπεριφοράς που ακολουθεί και στην ποιότητα της απόδοσής του (Hager, 26 P a g e

27 Athanasou, & Gonczi, 1994; Rutherford & Rutherford, 1995) και (γ) στα λανθάνοντα χαρακτηριστικά του (Boyatzis, 1982; Kolligian & Sternberg, 1990). Οι δεξιότητες και γενικότερα οι ικανότητες των εργαζομένων αναμένεται να είναι η βασική πηγή οικονομικής δραστηριότητας στο πλαίσιο της Κοινωνίας της Γνώσης. Στον τομέα της εργασίας πλήθος από νέες μορφές επαγγελματικής δραστηριότητας έχουν διαμορφωθεί μέσα από τη χρήση των ΤΠΕ. Οι νέες μορφές εργασίας προσδιορίζουν και μια σειρά από νέες δεξιότητες που ορίζουν τελικά το περιεχόμενο του κάθε επαγγέλματος (professionalism). Η επίδραση των ΤΠΕ στην επαγγελματική δραστηριότητα ενισχύεται και λόγω της εξωστρέφειας που χαρακτηρίζει την επαγγελματική δραστηριότητα των επιχειρήσεων στο πλαίσιο μιας παγκοσμιοποιημένης οικονομίας. Στο πλαίσιο αυτό προκύπτει έντονα η ανάγκη για ανάπτυξη τεχνικών, μεθόδων και διαδικασιών με τις οποίες να είναι δυνατή η αποδοτική αξιολόγηση των επαγγελματικών προσόντων ( γνώσεις, δεξιότητες και στάσεις) όχι μόνο σε εθνικό αλλά και σε διεθνές επίπεδο (Hacquebard, Dijkxhoorn, & Erkelens, 2005; IFIP, WITSA, OECD, 2002). Μια από τις σημαντικότερες παραμέτρους της Δια Βίου Εκπαίδευσης και της Επαγγελματικής Κατάρτισης αποτελεί η πιστοποίηση προσόντων μια και επηρεάζει δυο πολύ σημαντικά πεδία της ανθρώπινης δραστηριότητας: την εκπαίδευση και την εργασία. Mε τον όρο προσόντα εννοούμε πτυχία, διπλώματα, τίτλους σπουδών που προέρχονται από το τυπικό εκπαιδευτικό σύστημα όσο και από δραστηριότητες που εντάσσονται στη μη τυπική και άτυπη μάθηση και έχουν πιστοποιηθεί ως προς το περιεχόμενό τους ( Ε.Ο.Π.Π.Ε.Π., 2012b). Τόσο στην εργασία όσο και στην εκπαίδευση μια σειρά από πιστοποιητικά μπορούν να χορηγηθούν προκειμένου ένας εκπαιδευόμενος ή ένας εργαζόμενος να αποδείξει ότι κατέχει μια σειρά από προσόντα (Defining Features of Quality Certification and Assessment-Based Certificate Programs, 2012): Πιστοποίηση συμμετοχής: Το πιστοποιητικό συμμετοχής χορηγείται σε όσους παρακολούθησαν ένα πρόγραμμα εκπαίδευσης (μάθημα, συνέδριο, σεμινάριο κλπ) που έχει πραγματοποιηθεί είτε δια ζώσης είτε από απόσταση και δεν απαιτεί την εμπλοκή τους σε κάποια διαδικασία εξέτασης που να σχετίζεται με το περιεχόμενο του προγράμματος. Πιστοποιητικό παρακολούθησης: Τα πιστοποιητικά παρακολούθησης εστιάζουν στην εκπαίδευση ή στην κατάρτιση των συμμετεχόντων και χορηγούνται μετά την ολοκλήρωση ενός εκπαιδευτικού κύκλου που στοχεύει στην ανάπτυξη μιας σειράς ικανοτήτων. Η χορήγησή τους βεβαιώνει ότι οι κάτοχοί τους συμμετείχαν σε ειδικά σχεδιασμένες εξετάσεις που αξιολόγησαν συγκεκριμένα μαθησιακά αποτελέσματα και τις πέρασαν με επιτυχία. Το ιδιαίτερο χαρακτηριστικό τέτοιων 27 P a g e

28 πιστοποιητικών είναι ότι δε λήγει η ισχύς τους μετά την παρέλευση κάποιου εύλογου χρονικού διαστήματος. Πιστοποίηση προσόντων: Με τον όρο πιστοποίηση προσόντων αναφερόμαστε σε μια ανεξάρτητη διαδικασία αξιολόγησης όπου οι εξεταζόμενοι αποδεικνύουν ότι κατέχουν ένα συγκεκριμένο επίπεδο ικανοτήτων και όχι απλά μια σειρά από συγκεκριμένα μαθησιακά αποτελέσματα που είναι απόρροια μιας εκπαιδευτικής διαδικασίας. Η συμμετοχή σε μια διαδικασία πιστοποίησης είναι συνήθως εθελοντική, πραγματοποιείται με αυστηρούς κανόνες επίβλεψης ενώ η ισχύς του πιστοποιητικού έχει περιορισμένη διάρκεια και πρέπει να επικαιροποιείται σε εύλογο διάστημα. 2.1 Κατηγορίες εξετάσεων Σύμφωνα με τη Διεθνή Επιτροπή Εξετάσεων (International Test Commission-ITT) μπορούμε να διακρίνουμε τέσσερις μεγάλες κατηγορίες εξετάσεων σε σχέση με τον τρόπο διαχείρισης των διαγωνισμάτων στα οποία βασίζονται ( International Guidelines on Computer-Based and Internet Delivered Testing - Scope, 2005): (α) τα ανοικτά διαγωνίσματα (open mode) όπου δεν απαιτείται η ανθρώπινη παρουσία για τον έλεγχο της διαδικασίας εξέτασης. Διαγωνίσματα τα οποία διατίθενται ελεύθερα στο διαδίκτυο χωρίς να απαιτούν κάποια διαδικασία εγγραφής ανήκουν στην κατηγορία αυτή, (β) τα ελεγχόμενα διαγωνίσματα (controlled mode) στα οποία μπορούν να απαντήσουν μόνο πιστοποιημένοι υποψήφιοι. Συνήθως τα διαγωνίσματα αυτά δίνουν μόνο μια ευκαιρία στον εξεταζόμενο να απαντήσει σε ένα σύνολο ερωτημάτων και δεν είναι επαναλαμβανόμενα, (γ) τα εποπτευόμενα διαγωνίσματα (supervision mode) όπου στην εξέταση των υποψηφίων εμπλέκονται άνθρωποι που έχουν την ευθύνη να ελέγξουν τη συμπεριφορά και να πιστοποιήσουν την ταυτότητα του εξεταζόμενου και (δ) τα διαγωνίσματα υψηλής διαχείρισης (managed mode) όπου η παρουσία του ανθρώπινου παράγοντα είναι ιδιαίτερα έντονη κατά τη διαδικασία της εξέτασης. Οι εξετάσεις πραγματοποιούνται συνήθως σε ειδικά, πιστοποιημένα κέντρα με αυστηρό έλεγχο και επιτήρηση της εξεταστική διαδικασίας. Η μεγάλη εξάπλωση των υπολογιστικών συστημάτων και των εφαρμογών ΤΠΕ δεν άφησε ανεπηρέαστη τη διαδικασία των εξετάσεων. Σήμερα με τον ευρύ όρο ηαξιολόγηση (eassessment) αναφερόμαστε σε κάθε απόπειρα εξέτασης γνώσεων, δεξιοτήτων ή στάσεων στις οποίες ο εξεταζόμενος χρησιμοποιεί υπολογιστή για να καταχωρίσει τις απαντήσεις του. Στο πλαίσιο της ηαξιολόγησης ο εξεταζόμενος μπορεί να απαντά σε μια σειρά από ερωτήματα που διατίθενται μέσω ειδικού λογισμικού εξέτασης (etesting) ή να τροφοδοτεί το προσωπικό του χαρτοφυλάκιο με έργα που πραγματοποιεί χρησιμοποιώντας υπολογιστές (eportfolios). 28 P a g e

29 Στην πράξη, η υλοποίηση της διαδικασίας της ηαξιολόγησης απαιτεί δύο πολύ κρίσιμα στοιχεία: (α) το Αυτοματοποιημένο Σύστημα Εξέτασης - ΑΣΕ (Computer Based Testing-CBT) που περιλαμβάνει τόσο το υλικό (hardware) όσο και το λογισμικό (software) με το οποίο τα ηδιαγωνίσματα διατίθενται στους εξεταζόμενους και (β) την τράπεζα θεμάτων (item bank) που περιλαμβάνει όλες εκείνες τις δοκιμασίες από τις οποίες συντίθενται τα ηδιαγωνίσματα. Τα πλεονεκτήματα της αξιοποίησης ΑΣΕ για την ηαξιολόγηση των εξεταζόμενων είναι πολλά συγκρινόμενα με τις παραδοσιακές εξετάσεις που τις περισσότερες φορές πραγματοποιούνται με χαρτί-μολύβι (pen and paper). Μερικά από τα σημαντικότερα είναι το μειωμένο κόστος ανά εξεταζόμενο, η άμεση απόκριση και ενημέρωση των εξεταζόμενων, η ευελιξία στη διαχείριση των εξετάσεων (επιλογή τόπου και χρόνου), η αξιόπιστη βαθμολόγηση, η μεγάλη χωρητικότητα για υποστήριξη εξετάσεων ευρείας κλίμακας, η ποικιλία ερωτημάτων που μπορούν να χρησιμοποιηθούν κ.α. (Asuni, 2008; Linden & Glas, 2000). Στο πλαίσιο της ηαξιολόγησης μπορούμε να διακρίνουμε δύο μεγάλες κατηγορίες διαγωνισμάτων που χρησιμοποιούνται για την αξιολόγηση προσόντων ή ικανοτήτων: (α) ηδιαγωνίσματα σταθερής μορφής (Computerized Fixed Tests CFT) στα οποία ο εξεταζόμενος καλείται να αντιμετωπίσει μια σειρά από δοκιμασίες που έχουν σταθερό πλήθος και σταθερή μορφή. Στο πλαίσιο αυτό όλοι οι εξεταζόμενοι απαντούν στο ίδιο πλήθος και στο ίδιο είδος ερωτημάτων ενώ η σύνθεσή του ηδιαγωνίσματος οριστικοποιείται πριν από την εξέταση και δεν αλλάζει κατά την εξέταση (Parshall κ.ά., 2002a) και (β) προσαρμοστικά ηδιαγωνίσματα (Computer Adaptive Tests) όπου το σύστημα αξιολόγησης επιλέγει κάθε φορά την επόμενη ερώτηση ή δοκιμασία στην οποία πρέπει να απαντήσει ο εξεταζόμενος λαμβάνοντας υπόψη την τρέχουσα απάντησή του και αφού έχει εκτιμήσει τη λανθάνουσα ικανότητα που αξιολογείται κάθε φορά. Αυτό έχει σαν άμεσο αποτέλεσμα ότι κάθε εξεταζόμενος αντιμετωπίζει διαφορετικό πλήθος και πιθανόν διαφορετικά είδη ερωτημάτων αντιμετωπίζοντας στην ουσία διαφορετικά ηδιαγωνίσματα. Στα προσαρμοστικά συστήματα η βαθμολογία που επιτυγχάνουν οι εξεταζόμενοι αναλύεται συνήθως στο πλαίσιο της θεωρίας αποκρίσεων (Item Response Theory) και η λειτουργία τους βασίζεται στην ύπαρξη μιας σταθμισμένης τράπεζας θεμάτων, σε έναν αλγόριθμο για την επιλογή της πρώτης δοκιμασίας που θα εκτεθεί στον εξεταζόμενο, στον τρόπο επιλογής της κατάλληλης ερώτησης κάθε φορά, στη διαδικασία της βαθμολόγησης και τέλος στον προσδιορισμό του κριτηρίου τερματισμού της εξέτασης (Linden & Glas, 2000; Parshall κ.ά., 2002b; Gershon, 2005). Οι σχεδιαστές ενός ΑΣΕ -ιδίως αν αφορά σε μεγάλη κλίμακα- πρέπει να ακολουθούν μια σειρά από προδιαγραφές προκειμένου οι εξετάσεις που οργανώνουν να εξασφαλίζουν μια σειρά από 29 P a g e

30 επιθυμητά χαρακτηριστικά όπως αξιοπιστία, αμεροληψία, εγκυρότητα κ.α. Όταν ένας φορέας επιθυμεί να οργανώσει εξετάσεις μεγάλης κλίμακας θα πρέπει να λάβει υπόψη του ότι το βασικό κόστος κατά την ανάπτυξη του συστήματος αυτοματοποιημένης εξέτασης είναι η παραγωγή, οργάνωση και συντήρηση καλά σχεδιασμένων και κατάλληλων δοκιμασιών που έχουν την ιδιότητα να αξιολογούν αξιόπιστα και έγκυρα τις ικανότητες των εξεταζόμενων. 2.2 Προδιαγραφές ανάπτυξης Αυτοματοποιημένων Συστημάτων Εξέτασης Τα αυτοματοποιημένα συστήματα που αποσκοπούν στη διαχείριση εξετάσεων πρέπει να ακολουθούν μια σειρά από προδιαγραφές ανάλογα με το είδος της εξέτασης. Η ανάπτυξη, η αξιολόγηση αλλά και η προαγωγή αποτελεσματικών τεχνικών εξέτασης μπορεί να γίνεται σε διεθνές επίπεδο μέσα από την καθιέρωση ενός διαρκώς εξελισσόμενου συνόλου προδιαγραφών που να αφορά (α) στη συνολική διαχείριση εξετάσεων μικρής ή μεγάλης κλίμακας (β) στην προετοιμασία και διάθεση προσαρμοστικών διαγωνισμάτων (γ) στη διαχείριση διαγωνισμάτων που βασίζονται σε αυτοματοποιημένα συστήματα εξέτασης (Computer Based Testing) ή διατίθενται μέσω του διαδικτύου και (δ) σε διαδικασίες που εξασφαλίζουν τον ποιοτικό έλεγχο τόσο στη βαθμολόγηση όσο και στην ανάλυση των αποτελεσμάτων. Στην περίπτωση των ηδιαγωνισμάτων (διαγωνίσματα στα οποία ο εξεταζόμενος απαντά με τη βοήθεια υπολογιστή) που βασίζονται στη λειτουργία αυτοματοποιημένων συστημάτων εξέτασης οι προδιαγραφές έχουν οργανωθεί σε τέσσερις μεγάλες κατηγορίες και αφορούν (α) τεχνολογικές προδιαγραφές (π.χ προδιαγραφές υλικού και λογισμικού, θέματα ευρωστίας των εφαρμογών, τεχνικές υποστήριξης και βοήθειας των εξεταζόμενων κ.α.), (β) προδιαγραφές ποιότητας (π.χ εξασφάλιση εξέτασης των επιθυμητών ικανοτήτων, ψυχομετρικά χαρακτηριστικά του συστήματος εξέτασης, ισοδυναμία των διαγωνισμάτων, τρόποι βαθμολόγησης και παραγωγή σχετικών αναφορών, ίσες ευκαιρίες πρόσβασης σε σχετικές πληροφορίες κ.α.) (γ) προδιαγραφές ελέγχου (π.χ πιστοποιημένη πρόσβαση, ελεγχόμενη έκθεση ερωτημάτων, προστασία προσωπικών δεδομένων κ.α.) και (δ) προδιαγραφές ασφάλειας ( π.χ ασφάλεια θεμάτων, ασφάλεια στη διακίνηση πληροφοριών μέσω διαδικτύου, εμπιστευτικότητα κ.α.). Οι προδιαγραφές αυτές εξειδικεύονται ανάλογα με τους ρόλους των ανθρώπων οι οποίοι εμπλέκονται στην κατασκευή και τη διάθεση των ηδιαγωνισμάτων (π.χ φορείς εξέτασης, κατασκευαστές ηδιαγωνισμάτων, εξεταζόμενοι) (Bartram & Coyne, 2005). Στον πυρήνα κάθε συστήματος εξέτασης ή πιστοποίησης βρίσκεται το διαγώνισμα που δεν είναι τίποτε άλλο παρά ένα σύνολο από δοκιμασίες στις οποίες πρέπει να απαντήσει ο εξεταζόμενος μέσα σε συγκεκριμένο χρόνο. Τα διαγωνίσματα μπορούν να είναι σταθερά (fixed) ή να προσαρμόζονται 30 P a g e

31 (adaptive) στις ικανότητες του κάθε εξεταζόμενου. Σε κάθε περίπτωση το διαγώνισμα στο πλαίσιο μιας εξέτασης μεγάλης κλίμακας πρέπει να έχει μια σειρά από ιδιότητες (Davey, 2011): Αποδοτική μέτρηση (measurement efficiency): ένα από τα ποιο επιθυμητά χαρακτηριστικά ενός διαγωνίσματος είναι η αξιοπιστία (reliability) με την οποία κατατάσσει ή αξιολογεί τους υποψήφιους εξεταζόμενους. Είναι λογική η υπόθεση ότι τα διαγωνίσματα που έχουν μικρό πλήθος δοκιμασιών δεν καταφέρνουν εύκολα να επιτύχουν υψηλή αξιοπιστία. Από την άλλη, σε μια εξέταση θα ήταν επιθυμητό να αναζητηθούν τρόποι ώστε να επιτυγχάνεται η μέγιστη αξιοπιστία με τον ελάχιστο αριθμό δοκιμασιών. Υπό αυτή την έννοια, ένα διαγώνισμα μπορεί να θεωρείται αποδοτικότερο σε σχέση με ένα άλλο αν επιτυγχάνει μεγαλύτερη ακρίβεια μέτρησης ανά δοκιμασία. Η σύγκριση δύο διαγωνισμάτων μπορεί να γίνει και με βάση την ικανότητα μέτρησης στη μονάδα του χρόνου όταν αναφερόμαστε σε διαγωνίσματα που αποτελούνται από διαφορετικό πλήθος δοκιμασιών. Ασφάλεια (test security): η βασική υπόθεση που γίνεται κατά την εξέταση ενός υποψηφίου σε μια σειρά δοκιμασιών είναι ότι οι απαντήσεις του καθορίζονται αποκλειστικά από την ικανότητά του να διαχειριστεί τις συγκεκριμένες δοκιμασίες και δεν απαντά αντιγράφοντας από τους διπλανούς του ή έχοντας εξασφαλίσει τις απαντήσεις εκ των προτέρων (π.χ διαρροή θεμάτων). Η διάθεση των διαγωνισμάτων πρέπει να γίνεται με τέτοιο τρόπο ώστε να εξασφαλίζεται η ασφάλειά του (π.χ ανακάτεμα απαντήσεων, διαφοροποιημένη σειρά σε κάθε υποψήφιο, κρυπτογράφηση των διακινούμενων πληροφοριών). Απαιτήσεις της τράπεζας θεμάτων (item development requirements): για την υποστήριξη ενός συστήματος εξέτασης σε μεγάλη κλίμακα είναι απαραίτητη η οργάνωση των δοκιμασιών σε μεγάλες βάσεις δεδομένων. Οι διαδικασίες ανάπτυξης των δοκιμασιών καθορίζουν και την ποιότητα των παραγόμενων διαγωνισμάτων. Η προετοιμασία μεγάλης τράπεζας δεδομένων αποτελεί μια κρίσιμη αλλά και ιδιαίτερα χρονοβόρα διαδικασία. Σχεδιαστική πολυπλοκότητα (design complexity): Ο σχεδιασμός ενός συστήματος για την εξέταση υποψηφίων σε μεγάλη κλίμακα δεν περιορίζεται μόνο στην παραγωγή και διάθεση ενός διαγωνίσματος. Χρειάζεται να οριστούν μια σειρά από διαδικασίες για τη διαχείριση των εξετάσεων και τη βαθμολόγηση των υποψηφίων. Όταν μια εξέταση αφορά σε μεγάλο χρονικό διάστημα τότε η ανανέωση της τράπεζας θεμάτων μπορεί να οδηγεί και σε διαφοροποίηση της μορφής που έχουν οι δοκιμασίες (π.χ νέα είδη ερωτημάτων). Έτσι, σε εξετάσεις μεγάλης κλίμακας και μεγάλης χρονικής διάρκειας αποτελεί κρίσιμο παράγοντα σχεδιασμού η εξασφάλιση της διαχρονικής ισοδυναμίας των παραγόμενων διαγωνισμάτων. 31 P a g e

32 Κόστος εξέτασης (cost assessment): Η παράμετρος του κόστους αφορά κυρίως στον κύκλο ζωής μιας δοκιμασίας και τη συντήρηση της υποστηρικτικής υποδομής. Στο κόστος επίσης συμμετέχουν και άλλες λειτουργίες που αποτελούν αναπόσπαστο κομμάτι ενός συστήματος εξέτασης (π.χ η στατιστική ανάλυση των αποκρίσεων των εξεταζόμενων, η αναθεώρηση των δοκιμασιών κλπ) 2.3 Η σημασία της κατασκευής ισοδύναμων ηδιαγωνισμάτων Η ισοδυναμία των ηδιαγωνισμάτων στα οποία βασίζεται ένα σύστημα εξέτασης μεγάλης κλίμακας αποτελεί έναν κρίσιμο παράγοντα σχεδιασμού γιατί παρέχει τη δυνατότητα σύγκρισης της βαθμολογίας (comparability of scores) μεταξύ των διαγωνιζομένων. Η πεποίθηση ότι τα αποτελέσματα μιας εξέτασης είναι συγκρίσιμα τόσο στη διάρκεια των χρόνων όσο και ανάμεσα στους εξεταζόμενους σε μια συγκεκριμένη χρονική στιγμή αποτελεί τη βάση για την επιλογή των κατάλληλων αποφάσεων ανάλογα με το σκοπό που έρχεται να υπηρετήσει μια εξέταση (προαγωγή στο χώρο εργασίας, πρόσληψη, πιστοποίηση γνώσεων κλπ)(brennan & Education, 2006). Έτσι, ένα σύστημα πιστοποίησης δεν μπορεί να βασίζεται απλά στην πεποίθηση ότι τα διαγωνίσματα είναι ισοδύναμα αλλά πρέπει να ενσωματώνει όλες εκείνες τις διαδικασίες που εξασφαλίζουν ή μεγιστοποιούν το βαθμό συγκρισιμότητας ή ισοδυναμίας των διαγωνισμάτων. Η αξιολόγηση του σχεδιαστικού μοντέλου μπορεί να γίνει εκ των υστέρων αναλύοντας τις αποκρίσεις των εξεταζόμενων στη διάρκεια του χρόνου με ποσοτικές μεθόδους. Η ανάλυση των αποτελεσμάτων της εξέτασης μπορεί να οδηγήσει στη βελτίωση των τεχνικών και των πρακτικών που χρησιμοποιήθηκαν για τη δημιουργία των δοκιμασιών και τη σύνθεση των τελικών διαγωνισμάτων. 2.4 Τα βασικά χαρακτηριστικά μιας Τράπεζας Θεμάτων (item bank) Στην κλασσική προσέγγιση ενός συστήματος εξέτασης η βασική μονάδα είναι το ίδιο το διαγώνισμα (test) και όχι το κάθε ερώτημα (item) χωριστά. Αφού γίνει η σύνθεση ενός διαγωνίσματος ακολουθεί μια φάση ελέγχου όπου το διαγώνισμα διατίθεται σε επιλεγμένες ομάδες ελέγχου με σκοπό τον εντοπισμό διαφόρων ανεπιθύμητων παραμέτρων (π.χ μη αποδεκτά επίπεδα δυσκολίας, διαφοροποιήσεις ανάλογα με τα ψυχομετρικά χαρακτηριστικά των εξεταζόμενων κλπ). Μετά τον προσδιορισμό της τελικής έκδοσης του διαγωνίσματος ακολουθεί η φάση της κανονικοποίησης και στάθμισης (calibration) πριν διατεθεί το διαγώνισμα στους εξεταζόμενους. Αν στη πορεία υπάρξουν διαφοροποιήσεις στο διαγώνισμα (π.χ εισαγωγή ή διαγραφή ενός ερωτήματος) όλη η διαδικασία πρέπει να επαναληφθεί. Είναι φανερό ότι η παραπάνω προσέγγιση δεν είναι αποδοτική όταν θέλουμε να διαθέσουμε ηδιαγωνίσματα σε μεγάλη κλίμακα και σε διαφορετικές χρονικές περιόδους. Για το σκοπό αυτό συνήθως χρησιμοποιείται η προσέγγιση της τράπεζας θεμάτων (item bank) όπου βασικό στοιχείο ανάλυσης αποτελεί το κάθε ερώτημα χωριστά. Η διαθέσιμη τράπεζα 32 P a g e

33 ερωτημάτων (item pool or item bank) αποτελεί τη βασικότερη παράμετρο ενός Aυτοματοποιημένου Συστήματος Εξέτασης. Η τράπεζα ερωτημάτων δεν είναι μια απλή αποθήκη ερωτήσεων αλλά μια οργανωμένη συλλογή οντοτήτων όπου κάθε στοιχείο της χαρακτηρίζεται από ένα καλά ορισμένο σύνολο χαρακτηριστικών (attributes). Ο αλγόριθμος παραγωγής του ηδιαγωνίσματος επεξεργάζεται τα χαρακτηριστικά της κάθε ερώτησης προκειμένου να δημιουργήσει τα διαγωνίσματα που ικανοποιούν συγκεκριμένα κριτήρια. Τα χαρακτηριστικά των ερωτημάτων διακρίνονται σε τρεις κατηγορίες (Linden, 2005): ποσοτικά χαρακτηριστικά: τα ποσοτικά χαρακτηριστικά μιας ερώτησης αντιστοιχούν συνήθως σε αριθμητικές τιμές με άγνωστο πεδίο τιμών. Χαρακτηριστικά παραδείγματα τέτοιων ιδιοτήτων είναι ο αναμενόμενος χρόνος απάντησης της ερώτησης, τα στατιστικά δεδομένα που έχουν σχέση με την ερώτηση όπως ο μέσος χρόνος απάντησης, η συχνότητα εμφάνισης της ερώτησης κλπ. κατηγορικά χαρακτηριστικά: τα κατηγορικά χαρακτηριστικά ορίζουν κατηγορίες στις οποίες ανήκει μια ερώτηση (π.χ τύπος ερώτησης, δυσκολία, γνωστικό αντικείμενο, θεματική ενότητα κλπ). Τα χαρακτηριστικά αυτής της κατηγορίας αξιοποιούνται από τον αλγόριθμο παραγωγής του ηδιαγωνίσματος έτσι ώστε να εξασφαλιστεί η αναμενόμενη διασπορά κατά την επιλογή των ερωτημάτων (κάλυψη του θεματικού καταλόγου, κατανομή ερωτημάτων ανάλογα με το βαθμό δυσκολίας ή με τον τύπο της ερώτησης κλπ). λογικά χαρακτηριστικά: τα λογικά χαρακτηριστικά ορίζουν λογικούς περιορισμούς ανάμεσα σε ομάδες ερωτήσεων. Έτσι, αν μια ερώτηση επιλεγεί να συμμετέχει σε ένα διαγώνισμα τότε ένα σύνολο ερωτημάτων μπορεί να αποκλείεται επειδή οι ερωτήσεις που το απαρτίζουν έχουν το χαρακτηριστικό του αποκλεισμού (exclusive). Τέτοια σύνολα αναφέρονται συχνά στη βιβλιογραφία σαν ερωτήσεις εχθροί (enemies). Αντίθετα, ένα σύνολο ερωτήσεων μπορεί να έχει το χαρακτηριστικό της αναγκαστικής επιλογής (inclusion) έτσι ώστε αν μια ερώτηση του συνόλου αυτού επιλεγεί τότε πρέπει να επιλεγούν μία ή περισσότερες ερωτήσεις από το ίδιο σύνολο. 2.5 Ανάλυση ερωτημάτων (item analysis) και ηδιαγωνισμάτων (test analysis) Η στατιστική ανάλυση των δεδομένων που έχουν καταγραφεί σε ένα σύστημα εξέτασης βασίζεται στην απλή παραδοχή ότι οι «κακές» δοκιμασίες θα έχουν και «κακή» στατιστική συμπεριφορά. Μέσα από τη διαδικασία της στατιστικής ανάλυσης των ερωτημάτων (item analysis) με βάση τις καταγεγραμμένες απαντήσεις των εξεταζόμενων μπορούμε να εκτιμήσουμε την ποιότητα τόσο των δοκιμασιών όσων και των ηδιαγωνισμάτων στο σύνολό τους. Η ανάλυση αυτή παίζει καθοριστικό ρόλο στην απόφαση αναθεώρησης ή και απόρριψης ενός ερωτήματος από τη διαδικασία των εξετάσεων. Τα αποτελέσματα μπορούν να φανούν ιδιαίτερα χρήσιμα στους ανθρώπους που 33 P a g e

34 κατασκευάζουν ερωτήματα (συγγραφείς-authors) μια και μπορούν να τους τροφοδοτήσουν με καλά και κακά παραδείγματα βελτιώνοντας την ικανότητά τους στη διατύπωση ερωτημάτων (Lunz, 2010). Άλλα χαρακτηριστικά των ερωτημάτων (attributes) μπορούν να εκτιμηθούν με στατιστικές μεθόδους και άλλα πρέπει να οριστούν από τους συγγραφείς. Στο πλαίσιο της ανάλυσης των ερωτημάτων που έχουν συμμετάσχει σε κάποιο διαγώνισμα τα βασικά στατιστικά χαρακτηριστικά που συνήθως υπολογίζονται έχουν σχέση με: (α) τη δυσκολία (difficulty) της ερώτησης για τη συγκεκριμένη ομάδα των εξεταζόμενων (β) τη διακριτική ικανότητα (discrimination) της ερώτησης να διαχωρίζει τους ικανούς από τους λιγότερο ικανούς εξεταζόμενους (γ) την τυχαιότητα (guessing) που αφορά συνήθως ερωτήματα επιλογής και εκφράζει την πιθανότητα ένας εξεταζόμενος που δεν έχει γνώση του θέματος να απαντήσει σωστά και (δ) τη διαφοροποίηση των απαντήσεων (differential performance) ανάλογα με την υποομάδα στην οποία ανήκει ο κάθε εξεταζόμενος. Για την ανάλυση των ερωτημάτων που χρησιμοποιούνται σε μια εξέταση έχουν προταθεί διάφοροι τρόποι και μεθοδολογίες όπως η κλασσική θεωρία ανάλυσης διαγωνισμάτων (Classical Test Theory-CTT) και η ανάλυση αποκρίσεων (Item Response Theory-IRT) Κλασσική Θεωρία Ανάλυσης Διαγωνισμάτων (Classical Test Theory - CTT) Στο πλαίσιο της κλασσικής θεωρίας θεωρείται ότι η παρατηρήσιμη συμπεριφορά των εξεταζόμενων -όπως αποτυπώνεται στις απαντήσεις τους στα διάφορα ερωτήματα- δεν αποτελεί την ακριβή μέτρηση της ικανότητας ή των ικανοτήτων που εξετάζονται αλλά το αποτέλεσμα της επίδρασης μιας σειράς παραγόντων. Οι διάφοροι παράγοντες που επηρεάζουν τον πραγματικό βαθμό (S T - true score) και δεν έχουν σχέση με την ικανότητα που εξετάζεται (συνθήκες εξέτασης, τυχαία επιλογή, προσωπικά προβλήματα του εξεταζόμενου κλπ) είτε αυξάνουν είτε μειώνουν το πραγματικό σκορ του εξεταζόμενου δημιουργώντας έτσι μια περιοχή λάθους στη μέτρηση που πραγματοποιείται με το διαγώνισμα. Βασική υπόθεση στη θεωρία αυτή είναι ότι το λάθος που παρατηρείται στη μέτρηση κατανέμεται κανονικά γύρω από το πραγματικό σκορ του εξεταζόμενου. Η μαθηματική σχέση που εκφράζει την παρατηρήσιμη συμπεριφορά των εξεταζόμενων δίνεται στην εξίσωση 1. S x = S T + e (εξ.1) όπου η ποσότητα S x εκφράζει τη συνολική βαθμολογία του εξεταζόμενου που έχει καταγραφεί, η ποσότητα S T είναι η πραγματική βαθμολογία που αντιστοιχεί στο επίπεδο ικανότητας του συγκεκριμένου εξεταζόμενου και e είναι το λάθος που προέρχεται από την επίδραση μιας σειράς παραγόντων (Lord & Novick, 1968). 34 P a g e

35 Ανάλυση διαγωνίσματος (test analysis) στο πλαίσιο της Κλασσικής θεωρίας Οι βασικές έννοιες που εμπλέκονται στο πλαίσιο της κλασσικής θεωρίας ανάλυσης διαγωνισμάτων είναι (α) η αξιοπιστία (reliability) και (β) η εγκυρότητα (validity). Αξιοπιστία διαγωνίσματος (reliability): Με τον όρο αξιοπιστία ενός διαγωνίσματος αναφερόμαστε στην ιδιότητά του να συγκεντρώνει παρόμοια σκορ αν επαναληφθεί από τον ίδιο εξεταζόμενο πολλές φορές. Η εκτίμηση της αξιοπιστίας ενός διαγωνίσματος μπορεί να γίνει : (α) με επανάληψη του διαγωνίσματος σε διαφορετικές χρονικές στιγμές χρησιμοποιώντας είτε παράλληλα διαγωνίσματα (parallel test) που βασίζονται σε διαφορετικές μορφές (π.χ χαρτί-μολύβι και μέσω υπολογιστή) είτε με εξέταση/επανεξέταση (test/retest) συγκρίνοντας τα αποτελέσματα διαγωνισμάτων που έχουν καταγραφεί από την ίδια ομάδα εξεταζόμενων σε διαφορετικές χρονικές στιγμές (β) με μία εξέταση σε μία χρονική στιγμή είτε χρησιμοποιώντας μισά διαγωνίσματα (half tests) μελετώντας τη συμπεριφορά των αποκρίσεων στα δύο μισά τμήματα της εξέτασης είτε την εσωτερική συνοχή (internal consistency) συγκρίνοντας τη συμπεριφορά των ερωτημάτων μέσα στο ίδιο το διαγώνισμα. Στην περίπτωση που χρησιμοποιηθούν παράλληλα διαγωνίσματα για τον έλεγχο της αξιοπιστίας πρέπει να δοθεί ιδιαίτερη βαρύτητα στην τεκμηρίωση της ισοδυναμίας των διαφορετικών μορφών του διαγωνίσματος. Τα μέτρα θέσης των αποκρίσεων στα παράλληλα διαγωνίσματα πρέπει να είναι παρόμοια (μέσο σκορ, τυπική απόκλιση κλπ) ενώ ο βαθμός συσχέτισης της βαθμολογίας στα δύο παράλληλα διαγωνίσματα αποτελεί ένδειξη αξιοπιστίας του διαγωνίσματος. Στην περίπτωση της επανεξέτασης το ίδιο διαγώνισμα δίνεται στην ίδια ομάδα εξεταζόμενων αλλά σε διαφορετικές χρονικές στιγμές. Αν η επανεξέταση γίνει σε πολύ μικρή απόσταση από την εξέταση μπορεί οι εξεταζόμενοι να θυμούνται τις προηγούμενες απαντήσεις τους ενώ αν η χρονική απόσταση είναι μεγάλη μπορεί οι απαντήσεις των εξεταζόμενων να επηρεαστούν από τη διαδικασία της μάθησης που έχει συντελεστεί ενδιάμεσα. Το πόσο απέχει χρονικά η εξέταση από την επανεξέταση καθορίζει και το πόσο αξιόπιστη θα είναι η μέτρηση της αξιοπιστίας. Η μέθοδος της διαίρεσης είναι πιο αποδοτική σε σχέση με την μέθοδο διάθεσης παράλληλων διαγωνισμάτων μια και βασίζεται σε ένα μόνο διαγώνισμα. Το διαγώνισμα διαχωρίζεται σε δύο μικρότερα σύνολα ερωτήσεων που πρέπει να έχουν το ίδιο μήκος αλλά και την ίδια δυσκολία. Στη συνέχεια υπολογίζεται ο βαθμός συσχέτισης του σκορ στα δύο μισά-διαγωνίσματα. Από τον εκτιμούμενο βαθμό αξιοπιστίας των μισών-διαγωνισμάτων μπορούμε να εκτιμήσουμε την αξιοπιστία του συνολικού διαγωνίσματος με την μέθοδο Spearman Brown (Spearman, 1910). Η μέθοδος της εσωτερικής συνοχής βασίζεται στην ιδέα ότι κάθε ένα ερώτημα μπορεί να θεωρηθεί σαν ένα ξεχωριστό διαγώνισμα που εξετάζει μια συγκεκριμένη ικανότητα. Ο ποιο διαδεδομένος τρόπος εφαρμογής της μεθόδου είναι ο υπολογισμός ενός συντελεστή που ονομάζεται 35 P a g e

36 cronbach alpha (Cronbach, 1984). Ο συντελεστής αυτός βασίζεται στον υπολογισμό της συσχέτισης που παρουσιάζουν οι απαντήσεις που έχουν καταγραφεί στα διαφορετικά ερωτήματα. Τα ερωτήματα που εμφανίζουν μεγάλο βαθμό συσχέτισης θεωρείται ότι εξετάζουν παρόμοιες ικανότητες. Είναι λογικό ότι όταν σε ένα διαγώνισμα συμμετέχουν πολλά ερωτήματα με μεγάλο βαθμό συσχέτισης τότε ο δείκτης εσωτερικής συνοχής του διαγωνίσματος αυξάνει. Παρόλα αυτά οι σχεδιαστές ενός διαγωνίσματος πρέπει να επιδιώκουν υψηλό βαθμό εσωτερικής συνοχής αλλά με όσο γίνεται μικρότερο αριθμό ερωτημάτων που έχουν βέβαια μεγάλη συσχέτιση μεταξύ τους. Εγκυρότητα διαγωνίσματος (validity): Διαχρονικά έχουν αποδοθεί διάφοροι ορισμοί στην έννοια της εγκυρότητας ενός διαγωνίσματος (Goodwin & Leech, 2003). Για μεγάλο χρονικό διάστημα η εγκυρότητα προσδιοριζόταν από τρεις επιμέρους παραμέτρους: (α) την εγκυρότητα περιεχομένου (π.χ αν το διαγώνισμα αποτελείται από ερωτήματα που καλύπτουν όλη τη διαθέσιμη ύλη που πρέπει να εξεταστεί) (β) την εγκυρότητα κριτηρίου (π.χ αν αποδεικνύεται ότι το διαγώνισμα μετρά μια γνωστή κατάσταση του εξεταζόμενου) και (γ) την κατασκευαστική εγκυρότητα (π.χ αν αποδεικνύεται η συσχέτιση του σκορ που έχουν επιτύχει οι εξεταζόμενοι με την ικανότητα που αξιολογείται). Στη νέα έκδοση για τα Πρότυπα Εκπαιδευτικής και Ψυχομετρικής Αξιολόγησης (Standards for Educational and Psychological Testing) η εγκυρότητα ενός διαγωνίσματος αναφέρεται πλέον στο βαθμό κατά τον οποίο οι πειραματικές ενδείξεις και η θεωρία ερμηνεύουν τα αποτελέσματα μιας εξέτασης. Η διαδικασία που αξιολογεί την εγκυρότητα ενός διαγωνίσματος (validation process) οδηγεί στην ανάπτυξη μιας σειράς από επιστημονικά έγκυρες διαδικασίες ανάλυσης που στοχεύουν στην αποδοτική ερμηνεία των αποτελεσμάτων σε ένα διαγώνισμα. Ουσιαστικά αξιολογούνται τα μετρήσιμα αποτελέσματα που έχουν καταγραφεί και όχι το ίδιο το διαγώνισμα. Όταν μάλιστα τα αποτελέσματα ενός διαγωνίσματος χρησιμοποιούνται με διαφορετικούς τρόπους θα πρέπει να ελέγχεται η εγκυρότητα του κάθε τρόπου αξιοποίησης χωριστά. Το σύνολο των επιστημονικών ενδείξεων που συγκεντρώνονται για το σκοπό αυτό αποτελούν διαφορετικές πτυχές της εγκυρότητας αλλά δεν μπορούν να θεωρηθούν σαν διαφορετικοί τύποι εγκυρότητας. Η έννοια της εγκυρότητας ενός διαγωνίσματος θεωρείται πλέον ενιαία και αναφέρεται τελικά στο βαθμό κατά τον οποίο όλες οι επιμέρους ενδείξεις υποστηρίζουν και ερμηνεύουν ικανοποιητικά τα καταγεγραμμένα και μετρήσιμα αποτελέσματα (AERA, APA, & JCSEPT, 1999). Για να προσεγγίσει κάποιος την έννοια της εγκυρότητας θα πρέπει να αναζητήσει ενδείξεις που αφορούν: (α) στο περιεχόμενο του διαγωνίσματος (test content) (β) στη διαδικασία απόκρισης (response process) (γ) στην εσωτερική δομή (internal structure) (δ) στη σχέση με άλλες μεταβλητές 36 P a g e

37 (relations to other variables) και (ε) στις συνέπειες του διαγωνίσματος (consequences of testing) όπως περιγράφεται στον πίνακα P a g e

38 Πίνακας 1: Πως τεκμηριώνεται η εγκυρότητα ενός διαγωνίσματος Ενδείξεις περιεχομένου (evidence based on test content) Σύντομη περιγραφή Στο πλαίσιο της αναζήτησης ενδείξεων που αφορούν στο περιεχόμενο του διαγωνίσματος γίνεται τεκμηρίωση των μετρικών που χρησιμοποιούνται για την ανάλυση των θεμάτων (π.χ μορφή ερωτημάτων, ποιότητα και σαφήνεια εκφωνήσεων, αντιστοιχία ερωτημάτων με τους κόμβους του πίνακα εξεταζόμενης ύλης κλπ) μέσα από αναφορές ειδικών (expert groups) Ενδείξεις απόκρισης (evidence based on response process) Σύντομη περιγραφή Αφορά στη συγκέντρωση ενδείξεων ότι οι ενέργειες που απαιτούνται από τους εξεταζόμενους συμβαδίζουν με το επιθυμητό σύνολο ικανοτήτων που ελέγχει το διαγώνισμα. Ουσιαστικά ελέγχονται οι τρόποι με τους οποίους οι εξεταζόμενοι διαχειρίζονται τα θέματα και οδηγούνται στις απαντήσεις τους μέσα από συγκεκριμένες συμπεριφορές (Goodwin, 2002) Ενδείξεις εσωτερικής δομής (evidence based on internal structure) Σύντομη περιγραφή Στο πλαίσιο αυτό συγκεντρώνονται ενδείξεις που τεκμηριώνουν τη συμμόρφωση των επιμέρους στοιχείων ενός διαγωνίσματος με το υπό εξέταση περιεχόμενο. Η συγκέντρωση τέτοιων ενδείξεων βασίζεται κυρίως στην παραγοντική ανάλυση (factor analysis) και στην ανάλυση διαφορετικών αποκρίσεων (Differential Item Function DIF) μέσω της οποίας εξετάζεται το αν εξεταζόμενοι που έχουν την ίδια ικανότητα αλλά ανήκουν σε διαφορετικές ομάδες έχουν διαφορετική πιθανότητα επιτυχίας σε ένα ερώτημα (Hattie, Jaeger, & Bond, 1999) Ενδείξεις συσχέτισης (evidence based on relation to other variables) Σύντομη περιγραφή Στο πλαίσιο αυτό συγκεντρώνονται ενδείξεις που βασίζονται στη συσχέτιση των αποτελεσμάτων των εξεταζόμενων με άλλες ομάδες που έχουν μελετηθεί στο παρελθόν και έχουν γνωστά στατιστικά χαρακτηριστικά ή με άλλες μεταβλητές που μετριούνται με διαφορετικά εργαλεία μέτρησης. Ενδείξεις συνεπειών (evidence based on consequences of testing) Σύντομη περιγραφή Κάθε εξέταση ή πιστοποίηση ικανοτήτων στοχεύει στη διερμήνευση των αποτελεσμάτων ώστε να παρθούν κάποιες αποφάσεις σε επαγγελματικό, εκπαιδευτικό ή κοινωνικό επίπεδο. Στο πλαίσιο αυτό αναζητούνται ενδείξεις που τεκμηριώνουν ότι οι συνέπειες που θα έχει το διαγώνισμα στην επαγγελματική, εκπαιδευτική ή κοινωνική ζωή των εξεταζόμενων είναι συνεπείς με τις προδιαγραφές που έχουν τεθεί. Χριστακούδης Ξ. Χρήστος Σχόλιο Μια σειρά από χρήσιμες οδηγίες για την οργάνωση της διαδικασίας αυτής (π.χ βέλτιστος αριθμός ειδικών, τρόπος εκπαίδευσης κλπ) έχουν καταγραφεί στη βιβλιογραφία (Berk, 1990; Grant & Davis, 1997, 1997) Σχόλιο Για την καταγραφή τέτοιων ενδείξεων συχνά ακολουθείται η μέθοδος της παρατήρησης (κατά τη διάρκεια της εξέτασης) ή η διεξαγωγή συνεντεύξεων των εξεταζόμενων μετά την ολοκλήρωση του διαγωνίσματος Σχόλιο Η μελέτη των διαφορετικών αποκρίσεων (DIF) μπορεί να υλοποιηθεί είτε με τεχνικές της κλασσικής θεωρίας ανάλυσης διαγωνισμάτων (Classical Test Theory) είτε με τεχνικές ανάλυσης αποκρίσεων (Item Response Theory) (Nunnally & Bernstein, 1994) Σχόλιο Σε γενικές γραμμές το σύνολο των ενδείξεων που καταγράφονται στην κατηγορία αυτή βασίζεται στην έννοια της συσχέτισης (correlation) με διάφορες μεταβλητές (Goodwin & Leech, 2003) Σχόλιο Η μελέτη των συνεπειών που έχει μια εξέταση μεγάλης κλίμακας μπορεί να γίνει με μεθοδική παρατήρηση σε εστιασμένες ομάδες (focus groups) η με άλλες τεχνικές παρατήρησης (Chudowsky & Behuniak, 1998; Millman, 1998) Από την παραπάνω ανάλυση συνάγεται ότι η εγκυρότητα ενός διαγωνίσματος δεν μπορεί να εκτιμηθεί με ένα μόνο συντελεστή αλλά εμπεριέχει μια σειρά από στοιχεία που πρέπει να διερευνηθούν. 38 P a g e

39 Ανάλυση ερωτημάτων (item analysis) στο πλαίσιο της Κλασσικής θεωρίας Στο πλαίσιο της κλασσικής ανάλυσης ενός διαγωνίσματος η παρατηρήσιμη βαθμολογία ενός εξεταζόμενου εξαρτάται κυρίως από τη σύνθεση του διαγωνίσματος και δεν μας δίνει πληροφορίες για τη λανθάνουσα ικανότητα του εξεταζόμενου. Η βαθμολογία ενός εξεταζόμενου παράγεται σαν το άθροισμα των αποκρίσεων του εξεταζόμενου σε μια σειρά από επιμέρους ερωτήματα που συνθέτουν το διαγώνισμα. Έτσι, σημαντικό μέρος της ανάλυσης παίζουν τα στατιστικά χαρακτηριστικά κάθε ξεχωριστού ερωτήματος. Τα βασικά χαρακτηριστικά που αφορούν στα ερωτήματα είναι: (α) ο δείκτης ευκολίας/δυσκολίας (item facility or difficulty) και (β) ο δείκτης διακριτικής ικανότητας (item discrimination). Δείκτης δυσκολίας (item difficulty). Ο δείκτης αυτός υπολογίζεται με το λόγο ανάμεσα στο πλήθος των εξεταζόμενων που απάντησαν σωστά στο ερώτημα προς το σύνολο των ατόμων στα οποία εκτέθηκε το ερώτημα στη διάρκεια του χρόνου (διχοτομικά δεδομένα). Όσο μεγαλύτερη είναι η δυσκολία με την οποία οι εξεταζόμενοι αντιμετωπίζουν το ερώτημα τόσο μικρότερος εμφανίζεται ο δείκτης αυτός και το ανάποδο (Wood, 1965) ενώ μπορεί να υπολογιστεί από την εξίσωση 2 (Crocker, 1986). (εξ. 2) όπου C orrect είναι το πλήθος των σωστών απαντήσεων ενώ T otal το συνολικό πλήθος εμφανίσεων του ερωτήματος. Όσο μεγαλύτερη είναι η βαρύτητα μιας ερώτησης τόσο η επιθυμητή τιμή του δείκτη αυτού θα πρέπει να τείνει στο 0.5. Στην πράξη ο δείκτης δυσκολίας των επιμέρους δοκιμασιών μπορεί να κυμαίνεται από 0.2 μέχρι 0.8. Όταν μάλιστα έχουμε ένα διαγώνισμα με πολλές ερωτήσεις τότε είναι επιθυμητό να συμμετέχουν ερωτήματα διαφορετικής δυσκολίας ώστε να εξετάζεται όλο το πιθανό φάσμα ικανοτήτων. Δοκιμασίες με πολύ μεγάλο (>0.8) η πολύ μικρό (<0.2) δείκτη δυσκολίας πρέπει να αποφεύγονται γιατί δεν συνεισφέρουν ικανοποιητικά στην αξιολόγηση των εξεταζόμενων (McAlpine, 2002a). Είναι εύλογο ότι ο δείκτης αυτός εξαρτάται πολύ από το επίπεδο των εξεταζόμενων. Για παράδειγμα αν ο δείκτης υπολογιστεί πάνω σε μια ομάδα ιδιαίτερα ικανών εξεταζόμενων τότε θα έχει υψηλή τιμή με αποτέλεσμα να θεωρηθεί η ερώτηση εύκολη και το ανάποδο. Αν και έχουν προταθεί διάφοροι τρόποι για να αντιμετωπιστεί το πρόβλημα της έντονης συσχέτισης ανάμεσα στις τιμές του δείκτη ευκολίας και του δείγματος των εξεταζόμενων (Nuttall & Willmott, 1972) αυτό συνεχίζει να αποτελεί το βασικό μειονέκτημα της κλασσικής ανάλυσης ερωτημάτων. 39 P a g e

40 Δείκτης διακριτικότητας (item discrimination). Εκφράζει το βαθμό στον οποίο η δοκιμασία καταφέρνει να διαμερίσει τους εξεταζόμενους και αποτελεί ένα μέτρο της παρεχόμενης πληροφορίας (information) για την ομάδα των υποψηφίων. Ο δείκτης διακριτικότητας συσχετίζει την απόδοση σε ένα ερώτημα με τη συνολική απόδοση στο διαγώνισμα. Όταν έχουμε ένα ερώτημα το οποίο εξετάζει την ίδια γνώση, δεξιότητα ή στάση με ολόκληρο το διαγώνισμα περιμένουμε ότι ένας εξεταζόμενος με μεγάλη ικανότητα θα έχει μεγάλη πιθανότητα να απαντήσει σωστά στο ερώτημα ενώ αντίθετα ένας εξεταζόμενος με χαμηλή ικανότητα θα έχει μικρή πιθανότητα επιτυχίας. Έτσι, ένα "καλό" ερώτημα θα περιμέναμε να διαχωρίζει καλά τους ικανούς από τους μη ικανούς εξεταζόμενους. Η διακριτική ισχύς ενός ερωτήματος μπορεί να προσεγγιστεί είτε από τον δείκτη διακριτικότητας (discrimination index) είτε από τους συντελεστές διακριτικής ικανότητας (discrimination coefficients). Για να υπολογιστεί ο δείκτης διακριτικότητας ενός ερωτήματος πρέπει να ταξινομηθούν τα δεδομένα των εξεταζόμενων με βάση το συνολικό σκορ στο διαγώνισμα και στη συνέχεια να οριστούν δύο ομάδες στα άκρα που περιέχουν το 27% των απαντήσεων η κάθε μία. Ο τύπος για τον υπολογισμό του δείκτη διακριτικότητας δίνεται από την εξίσωση 3. (εξ. 3) όπου U correct είναι το πλήθος των εξεταζόμενων που απάντησαν σωστά στο ερώτημα από τους 27% εξεταζόμενους με το μεγαλύτερο σκορ, D correct είναι το πλήθος των εξεταζόμενων που απάντησαν σωστά στο ερώτημα από τους 27% εξεταζόμενους με το μικρότερο σκορ και Ν είναι το μέγιστο πλήθος εξεταζόμενων στις δύο ομάδες. Αν όλοι οι εξεταζόμενοι που ανήκουν στην ομάδα U correct απάντησαν σωστά στο ερώτημα και αντίστοιχα όλοι οι εξεταζόμενοι στην ομάδα D correct απάντησαν λάθος τότε η τιμή του δείκτη διακριτικότητας γίνεται D=+1.0 που αποτελεί και την μεγαλύτερη τιμή. Το ανάποδο φαινόμενο θα οδηγούσε σε δείκτη διακριτικότητας D = -1.0 που είναι και η χαμηλότερη τιμή του. Ανάλογα με την τιμή του δείκτη διακριτικότητας θα μπορούσαμε να χαρακτηρίσουμε και την ποιότητα του ερωτήματος σαν εξαιρετική (excellent), καλή (good), μέτρια (mediocre), μικρή (poor) και κακή (worst) όπως φαίνεται στον πίνακα P a g e

41 Πίνακας 2: Πίνακας αξιολόγησης ερωτήματος (Ebel & Frisbie, 1991) Δείκτης Διακριτικότητας D Ποιότητα Ερωτήματος Χριστακούδης Ξ. Χρήστος Προτεινόμενες Ενέργειες > 0.39 εξαιρετική (excellent) διατήρηση του ερωτήματος καλή ( good) υπάρχουν πιθανότητες βελτίωσης του ερωτήματος μέτρια (mediocre) το ερώτημα πρέπει να ελεγχθεί και πιθανόν να αναθεωρηθεί μικρή (poor) απόρριψη ερωτήματος ή αναθεώρησή του σε βάθος < 0.0 κακή ( worst) οριστική απόρριψη του ερωτήματος Η σχέση ανάμεσα στο ερώτημα και το συνολικό σκορ μπορεί να είναι θετική ή αρνητική. Στην πράξη, ο βαθμός διακριτικής ικανότητας των ερωτημάτων που συμμετέχουν σε ένα διαγώνισμα πρέπει να είναι θετικός αριθμός από 0.2 μέχρι 1.0. Τα ερωτήματα που εμφανίζουν δείκτη διακριτικής ικανότητας κάτω από 0.2 θεωρούνται αδύναμα (weak) ενώ η επιθυμητή τιμή του δείκτη είναι πάνω από 0.4 Όσο μεγαλύτερος είναι ο βαθμός διακριτικής ικανότητας τόσο "καλύτερη" θεωρείται η ερώτηση (McAlpine, 2002a). Πρέπει να τονιστεί όμως ότι όταν το διαγώνισμα δεν είναι μονοδιάστατο (δηλαδή περιέχει ομάδες ερωτημάτων που εξετάζουν επιμέρους ικανότητες multidimentional test) τότε ο δείκτης πρέπει να υπολογίζεται σε σχέση με το συνολικό σκορ στα ερωτήματα της ίδιας ομάδας. Ένας άλλος τρόπος για την εκτίμηση της διακριτικής ισχύος ενός ερωτήματος είναι με τον υπολογισμό ενός σημείου συσχέτισης (biserial correlation) που χρησιμοποιείται όταν συσχετίζεται μια διχοτομική μεταβλητή (1-σωστή και 0-λάθος απάντηση σε ένα συγκεκριμένο ερώτημα) με μια ποσοτική μεταβλητή (το συνολικό σκορ των εξεταζόμενων στο διαγώνισμα). Για τον υπολογισμό της συσχέτισης ανάμεσα στις απαντήσεις των εξεταζόμενων στο ερώτημα και στο συνολικό του σκορ μπορεί να χρησιμοποιηθεί η εξίσωση 4 (Gupta, 1960). (εξ. 4) όπου X 1 είναι το μέσο συνολικό σκορ που έχουν επιτύχει οι εξεταζόμενοι που έχουν απαντήσει σωστά στην ερώτηση, X 0 είναι το μέσο συνολικό σκορ που έχουν επιτύχει οι εξεταζόμενοι που έχουν απαντήσει λανθασμένα, σ x είναι η διακύμανση του συνολικού σκορ που έχουν επιτύχει οι εξεταζόμενοι στο διαγώνισμα και p είναι το ποσοστό των εξεταζόμενων που απάντησαν σωστά. Η ποιότητα ενός ερωτήματος μπορεί να τεκμηριωθεί και από άλλες στατιστικές παραμέτρους όπως είναι η διασπορά (variance) των απαντήσεων. Ο υπολογισμός των στατιστικών χαρακτηριστικών των ερωτημάτων που συμμετέχουν σε ένα διαγώνισμα μπορεί να αξιοποιηθεί από τους κατασκευαστές των ερωτημάτων στο πλαίσιο της βελτίωσης της τράπεζας θεμάτων. Για παράδειγμα ερωτήματα στα 41 P a g e

42 οποία αποτυγχάνουν οι ικανοί εξεταζόμενοι ή το αντίθετο δεν είναι επιθυμητά. Αν και η ανάλυση των ερωτημάτων δεν μπορεί να εξηγήσει το γιατί παρουσιάζεται μια μη ομαλή συμπεριφορά μπορεί να εντοπίσει με αποδοτικό τρόπο εκείνα τα ερωτήματα που πρέπει να αναθεωρηθούν (McAlpine, 2002b) Συγκρισιμότητα της βαθμολογίας των εξεταζόμενων Κατά τη φάση σχεδίασης ενός διαγωνίσματος πρέπει να ληφθούν υπόψη όλες εκείνες οι παράμετροι που θα ενισχύσουν την αξιοπιστία (π.χ την εσωτερική συνοχή των ερωτημάτων που χρησιμοποιούνται στο διαγώνισμα) και την εγκυρότητα (π.χ την ικανότητα μέτρησης και αξιολόγησης των ικανοτήτων για τις οποίες έχει σχεδιαστεί το διαγώνισμα). Για να εξασφαλιστεί όμως η δυνατότητα σύγκρισης του σκορ που έχουν πετύχει οι εξεταζόμενοι σε διάφορα διαγωνίσματα πρέπει να ελεγχθούν και μια σειρά εξωτερικών παραγόντων που μπορεί να επηρεάζουν τις αποκρίσεις των εξεταζόμενων. Για το σκοπό αυτό, η οργάνωση εξετάσεων μεγάλης κλίμακας πρέπει να γίνεται με συγκεκριμένους κανόνες ώστε να διασφαλίζονται ομοιόμορφες συνθήκες εξέτασης ανεξάρτητα από το χώρο και το χρόνο υλοποίησης του διαγωνίσματος (De Klerk, 2008). Επιπλέον, όταν τα διαγωνίσματα είναι διαφορετικά ως προς τις γνώσεις ή τις ικανότητες που αξιολογούν μπορούν να συγκριθούν μεταξύ τους μετά από την απαραίτητη κανονικοποίηση. Το ποιο δημοφιλές μέτρο κανονικοποίησης αποτελούν οι σταθεροί βαθμοί z που εκφράζουν το πόσες τυπικές αποκλίσεις απέχει η συνολική βαθμολογία ενός εξεταζόμενου από τη μέση βαθμολογία που έχει καταγραφεί με την προϋπόθεση της κανονικής κατανομής των βαθμολογιών. Η μαθηματική σχέση που μπορεί να χρησιμοποιηθεί για την κανονικοποίηση των τελικών βαθμολογιών δίνεται από την εξίσωση 5: (εξ.5) όπου x είναι η βαθμολογία που έχει καταγραφεί (row score), μ είναι η μέση τιμή των βαθμολογιών στο συγκεκριμένο διαγώνισμα και σ είναι η τυπική απόκλιση των βαθμολογιών. Επειδή όμως στην πράξη τα στατιστικά χαρακτηριστικά του πληθυσμού (μ,σ) δεν είναι γνωστά μπορούν να αντικατασταθούν από τις αντίστοιχες εκτιμήσεις των ποσοτήτων αυτών από επαρκή δείγματα του πληθυσμού (Ley, 2007). Η πρακτική σημασία της ανάλυσης των ερωτημάτων και της στατιστικής τους συμπεριφοράς είναι η αναζήτηση ενδείξεων που θα οδηγήσουν τους σχεδιαστές των διαγωνισμάτων στην απόρριψη ερωτημάτων και στη βελτίωση της τράπεζας θεμάτων με απώτερο σκοπό την παραγωγή διαγωνισμάτων που έχουν καλύτερη συμπεριφορά με βάση μια σειρά από καλά ορισμένα κριτήρια όπως αξιοπιστία, εγκυρότητα, δυσκολία, διακριτική ικανότητα κλπ. Στην πράξη μπορούν να 42 P a g e

43 συντρέχουν διάφοροι λόγοι για τους οποίους μια δοκιμασία δε συμπεριφέρεται σωστά. Για παράδειγμα, για ένα δεδομένο σύνολο εξεταζόμενων θα πρέπει να επιλέγουμε δοκιμασίες αντίστοιχης δυσκολίας καθώς και δοκιμασίες που έχουν την ικανότητα να διακρίνουν τους αδύνατους από τους πολύ ικανούς. Όταν η δοκιμασία βασίζεται σε ερωτήματα κλειστού τύπου όπου δίνονται οι πιθανές απαντήσεις (δολώματα) μπορεί να υπολογιστεί και το ποσοστό των υποψηφίων που έχουν επιλέξει το κάθε δόλωμα και η συσχέτισή του με τον τελικό βαθμό στο ηδιαγώνισμα. Η αναμενόμενη τιμή αυτού του δείκτη συσχέτισης είναι θετική και υψηλή για τις σωστές απαντήσεις σε μια δοκιμασία και αρνητική για τα δολώματα. Ο δείκτης αυτός μας αποκαλύπτει αν όσοι έχουν μεγάλο βαθμό στο ηδιαγώνισμα τείνουν να απαντούν σωστά στο συγκεκριμένο ερώτημα. Ένα σημαντικό μειονέκτημα της κλασσικής ανάλυσης διαγωνισμάτων (CTT) είναι ότι τα συμπεράσματα τα οποία εξάγονται από την μελέτη των παραπάνω δεικτών εξαρτώνται πάρα πολύ από το δείγμα που χρησιμοποιείται για την ανάλυση (McAlpine, 2003). Η τάση που επικρατεί σήμερα είναι η ανάλυση των ερωτημάτων και των διαγωνισμάτων να βασίζεται σε μια σύγχρονη, συνεκτική και κομψή θεωρία που ονομάζεται Θεωρία Ανάλυσης Αποκρίσεων (Item Response Theory-IRT) Θεωρία Ανάλυσης Αποκρίσεων (Item Response Theory) Η θεωρία ανάλυσης αποκρίσεων (Item Response Theory IRT) μπορεί επίσης να χρησιμοποιηθεί για τη σχεδίαση, την ανάλυση και τη βαθμολόγηση ηδιαγωνισμάτων που προσπαθούν να μετρήσουν κάποιες λανθάνουσες ικανότητες των υποψηφίων. Βασίζεται σε μαθηματικά μοντέλα που προσπαθούν να περιγράψουν τη σχέση που έχουν οι αποκρίσεις των εξεταζόμενων με μια σειρά από λανθάνουσες μεταβλητές με τη βασική προϋπόθεση ότι η απόκριση των εξεταζόμενων στο ηδιαγώνισμα οφείλεται πράγματι σε αυτές τις λανθάνουσες ικανότητες (Baker & Kim, 2004; Linden & Hambleton, 1997; Lord, 1980a) Ανάλυση ερωτημάτων (item analysis) στο πλαίσιο της IRT Στο πλαίσιο της θεωρίας αυτής, η απόκριση των εξεταζόμενων σε μια δοκιμασία μπορεί να μοντελοποιηθεί από μια μονότονα αύξουσα συνάρτηση που ονομάζεται χαρακτηριστική εξίσωση της δοκιμασίας (Item Characteristic Curve ICC). Έτσι, η πιθανότητα ένας εξεταζόμενος να απαντήσει σωστά σε μια δοκιμασία δίνεται από μια μαθηματική συνάρτηση παραμέτρων που αφορούν είτε στον εξεταζόμενο είτε στη δοκιμασία. Συνήθως η παράμετρος που αφορά στον εξεταζόμενο ονομάζεται ικανότητα (ability) ενώ οι παράμετροι που αφορούν στην ίδια τη δοκιμασία μπορούν να είναι ο βαθμός δυσκολίας, ο βαθμός διακριτικής ικανότητας και ο βαθμός τυχαιότητας στην καταχώριση της απάντησης. Ένα γενικό μαθηματικό μοντέλο που αναπαριστά τη σχέση ανάμεσα στη λανθάνουσα μεταβλητή και στις παραμέτρους της δοκιμασίας δίνεται στην εξίσωση P a g e

44 P i (θ) = c i + (1 c i )g{a i (θ b i )} (εξ.6) όπου θ εκφράζει την ικανότητα του εξεταζόμενου, P i (θ) είναι η πιθανότητα ένας εξεταζόμενος με ικανότητα θ να απαντήσει σωστά στην ερώτηση i ενώ a i είναι ο βαθμός διακριτικότητας, b i ο βαθμός δυσκολίας και c i είναι ο παράγοντας τυχαιότητας της ερώτησης. Οι βασικές προϋποθέσεις που πρέπει να ισχύουν προκειμένου να εφαρμοστεί η θεωρία IRT για την ανάλυση των αποκρίσεων που έχουν δώσει οι εξεταζόμενοι είναι (Hambleton, 1991): η παρατηρούμενη συμπεριφορά των εξεταζόμενων να ερμηνεύεται μόνο από μια απλή λανθάνουσα μεταβλητή όπως είναι η ικανότητα σε ένα γνωστικό αντικείμενο (unidimensionality) για δύο ή περισσότερους εξεταζόμενους που έχουν την ίδια ικανότητα, οι απαντήσεις τους σε οποιοδήποτε ζευγάρι δοκιμασιών να είναι στατιστικά ανεξάρτητες (local independent ) η πιθανότητα σωστής απάντησης P i (θ) σε μια δοκιμασία να μην εξαρτάται από το δείγμα των εξεταζόμενων που χρησιμοποιήθηκε για να εκτιμηθούν οι παράμετροι του μοντέλου όταν ένας τυχαίος εξεταζόμενος αποτυγχάνει να απαντήσει σωστά σε μια δοκιμασία αυτό να οφείλεται στη χαμηλή ικανότητά του και όχι επειδή δεν είχε αρκετό χρόνο για να απαντήσει (speededness) Διάφορα μοντέλα έχουν προταθεί στο πλαίσιο της IRT αλλά τα μαθηματικά μοντέλα που χρησιμοποιούνται πιο συχνά στη διεθνή βιβλιογραφία είναι: (α) το μοντέλο μιας παραμέτρου (one parameter model) ή μοντέλο Rasch (Rasch, 1981) όπου μόνο η δυσκολία της δοκιμασίας συμμετέχει (β) το μοντέλο δύο παραμέτρων (two parameters model) στο οποίο συμμετέχει τόσο ο βαθμός δυσκολίας όσο και η διακριτική ικανότητα της δοκιμασίας και (γ) το μοντέλο τριών παραμέτρων (three parameters model) όπου κάθε δοκιμασία χαρακτηρίζεται από τη δυσκολία, το βαθμό διακριτικής ικανότητας και το βαθμό τυχαίας επιλογής. Στην πράξη, η χαρακτηριστική εξίσωση μιας δοκιμασίας που ακολουθεί το πιο γενικό μοντέλο τριών παραμέτρων ορίζεται από την εξίσωση 7 : Dai ( bi) e Pi( ) ci (1 ci) Dai ( bi) 1 e i =1, 2, 3,...n items (εξ.7) όπου D είναι μια σταθερά που επιλέγεται να έχει την τιμή D=1.7 (Lord & Novick, 1968). Το μοντέλο μιας παραμέτρου ή μοντέλο Rasch βασίζεται στην υπόθεση ότι η πιθανότητα να απαντήσει σωστά ένας τυχαίος εξεταζόμενος σε μια συγκεκριμένη ερώτηση εξαρτάται μόνο από το βαθμό δυσκολίας του ερωτήματος. Έτσι αν η ικανότητα του εξεταζόμενου είναι μεγαλύτερη από το βαθμό δυσκολίας της δοκιμασίας τότε η αναμενόμενη πιθανότητα είναι μεγαλύτερη από P a g e

45 Αντίστοιχα, αν η ικανότητα είναι μικρότερη από το βαθμό δυσκολίας τότε η αναμενόμενη πιθανότητα σωστής απόκρισης είναι και αυτή κάτω από.5. Όταν η ικανότητα του εξεταζόμενου ταυτίζεται με το βαθμό δυσκολίας μιας δοκιμασίας τότε η αντίστοιχη πιθανότητα αναμένεται να είναι 0.5. Η έκφραση που μοντελοποιεί τα παραπάνω δίνεται στην εξίσωση 8: log( Pn i /(1-Pn i ))=log(pn i ) log(1-pn i ) (εξ.8) όπου P ni είναι η πιθανότητα ο εξεταζόμενος (n) να απαντήσει σωστά στη δοκιμασία (i). Οι μονάδες που προκύπτουν από την εξίσωση αυτή είναι γνωστές σαν logint και κυμαίνονται από -0.3 μέχρι και +0.3 πάνω σε μια λογαριθμική κλίμακα με μέση τιμή το μηδέν. Μια δοκιμασία που φαίνεται να έχει αρνητικές τιμές τείνει να θεωρείται εύκολη ενώ μια δοκιμασία με θετικές τιμές θεωρείται δύσκολη. Η αποτύπωση των χαρακτηριστικών εξισώσεων όλων των δοκιμασιών σε μια τέτοια κλίμακα μπορεί να μας δώσει πληροφορίες για τη σχετική δυσκολία της κάθε δοκιμασίας σε σχέση με όλες τις άλλες δοκιμασίες που συμμετέχουν σε ένα ηδιαγώνισμα. Οι διάφορες δοκιμασίες διατηρούν τη σχετική τους διάταξη ανεξάρτητα από τους πληθυσμούς εξεταζόμενων οι οποίοι καλούνται να τις απαντήσουν κάθε φορά. Από την ανάλυση των χαρακτηριστικών εξισώσεων που αντιστοιχούν στις διάφορες δοκιμασίες ενός ηδιαγωνίσματος όταν ακολουθούμε το μοντέλο Rasch μπορούμε να χαρακτηρίσουμε τις δοκιμασίες σαν εύκολες-μέτριες-δύσκολες ανάλογα με τις αποκρίσεις των εξεταζόμενων σε αυτές. Η συμπεριφορά όμως μιας δοκιμασίας μπορεί να ερμηνεύεται από διάφορους παράγοντες που πιθανόν να ισχύουν κάθε φορά όπως: μια δοκιμασία μπορεί να χαρακτηρίζεται σαν ιδιαίτερα δύσκολη (τιμές +2 μέχρι +3) γιατί o αναφέρεται σε γνώσεις και δεξιότητες που δεν αντιστοιχούν στους εξεταζόμενους o η επιλογή των δολωμάτων δεν είναι η βέλτιστη (ασάφειες, όχι μοναδική απάντηση, χρήση δολωμάτων που πιθανόν είναι ευαίσθητα στο χρόνο κλπ) μια δοκιμασία μπορεί να χαρακτηρίζεται σαν ιδιαίτερα εύκολη (τιμές -2 μέχρι -3) γιατί o έχει προφανείς απαντήσεις ή προφανή λύση o η απάντηση στη δοκιμασία μπορεί να εξαρτάται ή να καθορίζεται από άλλες δοκιμασίες στις οποίες έχει απαντήσει ο εξεταζόμενος νωρίτερα Κατά την ανάλυση με βάση το συγκεκριμένο μοντέλο υπεισέρχεται συχνά και η έννοια της συνάρτησης ταιριάσματος (fit statistic) η οποία προσπαθεί να μετρήσει πόσο καλά ταιριάζουν τα δεδομένα μιας εξέτασης με τις αναμενόμενες αποκρίσεις που προβλέπονται από το μοντέλο. Τα 45 P a g e

46 ηδιαγωνίσματα μπορούν να αντιμετωπιστούν σαν ένα σύνολο από επιμέρους δοκιμασίες οι οποίες καταλήγουν σε μια καταγεγραμμένη απόκριση από τους εξεταζόμενους. Το σύνολο αυτών των αποκρίσεων διαμορφώνει το τελικό αποτέλεσμα στο ηδιαγώνισμα (σκορ) και αποτελεί στην ουσία μια εκτίμηση για το επίπεδο ικανότητας (ability) που έχει ο κάθε διαγωνιζόμενος. Η σχέση όμως ανάμεσα στην απόκριση των εξεταζόμενων (συνολικό σκορ) και στις ικανότητές τους εξαρτάται από την κατανομή των δοκιμασιών στο ηδιαγώνισμα και δεν είναι απαραίτητα γραμμική όπως φαίνεται και στο σχήμα 1. Σχήμα 1: Η μορφή της χαρακτηριστικής καμπύλης ενός ερωτήματος (ICC) Όπως σε όλες τις μαθηματικές μοντελοποιήσεις, η αξιοποίηση των μοντέλων IRT για την ανάλυση της συμπεριφοράς μιας δοκιμασίας πρέπει να λαμβάνει υπόψη της και το πιθανό λάθος που μπορεί να εμφανίζεται κάθε φορά. Μέσα από διαδικασίες αναθεώρησης των δοκιμασιών μπορούμε να ελέγξουμε ή να μειώσουμε το λάθος αυτό αλλά σίγουρα δεν μπορούμε να το εξαλείψουμε σε πραγματικές συνθήκες (Cox, 1958) Ανάλυση η-διαγωνισμάτων (test analysis) στο πλαίσιο της IRT Αν και η θεωρία IRT βασίζεται στη μελέτη των ερωτημάτων ενός διαγωνίσματος, δύο έννοιες εμπλέκονται κυρίως όταν η ανάλυση περιστρέφεται γύρω από ολόκληρο το διαγώνισμα: (α) Χαρακτηριστική Καμπύλη Διαγωνίσματος (Test Characteristic Curve-TCC) που αφορά στον υπολογισμό της σχέσης που υπάρχει ανάμεσα στις ικανότητες των εξεταζόμενων και το πραγματικό τους σκορ και (β) Συνάρτηση Πληροφορίας του Διαγωνίσματος (Test Information Function-TIF) που αφορά σε μια εκτίμηση της ακρίβειας με την οποία εκτιμά το διαγώνισμα την ικανότητα των εξεταζόμενων. Οι δύο παραπάνω ιδιότητες ενός διαγωνίσματος υπολογίζονται με βάση τα αντίστοιχα χαρακτηριστικά των επιμέρους ερωτημάτων. Χαρακτηριστική Καμπύλη Διαγωνίσματος (Test Characteristic Curve TCC) 46 P a g e

47 Η θεωρία IRT βασίζεται στη μοντελοποίηση της συμπεριφοράς κάθε ερωτήματος που συμμετέχει σε ένα διαγώνισμα. Στην περίπτωση των διχοτομικών ερωτημάτων η επιτυχής απόκριση του εξεταζόμενου σε ένα ερώτημα βαθμολογείται με (1) ενώ η αποτυχία με (0). Έτσι, η συνολική βαθμολογία του εξεταζόμενου στο διαγώνισμα προκύπτει από το άθροισμα των διχοτομικών αποτελεσμάτων σε κάθε επιμέρους ερώτημα. Το τελικό αποτέλεσμα της βαθμολόγησης θα κυμαίνεται από το 0 (όταν ο εξεταζόμενος δεν έδωσε καμία σωστή απάντηση) μέχρι το ν (όταν ο εξεταζόμενος έχει απαντήσει σωστά σε όλα τα ερωτήματα). Αν υποθέσουμε ότι ένας συγκεκριμένος εξεταζόμενος επαναλάβει ένα συγκεκριμένο διαγώνισμα πολλές φορές και οι απαντήσεις του στις διαδοχικές απόπειρες δεν επηρεάζονται μεταξύ τους τότε αναμένουμε ότι σε κάθε απόπειρα θα συγκεντρώνει και μια ελαφρώς διαφορετική βαθμολογία η οποία όμως θα κυμαίνεται με μικρές αποκλίσεις γύρω από μια συγκεκριμένη μέση τιμή. Αυτή η αναμενόμενη βαθμολογία ονομάζεται πραγματικό σκορ (true score) και προσδιορίζεται ανάλογα με την τεχνική μέτρησης που εφαρμόζεται κάθε φορά. Στο πλαίσιο της IRT το πραγματικό σκορ ενός εξεταζόμενου ορίζεται από την εξίσωση 9. (εξ.9) όπου TS j εκφράζει το πραγματικό σκορ του εξεταζόμενου (j) που έχει επίπεδο ικανότητας θ j ενώ η ποσότητα P i (θ j ) εκφράζει την πιθανότητα ένας εξεταζόμενος που έχει την ικανότητα θ j να απαντήσει σωστά στο ερώτημα i. Με βάση τα παραπάνω είναι εμφανές ότι για να υπολογίσουμε το πραγματικό σκορ που αντιστοιχεί σε μια δεδομένη ικανότητα αρκεί να προσθέσουμε τις πιθανότητες σωστής απάντησης για όλα τα ερωτήματα του διαγωνίσματος. Αν επαναλάβουμε τους υπολογισμούς για όλο το εύρος ικανοτήτων τότε μπορούμε να εκτιμήσουμε το πραγματικό σκορ σαν συνάρτηση της ικανότητας των εξεταζόμενων και αυτό ορίζεται σαν η χαρακτηριστική καμπύλη του ηδιαγωνίσματος (Test Characteristic Curve). Ένα παράδειγμα της μορφής που μπορεί να έχει η χαρακτηριστική εξίσωση ενός διαγωνίσματος δίνεται στο σχήμα P a g e

48 Σχήμα 2: H μορφή μιας χαρακτηριστικής καμπύλης διαγωνίσματος (TCC) (Baker, 2001, σελ. 70, σχήμα 4-5) Για τη μελέτη της συμπεριφοράς ενός διαγωνίσματος που αποτελείται από Ν ερωτήματα μπορεί να χρησιμοποιηθεί η χαρακτηριστική καμπύλη (TCC) ώστε να αποτυπωθεί η σχέση του πραγματικού σκορ με τις ικανότητες των εξεταζόμενων. Όταν η ανάλυση βασίζεται στο μοντέλο μιας ή δύο παραμέτρων (1PL/2PL models) τότε όταν η ικανότητα των εξεταζόμενων τείνει στο - σκορ τείνει στο 0 ενώ όταν η ικανότητα τείνει στο + το πραγματικό το πραγματικό σκορ τείνει στον αριθμό Ν που εκφράζει το πλήθος των ερωτημάτων στο διαγώνισμα. Όταν το διαγώνισμα περιλαμβάνει ερωτήματα κλειστού τύπου με πιθανές απαντήσεις και χρησιμοποιείται το μοντέλο τριών παραμέτρων (3PL) τότε η αναμενόμενη τιμή του πραγματικού σκορ όταν η ικανότητα τείνει στο - δεν τείνει στο μηδέν γιατί στο πλαίσιο αυτού του μοντέλου ακόμη και ένας εξεταζόμενος με πολύ μικρή ικανότητα έχει πιθανότητα να εντοπίσει τη σωστή απάντηση στην τύχη. Παρόλα αυτά, το πάνω όριο της χαρακτηριστικής καμπύλης συνεχίζει να τείνει στο Ν όταν η ικανότητα τείνει στο +. Η πρακτική σημασία του υπολογισμού της χαρακτηριστικής εξίσωσης ενός διαγωνίσματος οφείλεται στην αξιοποίησή της για τον μετασχηματισμό της παρατηρήσιμης απόδοσης των εξεταζόμενων σε πραγματικό σκoρ και για την εξίσωση διαγωνισμάτων (equating tests). H μορφή της καμπύλης που χαρακτηρίζει ένα διαγώνισμα εξαρτάται: (α) από το πλήθος των ερωτημάτων στο διαγώνισμα (Ν), (β) το μαθηματικό μοντέλο στο οποίο βασίζεται η ανάλυση (1PL/2PL/3PL) και (γ) στις τιμές των παραμέτρων του μοντέλου για κάθε ξεχωριστό ερώτημα. Συνήθως η μορφή της χαρακτηριστικής καμπύλης ενός διαγωνίσματος έχει το σχήμα S και μοιάζει με την χαρακτηριστική καμπύλη των ερωτημάτων (ICCs). Μπορεί όμως να εμφανίζει στην αρχή μια ομαλή αύξηση, στη 48 P a g e

49 συνέχεια να παρουσιάζει μια σταθερή σχεδόν εικόνα και στο τέλος να παρουσιάζει και πάλι μια πολύ ομαλή αυξητική τάση. Σε κάθε περίπτωση όμως η καμπύλη αυτή θα τείνει στο πλήθος των ερωτημάτων του διαγωνίσματος Ν. Συνάρτηση Πληροφορίας Διαγωνίσματος (Test Information Function TIF) Η αξιοπιστία (reliability) ενός διαγωνίσματος αφορά κυρίως στην ακρίβεια με την οποία το διαγώνισμα κατατάσσει τους εξεταζόμενους. Στο πλαίσιο της κλασσικής ανάλυσης ενός διαγωνίσματος ο δείκτης αξιοπιστίας του διαγωνίσματος υπολογίζεται με διάφορες τεχνικές σαν μια αριθμητική τιμή και χρησιμοποιείται κυρίως για τη σύγκριση δύο ή περισσοτέρων διαγωνισμάτων. Στο πλαίσιο όμως της IRT η έννοια της αξιοπιστίας μπορεί να αντικατασταθεί από την έννοια της πληροφορίας (information) η οποία μάλιστα δεν έχει μια ομοιόμορφη κατανομή κατά μήκος όλων των πιθανών ικανοτήτων των εξεταζόμενων. Η πληροφορία ενός διαγωνίσματος εκφράζει την ακρίβεια με την οποία μπορεί να εκτιμηθεί η ικανότητα των εξεταζομένων και μπορεί να υπολογιστεί από τη διακύμανση των παρατηρήσιμων τιμών της βαθμολογίας. Η πληροφορία που κρύβει ένα ερώτημα σε συνάρτηση με την ικανότητα των εξεταζόμενων εξαρτάται από το μοντέλο που χρησιμοποιείται για την ανάλυση των επιμέρους δοκιμασιών και δίνεται στον πίνακα 3. Πίνακας 3: Συναρτήσεις πληροφορίας για τα βασικά μοντέλα IRT (Baker, 2001, κεφάλαιο 6, σελ.107). Μοντέλο IRT Συνάρτηση Πληροφορίας μοντέλο μιας παραμέτρου 1PL μοντέλο δύο παραμέτρων 2PL μοντέλο τριών παραμέτρων 3PL Όπως ορίστηκε η χαρακτηριστική εξίσωση ενός διαγωνίσματος έτσι μπορεί να οριστεί και το σύνολο πληροφορίας που περικλείει ένα διαγώνισμα για κάθε τιμή της ικανότητας θ των εξεταζόμενων. Η συνολική πληροφορία του διαγωνίσματος μπορεί να υπολογιστεί σαν το άθροισμα της πληροφορίας που συνεισφέρει το κάθε ερώτημα όπως δίνεται από την εξίσωση 10. (εξ.10) 49 P a g e

50 όπου θ είναι η ικανότητα των εξεταζόμενων, Ν είναι το πλήθος των ερωτημάτων στο διαγώνισμα, Ι i (θ) είναι η πληροφορία που συνεισφέρει το ερώτημα i για όλους τους εξεταζόμενους που έχουν ικανότητα θ και I(θ) είναι η πληροφορία που χαρακτηρίζει το συγκεκριμένο διαγώνισμα. Από τον ορισμό της έννοιας της πληροφορίας είναι εμφανές ότι όσο περισσότερα ερωτήματα χρησιμοποιούμε σε ένα διαγώνισμα τόσο αυξάνουμε την πληροφορία, δηλαδή την ακρίβεια με την οποία μετράμε την ικανότητα του κάθε εξεταζόμενου. Από τη μορφή της αντίστοιχης γραφικής παράστασης μπορούμε να βγάλουμε χρήσιμα συμπεράσματα σχετικά με την ιδιότητα του διαγωνίσματος να εκτιμά συγκεκριμένες ικανότητες εξεταζόμενων όπως φαίνεται στο σχήμα 3. Σχήμα 3: Συνάρτηση Πληροφορίας Διαγωνίσματος (Test Information Function) (Baker, 2001, σελ. 110, σχήμα 6-3) Για παράδειγμα, στο σχήμα 3 παρουσιάζεται ένα διαγώνισμα που μετρά με σχετική ακρίβεια μόνο την ικανότητα των εξεταζόμενων που βρίσκονται ακριβώς στη μέση της κλίμακας ικανοτήτων. Καθώς απομακρυνόμαστε από τη μέση ικανότητα η ιδιότητα του διαγωνίσματος να εκτιμά την ικανότητα των εξεταζόμενων μειώνεται ομαλά ενώ η ακρίβεια εκτίμησης για τους πολύ «καλούς» ή τους πολύ «κακούς» εξεταζόμενους είναι πολύ μικρή. Σε ένα διαγώνισμα που διαχωρίζει τους εξεταζόμενους σε επιτυχόντες και αποτυχόντες θα ήταν επιθυμητό η συνάρτηση πληροφορίας να είναι μέγιστη κοντά στο σημείο της βάσης. Έλεγχος διαφοροποιήσεων (Differential Item Functioning - DIF) Ένα ερώτημα ή ένα διαγώνισμα δεν πρέπει να επηρεάζεται από τα ιδιαίτερα χαρακτηριστικά των εξεταζόμενων (π.χ φύλο, εθνικότητα κλπ) που δεν έχουν σχέση με τις ικανότητες που αξιολογούνται. Όταν έχουμε ενδείξεις ότι η απάντηση σε ένα ερώτημα ή σε ένα διαγώνισμα απαιτεί γνώσεις και 50 P a g e

51 δεξιότητες που διαφέρουν από αυτές που εξετάζονται τότε η καταγραφόμενη απόδοση των εξεταζόμενων πιθανόν να διαφέρει ανάμεσα σε διαφορετικές ομάδες εξεταζόμενων. Η διαδικασία με την οποία ελέγχεται το αν η πιθανότητα επιτυχούς απάντησης διαφοροποιείται σε σχέση με τα ιδιαίτερα χαρακτηριστικά των εξεταζόμενων ονομάζεται έλεγχος διαφοροποιήσεων (Differential Item Functioning) και αποτελεί ένδειξη απρόβλεπτης συμπεριφοράς είτε για ένα μεμονωμένο ερώτημα είτε για ένα σύνολο ερωτημάτων που συνιστούν ένα διαγώνισμα (Penfield & Lam, 2000). Υπάρχουν διάφοροι τρόποι με τους οποίους μπορεί να εκτιμηθεί η διαφορετική συμπεριφορά ενός ερωτήματος ή ενός διαγωνίσματος όπως είναι ο αλγόριθμος Mantel-Haentzel (Wainer & Braun, 1988), η μέθοδος της παλινδρόμησης (logistic regression) (Swaminathan & Rogers, 1990), η μέθοδος εκτίμησης της διακύμανσης (DIF effect variance estimators) (Camilli & Penfield, 1997). Μια σύντομη αναφορά των μεθόδων μπορεί να αναζητηθεί στην εργασία με τίτλο Differential Functioning of Items and Tests (Oshima & Morris, 2008). Στο πλαίσιο της θεωρίας IRT, μια σειρά από μεθόδους που ελέγχουν τις διαφοροποιήσεις που παρατηρούνται στις παραμέτρους δυσκολίας (b), διακριτικής ικανότητας (a) και τυχαιότητας (c) έχουν επίσης αναπτυχθεί (Clauser & Mazor, 1998; Cohen, Kim, & Baker, 1993; Lord, 1980b; Roju, Linden, & Fleer, 1995). Συνήθως ορίζονται δύο ομάδες εξεταζόμενων: (α) ομάδα αναφοράς (reference group) που είναι συνήθως η ομάδα με τους περισσότερους εξεταζόμενους και (β) ομάδα εστίασης (focal group) που είναι συνήθως η ομάδα με τους λιγότερους εξεταζόμενους. Αν δεν υπάρχουν διαφοροποιήσεις που να οφείλονται στα χαρακτηριστικά των δύο ομάδων τότε είναι αναμενόμενο ότι οι χαρακτηριστικές εξισώσεις τους θα είναι παρόμοιες. Αν όμως εντοπιστούν διαφοροποιήσεις τότε αυτό συνεπάγεται ότι η σύγκριση των αποτελεσμάτων ανάμεσα στις δύο ομάδες δεν είναι έγκυρη μια και εμπεριέχει θόρυβο που προέρχεται από ικανότητες ή ιδιότητες που δεν έχουν σχέση με αυτές που αξιολογούνται. Ακόμη όμως και αν δεν υπάρχουν διαφοροποιήσεις ανάμεσα στις δύο ομάδες ελέγχου επειδή η εκτίμηση των παραμέτρων του μοντέλου (a, b, c) γίνεται πάνω σε διαφορετικό σύνολο δεδομένων πιθανόν οι χαρακτηριστικές εξισώσεις να μη βρίσκονται στην ίδια κλίμακα. Η διαδικασία που στοχεύει στην εξισορρόπηση της κλίμακας ώστε να είναι άμεσα συγκρίσιμες οι χαρακτηριστικές εξισώσεις των δύο ομάδων ονομάζεται εξισορρόπηση (equating). Η διαδικασία της εξισορρόπησης βασίζεται στον εντοπισμό των σταθερών ερωτημάτων (anchor items) που δεν παρουσιάζουν διαφοροποιήσεις ανάμεσα στις ομάδες. Αρχικά οι κλίμακες των δύο ομάδων συνδέονται θεωρώντας όλα τα ερωτήματα σαν σταθερά ερωτήματα (anchor items) ενώ ακολουθώντας την ανάλυση διαφοροποιήσεων (DIF analysis) εντοπίζονται εκείνα τα ερωτήματα που εμφανίζουν μεγάλες διαφοροποιήσεις. Σε ένα 51 P a g e

52 δεύτερο στάδιο επιχειρείται η εκτίμηση των συντελεστών εξισορρόπησης έχοντας σαν βάση μόνο τα εναπομείναντα ερωτήματα μετά την απόρριψη εκείνων που έχουν χαρακτηριστεί σαν ερωτήματα με διαφοροποιήσεις (DIF items) από το πρώτο στάδιο ανάλυσης. Ακόμα όμως και μετά την ολοκλήρωση της εξισορρόπησης οι χαρακτηριστικές εξισώσεις δεν θα είναι ακριβώς ίδιες μια και πάντα υπάρχει κάποιο σφάλμα στη μέτρηση διαφορετικών ομάδων. Διάφορες τεχνικές έχουν προταθεί ώστε να μπορεί να εκτιμηθεί το αν η διαφοροποίηση στις χαρακτηριστικές εξισώσεις είναι στατιστικά σημαντική ώστε να οδηγεί στο συμπέρασμα της διαφοροποίησης ανάμεσα στην ομάδα αναφοράς και στην ομάδα εστίασης (Kim & Nering, 2007; N. S. Raju, 1990; Nambury S. Raju, 1988). Εκτίμηση της σημαντικότητας των διαφορών δύο χαρακτηριστικών εξισώσεων Έστω ότι F 1 (θ) και F 2 (θ) εκφράζουν τις χαρακτηριστικές εξισώσεις του ίδιου ερωτήματος όπως έχουν εκτιμηθεί κατά την έκθεσή του σε δύο διαφορετικές ομάδες εξεταζόμενων (ομάδα1 και ομάδα2). Σύμφωνα με το γενικό μοντέλο περιγραφής της θεωρίας IRT οι ποσότητες F 1 (θ) και F 2 (θ) που εκφράζουν την πιθανότητα σωστής απόκρισης σε συνάρτηση με την ικανότητα των εξεταζόμενων εκφράζονται από τις σχέσεις: 1 (εξ.11) 2 (εξ.12) όπου οι ποσότητες P 1 (θ) και P 2 (θ) δίνονται από τις σχέσεις 1 (εξ.13) 2 (εξ.14) με α i να εκφράζει το συντελεστή διακριτικότητας, b i το συντελεστή δυσκολίας, c i το συντελεστή τυχαιότητας και D να εκφράζει μια σταθερά που τίθεται συνήθως στην τιμή D=1.7 (Lord, 1980b). Το εμβαδόν μεταξύ των δύο χαρακτηριστικών εξισώσεων μπορεί να αναπαρασταθεί είτε από την προσημασμένη διαφορά (SA - signed area) είτε από την απόλυτη τιμή της διαφοράς (UA - unsigned area) σύμφωνα με τις παρακάτω εκφράσεις: (εξ. 15) (εξ. 16) 52 P a g e

53 Σύμφωνα με την ανάλυση του Raju (1988) η εκτίμηση των ποσοτήτων SA και UA διαφοροποιείται ανάλογα με το μοντέλο που ακολουθείται κάθε φορά και ανάλογα με τη σχέση που έχουν οι αντίστοιχες παράμετροι του μοντέλου. Ετσι, οι ποσότητες που περιγράφουν την απόσταση των δύο χαρακτηριστικών εξισώσεων μπορούν να αναπαρασταθούν σύμφωνα με τις εκφράσεις: (εξ. 17) (εξ. 18) όπου ο δείκτης k εκφράζει το μοντέλο που χρησιμοποιείται (1PL, 2PL, 3PL) ενώ ο δείκτης l εκφράζει την σύνθεση του μοντέλου όπως φαίνεται και στην παρακάτω σχέση: (εξ. 19) Για την εκτίμηση των ποσοτήτων SA kl και UA kl μια σειρά από μαθηματικές εκφράσεις αξιοποιούνται για την εκτίμηση της αναμενόμενης τιμής και της διασποράς τους. Οι εκφράσεις αυτές διαφοροποιούνται ανάλογα με το μοντέλο που αξιοποιείται κάθε φορά. Για την εκτίμηση της αναμενόμενης τιμής και της διασποράς των ποσοτήτων SA kl και UA kl όταν χρησιμοποιείται το μοντέλο μιας παραμέτρου ή μοντέλο Rasch μπορούν να αξιοποιηθούν οι σχέσεις που πίνακα 4. Πίνακας 4: Ποσότητες SA kl και UA kl για μοντέλο μιας παραμέτρου (1PL) δείκτες Signed Area SA 1l Unsigned Area - UA 1l αναμενόμενη τιμή διασπορά βοηθητικές εκφράσεις όπου Ν i είναι το πλήθος των εξεταζόμενων στην ομάδα i, θ j είναι το επίπεδο ικανότητας του εξεταζόμενου j, Q i =1-P i εκφράζει την πιθανότητα αποτυχίας ενώ μια σειρά από υποθέσεις έχουν ληφθεί υπόψη όπως η σύγκλιση της ποσότητας στην ποσότητα b i, η ανεξαρτησία των δύο δειγμάτων και η κανονικότητα της απόστασης (Wright & Stone, 1979) 53 P a g e

54 Όταν τα ερωτήματα μοντελοποιούνται με το μοντέλο δύο παραμέτρων (2PL) τότε στο μοντέλο συμμετέχει εκτός από το βαθμό δυσκολίας (b) και η παράμετρος που εκφράζει τη διακριτική ικανότητας του ερωτήματος (a). Στην περίπτωση αυτή τα στατιστικά χαρακτηριστικά της απόστασης μεταξύ των χαρακτηριστικών εξισώσεων των δύο ερωτημάτων μπορούν να εκτιμηθούν με βάση το σύνολο των εκφράσεων που παρατίθενται στον πίνακα P a g e

55 δείκτες Χριστακούδης Ξ. Χρήστος Πίνακας 5: Ποσότητες SA 2l και UA 2l για μοντέλο δύο παραμέτρων (2PL) Signed Area SA 1l Unsigned Area - UA 1l με Η =UA 22 αναμενόμενη τιμή όταν ισχύει όταν ισχύει διασπορά όταν ισχύει όταν ισχύει βοηθητικές εκφράσεις - όπου Ν i είναι το πλήθος των εξεταζόμενων στην ομάδα i, θ j είναι το επίπεδο ικανότητας του εξεταζόμενου j, Q i =1-P i εκφράζει την πιθανότητα αποτυχίας ενώ μια σειρά από υποθέσεις έχουν ληφθεί υπόψη όπως η σύγκλιση των ποσοστήτων και στις ποσότητες α i και b i αντίστοιχα, η ανεξαρτησία των δύο δειγμάτων και γενικά η αξιοποίηση των εκτιμήσεων των ποσοτήτων α i, b i και θ από το δείγμα (Hambleton & Swaminathan, 1984) 55 P a g e

56 Οταν συγκρίνουμε τη στατιστική συμπεριφορά ερωτημάτων κλειστού τύπου (σωστού-λάθους, πολλαπλής επιλογής κ.α) είναι γνωστό ότι οι απαντήσεις των εξεταζόμενων εμπεριέχουν και την πιθανότητα να καταχωρίζεται η σωστή απάντηση κατά τύχη. Σε αυτές τις περιπτώσεις τα ερωτήματα μπορούν υπό προυποθέσεις να προσεγγιστούν με το μοντέλο 3 παραμέτρων (3PL) στο οποίο συμμετέχει και ο παράγοντας τυχαιότητας c i εκτός από το βαθμό δυσκολίας b i και διακριτικής ικανότητας a i. Όταν τα δύο ερωτήματα έχουν διαφορετικό δείκτη τυχαίας επιλογής ( γνωρίζουμε ότι η περιοχή μεταξύ των χαρακτηριστικών εξισώσεων μπορεί να είναι άπειρη (Nambury S. Raju, 1988) και για το λόγω αυτό περιοριζόμαστε μόνο στην περίπτωση όπου τα δύο ερωτήματα έχουν τον ίδιο δείκτη τυχαιότητας (. Στην περίπτωση του μοντέλου τριών παραμέτρων οι ποσότητες SA 3l και UA 3l μπορούν να εκτιμηθούν με βάση το σύνολο των τύπων που παρατίθενται στον πίνακα 6. Πίνακας 6: Ποσότητες SA 3l και UA 3l για μοντέλο τριών παραμέτρων (3PL) δείκτες Signed Area SA 1l Unsigned Area - UA 1l αναμενόμενη τιμή διασπορά βοηθητικές εκφράσεις Για να εκτιμηθεί αν η παρατηρήσιμη διαφοροποίηση των χαρακτηριστικών εξισώσεων είναι στατιστικά σημαντική έχει προταθεί ένα ζευγάρι ελέγχων υποθέσεων για τις ποσότητες SA και UA. (N. S. Raju, 1990) όπως περιγράφεται στον πίνακα P a g e

57 Πίνακας 7: Εκτίμηση της σημαντικότητας των παρατηρούμενων διαφορών σε ICCs έλεγχος υπόθεσης Signed Area SA 1l H 0 : SA=0...δηλαδή οι δύο ομάδες δεν διαφέρουν H 0 : UA=0 Unsigned Area - UA 1l...δηλαδή οι δύο ομάδες δε διαφέρουν H 1 : SA 0...δηλαδή οι δύο ομάδες H 1 : UA 0... δηλαδή οι δύο ομάδες διαφέρουν διαφέρουν στατιστικός δείκτης κρίσιμο σημείο z=1.96 για έλεγχο σημαντικότητας α=0.05 (*) με την προυπόθεση της κανονικότητας στις ελεγχόμενες ποσότητες Αν ο στατιστικός δείκτη του ελέγχου Ζ βρεθεί στην περιοχή απόρριψης (π.χ Z<-z ή Z>z) τότε μπορούμε να ισχυριστούμε ότι υπάρχουν επαρκείς στατιστικές ενδείξεις στο δείγμα μας ότι η συμπεριφορά των ερωτημάτων όπως αυτή εκτιμήθηκε με βάση τις χαρακτηριστικές εξισώσεις είναι στατιστικά σημαντική. Στην πράξη για να υπολογίσουμε τις παραπάνω ποσότητες χρησιμοποιούμε εκτιμήσεις των συντελεστών a, b, c των διαφόρων μοντέλων καθώς και εκτιμήσεις για την πραγματική ικανότητα των εξεταζόμενων (Hambleton & Swaminathan, 1984; Lord, 1980b) Εκτίμηση της λανθάνουσας ικανότητας των εξεταζόμενων Στο πλαίσιο της θεωρίας IRT η ικανότητα του εξεταζόμενου δεν αξιολογείται με βάση το πλήθος των σωστών απαντήσεών του αλλά με την εκτίμηση της θέσης που κατέχει ο εξεταζόμενος στην καμπύλη κατανομής ικανοτήτων για όλους τους εξεταζόμενους. Η χαρακτηριστική εξίσωση ενός ερωτήματος P(θ) αναπαριστά την πιθανότητα σωστής απάντησης σε σχέση με την ικανότητα του εξεταζόμενου ενώ ορίζεται και η συμπληρωματική της συνάρτηση Q(θ)=1-P(θ) όπως φαίνεται στο σχήμα 4. (α) (β) Σχήμα 4: Παράδειγμα χαρακτηριστικών ενός ερωτήματος (α) P(θ) και (β) Q=1-P(θ) 57 P a g e

58 Αν γνωρίζουμε το διάνυσμα απαντήσεων ενός εξεταζόμενου u και με δεδομένο οτι αναφερόμαστε σε διχοτομικά δεδομένα (1-σωστή απάντηση, 0-λανθασμένη απάντηση) μπορούμε να υπολογίσουμε για κάθε πιθανή τιμή της ικανότητας θ ποια είναι η πιθανότητα εμφάνισης της συγκεκριμένης απόκρισης πολλαπλασιάζοντας της συναρτήσεις P(θ) και Q(θ) δημιουργώντας έτσι τη συνάρτηση πιθανοφάνειας L όπως φαίνεται στην εξίσωση 20. (εξ. 20) Ετσι, από την ανάλυση του διανύσματος απαντήσεων μπορούμε να υπολογίσουμε εκείνο το σημείο θ στο οποίο η συνάρτηση πιθανοφάνειας εμφανίζει τη μέγιστη τιμής όπως φαίνεται και στο σχήμα 5. Σχήμα 5: Μέγιστο σημείο της συνάρτηση L Με δεδομένο το διάνυσμα των απαντήσεων ενός εξεταζόμενου μπορούμε να εκτιμήσουμε την ικανότητά του με τους εξής τρόπους: (α) μέγιστη πιθανοφάνεια όπου απλά υπολογίζουμε το σημείο που εμφανίζει μέγιστο η συνάρτηση L και επιστρέφουμε το σημείο θ που εκφράζει την ικανότητα του εξεταζόμενου (β) μέγιστη a posteriori πιθανότητα (MAP) όπου η συνάρτηση πιθανοφάνειας L πολλαπλασιάζεται με μια καμπύλη που εκφράζει την κατανομή ενός υποθετικού πληθυσμού εξεταζόμενων και (γ) αναμενόμενη a posteriori πιθανότητα (ΕAP) όπου η συνάρτηση L πολλαπλασιάζεται και πάλι με μια καμπύλη που εκφράζει την αναμενόμενη κατανομή ενός πληθυσμού αλλά αντί για εύρεση του μέγιστου σημείου υπολογίζεται η μέση τιμή της τροποποιημένης συνάρτησης L. Οι διάφορες μέθοδοι χαρακτηρίζονται από πλεονεκτήματα και μειονεκτήματα και μπορούν να αξιοποιηθούν κατά περίπτωση (Thompson,, 2009). Ο υπολογισμός του σημείου μέγιστης πιθανοφάνειας αποτελεί την καρδιά των περισσότερων αλγορίθμων που προσπαθούν να εκτιμήσουν την ικανότητα ενός εξεταζόμενου με βάση το διάνυσμα απαντήσεών του. Η ευθεία μέθοδος υπολογισμού (brute force) αφορά στον υπολογισμό των τιμών της 58 P a g e

59 συνάρτησης L για κάθε πιθανή τιμή της μεταβλητής θ (π.χ με ένα βήμα 0.01) και εύρεση της μέγιστης τιμής από το παραγόμενο διάνυσμα. Η μέθοδος αυτή είναι ιδιαίτερα ακριβής μια και υπολογίζει όλες τις πιθανές τιμές της συνάρτησης L αλλά ταυτόχρονα απαιτεί μεγάλη υπολογιστική ισχύ. Αυτός είναι και ο βασικός λόγος που στο πλαίσιο της αριθμητικής ανάλυσης έχουν αναπτυχθεί εναλλακτικές μέθοδοι όπως η μέθοδος της διχοτόμησης ή η μέθοδος Newton-Raphson. Σήμερα, με δεδομένη την ύπαρξη πολυπήρηνων επεξεργαστών που χρονίζονται με ρολόγια της τάξεως των πολλών GHz, το μειονέκτημα της ευθείας μεθόδου υπολογισμού έχει αδυνατίσει. Εξάλλου, και οι εναλλακτικές μέθοδοι πάσχουν από μειονεκτήματα όπως είναι ο εγκλωβισμός της μεθόδου σε κάποιο τοπικό μέγιστο ή η ευαισθησία της μεθόδου όταν η κατανομή της συνάρτησης δεν είναι συμμετρική. 2.6 Ποιοι παράγοντες επηρεάζουν τις ικανότητες χειρισμού ενός υπολογιστή; Στη διεθνή βιβλιογραφία η εκτίμηση των δεξιοτήτων που κατέχουν τα υποκείμενα μιας έρευνας βασίζεται συχνά στη χρήση εργαλείων διερεύνησης (ερωτηματολόγια) στα οποία οι εξεταζόμενοι καλούνται να εκτιμήσουν οι ίδιοι το επίπεδο δεξιοτήτων που κατέχουν σε σχέση με τη χρήση εργαλείων πληροφορικής. Η μέτρηση όμως που βασίζεται σε ερωτηματολόγια αυτοαξιολόγησης των εξεταζόμενων παρουσιάζει προβλήματα εγκυρότητας (Hargittai, 2002; Merritt, Smith, & Renzo, 2005; Talja, 2005). Ο καλύτερος τρόπος για να μετρήσουμε τις δεξιότητες ενός ανθρώπου είναι μέσα από ειδικά σχεδιασμένα ηδιαγωνίσματα που αποτελούνται από κατάλληλα σχεδιασμένες δοκιμασίες τις οποίες πρέπει να φέρει σε πέρας ο εξεταζόμενος. Οι δεξιότητες που αφορούν στον ψηφιακό εγγραμματισμό (digital literacy) δεν περιορίζονται μόνο σε ικανότητα χειρισμού ενός λογισμικού ή μιας ψηφιακής συσκευής. Περιλαμβάνουν μια μεγάλη ποικιλία από σύνθετες δεξιότητες (γνωστικές, κινητικές, κοινωνιολογικές, συναισθηματικές) που πρέπει να έχουν οι εξεταζόμενοι προκειμένου να χρησιμοποιούν αποτελεσματικά τα ψηφιακά περιβάλλοντα. Οι ψηφιακές ικανότητες μπορούν να ταξινομηθούν σε: (α) φωτο-οπτικές δεξιότητες (π.χ ικανότητα ανάγνωσης της εκφώνησης και των οδηγιών, διερμήνευση των γραφικών απεικονίσεων κλπ), (β) αναπαραγωγικές δεξιότητες (π.χ κατασκευή νέων οντοτήτων χρησιμοποιώντας ψηφιακά εργαλεία, κατασκευή νέων αντικειμένων χρησιμοποιώντας πρωτογενές ψηφιακό υλικό), (γ) δεξιότητες διακλάδωσης (π.χ αναζήτηση πληροφοριών μέσα από τη μη-γραμμική πλοήγηση υπερκειμένου), (δ) δεξιότητες διαχείρισης της πληροφορίας (π.χ αξιολόγηση της ποιότητας και της εγκυρότητας των πληροφοριών), (ε) κοινωνικοσυναισθηματικές δεξιότητες (π.χ κατανόηση των «κανόνων» που επικρατούν στον κυβερνοχώρο, πρότυπα ψηφιακής συμπεριφοράς κλπ) (Eshet-Alkali & Amichai-Hamburger, 2004). Η ηλικία φαίνεται να αποτελεί έναν καθοριστικό παράγοντα στην εξοικείωση των ανθρώπων με τη βασική χρήση υπολογιστών μια και οι νεώτεροι εκπαιδευόμενοι εμφανίζουν καλύτερη συμπεριφορά 59 P a g e

60 τόσο κατά τη φάση της εκπαίδευσης όσο και κατά τη φάση της εξέτασης (Gist, Rosen, & Schwoerer, 1988). Έχουν καταγραφεί ενδείξεις ότι οι νέοι εξεταζόμενοι τα καταφέρνουν καλύτερα με δοκιμασίες που βασίζονται σε φωτο-οπτικές δεξιότητες ή δεξιότητες διακλάδωσης ενώ οι μεγαλύτεροι σε ηλικία εξεταζόμενοι έχουν καλύτερη απόδοση σε δοκιμασίες που απαιτούν αναπαραγωγικές δεξιότητες ή δεξιότητες διαχείρισης πληροφοριών (Eshet-Alkali & Amichai-Hamburger, 2004). Οι διαφοροποιήσεις που παρατηρούνται λόγω της ηλικίας οφείλονται σε μια σειρά ψυχολογικών και γνωστικών παραγόντων που προσδίδουν στους νεώτερους εξεταζόμενους ένα σαφές πλεονέκτημα τόσο στην ταχύτητα καταχώρισης των απαντήσεων όσο και στην ορθότητα των απαντήσεων. Μελέτες έχουν αναδείξει ότι οι διαφοροποιήσεις αυτές παραμένουν ανεξάρτητα από την ύπαρξη ή όχι φάση εκπαίδευσης πριν την αξιολόγηση των δεξιοτήτων. Ο μόνος τρόπος ώστε να εξισωθούν οι διαφορές ανάμεσα στις ηλικιακές ομάδες είναι με μεγαλύτερη εξάσκηση των εξεταζόμενων μεγάλης ηλικίας (Westerman & Davies, 2000). Ο διαφορετικός τρόπος με τον οποίο μαθαίνουν και αντιδρούν οι άνθρωποι μεγαλύτερης ηλικίας θα πρέπει να λαμβάνεται υπόψη τόσο κατά τη σχεδίαση εκπαιδευτικών παρεμβάσεων όσο και κατά τη σχεδίαση συστημάτων αξιολόγησης ή πιστοποίησης γνώσεων και δεξιοτήτων πληροφορικής (Mruk, 1987). Στις περισσότερες χώρες του ΟΟΣΑ οι εκπαιδευτικές ευκαιρίες όχι μόνο παρέχονται με ίσους όρους ανάμεσα στα φύλα αλλά πολλές φορές τα κορίτσια εμφανίζουν κατά μέσο όρο καλύτερους βαθμούς και συχνά ξεπερνούν τα αγόρια στην απόδοση τόσο στο σχολείο όσο και στην τριτοβάθμια εκπαίδευση(oecd, 2011). Το φύλο δε φαίνεται να επηρεάζει σε μεγάλο βαθμό τη στάση και τις απόψεις των ανθρώπων απέναντι στους υπολογιστές -ειδικά μετά την αποφοίτησή τους από το σχολείο- αλλά φαίνεται ότι οι άνδρες διατηρούν μια ποιο θετική στάση απέναντι στη χρήση της τεχνολογίας εμφανίζοντας μεγαλύτερη συχνότητα και διαφορετική χρήση (Vekiri & Chronaki, 2008; Volman, van Eck, Heemskerk, & Kuiper, 2005; Whitley Jr., 1997). Σύμφωνα με τα αποτελέσματα που έχουν καταγραφεί από το Διεθνές Πρόγραμμα Μαθητικής Αξιολόγησης (PISA) οι διαφοροποιήσεις που καταγράφονται στο μαθητικό πληθυσμό σε σχέση με το φύλο δεν οφείλονται σε διαφορετικές ικανότητες των μαθητών αλλά έχουν σχέση με το εκάστοτε γνωστικό αντικείμενο (π.χ πόσο τους αρέσει το γνωστικό αντικείμενο, τί κίνητρα έχουν για να μελετήσουν κλπ)(oecd, 2011). 60 P a g e

61 3. Αρχές σχεδίασης ΑΣΕ για πιστοποίηση βασικών ικανοτήτων πληροφορικής Για να πιστοποιηθεί με έγκυρο και αξιόπιστο τρόπο η ικανότητα υποψηφίων στη χρήση και αξιοποίηση βασικών εργαλείων ΤΠΕ σε μεγάλη κλίμακα πρέπει να αναπτυχθούν μια σειρά από εφαρμογές (λογισμικό) που θα υποστηρίξουν όλες τις φάσεις οργάνωσης, προετοιμασίας και υλοποίησης των εξετάσεων. Σημαντικές παράμετροι της συνολικής διαδικασίας είναι: (α) ο πίνακας εξεταζόμενης ύλης (syllabus) (μια καλά οργανωμένη δομή που προσδιορίζει με σαφήνεια το τί πρέπει να ξέρει, το τί πρέπει να μπορεί να κάνει και πως να συμπεριφέρεται ένας υποψήφιος που επιθυμεί να πιστοποιηθεί) (β) η τράπεζα θεμάτων (ένα σύνολο δοκιμασιών που συνοδεύονται από μια σειρά ποσοτικών, κατηγορικών και λογικών χαρακτηριστικών) (γ) ο κύκλος ανάπτυξης των δοκιμασιών (οι διαδικασίες με τις οποίες προετοιμάζονται οι δοκιμασίες καθώς και οι ρόλοι των ανθρώπων που εμπλέκονται σε όλες τις φάσεις ανάπτυξης) (δ) ο γεννήτορας παραγωγής των ηδιαγωνισμάτων (το υποσύστημα για την αυτοματοποιημένη παραγωγή ισοδύναμων ηδιαγωνισμάτων με βάση μια σειρά κριτηρίων επιλογής των επιμέρους ερωτημάτων) (ε) τα υποστηρικτικά εργαλεία σχεδίασης, ανάπτυξης και εφαρμογής (π.χ το εργαλείο συγγραφής δοκιμασιών, το λογισμικό εξέτασης, πληροφοριακό σύστημα υποστήριξης της εξέτασης με μια σειρά από υπηρεσίες ενημέρωσης και διαχείρισης κλπ) (ζ) οι διαδικασίες πιστοποίησης (ένα σύνολο διαδικασιών που πρέπει να ακολουθούνται από όσους εμπλέκονται στη διαδικασία των εξετάσεων). Στη συνέχεια θα περιγραφεί με συντομία το μοντέλο με το οποίο οργανώθηκαν οι εξετάσεις πιστοποίησης εκπαιδευτικών στη χρήση και αξιοποίηση βασικών δεξιοτήτων πληροφορικής σε μεγάλη κλίμακα από το Υπουργείου Παιδείας & Θρησκευμάτων, Αθλητισμού και Πολιτισμού σε συνεργασία με το Ινστιτούτο Τεχνολογίας Υπολογιστών & Εκδόσεων - Διόφαντος. 3.1 Πίνακας εξεταζόμενης ύλης (syllabus) Στον πυρήνα της διαδικασίας που πιστοποιεί μια σειρά από ικανότητες βρίσκεται ο πίνακας εξεταζόμενης ύλης (syllabus). Με τον όρο αυτό αναφερόμαστε σε μια δενδρική δομή (συνήθως) που περιγράφει με πληρότητα τις γνώσεις (τί πρέπει να ξέρει), τις δεξιότητες (τι πρέπει να μπορεί να κάνει) και τις στάσεις (πως πρέπει να συμπεριφέρεται) που πρέπει να έχει ο πιστοποιούμενος. Στο συγκεκριμένο έργο αναφερόμαστε λοιπόν σε έναν πίνακα που περιγράφει όλες εκείνες τις ικανότητες που αναμένεται να έχουν αναπτύξει οι εκπαιδευτικοί και έχουν σχέση με τις βασικές δεξιότητες πληροφορικής. Ο πίνακας εξεταζόμενης ύλης αναπτύσσεται σε τέσσερα αντικείμενα (β) ενότητες (γ) υποενότητες και (δ) θέματα. το επίπεδα: (α) γνωστικά 61 P a g e

62 (α) Γνωστικά αντικείμενα (cognitive objects): Το πρώτο επίπεδο του πίνακα εξεταζόμενης ύλης αφορά στα διαφορετικά αντικείμενα που συμμετέχουν στις εξετάσεις. Συνολικά οι εξετάσεις αφορούν στα παρακάτω γνωστικά αντικείμενα: (α) Εισαγωγικές έννοιες (Θεωρία,MS Windows) (β) Επεξεργασία Κειμένου (MS Word) (γ) Υπολογιστικά φύλλα (MS Excel) (δ) Διαδίκτυο και ηλεκτρονικό ταχυδρομείο (internet explorer & MS Outlook) (ε) Παρουσιάσεις (MS powerpoint). Κάθε επιμέρους γνωστικό αντικείμενο συνεισφέρει στο ηδιαγώνισμα διαφορετικό αριθμό από δοκιμασίες ανάλογα με την βαρύτητά του στις εξετάσεις. (β) Ενότητες (unities): Η ανάλυση ενός γνωστικού αντικειμένου σε μια σειρά από ενότητες. Η ανάλυση των γνωστικών αντικειμένων σε ενότητες καθορίστηκε και από το περιεχόμενο του αναλυτικού προγράμματος σπουδών της αντίστοιχης επιμόρφωσης. Για παράδειγμα οι ενότητες που αφορούν στα υπολογιστικά φύλλα είναι: (3.1) Διαχείριση περιβάλλοντος (MS Excel), (3.2) Επεξεργασία δεδομένων και αντικειμένων, (3.3) Μορφοποίηση, (3.4) Γραφήματα, (3.5) Τύποι υπολογισμού και Συναρτήσεις και (3.6) Προχωρημένη ανάλυση δεδομένων (γ) Υποενότητες (subunities): Το τρίτο επίπεδο του πίνακα εξεταζόμενης ύλης αναλύει ακόμη περισσότερο κάθε ενότητα. Για παράδειγμα η ενότητα (3.5) Τύποι υπολογισμού και Συναρτήσεις αναλύεται στις υποενότητες: (3.5.1) Απλοί τύποι υπολογισμού, (3.5.2) Συναρτήσεις, (3.5.3) Μακροεντολές, (3.5.4) Έλεγχος τύπων και συχνά προβλήματα (δ) θέματα (topics): Το τελευταίο επίπεδο περιλαμβάνει όλα εκείνα τα θέματα που συνθέτουν μια υποενότητα. Για παράδειγμα μερικά από τα θέματα που περιγράφουν την υποενότητα (3.5.1) Απλοί τύποι υπολογισμού είναι: ( ) Αριθμητικές εκφράσεις, ( ) Αναφορές, ( ) Άλλες εκφράσεις (π.χ συναρτήσεις κειμένου, λογικές κλπ) Τα θέματα (4 ο επίπεδο) αποτελούν τα φύλλα του δέντρου που περιγράφει τον πίνακα εξεταζόμενης ύλης και είναι οι κόμβοι στους οποίους αντιστοιχίζονται οι δοκιμασίες της πιστοποίησης. Έτσι, μια δοκιμασία εξετάζει πάντα μια συγκεκριμένη γνώση, δεξιότητα ή στάση που περιγράφεται από κάποιο θέμα του τετάρτου επιπέδου. Ο πλήρης πίνακας εξεταζόμενης ύλης παρουσιάζεται στο παράρτημα Α. Το εργαλείο συγγραφής των δοκιμασιών δίνει τη δυνατότητα στους συγγραφείς να προσπελαύνουν τον πίνακα εξεταζόμενης ύλης και να διαχειρίζονται τις δοκιμασίες που έχουν συγγραφεί σε κάθε θέμα όπως φαίνεται στο σχήμα 6: 62 P a g e

63 Σχήμα 6: Διαχείριση του πίνακα εξεταζόμενης ύλης στο εργαλείο συγγραφής δοκιμασιών Η οργάνωση της εξεταζόμενης ύλης και η αντιστοίχιση σε αυτή των δοκιμασιών έγινε με τέτοιο τρόπο ώστε μια οποιαδήποτε ερώτηση να μπορεί να αντιστοιχηθεί με μοναδικό τρόπο σε κάποιο φύλλο του δέντρου (κόμβος 4 ου επιπέδου). Έτσι οι δοκιμασίες από τις οποίες αποτελούνται τα ηδιαγωνίσματα είναι απλές και εξετάζουν μία μόνο συγκεκριμένη δεξιότητα, γνώση ή στάση. 3.2 Οργάνωση της τράπεζας θεμάτων Οι ερωτήσεις που χρησιμοποιούνται παραδοσιακά σε εξετάσεις μεγάλης κλίμακας (π.χ εξετάσεις γλωσσομάθειας, διεθνείς εξετάσεις PISA κλπ) είναι κυρίως κλειστού τύπου. Από την άλλη, στις εξετάσεις για την πιστοποίηση γνώσεων και δεξιοτήτων πληροφορικής πρέπει να χρησιμοποιούνται δοκιμασίες με τις οποίες να ελέγχεται αν ο υποψήφιος έχει πράγματι την ικανότητα να ολοκληρώνει κάποιο συγκεκριμένο έργο χρησιμοποιώντας εργαλεία πληροφορικής. Η τράπεζα ερωτήσεων στην οποία βασίστηκαν οι εξετάσεις πιστοποίησης των ελλήνων εκπαιδευτικών στις βασικές δεξιότητες πληροφορικής αποτελείται από ερωτήσεις: (Ι) κλειστού Τύπου (σωστού λάθους, πολλαπλής επιλογής, συμπλήρωσης κενού κλπ) (ΙΙ) εφαρμογής (ο πιστοποιούμενος εκτελεί μια ενέργεια η οποία αξιολογείται αυτόματα από κατάλληλο κώδικα ελέγχου (grading script) ) και (ΙΙΙ) μεικτές ή ψευδο-εφαρμογής (ο πιστοποιούμενος εκτελεί ενέργειες στο περιβάλλον του λογισμικού προκειμένου να επιλέξει τελικά τη σωστή/στές απάντηση/σεις από ένα σύνολο προτεινόμενων απαντήσεων) όπως φαίνεται στον πίνακα 8. Στο σχήμα 7 παρουσιάζεται ένα τυπικό δείγμα μεικτού ερωτήματος (τύπος ΙΙΙ). 63 P a g e

64 Πίνακας 8 : Τύποι ερωτήσεων που συμμετέχουν στις εξετάσεις πιστοποίησης Τύπος Ερωτήματος Ι ΙΙ ΙΙΙ Τίτλος κλειστού τύπου (closed items) εφαρμογής (inapplication items) μεικτές ή ψευδο-εφαρμογής (pseudo-inapplication items) Σύντομη περιγραφή κλασσικές ερωτήσεις κλειστού τύπου όπως ερωτήσεις σωστού/λάθους, πολλαπλής επιλογής, μίας επιλογής από πολλά κλπ ο πιστοποιούμενος εκτελεί μια ενέργεια η οποία αξιολογείται αυτόματα από κατάλληλο κώδικα ελέγχου ο πιστοποιούμενος εκτελεί ενέργειες στο περιβάλλον του λογισμικού προκειμένου να επιλέξει τελικά τη σωστή/στές απάντηση/σεις από ένα σύνολο προτεινόμενων απαντήσεων Σχήμα 7: Τυπικό δείγμα μεικτού ερωτήματος (τύπου ΙΙΙ) Ιδιαίτερη σημασία για τις εξετάσεις πιστοποίησης έχουν τα ερωτήματα εφαρμογής (τύπου ΙΙ) όπου ο εξεταζόμενος καλείται να κάνει κάποια ενέργεια χρησιμοποιώντας μια εφαρμογή και στο τέλος το σύστημα αξιολογεί αυτόματα την προσπάθειά του μέσω ειδικού προγράμματος βαθμολόγησης. Ένα χαρακτηριστικό παράδειγμα ερωτήματος εφαρμογής δίνεται στο σχήμα P a g e

65 Σχήμα 8: Παράδειγμα ερωτήματος εφαρμογής (τύπου ΙΙ) 65 P a g e

66 Κάθε ερώτημα εφαρμογής συνοδεύεται και από το κατάλληλο πρόγραμμα ελέγχου της απόκρισης του εξεταζόμενου. Τα προγράμματα βαθμολόγησης βασίζονται στα Application Program Interfaces (APIs) των εφαρμογών γραφείου αλλά θα μπορούσαν να υποστηρίξουν εξίσου οποιαδήποτε άλλη εφαρμογή που διαθέτει κατάλληλο API (π.χ εκπαιδευτικό λογισμικό). Ένα παράδειγμα κώδικα βαθμολόγησης (grading script) δίνεται στο σχήμα 9. '********************************** 'Get the name of the worksheet ***** sworksheet=trim(xworkbook.work '* This is the Script for Question sheets(1).name) '* The question is: Grade="0 Λάθος ενέργεια" '* : Να μετονομάσετε το φύλλο If sworksheet ="ΑΛΓΕΒΡΑ" Then εργασίας Τμήμα Α1 σε ΑΛΓΕΒΡΑ Grade="1 Σωστή ενέργεια" '*(με Κεφαλαίους Ελληνικούς χαρακτήρες, Else χωρίς τόνους) Grade="0 Λάθος ενέργεια. '********************************** Χρησιμοποιήθηκαν μικροί χαρακτήρες" ***** End If Option Explicit ShutDown xworkbook,xexcel Function Grade(szDestinationPath) End Function Dim sfilename Dim xexcel Function Dim xworkbook ShutDown(xWorkbook,xExcel) Dim sworksheet 'Exit Function 'Initialize local vars 'Shut Down Excel Completely Set xexcel = Nothing On Error Resume Next Set xworkbook = Nothing xworkbook.activate 'Begin error trapping for each xworkbook in On Error Resume Next xexcel.workbooks Set xworkbook = xworkbook.saved=true GetObject(sFileName) Next If Err.Number <> 0 Then xexcel.workbooks.close Σχήμα Grade 9: Η = μορφή "0 ΤΟ του ΑΡΧΕΙΟ προγράμματος ["& βαθμολόγησης Set για xworkbook ένα ερώτημα = Nothing εφαρμογής sfilename & "] ΔΕΝ ΒΡΕΘΗΚΕ;"& "Error:" & if (xexcel.visible = true) then err.number & ":" & err.description xexcel.quit Err.Clear end if Exit Function Set xexcel = Nothing End If Set 66 P a g e Set xexcel=xworkbook.application xexcel=getobject(,"excel.application") If Err.Number <> 0 Then If Err.Number = 0 Then Grade="0 ΔΕΝ ΒΡΕΘΗΚΕ Η xexcel.workbooks.close

67 Οι ερωτήσεις της τράπεζας θεμάτων είναι οργανωμένες σε ομάδες (οικογένειες) που μοιράζονται το χαρακτηριστικό του αποκλεισμού (exclusive). Χαρακτηριστικά παραδείγματα δοκιμασιών παρατίθενται στο παράρτημα Β. Η εσωτερική δομή ενός ερωτήματος περιγράφεται στο σχήμα 10. Σχήμα 10: Η εσωτερική δομή ενός ερωτήματος (α) Σώμα Δοκιμασίας (body): Το σώμα της δοκιμασίας αποτελείται από ένα σύντομο κείμενο με την εκφώνηση (item s stem) και μπορεί να περιέχει μια σειρά από πολυμεσικά στοιχεία όπως κείμενο, βίντεο και εικόνες. Η εκφώνηση περιγράφει με συντομία και σαφήνεια τον τρόπο με τον οποίο ο υποψήφιος θα αποδείξει ότι κατέχει μια συγκεκριμένη δεξιότητα. Η εκφώνηση αποθηκεύεται σε HTML μορφή και βασίζεται σε συγκεκριμένα πρότυπα (Cascade Style Sheets CSS) ώστε να επιτυγχάνεται η απαραίτητη ομοιομορφία. Τα πολυμεσικά στοιχεία της εκφώνησης δεν μπορούν να ενσωματωθούν στο κείμενο της εκφώνησης και γιαυτό επισυνάπτονται με τη μορφή υποστηρικτικών αρχείων (supporting files). Στο σώμα της δοκιμασίας μπορεί να υπάρχει μια σύντομη βοήθεια (hint) που αποσαφηνίζει το ζητούμενο της εκφώνησης ή κάποια προκαθορισμένη πρόταση με οδηγίες (guidelines) ανάλογα με τον τύπο της ερώτησης. (β) Αρχεία εργασίας (working files): Ένα ερώτημα συνοδεύεται συνήθως και από ένα ή περισσότερα αρχεία εργασίας (working files) πάνω στα οποία ο εξεταζόμενος πρέπει να ενεργήσει. Το περιεχόμενο των αρχείων αυτών σχετίζεται με τη σχολική ζωή (π.χ υπηρεσιακά έγγραφα, φόρμες διαγωνισμάτων κλπ). Αξιοποιώντας τα αρχεία εργασίας και βασιζόμενος στην εκφώνηση της ερώτησης ο υποψήφιος πρέπει να δημιουργήσει ένα συγκεκριμένο ψηφιακό αποτελέσματα (ερωτήματα 67 P a g e

68 εφαρμογής τύπου ΙΙ) ή να εντοπίσει τη σωστή απάντηση εκτελώντας ισοδύναμες ενέργειες στο περιβάλλον της εφαρμογής που εξετάζεται κάθε φορά (μεικτά ερωτήματα τύπου ΙΙΙ). (γ) Πιθανές απαντήσεις (destructors): Οι πιθανές απαντήσεις δίνονται επίσης σαν ένα σύνολο πολυμεσικών στοιχείων. Στο υπάρχον μοντέλο οι πιθανές απαντήσεις δεν συνοδεύονται από κανένα είδος χαρακτηρισμού κατά τη φάση ανάπτυξης της δοκιμασίας και συνοδεύουν τις δοκιμασίες κλειστού τύπου (δοκιμασίες τύπου Ι και ΙΙΙ). (δ) Κανόνες Βαθμολόγησης (grading rules): Ανάλογα με τον τύπο της ερώτησης μπορεί να εφαρμοστεί και ένα διαφορετικό σύνολο κανόνων βαθμολόγησης που αξιοποιεί το σύνολο των χαρακτηριστικών της κάθε δοκιμασίας. Στο έργο της πιστοποίησης των εκπαιδευτικών η απόκριση ενός εξεταζόμενου σε ένα ερώτημα μπορεί να είναι απόλυτα σωστή ή απόλυτα λανθασμένη (1 ή 0 αντίστοιχα) με αποτέλεσμα τα δεδομένα που καταγράφονται να ανήκουν στην κατηγορία των διχοτομικών στοιχείων (dichotomous data). (ε) Χαρακτηριστικά (attributes): Μια δοκιμασία χαρακτηρίζεται από ένα σύνολο κατηγορικών, ποσοτικών και λογικών χαρακτηριστικών. Τα χαρακτηριστικά αυτά αποδίδονται στην κάθε δοκιμασία από τον εκάστοτε συγγραφέα (author) αλλά υπόκεινται σε αναθεώρηση στο πλαίσιο ποιοτικού ελέγχου που αποτελείται από δύο φάσεις (βλ. παρακάτω - κύκλος ανάπτυξης ερωτημάτων). (ζ) Κώδικας ελέγχου (grading script): Στην περίπτωση των δοκιμασιών εφαρμογής το τελικό αποτέλεσμα του εξεταζόμενου αξιολογείται από ένα μικρό πρόγραμμα ελέγχου που βασίζεται στο Application Program Interface (API) της εφαρμογής που εξετάζεται και έχει συγγραφεί ειδικά για την κάθε δοκιμασία. 3.3 Ο κύκλος ανάπτυξης των ερωτημάτων Εκτός από τη σύνθεση των ηδιαγωνισμάτων, ιδιαίτερη σημασία έχει και ο τρόπος ανάπτυξης των δοκιμασιών σε ένα σύστημα αυτοματοποιημένης εξέτασης. Η σαφήνεια των εκφωνήσεων, η ποιότητα των αρχείων εργασίας, ο κατάλληλος χαρακτηρισμός των ερωτημάτων, η σωστή βαθμολόγηση των απαντήσεων που δίνουν οι εξεταζόμενοι εξασφαλίζεται μέσα από ένα σύνολο διαδικασιών που ορίζουν τον κύκλο ζωής μιας δοκιμασίας (Christakoudis, Androulakis, & Zagouras, 2011a). Οι ρόλοι των ανθρώπων καθώς και οι διαδικασίες παραγωγής των τελικών δοκιμασιών αναλύονται στη συνέχεια Οι ρόλοι των ανθρώπων που εμπλέκονται Τα στάδια από τα οποία περνάει ένα ερώτημα μέχρι να είναι έτοιμο για να χρησιμοποιηθεί στις εξετάσεις περιλαμβάνουν : (α) τη συγγραφή (authoring) του ερωτήματος (β) τον προγραμματισμό (programming) των σεναρίων βαθμολόγησης όπου αυτό απαιτείται και (γ) την ποιοτική αξιολόγηση 68 P a g e

69 του ερωτήματος από εκπαιδευτική και τεχνική πλευρά. Διαφορετικές ομάδες ανθρώπων εμπλέκονται σε κάθε φάση της διαδικασίας ανάπτυξης. Οι ρόλοι αυτοί περιγράφονται στη συνέχεια: (α) icons (item s constructors): Είναι οι συγγραφείς των ερωτημάτων και έχουν εκτεταμένη γνώση του πίνακα εξεταζόμενης ύλης (power users). Μια και η συγκεκριμένη πιστοποίηση στοχεύει σε εκπαιδευτικούς, η ομάδα των icons βασίστηκε σε ειδικούς (experts) εν ενεργεία καθηγητές πληροφορικής στη δευτεροβάθμια εκπαίδευση. (β) ScrCons (script constructors): Είναι έμπειροι προγραμματιστές που έχουν την ικανότητα να συγγράφουν μικρά προγράμματα με τα οποία να ελέγχεται το αποτέλεσμα των ενεργειών του εξεταζόμενου χρησιμοποιώντας το API της εφαρμογής που εξετάζεται κάθε φορά. (γ) ievals (item s evaluators): Είναι έμπειροι καθηγητές πληροφορικής που όχι μόνο γνωρίζουν σε βάθος τα λειτουργικά χαρακτηριστικά των εφαρμογών (power users) αλλά έχουν επιστημονική και εμπειρική γνώση για το πως ένας τυπικός εκπαιδευτικός ενεργεί χρησιμοποιώντας τον υπολογιστή. Ο ρόλος του ieval είναι ιδιαίτερα σημαντικός στο πλαίσιο ανάπτυξης της τράπεζας θεμάτων μια και πρέπει να μπορεί να εντοπίζει τα προβλήματα ενός ερωτήματος σε όλα τα επίπεδα (παιδαγωγικά και τεχνικά). Επιπλέον πρέπει να διαθέτει δεξιότητες οργάνωσης και επικοινωνίας ώστε να καθοδηγεί τις υπόλοιπες ομάδες (icons, ScrCons, itestrs κλπ). (δ) itesters (item s testers): Είναι οι εξωτερικοί ελεγκτές των δοκιμασιών. Ελέγχουν την κάθε δοκιμασία από εκπαιδευτική σκοπιά (σαφήνεια της εκφώνησης, καταλληλότητα των εναλλακτικών απαντήσεων, επίπεδο δυσκολίας κλπ) και από τεχνική σκοπιά ( συνολική εμφάνιση της δοκιμασίας, αρχεία εργασίας, διαχείριση απρόβλεπτων ενεργειών των εξεταζόμενων κλπ). Στο πλαίσιο της πιστοποίησης εκπαιδευτικών η ομάδα των itesters δεν αποτελείται ούτε από ισχυρούς χρήστες των εφαρμογών ούτε από εκπαιδευτικούς. Παρέχουν μια δεύτερη και αντικειμενική ματιά στο πλαίσιο της βελτίωσης των ερωτημάτων της τράπεζας θεμάτων Οι ενδιάμεσες καταστάσεις ενός ερωτήματος Όλες οι φάσεις ανάπτυξης των δοκιμασιών βασίστηκαν σε ένα εργαλείο συγγραφής (authoring tool) που αναπτύχθηκε για το σκοπό αυτό και είναι διαθέσιμο μέσω διαδικτύου. Το εργαλείο συγγραφής αποτέλεσε τη βάση για την επικοινωνία και τη συνεργασία μεταξύ όλων των ομάδων που συμμετείχαν στη διαδικασία ανάπτυξης. Η πρόσβαση στις δοκιμασίες γίνεται με βάση ένα σύνολο κανόνων και εξουσιοδοτήσεων ανάλογα με την κατάσταση στην οποία βρίσκεται το κάθε ερώτημα. Το σύνολο των καταστάσεων στις οποίες μπορεί να βρεθεί μια δοκιμασία είναι: (α) ipend (item pending): η κατάσταση στην οποία βρίσκεται ένα ερώτημα μόλις ο συγγραφέας (icon) την ανεβάσει στο σύστημα συγγραφής. Η δοκιμασία δεν μπορεί να προχωρήσει στο επόμενο 69 P a g e

70 στάδιο επεξεργασίας παρά μόνο αν ο συγγραφέας (icon) δηλώσει με σαφήνεια ότι η δοκιμασία έχει ολοκληρωθεί από την πλευρά του (πλήρης εκφώνηση, οδηγίες, αρχεία εργασίας κλπ). (β) edupend (pending for educational evaluation): η δοκιμασία έχει ολοκληρωθεί από την πλευρά του συγγραφέα (icon) και είναι διαθέσιμη πλέον για έλεγχο. Ο αντίστοιχος αξιολογητής (ieval) θα πρέπει να ελέγξει τη δοκιμασία (σαφήνεια εκφώνησης, καταλληλότητα πιθανών απαντήσεων, επίπεδο δυσκολίας κλπ) στο πλαίσιο του πρώτου κύκλου ποιοτικού ελέγχου του ερωτήματος. (γ) eduacc (educational accepted): το ερώτημα έχει ελεγχθεί και μπορεί να μετακινηθεί στο επόμενο στάδιο επεξεργασίας. Αν ο τύπος της δοκιμασίας είναι εφαρμογής ή ψεύδο-εφαρμογής (τύπος ΙΙ ή ΙΙΙ) τότε θα μετακινηθεί στην κατάσταση techpend και θα ανατεθεί αυτόματα στον κατάλληλο προγραμματιστή (iscr). Αν η δοκιμασία είναι κλειστού τύπου τότε μπορεί άμεσα να προχωρήσει στην κατάσταση testpend ώστε ο κατάλληλος ελεγκτής (itester) να προβεί στο δεύτερο κύκλο ποιοτικού ελέγχου. (δ) edudeny (educational deny): στην κατάσταση αυτή μεταφέρονται τα ερωτήματα στα οποία εντοπίστηκαν προβλήματα (ασάφειες στην εκφώνηση, προβλήματα μορφοποίησης, μεγάλη ή μικρή δυσκολία κλπ). Ο αξιολογητής (ieval) αφού εντοπίσει ποια είναι τα προβλήματα επιστρέφει τη δοκιμασία στην κατάσταση edudeny και ενημερώνει τον αντίστοιχο συγγραφέα (icon) για τις διορθώσεις που πρέπει να γίνουν. Το εργαλείο συγγραφής δεν επιτρέπει στον αξιολογητή (ieval) να κάνει μόνος του τις αλλαγές και παρέχει τα κατάλληλα εργαλεία για να υποστηρίξει τη σχετική διαπραγμάτευση ανάμεσα στον ieval και τον icon. (ε) techpend (pending for technical evaluation): Η δοκιμασία θεωρείται κατάλληλη για τις εξετάσεις από εκπαιδευτική πλευρά και πλέον μπορεί να αναπτυχθεί το σχετικό πρόγραμμα βαθμολόγησης. Ο αντίστοιχος προγραμματιστής (iscr) μπορεί να συμβουλευτεί όλο το ιστορικό συνομιλίας που έχει προηγηθεί και με βάση αυτή την πληροφορία να προχωρήσει στη συγγραφή του προγράμματος βαθμολόγησης (grading script). (ζ) techacc (technical accepted): Τα προγράμματα για τη φόρτωση των αρχείων εργασίας ή για τον έλεγχο της απόκρισης του εξεταζόμενου έχουν ολοκληρωθεί. Ο αντίστοιχος αξιολογητής (ieval) μπορεί να προχωρήσει στον τεχνικό έλεγχο της δοκιμασίας (για παράδειγμα υπάρχουν σωστές ενέργειες που χαρακτηρίζονται λανθασμένες ή το αντίθετο, πως ανταποκρίνεται ο κώδικας σε απρόσμενες ενέργειες των εξεταζόμενων κλπ) ολοκληρώνοντας έτσι τον πρώτο κύκλο της ποιοτικής αξιολόγησης του ερωτήματος. (η) techdeny (techical deny): o αξιολογητής (ieval) διαπίστωσε τεχνικά προβλήματα στον τρόπο με τον οποίο εμφανίζεται και αξιολογείται η απάντηση στο ερώτημα. Η δοκιμασία επιστρέφει με τον τρόπο αυτό στον αντίστοιχο προγραμματιστή (iscr) ο οποίος μπορεί να ενημερωθεί για τις 70 P a g e

71 σχετικές παρατηρήσεις του αξιολογητή (ieval) διαβάζοντας τα σχόλια που έχουν καταχωρηθεί στον αντίστοιχο χώρο συζήτησης για το ερώτημα. (θ) testpend (pending for testing): ο πρώτος κύκλος ποιοτικού ελέγχου του ερωτήματος έχει ολοκληρωθεί από τον αξιολογητή (ieval). Η δοκιμασία μπορεί πλέον να ελεγχθεί από τον αντίστοιχο ελεγκτή (itester) στο πλαίσιο ενός δεύτερου ελέγχου τόσο από εκπαιδευτική όσο και από τεχνική πλευρά. (ι) testdeny (test deny): είναι πιθανόν ο ελεγκτής (itester) να εντοπίσει προβλήματα που δεν είχαν καταγραφεί στις προηγούμενες φάσεις από τις οποίες πέρασε το ερώτημα. Στην περίπτωση αυτή η δοκιμασία επιστρέφει στον αξιολογητή (ieval) και ταυτόχρονα συμπληρώνεται μια αναλυτική φόρμα που περιγράφει με λεπτομέρεια τα προβλήματα που παρουσιάστηκαν. Αν ο αξιολογητής (ieval) κρίνει ότι υπάρχουν πράγματι προβλήματα που αφορούν την εκπαιδευτική πλευρά του ερωτήματος μεταφέρει τη δοκιμασία σε κατάσταση edudeny ώστε να επιληφθεί των διορθώσεων ο αντίστοιχος συγγραφέας. Αν όμως κρίνει ότι υπάρχουν μόνο τεχνικά προβλήματα μεταφέρει τη δοκιμασία σε κατάσταση techdeny ώστε να επιληφθεί ο αντίστοιχος προγραμματιστής. Αν όμως ο αξιολογητής (ieval) κρίνει ότι τα σχόλια του ελεγκτή (itester) οφείλονται σε κάποια παρανόηση και δεν υπάρχουν προβλήματα με τη δοκιμασία τότε έχει τη δυνατότητα να μεταφέρει τη δοκιμασία στην τελευταία κατάσταση (icmpl). (κ) icmpl (item completion): το ερώτημα έχει ολοκληρωθεί μετά από δύο φάσεις ποιοτικού ελέγχου και μπορεί να επιλεγεί από τον γεννήτορα παραγωγής των ηδιαγωνισμάτων ώστε να συμμετέχει στις εξετάσεις. Κανένας πλέον δεν μπορεί να αλλάξει οτιδήποτε στη δοκιμασία αυτή. Η επιστροφή μιας δοκιμασίας από κατάσταση icmpl σε κάποια προηγούμενη κατάσταση μπορεί να γίνει (πολύ σπάνια) μόνο από κάποιον χρήστη με δικαιώματα supeadministrator στο σύστημα συγγραφής. Η πορεία που ακολουθεί μια δοκιμασία μέχρι να είναι έτοιμη ώστε να συμμετάσχει σε κάποιο ηδιαγώνισμα περιγράφεται στο σχήμα 11 και τείνει να παράγει ερωτήματα που δεν έχουν λάθη ή παραλείψεις τόσο από εκπαιδευτική όσο και από τεχνική πλευρά. 71 P a g e

72 Σχήμα 11: Τα στάδια ανάπτυξης ενός ερωτήματος Η διαδικασία της κλωνοποίησης δοκιμασιών για τη δημιουργία οικογενειών (families) Σε μια εξέταση μεγάλης κλίμακας που επαναλαμβάνεται πολλές φορές μέσα στο χρόνο πρέπει να ληφθούν μέτρα για την αντιμετώπιση της μεγάλης έκθεσης των δοκιμασιών. Για να μειωθούν οι παρενέργειες από την έκθεση των ερωτημάτων (πιθανές διαρροές, αντιγραφή κατά τη διάρκεια των εξετάσεων κλπ) εμπλουτίστηκε η τράπεζα θεμάτων με δοκιμασίες που είναι ίδιες (ως προς τη διακριτική τους ικανότητα, το επίπεδο δυσκολίας, τον κόμβο εξεταζόμενης ύλης κλπ) αλλά και διαφορετικές (ως προς εκφώνηση, πιθανές απαντήσεις, αρχεία εργασίας κλπ). Η τράπεζα θεμάτων οργανώθηκε σε οικογένειες (families) που μοιράζονται το χαρακτηριστικό της αποκλειστικής επιλογή (exclusive). Αυτό σημαίνει ότι αν μια δοκιμασία επιλεγεί να συμμετέχει σε ένα ηδιαγώνισμα καμιά άλλη δοκιμασία της ίδιας οικογένειας δεν μπορεί να συμπεριληφθεί στο ίδιο ηδιαγώνισμα. Μια νέα διαδικασία προστέθηκε στο μοντέλο ανάπτυξης των δοκιμασιών που ονομάστηκε κλωνοποίηση (cloning). Η διαδικασία της κλωνοποίησης αφορά στην παραγωγή οικογενειών που αποτελούνται από δοκιμασίες που μοιράζονται το χαρακτηριστικό της αποκλειστικής επιλογής και θεωρούνται ισοδύναμες. 72 P a g e

73 Για την παραγωγή μιας οικογένειας από ερωτήματα ακολουθούνται τα παρακάτω βήματα (Christakoudis, Androulakis, & Zagouras, 2010b; Christakoudis κ.ά., 2011a): η ομάδα των icons συγγράφει τις πρωτότυπες δοκιμασίες για κάθε τέτοια οικογένεια κάθε πρωτότυπο ελέγχεται εξονυχιστικά στο πλαίσιο ποιοτικού ελέγχου δύο επιπέδων από εκπαιδευτική και τεχνική σκοπιά το πρωτότυπο περνά στην κατάσταση icmpl ένα αντίγραφο του πρωτότυπου ερωτήματος δημιουργείται και τοποθετείται στην κατάσταση ipend το αντίγραφο (κλώνος) ακολουθεί όλο τον κύκλο ζωής όπως περιγράφεται στο σχήμα 11 Μια σειρά από κανόνες και προδιαγραφές ακολουθούνται κατά την κλωνοποίηση των ερωτημάτων στο πλαίσιο δημιουργίας των οικογενειών: ένα ερώτημα πρέπει να βρίσκεται στην κατάσταση icmpl προκειμένου να μπορεί να κλωνοποιηθεί ένας icon πρέπει να έχει τη δυνατότητα να αντιγράψει και να επικολλήσει πολλές φορές ένα ερώτημα που έχει συγγράψει και βρίσκεται στην κατάσταση icmpl οι κλώνοι ενός ερωτήματος αντιστοιχίζονται στον ίδιο κόμβο του πίνακα εξεταζόμενης ύλης (4 ο επίπεδο θέματα) και μεταφέρονται στην κατάσταση ipend ο αντίστοιχος icon πρέπει να τροποποιήσει τους κλώνους έτσι ώστε να διαφέρουν μεταξύ τους και με το αντίστοιχο πρωτότυπο είτε στην εκφώνηση είτε στα αρχεία εργασίας είτε στις πιθανές απαντήσεις (γενικά να φαίνονται διαφορετικά αλλά να ελέγχουν ακριβώς την ίδια γνώση ή δεξιότητα) οι δοκιμασίες σε μια οικογένεια πρέπει να έχουν το ίδιο επίπεδο δυσκολίας Οι συγγραφείς των δοκιμασιών ακολουθώντας τις παραπάνω οδηγίες δημιούργησαν οικογένειες δοκιμασιών για κάθε φύλλο του δέντρου εξεταζόμενης ύλης. Με βάση αυτό το μοντέλο παραγωγής δοκιμασιών θεωρήθηκε ότι ο γεννήτορας παραγωγής των ηδιαγωνισμάτων μπορεί να κατασκευάσει ισοδύναμα διαγωνίσματα ενώ οι εξεταζόμενοι αναμένεται να αντιμετωπίζουν με παρόμοιο τρόπο τα ερωτήματα μιας οικογένειας. 3.4 Γεννήτορας παραγωγής η-διαγωνισμάτων Όσες δοκιμασίες έχουν προχωρήσει στην κατάσταση icmpl, σύμφωνα με το παραπάνω μοντέλο, μπορούν να χρησιμοποιηθούν για την παραγωγή των ηδιαγωνισμάτων. Στο πλαίσιο της πιστοποίησης 73 P a g e

74 των εκπαιδευτικών κάθε ηδιαγώνισμα αποτελείται από 60 ερωτήματα που έχουν όμως μια συγκεκριμένη κατανομή με βάση: το επίπεδο δυσκολίας (1-εύκολες, 2-μέτριες, 3-δύσκολες) το είδος (Ι-κλειστές, ΙΙ-εφαρμογής, ΙΙΙ-μεικτές) τους κόμβους του πίνακα εξεταζόμενης ύλης που καλύπτουν Κάθε ηδιαγώνισμα καλύπτει με πληρότητα τις πέντε βασικές ενότητες του πίνακα εξεταζόμενης ύλης. Το προφίλ ενός ηδιαγωνίσματος παρουσιάζεται στον πίνακα 9. Πίνακας 9: Το προφίλ ενός ηδιαγωνίσματος Διαδίκτυο Εισαγωγικές Επεξεργασία Υπολογιστικά Παρουσι & έννοιες Κειμένου Φύλλα άσεις ηλ.αλλ. Σύνολο Εύκολες Εφαρμογής Μέτριες (τύπου ΙΙ) Δύσκολες Κλειστού τύπου ή μεικτές (τύπου Ι ή ΙΙΙ) Εύκολες Μέτριες Δύσκολες Σύνολο Η πιθανότητα ένα ερώτημα x i να συμμετάσχει σε ένα ηδιαγώνισμα T j δίνεται από την εξίσωση 21 (Androulakis, Zagouras, & Skiniotis, 2006): P 4 xi Tj j k 1 όπου, β ki το βάρος των αντίστοιχων κόμβων του πίνακα εξεταζόμενης ύλης και λ j είναι ένας συντελεστής που εξαρτάται: (α) από τη διασπορά των κληρωθέντων ερωτήσεων σε θέματα και (β) το πλήθος των εννοιών που θέλουμε να συμμετέχουν στο ηδιαγώνισμα. Ο γεννήτορας παραγωγής επιλέγει ερωτήματα με βάση ένα πιθανοτικό μοντέλο διαμορφώνοντας ηδιαγωνίσματα και στη συνέχεια ελέγχει αν ικανοποιούνται μια σειρά από κριτήρια ώστε να κρατήσει τα «καλύτερα». Τα ηδιαγωνίσματα που παράγονται με τον τρόπο αυτό θεωρούνται ισοδύναμα γιατί (α) έχουν την ίδια σύνθεση (τύποι δοκιμασιών, βαθμός δυσκολίας κλπ) (β) καλύπτουν με πληρότητα το σύνολο 74 P a g e ki (εξ. 21)

75 της εξεταζόμενης ύλης και (γ) εμφανίζονται στους εξεταζόμενους με γραμμικό τρόπο ανάλογα με το γνωστικό αντικείμενο που καλύπτουν. 3.5 Υποστηρικτικά Εργαλεία Μια σειρά από εργαλεία αναπτύχθηκαν για να υποστηρίζουν τη συνεργασία των ανθρώπων που εμπλέκονται στη διαδικασία των εξετάσεων όπως φαίνεται και στο σχήμα 12. Σχήμα 12: Τα βασικά εργαλεία που αναπτύχθηκαν και χρησιμοποιήθηκαν (α) Εργαλείο συγγραφής (authoring tool): Το εργαλείο συγγραφής αποτελεί τη βάση επικοινωνίας και συνεργασίας όλων των ομάδων που εμπλέκονται στη διαδικασία ανάπτυξης των ερωτημάτων (συγγραφείς, αξιολογητές, ελεγκτές, προγραμματιστές κλπ). Οι βασικές λειτουργίες του υποσυστήματος αυτού είναι: (α) διαχείριση πρωτότυπων ερωτημάτων (πατέρες), (β) κλωνοποίηση και (γ) ποιοτικός έλεγχος των ερωτημάτων (β) Εργαλείο εξέτασης (testing application): Το υποσύστημα εξέτασης είναι μια εφαρμογή που είναι εγκατεστημένη στον υπολογιστή του εξεταζόμενου (standalone application) και παρέχει τις 75 P a g e

76 παρακάτω λειτουργίες: (α) διάθεση των δοκιμασιών στους εξεταζόμενους, (β) καταγραφή των απαντήσεων του κάθε εξεταζόμενου και (γ) αυτόματη αξιολόγηση και βαθμολόγηση (γ) Πληροφοριακό σύστημα πιστοποίησης (Information Management System): Η διαχείριση των εξετάσεων μεγάλης κλίμακας προϋποθέτει και τη λειτουργία ενός πληροφοριακού συστήματος έτσι ώστε να μπορεί να γίνει η διαχείριση των διαδικασιών που εμπλέκονται (καταχώριση των κέντρων πιστοποίησης, συγκέντρωση των αποτελεσμάτων του κάθε εξεταζόμενου, πληροφορίες ενημέρωσης κλπ) 3.6 Διαδικασίες πιστοποίησης Η πιστοποίηση μεγάλου αριθμού εξεταζόμενων μπορεί να αντιμετωπιστεί με την οργάνωση πολλαπλών περιόδων πιστοποίησης. Σε κάθε περίοδο πιστοποίησης μια σειρά από προγράμματα πιστοποίησης εγκρίνονται και διατίθενται στους εξεταζόμενους προς επιλογή. Από την πλευρά του εξεταζόμενου, μια περίοδος πιστοποίησης μπορεί να περιλαμβάνει τις παρακάτω φάσεις: (α) ενημέρωση και προετοιμασία, (β) διεξαγωγή εξετάσεων και (γ) διαχείριση αποτελεσμάτων. Ο ορισμός των διαδικασιών που απαιτούνται για την ολοκλήρωση κάθε περιόδου πιστοποίησης και η οργάνωσή τους με τη βοήθεια ενός πληροφοριακού συστήματος αποτελεί σημαντικό παράγοντα για την ομαλή διεξαγωγή των εξετάσεων (ορισμός κέντρων πιστοποίησης, επιλογή επιτηρητών, αιτήσεις κλπ). 76 P a g e

77 4. Ερευνητική εργασία Χριστακούδης Ξ. Χρήστος Η σχεδίαση και η υλοποίηση εξετάσεων μεγάλης κλίμακας με αυτοματοποιημένα συστήματα εξέτασης για την πιστοποίηση ικανοτήτων επηρεάζεται από μια σειρά παραγόντων που έχουν σχέση με τον τρόπο οργάνωσης και παραγωγής των δοκιμασιών αλλά και τα ιδιαίτερα χαρακτηριστικά των εξεταζόμενων (φύλο, ηλικία, επίπεδο σπουδών κλπ). Τα ερευνητικά ερωτήματα στα οποία καλείται να απαντήσει η παρούσα έρευνα είναι: ποιο μοντέλο μπορεί να ακολουθηθεί για την παραγωγή, οργάνωση και συντήρηση μιας τράπεζας θεμάτων για την παραγωγή διαχρονικά ισοδύναμων ηδιαγωνισμάτων σε εξετάσεις μεγάλης κλίμακας; πώς επηρέασαν τα ιδιαίτερα χαρακτηριστικά των εξεταζόμενων (π.χ φύλο, ηλικία, γνωστικό αντικείμενο-σπουδές κλπ) τη συμπεριφορά τους κατά τη διάρκεια εξετάσεων πιστοποίησης; πως επηρέασαν τα ιδιαίτερα χαρακτηριστικά των δοκιμασιών (π.χ βαθμός δυσκολίας, εκφωνήσεις, αρχεία εργασίας κλπ) την απόδοση των εξεταζόμενων; Η απάντηση στα ερευνητικά ερωτήματα επιχειρείται μέσα από τη διεξοδική μελέτη και την αξιολόγηση του συστήματος πιστοποίησης των Ελλήνων εκπαιδευτικών σε βασικές ικανότητες πληροφορικής αξιοποιώντας ποσοτικές μεθόδους ανάλυσης. Στο πλαίσιο αυτό, κατασκευάστηκε ένα εργαλείο με το οποίο εκτιμήθηκε ο βαθμός κάλυψης του συστήματος αυτοματοποιημένης εξέτασης των προδιαγραφών που έχουν τεθεί από τη Διεθνή Οργάνωση για την Αξιολόγηση (International Test Commission). Στο εργαλείο αυτό καταγράφηκαν όλες οι προδιαγραφές που πρέπει να πληροί ένα αυτοματοποιημένο σύστημα εξέτασης ταξινομημένες σε τέσσερις βασικές κατηγορίες: (α) τεχνολογικές προδιαγραφές (β) προδιαγραφές ποιότητας (γ) προδιαγραφές ελέγχου και (δ) προδιαγραφές ασφάλειας. Για κάθε επιμέρους κατηγορία προδιαγραφών εκτιμήθηκε ο βαθμός κάλυψης (0-Καθόλου, 1-Μέτρια, 3-Πλήρως) και προστέθηκε ένα σύντομο σχόλιο που τεκμηριώνει το χαρακτηρισμό. Μέσω της διαδικασίας αυτής εντοπίστηκαν τα στοιχεία που λείπουν καθώς και εκείνα που θα μπορούσαν να βελτιωθούν ενώ ορίστηκαν με σαφήνεια τα ιδιαίτερα χαρακτηριστικά που πρέπει να έχει ένα παρόμοιο σύστημα που αξιολογεί ικανότητες με αυτοματοποιημένες διαδικασίες. Στη συνέχεια μελετήθηκαν οι αποκρίσεις των εξεταζόμενων εκπαιδευτικών που έχουν καταγραφεί σε ένα παράθυρο έξη ετών ( ) και αναλύθηκαν αξιοποιώντας το στατιστικό πακέτο επεξεργασίας R που διατίθεται ελεύθερο για χρήση στην επιστημονική κοινότητα και είναι ανοικτού κώδικα (free and open source) (R Development Core Team, 2009). 77 P a g e

78 Η ανάλυση των πρωτογενών δεδομένων έγινε ακολουθώντας ποσοτικές μεθόδους επεξεργασίας και εστίασε στην ανάλυση τριών αξόνων: (α) ηδιαγωνισματα όπου μελετήθηκε η συνολική απόδοση των ηδιαγωνισμάτων που χρησιμοποιήθηκαν στις εξετάσεις (β) ΕΞΕΤΑΖΟΜΕΝΟΙ όπου μελετήθηκε το προφίλ των εξεταζόμενων εκπαιδευτικών καθώς και ο τρόπος με τον οποίο τα ψυχομετρικά χαρακτηριστικά τους επηρέασαν τις αποκρίσεις τους (γ) ΕΡΩΤΗΜΑΤΑ όπου υπολογίστηκαν μια σειρά από στατιστικές παράμετροι για κάθε επιμέρους δοκιμασία και μελετήθηκε ο τρόπος με τον οποίο επηρέασαν τις αποκρίσεις των εξεταζόμενων. Το σύνολο των ενδείξεων που καταγράφηκαν οργανώθηκε με βάση το θεωρητικό πλαίσιο ώστε να συνεισφέρουν τόσο στην αξιολόγηση του υπάρχοντος συστήματος πιστοποίησης όσο και στη διαμόρφωση ενός μοντέλου για την κατασκευή, οργάνωση και συντήρηση τράπεζας θεμάτων που μπορεί να υποστηρίξει εξετάσεις μεγάλης κλίμακας. Επιλεγμένα τμήματα κώδικα στη γλώσσα σεναρίων του στατιστικού πακέτου R τεκμηριώθηκαν κατάλληλα δημιουργώντας μια βιβλιοθήκη για την αποδοτική στατιστική επεξεργασία διχοτομικών αποκρίσεων σε διαγωνίσματα. Στη συνέχεια αναλύεται η συμμόρφωση του συστήματος πιστοποίησης με τις προδιαγραφές ανάπτυξης αυτοματοποιημένων εξετάσεων, περιγράφεται το προφίλ του δείγματος των εκπαιδευτικών στο οποίο βασίστηκε η έρευνα ενώ για κάθε άξονα ανάλυσης παρατίθεται η μεθοδολογία που ακολουθήθηκε, τα αποτελέσματα που προέκυψαν και γίνεται ένας σύντομος σχολιασμός τους. 4.1 Έλεγχος συμμόρφωσης του ΑΣΕ εκπαιδευτικών με τις διεθνείς προδιαγραφές Η Διεθνής οργάνωση για την αξιολόγηση (International Τest Commision - ΙΤC) προωθεί μεθόδους και τεχνικές για την αποδοτική αξιολόγηση ικανοτήτων και θέτει προδιαγραφές για την ανάπτυξη κατάλληλων εργαλείων μέτρησης. Στο πλαίσιο της διεθνούς συνεργασίας τους διάφοροι φορείς που ειδικεύονται στην αξιολόγηση αναπτύσσουν συνεργατικά κείμενα προδιαγραφών που πρέπει να ακολουθούν τα συστήματα εξέτασης είτε ακολουθούν παραδοσιακές μεδόδους διάθεσης (χαρτί-μολύβι) είτε βασίζονται σε αυτοματοποιημένα εργαλεία (αυτοματοποιημένα συστήματα εξέτασης). Μια σειρά από κείμενα που καθορίζουν τις επιθυμητές προδιαγραφές συστημάτων έχουν αναπτυχθεί (π.χ προδιαγραφές για προσαρμοστικά διαγωνίσματα, για αυτοματοποιημένα διαγωνίσματα ή για διαγωνίσματα που διατίθονται μέσω διαδικτύου, προδιαγραφές για την ανάλυση του σκορ των εξεταζόμενων κλπ). (ITC Directory, 2001). Οι προδιαγραφές που πρέπει να πληροί ένα αυτοματοποιημένο σύστημα εξέτασης μπορούν να ταξινομηθούν σε τέσσερις βασικές κατηγορίες: (α) τεχνολογικές προδιαγραφές (β) προδιαγραφές ποιότητας (γ) προδιαγραφές ελέγχου και (δ) προδιαγραφές ασφάλειας. Για κάθε επιμέρους κατηγορία προδιαγραφών εκτιμήθηκε ο βαθμός κάλυψης (0-Καθόλου, 1-Μέτρια, 3-Πλήρως) του ΑΣΕ 78 P a g e

79 Καθόλου 1-Μέτρια 2-Πλήρως Χριστακούδης Ξ. Χρήστος εκπαιδευτικών. Στον πίνακα 10 ελέγχεται ο βαθμός συμμόρφωσης του ΑΣΕ εκπαιδευτικών με τις διεθνείς προδιαγραφές. Πίνακας 10: Κάλυψη προδιαγραφών του ΑΣΕ εκπαιδευτικών 4.2 Α. Τεχνολογικές προδιαγραφές Κάλυψη Τεκμηρίωση Υλικό και λογισμικό Προσδιορισμός των ελάχιστων προδιαγραφών του ΑΣΕ (π.χ προτεινόμενη σύνθεση των σταθμών εργασίας, προτεινόμενοι φυλλομετρητές, εκδόσεις εφαρμογών κλπ) Διασφάλιση της συνοχής και της ομοιομορφίας στην παρουσίαση των ερωτημάτων Φειδωλή ενσωμάτωση πολυμεσικών χαρακτηριστικών με στόχο την αποδοτικότερη εκτέλεση στους σταθμούς εργασίας των εξεταζόμενων Υπάρχει πλήρης οδηγός αναφοράς που αφορά στα Κέντρα Στήριξης της Πιστοποίησης (ΚεΠΙΣ) στον οποίο αναφέρονται με λεπτομέρεια οι ελάχιστες προδιαγραφές που πρέπει να πληροί ένα εργαστήριο προκειμένου να χρησιμοποιηθεί για την πιστοποίηση εκπαιδευτικών. Στο πλαίσιο της πιστοποίησης των ΚεΠΙΣ γίνονται επιτόπιοι έλεγχοι αλλά και έλεγχοι των προδιαγραφών από απόσταση. Η εμφάνιση των ερωτημάτων πραγματοποιείται μέσω ειδικής εφαρμογής (TeCert) και είναι ομοιόμορφη για όλους τους εξεταζόμενους Aν και υπάρχει η τεχνική δυνατότητα για ύπαρξη πολυμεσικών στοιχείων τόσο στις εκφωνήσεις των ερωτημάτων όσο και στα πιθανά δολώματα (destructors) τα περισσότερα ερωτήματα βασίζονται σε απλές εκφωνήσεις που περιέχουν κείμενο. Προσοχή πρέπει να δοθεί στα επισυναπτόμενα αρχεία εργασίας σχετικά με το μέγεθός τους (π.χ συμπίεση εικόνων, ελάχιστο μέγεθος αρχείου εργασίας κλπ) Ενσωμάτωση σύγχρονων τεχνολογιών κατά τη διάθεση H εφαρμογή εξέτασης αναπτύχθηκε σαν 79 P a g e

80 των ηδιαγωνισμάτων στους εξεταζόμενους standalone εφαρμογή βασιζόμενη σε Σχεδίαση που να λαμβάνει υπόψη της την κυμαινόμενη πρόσβαση στο σύστημα εξέτασης ή τις διαφορετικές ταχύτητες πρόσβασης στο διαδίκτυο Διασφάλιση ότι οι εξεταζόμενοι έχουν επαρκείς οδηγίες χρήσης της εφαρμογής Ελαχιστοποίηση των εκδόσεων που συνοδεύουν το λογισμικό εξέτασης Σχεδίαση που λαμβάνει υπόψη τις διαφορετικές ταχύτητες πρόσβασης στο διαδίκτυο ανάλογα με την περιοχή Ευρωστία εφαρμογής (robustness) Διαδικασίες που εξασφαλίζουν την ευρωστία της εφαρμογής εξέτασης (π.χ ανάνηψη από κρίσιμα σφάλματα) τεχνολογίες που ήταν διαθέσιμες πριν από μια δεκαετία. Κατά την εξέταση των εκπαιδευτικών δεν είναι απαραίτητη η πρόσβαση στο διαδίκτυο. Τα δεδομένα καταγράφονται τοπικά και συγχρονίζονται με την κεντρική βάση δεδομένων μετά το πέρας της εξέτασης και σε χρόνο που δεν επιβαρύνει την όλη διαδικασία Ο οδηγός του εκπαιδευτικού περιλαμβάνει οδηγίες που καλύπτουν με πληρότητα όλες τις λεπτομέρειες που σχετίζονται με τη χρήση της εφαρμογής εξέτασης. Στη διάρκεια των χρόνων ελάχιστες αλλαγές έχουν γίνει στο λογισμικό εξέτασης χωρίς να επηρεαστεί η διεπαφή του χρήστη (Graphical User Interface- GUI) Tο σύστημα εξέτασης δεν επηρεάζεται καθόλου από τις ταχύτητες πρόσβασης μια και τα διαγωνίσματα κατεβαίνουν στο ΚεΠΙΣ πριν την έναρξη της εξέτασης και η λειτουργία του συστήματος βασίζεται στο τοπικό δίκτυο Σε περίπτωση εμφάνισης κρίσιμου σφάλματος (π.χ διακοπή ρεύματος, επανεκκίνηση υπολογιστή κλπ) η εφαρμογή εξέτασης επιστρέφει στο σημείο πριν την κατάρρευση επαναφέροντας όλες τις απαντήσεις του εξεταζόμενου και ρυθμίζοντας κατάλληλα το χρονόμετρο της εξέτασης 80 P a g e

81 Ελαχιστοποίηση της επίδρασης διαφόρων παραγόντων Χριστακούδης Ξ. Χρήστος Αν και οι εκφωνήσεις βασίστηκαν σε που μπορεί να επηρεάσουν την απόκριση των πρότυπα μορφοποίησης (Cascade Style εξεταζόμενων (π.χ μορφή και περιεχόμενο Sheets-CSS), σε πολλές περιπτώσεις εκφωνήσεων, αποτροπή τυχαίας εξόδου από το ακολουθήθηκαν διαφορετικές σύστημα εξέτασης, συνέπεια στη χρήση χρωμάτων, μορφοποιήσεις χαρακτήρων (π.χ χρήση μορφών, προτύπων κλπ) έντονης ή πλάγιας γραφής) ανάλογα με τον εκάστοτε συγγραφέα Ελαχιστοποίηση των καθυστερήσεων κατά την Αν και η εφαρμογή εξέτασης εκτελείται πλοήγηση του εξεταζόμενου σαν αυτόνομη εφαρμογή χωρίς να εισάγει καθυστερήσεις (π.χ λόγω σύνδεσης δικτύου) ο εξεταζόμενος πλοηγείται σειριακά στις δοκιμασίες που έχει να αντιμετωπίσει επιστρέφοντας από την τελευταία δοκιμασία στην πρώτη Καταγραφή του καθαρού χρόνου εξέτασης Αν και το σύστημα καταγράφει το χρόνο που περνά από την είσοδο σε μια δοκιμασία μέχρι την καταχώρησή της δεν μπορεί να διακρίνει το χρόνο που πραγματικά ο εξεταζόμενος ασχολείται με τη δοκιμασία Αντιμετώπιση εκτάκτων καταστάσεων (π.χ απώλεια Τα ΚεΠΙΣ διαθέτουν εναλλακτικούς σύνδεσης, χαμηλή ταχύτητα πρόσβασης, ανεπάρκεια σταθμού εργασίας κλπ) σταθμούς εργασίας που μπορούν να χρησιμοποιηθούν σε περίπτωση έκτακτων συνθηκών. Παροχή οδηγιών για την αντιμετώπιση αναμενόμενων Ο οδηγός αναφοράς για τα ΚεΠΙΣ ή συχνών προβλημάτων περιλαμβάνει πλήρη καταγραφή όλων των συχνών και αναμενόμενων προβλημάτων καθώς και προτεινόμενες μεθόδους αντιμετώπισης του κάθε προβλήματος. Επιπλέον ένας χώρος συζήτησης (forum) είναι διαρκώς διαθέσιμος για την καταγραφή και αντιμετώπιση των προβλημάτων Θέματα διεπαφής ανθρώπου-μηχανής σχεδίαση του συστήματος εξέτασης με βάση διεθνή Αν και η σχεδίαση της οθόνης που βλέπει 81 P a g e

82 πρότυπα που αφορούν στη διάδραση ανθρώπουυπολογιστή όπως: διασφάλιση ότι όλες οι οθόνες έχουν την απαιτούμενη ανάλυση και βάθος χρώματος χρήση συγκεκριμένων θέσεων και χρωμάτων για την παρουσίαση οδηγιών και κειμένου σχεδίαση όλων των οθονών της εφαρμογής με συνέπεια διάκριση ανάμεσα στην παρουσίαση των εκφωνήσεων και των οδηγιών σχεδίαση λιτών οθονών που περιέχουν μόνο τις απαραίτητες πληροφορίες τοποθέτηση των σημαντικών πληροφοριών στην αρχή της εκφώνησης ή του κειμένου αξιοποίηση καθαρών γραμματοσειρών και αποφυγή στοιχείων που μπορεί να αποπροσανατολίσουν τον εξεταζόμενο (π.χ εικόνες, λογότυπα κλπ) παροχή στους εξεταζόμενους της δυνατότητας επιστροφής στην αρχική σελίδα με τις αναλυτικές οδηγίες συνεπής χρήση της μορφής κειμένου (π.χ έντονα, πλάγια) ή των εικόνων (υποφωτισμένες εικόνες, έντονες εικόνες κλπ) εμφάνιση των πληροφοριακών στοιχείων (τίτλος εξέτασης, τίτλος ερωτήματος, οδηγίες, χρόνος κλπ) στις ίδιες θέσεις κάθε φορά Παραγωγή διακριτικών μηνυμάτων που καθοδηγούν τον εξεταζόμενο στην περίπτωση που κάνει κάποια λανθασμένη ενέργεια. Εξεταζόμενοι με ειδικές ανάγκες Χριστακούδης Ξ. Χρήστος ο εξεταζόμενος έγινε από εξειδικευμένο γραφίστα και ακολουθεί σε γενικές γραμμές τα γενικά πρότυπα της διεπαφής χρήστη μπορούν να βελτιωθούν διάφορα σημεία (π.χ συνέπεια στη χρήση της μορφής των γραμμάτων, πλοήγηση, πρόσβαση σε οδηγίες κλπ) Η εφαρμογή εξέτασης εξασφαλίζει την ομοιόμορφη εμφάνιση όλων των πληροφοριακών στοιχείων Αν και στις οδηγίες που δίνονται στους εξεταζόμενους περιγράφονται οι ενέργειες που πρέπει να αποφεύγονται (π.χ να μην καταχωρηθεί μια δοκιμασία στο Excel αν το φύλλο εργασίας βρίσκεται σε κατάσταση τροποποίησης ενός κελιού) δεν υπάρχει μέριμνα ώστε να ενημερώνεται δυναμικά ο εξεταζόμενος μέσω σύντομων μηνυμάτων 82 P a g e

83 σχεδίαση του συστήματος εξέτασης ώστε να διευκολύνει τη συμμετοχή εξεταζόμενων με ιδιαίτερες ανάγκες (π.χ εξεταζόμενοι με ελλιπή όραση, αχρωματοψία κλπ) σχεδίαση του συστήματος εξέτασης ώστε να μπορεί να προσαρμόζεται στις ανάγκες του εξεταζόμενου (π.χ αυξομείωση της γραμματοσειράς) Βοήθεια και εξάσκηση παροχή απλών και κατανοητών οδηγιών τεχνικής υποστήριξης που απευθύνονται στο συγκεκριμένο προφίλ εξεταζόμενων και είναι διαθέσιμες κατά τη διάρκεια εξέτασης σε ηλεκτρονική και σε έντυπη μορφή παροχή απλών και κατανοητών οδηγιών για τον τρόπο έναρξης της εφαρμογής ή τη σύνδεση στο σύστημα εξέτασης παροχή απλών και κατανοητών οδηγιών που αφορούν στην πλοήγηση στο σύστημα εξέτασης ανάπτυξη και διάθεση παραδειγμάτων που εξοικειώνουν τους εξεταζόμενους τόσο με το περιβάλλον εξέτασης όσο και με το είδος των δοκιμασιών που θα αντιμετωπίσουν Χριστακούδης Ξ. Χρήστος Δεν υπάρχει μέριμνα για τη διευκόλυνση ατόμων με ειδικές ανάγκες ούτε και πρόνοια καταγραφής τέτοιων αναγκών Με δεδομένο ότι οι εξεταζόμενοι είναι ενήλικες και πολλές φορές μεγάλης ηλικίας θα έπρεπε να δοθεί ιδιαίτερη μέριμνα ώστε το λογισμικό εξέτασης να προσαρμόζεται στις ιδιαίτερες ανάγκες του κάθε εξεταζόμενου Αν και διατίθεται ηλεκτρονικά πλήρης οδηγός για τον εκπαιδευτικό και ένα σύντομο φυλλάδιο οδηγιών κατά τη διάρκεια εξέτασης ο εξεταζόμενος δεν έχει πρόσβαση στο υλικό αυτό με ηλεκτρονικό τρόπο κατά τη διάρκεια της εξέτασης Πριν την έναρξη της εξέτασης διατίθεται στους εξεταζόμενους ένα σύντομο φυλλάδιο με πρακτικές οδηγίες και ενημερώνονται προφορικά για τα βασικά σημεία της εξέταση Αν και είναι διαθέσιμος ηλεκτρονικά πλήρης οδηγός πλοήγησης στην εφαρμογή οι οδηγίες αυτές δεν είναι διαθέσιμες κατά τη διάρκεια της εξέτασης Αν και διατίθεται ένα δείγμα του ηδιαγωνίσματος που θα αντιμετωπίσουν οι εξεταζόμενοι το περιβάλλον εργασίας μοιάζει αλλά δεν είναι ακριβώς το ίδιο 4.3 Β. Προδιαγραφές ποιότητας Κάλυψη Τεκμηρίωση 83 P a g e

84 0-Καθόλου 1-Μέτρια 2-Πλήρως Χριστακούδης Ξ. Χρήστος Συνάφεια των διαγωνισμάτων με τις δεξιότητες που πρέπει να εξεταστούν Διασφάλιση ότι το σύστημα εξετάζει τις κατάλληλες Ο πίνακας εξεταζόμενης ύλης έχει ικανότητες αξιοποιώντας υπολογιστές οργανωθεί σε 4 επίπεδα και κάθε ερώτημα αντιστοιχεί σε έναν και μόνο έναν κόμβο του 4 ου επιπέδου. Ο τρόπος επιλογής των ερωτημάτων από τον γεννήτορα και η σύνθεση του ηδιαγωνίσματος εξασφαλίζει ότι τελικά ο εξεταζόμενος εξετάζεται με επάρκεια στο σύνολο των επιθυμητών δεξιοτήτων διασφάλιση ότι όλοι οι εμπλεκόμενοι στην ανάπτυξη Αν και οι άνθρωποι που ενεπλάκησαν των ηδιαγωνισμάτων (κατασκευαστές ερωτημάτων, είχαν ιδιαίτερη εμπειρία (τεχνική, ψυχομέτρες, προγραμματιστές κλπ) έχουν επαρκή γνώση εκπαιδευτική, παιδαγωγική κλπ) δεν στην κατασκευή ηδιαγωνισμάτων υπάρχει καταγεγραμμένο το προφίλ της κάθε ομάδας καθώς και ένα σύνολο από οδηγίες για τον τρόπο που πρέπει να εργάζεται ενσωμάτωση σύγχρονων τεχνολογιών υλικού και λογισμικού Αν και το σύστημα εξέτασης βασίστηκε στη σύγχρονη τεχνολογία που ήταν διαθέσιμη στις αρχές του 2000 δεν έχει γίνει μια προσπάθεια βελτίωσής του ενσωματώνοντας σύγχρονες τεχνολογίες συμμόρφωση με τους εθνικούς, επαγγελματικούς και νομικούς κανόνες που διέπουν τη χρήση των Το σύστημα εξέτασης υλοποιείται για λογαριασμό του Υπουργείου Παιδείας και υπολογιστών στη διεξαγωγή εξετάσεων ακολουθεί όλους τους κανόνες που πρέπει να διέπουν παρόμοια έργα μεγάλης κλίμακας προστασία του παραγόμενου υλικού εξέτασης μέσα Αν και η πρόσβαση στην τράπεζα από ειδικές συμφωνίες τήρησης της εμπιστευτικότητα θεμάτων επιτρέπεται μόνο σε εξουσιοδοτημένους χρήστες και ανάλογα με το ρόλο τους οι συμμετέχοντες δεν έχουν κάνει κάποια ειδική συμφωνία 84 P a g e

85 Ψυχομετρικά χαρακτηριστικά του συστήματος εξέτασης τεκμηρίωση, σχολιασμός και διάχυση πληροφορίας σχετικά με την εγκυρότητα (validity), την αξιοπιστία (reliability) και την αμεροληψία (fairness) του συστήματος εξέτασης εξασφάλιση ότι τα ψυχομετρικά χαρακτηριστικά του συστήματος εξέτασης (εγκυρότητα, αξιοπιστία, αμεροληψία κλπ) παραμένουν αναλλοίωτα μετά από αλλαγές τόσο στον τρόπο κατασκευής των ηδιαγωνισμάτων όσο και στον τρόπο διάθεσης εξασφάλιση ότι δεν απαιτούνται ειδικές γνώσεις ή δεξιότητες προκειμένου ένας εξεταζόμενος να μπορέσει να απαντήσει στα ερωτήματα του ηδιαγωνίσματος και οι οποίες να μην έχουν σχέση με το προς εξέταση θέμα περιγραφή του αλγόριθμου παραγωγής των ηδιαγωνισμάτων σε γενικές γραμμές (π.χ με ποιον τρόπο επιλέγεται η επόμενη ερώτηση στην περίπτωση των προσαρμοστικών συστημάτων) Κάθε αλλαγή που συμβαίνει σε ένα ερώτημα πρέπει να συνοδεύεται από επανέλεγχο και μεθοδική αξιολόγηση Ενδείξεις ισοδυναμίας Χριστακούδης Ξ. Χρήστος τήρησης της εμπιστευτικότητας Αν και έχουν παρουσιαστεί σε εκπαιδευτικά συνέδρια της Ελλάδος τα αποτελέσματα του έργου της πιστοποίησης οι παρουσιάσεις αυτές έχουν κυρίως ενημερωτικό χαρακτήρα και δεν βασίζονται σε επιστημονικά τεκμηριωμένη ανάλυση Αν και κατά τη σχεδίαση του αυτοματοποιημένου συστήματος εξέτασης έχει ληφθεί μέριμνα ώστε τα ψυχομετρικά χαρακτηριστικά των ηδιαγωνισμάτων να παραμένουν αναλλοίωτα στο χρόνο, δεν έχει γίνει επαρκής έλεγχος ότι ο στόχος αυτός επιτυγχάνεται τελικά Ο κύκλος ανάπτυξης των δοκιμασιών προβλέπει σχολαστικό έλεγχο από ομάδες ειδικών εξασφαλίζοντας ότι οι δοκιμασίες είναι κατάλληλες από εκπαιδευτική σκοπιά Αν και κατά καιρούς έχει περιγραφεί ο τρόπος με τον οποίο δουλεύει ο αλγόριθμος παραγωγής των ηδιαγωνισμάτων η ενημέρωση αυτή έχει γίνει κυρίως σε εκπαιδευτικά συνέδρια στην Ελλάδα και δεν είναι άμεσα και εύκολα διαθέσιμη στην εκπαιδευτική κοινότητα αλλά και σε κάθε ενδιαφερόμενο Ο κύκλος ανάπτυξης των δοκιμασιών προβλέπει ότι μια δοκιμασία μπορεί να ξεκινήσει από την κατάσταση ipend μέχρι την κατάσταση icmpl όπου πλέον δεν επιδέχεται καμιά αλλαγή 85 P a g e

86 αν χρησιμοποιούνται διαφορετικές μορφές για τη διάθεση ενός διαγωνίσματος πρέπει να γίνεται μια αναλυτική τεκμηρίωση της ισοδυναμίας τους (π.χ με χαρτί-μολύβι και με χρήση υπολογιστή). Ειδικότερα πρέπει να γίνει αναφορά στο αν οι διαφορετικές μορφές του διαγωνίσματος: έχουν συγκρίσιμη αξιοπιστία έχουν τον αναμενόμενο βαθμό συσχέτισης όπως προκύπτει από την εκτίμηση της αξιοπιστίας τους συσχετίζονται τα αποτελέσματα με άλλα σχετικά διαγωνίσματα ή εξωτερικά κριτήρια οδηγούν σε συγκρίσιμα μέτρα θέσης (μέση τιμή, διακύμανση κλπ) κανονικοποιούν τις αποκρίσεις των εξεταζόμενων ώστε να παράγουν συγκρίσιμα αποτελέσματα αν το αυτοματοποιημένο σύστημα εξέτασης αποτελεί μετασχηματισμό ενός προηγούμενου συστήματος που δεν έκανε χρήση υπολογιστών πρέπει να εξασφαλίζεται ότι: υπάρχουν οι αντίστοιχες δυνατότητες ελέγχου της ροής παρουσίασης των πληροφοριών όπως και στην συμβατική εξέταση (π.χ δυνατότητα για παράλειψη μια ερώτηση, για ελεύθερη ή όχι μετακίνηση μπρος πίσω κλπ) ο τρόπος παρουσίασης των ερωτημάτων στο αυτοματοποιημένο σύστημα είναι ισοδύναμος με τον τρόπο παρουσίασης στο συμβατικό τρόπο εξέτασης ο τρόπος απάντησης είναι ισοδύναμος (π.χ είδη ερωτημάτων) κατά την πιλοτική δοκιμασία του συστήματος πρέπει να επικρατούν όσο γίνεται ποιο ρεαλιστικές συνθήκες όπως αυτές που θα αντιμετωπίσουν οι εξεταζόμενοι κατά την εξέταση (π.χ ρυθμίσεις τοπικού δικτύου, διαμόρφωση σταθμού ελέγχου κλπ) Χριστακούδης Ξ. Χρήστος Αν και η μορφή διάθεσης των διαγωνισμάτων είναι σταθερή στη διάρκεια των χρόνων και ο γεννήτορας συνθέτει ηδιαγωνίσματα με σταθερά κριτήρια δεν έχει γίνει μια μεθοδική αξιολόγηση για το αν πράγματι τα παραγόμενα ηδιαγωνίσματα είναι ισοδύναμα Το σύστημα εξέτασης σχεδιάστηκε από την αρχή χωρίς να βασίζεται σε προηγούμενη εμπειρία Στο πλαίσιο του κύκλου ζωής των δοκιμασιών προβλέπεται ο μεθοδικός έλεγχος των δοκιμασιών από ειδικές ομάδες ανθρώπων (ieval, itesters) ενώ σε επίπεδο πιλοτικής εφαρμογής πραγματοποιήθηκε η δοκιμαστική 86 P a g e

87 Βαθμολόγηση και παραγωγή αναφορών διασφάλιση της σωστής λειτουργίας των αλγορίθμων βαθμολόγησης τεκμηρίωση της εγκυρότητας του τρόπου βαθμολόγησης που χρησιμοποιείται σε περίπτωση που το αυτοματοποιημένο σύστημα εξέτασης κατατάσσει τους εξεταζόμενους σε κατηγορίες (π.χ "αρχάριος", "προχωρημένος", "εσωστρεφής" κλπ) να παρέχεται επαρκής τεκμηρίωση της μεθοδολογίας που οδηγεί στη συγκεκριμένη κατηγοριοποίηση περιγραφή της λογικής με την οποία το αυτοματοποιημένο σύστημα παράγει μια σειρά από πιθανές αναφορές αναλύοντας την απόκριση των εξεταζόμενων Χριστακούδης Ξ. Χρήστος λειτουργία του συστήματος σε επιλεγμένα ΚεΠΙΣ πριν την επέκταση της πιστοποίησης σε μεγάλη κλίμακα Αν και οι δοκιμασίες αξιολογούνται με τον ίδιο αυτόματο τρόπο οι διαδικασίες που θα εξασφάλιζαν ότι ο κώδικας ελέγχου των δοκιμασιών εφαρμογής μιας οικογένειας συμπεριφέρεται με παρόμοιο τρόπο δεν είναι πλήρως ορισμένες Το σύστημα βαθμολόγησης βασίζεται στην παραγωγή διχοτομικών δεδομένων και η απόκρισης σε μια δοκιμασία μπορεί να είναι είτε σωστή είτε λανθασμένη. Όταν η δοκιμασία αξιολογείται αυτόματα από κώδικα ελέγχου τότε ελέγχεται η σωστή λειτουργία του κώδικα ελέγχου από ειδικές ομάδες αξιολογητών (ieval, itesters) Αν και το σύστημα διαχωρίζει τους εξεταζόμενους σε επιτυχόντες και αποτυχόντες έχοντας σαν βάση την επιτυχημένη απόκριση στο 60% των δοκιμασιών δεν τεκμηριώνεται με επάρκεια το γιατί έχει επιλεγεί η συγκεκριμένη βάση εξέτασης Αν και το αυτοματοποιημένο σύστημα παράγει αναφορά σχετικά με το ποιες ερωτήσεις απαντήθηκαν σωστά και ποιες λανθασμένα δεν παρέχει καμιά άλλη πληροφορία που θα μπορούσε να βοηθήσει τον εξεταζόμενο να αναλύσει την απόδοσή του και να κατανοήσει τα σημεία στα οποία υστερεί ή γνωρίζει καλύτερα 87 P a g e

88 αν εισάγονται χειροκίνητα δεδομένα στο σύστημα εξέτασης πρέπει να εφαρμόζονται κανόνες ελέγχου ορθότητας ώστε να ελαχιστοποιείται η πιθανότητα λανθασμένης καταχώρισης Παροχή ανατροφοδότησης παρουσίαση και ανάλυση των πιθανών περιορισμών που εισάγει το αυτοματοποιημένο σύστημα εξέτασης (π.χ αδυναμία αντιγραφής και επικόλλησης, χρήση εφαρμογής προσομοίωσης κλπ) σχεδίαση διαφόρων προτύπων αναφορών για όλους τους εμπλεκόμενους στη διαδικασία της αυτοματοποιημένης εξέτασης παρουσίαση του τρόπου παραγωγής των αναφορών περιγράφοντας ειδικότερα: τα πολυμεσικά στοιχεία που θα περιέχουν (π.χ κείμενα, εικόνες κλπ) την πιθανή πολυπλοκότητα της κάθε αναφοράς τη συνολική δομή που θα έχει η αναφορά τους στόχους που έχει η κάθε αναφορά την ευκολία ή δυσκολία αλλαγών της αναφοράς το στυλ και τη μορφή της αναφοράς την ομάδα στην οποία απευθύνεται παροχή οδηγιών για τον τρόπο που ο κάθε χρήστης του αυτοματοποιημένου συστήματος μπορεί να λάβει μια συγκεκριμένη αναφορά ή ανατροφοδότηση Διασφάλιση ίσων ευκαιριών προσπέλασης για όλες τις ομάδες περιγραφή των μεθόδων που ακολουθήθηκαν για την αύξηση της ψυχομετρικής αμεροληψίας του συστήματος εξέτασης καθώς και για την παροχή ίσως ευκαιριών πρόσβασης Χριστακούδης Ξ. Χρήστος Τα μόνο στοιχεία που εισάγονται χειροκίνητα στο σύστημα εξέτασης είναι ο 16ψήφιος κωδικός του εξεταζόμενου και υπάρχει πρόνοια για άμεση πιστοποίηση των στοιχείων του Οι εξεταζόμενοι ενημερώνονται αναλυτικά για τους περιορισμούς που εισάγει το σύστημα εξέτασης μέσω ειδικού φυλλαδίου που μοιράζεται στην αρχή της εξέτασης Το εργαλείο συγγραφής διαθέτει λειτουργίες παραγωγής αναφορών ενώ οι αναφορές που παράγονται από το πληροφοριακό σύστημα έχουν περιγραφεί με επάρκεια και είναι διαθέσιμες ανάλογα με το ρόλο του κάθε εμπλεκόμενου Αν και το αυτοματοποιημένο σύστημα εξέτασης προσφέρει μια ποικιλία σχετικών αναφορών δεν υπάρχει μια συνολική περιγραφή όλων των διαθέσιμων αναφορών με ομοιόμορφο τρόπο Παρέχονται σχετικές πληροφορίες στους αντίστοιχους οδηγούς Δεν υπάρχει σχετική τεκμηρίωση σε επίπεδο σχεδίασης 88 P a g e

89 0-Καθόλου 1-Μέτρια 2-Πλήρως εντοπισμός ερωτημάτων που παρουσιάζουν διαφορές στις αποκρίσεις των εξεταζόμενων που οφείλονται σε παράγοντες που δεν έχουν σχέση με την εξεταζόμενη ικανότητα (π.χ διαφορές λόγω εθνικότητας, φύλλου κλπ) και διόρθωσή τους στην περίπτωση διάθεσης ηδιαγωνισμάτων σε διεθνές επίπεδο πρέπει: να ληφθεί υπόψη ότι η διείσδυση των υπηρεσιών διαδικτύου δεν είναι η ίδια στις διάφορες χώρες του κόσμου να αποφεύγονται στοιχεία (π.χ εκφράσεις, σύμβολα, εικόνες κλπ) που να έχουν άμεση σχέση με τα πολιτιστικά στοιχεία των διαφόρων χωρών αν η χρήση ερωτημάτων με αναφορές σε πολιτιστικά πρότυπα συνεισφέρει στη διαμόρφωση του ηδιαγωνίσματος τότε να εξασφαλίζεται ότι χρησιμοποιούνται με ισοδύναμο τρόπο όλα τα διαθέσιμα πρότυπα να εξασφαλίζεται η ισοδυναμία μιας προσαρμοσμένης έκδοσης (π.χ μετάφραση στα ελληνικά) του ηδιαγωνίσματος με την αρχική έκδοση Χριστακούδης Ξ. Χρήστος Δεν υπάρχουν διαδικασίες σαφώς ορισμένες που να εντοπίζουν τέτοιες διαφορές Το αυτοματοποιημένο σύστημα αφορά στην εξέταση Ελλήνων εκπαιδευτικών και δεν έχει ληφθεί καμία μέριμνα για μετάφραση της τράπεζας θεμάτων σε άλλες γλώσσες 4.4 Γ. Προδιαγραφές πρόσβασης και ελέγχου Κάλυψη Τεκμηρίωση Προσδιορισμός του επιπέδου πρόσβασης περιγραφή και τεκμηρίωση του υλικού, του λογισμικού και των διαδικασιών που απαιτούνται για τη διαχείριση του συστήματος πιστοποίησης περιγραφή των ειδικών συνθηκών κάτω από τις οποίες αναμένεται να διεξαχθούν οι εξετάσεις Η τεκμηρίωση του υλικού, του λογισμικού και των διαδικασιών που απαιτούνται καλύπτεται με επάρκεια στους σχετικούς οδηγούς που έχουν εκδοθεί Στους σχετικούς οδηγούς διαχείρισης των εξετάσεων περιγράφονται με λεπτομέρεια οι ιδιαίτερες συνθήκες των εξετάσεων, τα 89 P a g e

90 σχεδίαση του συστήματος εξέτασης ώστε να είναι συμβατό με τους κανονισμούς που ισχύουν στη χώρα εφαρμογής (π.χ κανονισμούς χρήσης εργαστηρίων, κανονισμούς υγείας, εργασίας κλπ) Διαχείριση της εξέτασης περιγραφή του τρόπου διαχείρισης της εξέτασης (οpen mode, controlled mode, supervised mode, managed mode) παροχή τεκμηρίωσης για τα σενάρια ελέγχου στα οποία βασίζεται η εξέταση Έλεγχος διαδικασίας και έκθεση ερωτημάτων όταν το ηδιαγώνισμα παράγεται αυτόματα από τράπεζα ερωτημάτων να εξασφαλίζεται η ισόρροπη έκθεση των ερωτημάτων μέσα από ειδικά σχεδιασμένους αλγορίθμους ελαχιστοποίηση των πιλοτικών ελέγχων που γίνονται σε δημόσια θέα ώστε να περιορίζεται η έκθεση των ερωτημάτων Χριστακούδης Ξ. Χρήστος πιθανά προβλήματα που μπορεί να παρατηρηθούν καθώς και τρόποι αντιμετώπισης Οι εξετάσεις πραγματοποιούνται σε ειδικά πιστοποιημένα εργαστήρια πληροφορικής ΑΕΙ και ΑΤΕΙ και ακολουθούν όλες τις διαδικασίες που προβλέπονται από τους επιμέρους κανονισμούς λειτουργίας (π.χ εύκολη εγκατάσταση, μη διατάραξη της καθημερινότητας των φοιτητών κλπ) Η πιστοποίηση των εκπαιδευτικών βασίζεται σε ένα αυτοματοποιημένο σύστημα εξέτασης που λειτουργεί σε επιτηρούμενη κατάσταση (supervised mode). Ο εξεταζόμενος προσέρχεται σε ειδικό κέντρο και εξετάζεται καθώς επιτηρείται., αναλαμβάνει να συνδεθεί στο σύστημα (login) και στο τέλος να αποσυνδεθεί (logoff) προκειμένου να ολοκληρωθεί η εξέταση. Ο τρόπος και οι διαδικασίες εξέτασης περιγράφονται με πληρότητα στους σχετικούς οδηγούς Ο γεννήτορας παραγωγής των ηδιαγωνισμάτων συνθέτει τα διαγωνίσματα βασιζόμενος σε πιθανοτικά μοντέλα ανάλογα με τη βαρύτητα και τα ιδιαίτερα χαρακτηριστικά του κάθε κόμβου της εξεταζόμενης ύλης Πραγματοποιήθηκε μόνο μία πιλοτική εφαρμογή ενώ η διαθέσιμη έκδοση μέσω διαδικτύου παραμένει σταθερή, χωρίς ανανέωση και προσθήκη νέων δειγμάτων 90 P a g e

91 διασφάλιση ότι η τράπεζα ερωτημάτων είναι επαρκώς μεγάλη ώστε να υποστηρίζεται η ανάπτυξη προσαρμοστικών διαγωνισμάτων και να ελέγχεται η έκθεση και η ακεραιότητα των θεμάτων όταν παράγονται παράλληλα ηδιαγωνίσματα πρέπει να ακολουθεί κατάλληλη ψυχομετρική ανάλυση που να επιβεβαιώνει την ισοδυναμία τους ανάπτυξη τεχνικών που δυσκολεύουν την απομνημόνευση των θεμάτων από τους εξεταζόμενους (π.χ παραγωγή διαφορετικών ηδιαγωνισμάτων για κάθε εξεταζόμενο) διαφοροποίηση των μεθόδων εποπτείας σε περιβάλλοντα που είναι επιρρεπή στο κλέψιμο (cheating) Διασφάλιση ατομικότητας και αποφυγή κλοπών σχεδίαση λειτουργιών που δίνουν τη δυνατότητα στους εξεταζόμενους να έχουν πρόσβαση στα προσωπικά τους στοιχεία και στα αποτελέσματα (π.χ προστασία με κωδικό πρόσβασης, προφίλ χρήστη κλπ) σχεδίαση λειτουργιών που δίνουν τη δυνατότητα στους διαχειριστές να έχουν πρόσβαση σε μια σειρά από Χριστακούδης Ξ. Χρήστος Υπολογίστηκε ο βέλτιστος αριθμός δοκιμασιών που πρέπει να έχει η κάθε οικογένεια ώστε τα παραγόμενα ηδιαγωνίσματα να έχουν την ελάχιστη επιθυμητή επικάλυψη και αναπτύχθηκαν οι σχετικές δοκιμασίες ώστε να εξασφαλίζεται η παραγωγή μεγάλου πλήθους ισοδύναμων διαγωνισμάτων Αν και η σύνθεση των ηδιαγωνισμάτων έγινε με τέτοιο τρόπο που θεωρούνται ισοδύναμα δεν υπάρχει διαδικασία που να τεκμηριώνει και να ελέγχει αυτή την ισοδυναμία βασιζόμενη στα ψυχομετρικά χαρακτηριστικά των καταγεγραμμένων απαντήσεων Η σχεδίαση των διαγωνισμάτων έγινε με τέτοιο τρόπο ώστε μέσα στο ίδιο ΚεΠΙΣ τα ηδιαγωνίσματα να έχουν πολύ μικρή συνάφεια μεταξύ τους δίνοντας της εντύπωση ότι κάθε εξεταζόμενος εξετάζεται και σε διαφορετικό διαγώνισμα ενώ η διαδικασία της εξέτασης επιτηρείται. Η λειτουργία των κέντρων πιστοποίησης ελέγχεται με επισκέψεις συνεργατών που ελέγχουν και πιστοποιούν ότι όλες οι διαδικασίες ακολουθούνται με συνέπεια Οι εξεταζόμενοι έχουν πρόσβαση στην προσωπική τους καρτέλα μέσω της οποίας μπορούν να ενημερωθούν για τις λεπτομέρειες του έργου της πιστοποίησης αλλά και για τα αποτελέσματά της. Η διαχείριση όλων των λειτουργιών της πιστοποίησης γίνεται μέσα από 91 P a g e

92 0-Καθόλου 1-Μέτρια 2-Πλήρως πληροφορίες για την εξέταση (π.χ όψεις με πιστοποιημένη πρόσβαση) Χριστακούδης Ξ. Χρήστος πληροφοριακό σύστημα που έχει σχεδιαστεί ειδικά για το σκοπό αυτό 4.5 Δ. Προδιαγραφές ασφάλειας Κάλυψη Τεκμηρίωση Διασφάλιση της ασφάλειας των θεμάτων σχεδίαση λειτουργιών που ελαχιστοποιούν τα κενά ασφάλειας της εφαρμογής εξέτασης και εμποδίζουν τις προσπάθειες για υποκλοπή των θεμάτων (π.χ ελεγχόμενη πρόσβαση στο διαδίκτυο, απενεργοποίηση λειτουργιών αντιγραφής και επικόλλησης κλπ) ανάπτυξη πολιτικών ασφάλειας που προστατεύουν την τηρούμενη βάση δεδομένων των θεμάτων από ανεπιθύμητες (π.χ χρήση firewalls) επιθέσεις Διασφάλιση των διακινούμενων πληροφοριών μέσω διαδικτύου μεταφορά των καταγεγραμμένων αποκρίσεων του χρήστη μέσα από ασφαλή κανάλια επικοινωνίας (π.χ κρυπτογράφηση δεδομένων) αξιοποίηση διαμεσολαβητών (proxy servers) και ενσωμάτωση συστημάτων διαχείρισης δοσοληψιών (transactions) μέσα από ασφαλή πρωτόκολλα επικοινωνίας (secure socket layers) ανάπτυξη στρατηγικών για την ασφαλή αποθήκευση των δεδομένων των εξεταζόμενων και της τράπεζας Κατά τη διάρκεια της εξέτασης μόνο τα συγκεκριμένα διαγωνίσματα κατεβαίνουν ενώ τα στοιχεία που καταγράφονται κωδικοποιούνται με ειδικούς αλγόριθμους κρυπτογράφησης ώστε να εξασφαλιστεί η ακεραιότητα και η ασφάλειά τους Η τράπεζα θεμάτων είναι εγκατεστημένη σε εξυπηρετητή που βρίσκεται στο εσωτερικό δίκτυο του Ινστιτούτου Τεχνολογίας Υπολογιστών και Εκδόσεων Διόφαντος και προστατεύεται από τις πολιτικές ασφάλειας του οργανισμού ενώ κατά τη διάρκεια της εξέτασης τα δεδομένων των εξεταζόμενων αποθηκεύονται κωδικοποιημένα Τα στοιχεία που καταγράφονται κατά την ώρα της εξέτασης αποθηκεύονται τοπικά και συγχρονίζονται με την κεντρική βάση δεδομένων μέσα από ειδικά πρωτόκολλα ασφαλούς επικοινωνίας Δεν απαιτείται καμιά διακίνηση πληροφοριών μέσω διαδικτύου κατά τη διάρκεια της εξέτασης Αν καταχωρηθεί η απάντηση του εξεταζόμενου σε μια ερώτηση τότε ακόμη 92 P a g e

93 θεμάτων (π.χ αντίγραφα ασφάλειας βάσεων δεδομένων) διασφάλιση της ακεραιότητας (integrity) των δεδομένων εμποδίζοντας την μη εξουσιοδοτημένη τροποποίησή τους Εξασφάλιση της εμπιστευτικότητας των αποτελεσμάτων Σχεδίαση λειτουργιών που εξασφαλίζουν την ασφαλή αποθήκευση των δεδομένων Διασφάλιση της ακεραιότητας των δεδομένων αξιοποίηση μηχανισμών κρυπτογράφησης και προστασία πρόσβασης με κωδικούς υψηλής ασφάλειας Χριστακούδης Ξ. Χρήστος και αν συμβεί κάποιο κρίσιμο σφάλμα (π.χ διακοπή ρεύματος) τα στοιχεία δεν χάνονται αλλά επαναφέρονται από τον τοπικό δίσκο. Ειδικές πολιτικές ασφαλείας ακολουθούνται για την τήρηση αντιγράφων ασφαλείας σε όλα τα συστήματα που έχουν σχέση με την πιστοποίηση Δεν παρέχεται η δυνατότητα τροποποίησης δοκιμασιών αν αυτές βρίσκονται στην κατάσταση icmpl ανεξάρτητα από το αν έχουν χρησιμοποιηθεί σε εξετάσεις ή όχι. Λαμβάνονται όλα τα ενδεδειγμένα μέτρα που εξασφαλίζουν την απρόσκοπτη λειτουργία τόσο του υλικού όσο και του λογισμικού Η πρόσβαση στα στοιχεία της τηρούμενης βάσης δεδομένων είναι πλήρως ελεγχόμενη εξασφαλίζοντας την ακεραιότητα των αποθηκευμένων πληροφοριών Οι κωδικοί πρόσβασης παρέχονται από το σύστημα ώστε να εξασφαλίζεται η υψηλή ασφάλεια πρόσβαση 22 Για κάθε κατηγορία προδιαγραφών υπολογίστηκε ο δείκτης κάλυψης σύμφωνα με την εξίσωση (εξ.22) όπου Δ i εκφράζει το δείκτη κάλυψης για την κατηγορία i, το β ij είναι ο επιμέρους βαθμός κάλυψης (0-Καθόλου, 1-Μέτρια, 2-Πλήρως) για το συγκεκριμένο κριτήριο j της κατηγορίας i και το ν είναι το πλήθος των επιμέρους κριτηρίων που αντιστοιχούν στην κατηγορία i. Ο δείκτης κάλυψης για κάθε επιμέρους κατηγορία των προδιαγραφών φαίνεται στον πίνακα P a g e

94 Κατηγορία προδιαγραφών Χριστακούδης Ξ. Χρήστος Πίνακας 11: Κάλυψη προδιαγραφών του ΑΣΕ ΚΑΘΟΛΟΥ (0) Κάλυψη Προδιαγραφών (β ij ) ΜΕΤΡΙΑ (1) ΠΛΗΡΗΣ Τεχνολογικές Προδιαγραφές ~70% Υλικό και λογισμικό ,8750 Ευρωστία ,7500 Ανθρώπινοι παράγοντες ,6667 Εξεταζόμενοι με ειδικές ανάγκες Βοήθεια και εξάσκηση ,6250 Προδιαγραφές ποιότητας ~67% Συνάφεια διαγωνισμάτων και δεξιοτήτων ,7000 Ψυχομετρικά χαρακτηριστικά ,7000 Ενδείξεις ισοδυναμίας ,8333 Βαθμολόγηση και παραγωγή αναφορών ,8333 Παροχή ανατροφοδότησης ,8750 Ισες ευκαιρίες πρόσβασης Προδιαγραφές πρόσβασης και ελέγχου ~96% Επίπεδα πρόσβασης Διαχείριση της εξέτασης Έλεγχος διαδικασιών και έκθεση ερωτημάτων Διασφάλιση ατομικότητας και αποφυγή κλοπών (2) , Προδιαγραφές ασφάλειας 100% Διασφάλιση της ασφάλειας των θεμάτων Διασφάλιση της διακίνησης των πληροφοριών Διασφάλιση της εμπιστευτικότητας και της ακεραιότητας των πληροφοριών Η παραπάνω ανάλυση δε στοχεύει στην αξιολόγηση του αυτοματοποιημένου συστήματος εξέτασης αλλά στο να εκτιμήσει το βαθμό στον οποίο ακολουθήθηκαν μια σειρά από προδιαγραφές από την πλευρά του φορέα σχεδίασης και υλοποίησης. Ερμηνεύοντας το δείκτη κάλυψης φαίνεται ότι το αυτοματοποιημένο σύστημα καλύπτει με πληρότητα τις προδιαγραφές ασφάλειας (100%) ενώ 94 P a g e

95 εμφανίζει μεγάλη κάλυψη και σε όλες τις προδιαγραφές που αφορούν στην πρόσβαση αλλά και στον έλεγχο της όλης διαδικασίας για την πιστοποίηση των ικανοτήτων που έχουν οι εξεταζόμενοι. Όσον αφορά στις τεχνολογικές προδιαγραφές φαίνεται ότι οι σημαντικότερες βελτιώσεις που μπορούν να γίνουν έχουν σχέση με την υποστήριξη και υποβοήθηση ομάδων εξεταζόμενων με ειδικές ανάγκες ενώ η ποιότητα του αυτοματοποιημένου συστήματος θα μπορούσε να αυξηθεί επίσης αν ληφθεί μέριμνα ώστε το σύστημα εξέτασης να προσαρμόζεται στις ιδιαίτερες ανάγκες των εξεταζόμενων παρέχοντες ίσες ευκαιρίες σε όλους. Σε αρκετές περιπτώσεις παρατηρήθηκε μερική κάλυψη των προδιαγραφών. Κάνοντας κατάλληλες παρεμβάσεις ώστε να μετατραπεί ο χαρακτηρισμός από μερική σε πλήρη κάλυψη θα βελτίωνε τη συνολική συμμόρφωση του αυτοματοποιημένου συστήματος πιστοποίησης με τις διεθνείς προδιαγραφές. Το σύνολο αυτών των παρεμβάσεων καταγράφηκε και διαχωρίστηκε σε δύο μεγάλες κατηγορίες: (α) προτάσεις βελτίωσης που αφορούν σε εκείνες τις παρεμβάσεις που θα αυξήσουν τη λειτουργικότητα του ΑΣΕ (π.χ ποια στοιχεία πρέπει να βελτιωθούν σε μια νέα έκδοση του συστήματος εξέτασης, ποιες λειτουργίες μπορούν να προστεθούν κλπ) (β) προτάσεις ανάλυσης που αφορούν σε προτάσεις για την εφαρμογή ποσοτικών μεθόδων ανάλυσης των δεδομένων προκειμένου να αναζητηθούν ενδείξεις που τεκμηριώνουν τα ιδιαίτερα χαρακτηριστικά της εξέτασης όπως φαίνεται στον πίνακα 12. Πίνακας 12: Προτάσεις βελτίωσης του ΑΣΕ εκπαιδευτικών Κατηγορία προδιαγραφών (α) Προτάσεις βελτίωσης Υλικό και Λογισμικό Ξεκάθαρες οδηγίες προς τους συγγραφείς των δοκιμασιών για τη μορφή και το μέγεθος των αρχείων εργασίας Ευρωστία Τεχνικές βελτιώσεις της εφαρμογής (καταγραφή καθαρού χρόνου εξέτασης, αποτροπή τυχαίας εξόδου, πλοήγηση κλπ) Θέματα διεπαφής ανθρώπουμηχανής Περιβάλλον Επικοινωνίας Βελτιώσεις στο Γραφικό της εφαρμογής (συνέπεια εμφάνισης, σχεδίαση οθόνης κλπ) (β) Προτάσεις ανάλυσης υπάρχουν ενδείξεις ότι η μορφή των αρχείων εργασίας (μέγεθος, μορφή κλπ) επηρεάζει τις αποκρίσεις των εξεταζόμενων; υπάρχουν ενδείξεις που τεκμηριώνουν ένα σύνολο από σαφείς οδηγίες προς τους κατασκευαστές των ερωτημάτων; υπάρχουν ενδείξεις για παράγοντες που μπορούν να επηρεάσουν την απόκριση των εξεταζόμενων (π.χ μορφή και περιεχόμενο εκφωνήσεων, συνέπεια στη χρήση χρωμάτων, μορφής γραμμάτων ή γραμματικών τύπων κλπ) 95 P a g e

96 Εξεταζόμενοι με ειδικές ανάγκες Βοήθεια και εξάσκηση Συνάφεια διαγωνισμάτων και δεξιοτήτων Ψυχομετρικά χαρακτηριστικά Βελτίωση του συστήματος ώστε να υποστηρίζει άτομα με ειδικές ανάγκες (π.χ χαμηλή όραση) ή να προσαρμόζεται στις ανάγκες του εξεταζόμενου (π.χ αυξομείωση γραμματοσειρών) Βελτίωση της πρόσβασης σε βοηθητικό υλικό κατά την εξέταση και παραγωγή demo εφαρμογής που προσομοιώνει απόλυτα τον τρόπο εξέτασης Ενσωμάτωση σύγχρονων τεχνολογιών (π.χ web based αντί για standalone) Περιγραφή του συστήματος εξέτασης ώστε να είναι γνωστές οι λεπτομέρειες της λειτουργίας του τόσο στην επιστημονική κοινότητα όσο και στους άμεσα ενδιαφερόμενους εκπαιδευτικούς Χριστακούδης Ξ. Χρήστος ποια είναι τα ψυχομετρικά χαρακτηριστικά των διαγωνισμάτων στη διάρκεια των χρόνων; Ενδείξεις ισοδυναμίας υπάρχουν ενδείξεις που τεκμηριώνουν την ισοδυναμία των διαγωνισμάτων; Βαθμολόγηση και παραγωγή αναφορών Παροχή ανατροφοδότησης Ισες ευκαιρίες πρόσβασης Τεκμηρίωση της επιλογής του 60% σαν τη βάση εξέτασης και παραγωγή περισσότερων πληροφοριών σχετικά με την απόδοση του κάθε εξεταζόμενου Τεκμηριωμένη παρουσίαση όλων των σχετικών αναφορών Περιγραφή μεθόδων για την αύξηση της αμεροληψίας και την παροχή ίσων ευκαιριών και πιθανή πρόνοια για την εύκολη μετάφραση του συστήματος σε άλλες γλώσσες Επίπεδα πρόσβασης - - Διαχείριση της εξέτασης - - Έλεγχος διαδικασιών και έκθεση ερωτημάτων υπάρχουν ενδείξεις ότι ο κώδικας αυτόματης βαθμολόγησης αξιολογεί τις δοκιμασίες με τον ίδιο τρόπο; είναι δίκαιος ο τρόπος αξιολόγησης των εξεταζόμενων; υπάρχουν ερωτήματα με «κακή» συμπεριφορά; - υπάρχουν ενδείξεις που τεκμηριώνουν διαφορές στις αποκρίσεις των εξεταζόμενων ανάλογα με διάφορα ψυχομετρικά χαρακτηριστικά (φύλο, ηλικία κλπ) - υπάρχουν ενδείξεις που να τεκμηριώνουν ότι η μεγάλη 96 P a g e

97 έκθεση των ερωτημάτων επηρεάζει τις αποκρίσεις των εξεταζόμενων; Διασφάλιση ατομικότητας και - - αποφυγή κλοπών Διασφάλιση της ασφάλειας των - - θεμάτων Διασφάλιση της διακίνησης των - - πληροφοριών Διασφάλιση της εμπιστευτικότητας - - και της ακεραιότητας των πληροφοριών Από τον παραπάνω πίνακα γίνεται σαφές ότι η ανάλυση των αποκρίσεων των εξεταζόμενων ελέγχοντας τη στατιστική συμπεριφορά των ηδιαγωνισμάτων (test analysis) και των δοκιμασιών (item analysis) αλλά και η παραγοντική τους ανάλυση (factor analysis) θα συνεισφέρει πολύ στη βελτίωση του δείκτη προσαρμογής του συστήματος αξιολόγησης προς τις επιθυμητές προδιαγραφές. Στο παράρτημα Γ δίνεται το εργαλείο διερεύνησης της κάλυψης προδιαγραφών για ένα ΑΣΕ. Στη συνέχεια της ερευνητικής εργασίας παρουσιάζεται το προφίλ του δείγματος και γίνεται ανάλυση των δεδομένων σε τρεις άξονες: (α) ηδιαγωνισματα (β) ΕΞΕΤΑΖΟΜΕΝΟΙ (γ) ΕΡΩΤΗΜΑΤΑ αξιοποιώντας ποσοτικές μεθόδους. 4.6 Το προφίλ των καταγεγραμμένων δεδομένων του δείγματος Στο πλαίσιο της ερευνητικής εργασίας αναλύθηκαν τα καταγεγραμμένα στοιχεία από 13 περιόδους πιστοποίησης που υλοποιήθηκαν μέσα σε ένα παράθυρο 6 ετών ( ) και πραγματοποιήθηκαν σε πιστοποιημένα εργαστηριακά κέντρα της τριτοβάθμιας εκπαίδευσης (πανεπιστήμια-αει και τεχνολογικά ιδρύματα-ατει). Τα ερευνητικά δεδομένα αφορούν σε απόπειρες πιστοποίησης που είχαν μέγιστη διάρκεια 2.30 ώρες η κάθε μία. Κάθε εξεταζόμενος κλήθηκε να απαντήσει σε ένα ηδιαγώνισμα που περιελάμβανε 60 ερωτήσεις. Η σωστή απάντηση σε 36 από τις 60 ερωτήσεις (60%) χαρακτηρίζει την προσπάθεια σαν επιτυχημένη. Συνολικά χρησιμοποιήθηκαν ερωτήσεις που κάλυψαν 5 γνωστικά αντικείμενα (Εισαγωγικές έννοιες, Επεξεργασία κειμένου, Υπολογιστικά φύλλα, Διαδίκτυο και η-ταχυδρομείο, Παρουσιάσεις). Το δείγμα αντιστοιχεί στις απαντήσεις περίπου εκπαιδευτικών πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης. Η κατανομή των τελικών αποτελεσμάτων στη διάρκεια των χρόνων δίνεται στον πίνακα 13: 97 P a g e

98 ΕΤΟΣ Πλήθος Πιστοποιήσεων Χριστακούδης Ξ. Χρήστος Πίνακας 13: Αποτελέσματα πιστοποιήσεων στη διάρκεια των χρόνων (α) πρωτοβάθμια (β) δευτεροβάθμια Ποσοστό επιτυχίας (95% διάστημα εμπιστοσύνης) Συνολικός βαθμός (95% διάστημα εμπιστοσύνης) σύνολο α β σύνολο α β σύνολο α β % 63% [ ] [ ] % 56% [ ] [ ] % 56% [ ] [ ] % 56% [ ] [ ] % 54% [ ] [ ] % 55% [ ] [ ] Η μέση ηλικία των εκπαιδευτικών που πιστοποιήθηκαν είναι περίπου τα 42 έτη. Στη διαδικασία των εξετάσεων οι εκπαιδευτικοί της πρωτοβάθμιας εκπαίδευσης (δάσκαλοι και νηπιαγωγοί) που συμμετείχαν είχαν μικρότερη ηλικία και μικρότερη διασπορά σε σύγκριση με τους εκπαιδευτικούς διαφόρων κλάδων από τη δευτεροβάθμια εκπαίδευση. Η κατανομή των ηλικιών ανάλογα με τη βαθμίδα εκπαίδευσης δίνεται στο σχήμα 13. Σχήμα 13: Κατανομή ηλικίας ανά βαθμίδα εκπαίδευσης 4.7 Άξονας ηδιαγωνισματα Τα ηδιαγωνίσματα που χρησιμοποιήθηκαν για την πιστοποίηση των εκπαιδευτικών στις βασικές δεξιότητες παρήχθησαν με αυτοματοποιημένο τρόπο από το υποσύστημα παραγωγής ηδιαγωνισμάτων (γεννήτορας διαγωνισμάτων). Κάθε ηδιαγώνισμα αποτελείται από 60 ερωτήματα και ακολουθεί ένα συγκεκριμένο πρότυπο όσον αφορά τα γνωστικά αντικείμενα που καλύπτει, το επίπεδο δυσκολίας στο οποίο αντιστοιχεί και στον τύπο των ερωτημάτων που περιλαμβάνει (τύπος Ι, ΙΙ, ΙΙΙ). Τα ερωτήματα 98 P a g e

99 εμφανίζονται με γραμμικό και ομοιόμορφο τρόπο στους εξεταζόμενους και βασίζονται κυρίως σε ερωτήματα εφαρμογής (ερωτήματα τύπου ΙΙ) (Androulakis κ.ά., 2006) Μεθοδολογία ανάλυσης ηδιαγωνισματων Για να εξαχθούν αξιόπιστα στατιστικά συμπεράσματα περιορίστηκε η ανάλυση μόνο στα ηδιαγωνίσματα εκείνα για τα οποία υπάρχουν τουλάχιστον 30 εξεταζόμενοι (Aczel & Sounderpandian, 2008) που τα έχουν απαντήσει κατά το χρονικό διάστημα στο οποίο βασίστηκε η έρευνα. Για το σύνολο των ηδιαγωνισμάτων του δείγματος υπολογίστηκε και μελετήθηκε (α) ο χρόνος που απαιτήθηκε από τους εξεταζόμενους για να ολοκληρώσουν την εξέταση (β) η χαρακτηριστική καμπύλη των ηδιαγωνισμάτων του δείγματος σύμφωνα με τη θεωρία ανάλυσης αποκρίσεων (IRT) και (δ) η πληροφορία που συνεισφέρουν τα ηδιαγωνίσματα, δηλαδή η ακρίβεια με την οποία εκτίμησαν τις πραγματικές ικανότητες των εξεταζόμενων. Με βάση τις ενδείξεις που συγκεντρώθηκαν έγινε μια εκτίμηση της ισοδυναμίας των διαγωνισμάτων που χρησιμοποιήθηκαν για την πιστοποίηση των εκπαιδευτικών στη βασική χρήση ΤΠΕ. Επιπλέον, εκτιμήθηκε η έκθεση των διαφόρων κόμβων του πίνακα εξεταζόμενης ύλης στη διάρκεια των χρόνων μέσα από την πολλαπλή διάθεση των ηδιαγωνισμάτων Ανάλυση του ΧΡΟΝΟΥ ολοκλήρωσης των ηδιαγωνισματων Το δείγμα των ηδιαγωνισμάτων στο οποίο βασίστηκε η ανάλυση αποτελείται από 540 διαφορετικά διαγωνίσματα στα οποία τουλάχιστον 30 εξεταζόμενοι έχουν απαντήσει. Συνολικά αναλύθηκαν οι απαντήσεις εξεταζόμενων σε αυτά τα 540 διαγωνίσματα. Το σύνολο σχεδόν των ηδιαγωνισμάτων του δείγματος (99,7%) ολοκληρώθηκε μέσα σε ένα χρονικό παράθυρο 32 λεπτών (από 1 ώρα και 48 λεπτά ή 6480 δευτερόλεπτα μέχρι 2 ώρες και 20 λεπτά ή 8400 δευτερόλεπτα). Πραγματοποιήθηκε έλεγχος κανονικότητας της αντίστοιχης κατανομής (Shapiro & Wilk, 1965) και βρέθηκε ότι οι χρόνοι ολοκλήρωσης των ηδιαγωνισμάτων κατανέμονται κανονικά (pvalue= ) με μέση τιμή τις 2 ώρες και 4 λεπτά περίπου (7440 δευτερόλεπτα). Το ιστόγραμμα του χρόνου ολοκλήρωσης των ηδιαγωνισμάτων που αναλύθηκαν δίνεται στο σχήμα P a g e

100 Σχήμα 14: Μέσος χρόνος ολοκλήρωσης των ηδιαγωνισμάτων Ένα ηδιαγώνισμα θεωρείται ότι έχει απαντηθεί με επιτυχία αν ο εξεταζόμενος απάντησε σωστά σε 36 από τις 60 ερωτήσεις. Στο σύνολο σχεδόν των επιτυχημένων διαγωνισμάτων (95%) η 36 η ερώτηση καταχωρίστηκε σε ένα χρονικό παράθυρο 10 λεπτών. Ελέγχθηκε η κατανομή του χρόνου (Shapiro & Wilk, 1965) που απαιτήθηκε για να καταχωριστεί η 36 η σωστή ερώτηση στα διάφορα ηδιαγωνίσματα και βρέθηκε ότι ακολουθεί την κανονική κατανομή (pvalue= ) με μέση τιμή 1 ώρα και 10 λεπτά περίπου. Το ιστόγραμμα του χρόνου ολοκλήρωσης των επιτυχημένων ηδιαγωνισμάτων που αναλύθηκαν δίνεται στο σχήμα 15. Σχήμα 15: Κατανομή του χρόνου που επιτυγχάνεται η βάση εξέτασης 100 P a g e

101 Από τη μελέτη των αποτελεσμάτων προκύπτει ότι μόλις σε 1 ώρα και 30 λεπτά περίπου το αυτοματοποιημένο σύστημα θα μπορούσε να αποφασίσει αν ο εξεταζόμενος περνάει τη βάση των εξετάσεων ή όχι βελτιώνοντας κατά πολύ τη συνολική απόδοση των εξετάσεων Ανάλυση της πληροφορίας (information) που εμπεριέχουν τα ηδιαγωνίσματα Τα μεικτά ερωτήματα (τύπου ΙΙΙ) και τα ερωτήματα κλειστού τύπου (τύπου Ι) μοντελοποιήθηκαν με το μοντέλο τριών παραμέτρων (3PL) ενώ τα ερωτήματα εφαρμογής (τύπου ΙΙ) αναλύθηκαν με μοντέλο δύο παραμέτρων (2PL). Για όλα τα ερωτήματα που συμμετείχαν στα διαγωνίσματα του δείγματος υπολογίστηκαν οι IRT παράμετροι με βάση τη μεθοδολογία που περιγράφεται παρακάτω (βλ. ενότητα 4.4.1). Στη συνέχεια η τιμή της χαρακτηριστικής εξίσωσης για κάθε διαγώνισμα υπολογίστηκε. Οι αντίστοιχες γραφικές παραστάσεις δίνονται στο σχήμα 16. Σχήμα 16: Χαρακτηριστικές Καμπύλες Διαγωνισμάτων δείγματος Παρατηρούμε ότι όλα τα διαγωνίσματα εμφανίζουν παρόμοια συμπεριφορά όσον αφορά την αντιστοίχιση των ικανοτήτων με τα πραγματικά σκορ των εξεταζόμενων όπως προκύπτει από την εφαρμογή μοντέλων δύο και τριών παραμέτρων ανάλογα με τον τύπο της κάθε επιμέρους δοκιμασίας. Σύμφωνα με τα μοντέλα που χρησιμοποιήθηκαν παρατηρούμε ότι αν ένας εξεταζόμενος έχει ικανότητα θ>0 τότε περνάει με άνεση τη βάση εξέτασης ενώ σε μια μικρή περιοχή ικανοτήτων (- 1<θ<0.5) οι εξεταζόμενοι έχουν διαφορετική πιθανότητα επιτυχίας ανάλογα με το η-διαγώνισμα στο οποίο εξετάστηκαν. Επιπλέον, τα ηδιαγωνίσματα παρέχουν μεγάλη πληροφορία για τις πολύ χαμηλές ικανότητες ενώ το μέγεθος της παρεχόμενης πληροφορίας διαρκώς πέφτει μέχρι τις ικανότητες που βρίσκονται περίπου στη μέση της κλίμακας ικανοτήτων. Μια και το σημείο ελέγχου (βάση εξέτασης) βρίσκεται ποιο κάτω από το μεσαίο επίπεδο ικανοτήτων μπορούμε να θεωρήσουμε ότι τα ηδιαγωνίσματα έχουν επαρκώς μεγάλη ακρίβεια στη μέτρηση των ζητούμενων ικανοτήτων. Είναι φανερό ότι για τους 101 P a g e

102 εξεταζόμενους που έχουν μεγάλες ικανότητες η εκτίμηση που παρέχουν τα ηδιαγωνίσματα για το πραγματικό σκορ των εξεταζόμενων δεν είναι ιδιαίτερα ακριβής. Για την καλύτερη κατάταξη των εξεταζόμενων απαιτείται η κατασκευή διαγωνισμάτων που θα μπορούσαν να δώσουν μεγαλύτερη πληροφορία στις υψηλότερες ικανότητες. Η μέση πληροφορία που παρέχουν τα ηδιαγωνίσματα παρουσιάζεται στο σχήμα 17. Σχήμα 17: Μέση πληροφορία των ηδιαγωνισμάτων του δείγματος Έκθεση των κόμβων εξεταζόμενης ύλης από τα ηδιαγωνίσματα Κάθε ηδιαγώνισμα αποτελείται από συγκεκριμένο αριθμό ερωτημάτων που αντιστοιχεί σε κάθε επιμέρους γνωστικό αντικείμενο όπως φαίνεται στο σχήμα 18. Εισαγωγικές έννοιες (MS Windows) 12 ερωτ. Επεξεργασία Κειμένου (MS Word) 14 ερωτ. Υπολογιστικά Φύλλα (MS Excel) 12 items Διαδίκτυο & 16 items Παρουσιάσεις (MS Powerpoint) 6 items Σχήμα 18: Η έκθεση των γνωστικών αντικειμένων σε κάθε ηδιαγώνισμα Ο πίνακας εξεταζόμενης ύλης όμως διαρθρώνεται σε τέσσερα συνολικά επίπεδα (Γνωστικά αντικείμενα, Ενότητες, Υποενότητες και Θέματα). Οι κόμβοι αυτοί δεν έχουν όλοι την ίδια βαρύτητα. Ανάλογα με το βάρος του κάθε κόμβου διαμορφώνεται και η πιθανότητα να επιλεγεί μια ερώτηση που 102 P a g e

103 ανήκει στον κόμβο αυτό για κάποιο ηδιαγώνισμα. Για κάθε κόμβο 2 ου (ενότητες), 3 ου (υποενότητες) και 4 ου (θέματα) επιπέδου υπολογίστηκε η μέση έκθεσή του σε κάθε διαγώνισμα που χρησιμοποιήθηκε μέσα στη χρονική περίοδο της έρευνας ( ) χωρίς να λαμβάνεται υπόψη το πλήθος των εξεταζόμενων που έχουν απαντήσει στο διαγώνισμα αυτό. Όσο μεγαλύτερη είναι η έκθεση ενός κόμβου τόσο μεγαλύτερη είναι η συνεισφορά του στο πλαίσιο της εξέτασης των εκπαιδευτικών στις βασικές ικανότητες. Αντίθετα οι κόμβοι με πολύ μικρή συμμετοχή εμφάνισης στα διαγωνίσματα δεν θεωρούνται μεγάλης βαρύτητας. Από το σύνολο των ηδιαγωνισμάτων του δείγματος η έκθεση που προέκυψε για τους κόμβους του πίνακα εξεταζόμενης ύλης ανεξάρτητα από το πόσοι εξεταζόμενοι «είδαν» ένα συγκεκριμένο ηδιαγώνισμα- εμφανίζεται στο σχήμα 19. Σχήμα 19: Θηκογράμματα της έκθεσης των κόμβων του πίνακα εξεταζόμενης ύλης Από την ενότητα που αφορά στην περιήγηση στον παγκόσμιο ιστό συμμετέχουν τα περισσότερα ερωτήματα κατά μέσο όρο ενώ αρκετά ερωτήματα αφορούν στο υλικό των υπολογιστών και στο περιβάλλον του επεξεργαστή κειμένου. Αντίθετα, πολύ μικρή συμμετοχή στα διαγωνίσματα εμφανίζουν οι ενότητες που αφορούν στη διαχείριση περιφερειακών συσκευών, σε θεμελιώδεις έννοιες πληροφορικής και στη γλώσσα περιγραφής ιστοσελίδων (Html). Αναλυτικά η έκθεση των ενοτήτων στα διάφορα διαγωνίσματα δίνεται στον πίνακα P a g e

104 Πίνακας 14: Εκτίμηση της μέσης έκθεσης των ενοτήτων στα ηδιαγωνίσματα μέση εμφάνιση στα διαγωνίσματα ΜΕΓΙΣΤΗ Γνωστικό Αντικείμενο 4 ο (Διαχείριση Πληροφοριών και Επικοινωνίες) 1ο (Εισαγωγικές Έννοιες) 2ο (Επεξεργασία Κειμένου) Ενότητα Περιήγηση στον Παγκόσμιο Ιστό Έκθεση κόμβου στα διαγωνίσματα μέση τιμή διακύμανση 12,56 1,60 Υλικό Υπολογιστών 7,63 1,10 Θεμελιώδεις Έννοιες & Περιβάλλον Επεξ. Κειμένου 6,23 2,82 ΕΛΑΧΙΣΤΗ 4ο (Διαχείριση Πληροφοριών και Επικοινωνίες) 1ο (Εισαγωγικές Έννοιες) Η γλώσσα των Ιστοσελίδων 0,012 0,023 Θεμελιώδεις έννοιες στην Πληροφορική 0,006 0,007 1ο Ρυθμίσεις Συστήματος Η/Υ και 0,002 0,002 (Εισαγωγικές Έννοιες) Διαχείριση Περ. Συσκευών Οι υποενότητες που φαίνεται να εμφανίζονται συχνότερα στα διαγωνίσματα (3 με 4 ερωτήματα σε κάθε διαγώνισμα) αφορούν στις συσκευές εισόδου-εξόδου, στο περιβάλλον του φυλλομετρητή και στη διαχείριση των αγαπημένων σελίδων. Από την άλλη, ελάχιστη εμφάνιση στα διαγωνίσματα έχουν υποενότητες που αφορούν στη διαχείριση των στυλ στον επεξεργαστή κειμένου, στη συμπίεση αρχείων και στη διαχείριση φύλλων εργασίας σε ένα υπολογιστικό βιβλίο εργασίας. Αναλυτικά η έκθεση των υποενοτήτων στα διάφορα διαγωνίσματα δίνεται στον πίνακα 15. Πίνακας 15: Εκτίμηση της έκθεσης των υποενοτήτων στα ηδιαγωνίσματα μέση εμφάνιση στα διαγωνίσματα ΜΕΓΙΣΤΗ ΕΛΑΧΙΣΤΗ Γνωστ. Αντικ. 4ο 1ο 2ο 3ο 1ο 2ο Ενότητα Περιήγηση στον Παγκόσμιο Ιστό Υλικό Υπολογιστών Περιήγηση στον Παγκόσμιο Ιστό Θεμελιώδεις έννοιες και περιβάλλον υπολ. φύλλου Διαχείριση Αρχείων Μορφοποίηση χαρακτήρων και παραγράφων υποενότητα Το περιβάλλον ενός Φυλλομετρητή Συσκευές Εισόδου - Εξόδου Έκθεση κόμβου σετα διαγωνίσματα μέση τιμή διακύμανση 4,05 1,346 3,957 1,11 Αγαπημένα 3,55 0,952 Διαχείριση φύλλων εργασίας Συμπίεση αρχείων 0,001 0, Στυλ P a g e

105 Παρατηρούμε ότι υπάρχουν θέματα που παρουσιάζουν μέση εμφάνιση στα διαγωνίσματα πάνω από δύο φορές. Με βάση τον τρόπο οργάνωσης της τράπεζας ερωτημάτων σε κάθε κόμβο 4 ου επιπέδου (θέματα) αντιστοιχεί τουλάχιστον μία οικογένεια ερωτημάτων. Δεν απαγορεύεται όμως να υπάρχουν και άλλες οικογένειες στο ίδιο ΘΕΜΑ. Στην περίπτωση αυτή οι οικογένειες έχουν διαφορετικό βαθμό δυσκολίας ή διαφορετικό τύπο (Ι, ΙΙ, ΙΙΙ) και μπορούν να επιλεγούν ταυτόχρονα από το γεννήτορα. Έτσι, τα θέματα που εμφανίζουν τη μεγαλύτερη συχνότητα εμφάνισης στα διαγωνίσματα αφορούν στις εργαλειοθήκες ενός φυλλομετρητή ( γραμμή διευθύνσεων, γραμμή κατάσταση κλπ), σε απλές λειτουργίες του πληκτρολογίου και στην αντιγραφή αντικειμένων μέσα σε μια εφαρμογή υπολογιστικών φύλλων. Από την άλλη, υπάρχουν θέματα που σχεδόν δεν εμφανίζονται καθόλου στα διαγωνίσματα όπως είναι η διαχείριση των στυλ σε ένα έγγραφο κειμένου, ερωτήματα σχετικά με το ΓΠΕ διαφόρων λειτουργικών συστημάτων, δυνατότητες άμεσης αποστολής ενός βιβλίου εργασίας, μεταβολή ύψους και πλάτους στηλών πίνακα μέσα σε ένα έγγραφο κειμένου κλπ. Αναλυτικά η έκθεση των θεμάτων στα διάφορα διαγωνίσματα δίνεται στον πίνακα 16. Πίνακας 16: Εκτίμηση της έκθεσης των θεμάτων στα ηδιαγωνίσματα μέση εμφάνιση στα διαγωνίσματα ΜΕΓΙΣΤΗ ΕΛΑΧΙΣΤΗ Γνωστ. Αντικ. 4ο 1ο 3ο 2ο 1ο Ενότητα/Υποενότητα Περιήγηση στον Παγκόσμιο Ιστό (το περιβάλλον ενός Φυλλομετρητή) Υλικό Υπολογιστών (Συσκευές Εισόδου Εξόδου) Επεξεργασία δεδομένων και αντικειμένων (Διαχείριση του πρόχειρου (clipboard)) Μορφοποίηση χαρακτήρων και παραγράφων (Στυλ) Λογισμικό Υπολογιστών (Γραφικό Περιβάλλον Επικοινωνίας) Θέμα Οι εργαλειοθήκες του φυλλομετρητή Το Πληκτρολόγιο και η λειτουργία του Αντιγραφή και μετακίνηση αντικειμένων Δημιουργία, τροποποίηση, διαγραφή και εφαρμογή στυλ. Λειτουργικά συστήματα που βασίζονται σε ΓΠΕ Έκθεση κόμβου στα διαγωνίσματα μέση τιμή διακύμανση 2,571 0,79 2,205 0,548 1,376 0,384 0, , , , P a g e

106 4.8 Άξονας ΕΡΩΤΗΜΑΤΑ Η μελέτη των δοκιμασιών στηρίχθηκε τόσο στην κλασσική θεωρία ανάλυσης (classical item analysis) με τον υπολογισμό μιας σειράς από στατιστικούς δείκτες για κάθε δοκιμασία (δείκτης διακριτικότητας, βαθμός δυσκολίας κλπ) ενώ μελετήθηκε η συμπεριφορά των οικογενειών που αποτελούν την τράπεζα δοκιμασιών με βάση τη θεωρία αποκρίσεων (Item Response Theory-IRT) Μεθοδολογία ανάλυσης ΕΡΩΤΗΜΑΤΩΝ Μια σειρά από στατιστικές παράμετροι για κάθε δοκιμασία υπολογίστηκαν δημιουργώντας το στατιστικό προφίλ της τράπεζας θεμάτων. Μελετήθηκε ο μέσος χρόνος απόκρισης των εκπαιδευτικών στις διάφορες δοκιμασίες σε σχέση με μια σειρά χαρακτηριστικών της κάθε δοκιμασίας (π.χ γνωστικό αντικείμενο, επίπεδο δυσκολίας, τύπος δοκιμασίας κλπ) και υπολογίστηκαν τα ποσοστά επιτυχίας της κάθε δοκιμασίας. Μελετήθηκε η συμπεριφορά όλων των οικογενειών που συμμετείχαν στις εξετάσεις πιστοποίησης ακολουθώντας τρεις φάσεις ανάλυσης: (α) Φάση Α, προετοιμασία και υπολογισμός όλων των IRT παραμέτρων για κάθε δοκιμασία (β) Φάση Β, αναζήτηση στατιστικών διαφορών ανάμεσα στην πρωτότυπη ερώτηση κάθε οικογένειας (father-πατέρας) και στους κλώνους (children-παιδιά) (γ) Φάση Γ, ανασκόπηση όλων των οικογενειών με έλεγχο των δοκιμασιών σε ζεύγη (πρωτότυπη-κλώνος) με σκοπό τη συσχέτιση της στατιστικής συμπεριφοράς των μελών μιας οικογένειας με τα διάφορα τμήματα που συνθέτουν μια δοκιμασία (εκφώνηση, δολώματα, κώδικας αξιολόγησης, αρχεία εργασίας κλπ). Το διάγραμμα ροής που περιγράφει τον τρόπο ανάλυσης των οικογενειών δίνεται στο σχήμα 20 ενώ δείγμα του κώδικα που χρησιμοποιήθηκε για τον υπολογισμό των IRT παραμέτρων δίνεται στο παράρτημα Η και Θ. 106 P a g e

107 Σχήμα 20: Αλγόριθμος ανάλυσης οικογενειών 107 P a g e

108 Φάση Α (stage A) Για τον υπολογισμό των IRT παραμέτρων για τα ερωτήματα μιας οικογένειας ακολουθήθηκαν τρία βήματα: (α) οργάνωση δεδομένων σε κατάλληλες δομές (β) υπολογισμός των IRT παραμέτρων στα διάφορα σύνολα δεδομένων και (γ) εκτίμηση των IRT παραμέτρων του κάθε ερωτήματος. Βήμα 1: Οργάνωση δεδομένων σε κατάλληλες δομές Όπως αναφέρθηκε στο θεωρητικό πλαίσιο προϋπόθεση για την εφαρμογή της θεωρίας IRT αποτελεί το unidimensionality (δηλαδή η παρατηρούμενη συμπεριφορά των εξεταζόμενων να μπορεί να ερμηνευτεί μόνο από μια απλή λανθάνουσα μεταβλητή όπως είναι η ικανότητα σε ένα γνωστικό αντικείμενο), το speededness (δηλαδή όταν ένας τυχαίος εξεταζόμενος αποτυγχάνει να απαντήσει σωστά σε μια δοκιμασία αυτό οφείλεται στην χαμηλή ικανότητά του και όχι επειδή δεν είχε αρκετό χρόνο για να απαντήσει) και η στατιστική ανεξαρτησία των απαντήσεων (δηλαδή η απάντηση σε ένα ερώτημα να μην επηρεάζει την απάντηση σε κάποιο άλλο ερώτημα). Για κάθε ηδιαγώνισμα που συμμετείχε στις εξετάσεις απομονώθηκαν οι απαντήσεις των εξεταζόμενων στα διαφορετικά γνωστικά αντικείμενα (εισαγωγικές έννοιες, επεξεργασία κειμένου κλπ) και διαχωρίστηκαν σε δύο ομάδες ανάλογα με τον τύπο τους. Στην μια ομάδα ανήκουν όλα τα ερωτήματα κλειστού τύπου ή ψευδοεφαρμογής (τύποι Ι & ΙΙΙ) και στην άλλη ομάδα όλα τα ερωτήματα εφαρμογής (τύπος ΙΙ). Έτσι διαμορφώθηκαν διαφορετικά σύνολα διχοτομικών δεδομένων που εξετάζουν την ίδια ικανότητα όσον αφορά τις βασικές δεξιότητες πληροφορικής (unidimensionality). Επιπλέον, γνωρίζουμε από προηγούμενες έρευνες ότι οι εξεταζόμενοι ολοκληρώνουν το ηδιαγώνισμα μέσα σε 2 ώρες περίπου (speededness) έχοντας αρκετό χρόνο να αντιμετωπίσουν τις συγκεκριμένες δοκιμασίες (Christakoudis κ.ά., 2010a) ενώ οι δοκιμασίες δεν έχουν σχέση μεταξύ τους μια και δεν μοιράζονται αρχεία, εκφωνήσεις ή σενάρια εργασίας (local independence). Βήμα 2: Υπολογισμός IRT παραμέτρων για κάθε σύνολο δεδομένων Για τα ερωτήματα εφαρμογής (τύπος ΙΙ) αξιοποιήθηκε ένα μοντέλο 2 παραμέτρων (unconstraint 2PL, όπου κάθε δοκιμασία στο σύνολο δεδομένων μπορεί να έχει διαφορετική διακριτική ικανότητα α 1 και χωρίς πιθανότητα τυχαίας απάντησης c=0) ενώ για τις δοκιμασίες που βασίζονται στην επιλογή προτεινόμενων απαντήσεων χρησιμοποιήθηκε το μοντέλο 3 παραμέτρων (3PL, όπου κάθε δοκιμασία στο σύνολο δεδομένων μπορεί να έχει διαφορετική διακριτική ικανότητα α 1 και διαφορετικό δείκτη τυχαιότητας c 0). Τα δεδομένα των απαντήσεων που έδωσαν οι εξεταζόμενοι ελέγχθηκαν για το πόσο ακολουθούν την κατανομή των αντίστοιχων μοντέλων με βάση την κατανομή pearson s X 2 (Drasgow, Levine, & Williams, 1985; Meijer & Sijtsma, 2001) (goodness of fit). Για κάθε σύνολο δεδομένων υπολογίστηκαν οι συντελεστές IRT για όλα τα ερωτήματά του αξιοποιώντας τη βιβλιοθήκη στατιστικής ανάλυσης ltm package στο R (Rizopoulos, 2006). 108 P a g e

109 Βήμα 3: Εκτίμηση των "πραγματικών" συντελεστών IRT για κάθε ερώτημα Ένα ερώτημα συμμετέχει σε πολλά διαφορετικά σύνολα δεδομένων σύμφωνα με την ανάλυση που έγινε στα προηγούμενα βήματα. Με βάση τις αποκρίσεις που έχουν καταγραφεί για κάθε σύνολο δεδομένων υπολογίστηκαν οι παράμετροι IRT των ερωτημάτων στο συγκεκριμένο σύνολο και συνδυάστηκαν ώστε να καταλήξουμε στους συντελεστές a, b και c εκτίμησης του μέσου του κάθε συντελεστή (Lehmann & D Abrera, 1975). μέσα από μια διαδικασία Φάση Β (stage Β) Με βάση το μοντέλο ανάπτυξης των οικογενειών τα πρωτότυπα ερωτήματα (πατέρες) αναμένεται να έχουν την ίδια στατιστική συμπεριφορά με τα ερωτήματα-κλώνους μια και η διαδικασία παραγωγής τους βασίστηκε στην κατασκευή ισοδύναμων ερωτημάτων. Παρόλα αυτά τα ερωτήματα των οικογενειών δεν εκτέθηκαν στις ίδιες ομάδες εξεταζόμενων και για το σκοπό αυτό είναι αναμενόμενο να υπάρχουν αποκλίσεις στους συντελεστές IRT των ερωτημάτων. Για να εκτιμηθεί το αν οι παρατηρήσιμες διαφορές είναι στατιστικά σημαντικές υπολογίστηκαν οι διαφορές των χαρακτηριστικών των ερωτημάτων σε όλο το φάσμα ικανοτήτων και εκτελέστηκαν κατάλληλοι έλεγχοι υποθέσεων με βάση την προτεινόμενη ανάλυση που παρατίθεται στην ενότητα (N. S. Raju, 1990; Nambury S. Raju, 1988). Φάση Γ (stage C) Στις περιπτώσεις που παρατηρήθηκαν σημαντικές στατιστικές διαφοροποιήσεις έγινε σχολαστικός έλεγχος όλων των επιμέρους χαρακτηριστικών των ερωτημάτων ώστε να ερμηνευτούν οι στατιστικές αποκλίσεις και να συσχετιστούν με κάποια από τα τμήματα της δοκιμασίας (εκφώνηση, δολώματα, αρχεία εργασίας, κώδικας ελέγχου κλπ). Οι χαρακτηριστικές εξισώσεις των οικογενειών παρείχαν την κατάλληλη πληροφόρηση για το πώς αντιμετωπίστηκε το κάθε ερώτημα από εξεταζόμενους διαφορετικής ικανότητας, όπως φαίνεται στο σχήμα 21. Σχήμα 21: Αντιπαραβολή των ερωτημάτων μιας οικογένειας βασισμένη στο IRT προφίλ τους 109 P a g e

110 4.8.2 Ανάλυση χρόνου απόκρισης ανά επίπεδο δυσκολίας ερωτήματος Στο χρονικό παράθυρο της έρευνας χρησιμοποιήθηκαν 1086 δοκιμασίες κατανεμημένες σε 5 γνωστικά αντικείμενα και σε 3 επίπεδα δυσκολίας. Στο πλαίσιο της έρευνας, σα δείγμα αναφοράς, επιλέχτηκαν μόνο οι ερωτήσεις που εμφανίστηκαν πάνω από 30 φορές στις διάφορες απόπειρες πιστοποίησης ώστε να έχουμε ασφαλή στατιστικά συμπεράσματα (Aczel & Sounderpandian, 2008). Ο χρόνος απόκρισης των εκπαιδευτικών στις διάφορες δοκιμασίες ακολουθεί μια λεπτόκυρτη κατανομή με εύρος περίπου 6,5 min όπως φαίνεται στο σχήμα 22. Σχήμα 22: Μέσος χρόνος απόκρισης στα ερωτήματα (α) ιστόγραμμα (β) θηκόγραμμα Τα αναλυτικά στατιστικά στοιχεία του μέσου χρόνου απόκρισης δίνονται στον πίνακα 17. Πίνακας 17: Μέτρα θέσης και απόκλισης για το χρόνο απόκρισης στα ερωτήματα μέτρα ΘΕΣΗΣ μέτρα ΑΠΟΚΛΙΣΗΣ μέση τιμή 95,48 δευτ. λοξότητα +1,7036 διάμεσος 83,02 δευτ. κύρτωση +4,26 μικρότερη τιμή μεγαλύτερη τιμή εύρος 21,26 δευτ. 423,9 δευτ. 402,64 δευτ. Επιλέγοντας μόνο τα ηδιαγωνίσματα που έχουν απαντηθεί τουλάχιστον 30 φορές, παρατηρούμε ότι η μέση τιμή του χρόνου απόκρισης στα ερωτήματα αυξάνει σταδιακά ανάλογα με το βαθμό δυσκολίας και τον τύπο των ερωτημάτων όπως φαίνεται και από το αντίστοιχο γράφημα που παρουσιάζεται στο σχήμα P a g e

111 Σχήμα 23: Μέσος χρόνος απόκρισης στα ερωτήματα Παρατηρούμε ότι στα ερωτήματα εφαρμογής (τύπος ΙΙ) όσο πιο δύκολη είναι η δοκιμασία τόσο περισσότερος χρόνος απαιτείται από τους εξεταζόμενους προκειμένου να καταχωρίσουν την απάντησή τους. Στα ερωτήματα όμως όπου ο εξεταζόμενος μπορεί να επιλέξει τη σωστή απάντηση μέσα από ένα σύνολο πιθανών απαντήσεων (τύπος Ι και ΙΙΙ) ο μέσος χρόνος απάντησης μειώνεται στις δύσκολες ερωτήσεις. Αυτό ερμηνεύεται από τη μορφή των ερωτημάτων αυτών που πολλές φορές ωθούν τους εξεταζόμενους στην τυχαία επιλογή των απαντήσεων Χρόνος απόκρισης ανά γνωστικό αντικείμενο Υπολογίστηκε ο μέσος χρόνος απάντησης των εξεταζόμενων σε σχέση με τα γνωστικά αντικείμενα και παρατηρήθηκε ότι οι εξεταζόμενοι αντιμετώπισαν με διαφορετικό τρόπο την εξεταζόμενη ύλη. Έτσι, τις ερωτήσεις που αφορούν στη θεωρία και στο διαδίκτυο τις αντιμετώπισαν ευκολότερα και με μεγάλη ομοιογένεια ενώ τις ερωτήσεις για επεξεργασία κειμένου, υπολογιστικά φύλα και διαχείριση παρουσιάσεων τις αντιμετώπισαν δυσκολότερα και με μικρότερη ομοιογένεια όπως φαίνεται στο σχήμα P a g e

112 Σχήμα 24: Θηκογράμματα ανά γνωστικό αντικείμενο (α) μέσος χρόνος απάντησης στα διάφορα ερωτήματα (β) τυπική απόκλιση απαντήσεων Χρόνος απόκρισης ανά τύπο ερώτησης Από τη συγκριτική μελέτη του μέσου χρόνου απάντησης στα ερωτήματα τύπου Ι-ΙΙΙ (κλειστού τύπου και ψευδοεφαρμογής) και στα ερωτήματα τύπου ΙΙ (εφαρμογής) προκύπτουν στατιστικά σημαντικές διαφορές στο χρόνο που απαιτείται για την απάντησή τους. Για το 25% των ερωτημάτων εφαρμογής η απάντηση καταχωρείται μέσα σε 78,26 δευτ. ενώ στον ίδιο χρόνο το 71% των ερωτημάτων κλειστού τύπου καταχωρούνται. Τα σχετικά θηκογράμματα παρουσιάζονται στο σχήμα 25. Σχήμα 25: θηκογράμματα χρόνου απόκρισης (α) ερωτήσεις τύπου ΙΙ εφαρμογής (β) ερωτήσεις τύπου Ι-ΙΙΙ κλειστού τύπου και ψευδοεφαρμογής 112 P a g e

113 4.8.5 Χρόνος απόκρισης σωστών και λανθασμένων ερωτημάτων Μελετώντας τους μέσους χρόνους απάντησης στα ερωτήματα που απαντήθηκαν με επιτυχία σε σχέση με τα ερωτήματα που απαντήθηκαν λανθασμένα προκύπτει ότι οι εκπαιδευτικοί καταχωρούν ταχύτερα τις απαντήσεις τους και με μεγαλύτερη ομοιογένεια όταν γνωρίζουν την απάντηση ενώ όταν δε γνωρίζουν την απάντηση προσπαθούν να την εντοπίσουν καταβάλλοντας μεγαλύτερη προσπάθεια. Τα αντίστοιχα θηκογράμματα δίνονται στο σχήμα 26. Σχήμα 26: θηκογράμματα μέσου χρόνου απόκρισης (α) Σωστές απαντήσεις (β) Λανθασμένες απαντήσεις Σταδιακή έκθεση των ερωτημάτων Η έκθεση ενός ερωτήματος στο πλαίσιο εξετάσεων που επαναλαμβάνονται στη διάρκεια των χρόνων αποτελεί ένα από τα μειονεκτήματα των γραμμικών συστημάτων εξέτασης (linear testing) γιατί μπορεί να οδηγήσει σε διαρροή των θεμάτων στους εξεταζόμενους με αποτέλεσμα να ελαττωθεί η αξιοπιστία της εξέτασης. Η διαχρονική έκθεση ενός ερωτήματος σε πολλούς εξεταζόμενους μπορεί να υπολογιστεί από την εξίσωση 23. (εξ. 23) όπου C i είναι το πλήθος των εμφανίσεων του συγκεκριμένου ερωτήματος, n είναι το σύνολο των πιστοποιήσεων που έχουν διενεργηθεί στη διάρκεια των χρόνων και Εκθ i είναι ο βαθμός έκθεσης του ερωτήματος στο διάστημα από το 0 μέχρι το 1. Στη διάρκεια της χρονικής περιόδου στην οποία βασίζεται η έρευνα εξετάστηκαν πάνω από εκπαιδευτικοί της πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης κάνοντας συνολικά n= απόπειρες πιστοποίησης ενώ 1089 διαφορετικά ερωτήματα χρησιμοποιήθηκαν. Ο βαθμός έκθεσης των ερωτημάτων, το θηκόγραμμα και το ιστόγραμμα της έκθεσης δίνονται στο σχήμα P a g e

114 Σχήμα 27: Έκθεση ερωτημάτων σε εξεταζόμενους (α) Καμπύλη έκθεσης ερωτημάτων (β) Θηκόγραμμα έκθεσης (γ) Ιστόγραμμα έκθεσης Το σύνολο των ερωτημάτων που εμφανίζουν σχετικά μεγάλο βαθμό έκθεσης (>0.18) είναι 112 σε πλήθος και τα στατιστικά τους στοιχεία δίνονται στο παράρτημα Δ. Τρία μόλις ερωτήματα εμφανίζουν βαθμό έκθεσης πάνω από 0.5 κάτι που σημαίνει ότι 1 στους δύο εξεταζόμενους βλέπει τις συγκεκριμένες ερωτήσεις. Τα ερωτήματα με τη μεγαλύτερη συχνότητα εμφάνισης παρουσιάζονται στον πίνακα 18 και η μορφή με την οποία εμφανίζονται στις εξετάσεις στο σχήμα 28. Πίνακας 18: Στατιστικά στοιχεία ερωτημάτων με τη μεγαλύτερη έκθεση Κωδικός ερωτήματος Σύντομος τίτλος Άνοιγμα εγγράφου epimorf.doc κλεισιμο αρχειου και οχι εφαρμογης Εργαλείο ζωγραφικής Γνωστικό Αντικείμενο Επεξεργασία Κειμένου (MS Wrd) Επεξεργασία Κειμένου (MS Wrd) Εισαγωγικές έννοιες Τύπος ερωτήματος Βαθμός δυσκολίας Βαθμός έκθεσης ΙΙ ΙΙ ΙΙΙ P a g e

115 Σχήμα 28: Τα ερωτήματα με το μεγαλύτερο βαθμό έκθεσης (α) Ερώτημα με id=98 (β) Ερώτημα με id=214 (γ) Ερώτημα με id=1585 Οι αποκρίσεις των εξεταζόμενων σε κάθε ερώτημα ταξινομήθηκαν σε απόλυτη αύξουσα σειρά σε σχέση με το χρόνο καταχώρισης της απάντησης. Για κάθε εγγραφή του αρχείου απαντήσεων υπολογίστηκε η αντίστοιχη έκθεση και το ποσοστό επιτυχίας του ερωτήματος μέχρι εκείνη τη χρονική στιγμή. Για κάθε πιθανή τιμή έκθεσης (0 έως 1) υπολογίστηκε το μέσο ποσοστό επιτυχίας των ερωτημάτων καθώς και το πλήθος τους. Το γράφημα που αποτυπώνει τη σχέση ανάμεσα στο βαθμό έκθεσης των ερωτημάτων και το ποσοστό επιτυχίας στη διάρκεια των χρόνων δίνεται στο σχήμα P a g e

116 Σχήμα 29: Σχέση του βαθμού έκθεσης με το ποσοστό επιτυχίας Παρατηρούμε ότι όσο ο βαθμός έκθεσης αυξάνει τόσο αυξάνει και το μέσο ποσοστό επιτυχίας των ερωτημάτων. Στην αρχή οι εκπαιδευτικοί απαντούν στα ερωτήματα με ένα μέσο ποσοστό επιτυχίας λίγο κάτω από 0.80 αλλά με μεγαλύτερη διακύμανση ενώ όσο περνάει ο καιρός και τα ερωτήματα εκτίθενται σε περισσότερους εξεταζόμενους η μέση επιτυχία σταθεροποιείται γύρω στο 0.85 με μικρότερη διασπορά στις απαντήσεις τους Εκτίμηση της ποιότητας των ερωτημάτων Για την εκτίμηση της ποιότητας των ερωτημάτων που χρησιμοποιούνται για την πιστοποίηση των εκπαιδευτικών υπολογίστηκε ο δείκτης δυσκολίας και ο δείκτης διακριτικής ικανότητας. Αξιολογώντας τους στατιστικούς δείκτες των ερωτημάτων εντοπίστηκαν εκείνα τα ερωτήματα που πρέπει να αναθεωρηθούν ή να αποσυρθούν από τις εξετάσεις ενώ χαρακτηριστικά παραδείγματα ερωτημάτων με ακραίες συμπεριφορές εντοπίστηκαν. Δείκτης δυσκολίας των ερωτημάτων Τα ερωτήματα της τράπεζας θεμάτων χαρακτηρίστηκαν από την ομάδα των icons σαν ΕΥΚΟΛΑ-ΜΕΤΡΙΑ-ΔΥΣΚΟΛΑ. Η πραγματική δυσκολία όμως των ερωτημάτων εκτιμήθηκε μέσω του δείκτη δυσκολίας όπως ορίζεται στην εξίσωση 2. Η συνολική καμπύλη του δείκτη δυσκολίας για όλα τα ερωτήματα καθώς και το αντίστοιχο θηκόγραμμα και ιστόγραμμα δίνονται στο σχήμα P a g e

117 Σχήμα 30: Δείκτης δυσκολίας (difficulty index) (α) δείκτης δυσκολίας ανά ερώτημα (β) θηκόγραμμα (γ) ιστόγραμμα Από τη μορφή των σχημάτων παρατηρούμε ότι το μεγαλύτερο ποσοστό των ερωτημάτων βρίσκονται μέσα στην περιοχή αποδοχής ( ) αλλά ένα υποσύνολο ερωτημάτων εμφανίζει δείκτη δυσκολίας είτε πολύ μεγάλο είτε πολύ μικρό. Για την ακρίβεια, από τα 1089 ερωτήματα που ελέγχθηκαν τα 427 (39.21%) βρίσκονται έξω από τα επιθυμητά όρια. H κατανομή των ερωτημάτων που εμφανίζουν μη-αποδεκτό βαθμό δυσκολίας ανάλογα με το γνωστικό αντικείμενο και τον αρχικό χαρακτηρισμό τους όσον αφορά στη δυσκολία τους δίνεται στο σχήμα P a g e

118 Σχήμα 31: Κατανομή των μη-αποδεκτών ερωτημάτων με βάση το δείκτη δυσκολίας Από το παραπάνω σχήμα παρατηρούμε ότι τα ερωτήματα που δεν εμφανίζουν αποδεκτό δείκτη δυσκολίας είναι κυρίως τα εύκολα ερωτήματα που αφορούν στις εισαγωγικές έννοιες, στην επεξεργασία κειμένου και στα υπολογιστικά φύλλα ενώ αρκετά εύκολα και μέτρια ερωτήματα από το διαδίκτυο και τις παρουσιάσεις επίσης εμφανίζονται στην περιοχή μη-αποδοχής. Το ποσοστό απόρριψης μικραίνει όταν ο αρχικός χαρακτηρισμός του ερωτήματος από τον συγγραφέα τείνει προς την κατηγορία 3-δύσκολα. Το σύνολο των ερωτημάτων που πρέπει να αναθεωρηθούν με βάση το βαθμό δυσκολίας τους και τα στατιστικά τους χαρακτηριστικά παρουσιάζεται στο παράρτημα Ε. Στο σχήμα 32 παρουσιάζονται δύο χαρακτηριστικά παραδείγματα ερωτήσεων που ανήκουν στην κατηγορία των ψεύδο-εφαρμογών (ερωτήσεις κλειστού τύπου που για να απαντηθούν απαιτούν κάποια ενέργεια του εξεταζόμενου χρησιμοποιώντας το αντίστοιχο λογισμικό) και εμφανίζουν ακραία ποσοστά επιτυχίας. Στο παράδειγμα (α) εμφανίζεται μια ερώτηση που έχει χαρακτηριστεί δύσκολη (επίπεδο L3) αλλά εμφανίζει πολύ υψηλό ποσοστό επιτυχίας. Προφανώς το επίπεδο δυσκολίας της ερώτησης είναι χαμηλότερο σε σχέση με το συγκεκριμένο προφίλ εξεταζόμενων. Αντίθετα, στο παράδειγμα (β) εμφανίζεται μια εύκολη ερώτηση (επίπεδο L1) με ιδιαίτερα χαμηλό ποσοστό επιτυχίας. Το χαμηλό 118 P a g e

119 ποσοστό επιτυχίας μπορεί να έχει σχέση με το πραγματικό επίπεδο δυσκολίας της ερώτησης, με πιθανό λάθος στην καταχώριση της σωστής απάντησης στο σύστημα πιστοποίησης ή με ασάφειες στην εκφώνηση. Σχήμα 32: Παραδείγματα ερωτήσεων που εμφανίζουν ακραία ποσοστά επιτυχίας/αποτυχίας (α) δύσκολη ερώτηση (L3) με ποσοστό επιτυχίας > 95% (β) εύκολη ερώτηση (L1) με ποσοστό επιτυχίας < 10% Δείκτης διακριτικής ικανότητας Για να εκτιμηθεί η διακριτική ικανότητα των ερωτημάτων υπολογίστηκε ο δείκτης διακριτικής ικανότητας (βλ. εξ.3) καθώς και η συσχέτιση (biserial correlation) της απάντησης στο ερώτημα με το συνολικό σκορ του εξεταζόμενου (βλ. εξ.4). Επειδή τα ηδιαγωνίσματα δεν είναι μονοδιάστατα (δηλαδή περιέχουν ομάδες ερωτημάτων που εξετάζουν επιμέρους ικανότητες multidimentional test) οι παραπάνω δείκτες υπολογίστηκαν σε σχέση με το συνολικό σκορ στα ερωτήματα της ίδιας ομάδας (ερωτήματα στο ίδιο γνωστικό αντικείμενο). Τα θηκογράμματα του δείκη διακριτικότητας και του δείκτη συσχέτισης δίνονται στο σχήμα P a g e

120 Σχήμα 33: Διακριτική ισχύς των ερωτημάτων (α) Δείκτης διακριτικότητας (D) (β) Δείκτης συσχέτισης (biserial correlation rpbis) Η κατανομή της διακριτικής ισχύς είναι αρκετά καλή με μέση τιμή περίπου στο 0.5. Ο δείκτης διακριτικότητας (D) έχει λίγο μεγαλύτερη διασπορά σε σχέση με το δείκτη συσχέτισης. Είναι φανερό όμως ότι τόσο στη μία όσο και στην άλλη περίπτωση εμφανίζονται ερωτήματα που βρίσκονται εκτός των επιθυμητών ορίων. Η μορφή του δείκτη διακριτικότητας ανά γνωστικό αντικείμενο εμφανίζεται στο σχήμα 34. Σχήμα 34: Δείκτης διακριτικότητας ανά γνωστικό αντικείμενο 120 P a g e

121 Παρατηρούμε ότι τα ερωτήματα που αφορούν στα υπολογιστικά φύλλα και στις παρουσιάσεις έχουν την καλύτερη διακριτική ικανότητα για το συγκεκριμένο προφίλ εξεταζόμενων. Παρόλα αυτά υπάρχουν ερωτήματα στα υπολογιστικά φύλλα που εμφανίζουν αρνητική σχέση όσον αφορά τη διακριτική τους ικανότητα (αρνητικές τιμές του δείκτη). Αναλύοντας το δείκτη διακριτικής ικανότητας μπορούμε να αξιολογήσουμε την ποιότητα των χρησιμοποιούμενων ερωτημάτων και να εντοπίσουμε εκείνα τα ερωτήματα που πρέπει να αποσυρθούν από τις εξετάσεις ή να αναθεωρηθούν. Η αξιολόγηση των ερωτημάτων και η κατανομή τους στα διάφορα γνωστικά αντικείμενα δίνεται στον πίνακα 19. Πίνακας 19: Αξιολόγηση ερωτημάτων με την κλίμακα των Ebel & Frisbie 1991 Κατανομή στα γνωστικά Ποιότητα αντικείμενα Σύνολο Ερωτήματος Εισαγωγικές Επεξεργασία Υπολογιστικά Διαδίκτυο Παρουσιάσεις έννοιες κειμένου φύλλα & εξαιρετική (excellent) καλή ( good) μέτρια (mediocre) μικρή (poor) κακή (worst) (45%) (14%) (15%) (25%) 8 0 (0%) 179 (59%) 36 (12%) 30 (10%) 55 (18%) 1 (0%) 198 (70%) 26 (9%) 18 (6%) 36 (13%) 6 (2%) 105 (52%) 33 (16%) 34 (17%) 30 (15%) 1 (0%) 102 (76%) 14 (10%) 13 (10%) 6 (4%) 0 (0%) ΣΥΝΟΛΟ Από τα ερωτήματα που χρησιμοποιούνται για την πιστοποίηση των εκπαιδευτικών στις βασικές δεξιότητες πληροφορικής σχετικά καλή συμπεριφορά όσον αφορά τη διακριτική τους ισχύ παρουσιάζει το ~60% των ερωτημάτων για τις εισαγωγικές έννοιες, το ~71% των ερωτημάτων επεξεργασίας κειμένου, το ~80% των ερωτημάτων για υπολογιστικά φύλλα, το ~68% των ερωτημάτων για το διαδίκτυο και το και το 86% των ερωτημάτων διαχείρισης παρουσιάσεων. Ένα σύνολο από ερωτήματα πρέπει να απορριφθούν (worst) ενώ κάποια άλλα πρέπει να αναθεωρηθούν (poor) ή να ελεγχθούν (mediocre) σε βάθος. Το σύνολο των ερωτημάτων που χρειάζονται αναθεώρηση με βάση τη διακριτική τους ισχύ δίνεται στο παράρτημα Ζ. 121 P a g e

122 4.8.8 Μελέτη οικογενειών Ένα σύνολο από 124 διαφορετικές οικογένειες αναλύθηκε με τη μεθοδολογία που περιγράφηκε στην ενότητα ΤΑΔΕ. Οι οικογένειες διαμερίστηκαν σε δύο μεγάλες κατηγορίες ανάλογα με το μοντέλο που χρησιμοποιήθηκε για να μελετηθεί η συμπεριφορά τους (2PL ή 3PL). Ο πίνακας 20 περιγράφει συνοπτικά τα αποτελέσματα αυτού του ελέγχου. IRT μοντέλο 2PL Πίνακας 20: Διαφορές στα στατιστικά χαρακτηριστικά οικογενειών Σύνολο διαφορετικών ηδιαγωνισμάτων Σύνολο αποκρίσεων Πλήθος οικογενειών οικογένειες με στατιστικές διαφοροποιήσεις (74%) 540 3PL (62%) Πάνω από το 60% των οικογενειών που ελέγχθησαν παρουσίασαν στατιστικά σημαντικές διαφοροποιήσεις. Οι δοκιμασίες που μοντελοποιήθηκαν με μοντέλα 2 παραμέτρων (2PLinApplication) παρουσίασαν περισσότερες διαφοροποιήσεις σε σχέση με τις διαφοροποιήσεις των οικογενειών που βασίστηκαν σε ερωτήματα κλειστού τύπου. Στα ερωτήματα κλειστού τύπου (3PL) οι περισσότερες διαφοροποιήσεις ερμηνεύονται από αλλαγές στο τύπο της ερώτησης μέσω της διαφοροποίησης του πλήθους των δολωμάτων αλλά και της ποιότητάς τους. Κατά τη φάση της κλωνοποίησης πολλές φορές οι συγγραφείς (icons) δημιούργησαν κλώνους ερωτημάτων που ήταν ερωτήματα Σωστού-Λάθους ενώ η πρωτότυπη δοκιμασία ερώτημα μιας επιλογής από πολλές. Αυτό είχε σαν αποτέλεσμα ο βαθμός δυσκολίας να ελαττώνεται και οι συγκεκριμένοι κλώνοι να εμφανίζουν υψηλότερα ποσοστά επιτυχίας σε σχέση με τις πρωτότυπες ερωτήσεις. Παρόλα αυτά εντοπίστηκαν και ερωτήματα όπου ήταν παρά τη μείωση των δολωμάτων το ποσοστό επιτυχίας μειώθηκε αντί να αυξηθεί. Η συγκριτική μελέτη των ερωτημάτων αυτών (αξιοποίηση των χαρακτηριστικών εξισώσεων ICCs) έδειξε οτι η συμπεριφορά αυτή μπορεί να ερμηνευτεί από ασάφειες και ελλείψεις στην εκφώνηση που οδήγησε σε ελλειπή κατανόηση των ζητουμένων από τους εξεταζόμενους. Στα ερωτήματα εφαρμογής (2PL) οι διαφοροποιήσεις οφείλονται κυρίως σε διαφορές που παρατηρήθηκαν στις εκφωνήσεις των κλώνων. Οι συγγραφείς, στην προσπάθειά τους να διαφοροποιήσουν την εκφώνηση του κλώνου πολλές φορές άλλαζαν το νόημα της ερώτησης με αποτέλεσμα να αλλάζουν και οι προαπαιτούμενες γνώσεις και δεξιότητες. Σε λίγες περιπτώσεις οι στατιστικές διαφορές συσχετίστηκαν με διαφοροποιήσεις στα αρχεία εργασίας των ερωτημάτων ή με απρόσμενες ενέργειες των εξεταζόμενων (π.χ χρήση λατινικών χαρακτήρων, έλλειψη τόνων κλπ). Ετσι, 122 P a g e

123 ερωτήματα που είχαν κατασκευαστεί νωρίτερα στο χρόνο συμπεριφέρθηκαν χειρότερα σε σχέση με τους κλώνους τους που βασίστηκαν σε καλύτερους ελέγχους των αποκρίσεων (better scripts). Η συγκριτική μελέτη όλων των οικογενειών και η προσπάθεια ερμηνείας των στατιστικών διαφορών ανέδειξε μια σειρά από δοκιμασίες με «καλή» και «κακή» συμπεριφορά. Οι βασικοί παράγοντες που σχετίζονται με την κατασκευή των ερωτημάτων και επηρεάζουν τη συμπεριφορά τους είναι: (α) ο τύπος των ερωτημάτων (σωστού-λάθους, 1 από πολλά, συμπλήρωση κενού κλπ), (β) οι λεκτικές διατυπώσεις τόσο της εκφώνησης όσο και των δολωμάτων (γ) η συμπεριφορά του κώδικα ελέγχου και (δ) η πολυπλοκότητα των αρχείων εργασίας. 4.9 Άξονας ΕΞΕΤΑΖΟΜΕΝΟΙ Στον άξονα αυτό μελετήθηκε ο τρόπος με τον οποίο τα ιδιαίτερα χαρακτηριστικά των εξεταζόμενων (φύλο, γνωστικό αντικείμενο, ειδικότητα, ηλικία κλπ) επηρέασαν τις αποκρίσεις τους και σκιαγραφήθηκε το προφίλ τους ανάλογα με τη γενικότερη συμπεριφορά τους στις εξετάσεις Μεθοδολογία ανάλυσης για ΕΞΕΤΑΖΟΜΕΝΟΥΣ Ορίστηκε ένα σύνολο από μεταβλητές που περιγράφουν τον τρόπο με τον οποίο αντιμετωπίζουν οι εξεταζόμενοι το σύνολο των δοκιμασιών. Οι μεταβλητές που ορίστηκαν είναι: (v1) χρόνος εξέτασης (examination time), σε πόσο χρόνο ο εξεταζόμενος ολοκλήρωσε το ηδιαγώνισμα (v2) χρόνος βάσης (threshold time), σε πόσο χρόνο ο εξεταζόμενος κατάφερε να απαντήσει σωστά σε ικανό αριθμό δοκιμασιών ώστε να περάσει τη βάση εξέτασης (v3) πλήθος απαντημένων (items answered), πόσες δοκιμασίες έχει απαντήσει ο εξεταζόμενος ανεξάρτητα από το αν είναι σωστές ή λανθασμένες (v4) βαθμολογία (score), το σύνολο των σωστών απαντήσεων (v5) υπερπήδηση (skipped items), πόσες δοκιμασίες κατά μέσο όρο επέλεξε να τις προσπεράσει χωρίς να τις απαντήσει (v6) επανεμφανίσεις (item s views), πόσες φορές κατα μέσο όρο είδε ο εξεταζόμενος μια δοκιμασία πριν αποφασίσει να καταχωρίσει την απάντησή του (v7) διαλλείματα (breaks), πόσα διαλλείματα έκανε ο εξεταζόμενος στη διάρκεια της εξέτασης. Επιπλέον, μια σειρά από παράγοντες (factors) που πιθανόν να επηρεάζουν τις μεταβλητές αυτές προσδιορίστηκαν. Οι παράγοντες αυτοί είναι: (f1) Έτος (certification s year), η χρονιά στην οποία καταγράφηκαν τα αποτελέσματα της πιστοποίησης από το 2003 μέχρι το 2009 (f2) Ώρα (certification s time), η χρονική ζώνη στην οποία πραγματοποιήθηκε η εξέταση και περιλαμβάνει τη ζώνη Α (μέχρι 14.00), τη ζώνη Β ( ) και τη ζώνη Γ (μετά από 17.00) (f3) Ημέρα (certification s day), η μέρα της εβδομάδας στην οποία πραγματοποιήθηκε η εξέταση (f4) Προσπάθειες (attempts), πόσες συνολικά απόπειρες πιστοποίησης έχει πραγματοποιήσει ο εξεταζόμενος (f5) Τύπος ιδρύματος (institution type), ο τύπος του εκπαιδευτικού ιδρύματος στο οποίο πραγματοποιήθηκε η εξέταση και μπορεί να αφορά σε εργαστήριο υπολογιστών ενός Πανεπιστημίου ή 123 P a g e

124 ενός Ανώτατου Τεχνολογικού Ιδρύματος (f6) Περιοχή (region), η περιφέρεια στην οποία διενεργήθηκαν οι εξετάσεις (f7) Ηλικία (age), η ηλικιακή ζώνη του εξεταζόμενου που περιλαμβάνει τους νέους, τους μεσαίας ηλικίας και τους μεγαλύτερους εξεταζόμενους και (f8) Εκπαιδευτική βαθμίδα (school level), η εκπαιδευτική βαθμίδα στην οποία εργάζεται ο εξεταζόμενος (πρωτοβάθμια ή δευτεροβάθμια). Οι μεταβλητές ελέγχου v i εκτέθηκαν σε μη-παραμετρικούς στατιστικούς ελέγχους εξετάζοντας ττις υποθέσεις που παρουσιάζονται στην εξίσωση 23. H o : μ ij1 = μ ij2 = = μ ijκ (εξ. 23) H 1 : τουλάχιστον ένα από τα μ ijk διαφέρει όπου μ ijk είναι η διάμεσος της μεταβλητής v i για την υποομάδα k του παράγοντα f j. Οι έλεγχοι υποθέσεων που περιγράφονται στην εξίσωση 23 βασίστηκαν στον μονοπαραγοντικό, μη-παραμετρικό έλεγχο διακύμανσης Kruskal-Wallis (Kruskal & Wallis, 1952; Hollander & Wolfe, 1973) με επίπεδο σημαντικότητα 95% (a=0.05) και αξιολόγησαν την ισότητα των διαμέσων στους πληθυσμούς που διαμορφώθηκαν από τους παράγοντες ομαδοποίησης. Σε όσες περιπτώσεις παρατηρήθηκαν επαρκείς στατιστικές ενδείξεις για την απόρριψη της μηδενικής υπόθεσης (pvalue<0.05) πραγματοποιήθηκαν έλεγχοι κατά ζεύγη (pair-wise comparisons) που βασίστηκαν στον έλεγχο Wilcoxon (Hollander & Wolfe, 1973) με την απαραίτητη διόρθωση Bonferroni (Abdi, 2007) έτσι ώστε να διαπιστωθεί αν πράγματι οι παρατηρήσιμες διαφορές είναι στατιστικά σημαντικές. Εκτός από την παραγοντική ανάλυση (factor analysis) μελετήθηκε και ο ιδιαίτερος τρόπος με τον οποίο συμπεριφέρθηκαν 4 μεγάλες ομάδες εξεταζόμενων. Οι απαντήσεις των εξεταζόμενων χωρίστηκαν σε τέσσερεις ομάδες με βάση το συνολικό χρόνο ολοκλήρωσης του ηδιαγωνίσματος (2.30 ώρες ή λιγότερο) και το τελικό αποτέλεσμα (αποτυχία/επιτυχία). Για κάθε ομάδα υπολογίστηκαν στατιστικοί δείκτες (μέτρα θέσης και μέτρα απόκλισης) σε σχέση με τις μεταβλητές ελέγχου. Επιπλέον μελετήθηκε ο χρόνος που απαιτήθηκε για κάθε σωστή απάντηση και διερευνήθηκαν πιθανές διαφοροποιήσεις σε σχέση με το γνωστικό αντικείμενο ή την ειδικότητα. Αρχικά υπολογίστηκαν οι μέσοι χρόνοι απάντησης ανά ειδικότητα των εξεταζόμενων σε κάθε γνωστικό αντικείμενο κατατάσσοντας τις ειδικότητες σε αύξουσα σειρά σε σχέση με το χρόνο απάντησης. Εφαρμόζοντας μη-παραμετρικούς ελέγχους (Wilcoxon, Kruskal-Wallis) εντοπίστηκαν οι ειδικότητες των εκπαιδευτικών που αντιμετωπίζουν με παρόμοιο τρόπο τα ερωτήματα (Τάγιος, 2007) Αποτελέσματα παραγοντικής ανάλυσης για ΕΞΕΤΑΖΟΜΕΝΟΥΣ Εκτελέστηκαν συνολικά 56 μονοπαραγοντικοί, μη-παραμετρικοί έλεγχοι διερευνώντας τη συμπεριφορά επτά μεταβλητών ελέγχου (v i, i=1..7) σε σχέση με οκτώ παράγοντες ομαδοποίησης (f j, j=1..8). Τα αποτελέσματα των στατιστικών ελέγχων παρατίθενται στον πίνακα P a g e

125 Πίνακας 21:Τιμές pvalues μονοπαραγοντικών, μη-παραμετρικών ελέγχων Kruskal-Wallis f i v i v 1 v 2 v 3 v 4 v 5 v 6 v 7 f 1 1,105E-97 1,452E-139 7,936E-123 1,730E-206 4,047E-195 8,533E-214 9,770E-01 f 2 8,353E-07 2,154E-02 7,441E-13 5,532E-21 2,053E-02 1,614E-03 1,430E-93 f 3 6,734E-29 4,926E-36 3,958E-43 9,362E-54 3,576E-22 5,364E-35 2,877E-07 f 4 1,263E-03 9,215E-10 3,246E-12 1,737E-03 8,613E-13 1,290E-10 4,831E-23 f 5 1,300E-190 2,960E-289 3,009E-80 2,345E-272 1,926E-264 3,150E-254 1,263E-01 f 6 5,450E-155 4,344E-109 4,018E-148 7,922E-183 9,772E-100 1,856E-100 2,919E-182 f 7 2,197E-249 2,427E ,427E f ,251E ,234E-57 Σε όσες περιπτώσεις διαπιστώθηκε ότι ο στατιστικός έλεγχος βρίσκεται στην περιοχή απόρριψης της μηδενικής υπόθεσης (pvalue < α=0.05) θεωρήθηκε ότι υπάρχουν επαρκείς ενδείξεις ότι η μεταβλητή ελέγχου (v i ) επηρεάζεται από τον αντίστοιχο παράγοντα (f i ). Στις περιπτώσεις αυτές μια σειρά από πολλαπλούς στατιστικούς ελέγχους για κάθε τιμή του παράγοντα f i υλοποιήθηκαν ώστε να διερευνηθεί ο τρόπος με τον οποίο επηρεάζει κάθε τιμή ενός παράγοντα τη σχετική μεταβλητή. Οι πολλαπλοί έλεγχοι βασίστηκαν στο στατιστικό έλεγχο wilcox με την κατάλληλη διόρθωση bonferoni (Abdi, 2007). Στη συνέχεια παρατίθεται η ερμηνεία των αποτελεσμάτων που προέκυψαν από τους στατιστικούς ελέγχους ανά παράγοντα ελέγχου. (f1) Έτος εξέτασης. Το μεγαλύτερο πλήθος πιστοποιήσεων πραγματοποιήθηκε τα δύο πρώτα έτη ( ). Οι εξεταζόμενοι αυτοί τείνουν να περνούν το όριο της εξέτασης νωρίτερα, αποκρίνονται σε περισσότερες δοκιμασίες, προσπερνούν (skip) λιγότερες δοκιμασίες και επιτυγχάνουν υψηλότερη βαθμολογία σε σχέση με τους εξεταζόμενους που εξετάζονται σε επόμενα έτη. Αξίζει να σημειωθεί ότι οι περισσότεροι εκπαιδευτικοί που πιστοποιήθηκαν στο διάστημα αυτό είχαν παρακολουθήσει επιμορφωτικό πρόγραμμα στη χρήση των ΤΠΕ διάρκειας 48 ωρών. Στις πρώτες εξετάσεις που πραγματοποιήθηκαν οι εξεταζόμενοι δεν είχαν την τάση να διακόπτουν την εξέτασή τους. Μόνο ένα μικρό ποσοστό των εξεταζόμενων αξιοποίησε πολλές φορές τη δυνατότητα που είχε να σταματά το χρονόμετρο για να κάνει ένα σύντομο διάλλειμα. Μετά το 2005 παρατηρείται σταθερή αύξηση της τάσης των εξεταζόμενων να διακόπτουν πολλές φορές τη διαδικασία εξέτασης σταματώντας το χρονόμετρο της εφαρμογής. Το 2009 το 94% των εξεταζόμενων έκανε 5 συνολικά διαλλείματα στη διάρκεια των 2.30 ωρών που διαρκούσε η εξέταση. (f2) Ώρα εξέτασης. Οι εκπαιδευτικοί που συμμετείχαν στις εξετάσεις είχαν τη δυνατότητα να επιλέξουν το πρόγραμμα που επιθυμούν ανάλογα με τα δικά τους κριτήρια (μέρα, ώρα, χώρος κλπ). 125 P a g e

126 Παρατηρήθηκαν επαρκείς στατιστικές ενδείξεις ότι οι εκπαιδευτικοί που επέλεξαν να εξεταστούν στο διάστημα από 14:00 μέχρι 17:00 παρουσίασαν καλύτερη συμπεριφορά (μεγαλύτερη βαθμολογία, ταχύτερες αποκρίσεις κλπ). (f3) Ημέρα εξέτασης. Ισχυρές ενδείξεις παρατηρήθηκαν που τεκμηριώνουν ότι οι εκπαιδευτικοί που εξετάστηκαν Σαββατοκύριακο παρουσίασαν καλύτερη συμπεριφορά (μεγαλύτερη βαθμολογία, ταχύτερες αποκρίσεις κλπ) σε σχέση με όσους εξετάστηκαν τις υπόλοιπες ημέρες της εβδομάδας. Επιπλέον, τις τελευταίες ημέρες τις εβδομάδας (Πέμπτη, Παρασκευή) οι εξεταζόμενοι τείνουν να κάνουν λιγότερα διαλλείματα (breaks) κατά τη διάρκεια της εξέτασης. (f4) Πλήθος προσπαθειών. Αν ένας εξεταζόμενος αποτύχει στις εξετάσεις έχει το δικαίωμα να προσπαθήσει και πάλι αφού περάσει τουλάχιστον ένας μήνας μετά την αποτυχημένη του προσπάθεια. Ένας εκπαιδευτικός έχει το δικαίωμα να προσπαθήσει να πιστοποιηθεί στις βασικές δεξιότητες ΤΠΕ τρεις φορές συνολικά. Σε κάθε απόπειρα πιστοποίησης που ακολουθεί μια προηγούμενη αποτυχία συμμετέχουν ομάδες εκπαιδευτικών που έχουν μικρότερες ικανότητες στη χρήση ΤΠΕ. Παρόλα αυτά, εκπαιδευτικοί που προσπαθούν για δεύτερη ή τρίτη φορά επιτυγχάνουν καλύτερες επιδόσεις σε σχέση με τις προηγούμενες προσπάθειές τους. (f5) Τύπος Εργαστηρίου. Οι εξετάσεις πραγματοποιούνται σε ειδικά κέντρα πιστοποίησης που είναι εργαστήρια υπολογιστών σε ανώτατα εκπαιδευτικά (ΑΕΙ) ή τεχνολογικά (ΑΤΕΙ) ιδρύματα. Επαρκείς στατιστικές ενδείξεις τεκμηριώνουν ότι οι εκπαιδευτικοί που εξετάστηκαν σε εργαστήρια ΑΤΕΙ τείνουν να ολοκληρώνουν τις εξετάσεις σε συντομότερο χρόνο σε σχέση με τους εκπαιδευτικούς που εξετάζονται σε ΑΕΙ αλλά χρειάζονται περισσότερο χρόνο για να περάσουν τη βάση εξέτασης. Οι εκπαιδευτικοί που επιλέγουν να εξεταστούν στα πανεπιστήμια τείνουν να συγκεντρώνουν υψηλότερη βαθμολογία παρά το ότι απαντούν σε λιγότερες ερωτήσεις συνολικά σε σχέση με τους εκπαιδευτικούς που εξετάζονται στα ΤΕΙ. (f6) Περιοχή. Οι εξετάσεις είναι διαθέσιμες στις 13 διοικητικές περιφέρειες της Ελλάδας. Αν και δεν παρατηρήθηκαν ισχυρές στατιστικές ενδείξεις ότι η συμπεριφορά των εξεταζόμενων διαφοροποιείται στις περιφέρειες αυτές, παρατηρήθηκαν επαρκείς ενδείξεις που τεκμηριώνουν ότι οι εκπαιδευτικοί στα νησιά του Αιγαίου περνούν τη βάση και ολοκληρώνουν την εξέταση συντομότερα ενώ τείνουν να κάνουν περισσότερα διαλλείματα στη διάρκεια της εξέτασης. Στα μεγάλα αστικά κέντρα (ΑΘΗΝΑ) οι εξεταζόμενοι τείνουν να αποκρίνονται με μικρότερη ταχύτητα, απαντούν σε λιγότερες δοκιμασίες και επιτυγχάνουν μικρότερη βαθμολογία συνολικά. (f7) Ηλικία. Ισχυρές ενδείξεις έχουν καταγραφεί που τεκμηριώνουν ότι οι νεώτεροι εκπαιδευτικοί έχουν περισσότερες ικανότητες στη χρήση των ΤΠΕ σε σχέση με τους μεγαλύτερους. Αποκρίνονται σε περισσότερες δοκιμασίες κατά μέσο όρο, τείνουν να απαντούν στις δοκιμασίες μόλις 126 P a g e

127 τις βλέπουν για πρώτη φορά (less skips) και επιτυγχάνουν μεγαλύτερη βαθμολογία συνολικά. Ακολουθούν οι εκπαιδευτικοί μεσαίας ηλικία ενώ οι μεγαλύτεροι σε ηλικία εκπαιδευτικοί χρειάζονται σαφώς μεγαλύτερο χρόνο απόκρισης. Παρόλα αυτά, οι νεαροί σε ηλικία εκπαιδευτικοί που έχουν μικρότερη εκπαιδευτική εμπειρία τείνουν να κάνουν περισσότερα διαλλείματα στη διάρκεια της εξέτασης σε σχέση με τους πιο έμπειρους εκπαιδευτικούς. (f8) Τύπος Σχολείου. Ισχυρές ενδείξεις παρατηρήθηκαν που τεκμηριώνουν τη διαφορά στην ικανότητα χρήσης των ΤΠΕ μεταξύ των δασκάλων-νηπιαγωγών και των καθηγητών. Οι εκπαιδευτικοί που εργάζονται στη δευτεροβάθμια εκπαίδευση παρουσιάζουν καλύτερα αποτελέσματα σε σχέση με τους εκπαιδευτικούς της πρωτοβάθμιας εκπαίδευσης Το προφίλ ομάδων εξεταζόμενων Η πιστοποίηση Α επιπέδου δεν αποσκοπεί στην κατάταξη (clustering) των υποψηφίων αλλά πιστοποιεί αν ο εκπαιδευτικός έχει ή δεν έχει (pass or fail) την ικανότητα να διαχειρίζεται τα βασικά εργαλεία και τις υπηρεσίες των ΤΠΕ. Σε εξετάσεις όπου η κατάταξη δεν παίζει ρόλο είναι σημαντικό να διερευνηθούν τα χαρακτηριστικά των ανθρώπων που επιτυγχάνουν ή αποτυγχάνουν στις εξετάσεις. Για το λόγο αυτό οι απόπειρες πιστοποίησης διαμερίστηκαν σε δύο μεγάλες ομάδες: (α) Επιτυχημένες προσπάθειες (ομάδα 1η) και (β) Αποτυχημένες προσπάθειες (ομάδα 2η) Επιτυχημένες προσπάθειες (ομάδα 1η). Στα δεδομένα του δείγματος το 84% των προσπαθειών ήταν επιτυχημένες. Οι περισσότεροι από τους εκπαιδευτικούς που πέτυχαν στις εξετάσεις το κατάφεραν με την πρώτη τους προσπάθεια (93%), ενώ ένα μικρότερο ποσοστό επιτυχιών επιτεύχθηκε με τη δεύτερη (6%) ή με την τρίτη προσπάθεια (0.6%). Μεταξύ των νέων -σε ηλικία- εκπαιδευτικών παρατηρήθηκε μεγάλο ποσοστό επιτυχίας (96%) ενώ οι μεγαλύτεροι εκπαιδευτικοί παρουσιάζουν μικρότερο ποσοστό επιτυχίας (72%). Με βάση το χρόνο ολοκλήρωσης του ηδιαγωνίσματος οι επιτυχημένες απόπειρες χωρίστηκαν σε δύο επιμέρους υποομάδες Α (χρόνος ολοκλήρωσης<2.30 ώρες) και Β (χρόνος ολοκλήρωσης=2.30 ώρες). Ομάδα 1Α. Στην ομάδα 1Α ανήκουν οι εξεταζόμενοι που έχουν ολοκληρώσει με επιτυχία την εξέταση πριν από το τελικό χρονικό όριο των 2.30 ωρών. Οι περισσότερες επιτυχημένες απόπειρες ανήκουν στην κατηγορία αυτή (80%). Οι εξεταζόμενοι αυτής της κατηγορίας τείνουν να ολοκληρώνουν τις εξετάσεις σε δύο (2) ώρες περίπου έχοντας απαντήσει στο σύνολο των δοκιμασιών του ηδιαγωνίσματος. Τη βάση εξέτασης όμως (threshold) την περνούν μόλις σε 1 ώρα περίπου ενώ τείνουν να συγκεντρώνουν μεγαλύτερη βαθμολογία από τους εκπαιδευτικούς που επιτυγχάνουν στις εξετάσεις εξαντλώντας όλο τον διαθέσιμο χρόνο (2.30 ώρες). Ομάδα 1Β. Το υπόλοιπο 20% των επιτυχημένων προσπαθειών ανήκει σε εκπαιδευτικούς που αξιοποιούν όλο το διαθέσιμο χρόνο των εξετάσεων (2:30 ώρες). Παρόλο που οι εκπαιδευτικοί αυτοί 127 P a g e

128 εξαντλούν το διαθέσιμο χρόνο δεν απαντούν σε όλες τις δοκιμασίες του ηδιαγωνίσματος. Καθυστερούν πολύ να περάσουν τη βάση εξέταση (1.45 ώρες) ενώ οι αποκρίσεις τους είναι πιο αργές σε σχέση με εκείνες των εκπαιδευτικών της ομάδα 1Α. Το συνολικό προφίλ των επιτυχιών παρουσιάζεται στον πίνακα 22. μεγάλης ηλικίας μεσαίας ηλικίας Πίνακας 22: Προφίλ επιτυχιών πρωτοβάθμια εκπαίδευση (b) δευτεροβάθμια εκπαίδευση Υποομάδα 1Α (χρόνος < 2:30 ώρες) (a) Ομάδα 1η Επιτυχημένες προσπάθειες Υποομάδα 1Β (χρόνος = 2:30 ώρες) ποσοστά εμφάνισης σύνολο πρωτοβάθμια δευτεροβάθμια σύνολο (α) (β) σύνολο (α) (β) νέοι μεγάλης ηλικίας μεσαίας ηλικίας ποσοστά επιτυχίας σύνολο πρωτοβάθμια δευτεροβάθμια σύνολο (α) (β) σύνολο (α) (β) νέοι Αποτυχημένες προσπάθειες. Στα δεδομένα του δείγματος παρατηρήθηκε ότι το 16% των προσπαθειών ήταν αποτυχημένες. Οι εξεταζόμενοι που απέτυχαν μπορούσαν να επαναλάβουν την προσπάθειά τους μετά από ένα μήνα το ελάχιστο αλλά αυτό δεν ήταν υποχρεωτικό. Επαρκείς στατιστικές ενδείξεις καταγράφηκαν που τεκμηριώνουν ότι όσοι εξεταζόμενοι επανέλαβαν το ηδιαγώνισμα σε επόμενη χρονική στιγμή πέτυχαν καλύτερο αποτέλεσμα σε σχέση με την αποτυχημένη τους προσπάθεια. Σε κάθε νέα τους προσπάθεια ολοκληρώνουν ταχύτερα την εξέταση, αποκρίνονται σε περισσότερες δοκιμασίες, απαντούν σε μια δοκιμασία αμέσως μόλις τη βλέπουν (less skips) και επιτυγχάνουν υψηλότερη βαθμολογία. Παρόλα αυτά, αν και στο σύνολο των εκπαιδευτικών που προσπαθούν για πρώτη φορά να περάσουν τις εξετάσεις παρατηρείται ένα ποσοστό αποτυχίας 15% το ποσοστό αποτυχίας αυξάνεται πάνω από το 20% στην δεύτερη ή τρίτη προσπάθεια. Το 54% των εκπαιδευτικών που αποτυγχάνουν στην πρώτη τους προσπάθεια δεν επιχειρούν ξανά παρόλο που έχουν το δικαίωμα. Παρόμοιο ποσοστό (50%) παρατηρείται και στους εκπαιδευτικούς που αποτυγχάνουν στην δεύτερη προσπάθειά τους και δεν επιθυμούν να συνεχίσουν για μια τρίτη και 128 P a g e

129 τελευταία απόπειρα. Το προφίλ των εκπαιδευτικών που αποσύρονται από τη διαδικασία πιστοποίησης μετά από κάθε αποτυχημένη προσπάθεια δίνεται στον πίνακα 23. μεγάλης ηλικίας μεσαίας ηλικίας Πίνακας 23: Προφίλ εγκαταλείψεων (give ups) (a) πρωτοβάθμια εκπαίδευση (b) δευτεροβάθμια εκπαίδευση εγκατάλειψη μετά από την 1 η προσπάθεια εγκατάλειψη μετά από την 2 η προσπάθεια ποσοστά εμφάνισης σύνολο πρωτοβάθμια δευτεροβάθμια σύνολο πρωτοβάθμια δευτεροβάθμια νέοι μεγάλης ηλικίας μεσαίας ηλικίας ρυθμός εγκατάλειψης σύνολο πρωτοβάθμια δευτεροβάθμια σύνολο πρωτοβάθμια δευτεροβάθμια νέοι Με βάση το χρόνο ολοκλήρωσης του ηδιαγωνίσματος οι αποτυχημένες απόπειρες χωρίστηκαν σε δύο επιμέρους υποομάδες Α (χρόνος ολοκλήρωσης<2.30 ώρες) και Β (χρόνος ολοκλήρωσης=2.30 ώρες). Ομάδα 2Α. Στην ομάδα αυτή ανήκουν οι εκπαιδευτικοί που έχουν ολοκληρώσει το ηδιαγώνισμα πριν από την παρέλευση των 2.30 ωρών αλλά η προσπάθειά τους ήταν αποτυχημένη. Το 40% των αποτυχημένων προσπαθειών ανήκει στην κατηγορία αυτή και αφορά σε εκπαιδευτικούς οι οποίοι αποφασίζουν να τερματίσουν την εξέταση σε 2 ώρες περίπου παρόλο που υπάρχουν μερικές δοκιμασίες στις οποίες δεν έχουν απαντήσει. Η συμπεριφορά τους αυτή μπορεί να οφείλεται είτε στο ότι παρά την προσπάθειά τους έχουν απογοητευτεί είτε γιατί υπερεκτιμούν τις απαντήσεις που έχουν δώσει. Ομάδα 2Β. Το μεγαλύτερο ποσοστό όμως των αποτυχημένων προσπαθειών (60%) αντιστοιχεί σε εκπαιδευτικούς που εξαντλούν το διαθέσιμο χρόνο εξέτασης απαντώντας σε λιγότερες δοκιμασίες αλλά επιτυγχάνοντας υψηλότερη βαθμολογία σε σχέση με τους εκπαιδευτικούς της ομάδας 2Α. Οι βασικές μεταβλητές που χαρακτηρίζουν τη συνολική συμπεριφορά των εκπαιδευτικών κατά τη διάρκεια της εξέτασης είναι: (α) ο χρόνος ολοκλήρωσης της εξέτασης (β) ο χρόνος επίτευξης της βάσης (γ) το πλήθος των δοκιμασιών που έχουν απαντηθεί και (δ) η συνολική βαθμολογία στο 129 P a g e

130 ΑΠΟΤΥΧΙΑ (2-pass) ΕΠΙΤΥΧΙΑ (1-pass) Χριστακούδης Ξ. Χρήστος ηδιαγώνισμα. Τα μέτρα θέσης (διάμεσος, ενδοτεταρτημοριακό εύρος ) των παραπάνω αριθμητικών ποσοτήτων υπολογίστηκαν και παρατίθενται στον πίνακα 24. Πίνακας 24: Μέτρα θέσης μεταβλητών (α) Ομάδα A (<2:30 ώρες) (β) Ομάδα B (=2:30 ώρες) χρόνος ολοκλήρωσης (completion time) χρόνος βάσης (threshold time) απαντημένες δοκιμασίες βαθμολογία Ομάδα A Ομάδα B Ομάδα A Ομάδα B Ομάδα A Ομάδα B Ομάδα A Ομάδα B ποσοστό επιτυχίας (95% διάστημα εμπιστοσύνης) Ομάδα A med 1:58 2:30 0:53 1: [ ] IQR 0:40 0 0:40 0: med 1:57 2: Ομάδα B IQR 1: [ ] Ερμηνεύοντας τα αποτελέσματα της ποσοτικής ανάλυσης παρατηρούμε ότι ο συνολικός χρόνος των 2.30 ωρών δίνει τη δυνατότητα στους εξεταζόμενους να απαντήσουν με άνεση χρόνου σε όλες τις δοκιμασίες του ηδιαγωνίσματος. Το αποτέλεσμα της εξέτασης (αποτυχία ή αποτυχία) εξάγεται περίπου σε μία (1) ώρα και αυτό σημαίνει ότι θα μπορούσε να γίνει καλύτερη διαχείριση του χρόνου εξέτασης με άμεσα οφέλη τόσο για τους εξεταζόμενους (π.χ συντομότερη ολοκλήρωση της εξέτασης ) όσο και για τη διαδικασία των εξετάσεων (π.χ μεγαλύτερη χωρητικότητα τμημάτων, ελάττωση του κόστους εξετάσεων). Στη διάρκεια των χρόνων και καθώς απομακρυνόμαστε από την περίοδο της αρχικής επιμόρφωσης παρατηρήθηκε ότι εξεταζόμενοι που δεν επιτυγχάνουν στην εξέταση τείνουν να ολοκληρώνουν το ηδιαγώνισμα σε συντομότερο χρόνο ενώ ταυτόχρονα καταχωρούν και μικρότερο αριθμό απαντήσεων. Αντίθετα, οι εξεταζόμενοι που επιτυγχάνουν στις εξετάσεις τείνουν να ολοκληρώνουν το ηδιαγώνισμα σε μεγαλύτερο χρόνο ενώ καταχωρούν το ίδιο πλήθος απαντήσεων (58-59 ερωτήσεις κατά μέσο όρο). Οι εξεταζόμενοι δεν ενημερώνονται από το σύστημα πιστοποίησης για το αν έχουν περάσει τη βάση εξέτασης και για το λόγο αυτό παρατηρείται το φαινόμενο ένα μεγάλο πλήθος εκπαιδευτικών να εξαντλεί το διαθέσιμο χρονικό όριο των 2:30 ωρών και να τερματίζει την εξέταση λίγο πριν την οριστική παρέλευση των 2:30 ωρών. Από τους στατιστικούς ελέγχους προέκυψαν ισχυρές ενδείξεις 130 P a g e

131 ότι στα τελευταία λεπτά της εξέτασης η συμπεριφορά των εξεταζόμενων διαφοροποιείται ανάλογα με το αν τερματίζουν μόνοι τους το διαγώνισμα ή όχι. Οι εξεταζόμενοι που εξαντλούν το χρόνο εξέτασης περνούν τη βάση εξέτασης οριακά αφήνοντας αρκετές δοκιμασίες αναπάντητες Ανάλυση της συμπεριφοράς των κλάδων Η μεγάλη πλειοψηφία των εκπαιδευτικών που συμμετείχαν στις εξετάσεις πιστοποίησης είναι φιλόλογοι, μαθηματικοί και εκπαιδευτικοί φυσικών επιστημών (φυσικοί, χημικοί, βιολόγοι κλπ). Παρόλα αυτά το δείγμα των εξεταζόμενων καλύπτει όλο το φάσμα των ειδικοτήτων στην πρωτοβάθμια και δευτεροβάθμια εκπαίδευση. Η αντιστοίχιση των κλάδων (π.χ ΠΕ01, ΠΕ02, ΠΕ03 κλπ) με τις ειδικότητες των εκπαιδευτικών (π.χ Φιλόλογοι, Μαθηματικοί κλπ) δίνεται στον πίνακα 25. Κλάδος ΠΕ01 ΠΕ02 ΠΕ03 ΠΕ04 ΠΕ05 ΠΕ06 ΠΕ07 ΠΕ08 ΠΕ09 ΠΕ10 ΠΕ11 ΠΕ12 ΠΕ13 ΠΕ14 ΠΕ15 ΠΕ16 ΠΕ17 ΠΕ18 ΠΕ19 ΠΕ20 ΠΕ32 ΠΕ33 ΠΕ34 ΠΕ42 ΠΕ60 ΠΕ70 TE ΔΕ Πίνακας 25: Αντιστοίχιση κλάδων με ειδικότητες εκπαιδευτικών Ειδικότητα ΘΕΟΛΟΓΟΙ ΦΙΛΟΛΟΓΟΙ ΜΑΘΗΜΑΤΙΚΟΙ ΦΥΣΙΚΟΙ-ΧΗΜΙΚΟΙ-ΦΥΣΙΓΝΩΣΤΕΣ-ΓΕΩΛΟΓΟΙ-ΒΙΟΛΟΓΟΙ ΓΑΛΛΙΚΗΣ ΦΙΛΟΛΟΓΙΑΣ ΑΓΓΛΙΚΗΣ ΦΙΛΟΛΟΓΙΑΣ ΓΕΡΜΑΝΙΚΗΣ ΦΙΛΟΛΟΓΙΑΣ ΚΑΛΛΙΤΕΧΝΙΚΩΝ ΟΙΚΟΝΟΜΟΛΟΓΟΙ ΚΟΙΝΩΝΙΟΛΟΓΟΙ ΦΥΣΙΚΗΣ ΑΓΩΓΗΣ ΜΗΧΑΝΙΚΟΙ ΝΟΜΙΚΗΣ - ΠΟΛΙΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΓΕΩΠΟΝΟΙ-ΦΑΡΜΑΚΟΠΟΙΟΙ- ΙΑΤΡΟΙ -ΝΟΣΗΛΕΥΤΕΣ ΟΙΚΙΑΚΗΣ ΟΙΚΟΝΟΜΙΑΣ ΜΟΥΣΙΚΗΣ ΑΠΟΦΟΙΤΟΙ AΣΠΑΙΤΕ - ΚΑΤΕΕ ΔΙΑΦΟΡΕΣ ΤΕΧΝΙΚΕΣ ΕΙΔΙΚΟΤΗΤΕΣ (π.χαισθητικησ, ΚΟΜΜΩΤΙΚΗΣ κλπ) ΠΛΗΡΟΦΟΡΙΚΗΣ ΑΕΙ ΠΛΗΡΟΦΟΡΙΚΗΣ ΤΕΙ ΘΕΑΤΡΙΚΩΝ ΣΠΟΥΔΩΝ ΜΕΘΟΔΟΛΟΓΙΑΣ ΙΣΤΟΡΙΑΣ & ΘΕΩΡΙΑΣ ΤΗΣ ΕΠΙΣΤΗΜΗΣ (Μ.Ι.Θ.Ε.) ΙΤΑΛΙΚΗΣ ΦΙΛΟΛΟΓΙΑΣ ΔΡΑΜΑΤΙΚΗΣ ΤΕΧΝΗΣ - ΑΝΩΤΕΡΗΣ ΕΚΠΑΙΔΕΥΣΗΣ ΔΑΣΚΑΛΟΙ ΝΗΠΙΑΓΩΓΟΙ ΑΠΟΦΟΙΤΟΙ ΤΕΧΝΙΚΗΣ ΕΚΠΑΙΔΕΥΣΗΣ ΑΠΟΦΟΙΤΟΙ ΔΕΥΤΕΡΟΒΑΘΜΙΑΣ ΕΚΠΑΙΔΕΥΣΗΣ 131 P a g e

132 Οι διάφοροι κλάδοι των εκπαιδευτικών κατατάχθηκαν ανάλογα με την ταχύτητα καταχώρησης των σωστών απαντήσεων στα διάφορα γνωστικά αντικείμενα. Από τη στατιστική ανάλυση των δεδομένων προέκυψε ο διαχωρισμός των εκπαιδευτικών σε ομάδες που παρουσιάζουν παρόμοια συμπεριφορά όσον αφορά το χρόνο απόκρισης, όπως φαίνεται στον πίνακα 26. Πίνακας 26: Χρόνος απόκρισης ανά ειδικότητα εξεταζόμενου Ομάδα #1 Εισαγωγικές Εννοιες #2 Επεξεργασία Κειμένου #3 Υπολογιστικά φύλλα #4 Διαδίκτυο και η-ταχυδρομείο #5 Διαχείριση Παρουσιάσεων μεγάλη ταχύτητα καταχώρισης σωστής απάντησης μικρή 1 η ΠΕ12 ΠΕ23, ΠΕ12 και ΠΕ30 2 η ΠΕ04,ΠΕ06, ΠΕ17, ΠΕ23, και ΠΕ07 3 η ΠΕ03, ΠΕ05 και ΠΕ16. 4 η ΠΕ02, ΠΕ15 ΠΕ08, ΠΕ01, ΠΕ09 και ΠΕ14 5 η ΠΕ30, ΠΕ60, ΠΕ10, ΠΕ11, ΠΕ18 και ΠΕ70 6 η ΔΕ01,ΠΕ13 και ΤΕ01 ΠΕ16, ΠΕ17, ΠΕ04 και ΠΕ15 ΠΕ06, ΠΕ03 και ΠΕ01 ΠΕ02, ΠΕ07, ΠΕ18, ΠΕ05, ΠΕ09, ΠΕ14 και ΠΕ08. ΠΕ11, ΠΕ60, ΠΕ70 και ΤΕ01 ΠΕ10, ΔΕ01 και ΠΕ13 ΠΕ12 ΠΕ23,ΠΕ04, ΠΕ17,ΠΕ30, ΠΕ03,ΠΕ09, ΠΕ16 και ΠΕ15. ΠΕ06, ΠΕ05, ΠΕ14, ΠΕ01, ΠΕ02, ΠΕ11 και ΠΕ18. ΠΕ10, ΠΕ60, ΠΕ70, ΠΕ07, ΠΕ08, ΤΕ01, ΔΕ01 και ΠΕ13. ΠΕ30, ΠΕ23, ΠΕ06 και ΠΕ12 ΠΕ16, ΠΕ15, ΠΕ01 και ΠΕ02. ΠΕ04, ΠΕ05, ΠΕ07, ΠΕ08, ΠΕ14, ΠΕ17 και ΔΕ01. ΠΕ03, ΠΕ09, ΠΕ60, ΠΕ11 και ΤΕ01. ΠΕ18, ΠΕ70, ΠΕ10 και ΠΕ13 ΠΕ30 και ΔΕ01 ΠΕ17, ΤΕ01, ΠΕ12, ΠΕ15, ΠΕ23, ΠΕ01 και ΠΕ02. ΠΕ03, ΠΕ06, ΠΕ16, ΠΕ04, ΠΕ08, ΠΕ11, ΠΕ18, ΠΕ60, ΠΕ70, ΠΕ05, ΠΕ07 και ΠΕ09 ΠΕ10, ΠΕ13 και ΠΕ14 Παρόμοια κατάταξη έγινε και με βάση την ηλικία των εκπαιδευτικών ανά πενταετία (20-25, 25-30, 30-35, 35-40, 40-45, 45-50, 50-55, 55-60). Από τη στατιστική ανάλυση των δεδομένων προέκυψε ο διαχωρισμός των εκπαιδευτικών σε ομάδες ηλικιών που παρουσιάζουν παρόμοια συμπεριφορά όσον αφορά το χρόνο απόκρισης, όπως φαίνεται στον πίνακα P a g e

133 Πίνακας 27: Χρόνος απόκρισης ανά ηλικία εξεταζόμενου μεγάλη ταχύτητα καταχώρισης σωστής απάντησης μικρή Ομάδα #1 Θεωρία και Windows #2 Επεξεργασία Κειμένου 1 η και η και η και η , και #3 Υπολογιστικά φύλλα #4 Διαδίκτυο και η-ταχυδρομείο και , και , και , και η , και η 45-50, και #5 Διαχείριση Παρουσιάσεων 20-25, και , 35-40, 40-45, και Από την ερμηνεία των αποτελεσμάτων που προκύπτουν από τους στατιστικούς ελέγχους προκύπτει ότι όσο αυξάνει η ηλικία των εξεταζόμενων τόσο αυξάνει και ο χρόνος που απαιτείται για την καταχώριση της σωστής απάντησης. 5. Συμπεράσματα Τα τελευταία χρόνια παρατηρείται μια διεθνής τάση για αξιοποίηση αυτοματοποιημένων συστημάτων προκειμένου να αναδιοργανωθούν παραδοσιακές εξετάσεις μεγάλης κλίμακας που βασίζονται στην παρέμβαση του ανθρώπινου παράγοντα (σαν βαθμολογητής, σαν επιτηρητής κλπ) έτσι ώστε όχι μόνο να αξιοποιηθούν πληροφοριακά συστήματα για την αυτοματοποίηση των διαδικασιών εξέτασης αλλά και να αυξηθεί η αποδοτικότητα και η αντικειμενικότητα των εξετάσεων. Όταν ένας φορέας ή οργανισμός επιθυμεί να οργανώσει μια εξέταση μεγάλης κλίμακας αξιοποιώντας αυτοματοποιημένα συστήματα εξέτασης πρέπει να λαμβάνει υπόψη του μια σειρά από παράγοντες που επηρεάζουν την εξεταστική διαδικασία. Οι παράγοντες αυτοί μπορεί να είναι εσωτερικοί (π.χ οργάνωση τράπεζας θεμάτων, τύποι δοκιμασιών που θα χρησιμοποιηθούν, ποιότητα ηδιαγωνισμάτων κλπ) ή εξωτερικοί και να αφορούν στους ίδιους τους εξεταζόμενους (π.χ ηλικία, φύλο, επίπεδο σπουδών κλπ). 133 P a g e

134 Στην παρούσα εργασία μελετήθηκε, αξιολογήθηκε και τεκμηριώθηκε το μοντέλο που ακολουθείται τα τελευταία χρόνια (10 έτη) στο πλαίσιο της πιστοποίησης εκπαιδευτικών της πρωτοβάθμιας και δευτεροβάθμιας εκπαίδευσης στη χρήση βασικών δεξιοτήτων πληροφορικής. Οι εκπαιδευτικοί που ολοκληρώνουν με επιτυχία τη διαδικασία εξέτασης Α επιπέδου λαμβάνουν το πιστοποιητικό Α επιπέδου που πιστοποιεί ικανότητες που έχουν σχέση με βασικές δεξιότητες ΤΠΕ. Στη συνέχεια, οι εκπαιδευτικοί αυτοί έχουν τη δυνατότητα να παρακολουθήσουν μια φάση ειδικής εκπαίδευσης (επιμόρφωση Β επιπέδου) και στη συνέχεια να διεκδικήσουν το πιστοποιητικό Β επιπέδου που πιστοποιεί ότι έχουν εκείνες τις ικανότητες που είναι απαραίτητες για την αξιοποίηση των εργαλείων ΤΠΕ προκειμένου να ενισχυθεί η διδακτική του γνωστικού τους αντικειμένου (μόνο για μαθήματα πρωτοβάθμιας εκπαίδευσης ή για μαθήματα της δευτεροβάθμιας όπως μαθηματικά, φιλολογικά και μαθήματα φυσικών επιστημών). Η πιστοποίηση των εκπαιδευτικών στις βασικές δεξιότητες πληροφορικής βασίζεται σε μια μεγάλη τράπεζα ερωτήσεων που καλύπτει πέντε γνωστικά αντικείμενα (εισαγωγικές έννοιες, επεξεργασία κειμένου, υπολογιστικά φύλλα, διαδίκτυο & ηλεκτρονικό ταχυδρομείο και διαχείριση παρουσιάσεων). Τα δεδομένα που έχουν καταγραφεί στη διάρκεια των πολλών ετών που διαρκεί η εξέταση Α επιπέδου παρουσιάζουν ιδιαίτερο ερευνητικό ενδιαφέρον για το χώρο της εκπαίδευσης γιατί (α) αφορούν σε μεγάλο δείγμα ανθρώπων από όλες τις γνωστικές περιοχές της ανώτατης εκπαίδευσης (δάσκαλοι, μαθηματικοί, φιλόλογοι, θεολόγοι, γυμναστές κλπ) (β) η γεωγραφική κατανομή των εκπαιδευτικών που πιστοποιήθηκαν καλύπτει με πληρότητα ολόκληρο τον Ελλαδικό χώρο (γ) αφορούν σε αποτελέσματα πιστοποίησης για μια ποικιλία γνωστικών αντικειμένων που σχετίζονται με τις βασικές δεξιότητες της πληροφορικής (επεξεργασία κειμένου, υπολογιστικά φύλλα, διαδίκτυο κλπ) (δ) καταγράφουν χρονικές (μέρα, ώρα) και χωρικές (νομός, πόλη) παραμέτρους για τις απόπειρες πιστοποίησης που έχουν πραγματοποιηθεί. Αναλύοντας τα δεδομένα αυτά με ποσοτικές μεθόδους στατιστικής ανάλυσης μπορούμε (α) να ερμηνεύσουμε τα καταχωρισμένα αποτελέσματα (β) να σταθμίσουμε τα χαρακτηριστικά της τράπεζας ερωτήσεων (επίπεδο δυσκολίας, αναμενόμενος χρόνος απάντησης κλπ) (γ) να διαμορφώσουμε κανόνες συγγραφής ερωτημάτων λαμβάνοντας υπόψη τους παράγοντες που επηρεάζουν τις απαντήσεις των εκπαιδευτικών και (δ) να προτείνουμε βελτιώσεις για το αυτοματοποιημένο σύστημα πιστοποίησης. Στο πλαίσιο της παρούσας έρευνας αναπτύχθηκε ένα εργαλείο με το οποίο μπορεί ο σχεδιαστής ενός Αυτοματοποιημένου Συστήματος Πιστοποίησης (ΑΣΕ) να εκτιμήσει αν το σύστημα που χρησιμοποιεί καλύπτει μια σειρά από επιθυμητές προδιαγραφές όπως αυτές καθορίζονται από τη Διεθνή Οργάνωση για την Αξιολόγηση (International Testing Commission). Με βάση το εργαλείο αυτό εκτιμήθηκε η πληρότητα κάλυψης των επιθυμητών προδιαγραφών του ΑΣΕ που χρησιμοποιείται 134 P a g e

135 για την πιστοποίηση των εκπαιδευτικών σε βασικές δεξιότητες πληροφορικής και εντοπίστηκαν εκείνες οι παρεμβάσεις που βελτιώνουν τη συνολική λειτουργία του. Οι σημαντικότερες παρεμβάσεις που μπορούν να γίνουν είναι (βλ. πίνακας 12): η παροχή ξεκάθαρων οδηγιών προς τους συγγραφείς των δοκιμασιών (icons) για τον τρόπο ανάπτυξης των ερωτημάτων (μορφή εκφωνήσεων, μέγεθος αρχείων, εκτίμηση δυσκολίας κλπ). Η παρουσίαση παραδειγμάτων από καλές και κακές δοκιμασίες μπορεί να εμπλουτίσει τον κατάλογο των σχετικών οδηγιών. η βελτίωση λειτουργιών ή η προσθήκη νέων ώστε να αυξηθεί η ευρωστία της εφαρμογής εξέτασης όπως είναι: o η καταγραφή του καθαρού χρόνου εξέτασης o η αποτροπή τυχαίας εξόδου από την εφαρμογή o η τυχαία προσπέλαση στις δοκιμασίες του ηδιαγωνίσματος η ενίσχυση λειτουργιών που υποστηρίζουν άτομα με ειδικές ανάγκες και βοηθούν τον εξεταζόμενο να προσαρμόσει το περιβάλλον εργασίας στις ιδιαίτερες ανάγκες του. Τέτοιες λειτουργίες θα μπορούσε να είναι: o η δυνατότητα αυξομείωσης του μεγέθους των γραμματοσειρών από τον εξεταζόμενο o η δυνατότητα εφαρμογής χρωματικών συνδυασμών ανάλογα με την περίσταση (π.χ άτομα με δυσχρωματοψία, μειωμένη όραση κλπ) o η εμφάνιση των διαφόρων περιοχών της οθόνης σε παράθυρα και ο αυτόνομος χειρισμός τους από τον εξεταζόμενο η καλύτερη υποστήριξη των εξεταζόμενων κατά το διάστημα της προετοιμασίας τους (π.χ διάθεση δοκιμαστικού περιβάλλοντος που ομοιάζει πλήρως με το σύστημα εξέτασης, περισσότερα δείγματα δοκιμασιών, οργάνωση σχετικών χώρων συζήτησης κλπ) η ενσωμάτωση σύγχρονων τεχνολογιών για την υλοποίηση του συστήματος εξέτασης με την προϋπόθεση ότι διατηρείται η ασφάλεια των διακινούμενων δεδομένων η ενσωμάτωση αναφορών που αναλύουν δυναμικά τα ψυχομετρικά χαρακτηριστικά των εξεταζόμενων και ενημερώνουν όχι μόνο για το αποτέλεσμα της εξέτασης αλλά και για τα συμπεράσματα που προκύπτουν για κάθε εξεταζόμενο μέσα από την εκτίμηση των ικανοτήτων που διαθέτει Η ανάλυση των ερωτημάτων που χρησιμοποιήθηκαν αλλά και η συνολική συμπεριφορά των ηδιαγωνισμάτων αποτελούν μια βασική προδιαγραφή που πρέπει να ακολουθεί κάθε σύστημα αυτοματοποιημένης εξέτασης. Το υποσύστημα παραγωγής των ηδιαγωνισμάτων προϋποθέτει μια 135 P a g e

136 σχετικά μεγάλη βάση δεδομένων από έγκυρες ερωτήσεις (επίπεδο δυσκολίας, αυτοματοποιημένος έλεγχος σωστών απαντήσεων, σαφείς εκφωνήσεις κλπ) και έναν αλγόριθμο παραγωγής με τον οποίο να επιλέγονται οι ερωτήσεις έτσι ώστε τα ηδιαγωνίσματα που παράγονται να είναι -όσο το δυνατόν περισσότερο- ισοδύναμα. Στο πλαίσιο της παρούσας εργασίας έγινε μια εκ των υστέρων (a posteriori) εκτίμηση της στατιστικής συμπεριφοράς των ηδιαγωνισμάτων με ποσοτικές μεθόδους προκειμένου να αναδειχθούν εκείνοι οι παράγοντες που επηρέασαν τις απαντήσεις των εξεταζόμενων. Τα ηδιαγωνίσματα στα οποία εξετάστηκαν οι εκπαιδευτικοί δημιουργήθηκαν αυτόματα από το υποσύστημα δημιουργίας ηδιαγωνισμάτων (γενννήτορας) ακολουθώντας συγκεκριμένα πρότυπα και είχαν την ίδια ακριβώς σύνθεση μια και περιείχαν ίδιο πλήθος ερωτημάτων σε σχέση: (α) με το γνωστικό αντικείμενο εξέτασης (εισαγωγικές έννοιες, επεξεργασία κειμένου κλπ), (β) το βαθμό δυσκολίας (1-εύκολη, 2-μέτρια, 3-δύσκολη) και (γ) το είδος τους (ερωτήματα τύπου Ι, ΙΙ, ΙΙΙ). Από την ανάλυση με ποσοτικές μεθόδους προκύπτει το συμπέρασμα ότι τα ηδιαγωνίσματα στα οποία βασίζεται η πιστοποίηση των Ελλήνων εκπαιδευτικών είναι αξιόπιστα (reliable) γιατί: αντιστοιχούν με παρόμοιο τρόπο τις ικανότητες των εκπαιδευτικών με το πραγματικό τους σκορ όπως φαίνεται από τη μορφή που εμφανίζουν οι χαρακτηριστικές καμπύλες τους η ακρίβεια με την οποία αξιολογούν το επίπεδο ικανότητας των εξεταζόμενων (πληροφορία) είναι πολύ μεγάλη κοντά στο κατώφλι που έχει τεθεί για την εξέταση. Η εγκυρότητα (validity) των ηδιαγωνισμάτων δεν μπορεί να ερμηνευτεί από έναν μόνο στατιστικό δείκτη αλλά απαιτεί τη συγκέντρωση ενός πλήθους από ενδείξεις που αφορούν στον τρόπο κατασκευής των διαγωνισμάτων και στην εσωτερική τους δομή, στον τρόπο με τον οποίο αποκρίνονται οι εξεταζόμενοι σε αυτά, στον τρόπο με τον οποίο συσχετίζονται οι αποκρίσεις τους αλλά και στις συνέπειες που έχουν οι εξετάσεις στην επαγγελματική ζωή των εξεταζόμενων. Για κάθε επιμέρους κατηγορία μια σειρά από ενδείξεις έχουν καταγραφεί και αναλυθεί : Ενδείξεις περιεχομένου (evidence based on test content) η παραγωγή των ερωτημάτων γίνεται μέσα από ένα μοντέλο ανάπτυξης στο οποίο συμμετέχουν ομάδες ειδικών ενώ τα ερωτήματα αντιστοιχούν με μοναδικό τρόπο στα φύλλα του δέντρου της εξεταζόμενης ύλης - για να ολοκληρωθεί ένα ερώτημα πρέπει να περάσει από δύο επίπεδα ελέγχων που αξιολογούν το ερώτημα εξαντλητικά τόσο από εκπαιδευτική όσο και από τεχνική σκοπιά 136 P a g e

137 - η σύνθεση των διαγωνισμάτων βασίζεται στα ποσοτικά, κατηγορικά και λογικά χαρακτηριστικά τους και σε συγκεκριμένη δομή (πρότυπα διαγωνίσματα) όσον αφορά τα γνωστικά αντικείμενα, τη δυσκολία και τον τύπο των ερωτημάτων - τα διαγωνίσματα ενώ φαίνονται διαφορετικά καλύπτουν τους ίδιους κόμβους εξεταζόμενης ύλης αξιοποιώντας κατάλληλα ερωτήματα οικογενειών που έχουν προέλθει από μια διαδικασία κλωνοποίησης Ενδείξεις απόκρισης (evidence based on response process) - οι εξεταζόμενοι που βρίσκονται στη μέση της κλίμακας ικανοτήτων (~0) περνάνε με άνεση το κατώφλι της εξέτασης που έχει οριστεί στο 60% (36/60). - τα θέματα που αφορούν στη θεωρία και στο διαδίκτυο είναι περισσότερο οικεία στους εξεταζόμενους σε σχέση με τα υπόλοιπα γνωστικά αντικείμενα. - ένας μεγάλος αριθμός εξεταζόμενων κατέχουν τις βασικές δεξιότητες πληροφορικής (όπως αυτές ορίστηκαν από το σύστημα εξέτασης) είτε αντιμετωπίζουν με αυτοπεποίθηση τις εξετάσεις ολοκληρώνοντας με επιτυχία τη διαδικασία εξέτασης πολύ πριν τη λήξη του χρόνου είτε εξαντλούν το χρόνο εξέτασης επιτυγχάνοντας σαφώς μικρότερο σκορ - όσοι εκπαιδευτικοί δεν έχουν αναπτύξει σε ικανοποιητικό βαθμό τις απαιτούμενες δεξιότητες πληροφορικής απογοητεύονται γρήγορα αφήνοντας αναπάντητες ερωτήσεις Ενδείξεις συσχέτισης (evidence based on relation to other variables) - επιβεβαιώνεται ότι οι νεώτεροι εκπαιδευτικοί έχουν περισσότερες δεξιότητες χρήσης ΤΠΕ σε σχέση με τους εκπαιδευτικούς μεγαλύτερης ηλικίας. - το φύλλο των εκπαιδευτικών δε φαίνεται να επηρεάζει τις βασικές ικανότητες που έχουν οι εκπαιδευτικοί στη χρήση εργαλείων ΤΠΕ αλλά οι όποιες διαφοροποιήσεις μπορούν να ερμηνευτούν από διάφορους άλλους παράγοντες (σπουδές, ενδιαφέροντα κλπ). Ενδείξεις συνεπειών (evidence based on relation to other variables) - οι ηλικιωμένοι εκπαιδευτικοί απογοητεύονται εύκολα από μια πιθανή αποτυχία στις εξετάσεις και χρειάζονται περισσότερη στήριξη - δεν έχουν καταγραφεί ενδείξεις που να συσχετίζουν την πιστοποίηση των εκπαιδευτικών στις βασικές δεξιότητες πληροφορικής με την επαγγελματική τους πορεία και εξέλιξη Το σύνολο των καταγεγραμμένων ενδείξεων τεκμηριώνει την εγκυρότητα της εξέτασης που πραγματοποιείται για μια ολόκληρη δεκαετία αλλά σίγουρα ο βαθμός εγκυρότητας της αυτοματοποιημένης διαδικασίας εξέτασης θα αυξηθεί αν μελετηθούν και οι συνέπειες που έχει στην 137 P a g e

138 επαγγελματική ζωή του εκπαιδευτικού μια ενδεχόμενη επιτυχία ή αποτυχία στις εξετάσεις αυτές (π.χ η συσχέτιση των αποτελεσμάτων στις εξετάσεις Α και Β επιπέδου). Αν και η εξέταση πιστοποίησης είχε μέγιστη διάρκεια 2.30 ώρες το αυτοματοποιημένο σύστημα θα μπορούσε να αποφασίσει για την επιτυχία ή αποτυχία του εξεταζόμενου μόλις σε 1.30 ώρες. Επιπλέον υπάρχουν ερωτήματα με μεγάλη έκθεση στη διάρκεια των χρόνων. Η αξιοποίηση προσαρμοστικών ηδιαγωνισμάτων θα μπορούσε να βελτιώσει τη συνολική απόδοση του συστήματος μια και θα μπορούσε να αποφασίζει για την επιτυχία ή αποτυχία σε συντομότερο χρόνο εκθέτοντας ταυτόχρονα λιγότερο αριθμό ερωτημάτων. Με βάση την παραγοντική ανάλυση καταγράφηκαν ενδείξεις που αναδεικνύουν τα χαρακτηριστικά των ερωτημάτων που επηρεάζουν τις απαντήσεις των εξεταζόμενων. Τα ευρήματα της έρευνας τεκμηριώνουν ένα σύνολο κανόνων που πρέπει να λαμβάνονται υπόψη κατά τη φάση της δημιουργίας ερωτημάτων με το χαρακτηριστικό του αποκλεισμού (κλωνοποίηση ερωτήσεων): η εκφώνηση του κλώνου πρέπει να εξετάζει ακριβώς την ίδια γνώση/δεξιότητα/στάση που εξετάζει και η πρωτότυπη ερώτηση. η διατύπωση της εκφώνησης στα ερωτήματα που προέρχονται από κλωνοποίηση (οδηγίες, καθοδηγητική εκφώνηση, χρήση έντονων γραμμάτων κλπ) δεν πρέπει να διαφοροποιείται από την πρωτότυπη ερώτηση. ακόμη και όταν η εκφώνηση είναι μικρή και διατυπωμένη με σαφήνεια απαιτείται ένας εύλογος χρόνος για την κατανόηση της όταν γίνεται κλωνοποίηση μιας ερώτησης τα ποσοτικά, κατηγορικά και λογικά χαρακτηριστικά πρέπει να παραμένουν τα ίδια (π.χ τύπος δοκιμασίας, βαθμός δυσκολίας, κόμβος εξεταζόμενης ύλης κλπ) ο κώδικας που χρησιμοποιείται για την αυτόματη βαθμολόγηση ενός ερωτήματος εφαρμογής (τύπος ΙΙ-inApplication) θα πρέπει να λαμβάνει υπόψη του τα συχνά λάθη των εξεταζόμενων (π.χ χρήση ελληνικών-αγγλικών) για την αυτόματη αξιολόγηση των ερωτημάτων μιας οικογένειας θα μπορούσε να χρησιμοποιηθεί ο ίδιος κώδικας (όπου αυτό είναι δυνατόν) ώστε να περιοριστούν οι διαφοροποιήσεις που οφείλονται σε διαφορετική συμπεριφορά του προγράμματος ελέγχου (κλωνοποίηση κώδικα) οι μεικτές ερωτήσεις συνδυάζουν τα πλεονεκτήματα των κλειστών ερωτημάτων και των ερωτημάτων εφαρμογής και αποτελούν μια ιδιαίτερη κατηγορία ερωτημάτων με επιθυμητά χαρακτηριστικά (π.χ ο χρόνος απάντησης στα ερωτήματα κλειστού τύπου 138 P a g e

139 επηρεάζεται από το πλήθος των δολωμάτων αλλά δεν παρατηρήθηκαν επαρκείς στατιστικές ενδείξεις ότι το ίδιο ισχύει και στις μεικτές ερωτήσεις) Όταν ένας οργανισμός επιθυμεί να οργανώσει εξετάσεις μεγάλης κλίμακας θα πρέπει να λάβει υπόψη ότι το βασικό κόστος κατά την ανάπτυξη του συστήματος αυτοματοποιημένης εξέτασης είναι η παραγωγή, οργάνωση και συντήρηση καλά σχεδιασμένων και κατάλληλων δοκιμασιών που έχουν την ιδιότητα να αξιολογούν αξιόπιστα και έγκυρα τις ικανότητες των εξεταζόμενων. Η διαχείριση των ομάδων που εμπλέκονται στην παραγωγή και τον ποιοτικό έλεγχο των δοκιμασιών μπορεί να διευκολυνθεί από τη λειτουργία ειδικά σχεδιασμένων συστημάτων που υποστηρίζουν τη συνεργασία των ομάδων αυτών και παρακολουθούν την πορεία μιας δοκιμασίας. Ένα γενικό μοντέλο που περιγράφει τον κύκλο ζωής μιας δοκιμασίας, τη διαδικασία κλωνοποίησής της και τους ρόλους των ανθρώπων που εμπλέκονται στην ανάπτυξη ερωτημάτων για την αξιολόγηση ικανοτήτων πληροφορικής δόθηκε στο πλαίσιο της εργασίας αυτής. Στην πράξη, το μοντέλο αυτό μπορεί να τροποποιηθεί ώστε να προσαρμοστεί στις ανάγκες κατασκευής ερωτημάτων για την αξιολόγηση οποιουδήποτε γνωστικού αντικειμένου. Εκτός όμως από την ποιότητα των ερωτημάτων η ποσοτική ανάλυση των καταγεγραμμένων αποκρίσεων των εκπαιδευτικών ανέδειξε και διάφορους παράγοντες που επηρέασαν την όλη διαδικασία. Για παράδειγμα, σημαντικά χαρακτηριστικά της διαδικασίας που πιστοποιεί τις βασικές ικανότητες πληροφορικής των εκπαιδευτικών είναι: η ευχέρεια που είχαν οι εξεταζόμενοι να επιλέξουν με τα δικά τους κριτήρια τον τόπο και το χρόνο εξέτασης. 139 P a g e

140 ο συνδυασμός περιόδων πιστοποίησης με περιόδους εκπαίδευσης κάτι που αυξάνει την απόδοση των εξεταζόμενων όπως φαίνεται και από την ανάλυση των δεδομένων που καταγράφηκαν σε σχέση με το χρόνο. η δυνατότητα επανάληψης μιας αποτυχημένης απόπειρας πιστοποίησης μιας και οι εξεταζόμενοι αξιοποιούν τη συγκεκριμένη δυνατότητα με καλύτερη απόδοση κάθε φορά. Παρόλα αυτά οι μεγαλύτεροι σε ηλικία εκπαιδευτικοί έχουν την τάση να απογοητεύονται περισσότερο όταν αποτυγχάνουν σε μια εξέταση. Ενέργειες που ενισχύουν την αυτοπεποίθηση όσων αποτυγχάνουν στις εξετάσεις (π.χ πρόσβαση σε επιπλέον εκπαιδευτικό υλικό, αναλυτική περιγραφή των ικανοτήτων στις οποίες υστερεί ο εξεταζόμενος κλπ) θα μπορούσαν να βοηθήσουν ιδιαίτερα τους ηλικιωμένους εκπαιδευτικούς. Το ιδιαίτερο προφίλ των εξεταζόμενων μελετήθηκε σε σχέση με διάφορους παράγοντες όπως ηλικία, φύλο, ταχύτητα καταχώρισης, ειδικότητα κλπ. Η συμπεριφορά των εξεταζόμενων ανάλογα με το αποτέλεσμα της εξέτασης και το χρόνο ολοκλήρωσής της μπορεί να αποτυπωθεί στο σχήμα 37. (Christakoudis, Androulakis, & Zagouras, 2011b). άδα 2Α ομ άδα 2Β ομ Σχήμα 35: Το προφίλ ομάδων ανάλογα με το χρόνο ολοκλήρωσης και το αποτέλεσμα Οι νεώτεροι εκπαιδευτικοί τόσο στην Αθμια όσο και στη Βθμια έχουν αυξημένες δεξιότητες χρήσης εργαλείων πληροφορικής σε σχέση με τους πιο έμπειρους στη διδακτική πράξηεκπαιδευτικούς. Οι διαφοροποιήσεις που παρατηρούνται λόγω της ηλικίας οφείλονται σε μια σειρά 140 P a g e

141 ψυχολογικών και γνωστικών παραγόντων που προσδίδουν στους νεώτερους εξεταζόμενους ένα σαφές πλεονέκτημα τόσο στην ταχύτητα καταχώρισης των απαντήσεων όσο και στην ορθότητα των απαντήσεων. Στη διεθνή βιβλιογραφία έχουν καταγραφεί μελέτες που τεκμηριώνουν ότι οι διαφοροποιήσεις αυτές παραμένουν ανεξάρτητα από την ύπαρξη ή όχι φάση εκπαίδευσης πριν την αξιολόγηση των δεξιοτήτων. Ο μόνος τρόπος ώστε να εξισωθούν οι διαφορές ανάμεσα στις ηλικιακές ομάδες είναι με μεγαλύτερη εξάσκηση των εξεταζόμενων μεγάλης ηλικίας (Westerman & Davies, 2000). Στο πλαίσιο αυτό η ενίσχυση των λειτουργιών της παρεχόμενης βοήθειας και της ανατροφοδότησης που παρέχει το σύστημα εξέτασης στους ηλικιωμένους εκπαιδευτικούς θα μπορούσε να βελτιώσει την απόδοσή τους. Από την άλλη, το φύλο των εξεταζόμενων δεν φαίνεται ότι επηρεάζει την απόδοσή τους στις εξετάσεις πιστοποίησης όπως δείχνουν και οι διεθνείς έρευνες. Οι μικρές διαφοροποιήσεις που επισημάνθηκαν δεν αντιμετωπίζονται σαν διαφορές στις ικανότητες λόγω φύλου αλλά ερμηνεύονται από τις διαφορές στην εξειδίκευση και στο επίπεδο σπουδών του κάθε εξεταζόμενου (Christakoudis, Androulakis, & Zagouras, 2010c) (π.χ οι εξεταζόμενοι που έχουν κάνει σπουδές μηχανικού παρουσιάζουν καλύτερη απόδοση συνολικά, εξεταζόμενοι χωρίς πανεπιστημιακό πτυχίο εμφανίζουν καλύτερη απόδοση στο λογισμικό παρουσίασης γιατί το χρησιμοποιούν περισσότερο, καμιά διαφορά στην απόδοση διαφορετικών φύλων δεν εντοπίστηκε στην πρωτοβάθμια εκπαίδευση κλπ). Στο πλαίσιο μελλοντικής έρευνας μπορεί να διατυπωθεί με μεγαλύτερη σαφήνεια μια μεθοδολογία για την αξιολόγηση ενός συστήματος αυτοματοποιημένης εξέτασης εστιάζοντας στην αυτοματοποιημένη ανάλυση των καταγεγραμμένων αποκρίσεων των εξεταζόμενων. Μια σειρά από εργαλεία ανάλυσης μπορούν να δημιουργηθούν όπως: (α) διαδικτυακό εργαλείο για την καταγραφή της συμμόρφωσης ενός ΑΣΕ με τις διεθνείς προδιαγραφές ανάπτυξης και διάθεσης διαγωνισμάτων (β) αναλυτική τεκμηρίωση κώδικα στη γλώσσα σεναρίων του R για την IRT ανάλυση δοκιμασιών και ηδιαγωνισμάτων (γ) αναλυτική τεκμηρίωση κώδικα στη γλώσσα σεναρίων του R για την αποδοτική και αυτοματοποιημένη παραγωγή στατιστικών δεικτών τόσο για τις δοκιμασίες μιας τράπεζας θεμάτων όσο και για τα παραγόμενα ηδιαγωνίσματα (δ) διαδικτυακό εργαλείο ολοκληρωμένης στατιστικής ανάλυσης το οποίο να τροφοδοτείται με τα δεδομένα των εξεταζόμενων (row data) σε μια εξέταση και να παράγει ένα σύνολο από έγκυρες και επιστημονικά τεκμηριωμένες πληροφορίες σχετικά με την ποιότητα των χρησιμοποιούμενων δοκιμασιών και διαγωνισμάτων. Ερευνητικό ενδοιαφέρον παρουσιάζει και η μελέτη της συμπεριφοράς των εξεταζόμενων στο πλαίσιο της πιστοποίησης Β επιπέδου όπου πιστοποιείται η ικανότητα αξιοποίησης εργαλείων πληροφορικής στην καθημερινή διδακτική πράξη μέσα από αυτοματοποιημένο σύστημα εξέτασης. Στη μελέτη της συσχέτισης των αποκρίσεων του ίδιου εξεταζόμενου στα δύο ηδιαγωνίσματα (Α και Β 141 P a g e

142 επιπέδου) μπορεί να βασιστεί η έρευνα για τον τρόπο με τον οποίο επηρέασαν οι αυτοματοποιημένες εξετάσεις την επαγγελματική εξέλιξη των εκπαιδευτικών. Με βάση τη μεθοδολογία που αναπτύχθηκε στην εργασία αυτή για την οργάνωση της τράπεζας θεμάτων και την ανάλυση των καταγεγραμμένων αποκρίσεων μεγάλου πλήθους (large scale) εκπαιδευτικών μπορούν να αναπτυχθούν εργαλεία αυτοματοποιημένης εξέτασης για διαφορετικές ομάδες στόχου (π.χ φοιτητές, μαθητές) σε μικρή κλίμακα αξιοποιώντας λογισμικά ανοικτού κώδικα. Ευχαριστίες (acknowledgments) Το αυτοματοποιημένο σύστημα εξέτασης εκπαιδευτικών σε βασικές δεξιότητες πληροφορικής σχεδιάστηκε, υλοποιήθηκε και συντηρείται από τη Διεύθυνση Εκπαίδευσης και Πιστοποίησης του Ινστιτούτου Τεχνολογίας Υπολογιστών και Εκδόσεων Διόφαντος στο πλαίσιο έργων του Υπουργείου Παιδείας και Θρησκευμάτων, Πολιτισμού και Αθλητισμού. 142 P a g e

143 6. ΠΑΡΑΡΤΗΜΑΤΑ 6.1 Παράρτημα Α (πίνακας εξεταζόμενης ύλης syllabus) 1 Εισαγωγικές Έννοιες 1 Θεμελιώδεις έννοιες στην Πληροφορική 1 Δεδομένα και Πληροφορίες 1 Η έννοια των δεδομένων 2 Η έννοια της πληροφορίας 2 Επεξεργασία δεδομένων 1 Η έννοια της επεξεργασίας δεδομένων 2 Κωδικοποίηση δεδομένων 3 Η επιστήμη της Πληροφορικής 1 Η επιστήμη της Πληροφορικής 2 Η κοινωνία της Πληροφορίας 4 Οι ΤΠΕ στην καθημερινή ζωή 1 Χώροι - περιπτώσεις χρήσης συστημάτων Η/Υ 2 ΤΠΕ και σύγχρονη εκπαίδευση (CBT, τηλε-εκπαίδευση, αξιοποίηση διαδικτύου) 5 Πνευματικά δικαιώματα και Δεδομένα προσωπικού χαρακτήρα 1 Άδεια χρήσης λογισμικού, πειρατεία. Κωδικός Αναγνώρισης προϊόντος. 2 Προστασία δεδομένων προσωπικού χαρακτήρα (νομοθεσία, περιπτώσεις) 3 Πνευματικά δικαιώματα, πνευματική ιδιοκτησία (εφαρμογή σε λογισμικά και ψηφιακά αρχεία) 6 Περιβάλλον εργασίας 1 Ανακύκλωση παλαιών συστημάτων υπολογιστών 2 Εργονομία (σωστή τοποθέτηση εξοπλισμού, φωτισμός) 3 Ασθένειες από τη λανθασμένη χρήση του υπολογιστή. 4 Προφυλάξεις (ηλεκτρολογική εγκατάσταση, UPS, θερμοκρασία, αερισμός χώρου) 5 Ανακύκλωση χαρτιού εκτυπώσεων, δοχείων μελάνης και τόνερ. Επαναχρησιμοποίηση χαρτιού εκτυπώσεων. 2 Πληροφοριακά Συστήματα 1 Δομή Πληροφοριακών Συστημάτων 1 Ανάλυση - σχεδίαση ΠΣ 2 Εφαρμογές - κριτήρια επιλογής ΠΣ 3 Χαρακτηριστικά ΠΣ 2 Κατηγορίες Υπολογιστικών Συστημάτων 1 Οι κατηγορίες υπολογιστών (mainframe, pc, laptop, pda, terminal) 2 Διάκριση υπολογιστικών συστημάτων (ισχύς, χωρητικότητα, ταχύτητα, κόστος) 3 Κριτήρια επιλογής ενός Η/Υ (προσδιορισμός αναγκών, απαιτήσεων, κρίσιμων σημείων) 3 Δομή και Λειτουργία υπολογιστή 1 Βασική δομή υπολογιστή (ρόλος ΚΜΕ, Μνημών, Ι/Ο) 2 Λειτουργία υπολογιστή (ροή πληροφορίας). Υλικό - Λογισμικό 3 Ο όρος "περιφερειακή συσκευή" 4 Παράγοντες απόδοσης υπολογιστή 1 Μέγεθος μνήμης RAM και απόδοση υπολογιστή 2 Απόδοση Αποθηκευτικών συσκευών 3 Ταχύτητα ΚΜΕ και απόδοση υπολογιστή 4 Λοιποί παράγοντες απόδοσης (κάρτες, ταχύτητα σύνδεσης σε δίκτυο, πλήθος ταυτόχρονων εφαρμογών κλπ) 3 Υλικό Υπολογιστών 1 Motherboard και Κεντρική Μονάδα Επεξεργασίας 1 Η Motherboard 2 Λειτουργία ΚΜΕ (υπολογισμοί, έλεγχοι, πρόσβαση στη μνήμη) 3 Συχνότητα - Ταχύτητα επεξεργαστή και μέτρησή της 4 Τύποι και χαρακτηριστικά επεξεργαστών (AMD, Pentium, Centrino, XEON, κλπ) 2 Μνήμη 1 Κύρια Μνήμη και Τύποι μνήμης (RAM, ROM) 2 Ψηφιοποίηση δεδομένων (bit - byte) 3 KB, Mb, GB, TB και συσχέτιση μεταξύ τους. 3 Συσκευές Εισόδου - Εξόδου 1 Συσκευές που είναι και εισόδου και εξόδου (οθόνες αφής) 2 Θύρες που χρησιμοποιούνται για τη σύνδεση συσκευών Ι/Ο 3 Το ποντίκι και η λειτουργία του 4 Το Πληκτρολόγιο και η λειτουργία του 5 Λοιπές συσκευές εισόδου (ιχνόσφαιρα, σαρωτής, πινακίδα αφής, joystick, κάμερα, μικρόφωνο) 6 Κύριες συσκευές εξόδου (οθόνες, εκτυπωτές, σχεδιογράφοι, ηχεία) 4 Συσκευές Αποθήκευσης 1 Κύριες συσκευές αποθήκευσης (δισκέτα, σκληρός δίσκος) Χαρακτηριστικά και σύγκριση 2 Ο ρόλος της περιφερειακής μνήμης 3 Λοιπές συσκευές αποθήκευσης (CD-ROM, DVD) Χαρακτηριστικά και σύγκριση 4 Συσκευές backup (zip drives, data cartridges) Χριστακούδης Ξ. Χρήστος 143 P a g e

144 4 Λογισμικό Υπολογιστών 1 Τύποι λογισμικού 1 Λογισμικό εφαρμογών 2 Λογισμικό ανάπτυξης 3 Βοηθητικό λογισμικό 4 Είδη άδειες και χρήση λογισμικού (freeware, shareware, licenced, ανοικτού κώδικα) και εκδόσεις 5 Εκπαιδευτικό λογισμικό 6 Κριτήρια επιλογής λογισμικού 7 Λογισμικό συστήματος - Λειτουργικά συστήματα 2 Γραφικό Περιβάλλον Επικοινωνίας 1 Η έννοια και ο ρόλος του ΓΠΕ (αλληλεπίδραση με το χρήστη) 2 Λειτουργικά συστήματα που βασίζονται σε ΓΠΕ 5 Χρήση ΓΠΕ του Λειτουργικού Συστήματος 1 Χρήση Υπολογιστή με ΓΠΕ 1 Η επιφάνεια εργασίας των Windows 2 Χρήση του Μενού Έναρξης και της Γραμμής Εργασιών 3 Τερματισμός εφαρμογής που δεν λειτουργεί 4 Ανατομία εικονιδίων (συνήθη εικονίδια, χαρακτηριστικά, ταξινομήσεις) 5 Εκκίνηση - Τερματισμός - Επανεκκίνηση του Η/Υ 6 Σύνδεση - Αποσύνδεση χρήση σε τοπικό δίκτυο 2 Διαχείριση Παραθύρων 1 Βασική μορφή παραθύρων (γραμμή τίτλου, βασικό μενού, γραμμή εργαλείων, γραμμή διεύθυνσης, γραμμή κατάστασης, ράβδοι κύλισης) 2 Βασική διαχείριση παραθύρων (ελαχιστοποίηση, μεγιστοποίηση, επαναφορά, κλείσιμο, αλλαγή μεγέθους και θέσης) 3 Δουλεύοντας με Μενού επιλογών και χειριστήρια 4 Προβολές περιεχομένου παράθυρου (επιλογές, ταξινομήσεις) 5 Δουλεύοντας με πολλά παράθυρα (τακτοποίηση, εναλλαγή, κλείσιμο, άμεση επιστροφή στην ε.ε.) 3 Ενσωματωμένες εφαρμογές 1 Ρολόι 2 Χρήση της Βοήθειας 3 Σημειωματάριο, Κειμενογράφος 4 Παιγνίδια 5 Αριθμομηχανή 6 Ζωγραφική 6 Ρυθμίσεις Συστήματος Η/Υ και Διαχείριση Περιφερειακών Συσκευών 1 Βασικές Πληροφορίες Συστήματος 1 Επισκόπηση των βασικών χαρακτηριστικών του Η/Υ 2 Το εικονίδιο Ο Υπολογιστής μου 2 Ο Πίνακας Ελέγχου 1 Προσθαφαίρεση συσκευών 2 Προσθαφαίρεση Προγραμμάτων 3 Ρύθμιση λογαριασμών Χρηστών 4 Ρύθμιση - Προσαρμογή του Μενού έναρξης και της Γραμμής εργασιών 5 Ρύθμιση ποντικιού 6 Ρύθμιση Πληκτρολογίου (ρυθμίσεις γλωσσών) 7 Αλλαγή ρυθμίσεων της Επιφάνειας Εργασίας (ημερομηνία -ώρα, ένταση ήχου, εμφάνισης ε.ε. > ανάλυση, χρώματα, προστασία οθόνης) 8 Λοιπές λειτουργίες Πίνακα Ελέγχου 9 Προσθαφαίρεση στοιχείων των Windows 10 Ο ρόλος και οι λειτουργίες του πίνακα ελέγχου 11 Ρύθμιση συνδέσεων Δικτύου 3 Διαχείριση Μονάδων Δίσκων 1 Διαμόρφωση Δίσκου 2 Έλεγχος, ανασυγκρότηση δίσκων - Προληπτική συντήρηση 3 Backup - Restore 4 Εκκαθάριση δίσκου 5 Διαχείριση CD DVD 4 Διαχείριση εκτυπωτών 1 Διαχείριση εκτυπώσεων - Αντιμετώπιση προβλημάτων 2 Εγκατάσταση - προεπιλογή εκτυπωτή 5 Διαχείριση συσκευών εικόνας ήχου 1 Σάρωση (Χαρακτηριστικά - διαδικασία) 2 Διαχείριση ήχου - ηχείων. Ηχογράφηση 7 Διαχείριση Αρχείων 1 Βασικές Έννοιες 1 Η έννοια του αρχείου. Ονοματολογία, ιδιότητες αρχείων. Αναγνώριση βασικών τύπων αρχείων 2 Η έννοια του φακέλου - καταλόγου. Ιδιότητες φακέλων - καταλόγων 3 Η Δενδρική Δομή (φάκελοι - υποφάκελοι) και οι αποθηκευτικές συσκευές 2 Εργασία με αρχεία και φακέλους 144 P a g e

145 1 Δημιουργία και διαχείριση συντομεύσεων 2 Το περιβάλλον του Εξερευνητή των Windows. Πλοήγηση, Ρυθμίσεις 3 Δημιουργία φακέλων 4 Δημιουργία - αποθήκευση Αρχείου. Άνοιγμα - εκτύπωση αρχείου 5 Επιλογή αρχείων και φακέλων (μεμονωμένα, συνεχόμενη - μη συνεχόμενη ομάδα) 6 Μετονομασία Αρχείων και φακέλων 7 Αλλαγή ιδιοτήτων αρχείων και φακέλων 8 Διαχείριση διαγραμμένων αρχείων και φακέλων. Εξερεύνηση Κάδου ανακύκλωσης 9 Αποκοπή, αντιγραφή, επικόλληση, διαγραφή αρχείων και φακέλων 3 Αναζήτηση αρχείων και φακέλων 1 Παραμετρική αναζήτηση αρχείων και φακέλων (Βάσει περιεχομένου, θέσης, ημερομηνίας, μεγέθους - Χρήση μπαλαντέρ) 2 Απλή αναζήτηση αρχείων και φακέλων. Χρήση της Εύρεσης 3 Προβολή λίστας με τα πιο πρόσφατα χρησιμοποιημένα αρχεία 4 Συμπίεση αρχείων 1 Αποσυμπίεση αρχείων και φακέλων 2 Συμπίεση αρχείων και φακέλων 3 Η έννοια της συμπίεσης και της αποσυμπίεσης αρχείων 8 Ιοί Υπολογιστών και Προστασία 1 Ιοί Η/Υ και Ανεπιθύμητες επιθέσεις 1 Hackers, προγράμματα spyware 2 Τι είναι ένας ιός και ποιες οι πιθανές επιδράσεις του 3 Τρόποι διάδοσης ιών. Τρόποι αναγνώρισης ενός πιθανού ιού. 4 Αντιβιοτικά προγράμματα. Αξία, προφύλαξη, ενημέρωση, καθαρισμός, καραντίνα. 2 Ασφάλεια Πληροφοριών 1 Ο όρος Ασφάλεια Πληροφοριών (διαχείριση ευαίσθητων δεδομένων, ευθύνες χειριστών συστημάτων πληροφοριών, αντίγραφα ασφαλείας) 2 Πολιτικές ομάδων χρηστών και δικαιωμάτων. Χρήση User Id και Password 145 P a g e

146 2 Επεξεργασία Κειμένου 1 Θεμελιώδεις Έννοιες & Περιβάλλον Εφαρμογής Επεξεργασίας Κειμένου 1 Θεμελιώδεις έννοιες σύνταξης και επεξεργασίας κειμένου 1 Η έννοια του εγγράφου (Σελίδα Ενότητα, Γλώσσα εγγράφου) 2 Τερματισμός εφαρμογής επεξεργασίας κειμένου 3 Πληκτρολόγηση απλού κειμένου (Χαρακτήρας. Λέξη, Πρόταση, Παράγραφος, Αναδίπλωση λέξεων) 4 Έναρξη εφαρμογής επεξεργασίας κειμένου 5 Η έννοια του πρότυπου εγγράφου 2 Δημιουργία εγγράφου 1 Τροποποίηση βασικού (normal) πρότυπου εγγράφων. Δημιουργία και τροποποίηση πρότυπων εγγράφων. 2 Δημιουργία νέου εγγράφου (από το κανονικό πρότυπο, από πρότυπο εκτός του προεπιλεγμένου (κανονικού), από οδηγό) 3 Προβολές εγγράφου 1 Ρύθμιση επιλογών προβολής εγγράφων. 2 Εναλλαγή σε πολλά ανοικτά έγγραφα. Προβολή δυο τμημάτων ενός εγγράφου ταυτόχρονα. Τακτοποίηση παραθύρων εγγράφων. 3 Εμφάνιση / απόκρυψη μη εκτυπώσιμων χαρακτήρων. 4 Χρήση εργαλείου μεγέθυνσης / σμίκρυνσης εμφάνισης κειμένου (zoom). Πλήρης Οθόνη. 5 Αλλαγή προβολής σελίδας σε: Κανονική, Διάταξη εκτύπωσης, Διάρθρωσης, Διάταξη Web, *Διάταξη Διαβάσματος. 4 Αποθήκευση εγγράφου. 1 Ρύθμιση επιλογών αποθήκευσης εγγράφων. 2 Αποθήκευση εγγράφου σε άλλη μορφή: Εμπλουτισμένου κειμέ νου *.rtf, Ιστοσελίδας *.htm, πρότυπο έγγραφο *.dot, αρχείο προηγούμενης έκδοσης εφαρμογής. *Αποθήκευση ως XML Document, *Αποθήκευση ως εικόνα TIFF. 3 Αποθήκευση πληροφοριών για αυτόματη ανάκληση. 4 Αποθήκευση εγγράφου στον προεπιλεγμένο φάκελο (Τα Έγγραφά μου). Αποθήκευση αλλαγών. Αποθήκευση ενός εγγράφου σε φάκελο και μονάδα αποθήκευσης διαφορετικό από τον τρέχοντα. Αποθήκευση ενός εγγράφου με άλλο όνομα. 5 Μορφές εγγράφων και ονομασία τους. 5 Άνοιγμα και κλείσιμο εγγράφου 1 Κλείσιμο ενός εγγράφου. 2 Άνοιγμα εγγράφου που χρησιμοποιήθηκε πρόσφατα. Άνοιγμα εγγράφου από τον τελευταίο φάκελο (π.χ. Τα Έγγραφά μου) που ανοίξατε έγγραφο. 3 Άνοιγμα εγγράφου από συγκεκριμένο φάκελο. *Άνοιγμα εγγράφου από δίκτυο (μοιρασμένο) 6 Εκτύπωση Εγγράφου 1 Ρύθμιση ιδιοτήτων εκτυπωτή. 2 Ρύθμιση επιλογών εκτύπωσης εγγράφων. 3 Ρύθμιση παραμέτρων εκτύπωσης (άλλος εκτυπωτής, τρέχουσα σελίδα, επιλεγμένη περιοχή, επιλογή σελίδων, πλήθους αντιτύπων, συρραφής, μονών/ζυγών σελίδων, σελίδων ανά χαρτί και κλίμακας ανά χαρτί. Εκτύπωση σε αρχείο. 4 Απλή εκτύπωση ολόκληρου του εγγράφου. 5 Προεπιλεγμένος εκτυπωτής. 6 Προεπισκόπηση εγγράφου, Προεπισκόπηση ιστοσελίδας 7 Το Περιβάλλον Εφαρμογής Επεξεργασίας Κειμένου 1 Εμφάνιση / απόκρυψη γραμμών εργαλείων. 2 Ρύθμιση γενικών επιλογών περιβάλλοντος. 3 Μεταβολή προκαθορισμένων παραμέτρων εφαρμογής όπως: στοιχεία χρήστη, προκαθορισμένοι φάκελοι θέσεων αρχείων εγγράφων. 4 Βασικό μενού. Γραμμή εργαλείων μορφοποίησης. Χάρακες. Παράθυρο εργασιών. Περιοχή σύνταξης κειμένου. 5 Αλλαγή μενού και γραμμών εργαλείων. 6 Χρήση Βοήθειας. 2 Επεξεργασία Κειμένου και αντικειμένων 1 Σύνταξη κειμένου 1 Αυτόματο κείμενο. 2 Εισαγωγή πεδίων. 3 Εισαγωγή, διαγραφή ειδικών χαρακτήρων αλλαγής παραγράφου Προσθήκη, διαγραφή ειδικών χαρακτήρων μη αυτόματης αλλαγής γραμμής, ενότητας, στήλης. εισαγωγή και διαχείριση κειμένων και γραφικών που χρησιμοποιείτε συχνά. 4 Διαγραφή επόμενου και προηγούμενου χαρακτήρα. Διαγραφή τμήματος κειμένου 5 Εισαγωγή συμβόλων και ειδικών χαρακτήρων που δεν υπάρχουν στο πληκτρολόγιο. 6 Χρήση επανάληψης ή αναίρεσης ενεργειών. 7 Σύνταξη κειμένου, εισαγωγή και αντικατάσταση χαρκτήρων. Πληκτρολόγηση κεφαλαίων και πεζών χαρακτήρων. 8 Αυτόματη εισαγωγή της τρέχουσας ημερομηνίας και ώρας. 2 Μετακίνηση στο έγγραφο 1 Κύλιση περιεχομένου εγγράφου προς τα κάτω ή προς τα πάνω κατά μία γραμμή, κατά μία οθόνη. 2 Μετακίνηση στον επόμενο ή προηγούμενο χαρακτήρα, λέξη, στην αρχή και το τέλος γραμμής, παραγράφου, οθόνης, εγγράφου. 3 Χάρτης εγγράφου. 4 Σελιδοδείκτες. Επιστροφή στην προηγούμενη θέση επεξεργασίας. 3 Επιλογή, Αντιγραφή, αποκοπή και επικόλληση 1 Μετακίνηση με σύρσιμο. Αντιγραφή και μετακίνηση κειμένου και αντικειμένων, μεταξύ ανοικτών εγγράφων. 2 Αντιγραφή και επικόλληση αντικειμένου άλλης εφαρμογής 3 Διαχείριση του Προχείρου 4 Ειδική επικόλληση. 5 Αντιγραφή. Αποκοπή. Επικόλληση. 6 Επιλογή μη συνεχόμενων στοιχείων. 146 P a g e

147 7 Επιλογή οποιουδήποτε τμήματος κειμένου, λέξης, γραμμής, πρότασης, παραγράφου, ολόκληρου του εγγράφου, κεφαλίδων και υποσέλιδω, υποσημειώσεων, κατακόρυφου τμήματος κειμένου, αντικειμένου με το ποντίκι και με το πληκτρολόγιο. 4 Εύρεση και αντικατάσταση 1 Γρήγορη εύρεση στοιχείων με χρήση της Επιλογής αντικειμένου αναζήτησης (document browser). 2 Εύρεση και αντικατάσταση κειμένου με όρους. 3 Εύρεση και αντικατάσταση κειμένου. 5 Έλεγχος ορθογραφίας και διόρθωση 1 *Χρήση του παράθυρου εργασίας Έρευνα. 2 Εισαγωγή και κατάργηση αυτόματου και μη αυτόματου συλλαβισμού, προαιρετικό ενωτικό. 3 Ελεγκτής Ορθογραφίας. Ορθογραφικός και γραμματικός έλεγχος ξενόγλωσσου κειμένου. Προσθήκη λέξεων στο διαθέσιμο προσαρμοσμένο λεξικό χρήστη. 4 Αυτόματη Διόρθωση. Διόρθωση κατά την πληκτρολόγηση. 5 Ρύθμιση επιλογών Ορθογραφίας και Γραμματικής. 6 Χρήση θησαυρού συνωνύμων. 3 Μορφοποίηση χαρακτήρων και παραγράφων 1 Μορφοποίηση Χαρακτήρων 1 Αρχίγραμμα 2 Αλλαγή κλίμακας κειμένου, απόστασης, θέσης και διαστρωμάτωσης κειμένου 3 Μορφοποίηση περιγράμματος, σκιάς και ανάγλυφου ή χαραγμένου κειμένου, διακριτής διαγραφής, επισήμανσης σε κείμενο. και εμφάνιση χαρακτήρων. 4 Κινούμενο κείμενο 5 Σύνολα χαρακτήρων, αλλαγή γραμματοσειράς, μεγέθους, απόστασης και χρώματος χαρακτήρων. 6 Απόκρυψη και εμφάνιση χαρακτήρων. 7 Μετατροπή χαρακτήρων σε όλα κεφαλαία και σε μικρά κεφαλαία. Μετατροπή κειμένου σε εκθέτη, δείκτη, υπερυψωμένο ή χαμηλωμένο. 8 Εφαρμογή ή αναίρεση έντονης, πλάγιας, βασικής και διακοσμητικής υπογραμμισμένης μορφής. 9 Εφαρμογής συγκεκριμένου στυλ χαρακτήρων. 2 Μορφοποίηση Παραγράφων 1 Έξυπνες ετικέτες. 2 Δημιουργία εσοχών στο κείμενο: αριστερά, δεξιά, πρώτης γραμμής και προεξοχή. 3 Αλλαγή διαστήματος πριν και μετά την παράγραφο. 4 Αλλαγή διάστιχου μεταξύ των γραμμών της, παραγράφου. 5 Στοίχιση παραγράφου αριστερά, στο κέντρο, δεξιά και πλήρης. 6 ροσθήκη περιγράμματος πλαισίου, πάνω, κάτω, δεξιά ή αριστερά της παραγράφου και εφαρμογή σκίασης με γέμισμα ή μοτίβα. 3 Αρίθμηση και κουκίδες 1 Λίστα με κουκίδες ενός επιπέδου. 2 Προσαρμογή λίστας. Αλλαγή του στυλ εμφάνισης των κουκίδων ή αρίθμησης. Στυλ λίστας. 3 Αρίθμηση λίστας. 4 Λίστα πολλαπλών επιπέδων με αρίθμηση και κουκίδες. 4 Στηλοθέτες 1 Οδηγός στηλοθέτη. 2 Εισαγωγή, αλλαγή και κατάργηση αριστερού, δεξιού, κεντρικού και δεκαδικού στηλοθέτη 3 Η έννοια και τα είδη στηλοθετών. 5 Στυλ 1 Δημιουργία, τροποποίηση, διαγραφή και εφαρμογή στυλ. 2 Χρήση ρυθμίσεων στυλ από άλλο έγγραφο ή πρότυπο. 3 Εφαρμογή εκ νέου μορφοποίησης για ομοιόμορφη εμφάνιση. 4 Διαμόρφωση εγγράφου 1 Χαρακτηριστικά και διαμόρφωση σελίδων 1 Ορισμός περιθωρίων επάνω, αριστερά, κάτω και δεξιά. Αντικριστά περιθώρεια 2 Διάταξη σελίδας. Μέγεθος χαρτιού εγγράφου. Αλλαγή προσανατολισμού σελίδας 3 Προσθήκη περιγράμματος πλαισίου, πάνω, κάτω, δεξιά ή αριστερά της σελίδας 4 Θέματα (ενοποιημένα στοιχεία σχεδίασης και συνδυασμών χρωμάτων). Αυτόματη μορφοποίηση εγγράφου. 5 Υδατογράφημα εικόνας και κειμένου σε σελίδες. Φόντο σελίδων. 2 Κεφαλίδες και Υποσέλιδα 1 Τοποθέτηση κεφαλίδων και υποσέλιδων (ρύθμιση οριζόντιας και κατακόρυφης θέσης, απόσταση από το κείμενο του εγγράφου). 2 Διαφορετική κεφαλίδα και υποσέλιδο στην πρώτη σελίδα και στις μονές και ζυγές σελίδες του εγγράφου 3 Εισαγωγή του αριθμού κεφαλαίου και του τίτλου σε μια κεφαλίδα ή υποσέλιδο. Εισαγωγή πεδίων ημερομηνίας, πληροφορίες αριθμού σελίδας, θέσης εγγράφου σε κεφαλίδες και υποσέλιδα. 4 Κεφαλίδες και Υποσέλιδα. Προσθήκη, τροποποίηση και διαγραφή κειμένου και αντικειμένων στην κεφαλίδα και το υποσέλιδο. 3 Ενότητες και αλλαγές σελίδων 1 Εισαγωγή, διαγραφή εντολών αλλαγών ενοτήτων και σελίδων εγγράφου. 2 Αλλαγή σελίδας πριν από παράγραφο. 3 Διατήρηση γραμμών παραγράφου μαζί σε μία σελίδα ή στήλη. Έλεγχος χήρας και ορφανής γραμμής σε παράγραφο. Αποφυγή διακοπής γραμμών πίνακα σε διαφορετικές σελίδες. 4 Έννοια ενότητας. Διαφοροποίηση τη διάταξης εγγράφου μέσα σε μία σελίδα ή μεταξύ σελίδων. 4 Παραπομπές και λεζάντες 1 Προσθήκη και τροποποίηση λεζάντας. Λεζάντες που περιέχουν αριθμούς κεφαλαίων. 2 Προσθήκη και τροποποίηση υποσημείωσης. 147 P a g e

148 3 Προσθήκη και τροποποίηση παραπομπής και σελιδοδείκτη. 5 Πίνακες Περιεχομένων και Ευρετήρια. 1 Δημιουργία, ενημέρωση και διαγραφή ευρετηρίου. Αλλαγή εμφάνισης ευρετηρίου. Επεξεργασία και μορφοποίηση καταχωρήσεων ευρετηρίων. 2 Δημιουργία, ενημέρωση και διαγραφή πίνακα περιεχομένων. Αλλαγή εμφάνισης πίνακα περιεχομένων.. Επεξεργασία και μορφοποίηση καταχωρήσεων πινάκων. 3 Δημιουργία, ενημέρωση και διαγραφή πίνακα εικόνων και πίνακα αναφορών. Αλλαγή εμφάνισης πίνακα αναφορών και πίνακα εικόνων. 6 Διαχείριση μεγάλων και ειδικών εγγράφων 1 Αυτοματοποίηση εργασιών με μακροεντολές. 2 Καταμέτρηση λέξεων ενός εγγράφου. 3 Έγγραφο με στήλες στυλ ενημερωτικού δελτίου. Προσθήκη κατακόρυφων γραμμών μεταξύ των στηλών με στυλ ενημερωτικού δελτίου. Εξισορρόπηση του μήκους στηλών με στυλ ενημερωτικού δελτίου σε μια σελίδα. 4 Ασφάλεια και προστασία εγγράφων. Κωδικός πρόσβασης για άνοιγμα και τροποποίηση εγγράφου. Άνοιγμα μόνο για ανάγνωση. Ψηφιακή υπογραφή. 5 Πρωτεύοντα και δευτερεύοντα έγγραφα. 6 Έγγραφα με φόρμες, εισαγωγή και διαχείριση πεδίων ηλεκτρονικής φόρμας 7 Εισαγωγή άλλου αρχείου σε ανοιχτό έγγραφο. 8 Αυτόματη σύνοψη. 7 Ηλεκτρονική συνεργασία και αναθεώρηση εγγράφου. 1 Γραμμή εργαλείων αναθεωρήσεων. Παράθυρο αναθεώρησης. 2 Παρακολούθηση αλλαγών κατά την επεξεργασία. Επισήμανση. 3 Δημιουργία, επεξεργασία, διαγραφή γραπτού και φωνητικού σχολίου. Μετάβαση σε προηγούμενη ή επόμενη επισήμανση. Αποδοχή ή απόρριψη αλλαγών στο έγγραφο. 4 Ηλεκτρονική συνεργασία. 5 Αντικείμενα 1 Βασικές έννοιες και διαχείριση αντικειμένων 1 Ομαδοποίηση αντικειμένων. 2 Αναδίπλωση κειμένου (Στυλ, ευθυγράμμιση με κείμενο, στοίχιση, οριζόντια και κατακόρυφη θέση, επικάλυψη, αγγύρωση, μετακίνηση με κείμενο, με επικάλυψη). 3 Σύνδεση και Ενσωμάτωση αντικειμένων. 4 Διάταξη, στοίχιση και κατανομή. 5 Εισαγωγή αντικειμένου (γραφικού, εικόνας, γραφήματος σε ένα έγγραφο. 6 Επιλογή, αντιγραφή, μετακίνηση, διαγραφή, αλλαγή μεγέθους αντικειμένων. Ώθηση. Περιστροφή και αναστροφή. 2 Καλλιτεχνικό Κείμενο & Πλαίσιο Κειμένου 1 Καλλιτεχνικό Κείμενο (γραμματοσειρά, μέγεθος, στυλ, σχήμα,, γέμισμα, Ίδιο ύψος γραμμάτων, κατακόρυφο κείμενο, διαγραμμάτωση χαρακτήρων) 2 Πλαίσιο κειμένου. 3 Κείμενο με μορφή άρθρου με συνδεμένα πλαίσια κειμένου και ροή κειμένου σε παράλληλες ή διαδοχικές στήλες πλαισίων κειμένου, από σελίδα σε σελίδα. 4 Δημιουργία κα κατάργηση σύνδεσης ανάμεσα σε δύο πλαίσια κειμένου. 3 Εικόνες 1 Διανυσματικές εικόνες και εικόνες σημείων. 2 Έτοιμες εικόνες. Συλλογές clipart. 3 Μετατροπή εικόνας σε αποχρώσεις του γκρι, ασπρόμαυρη εικόνα και υδατογραφία 4 Αύξηση και ελλάτωση κοντράστ και φωτεινότητας. Περικοπή και περιστροφή εικόνας. Συμπίεση εικόνων. Ορισμός διαφανούς χρώματος. 4 Διαγράμματα και Γραφήματα 1 Αλλαγή στυλ διαγράμματος Οργανόγραμμα ιεραρχίας. Εισαγωγή υφισταμένου, συνεργάτη, βοηθού. 2 Προβολή 3-Δ γραφήματος. 3 Γραμμή τάσης. 4 Επιλογή διάταξης. Γράφημα. Φύλλο δεδομένων. Τύπος γραφήματος. 5 Διαγράμματα πυραμίδας, κύκλου, ακτίνας, ben στόχου. 6 Επιλογές γραφήματος (τίτλος, υπόμνημα, ετικέτες δεδομένων, άξονες, γραμμές πλέγματος). 5 Γραφικά και Σχεδίαση 1 Γραμμή εργαλείων σχεδίασης. Πλέγμα σχεδίασης. 2 Γραμμή, βέλος, ορθογώνιο, έλλειψη. 3 Αυτόματα Σχήματα. 4 Χρώμα γεμίσματος, πλαισίου και χαρακτήρων. 5 Στυλ γραμμής, διάστιξης και βέλους. 6 Στυλ σκιάς και τρισδιάστατης απεικόνισης 6 Αριθμητικοί τύποι 1 Διαστήματα και στοίχιση στοιχείων. 2 Αλλαγή μεγέθους μαθηματικών στοιχείων. 3 Μετακίνηση σημείου παρεμβολής. Επιλογή στοιχείων εξίσωσης. 4 Εισαγωγή μαθηματικού τύπου. Σύμβολα και πρότυπα. 5 Επεξεργασία, αλλαγή μαθηματικού τύπου. 6 Πίνακες 1 Δημιουργία πίνακα 148 P a g e

149 1 Η έννοια του πίνακα. Γραμμή, στήλη, κελί. 2 Δημιουργία πίνακα από το μενού και από τη σχεδίαση πίνακα και μετακίνηση μέσα σε αυτόν. 3 Αλλαγή ιδιοτήτων πίνακα (μέγεθος, στοίχιση, αναδίπλωση, προεπιλεγμένα περιθώρια και απόσταση κελιών, αυτόματη προσαρμογή μεγέθους). 4 Απόκρυψη και εμφάνιση γραμμών πλέγματος. 2 Διαχείριση περιεχομένων πίνακα 1 Εισαγωγή και διόρθωση περιεχομένου κελιών (κειμένου και αντικειμένων) σε πίνακα. 2 Μορφοποίηση περιεχομένου κελιών. 3 Εισαγωγή και χρήση στηλοθετών σε κελί. 4 Μετατροπή πίνακα σε κείμενο και κειμένου σε πίνακα. 3 Τροποποίηση στοιχείων πίνακα 1 Διαίρεση και συγχώνευση κελιών. 2 Σταθερό πλάτος στηλών. Ομοιόμορφη κατανομή γραμμών και στηλών. 3 Επιλογή, διαγραφή και εισαγωγή πίνακα, γραμμών, στηλών, κελιών. 4 Αυτόματη προσαρμογή στα περιεχόμενα ή στο παράθυρο. 4 Μορφοποίηση πίνακα 1 Ιδιότητες γραμμών, στηλών και κελιών πίνακα. 2 Μεταβολή του πλάτους στηλών, ύψους γραμμών. 3 Αλλαγή του πλάτους περιγράμματος κελιού, του στυλ και του χρώματος περιγράμματος κελιού. 4 Κατεύθυνση κειμένου σε κελί. 5 Προσθήκη σκίασης σε κελιά πίνακα. 6 Αυτόματη μορφοποίηση πίνακα. 5 Εφαρμογές πινάκων 1 Εισαγωγή - διαχείριση τύπων και συναρτήσεων, ενημέρωση πεδίων σε πίνακες 2 Εφαρμογή πινάκων για πολύστηλα κείμενα. 3 Ταξινόμηση δεδομένων σε πίνακα. 7 Διαχείριση μαζικής αλληλογραφίας 1 Εκτυπώσεις σε φακέλους 1 Ορισμός προεπιλεγμένης διεύθυνσης αποστολέα. 2 Συγχώνευση δεδομένων 3 Μορφοποίηση διευθύνσεων και επιλογή ρυθμίσεις μεγέθους φακέλων. 4 Εκτύπωση πληροφοριών παραλήπτη και αποστολέας σε φακέλους. 5 Εισαγωγή διευθύνσεων από ηλεκτρονικό βιβλίο διευθύνσεων. 2 Ετικέτες 1 Δημιουργία και εκτύπωση ετικετών για ένα μεμονωμένο στοιχείο ή διεύθυνση. 2 Επιλογή ετικετών εμπορικών προϊόντων και προσαρμογή. 3 Συγχώνευση δεδομένων για μαζική αλληλογραφία 1 Επιλογή παραληπτών που θα συμπεριληφθούν σε συγχώνευση αλληλογραφίας 2 Επαναφορά συγχωνευμένου κύριου εγγράφου σε κανονικό έγγραφο 3 Μορφοποίηση συγχωνευμένων δεδομένων. 4 Αρχεία προέλευσης δεδομένων για συγχώνευση αλληλογραφίας. 5 Εκτύπωση συγχωνευμένων εγγράφων ή με απευθείας συγχώνευση 6 Πεδία συγχώνευσης αλληλογραφίας 7 Συγχώνευση δεδομένων αλληλογραφίας για φόρμες επιστολών και εγγράφων για μαζική δημιουργία. 8 Δημιουργία και εκτύπωση ετικετών για μαζική αποστολή ταχυδρομείου. 149 P a g e

150 3 Υπολογιστικά Φύλλα 1 Θεμελιώδεις έννοιες και το περιβάλλον εργασίας ενός υπολογιστικού φύλλου 1 Βασικές έννοιες και λειτουργίες υπολογιστικών φύλλων 1 Η έννοια του βιβλίου εργασίας 2 Η έννοια του φύλλου εργασίας 3 Ονομασία γραμμών. στηλών και κελιών 4 Σύγκριση υπολογιστικών φύλλων με άλλες εφαρμογές 2 Το περιβάλλον εργασίας της εφαρμογής 1 Εμφάνιση και απόκρυψη γραμμών εργαλείων 2 Αναζήτηση πληροφοριών για την προέλευση της εφαρμογής και για στοιχεία του συστήματος 3 Αναζήτηση βοήθειας χρησιμοποιώντας λέξεις-κλειδιά 4 ***Διαχείριση παράθυρου εργασιών (task panes) 5 ***Αναζήτηση πληροφοριών μέσω του εργαλείου έρευνας 6 Προσαρμογή μενού και γραμμών εργαλείων 7 Γενικές ρυθμίσεις της εφαρμογής 8 Τρόποι μετακίνησης και ειδικής μετακίνησης σε κελιά 9 Αναίρεση ή επανάληψη μιας ενέργειας 10 Χρήση του περιβάλλοντος εργασίας 11 Διαχείριση των ιδιοτήτων ενός βιβλίου εργασίας 12 Χειρισμός του βασικού μενού επιλογών 3 Προβολή και εμφάνιση ενός φύλλου εργασίας 1 Σμίκρυνση και μεγέθυνση φύλλου εργασίας 2 Προεπισκόπηση ιστοσελίδας 3 Εμφάνιση και απόκρυψη φύλλου εργασίας 4 Διαχωρισμός οθόνης 5 Προβολή πλήρους οθόνης 6 Εμφάνιση των τύπων σε κάθε κελί 7 Εμφάνιση και απόκρυψη γραμμών και στηλών 8 Διαχείριση προσαρμοσμένων προβολών (custom views) 9 Διαθέσιμες προβολές φύλλου εργασίας (κανονική. προεπισκόπηση σημείων αλλαγής σελίδας) 10 Σταθεροποίηση και αποσταθεροποίηση γραμμών και στηλών 4 Διαχείριση βιβλίων εργασίας 1 Δυνατότητες άμεσης αποστολής βιβλίου εργασίας 2 Δημιουργία βιβλίου εργασίας 3 Δημιουργία και επεξεργασία πρότυπου βιβλίου εργασίας 4 Ανοιγμα βιβλίου εργασίας 5 Ενεργοποίηση ανοικτού βιβλίου εργασίας 6 Κλείσιμο βιβλίου εργασίας 7 Εμφάνιση/απόκρυψη βιβλίου εργασίας 8 Αποθήκευση βιβλίου εργασίας 5 Διαχείριση φύλλων εργασίας 1 Εισαγωγή νέου φύλλου εργασίας 2 Αντιγραφή φύλλου εργασίας 3 Μετακίνηση φύλλου εργασίας 4 Μετονομασία φύλλου εργασίας 5 Διαγραφή φύλλου εργασίας 6 ***Σύγκριση φύλλων εργασίας με συγχρονισμένη προβολή 6 Διαχείριση κελιών 1 Εισαγωγή κελιών. γραμμών και στηλών 2 Επιλογή συνεχόμενης περιοχής κελιών 3 Επιλογή και μετάβαση σε κελιά που ικανοποιούν κάποια κριτήρια 4 Κατάργηση κελιών. γραμμών ή στηλών 5 Μέγεθος γραμμών και στηλών 6 Αντιμετάθεση γραμμών με στήλες 7 Επιλογή μη συνεχόμενων κελιών 7 Διαχείριση εκτυπώσεων 1 Ρύθμιση περιθωρίων και στοίχιση σελίδας 2 Προσανατολισμός σελίδας 3 Ορισμός και κατάργηση περιοχής εκτύπωσης 4 Εκτύπωση σε αρχείο 5 Επιλογή και ρυθμίσεις εκτυπωτή 6 Αλλες ρυθμίσεις εκτύπωσης του φύλλου εργασίας 7 Διαχείριση εκτυπώσεων για συγκεντρωτικές αναφορές 8 Προσαρμογή του ποσοστού εκτύπωσης 9 Επιλογές εκτύπωσης (σελ.. επιλ. περιοχή κλπ) 10 Κεφαλίδες και υποσέλιδα 11 Επανάληψη γραμμών ή στηλών 12 Προεπισκόπηση εκτύπωσης 13 Διαχείριση αλλαγών σελίδας 14 Ρύθμιση της ποιότητας εκτύπωσης Χριστακούδης Ξ. Χρήστος 150 P a g e

151 2 Επεξεργασία δεδομένων και αντικειμένων 1 Εισαγωγή και επεξεργασία δεδομένων σε κελιά 1 Αυτόματη συμπλήρωση κελιών και προσαρμοσμένες λίστες 2 Εισαγωγή δεδομένων (κείμενο. αριθμός. ημερομηνία και ώρα) 3 Διαχείριση ελέγχων επικύρωσης 4 Εισαγωγή συμβόλων 5 Εισαγωγή και επεξεργασία δεδομένων μέσω φόρμας 6 Ταυτόχρονη εισαγωγή δεδομένων σε κελιά 7 Απαλοιφή περιεχομένων σε κελιά. γραμμές ή στήλες 8 Διαχείριση ορθογραφικού ελέγχου 9 Αυτόματες αλλαγές κατά την πληκτρολόγηση 10 Επεξεργασία περιεχομένου κελιών 2 Εισαγωγή και επεξεργασία αντικειμένων 1 Εισαγωγή και επεξεργασία αποσπάσματος πολυμέσων (εικόνα. clip art. video clip. ήχος) 2 Εισαγωγή και επεξεργασία έτοιμων σχημάτων 3 Εισαγωγή και επεξεργασία πλαίσιων κειμένου 4 Εισαγωγή και επεξεργασία καλλιτεχνικού κειμένου (wordart) 5 Εισαγωγή και επεξεργασία διαγράμματος και οργανογράμματος 6 Εισαγωγή και επεξεργασία υπερσυνδέσμου 7 Εισαγωγή και προσαρμογή αντικειμένων ActiveX σε φύλλο εργασίας 8 Εισαγωγή και επεξεργασία άλλων αντικειμένων 3 Διαχείριση αντικειμένων 1 Μορφοποίηση αντικειμένων (χρώμα. σκιά. 3Δ. διαστάσεις) 2 Ομαδοποίηση αντικειμένων 3 Αλλαγή της διάταξης αντικειμένων 4 Στοίχιση αντικειμένων 5 Περιστροφή αντικειμένων 4 Εισαγωγή και Εξαγωγή δεδομένων από και προς άλλες εφαρμογές 1 ***Διαχείριση δεδομένων XML 2 Ρύθμιση και ανανέωση των εξωτερικών δεδομένων 3 ***Διαχείριση έξυπνων ετικετών 4 Εισαγωγή δεδομένων από βάσεις δεδομένων 5 Εισαγωγή επιλεγμένων δεδομένων 6 Δεδομένα από και προς Ιστοσελίδα 7 Εισαγωγή (εξαγωγή) δεδομένων από (προς) οριοθετημένο αρχείο δεδομένων 5 Διαχείριση του πρόχειρου (clipboard) 1 ***Ρυθμίσεις που αφορούν το πρόχειρο 2 Αντιγραφή και μετακίνηση δεδομένων 3 Αντιγραφή και μετακίνηση χρησιμοποιώντας την ειδική επικόλληση 4 Αντιγραφή και μετακίνηση αντικειμένων 3 Μορφοποίηση δεδομένων 1 Μορφοποίηση δεδομένων σε κελιά 1 Στοίχιση. συγχώνευση. αναδίπλωση και προσανατολισμός δεδομένων 2 Μορφοποίηση γραμματοσειρών 3 Προσαρμοσμένες μορφές 4 Μορφοποίηση ημερομηνία και ώρας 5 Μορφοποίηση αριθμών 2 Μορφοποίηση κελιών 1 Χρώματα και μοτίβα κελιών 2 Απαλοιφή της μορφής σε κελιά. γραμμές ή στήλες 3 Περιγράμματα κελιών 4 Μεταφορά μορφοποίησης (πινέλο μορφοποίησης) 5 Αυτόματη μορφοποίηση κελιών 3 Σύνθετες μορφοποιήσεις 1 Μορφοποίηση υπό όρους 2 ***Μορφοποίηση της ετικέτας ενός φύλλου εργασίας 3 Διαχείριση στυλ (styles) 4 Γραφήματα 1 Γενικά περι γραφημάτων 1 Αναγνώριση περιοχών ενός γραφήματος 2 Ρυθμίσεις εκτύπωσης ενός γραφήματος 3 Επιλογή κατάλληλου τύπου γραφήματος για τη γραφική αναπαράσταση δεδομένων 2 Δημιουργία γραφημάτων 1 Δημιουργία γραφημάτων (στήλης. ράβδου. γραμμής. περιοχής. επιφάνειας. αραχνοειδές) 2 Δημιουργία γραφημάτων (μετοχών) 3 Δημιουργία γραφημάτων προσαρμοσμένων από το χρήστη 4 Δημιουργία γραφημάτων (διασποράς. φυσσαλίδας) 5 Δημιουργία γραφημάτων (πίτας. δακτυλίου) Χριστακούδης Ξ. Χρήστος 151 P a g e

152 3 Τροποποίηση και μορφοποίηση γραφήματος 1 Αλλαγή του τύπου ενός γραφήματος 2 Τροποποίηση των δεδομένων προέλευσης ενός γραφήματος 3 Αλλες ρυθμίσεις που αφορούν το γράφημα 4 Χρώματα και μοτίβα σε στοιχεία γραφήματος 5 Ρυθμίσεις που αφορούν την εμφάνιση 3Δ 6 Ρυθμίσεις που αφορούν τις σειρές δεδομένων 7 Ρυθμίσεις που αφορούν άξονες 8 Τροποποίηση και μορφοποίηση κειμένου σε στοιχεία γραφήματος 4 Γραφήματα ειδικών περιπτώσεων 1 Συγκεντρωτικά γραφήματα 2 Χρήση δεύτερου άξονα σε γράφημα 3 Γραφήματα συνδυασμού 4 Πρόβλεψη και γραμμές τάσεις 5 Γραμμές σφάλματος 6 Εισαγωγή πλαισίων κειμένου και εικόνων σε γράφημα 5 Τύποι και συναρτήσεις 1 Αναφορά σε κελιά 1 Αναφορά με βάση το πρότυπο Α1 2 Σχετική αναφορά σε κελιά 3 Απόλυτη αναφορά σε κελιά 4 Αναφορά με βάση το πρότυπο RC 5 Αναφορά 3Δ σε κελιά 6 Ονομασία και αναφορά σε περιοχές κελιών μέσω ονόματος 2 Τύποι υπολογισμού που δεν καλούν συναρτήσεις 1 Αριθμητικές εκφράσεις χωρίς αναφορές 2 Εκφράσεις που χρησιμοποούν τελεστές συνένωσης. αναφοράς και σύγκρισης 3 Αριθμητικές εκφράσεις με αναφορές σε κελιά 3 Τύποι υπολογισμού που χρησιμοποιούν συναρτήσεις 1 Συναρτήσεις Βάσεων Δεδομένου 2 Συναρτήσεις Κειμένου και δεδομένων 3 Συναρτήσεις Στατιστικής 4 Συναρτήσεις Εξωτερικές 5 Συναρτήσεις του χρήστη 6 Ενθετες συναρτήσεις 7 Συναρτήσεις Αναζήτησης και αναφοράς 8 Συναρτήσεις Μαθηματικές και τριγωνομετρίας 9 Συναρτήσεις Λογικές 10 Συναρτήσεις Ημερομηνίας και ώρας 11 Συναρτήσεις Πληροφοριών 12 Συναρτήσεις Μηχανικής 13 Συναρτήσεις Οικονομικές 4 Μακροεντολές 1 Εκτέλεση μακροεντολής 2 Καταγραφή κινήσεων σε μακροεντολή 3 Δημιουργία μακροεντολής 4 Τροποποίηση μακροεντολής 5 Αντιμετώπιση προβλημάτων και έλεγχος τύπων 1 Αντιμετώπιση σφαλμάτων σε μακροεντολή 2 Αντιμετώπιση σφαλμάτων που ξεκινούν με # 3 Εμφάνιση/απόκρυψη εξαρτήσεων τύπων υπολογισμού 4 Υπολογισμός τύπων σε κατάσταση ελέγχου (trace mode) 5 *** Εμφάνιση και χειρισμός του παράθυρου παρακολούθησης 6 Συνεργασία και σύνθετη επεξεργασία δεδομένων 1 Πρόσθετες λειτουργίες 1 Επίλυση τύπων 2 Διαχείριση προσθέτων 3 Εργαλεία για ανάλυση δεδομένων 2 Ασφάλεια και προστασία δεδομένων 1 Ψηφιακές υπογραφές 2 Πολιτικές προστασίας απέναντι σε ιούς (θεωρία) 3 Ασφάλεια μακροεντολών 4 Προστασία βιβλίου και φύλλων εργασίας 3 Συνεργασία 1 Εργασία με κοινόχρηστα βιβλία εργασίας 2 Διαχείριση σχολίων σε βιβλίο εργασίας 3 Ηλεκτρονικές συσκέψεις 4 ***Διαχείριση κοινόχρηστου χώρου εργασίας 5 Συγχώνευση βιβλίων εργασίας Χριστακούδης Ξ. Χρήστος 152 P a g e

153 6 Απόρριψη και αποδοχή αλλαγών 7 Παρακολούθηση αλλαγών σε βιβλίο εργασίας 8 ***Διαχείριση δικαιωμάτων επεξεργασίας (IRM) 9 Συζητήσεις στο διαδίκτυο 4 Οργάνωση. ανάλυση και σύνοψη δεδομένων 1 Αυτόματα Φίλτρα 2 Συνένωση δεδομένων από διαφορετικά κελιά 3 ***Διαχείριση λιστών 4 Ομαδοποίηση και διάρθρωση δεδομένων 5 Συγκεντρωτικοί πίνακες 6 Δημιουργία και επίλυση σεναρίων 7 Σύνθετα Φίλτρα 8 Συναρτήσεις σύνοψης και μερικά αθροίσματα (SubTotals) 9 Αναζήτηση στόχου 5 Ταξινόμηση και αναζήτηση δεδομένων 1 ***Αναζήτηση και αντικατάσταση με βάση τη μορφή των δεδομένων 2 Ταξινόμηση δεδομένων 3 Αναζήτηση και αντικατάσταση δεδομένων Χριστακούδης Ξ. Χρήστος 153 P a g e

154 4 Διαχείριση Πληροφοριών και Επικοινωνίες 1 Δίκτυα Υπολογιστών και Διαδίκτυο 1 Τοπικά Δίκτυα υπολογιστών (LAN) και Δίκτυα Ευρείας Περιοχής (WAN) 1 Τι είναι δίκτυο. Οι όροι LAN, WAN, WLAN, WiFi 2 Προσδιορισμός λειτουργίας δικτύου. Ο ρόλος του διακομιστή (server) και του πελάτη (client) 3 Πλεονεκτήματα εργασίας σε δίκτυο (κοινή χρήση, καταμερισμός πόρων, ομάδες εργασίας, έλεγχος) 4 Κίνδυνοι από την εργασία σε δίκτυο (απώλεια ιδιωτικότητας και ασφάλειας, επιθέσεις) 2 Ενδοδίκτυο (Intranet) και Ενδοδίκτυο Εξωτερικής Πρόσβασης (Extranet) 1 Τι είναι ένα Extranet. Διάκριση μεταξύ Intranet και Extranet 2 Τι είναι ένα Intranet. Διάκριση από το διαδίκτυο 3 Το Διαδίκτυο (Internet) Γενικά 1 Βασικές αρχές λειτουργίας διαδικτύου (Πρωτόκολλο TCP/IP, http, url, isp) 2 Οι υπηρεσίες του διαδικτύου ( , ftp, telnet, irc κλπ) 3 Ο όρος παγκόσμιος ιστός (www) και η διάκρισή του από το διαδίκτυο. Ιστορικό 4 Τι είναι το διαδίκτυο. Οι χρήσεις του. Ποιος το διαχειρίζεται 5 Η έννοια της ιστοσελίδας. Η μορφή της διεύθυνσής της. Ο Δικτυακός τόπος. Web Hosting 4 Τηλεπικοινωνιακή Υποδομή 1 Τηλεφωνικό δίκτυο και πληροφορική (Δημόσιο Τηλ. Δίκτυο - PSTN, Δίκτυο Ολοκληρωμένων Ψηφιακών υπηρεσιών - ISDN, Δίκτυο Ασύμμετρης Ψηφιακής Συνδρομητικής Γραμμής - ADSL) 2 Δομημένη καλωδίωση και Βασικές έννοιες υποδομής (αναλογικό - ψηφιακό modem, router, bps) 5 Ασφάλεια στο Διαδίκτυο 1 Προστασία παιδιών από ακατάλληλο υλικό 2 Προστατευμένη ιστοσελίδα (user name, password). Ψηφιακό πιστοποιητικό 3 Απάτη στο διαδίκτυο. Ασφαλείς συναλλαγές 4 Επίθεση σε υπολογιστή μέσω διαδικτύου. Μεταφορά ιών. Τείχος προστασίας (firewall) 5 Κρυπτογράφηση δεδομένων 2 Περιήγηση στον Παγκόσμιο Ιστό 1 Το περιβάλλον ενός Φυλλομετρητή 1 Η έννοια του φυλλομετρητή. Διάφορα προϊόντα 2 Οι εργαλειοθήκες του φυλλομετρητή. Χρήση εργαλείων. Γραμμή Διεύθυνσης. Γραμμή Κατάστασης, Συνδέσεις 3 Προσαρμογή εργαλειοθήκης 4 Προσαρμογή Επιλογών Διαδικτύου (Εργαλεία > Επιλογές Internet) και φυλλομετρητή 5 Εισαγωγή και εξαγωγή στοιχείων από φυλλομετρητή 6 Ορισμός αρχικής ιστοσελίδας 7 Χρήση της Βοήθειας του φυλλομετρητή 2 Πλοήγηση στον Παγκόσμιο Ιστό 1 Μετάβαση σε διεύθυνση ιστοσελίδας (URL) 2 Αποθήκευση ιστοσελίδας 3 Μετάβαση σε ιστοσελίδα που επισκεφθήκαμε πρόσφατα, μέσω γραμμής διευθύνσεων 4 Ενεργοποίηση μιας ιστοσελίδας από υπερσύνδεσμο (κειμένου ή εικόνας) και χρήση υπερσυνδέσμων 5 Εκτύπωση ιστοσελίδας 6 Άνοιγμα ιστοσελίδας σε νέο παράθυρο 3 Προβολή των Πληροφοριών στο Φυλλομετρητή 1 Προβολή ιστοσελίδας χωρίς σύνδεση 2 Προβολή ιστοσελίδας σε πλήρη οθόνη 3 Αλλαγή γραμματοσειράς εμφάνισης ιστοσελίδας 4 Μέγεθος κειμένου ιστοσελίδας 4 Ιστορικό επισκέψεων 1 Το ιστορικό επισκέψεων σε ιστοσελίδες (έννοια) 2 Διαχείριση του ιστορικού (διαγραφή, μεταφορά στα Αγαπημένα, αναζήτηση ιστοσελίδων) 3 Μετάβαση σε ιστοσελίδα μέσω του ιστορικού 5 Αγαπημένα 1 Μετακίνηση, μετονομασία, διαγραφή καταχώρησης στη δομή των αγαπημένων (και Συνδέσεων) 2 Προσθήκη στη δομή των αγαπημένων (και Συνδέσεων) 3 Δημιουργία φακέλων για την οργάνωση των αγαπημένων ιστοσελίδων 4 Άνοιγμα ιστοσελίδας από τα Αγαπημένα 3 Η γλώσσα των Ιστοσελίδων 1 Η Html 1 Αλλαγή κωδικοσελίδας εμφάνισης περιεχομένου ιστοσελίδας 2 Τι είναι η html 3 Προβολή της γλώσσας περιγραφής (html) της ιστοσελίδας 2 Προηγμένα θέματα δομής ιστοσελίδων 1 Δυναμικές ιστοσελίδες και βάσεις δεδομένων (ASP, PHP, CGI Scripts, MySQL) 2 DHtml, CSS 3 Javascripts, Java, VBScripts, XML 4 Αναζήτηση Πληροφορίας 1 Αναζήτηση σε Ιστοσελίδες 154 P a g e

155 1 Αναζήτηση σε δικτυακό ιστοχώρο 2 Αναζήτηση με χρήση της εύρεσης 3 Επιλογή, διαχείριση, ιδιότητες και αποθήκευση πληροφορίας 2 Μηχανές Αναζήτησης 1 Διαχείριση αποτελεσμάτων αναζήτησης 2 Γενικά χαρακτηριστικά και τρόπος λειτουργείας μηχανών αναζήτησης 3 Eπιλέγοντας μηχανή αναζήτησης 4 Απλή αναζήτηση με λέξεις κλειδιά 5 Σύνθετη αναζήτηση με λογικούς τελεστές 6 Περιορίζοντας τα αποτελέσματα της αναζήτησης (συντακτικό, αποκλεισμός, αναζήτηση στα αποτελέσματα) 7 Μεταμηχανές και Πράκτορες (agents) 3 Πύλες και Θεματικοί κατάλογοι 1 Ψάχνοντας σε θεματικούς καταλόγους 2 Κατηγορίες θεματικών καταλόγων 3 Η μορφή ενός θεματικού κατάλογου 4 Πύλες και μηχανές αναζήτησης. 5 Αναζητώντας πληροφορίες σε μια πύλη 6 Τι είναι μια Πύλη (portal). Μορφή, χαρακτηριστικά 5 Ηλεκτρονικό ταχυδρομείο 1 Βασικές έννοιες Ηλεκτρονικού Ταχυδρομείου 1 Το ηλεκτρονικό ταχυδρομείο (τι είναι) 2 Χρήση προγράμματος για τη διαχείριση της ηλεκτρονικής αλληλογραφίας 3 Η μορφή μιας ηλεκτρονικής διεύθυνσης ταχυδρομείου 4 Κοινοποίηση και ιδιωτική κοινοποίηση 5 Η υπηρεσία Web mail 2 Το περιβάλλον ενός προγράμματος Η.Τ. 1 Εκτύπωση μηνύματος 2 Απάντηση σε μήνυμα 3 Διαγραφή και επαναφορά μηνυμάτων 4 Προώθηση μηνύματος 5 Οργάνωση και Ταξινόμηση μηνυμάτων 6 Λήψη, προβολή και ανάγνωση μηνυμάτων. Περιβάλλον 7 Υπογραφή ηλεκτρονικού μηνύματος 8 Αναζήτηση μηνυμάτων 9 Έναρξη και τερματισμός εφαρμογής Η.Τ. ή υπηρεσίας Web mail 10 Σύνθεση και αποστολή μηνύματος 3 Επισύναψη Αρχείων 1 Αναγνώριση και ανάγνωση επισυναπτόμενων αρχείων 2 Αποθήκευση επισυναπτόμενων αρχείων 3 Επισύναψη αρχείων 4 Το Βιβλίο Διευθύνσεων 1 Ο ρόλος του βιβλίου διευθύνσεων 2 Προσθήκη και επεξεργασία επαφής 3 Δημιουργία και επεξεργασία ομάδας χρηστών 4 Διαγραφή επαφής ή ομάδας 5 Ταχυδρομικές Λίστες 1 Η έννοια της ταχυδρομικής λίστας 2 Εγγραφή σε ταχυδρομική λίστα 3 Διαγραφή από ταχυδρομική λίστα 6 Ασύγχρονη και Σύγχρονη Επικοινωνία (εκτός ) 1 Ασύγχρονη Επικοινωνία 1 News και servers 2 Επισύναψη αρχείων σε θέμα 3 Δημιουργία νέου θέματος 4 Απάντηση σε θέμα 5 Η έννοια των fora 6 Ιεραρχίες και υπο-ιεραρχίες 7 Ηλεκτρονικές δέσμες μηνυμάτων 8 Emoticons - συμβολισμοί για έκφραση συναισθημάτων 9 Η υπηρεσία UseNet και τα newsgroup 10 Δημόσιο και ιδιωτικό κανάλι 2 Σύγχρονη Επικοινωνία 1 Εφαρμογές άμεσης γραπτής συνομιλίας 2 Δημιουργία ιδιωτικού δωματίου 3 Εφαρμογές και αξιοποίηση των εφαρμογών επικοινωνίας στην εκπαίδευση 4 On-line χρήστες και κατάσταση χρήστη 5 Αναγνώριση χρηστών σε ένα περιβάλλον συνομιλίας 6 Εφαρμογές άμεσης συνομιλίας με κείμενο ήχο και video 7 Τι είναι η Τηλεδιάσκεψη και Δυνατότητες εφαρμογών τηλεδιάσκεψης 8 Η έννοια του δωματίου - καναλιού 155 P a g e

156 9 Απαιτήσεις ζεύξης τηλεδιάσκεψης 10 Απαιτούμενος εξοπλισμός για άμεση συνομιλία 11 Διαφορές άμεσης συνομιλίας από και forum Χριστακούδης Ξ. Χρήστος 156 P a g e

157 5 Λογισμικό Παρουσίασης 1 Θεμελιώδεις έννοιες και περιβάλλον εργασίας λογισμικού παρουσίασης 1 Βασικές έννοιες του λογισμικού παρουσίασης 1 Τρόποι αξιοποίησης και χαρακτηριστικά αρχείων παρουσίασης 2 Γενικές αρχές σχεδίασης διαφανειών και παρουσιάσεων 2 Περιβάλλον εργασίας 1 Γενικές ρυθμίσεις και προσαρμογή της εφαρμογής 2 Διαχείριση της εφαρμογής και το περιβάλλον εργασίας 3 ***Αναζήτηση πληροφοριών μέσω της τεχνικής της έρευνας 4 Διαχείριση της βοήθειας (help) 5 Εμφάνιση/απόκρυψη γραμμών εργαλείων 6 Χειρισμός του βασικού μενού επιλογών 7 Προσαρμογή μενού και γραμμών εργαλείων 8 Τακτοποίηση ανοικτών παραθύρων 9 Παράθυρα εργασιών 10 Ιδιότητες αρχείου παρουσίασης 3 Τρόποι εμφάνισης των διαφανειών 1 Προβολή διάρθωσης διαφανειών 2 Κανονική προβολή διαφανειών 3 Απρόμαυρη ή έγχρωμη προβολή διαφανειών 4 Προβολή παρουσίασης 5 Προβολή ταξινόμησης διαφανειών 4 Διαχείριση αρχείων παρουσίασης 1 Προεπισκόπηση ιστοσελίδας και δημοσίευση 2 Διαχείριση Photo Album 3 Δημιουργία αρχείου παρουσίασης (απλό ή βασισμένο σε πρότυπο) 4 Κλείσιμο παρουσίασης 5 Αποθήκευση παρουσίασης 6 Ενεργοποίηση ανοικτής παρουσίασης 7 Ανοιγμα υπάρχουσας παρουσίασης 8 Συσκευασία και διανομή παρουσιάσεων 5 Διαχείριση διαφανειών 1 Διαγραφή διαφάνειας 2 Πλοήγηση σε διαφάνειες του αρχείου παρουσίασης 3 Εισαγωγή νέας διαφάνειας (αναπαραγωγή. από άλλο αρχείο. διαφάνεια τίτλων κλπ) 4 Διαμόρφωση και εκτύπωση διαφανειών 5 Αλλαγή της θέσης μιας διαφάνειας 6 Αντιγραφή διαφάνειας 2 Σχεδίαση διαφανειών 1 Επεξεργασία κειμένου 1 Επεξεργασία καλλιτεχνικού κειμένου 2 Διαχείριση ορθογραφικού ελέγχου και στυλ 3 Αυτόματες αλλαγές κατά την πληκτρολόγηση 4 Εύρεση και αντικατάσταση κειμένου 5 Χειρισμός κειμένου σε πίνακες 6 Επεξεργασία κειμένου σε πλαίσια 2 Αντικείμενα 1 Χειρισμός ήχου 2 Αντικείμενα ενσωματωμένα ή διασυνδεδεμένα (OLE) 3 Χειρισμός video 4 Εργασία με διαγράμματα. οργανογράμματα και γραφήματα 5 Εργασία με εικόνες και διαχείριση clip arts 6 Εργασία με σχήματα 7 Εργασία με γραμμές και συνδέσεις 8 Πλέγμα και οδηγοί σχεδίασης 9 Προσθήκη και προσαρμογή αντικειμένων ActiveX σε διαφάνειες 3 Διαχείριση αντικειμένων 1 Ομαδοποίηση αντικειμένων 2 Αλλαγή της διάταξης αντικειμένων 3 Περιστροφή αντικειμένων 4 Στοίχιση αντικειμένων 5 Αντιγραφή και μετακίνηση αντικειμένων και πλαίσιων κειμένου 6 Αποθήκευση αντικειμένου σαν εικόνα 4 Τεκμηρίωση διαφάνειας 1 Διαχείριση κεφαλίδων και υποσέλιδων 2 Διαχείριση σχολίων 3 Διαχείριση σημειώσεων σε διαφάνεια 3 Μορφοποίηση διαφανειών Χριστακούδης Ξ. Χρήστος 157 P a g e

158 1 Μορφοποίηση κειμένου 1 Αλλαγή πεζών/κεφαλαίων 2 Μορφοποίηση αρίθμησης 3 Μορφοποίηση κουκίδων 4 Μορφοποίηση γραμματοσειράς 5 Στηλοθέτες και εσοχές 6 Ρυθμίσεις στοίχισης και διάστιχο κειμένου 7 Αντικατάσταση γραμματοσειρών 2 Μορφοποίηση αντικειμένων 1 Ρυθμίσεις σκιάς 2 Μορφοποίηση καλλιτεχνικού κειμένου 3 Ρυθμίσεις 3Δ 4 Ρυθμίσεις χρώματος και γραμμών 5 Ρυθμίσεις μεγέθους και θέσης 6 Ειδικές ρυθμίσεις για πλαίσιο κειμένου 7 Ειδικές ρυθμίσεις εικόνων 8 Μορφοποίηση διαγραμμάτων και οργανογραμμάτων 3 Μορφή διαφάνειας 1 Διαχείριση και εφαρμογή πρότυπων σχεδίασης 2 Φόντο διαφάνειας 3 Διάταξη διαφάνειας 4 Διαχείριση και εφαρμογή υποδειγμάτων (σελίδας. σημειώσεων. σημειώσεων ακροατηρίου) 5 Μεταφορά μορφοποίησης (πινέλο μορφοποίησης) 6 Διαχείριση και εφαρμογή χρωματικών σχημάτων 4 Παρουσίαση διαφανειών 1 Εφαρμογή εφέ κίνησης και ήχου 1 ***Ρύθμιση του μονοπατιού εμφάνισης ενός εφέ κίνησης 2 Ρύθμιση του χρονισμού εμφάνισης ενός εφέ 3 Εφαρμογή εφέ κίνησης και ήχου σε αντικείμενο διαφάνειας 4 Εναλλαγή διαφάνειας με εφέ κίνησης και ήχου 2 Ρυθμίσεις για την προβολή μιας παρουσίασης 1 Διαθέσιμες λειτουργίες κατά την προβολή μιας παρουσίασης 2 Εγγραφή αφήγησης 3 Απόκρυψη διαφανειών 4 Διαχείριση της ηλεκτρονικής μετάδοσης ενός αρχείου παρουσίασης 5 Προσαρμοσμένες προβολές 6 Γενικές ρυθμίσεις προβολής διαφανειών 3 Υπερσύνδεσμοι 1 Κείμενο σαν υπερσύνδεσμος 2 Αντιστοίχιση ενεργειών σε άλλα αντικείμενα 3 Πλήκτρα ενέργειας 5 Συνεργασία και παραγωγικότητα 1 Αυτοματοποίηση εργασιών και πρόσθετες λειτουργίες 1 Σταμάτημα μακροεντολής 2 Διαχείριση προσθέτων 3 Διαχείριση έξυπνων ετικετών 4 Καταγραφή κινήσεων σε μακροεντολή 5 Δημιουργία μακροεντολής 6 Τροποποίηση μακροεντολής 7 Εκτέλεση μακροεντολής 2 Συνεργασία 1 ***Σύγκριση και συχγώνευση αρχείων παρουσίασης 2 Αμεση αποστολή παρουσίασης σε άλλες εφαρμογές 3 Διαχείριση συζητήσεων 4 Διαχείριση ηλεκτρονικών συσκέψεων 5 ***Διαχείριση κοινού χώρου εργασίας 6 ***Διαχείριση δικαιωμάτων επεξεργασίας (IRM) 7 Αναθεώρηση παρουσίασης 3 Προστασία παρουσίασης 1 Πολιτική προστασίας από ιούς 2 ***Κλείδωμα παρουσίασης και ασφάλεια απορρήτου 3 Χρήση ψηφιακής υπογραφής Χριστακούδης Ξ. Χρήστος 158 P a g e

159 Τύπος ΙΙΙ (μεικτό ερώτημα) Τύπος ΙΙ (ερώτημα εφαρμογής) Τύπος Ι (ερώτημα κλειστού τύπου) 6.2 Παράρτημα Β (δείγματα ερωτημάτων) Χριστακούδης Ξ. Χρήστος 159 P a g e