REPORT OF PILOT TEST BEDS / ISO 17024

Transcript

1 REPORT OF PILOT TEST BEDS / ISO 17024

2 REPORT OF PILOT TEST BEDS Project LLP-LDV-TOI-12-AT-0015 Συντονιστής έργου: Schulungszentrum Fohnsdorf Εταίροι: University of Gothenburg Municipality of Tjörns MMC Management Centre Ltd Instytut Technologii Eksploatacji PIB Dimitra Institute Vocational Rehabilitation Consultants Ltd This project has been funded with support from the European Commission. This publication reflects the views only of the author, and the Commission cannot be held responsible for any use which may be made of the information contained therein.

3 Γενικά Κατά την διάρκεια του έργου Certi.MenTu " Πιστοποίηση μεντόρων και συμβούλων εκπαιδευτών", ένας από τους βασικούς σκοπούς του έργου ήταν η ανάπτυξη μιας πιστοποίησης με βάση το r ISO Μέσα στα διάφορα πακέτα εργασίας του έργου διάφορα αποτελέσματα επηρεάζουν τις διάφορες πτυχές της πιστοποίησης και συνδέονται άμεσα στην τελική επαλήθευση της περιγραφικής πιστοποίησης. Τα ακόλουθα αποτελέσματα του έργου συνδέονται άμεσα με την διαδικασία της πιστοποίησης (για μέντορες και συμβούλους-εκπαιδευτές): Ευρωπαϊκός πίνακας ικανοτήτων για μέντορες και εκπαιδευτές o (βασισμένος σε εθνικούς πίνακες δεξιοτήτων) Ευρωπαϊκή έκθεση για τους συμβούλους εκπαιδευτές και μέντορες προκλήσεις και τάσεις Σχήμα πιστοποίησης ικανοτήτων για μέντορες και συμβούλους εκπαιδευτές o (βασισμένο σε εθνική συνεισφορά όλων των εταίρων με την χρήση λίστας ελέγχου για την ανάπτυξη του σχήματος πιστοποίησης) Εξετάσεις και υλικό πιστοποίησης για μέντορες και συμβούλους εκπαιδευτές που καλύπτουν: a) Αίτηση για πιστοποίηση b) δελτίο δεδομένων για τους συμμετέχοντες c) κατάλογο ελέγχου για την εισαγωγή των εξεταστών d) φύλλο αξιολόγησης e) παράρτημα στο φύλλο αξιολόγησης (κατευθυντήριες γραμμές) f) έγγραφα που συνοδεύουν την εξέταση g) Δέσμευση του εξεταστή h) πιστοποιητικό i) πρότυπα για τις μελέτες περιπτώσεων j) τυποποιημένο ερωτηματολόγιο για τις ερωτήσεις πολλαπλής επιλογής k) τυποποιημένα θέματα για τις μελέτες περιπτώσεων l) τυποποιημένα θέματα για τις υποδήσεις ρόλων Εντός των πιλοτικών δοκιμών ως ένα είδος αξιολόγησης, η συλλογή ανατροφοδότησης και εμπειριών σε πολλαπλά επίπεδα (στη βάση λεπτομερούς αξιολόγησης και εντύπου συλλογής εμπειριών) δημιουργεί μια βάση για την προσαρμογή των υλικών και των εγγράφων. Η πιλοτική και δοκιμαστική φάση του έργου βασίστηκε στα ήδη ανεπτυγμένα αποτελέσματα του έργου. Η SystemCERT ως εταίρος έδωσε λεπτομερείς οδηγίες σε όλους τους εταίρους για το πώς να υλοποιήσουν αυτό το σημαντικό μέρος του έργου. Οι οδηγίες αυτές δόθηκαν σε όλους τους εταίρους κατά τη διάρκεια των διακρατικών συναντήσεων με διάφορους τρόπους επικοινωνίας. Τα πιο σημαντικά αποτελέσματα του έργου, τα οποία χρησιμοποιήθηκαν κατά την διάρκεια της πιλοτικής φάσης, είναι διάφορα έντυπα με βάση τις απαιτήσεις του ISO17024 τα οποία μετά παράχθηκαν στις διάφορες γλώσσες του έργου. Σκοπός της δοκιμαστικής και πιλοτικής φάσης ήταν να επιβεβαιώσουμε ότι όλα τα έγγραφα και οι ορισμένες διαδικασίες είναι πρακτικά, εύκολα στην κατανόηση και χρήσιμα για πρακτική χρήση. Κατ ακρίβεια όλοι οι εταίροι οργάνωσαν πιλοτικές εκπαιδεύσεις και πιστοποιήσεις για να επαληθεύσουν την ορθότητα της χρήσης των αναπτυγμένων αποτελεσμάτων και εγγράφων και συνέλεξαν ανατροφοδότηση και εμπειρίες από τους συμμετέχοντες, τους εξεταστές και τους υπεύθυνους στα εκπαιδευτικά κέντρα.

4 Χρονικός ορίζοντας της δοκιμαστικής και πιλοτικής φάσης Λαμβάνοντας υπόψη τις δυσκολίες στην εξεύρεση εταιριών, εκπαιδευτικών κέντρων, εξεταστών και συμμετεχόντων δεν ήταν δυνατό να καθοριστούν οι ημερομηνίες των εξετάσεων από την διεύθυνση του έργου. Ο κάθε ένας από τους εταίρους είχε υπό την ευθύνη του την εξεύρεση συνεργατών καθώς επίσης και τον καθορισμό πιθανών ημερομηνιών για το πιλοτικό. Οι εξετάσεις υλοποιήθηκαν ως ακολούθως/ τις ακόλουθες ημερομηνίες: Schulungszentrum Fohnsdorf 25 η Απριλίου συμμετέχοντες Instytut Technologii Eksploatacji PIB 18 η Απριλίου συμμετέχοντες Dimitra Institute 3 η Μάιου συμμετέχοντες MMC Management Centre Ltd 28 η of Απριλίου συμμετέχοντες Municipality of Tjörns 19 η 22 η Μαΐου συμμετέχοντες Vocational Rehabilitation Consultants 11 η 13 η Αυγούστου συμμετέχοντες =========== Σύνολο: 66 συμμετέχοντες Ομάδες στόχος για τις εξετάσεις Για την εξέταση και την αξιολόγηση της εξέτασης και του πιλοτικού, καθορίστηκαν διαφορετικές ομάδες στόχοι. Με βάση το πιο πάνω δημιουργήσαμε τρία διαφορετικά έντυπα αξιολόγησης τα οποία και επικοινωνήσαμε σε όλους τους εταίρους για να τα διαμοιράσουν στα ανάλογα άτομα και να λάβουν όσο το δυνατό πιο ψηλή ανταπόκριση. Πρώτα από όλα η ομάδα των συμμετεχόντων στην εξέταση. Από όλους τους συμμετέχοντες λάβαμε συνολικά 66 συμπληρωμένα έντυπα αξιολόγησης. Η δεύτερη ομάδα στόχος της αξιολόγησης είναι τα εκπαιδευτικά κέντρα με την βοήθεια των οποίων υλοποιήσαμε τις εξετάσεις. Από όλα τα εκπαιδευτικά κέντρα συλλέξαμε στο σύνολο 9 έντυπα αξιολόγησης. Η τρίτη ομάδα στόχος είναι οι εξεταστές.. Αυτή η έκθεση συμπεριλαμβάνει 6 έντυπα αξιολόγησης.

5 Αποτελέσματα της αξιολόγησης 1) Αποτελέσματα της αξιολόγησης των συμμετεχόντων Αναλύσαμε στο σύνολο 66 έντυπα αξιολόγησης. Ο σκοπός της αξιολόγησης ήταν να εντοπίσουμε τις εμπειρίες των συμμετεχόντων κατά τη διάρκεια της διαδικασίας της εξέτασης και της πιστοποίησης. Επομένως ορίσαμε οκτώ διαφορετικές ερωτήσεις και ζητήσαμε από τους συμμετέχοντες να τις απαντήσουν με βάση τα κριτήρια 1= πολύ καλό και 5 =μη ικανοποιητικό. Οι ερωτήσεις και τα αποτελέσματα της αξιολόγησης αυτών των 66 εντύπων αξιολόγησης παρουσιάζονται πιο κάτω: Πληροφόρηση για την σημασία της πιστοποίησης σύμφωνα με το ISO Αποτέλεσμα: 1,82 Προηγμένη υποστηρικτική επικοινωνία αναφορικά με την διαδικασία της εξέτασης Αποτέλεσμα: 1,79 Κατανόηση των ερωτήσεων πολλαπλής επιλογής Αποτέλεσμα: 2,12 Βαθμός δυσκολίας των ερωτήσεων πολλαπλής επιλογής (1=πολύ εύκολη/5=πολύ δύσκολη) Αποτέλεσμα: 2,74 Ικανότητα/εξειδικευμένα προσόντα του εξεταστή Αποτέλεσμα: 1,55 Κατανόηση των εντύπων (δελτίο καταγραφής δεδομένων, αίτηση πιστοποίησης) Αποτέλεσμα: 1,97 Χρονική διάρκεια της εξέτασης (1= πολύ μακρία/5=πολύ σύντομη) Αποτέλεσμα: 2,83 Πως αξιολογείτε την συνολική υλοποίηση της εξέτασης Αποτέλεσμα: 1,88 Εικόνα 1: Αξιολόγηση από τους συμμετέχοντες

6 2) Αποτελέσματα αξιολόγησης εξεταστών Η επόμενη ομάδα στόχος της αξιολόγησης μας είναι οι εξεταστές. Η γνώμη τους είναι πολύ σημαντική για μας επειδή είναι άτομα με πολύ ψηλά προσόντα και μεγάλη πρακτική εμπειρία. Αναλύσαμε 6 έντυπα αξιολόγησης. Ο στόχος της αξιολόγησης ήταν να εντοπίσουμε τις εμπειρίες των εξεταστών κατά την διάρκεια της διαδικασίας εξέτασης και πιστοποίησης. Επομένως ορίσαμε οκτώ διαφορετικές ερωτήσεις (παρόμοιες με αυτές που υποβλήθηκαν στους συμμετέχοντες για να έχουμε συγκρίσιμα αποτελέσματα). Από όλους τους εξεταστές ζητήθηκε να απαντήσουν τις ερωτήσεις με βάση τα κριτήρια 1 = πολύ καλό, 5 = μη ικανοποιητικό. Οι ερωτήσεις και τα αποτελέσματα από τα 6 έντυπα αξιολόγησης παρουσιάζονται πιο κάτω: Πληροφόρηση για την σημασία της πιστοποίησης σύμφωνα με το ISO Αποτέλεσμα: 2,17 Προηγμένη υποστηρικτική επικοινωνία αναφορικά με την διαδικασία της εξέτασης Αποτέλεσμα: 2,83 Κατανόηση των ερωτήσεων πολλαπλής επιλογής Αποτέλεσμα: 2,50 Βαθμός δυσκολίας των ερωτήσεων πολλαπλής επιλογής (1=πολύ εύκολη/5=πολύ δύσκολη) Αποτέλεσμα: 2,67 Αποδοχή της διαδικασίας εξέτασης από τους συμμετέχοντες Αποτέλεσμα: 1,83 Κατανόηση των εντύπων (δελτίο καταγραφής δεδομένων, αίτηση πιστοποίησης) Αποτέλεσμα: 2,00 Χρονική διάρκεια της εξέτασης (1= πολύ μακρία/5=πολύ σύντομη) Αποτέλεσμα: 2,83 Πως αξιολογείτε την συνολική υλοποίηση της εξέτασης Αποτέλεσμα: 2,50 Figure 2: Evaluation of examiners

7 3) Αποτελέσματα της αξιολόγησης από τα εκπαιδευτικά κέντρα H τελευταία ομάδα στόχος της αξιολόγησης μας είναι η ομάδα των εξεταστών. Αναλύσαμε 9 έντυπα αξιολόγησης. Ο στόχος της αξιολόγησης ήταν να εντοπίσουμε τις εμπειρίες των εξεταστών κατά την διαδικασία της εξέτασης και πιστοποίησης. Έτσι καθορίσαμε διαφορετικές ερωτήσεις και ρωτήσαμε όλες τις εταιρείες για να μας δώσουν τις απαντήσεις τους σε σχέση με τα κριτήρια 1=Πολύ κάλο, 5= ανεπαρκές. Oι ερωτήσεις και τα αποτελέσματα της αξιολόγησης από τις 9 αξιολογήσεις είναι τα ακόλουθα: Πληροφορίες σχετικά με τη σημασία της πιστοποίησης σύμφωνα με το πρότυπο ISO Αποτέλεσμα: 2,89 Προηγμένη υποστηρικτική επικοινωνία αναφορικά με τη διαδικασία εξέτασης Αποτέλεσμα: 3,22 Σημασία της πιστοποίησης του προσωπικού, σύμφωνα με το πρότυπο ISO Αποτέλεσμα: 2,56 Η πιστοποίηση σύμφωνα με το πρότυπο ISO σημαίνει καλύτερες ευκαιρίες στην αγορά εργασίας Αποτέλεσμα: 3,11 Συνολική εκτίμηση της διεξαγωγής της δοκιμής Αποτέλεσμα: 2,67 Εικόνα 3: Αξιολόγηση από τα εκπαιδευτικά κέντρα

8 4) Μέσος όρος ικανοποίησης όλων των εταίρων Στην προσπάθεια να σχηματίσουμε μια ολοκληρωμένη εικόνα, επιλέξαμε την ερώτηση για την ολική διεξαγωγή και για τις τρεις ομάδες στόχου της αξιολόγησης. Figure 4: Συνδυάζοντας τις ομάδες στόχους- ικανοποίηση ΦΦ Κοιτάζοντας την πιο σχετική βαθμολογία, η συνολική ικανοποίηση αναφορικά με τη διεξαγωγής των πιλοτικών είναι 2,35 σε μια κλίμακα από 1(πολύ καλό) έως 5 (ανεπαρκές). Αυτό το αποτέλεσμα δείχνει πολύ καθαρά την καλή ποιότητα των σχετικών αποτελεσμάτων και των δημιουργημένων εγγράφων του έργου Certi.MenTu. Γενική περίληψη Για να συνοψίσουμε την ανάλυσης της αξιολόγησης θα δώσουμε παρακάτω μια σύντομη ερμηνεία σε κάθε επικαλυπτόμενο ερώτημα που τίθεται στα ερωτηματολόγια που καλύπτουν όλες τις ομάδες-στόχου: Ερώτηση 1 Πληροφορίες για την σημαντικότητα της πιστοποίησης σε σχέση με το ISO 17024: Η τιμή που επιτεύχθηκε από τα ερωτηματολόγια και που σχετίζεται με την ερώτηση αυτή είναι 1.82( συμμετέχοντες), 2,17 (εξεταστές) και 2,89 (εκπαιδευτικά κέντρα). Ο μέσος όρος είναι 2,29 που μας δίνει το δικαίωμα να πούμε ότι οι δεδομένες και μεταδιδόμενες πληροφορίες για την σημασία και σημαντικότητα της πιστοποίησης με βάση το ISO έγινε με τον σωστό τρόπο. Όσον αφορά την περιπλοκότητα των κανονιστικών προτύπων του ISO καθώς επίσης και για τις ανάλογες δυσκολίες στις "πύλες" προς τα διάφορα εθνικά συστήματα εκπαίδευσης, η επιτευχθείσα τιμή είναι πολύ καλή. Eρώτηση 2 Προηγμένη υποστηρικτική επικοινωνία σχετική με τη διαδικασία δοκιμής Η επιτευχθείσα τιμή από τα ερωτηματολόγια που σχετίζεται με την ερώτηση αυτή είναι 1,79 (συμμετέχοντες), 2,83 (εξεταστές ) και 3,22 (εκπαιδευτικά κέντρα). Ο μέσος όρος που είναι 2,61 σημαίνει με βάση την ερμηνεία μας ότι οι διεπαφές επικοινωνίας μεταξύ του εταίρου υπεργολαβίας (οργανισμού πιστοποίησης), της κοινοπραξίας του έργου και των ομάδων στόχου των πιλοτικών (εξεταστές, οι συμμετέχοντες, κέντρα

9 κατάρτισης) ήταν αποτελεσματικές. Ειδικά οι καλές συζητήσεις και η συνεργασία κατά τη διάρκεια των διακρατικών συναντήσεων των εταίρων και η ομαλή επικοινωνία μεταξύ τους, μας έδωσαν τη δυνατότητα να μεταφέρουμε όλες τις απαραίτητες πληροφορίες και εξηγήσεις. Καθορίζοντας το 2,50 ως μια κρίσιμη τιμή το η επιτευχθείσα τιμή 2,61 εξακολουθεί να είναι ένα ικανοποιητικό αποτέλεσμα. Ερώτηση 3 και 4 Κατανόηση των ερωτήσεων πολλαπλής επιλογής και βαθμός δυσκολίας των ερωτήσεων αυτών Η επιτευχθείσα τιμή από τα ερωτηματολόγια που σχετίζεται με αυτό το ερώτημα είναι 2,12 (συμμετέχοντες) και 2,50 (εξεταστές). Ο μέσος όρος είναι 2,31 και τα αποτελέσματα φαίνονται να είναι ρεαλιστικά και αντανακλούν κυρίως τη δεδομένη διαφορά όσον αφορά την πρακτική εμπειρία στην καθοδήγηση ή / και καθοδήγηση των συμμετεχόντων από 4 μήνες έως 9 χρόνια Τα αποτελέσματα που έχουν επιτευχθεί πρέπει να τα δούμε σε συνδυασμό με το ερώτημα για το βαθμό της δυσκολίας των ερωτήσεων πολλαπλής επιλογής. Η επιτευχθείσα τιμή από τα ερωτηματολόγια που σχετίζεται με αυτό το ερώτημα είναι 2,74 (συμμετέχοντες) και 2,67 (εξεταστές). Ο μέσος όρος είναι 2,71 και είναι απαραίτητο να πούμε ότι αυτή η τιμή είναι σχεδόν στην μέση της κλίμακας και να δηλώσουμε ότι είναι ένα βέλτιστο αποτέλεσμα που σημαίνει ότι ο βαθμός δυσκολίας δεν είναι ούτε πολύ χαμηλός ούτε πολύ ψηλός. Ερώτηση 5 Κατανόηση των εγγράφων (φύλλα δεδομένων, αίτηση για πιστοποίηση ) Η επιτευχθείσα τιμή από τα ερωτηματολόγια που σχετίζεται με αυτό το ερώτημα είναι 1,97 (συμμετέχοντες) και 2,00 (εξεταστές). Από τον μέσο όρο 1,99 το αποτέλεσμα φαίνεται να είναι ρεαλιστικό και να είναι σύμφωνο με τις προσδοκίες της σύμπραξης / ιδιαίτερα του οργανισμού πιστοποίησης. Η πολλαπλότητα των διαφορετικών αναγκαίων εγγράφων για την πιστοποίηση με βάση το ISO για την εκπλήρωση των κανονιστικών απαιτήσεων το κάνει περίπλοκο και καθιστά περίπλοκη και λίγο σκοτεινή. Η πιο συχνή χρήση των εγγράφων από τους καταναλωτές, θα τους δώσει μεγαλύτερη αυτοπεποίθηση κατ ά την διάρκεια της αίτησης. Ερώτηση 6 Χρονικό πλαίσιο της διαδικασίας της εξέτασης Η επιτευχθείσα τιμή από τα ερωτηματολόγια που σχετίζεται με την ερώτηση αυτή είναι 2,83 (συμμετέχοντες) και 2,83 (εξεταστές). Από τον μέσο όρο του 2,83 το χρονικό πλαίσιο της εξέτασης φαίνεται να είναι κατάλληλο. Η κλίμακα για την ερώτηση αυτή είναι 1 (πολύ μεγάλο) έως 5 (πολύ σύντομο). Δεν χρειάζεται να αναφέρουμε ότι στο μυαλό των συμμετεχόντων το χρονικό πλαίσιο της διαδικασίας της εξέτασης είναι συχνά πολύ σύντομο. Συνοψίζοντας τα αποτελέσματα των ερωτήσεων, τα παρουσιάζουμε στην γραφική παράσταση πιο κάτω:

10 Συνοπτική γραφική παράσταση 1: Επικαλυπτόμενες ερωτήσεις ΣΥΜΠΕΡΑΣΜΑ Η ανάλυση της αξιολόγησης των πιλοτικών δεν δίνει έναν ιδιαίτερο λόγο να γίνουν οποιεσδήποτε αλλαγές ή προσαρμογές των ανεπτυγμένων αποτελεσμάτων ή εγγράφων. Ωστόσο, η κοινοπραξία του έργου θα συζητήσει όλα αυτά τα αποτελέσματα κατά την τελευταία διακρατική συνάντηση του έργου στη Σουηδία και θα συνδυάσει την ανάλυση αυτή με άλλες ανιχνεύσεις από την επικοινωνία του έργου. Έτσι για παράδειγμα μάθαμε ότι υπάρχουν ορισμένες ασάφειες όσον αφορά τη συμβατότητα ορισμένων εγγράφων της διαδικασίας πιστοποίησης. Έτσι, η ανάλυση αυτή και όλες οι άλλες εισροές από την κοινοπραξία θα επηρεάσουν την προσαρμογή ορισμένων εγγράφων πιστοποίησης κατά τη διάρκεια της τελικής συνάντησης στη Σουηδία. Οι αναμενόμενες προσαρμογές μπορεί να περιγραφούν ως οριακές αλλαγές που σχετίζονται με τη μορφοποίηση και διαμόρφωση των εγγράφων. Ο πυρήνας όλων των αναπτυγμένων έγγραφα, όπως δείχνει η ανάλυση, είναι εξαιρετικά πρακτικός και μαρτυρεί την επαγγελματική δουλειά και καλή συνεργασία της κοινοπραξίας του έργου.