ΠΑΡΑΔΟΤΕΟ Δ3.1 1 ΤΕΧΝΙΚΗ ΑΝΑΦΟΡΑ

Transcript

1 ΑΝΩΤΑΤΗ ΣΧΟΛΗ ΠΑΙΔΑΓΩΓΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΚΗΣ ΕΚΠΑΙΔΕΥΣΗΣ (Α.Σ.ΠΑΙ.Τ.Ε.) «Αρχιμήδης ΙΙΙ Ενίσχυση Ερευνητικών ομάδων στην Α.Σ.ΠΑΙ.Τ.Ε.» Υποέργο: 3 Τίτλος: «Σχεδιασμός, Ανάπτυξη και Αξιολόγηση Σεναρίων Μικτής Μάθησης σε ένα Πλαίσιο Επιμόρφωσης Εκπαιδευτικών με Δυνατότητες Προσαρμογής στα Ιδιαίτερα Ψυχολογικά Χαρακτηριστικά τους» Επιστημονικός Υπεύθυνος: Κυπαρισσία Παπανικολάου ΠΑΡΑΔΟΤΕΟ Δ3.1 1 ΤΕΧΝΙΚΗ ΑΝΑΦΟΡΑ Τίτλος Παραδοτέου: Αποτελέσματα αξιολόγησης αποτελεσματικότητας σεναρίων μικτής μάθησης στο Πλαίσιο της Δράσης 3: Εφαρμογή & αξιολόγηση σεναρίων μικτής μάθησης στην επιμόρφωση εκπαιδευτικών Συντάκτες: 1. Αθανασία Τσακίρη, MSc Information Technology, Μέλος ΕΟΣ 2. Σταύρος Καρκάνης, καθηγητής ΤΕΙ Στερεάς Ελλάδας, μέλος ΚΕΟ 1 Δ3.1: Δράση 3, Παραδοτέο 1

2 Πίνακας περιεχομένων ΕΙΣΑΓΩΓΗ... 2 Α. Πλαίσιο Σχεδιασμού και Αξιολόγησης των μοντέλων μικτής μάθησης Οι παράγοντες που επηρεάζουν τα μοντέλα εκπαίδευσης μικτής μάθησης Οι λόγοι αναγκαιότητας της αξιολόγησης Ο σχεδιασμός του θεωρητικού μοντέλου αξιολόγησης Η προσαρμογή του θεωρητικού μοντέλου αξιολόγησης στις ανάγκες των προγραμμάτων μικτής μάθησης Α.Σ.ΠΑΙ.ΤΕ Β. Εφαρμογή Αξιολόγησης στα προγράμματα μικτής μάθησης της Α.Σ.ΠΑΙ.Τ.Ε Ορισμός κριτηρίων για την ποιότητα του προγράμματος Συλλογή επεξεργασία δεδομένων Παρουσίαση Αποτελεσμάτων Βιβλιογραφία [1]

3 ΕΙΣΑΓΩΓΗ Στα πλαίσια του παραδοτέου «Αποτελέσματα αξιολόγησης αποτελεσματικότητας σεναρίων μικτής μάθησης» πραγματοποιήθηκε αξιολόγηση της αποτελεσματικότητας των προγραμμάτων μικτής μάθησης που πραγματοποιήθηκαν σε Α.Σ.ΠΑΙ.Τ.Ε. (προπτυχιακά και Ε.Π.ΠΑΙ.Κ.) και Τ.Ε.Ι. Στερεάς Ελλάδας στο πλαίσιο μαθημάτων που σχετίζονται με εκπαιδευτική τεχνολογία. Σκοπός της αξιολόγησης της αποτελεσματικότητας των τριών προγραμμάτων μικτής μάθησης ήταν να αποτυπωθούν και να αναλυθούν τα δυνατά και αδύναμα σημεία του συγκεκριμένου προγράμματος, να διερευνηθούν οι παράγοντες επιτυχίας ή αποτυχίας του και τελικά να δημιουργηθεί μια βάση αναφοράς για τον σχεδιασμό επόμενων κύκλων των προγραμμάτων μικτής μάθησης. Η αξιολόγηση ολοκληρώθηκε σε δύο στάδια: α) αρχικά σχεδιάστηκε το πλαίσιο σχεδιασμού και αξιολόγησης των μοντέλων μικτής μάθησης (βλέπε παραδοτέο Δ1.1) και β) στη συνέχεια εφαρμόστηκε η αξιολόγηση των προγραμμάτων μικτής μάθησης που πραγματοποιήθηκαν σε Α.Σ.ΠΑΙ.Τ.Ε. (προπτυχιακά και Ε.Π.ΠΑΙ.Κ.) και Τ.Ε.Ι. Στερεάς Ελλάδας. Επιπλέον, στα πλαίσια της διαδικασίας αξιολόγησης υλοποιήθηκαν τα εξής: (1) Ορισμός των κριτηρίων που καθορίζουν την αποτελεσματικότητα των προγραμμάτων μικτής μάθησης για ενήλικες (βλέπε παραδοτέο Δ1.1), (2) Ανάπτυξη μοντέλου αξιολόγησης των προγραμμάτων μικτής μάθησης βασισμένο στο μοντέλο αποτελεσματικότητας καθώς και στη βιβλιογραφία σχετικά με τις μεθόδους αξιολόγησης στην Εκπαίδευση, (3) Εφαρμογή του προτεινόμενου μοντέλου στα δεδομένα που θα προκύψουν από την εφαρμογή των σεναρίων. Α. Πλαίσιο Σχεδιασμού και Αξιολόγησης των μοντέλων μικτής μάθησης Σε αυτό το στάδιο διερευνήθηκαν τα εξής: 1. Οι παράγοντες που επηρεάζουν τα μοντέλα εκπαίδευσης μικτής μάθησης. Τα προγράμματα εκπαίδευσης που εμπλέκουν μεθόδους εκπαίδευσης από απόσταση είναι πολυσύνθετα και εξαρτώνται από [2]

4 διάφορους παράγοντες: τεχνολογικούς, οργάνωσης, σχεδιασμού, κλπ. Ενώ αυτοί οι παράγοντες πρέπει να εντοπιστούν και να απομονωθούν για την πραγματοποίηση της αξιολόγησης, σε καμία περίπτωση δεν μπορούν να θεωρούνται ανεξάρτητοι από τη διαδικασία σχεδιασμού του προγράμματος. Όπως σε κάθε σύστημα, έτσι κι εδώ οι ξεχωριστοί παράγοντες πρέπει να προβλεφθούν στη φάση του σχεδιασμού του προγράμματος ώστε να λειτουργούν όλοι μαζί αποτελεσματικά για να λειτουργήσει αποτελεσματικά και το ίδιο το σύστημα (Lockee et al, 2002). Σύμφωνα με τους Tham et al. (2005), δεν υπάρχει συγκεκριμένο μοντέλο παραγόντων για κάθε περίπτωση, γιατί κάθε πρόγραμμα εκπαίδευσης είναι μοναδικό και οι παράγοντες προσαρμόζονται κάθε φορά στις ανάγκες και τους στόχους της εκάστοτε εκπαιδευτικής διαδικασίας. Στη συνέχεια, αναφέρονται πέντε θέματα περιοχές αποτελεσματικότητας: α) Σχεδιασμός εκπαιδευτικής διαδικασίας (τεχνικές υποδομές, εκπαιδευτική μέθοδος, υλικό και σχεδιασμός μαθήματος, κλπ), β) Παράδοση μαθήματος (διαδραστικές ή μη εφαρμογές), γ) Ακαδημαϊκά θέματα (ειδική εκπαίδευση εκπαιδευτών, προετοιμασία εκπαιδευτών και ιδρύματος, κλπ), δ) Θέματα Τεχνολογίας και ε) Θέματα σπουδαστών (χαρακτηριστικά σπουδαστών όπως φύλο, φυλή και χώρα προέλευσης, προετοιμασία και γνώσεις για τη συγκεκριμένη διαδικασία, βαθμός αυτοπειθαρχίας, κλπ). Ο Badrul Huda Khan στο "E-Learning quick check list" (2005), προσπάθησε να παρουσιάσει ένα πλαίσιο οργάνωσης η-μάθησης και πρότεινε οκτώ γενικές διαστάσεις: α) Ακαδημαϊκή διάσταση (περιλαμβάνει θέματα διοίκησης και υπηρεσίες προς σπουδαστές), β) Διοίκηση της εκπαιδευτικής διαδικασίας (περιλαμβάνει τη διάχυση της πληροφορίας, τον τρόπο παράδοσης μαθήματος, κλπ), γ) Παιδαγωγική διάσταση (περιλαμβάνει εκπαιδευτικά και μαθησιακά θέματα όπως σχεδιασμός, γνωστικοί στόχοι, στρατηγικές μάθησης, κλπ), δ) Ηθική διάσταση (περιλαμβάνει κοινωνικά, γεωγραφικά, νομικά θέματα, κλπ), ε) Σχεδιασμός διεπαφής (περιλαμβάνει το σχεδιασμό της ιστοσελίδας πλατφόρμας, το περιεχόμενο, την πλοήγηση, κλπ), στ) διαθέσιμοι Πόροι (περιλαμβάνει την δυνατότητα online υποστήριξης και τους πόρους που χρειάζονται προκειμένου τα εκπαιδευτικά προγράμματα να είναι αποτελεσματικά), ζ) διάσταση Αξιολόγησης (περιλαμβάνει την αξιολόγηση των σπουδαστών, την αξιολόγηση του εκπαιδευτικού περιβάλλοντος, κλπ) και η) Τεχνολογική διάσταση (περιλαμβάνει στο σχεδιασμό των υποδομών, το λογισμικό, το υλικό-hardware, κλπ). Επιπλέον, η Kathleen Cercone (2008), στην μελέτη της για τα χαρακτηριστικά των ενηλίκων στην εκπαίδευση, τονίζει ότι οι [3]

5 παράγοντες αποτελεσματικότητας θα πρέπει να λαμβάνονται υπόψη στη διαδικασία σχεδιασμού ενός προγράμματος ηλεκτρονικής εκπαίδευσης ενηλίκων και προτείνει 13 παράγοντες. Υπάρχουν πολλές ακόμη έρευνες στη βιβλιογραφία οι οποίες προτείνουν διαφορετικές πτυχές και κριτήρια που επηρεάζουν την αποτελεσματικότητα των προγραμμάτων μικτής μάθησης, όμως όλες συγκλίνουν στο γεγονός ότι τα εκάστοτε κριτήρια πρέπει να προσαρμόζονται στις ανάγκες και τους στόχους και τα χαρακτηριστικά του κάθε προγράμματος. 2. Οι λόγοι αναγκαιότητας της αξιολόγησης. Είναι γεγονός, ότι τα μοντέλα εκπαίδευσης από απόσταση και τα μοντέλα εκπαίδευσης μικτής μάθησης είναι αυτά που αξιολογούνται πολύ περισσότερο συγκριτικά με τα μοντέλα παραδοσιακής μάθησης, διότι η αποτελεσματικότητά τους είναι υπό διαρκή αμφισβήτηση. Η διαδικασία αξιολόγησής τους θεωρείται ως μέρος της εκπαιδευτικής διαδικασίας και όχι ως προαιρετικό ή ξεχωριστό κομμάτι. Στόχος της αξιολόγησης είναι να διαπιστωθεί αν επετεύχθησαν οι εκπαιδευτικοί στόχοι μέσω της όλης εκπαιδευτικής διαδικασίας. Σύμφωνα με τον Mandinach (2005), η αξιολόγηση είναι απαραίτητη σε κάθε πρόγραμμα εκπαίδευσης από απόσταση γιατί καθορίζεται ο βαθμός επίτευξης των στόχων του προγράμματος και προκύπτει εκτίμηση πιθανών βελτιώσεων σε διοικητικό, παιδαγωγικό, κοινωνικό και οικονομικό επίπεδο για την καλύτερη λειτουργία των προγραμμάτων αυτών. Συνεπώς, το μοντέλο αξιολόγησης της αποτελεσματικότητας κάθε εκπαιδευτικής διαδικασίας, αποτελεί καθοριστικής σημασίας παράγοντα για την ποιότητα των αποτελεσμάτων της αξιολόγησης. 3. Ο σχεδιασμός του θεωρητικού μοντέλου αξιολόγησης. Το μοντέλο αξιολόγησης διαμορφώθηκε στη φάση του σχεδιασμού της εκπαιδευτικής διαδικασίας, αφού πρώτα καθορίστηκαν κρίσιμα θέματα προς αξιολόγηση, όπως είναι οι περιοχές αποτελεσματικότητας (areas of effectiveness) και οι παράγοντες ή κριτήρια αποτελεσματικότητας (factors of effectiveness) της συγκεκριμένης διαδικασίας. Οι περιοχές και οι παράγοντες αποτελεσματικότητας έρεπε να καλύπτουν και να εξετάζουν ολόκληρο το φάσμα της εκπαιδευτικής διαδικασίας. Συνεπώς, για να επιτευχθεί αποτελεσματική αξιολόγηση, επιλέχθηκαν και μελετήθηκαν, κατά το στάδιο του σχεδιασμού της εκπαιδευτικής διαδικασίας, τα συγκεκριμένα κριτήρια αξιολόγησης (effectiveness factors) ως ξεχωριστοί παράγοντες που την επηρεάζουν. [4]

6 Ο καθορισμός των κριτηρίων, έγινε από όλους τους εμπλεκόμενους σε αυτή τη φάση (καθηγητές, υπεύθυνοι σχεδιασμού, υπεύθυνοι διενέργειας αξιολόγησης, τεχνικοί, κλπ). 4. Η προσαρμογή του θεωρητικού μοντέλου αξιολόγησης στις ανάγκες των προγραμμάτων μικτής μάθησης Η διαδικασία αξιολόγησης Σεναρίων Μικτής Μάθησης για ενήλικες, του Προγράμματος: «Αρχιμήδης ΙΙΙ Ενίσχυση Ερευνητικών Ομάδων στην Α.Σ.ΠΑΙ.Τ.Ε.», ξεκίνησε με την διαμόρφωση του μοντέλου αξιολόγησης, το οποίο και ολοκληρώθηκε στην φάση του σχεδιασμού του προγράμματος (βλέπε παραδοτέο Δ1.1). Στη διαμόρφωσή του συμμετείχαν οι εμπλεκόμενοι στη φάση σχεδιασμού του προγράμματος όπως αυτή περιγράφεται στο παραδοτέο Δ1.1. Το μοντέλο αξιολόγησης διαμορφώθηκε ως εξής: 1. Πραγματοποιήθηκε καταγραφή των εμπλεκομένων, των παραγόντων, των στοιχείων και των διαδικασιών υλοποίησης του προγράμματος. 2. Έγινε απεικόνιση του συνολικού προγράμματος μάθησης σε ένα σαφώς προσδιορισμένο σύστημα εκπαιδευτικής διαδικασίας. 3. Ορίστηκε η διαδικασία και τα επιμέρους στοιχεία αξιολόγησης. Β. Εφαρμογή Αξιολόγησης στα προγράμματα μικτής μάθησης Η διαδικασία αξιολόγησης βασίστηκε στο μοντέλο των McNeil, Newman και Steinhauser, Συγκεκριμένα ακολουθήθηκαν τα εξής βήματα: 1) ο ορισμός κριτηρίων για την ποιότητα του προγράμματος, 2) η συλλογή, επεξεργασία και ανάλυση των δεδομένων (ποιοτικών και ποσοτικών) και 3) η παρουσίαση αποτελεσμάτων και προτάσεις - συστάσεις. 1. Ορισμός κριτηρίων για την ποιότητα του προγράμματος. Καθορίστηκαν οι κρίσιμες περιοχές αποτελεσματικότητας (areas of effectiveness) του προγράμματος. Συγκεκριμένα, ορίστηκαν έξι περιοχές οι οποίες καλύπτουν τις πιο σημαντικές περιοχές της εκπαιδευτικής διαδικασίας, όπως καθορίστηκαν στη φάση του σχεδιασμού της. Οι περιοχές αποτελεσματικότητας συσχετίστηκαν με το σχεδιασμό των προγραμμάτων. Συγκεκριμένα, ορίστηκαν: A. Μαθησιακά Αποτελέσματα Το πρόγραμμα υλοποιήθηκε με βάση τις αρχές του πλαισίου της Τεχνολογικής Παιδαγωγικής Γνώσης Περιεχομένου (Technological [5]

7 Pedagogical Content Knowledge - TPACK) και των Κοινοτήτων Διερεύνησης (Communities of Inquiry - ΚΔ). Η συγκεκριμένη περιοχή εξέτασε τον βαθμό στον οποίο οι σπουδαστές (υποψήφιοι εκπαιδευτικοί) κατάφεραν να κατανοήσουν και να υιοθετήσουν τις διαστάσεις του TPACK (περιεχόμενο, τεχνολογία και παιδαγωγική), καθώς και τις μεθόδους καλλιέργειας της γνωστικής παρουσίας. Η περιοχή «Μαθησιακά Αποτελέσματα» προϋποθέτει ότι οι γνωστικοί και οι μαθησιακοί στόχοι είχαν εξαρχής τεθεί με σαφήνεια από τους καθηγητές του προγράμματος. B. Επίδοση εκπαιδευτών Σύμφωνα με το πλαίσιο των ΚΔ, μία από τις τρεις σημαντικές παρουσίες μιας ΚΔ είναι η διδακτική, η οποία θα πρέπει να υποστηρίζει την μαθητο-κεντρική μέθοδο εκπαίδευσης, τόσο στο υλικό μαθήματος, όσο και στον τρόπο επικοινωνίας και παράδοσης του μαθήματος. Επιπλέον, σε περιβάλλοντα μικτής μάθησης, η ενθάρρυνση της επικοινωνίας και της κοινωνικότητας σε όλη τη διάρκεια των μαθημάτων από τον εκπαιδευτή, αποτελούν σημαντικά σημεία της αποτελεσματικότητας της εκπαιδευτικής διαδικασίας. Αυτούς ακριβώς τους παράγοντες εξέτασε η συγκεκριμένη περιοχή. C. Θεσμική υποστήριξη Η σωστή οργάνωση και η ετοιμότητα ενός ιδρύματος στην υλοποίηση Προγραμμάτων Μικτής Μάθησης αποτελούν καθοριστικούς παράγοντες για την αποτελεσματικότητα του προγράμματος. Εδώ εξετάστηκαν κριτήρια όπως η τεχνική υποστήριξη προς εκπαιδευτές και εκπαιδευόμενους, οι διάφορες υπηρεσίες συμβουλευτικής και πληροφόρησης και η ετοιμότητα σε περιπτώσεις όπου οι εμπλεκόμενοι στην εκπαιδευτική διαδικασία χρειάστηκαν ειδική εκπαίδευση σε θέματα εξοικείωσης - χρήσης νέων τεχνολογιών. Στο πλαίσιο των ΚΔ, η σωστή «Θεσμική Υποστήριξη» υποστηρίζει και τις τρεις διαστάσεις. Η σωστή τεχνική υποστήριξη και εκπαίδευση χρήσης τεχνολογίας σε περιβάλλοντα τηλεκπαίδευσης, ενθαρρύνει την Κοινωνική και Γνωστική παρουσία των εμπλεκόμενων. Κατά την φάση του σχεδιασμού, θα πρέπει να λαμβάνεται υπόψη ο βαθμός εξοικείωσης με τεχνολογίες μικτής μάθησης των εμπλεκόμενων στη διαδικασία, προκειμένου να διασφαλίζεται τόσο η ομαλή εξέλιξη της εκπαιδευτικής διαδικασίας, όσο και τα προσδοκώμενα αποτελέσματα. Σε περίπτωση που οι γνώσεις δεξιότητες τεχνολογίας δεν επαρκούν, θα πρέπει να συμπεριλαμβάνονται έκτακτα training courses. [6]

8 D. Σχεδιασμός Μαθήματος Η σχεδίαση μαθήματος θα έπρεπε να λάβει υπόψη τα δύο προτεινόμενα πλαίσια TPACK και ΚΔ, έτσι ώστε να εξυπηρετεί τις συγκεκριμένες αρχές. Επιπλέον, θα έπρεπε να προσαρμόζεται αυστηρά στις ανάγκες της εκπαίδευσης ενηλίκων με όλες τις δεξιότητες και κριτήρια. E. Κοινωνικότητα Συνδέεται άρρηκτα με τις μεθόδους καλλιέργειας της κοινωνικής παρουσίας, σύμφωνα με μία ΚΔ. Εξέτασε τον βαθμό στον οποίο ο εκπαιδευτικός κατάφερε να ενθαρρύνει την κοινωνικότητα ανάμεσα στους σπουδαστές, ανάμεσα στον ίδιο και στους σπουδαστές, τόσο σε φυσικό όσο και σε ηλεκτρονικό περιβάλλον εκπαίδευσης. F. Εκπαίδευση Ενηλίκων Οι σπουδαστές υποψήφιοι εκπαιδευτικοί ήταν ενήλικες, με ιδιαίτερες ανάγκες και δεξιότητες. Κατά τον σχεδιασμό, θα έπρεπε να ληφθούν υπόψη θέματα όπως η εφαρμογή μαθητοκεντρικής μεθόδου διδασκαλίας (προσαρμόζεται στις ανάγκες του μαθητή), η ενθάρρυνση της αυτοπεποίθησης και της αυτοπειθαρχίας, η τόνωση της κοινωνικότητας, της συνεργασίας, η ενεργή συμμετοχή των εκπαιδευόμενων στην εκπαιδευτική διαδικασία, ο βαθμός εφαρμογής της νέας γνώσης στις ανάγκες της ζωής των εκπαιδευόμενων, κοκ. Στη συνέχεια, οι περιοχές αυτές ποσοτικοποιήθηκαν με συγκεκριμένους, μετρήσιμους παράγοντες εξέτασης (factors of effectiveness) και τελικά διαμορφώθηκε το προτεινόμενο μοντέλο αξιολόγησης σύμφωνα με τα αναφερόμενα πιο κάτω, (βλέπε Πίνακα 1): [7]

9 ΑΝΩΤΑΤΗ ΣΧΟΛΗ ΠΑΙΔΑΓΩΓΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΚΗΣ ΕΚΠΑΙΔΕΥΣΗΣ (Α.Σ.ΠΑΙ.Τ.Ε.) ΠΕΡΙΟΧΕΣ Μαθησιακά αποτελέσματα «Αρχιμήδης ΙΙΙ Ενίσχυση Ερευνητικών ομάδων στην Α.Σ.ΠΑΙ.Τ.Ε.» ΚΡΙΤΗΡΙΑ ΑΠΟΤΕΛΕΣΜΑΤΙΚΟΤΗΤΑΣ Επίδοση Εκπαιδευτών Θεσμική Υποστήριξη Σχεδίαση μαθήματος Κοινωνικότητα Εκπαίδευση Ενηλίκων ΠΑΡΑΓΟΝΤΕΣ ΠΕΡΙΓΡΑΦΗ α. συνολική επίδοση στο μάθημα β. γνωστικοί στόχοι εκπαιδευομένων γ. εκπαιδευτικοί στόχοι καθηγητών Βαθμός επίτευξης των γνωστικών και μαθησιακών στόχων. α. βαθμός παρακίνησης εκπαιδευτικών β. συχνότητα επικοινωνίας γ. βαθμός απόκρισης εκπαιδευτικών δ. εξοικείωση εκπαιδευτικών με το πρόγραμμα ε. μέθοδοι εκπαίδευσης Βαθμός ανταπόκρισης εκπαιδευτικών στις απαιτήσεις μαθήματος μικτής μάθησης. α. τεχνική υποστήριξη β. πληροφόρηση, γραμματειακή υποστήριξη γ. βαθμός εξοικείωσης με χρήση Η/Υ δ. βαθμός εξοικείωσης με εξ αποστάσεως προγράμματα ε. ανάγκη ειδικής εκπαίδευσης Βαθμός υποστήριξης του Οργανισμού προς τους εμπλεκόμενους α. τεχνική υποδομή β. επάρκεια εκπαιδευτικής πλατφόρμας γ. χρησιμότητα μεθόδων αξιολόγησης δ. επάρκεια υλικού μαθήματος ε. ανταπόκριση ύλης σε προσωπικές ανάγκες Βαθμός οργάνωσης της εκπαιδευτικής διαδικασίας. α. αίσθηση μέλους εκπαιδευτικής κοινότητας β. ενίσχυση αίσθησης κοινωνικότητας από εκπαιδευτικούς γ. Interaction με καθηγητές και εκπαιδευτική πλατφόρμα δ. συχνότητα χρήσης forum Βαθμός κοινωνικότητας κατά τη διάρκεια των μαθημάτων α. ενθάρρυνση εξατομικευμένης μελέτης από εκπαιδευτικούς β. εφαρμογή γνώσεων σε προσωπική ζωή γ. βαθμός συμμετοχής στο σχεδιασμό του προγράμματος δ. βαθμός ε. βαθμός ευελιξίας προγράμματος Βαθμός προσαρμογής της εκπαιδευτικής διαδικασίας στις ανάγκες ενηλίκων Πίνακας 1: Περιοχές Αποτελεσματικότητας για τα προγράμματα μικτής μάθησης Α.Σ.ΠΑΙ.Τ.Ε.

10 ΑΝΩΤΑΤΗ ΣΧΟΛΗ ΠΑΙΔΑΓΩΓΙΚΗΣ ΚΑΙ ΤΕΧΝΟΛΟΓΙΚΗΣ ΕΚΠΑΙΔΕΥΣΗΣ (Α.Σ.ΠΑΙ.Τ.Ε.) «Αρχιμήδης ΙΙΙ Ενίσχυση Ερευνητικών ομάδων στην Α.Σ.ΠΑΙ.Τ.Ε.» Οι περιοχές φαίνεται να είναι ανεξάρτητες μεταξύ τους, αλλά στην πραγματικότητα είναι αλληλένδετες συνιστώσες ενός συστήματος μάθησης το οποίο έχει στοιχεία εξ αποστάσεως εκπαίδευσης. Η απόδοση ενός παράγοντα επηρεάζει ή / και επηρεάζεται από τις επιδόσεις και των άλλων παραγόντων από το ίδιο σύστημα. 2. Συλλογή επεξεργασία δεδομένων. Η συγκέντρωση των δεδομένων αξιολόγησης, η ανάλυση και η εξαγωγή συμπερασμάτων που παρουσιάζονται βασίστηκαν σε απαντήσεις των συμμετεχόντων επί ερωτηματολογίων αποτελεσματικότητας που καθορίσθηκαν στην προηγούμενη περίοδο του έργου. Το εργαλείο - ερωτηματολόγιο που συντάχθηκε για τις ανάγκες του έργου περιλαμβάνει τα ακόλουθα κλειστά ερωτήματα σε 5βάθμια Likert-like κλίμακα (βλ. Παράρτημα 1): A. Μαθησιακά Αποτελέσματα 1) Αξιολογήστε τη συνολική επίδοσή σας στο μάθημα. 2) Σε ποιο βαθμό πιστεύετε ότι επετεύχθησαν οι αρχικοί γνωστικοί σας στόχοι? 3) Σε ποιο βαθμό πιστεύετε ότι επετεύχθησαν οι εκπαιδευτικοί στόχοι που έθεσαν οι καθηγητές? B. Επίδοση Εκπαιδευτών 1. Σε ποιο βαθμό οι καθηγητές σας παρακινούσαν και σας ενθάρρυναν να μελετάτε και να ολοκληρώσετε το μάθημα? 2. Η συχνότητα επικοινωνίας με τους καθηγητές σας ήταν επαρκής? 3. Η συχνότητα προσωπικής επικοινωνίας με τους καθηγητές σας ήταν επαρκής? 4. Πόσο άμεση ήταν η απόκριση των καθηγητών στα ερωτήματά σας? 5. Πόσο εξοικειωμένοι ήταν οι καθηγητές σας με το συγκεκριμένο εξ αποστάσεως πρόγραμμα? 6. Οι καθηγητές σας εφάρμοσαν μαθητο-κεντρική μέθοδο

11 εκπαίδευσης? C. Θεσμική Υποστήριξη 1. Η τεχνική υποστήριξη ήταν επαρκής για τις απαιτήσεις του μαθήματος? 2. Οι υπηρεσίες πληροφόρησης, συμβουλευτικής και γενικότερης υποστήριξης ήταν επαρκείς για τις απαιτήσεις του μαθήματος? 3. Πόσο εξοικειωμένος είστε με τις τεχνολογίες χρήσης Η/Υ? 4. Πόσο εξοικειωμένος είστε με τις τεχνολογίες εξ αποστάσεως εκπαίδευσης και μικτής μάθησης? 5. Σε τι βαθμό πιστεύετε ότι χρειαζόσασταν ειδική εκπαίδευση στις τεχνολογίες εξ αποστάσεως εκπαίδευσης πριν την έναρξη του μαθήματος? D. Σχεδίαση Μαθήματος 1. Η τεχνική υποδομή ήταν επαρκής για τις απαιτήσεις του μαθήματος? 2. Αξιολογήστε την λειτουργικότητα της εκπαιδευτικής πλατφόρμας (ποιότητα, προσβασιμότητα, κλπ). 3. Σε ποιο βαθμό η μέθοδος (διαδικασία) αξιολόγησής σας ήταν ευέλικτη ώστε να προσαρμόζεται στις ανάγκες σας? 4. Η μέθοδος (διαδικασία) αξιολόγησής σας ήταν για σας ένα χρήσιμο εργαλείο ανατροφοδότησης? 5. Η ύλη / το υλικό του μαθήματος ήταν επαρκές και σας βοήθησε να κατανοήσετε το μάθημα? 6. Σε ποιο βαθμό ανταποκρίνεται η ύλη/ το υλικό του μαθήματος στις προσωπικές σας ανάγκες (καριέρα, προσωπική ζωή)? E. Κοινωνικότητα 1. Σε ποιο βαθμό, κατά τη διάρκεια των μαθημάτων αισθανθήκατε μέλος μιας εκπαιδευτικής κοινότητας? 2. Σε ποιο βαθμό οι καθηγητές ενίσχυσαν την αίσθηση της κοινωνικότητας στη διάρκεια του μαθήματος με διάφορες τεχνικές / μέσα? 3. Αξιολογήστε το βαθμό διαδραστικότητας με τους καθηγητές σας. [10]

12 4. Αξιολογήστε το interaction με την εκπαιδευτική πλατφόρμα. 5. Πόσο συχνά χρησιμοποιούσατε το forum και τις άλλες online εφαρμογές? F. Εκπαίδευση Ενηλίκων 1. Οι καθηγητές σας, σας παρότρυναν σε εξατομικευμένη μελέτη? 2. Σε ποιο βαθμό έχουν άμεση εφαρμογή οι ικανότητες και οι γνώσεις που αποκτήσατε στην προσωπική σας ζωή (σπουδές, εργασία)? 3. Σε ποιο βαθμό συμμετείχατε στον σχεδιασμό της εκπαιδευτικής διαδικασίας? 4. Σε ποιο βαθμό το μάθημα ήταν ευέλικτο ώστε να προσαρμόζεται στις ανάγκες σας? Τα δείγματα είχαν ομαδοποιηθεί σε 3 ομάδες όπως φαίνονται παρακάτω : 1. ΤΕΙ ΣΤΕΡΕΑΣ ΕΛΛΑΔΑΣ: προπτυχιακοί φοιτητές του ΤΕΙ Στερεάς Ελλάδας (πρώην ΤΕΙ Λαμίας) του Τμήματος Μηχανικών Πληροφορικής ΤΕ στα πλαίσια του μαθήματος «Πληροφορική στη Εκπαίδευση» Το πλήθος των συμμετεχόντων φοιτητών που κατέθεσαν το ερωτηματολόγιο ήταν ΑΣΠΑΙΤΕ - ΕΠΠΑΙΚ : φοιτητές μεταπτυχιακού Τμήματος της ΑΣΠΑΙΤΕ. Το σύνολο των συμμετεχόντων φοιτητών που κατέθεσαν το ερωτηματολόγιο ήταν ΑΣΠΑΙΤΕ_ΠΡΟΠΤΥΧ. : φοιτητές του προπτυχιακού Τμήματος Εκπαιδευτικών Πολιτικών Μηχανικών της ΑΣΠΑΙΤΕ. Το σύνολο των συμμετεχόντων φοιτητών που κατέθεσαν το ερωτηματολόγιο ήταν 100. Τα ερωτηματολόγια τα οποία διανεμήθηκαν στους συμμετέχοντες και στα τρία (3) τμήματα ήταν τα ίδια ακριβώς με τις ίδιες συνθήκες και προϋποθέσεις όπως αυτά σχεδιάστηκαν στον πρώτο έτος του έργου. Στη συνέχεια παρουσιάζονται ποσοτικοποιημένες μετρήσεις επί των δειγμάτων τα οποία χρησιμοποιήθηκαν στα σενάρια της μικτής μάθησης. 3. Ανάλυση Δεδομένων και Παρουσίαση Αποτελεσμάτων. Προκειμένου να προχωρήσουμε σε εκτιμήσεις σχετικά με την αποτελεσματικότητα των σεναρίων μικτής μάθησης προχωρήσαμε σε υπολογισμό της μέσης τιμής σε κάθε παράγοντα της κάθε περιοχής σύμφωνα με τις απαντήσεις των συμμετεχόντων φοιτητών. Ταυτόχρονα υπολογίσθηκε και η διασπορά στις απαντήσεις σε κάθε [11]

13 παράγοντα. Οι τιμές διασποράς ήταν αρκετά χαμηλές με μέγιστη τιμή 1,02. Τα παρακάτω διαγράμματα βασίζονται στις αριθμητικές μέσες τιμές ανά περιοχή και ανά παράγοντα στη συνέχεια για περισσότερο λεπτομερές παρατηρήσεις. Οι εκτιμήσεις καθενός ήταν μια τιμή στο διάστημα από 1 (χαμηλότερη) έως 5 (υψηλότερη). Περιοχές αποτελεσματικότητας κάθε δείγματος Στο διάγραμμα (Διαγρ.1) που ακλουθεί παρουσιάζεται η αποτελεσματικότητα των ομάδων στις επιμέρους περιοχές. Με μα πρώτη ματιά φαίνονται σχετικά παρόμοιες οι απαντήσεις των συμμετεχόντων από τις διαφορετικές ομάδες. Με μια περισσότερη εμπεριστατωμένη παρατήρηση μπορεί κάποιος να διαπιστώσει τα παρακάτω: 1. Οι περιοχές «Κοινωνικότητας» και «Εκπαίδευσης Ενηλίκων» παρουσιάζουν σχετικά χαμηλότερες τιμές σε σύγκριση με τις άλλες περιοχές. Σημαντικό λοιπόν είναι ότι φαίνεται μια δυσκολία στο κοινωνικό προφίλ των συμμετεχόντων και ιδιαίτερα φοιτητών που προέρχονται από ένα ηλικιακό παράθυρο των ετών. Επίσης προκύπτει, από τις χαμηλότερες σχετικά τιμές στην περιοχή της «Εκπαίδευσης Ενηλίκων», προβληματισμός για τη διαμόρφωση εναλλακτικών σεναρίων μάθησης στην εκπαίδευση ενηλίκων. 2. Η «Απόδοση Καθηγητή» είναι μια περιοχή η οποία παρουσιάζεται με υψηλές σχετικά τιμές και ιδιαίτερα από την ομάδα ΑΣΠΑΙΤΕ-ΕΠΠΑΙΚ στην οποία περιλαμβάνονται απόφοιτοι τριτοβάθμιας εκπαίδευσης. Φαίνεται να αναγνωρίζουν τις σχεδιαστικές επιλογές των εκπαιδευτών σε σχέση με την οργάνωση των μαθημάτων και την υποστήριξη που παρείχαν στη διάρκεια των σεναρίων. 3. Οι συμμετέχοντες φαίνονται ικανοποιημένοι από την επίτευξη των αναμενόμενων μαθησιακών αποτελεσμάτων όπως προκύπτει από την εικόνα της περιοχής «Learning outcomes». Αυτό το συμπέρασμα συγκρινόμενο με χαμηλότερες συγκριτικά τιμές στην περιοχή «Course Design» εμφανίζει τους συμμετέχοντες με προβληματισμό για τον προτεινόμενο τρόπο εκπαίδευσης, πιθανά δεδομένης της καινοτομίας που το συνοδεύει σε σχέση με παραδοσιακές μεθόδους με τις οποίες έχουν εκπαιδευτεί σε όλα τα χρόνια της σχολικής και ακαδημαϊκής τους πορείας. Πιθανά μια φάση εξοικείωσης με [12]

14 μεθόδους και διαδικασίες μικτής εκπαίδευσης να μπορεί να συμβάλλει θετικά στην εναρμόνιση των στόχων εκπαιδευόμενων και εκπαιδευτικών. 4. Τέλος, η υποστήριξη του οργανισμού (ΤΕΙ & ΑΣΠΑΙΤΕ) φαίνεται να έχει εκτιμηθεί με σχετικά χαμηλές τιμές συγκριτικά με τις υπόλοιπες περιοχές. Μια πρώτη ερμηνεία και εκτίμηση ίσως φανερώνει την ανάγκη για ενίσχυση των υποδομών των εκπαιδευτικών Ιδρυμάτων ίσως σε υποδομές ΤΠΕ για την υποστήριξη μαθημάτων/δράσεων από απόσταση. Διάγραμμα 1. Περιοχές Αποτελεσματικότητας σε σχέση με τις ομάδες του δείγματος. [13]

15 Συνολική εκτίμηση στις περιοχές αποτελεσματικότητας. Μια επίσης ενδιαφέρουσα εικόνα των επιλογών των ομάδων του δείγματος στις αντίστοιχες περιοχές αποτελεσματικότητας παρουσιάζεται στο διάγραμμα που φαίνεται στη συνέχεια (Διαγρ. 2). Στο διάγραμμα παρουσιάζεται μια συνολική εικόνα όλων των συμμετεχόντων στις περιοχές αποτελεσματικότητας που χρησιμοποιήθηκαν. Οι επιλογές των συμμετεχόντων παρουσιάζουν μια σχετικά διαφοροποιημένη εικόνα σε σχέση με το προηγούμενο διάγραμμα. Για την ακρίβεια φαίνεται μια παρόμοια συμπεριφορά του συνολικού δείγματος στις περιοχές «Course Design», «Sociability» και «Adult Orientation». Οι εκτιμήσεις στις περιοχές αυτές είναι χαμηλότερες από τις αντίστοιχες στις υπόλοιπες δύο περιοχές «Learning Outcomes» και «Teacher s Performance» με μικρές διαφορές είναι αλήθεια. Η ένδειξη αυτή ίσως υποδηλώνει μια τάση των συμμετεχόντων να δίνουν περισσότερη βαρύτητα σε αποτελέσματα γνωστικού επιπέδου από το μάθημα. Επίσης, ίσως διακρίνεται η σημασία που αποδίδεται από τους φοιτητές στην παρουσία και την εμπλοκή του διδάσκοντα καθηγητή στη διενέργεια του μαθήματος από τις τιμές που αποδόθηκαν στην περιοχή «Teacher s Performance». Διάγραμμα 2. Συνολική εκτίμηση των ομάδων στις περιοχές αποτελεσματικότητας. [14]

16 Ανάλυση επί των επιμέρους παραγόντων κάθε περιοχής αποτελεσματικότητας Παρατηρώντας λοιπόν τη στατιστική συμπεριφορά των απαντήσεων που έδωσαν οι συμμετέχοντες στις επιμέρους ερωτήσεις παράγοντες/factors των ερωτηματολογίων συνολικά σε όλους τους συμμετέχοντες όλων των ομάδων προκύπτουν ενδιαφέρουσες παρατηρήσεις όπως φαίνονται στο παρακάτω Διάγραμμα 3. Στη συνέχεια παραθέτουμε κάποια ενδεικτικά συμπεράσματα επί της αποτελεσματικότητα των προτεινόμενων σεναρίων μικτής μάθησης σε τμήματα της ανώτατης εκπαίδευσης. α) Η πολύ χαμηλή τιμή στην ερώτηση C5 αποδεικνύει τη μεγάλη εξοικείωση των φοιτητών με τις ΤΠΕ. β) Οι υψηλές τιμές στις ερωτήσεις Β1 και Β5 αποδεικνύουν την ιδιαίτερη εκτίμηση της εμπλοκής αλλά και των παροτρύνσεων του διδάσκοντα στην αποτελεσματικότητα των σεναρίων μάθησης του υιοθετήθηκαν. γ) Στο σχεδιασμό του μαθήματος φαίνεται το μέγεθος αλλά και η διάρθρωση της ύλης να γίνονται αποδεκτά από τους συμμετέχοντες όπως φαίνεται από τις τιμές των ερωτήσεων D4 και D5. Από τις τιμές στην ερώτηση D6, αν και η τιμή είναι υψηλότερη του μέσου όρου, κάποιες ομάδες φοιτητών φαίνεται να έχουν άλλες προσδοκίες από το μάθημα. Πιθανά αυτό να σχετίζεται με τους σύνθετους στόχους των σεναρίων που καλύπτουν τη λειτουργική σύνθεση παιδαγωγικής και ψηφιακών τεχνολογιών αντί της ανάπτυξης διακριτών πεδίων γνώσης όπως οι ψηφιακές τεχνολογίες που πιθανά οι φοιτητές ανέμεναν. δ) Στις ερωτήσεις Ε2 και Ε3 οι οποίες σχετίζονται με την παρότρυνση του διδάσκοντα για συμμετοχή αλλά και διάδραση έχουν εντοπισθεί υψηλές τιμές σε αντίθεση με την ερώτηση Ε5 στην οποία οι απαντήσεις εμφανίζουν χαμηλές τιμές και η οποία αφορά σε πρωτοβουλία του φοιτητή να συμμετέχει σε forum συζητήσεων. Τα παραπάνω υποδηλώνουν μια διστακτικότητα στην κοινωνικοποίηση των μελών των ομάδων παρότι προέρχονται από παρόμοια εκπαιδευτικά περιβάλλοντα. Πιθανά αυτό υποδηλώνει την έλλειψη εξοικείωσης των φοιτητών με σύγχρονες από απόσταση μεθόδους αλληλεπίδρασης και συνεργασίας και κάποια επιφυλακτικότητα στην [15]

17 χρήση τους για εκπαιδευτικούς σκοπούς η οποία έχει καταγραφεί και στη σύγχρονη βιβλιογραφία. Διάγραμμα 3. Συνολικές απαντήσεις στους επιμέρους παράγοντες/factors. Βιβλιογραφία 1. Badrul Huda Khan, (2005), E-learning Quick Checklist, Idea Group Inc. Cercone, K. (2008), Characteristics of adult learners with implications for online learning design, AACE Journal, 16(2), Lockee Barbara, Moore Mike, Burton John, (2002), Measuring Succes: Evaluation Strategies for Distance Education, EDUCAUSE QUARTERLY, Number 1 (20-26). 3. Mandinach Ellen, (2005), Teachers College Record Volume 107 Number 8, 2005, p ID Number: 12097, Date Accessed: 2/1/2008 2:12:12 PM 4. McNeil K., Newman I., Steinhauser J., (2005). How to be involved in program evaluation. Lanham, MD. Scarecrow Education. 5. Tham, Chee Meng, Werner Jon M., (2005), ''Designing and evaluating E-learning in higher education: a review and recommendations.'', Journal of Leadership & Organizational Studies, Vol.11, p.15(11). [16]

18 ΠΑΡΑΡΤΗΜΑ 1 ΕΡΩΤΗΜΑΤΟΛΟΓΙΟ ΦΟΙΤΗΤΩΝ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΓΡΑΜΜΑΤΟΣ ΕΞ ΑΠΟΣΤΑΣΕΩΣ ΕΚΠΑΙΔΕΥΣΗΣ Ευχαριστούμε για τη συμμετοχή σας στη διαδικασία αξιολόγησης του μαθήματος «Πληροφορική στην Εκπαίδευση». Το ερωτηματολόγιο που θα συμπληρώσετε αξιολογεί την αποτελεσματικότητα της εξ αποστάσεως εκπαίδευσης του μαθήματος, συνεπώς οι ερωτήσεις αφορούν όλους τους παράγοντες (καθηγητές, υλικό, τεχνολογίες, κλπ.) της εξ αποστάσεως διάστασης του μαθήματος. Παρακαλώ συμπληρώστε δίπλα σε κάθε ερώτηση έναν αριθμό από το 0 έως το 5, ανάλογα με το βαθμό συμφωνίας σας. Οι απαντήσεις έχουν κλίμακα 0 έως 5 ως εξής: 0 = απόλυτη διαφωνία ή απόρριψη, 1 = απλή διαφωνία ή απόρριψη, 2 = ουδέτερη στάση, 3 = θετική στάση, 4 = μικρή συμφωνία ή ικανοποίηση, 5 = απόλυτη συμφωνία ή ικανοποίηση. ΕΡΩΤΗΜΑΤΟΛΟΓΙΟ ΦΟΙΤΗΤΩΝ ΓΙΑ ΤΗΝ ΑΞΙΟΛΟΓΗΣΗ ΤΟΥ ΠΡΟΓΡΑΜΜΑΤΟΣ ΕΞ ΑΠΟΣΤΑΣΕΩΣ ΕΚΠΑΙΔΕΥΣΗΣ A. Learning Outcomes 1. Αξιολογήστε τη συνολική επίδοσή σας στο μάθημα. 2. Σε ποιο βαθμό πιστεύετε ότι επετεύχθησαν οι αρχικοί γνωστικοί σας στόχοι? 3. Σε ποιο βαθμό πιστεύετε ότι επετεύχθησαν οι εκπαιδευτικοί στόχοι που έθεσαν οι καθηγητές? B. Teachers Performance 1. Σε ποιο βαθμό οι καθηγητές σας παρακινούσαν και σας ενθάρρυναν να μελετάτε και να ολοκληρώσετε το μάθημα? 2. Η συχνότητα επικοινωνίας με τους καθηγητές σας ήταν επαρκής? 3. Η συχνότητα προσωπικής επικοινωνίας με τους καθηγητές σας ήταν επαρκής? 4. Πόσο άμεση ήταν η απόκριση των καθηγητών στα ερωτήματά σας? 5. Πόσο εξοικειωμένοι ήταν οι καθηγητές σας με το συγκεκριμένο εξ αποστάσεως πρόγραμμα? 6. Οι καθηγητές σας εφάρμοσαν μαθητο-κεντρική μέθοδο εκπαίδευσης? [17]

19 C. Institutional Support 1. Η τεχνική υποστήριξη ήταν επαρκής για τις απαιτήσεις του μαθήματος? 2. Οι υπηρεσίες πληροφόρησης, συμβουλευτικής και γενικότερης υποστήριξης ήταν επαρκείς για τις απαιτήσεις του μαθήματος? 3. Πόσο εξοικειωμένος είστε με τις τεχνολογίες χρήσης Η/Υ? 4. Πόσο εξοικειωμένος είστε με τις τεχνολογίες εξ αποστάσεως εκπαίδευσης και μικτής μάθησης? 5. Σε τι βαθμό πιστεύετε ότι χρειαζόσασταν ειδική εκπαίδευση στις τεχνολογίες εξ αποστάσεως εκπαίδευσης πριν την έναρξη του μαθήματος? D. Course Design 1. Η τεχνική υποδομή ήταν επαρκής για τις απαιτήσεις του μαθήματος? 2. Αξιολογήστε την λειτουργικότητα της εκπαιδευτικής πλατφόρμας (ποιότητα, προσβασιμότητα, κλπ). 3. Σε ποιο βαθμό η μέθοδος (διαδικασία) αξιολόγησής σας ήταν ευέλικτη ώστε να προσαρμόζεται στις ανάγκες σας? 4. Η μέθοδος (διαδικασία) αξιολόγησής σας ήταν για σας ένα χρήσιμο εργαλείο ανατροφοδότησης? 5. Η ύλη / το υλικό του μαθήματος ήταν επαρκές και σας βοήθησε να κατανοήσετε το μάθημα? 6. Σε ποιο βαθμό ανταποκρίνεται η ύλη/ το υλικό του μαθήματος στις προσωπικές σας ανάγκες (καριέρα, προσωπική ζωή)? E. Sociability in the course 1. Σε ποιο βαθμό, κατά τη διάρκεια των μαθημάτων αισθανθήκατε μέλος μιας εκπαιδευτικής κοινότητας? 2. Σε ποιο βαθμό οι καθηγητές ενίσχυσαν την αίσθηση της κοινωνικότητας στη διάρκεια του μαθήματος με διάφορες τεχνικές / μέσα? 3. Αξιολογήστε το βαθμό διαδραστικότητας με τους καθηγητές σας. 4. Αξιολογήστε το interaction με την εκπαιδευτική πλατφόρμα. 5. Πόσο συχνά χρησιμοποιούσατε το forum και τις άλλες online εφαρμογές? F. Adult Orientation 1. Οι καθηγητές σας, σας παρότρυναν σε εξατομικευμένη μελέτη? 2. Σε ποιο βαθμό έχουν άμεση εφαρμογή οι ικανότητες και οι γνώσεις που αποκτήσατε στην προσωπική σας ζωή (σπουδές, εργασία)? 3. Σε ποιο βαθμό συμμετείχατε στον σχεδιασμό της εκπαιδευτικής διαδικασίας? 4. Σε ποιο βαθμό το μάθημα ήταν ευέλικτο ώστε να προσαρμόζεται στις ανάγκες σας? [18]