ΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥ ΩΝ ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ Σύστηµα Προσαρµοστικής Μάθησης για την Αξιολόγηση Μαθητών Ε' & ΣΤ' ηµοτικού (ενότητα: Λογιστικά Φύλλα) Παρταλάς Σωκράτης M27/11
Προβλήµατα στην διδασκαλία και αξιολόγηση των Τεχνολογιών Πληροφορίας και Επικοινωνιών (Τ.Π.Ε.) Μη ύπαρξη σχολικού εγχειριδίου Μη ύπαρξη συγκεκριµένης διδακτέας ύλης Μη ύπαρξη µόνιµων θέσεων στην πρωτοβάθµια εκπαίδευση
Σκοποί - Στόχοι Αξιολόγηση των µαθητών Εκµάθηση κατά την διάρκεια της διαδικασίας αξιολόγησης Ύπαρξη συγκεκριµένης διδακτέας ύλης Αξιοποίηση αποτελεσµάτων για την εξαγωγή χρήσιµων συµπερασµάτων, τόσο για τους εκπαιδευτικούς (αποτελεσµατικότητα τρόπου διδασκαλίας, χρήση νέων µεθόδων διδασκαλίας) όσο και για τους µαθητές (απόκτηση γνώσης, επίδοση)
Μεθοδολογία Εύρεση τρόπου αξιολόγησης (τύπος ερωτήσεων-απαντήσεων) Συγκέντρωση ερωτήσεων-πιθανών απαντήσεων και ταξινόµηση τους Τρόπος εξαγωγής αποτελεσµάτων (υπολογισµός βαθµολογίας, εµφάνιση) Τρόπος παρουσίασης της εφαρµογής (απλή, εύχρηστη, χρήση πολυµέσων)
Evaluate Σύστηµα αξιολόγησης µαθητών, βασισµένο στον ηλεκτρονικό υπολογιστή (computerized adaptive testing system) Περιλαµβάνει 20 ερωτήσεις πολλαπλής επιλογής, οι οποίες αντλούνται από µια βάση 97 ερωτήσεων Κάθε ερώτηση έχει 4 πιθανές απαντήσεις, εκ των οποίων µόνο µια είναι σωστή Προσφέρει βοήθεια στους µαθητές µε την µορφή αφαίρεσης δύο εκ των τεσσάρων απαντήσεων όταν ο µαθητής απαντήσει λάθος
Πλεονεκτήµατα Οι µαθητές µπορούν να µάθουν χρησιµοποιώντας την εφαρµογή, καθώς σε περίπτωση λάθους τους εµφανίζεται η σωστή απάντηση, µπορούν να κάνουν πρακτική και από το σπίτι, µιας και η εφαρµογή βρίσκεται στο ιαδίκτυο, οι άγνωστες ερωτήσεις µπορούν να τους δώσουν το έναυσµα για περαιτέρω εξερεύνηση των λογιστικών φύλλων, και των δυνατοτήτων που προσφέρουν, το περιβάλλον της εφαρµογής και ο πρωτότυπος τρόπος αξιολόγησης (πέρα από τον συνηθισµένο), µπορεί να προκαλέσει το ενδιαφέρον όλων των µαθητών, ανεξάρτητα από την επίδοση ή συµπεριφορά τους.
Evaluate VS Αξιολόγηση στο χαρτί O µέσος όρος βαθµολογίας των µαθητών στο χαρτί ήταν κατά 0.75 µονάδες χαµηλότερος από τον µέσο όρο βαθµολογίας στο Evaluate (7 έναντι 7.75). Λόγοι που µπορεί να οδήγησαν σε αυτή την διαφορά είναι είτε η παροχή βοήθειας, είτε ο τρόπος βαθµολόγησης στο Evaluate, ο µέσος χρόνος απάντησης στις ερωτήσεις ήταν 30 λεπτά στο χαρτί, ενώ στο Evaluate 25 λεπτά, καθώς οι ερωτήσεις που βρίσκονται έξω από το επίπεδο ικανότητας του µαθητή αποκλείονταν, στο Evaluate απαιτούνται λιγότερα στοιχεία για να φθάσει σε µια ακριβότερη εκτίµηση της γνώσης του µαθητή, καθώς ο µαθητής µετά το πέρας κάποιων ερωτήσεων σταθεροποιείται στο επίπεδο δυσκολίας των ερωτήσεων που αντιστοιχούν στις γνώσεις που έχει αποκτήσει. Σε αντίθεση µε το χαρτί, όπου ο αριθµός των ερωτήσεων ανά επίπεδο είναι σταθερός, οι µαθητές παίρνουν άµεσα την ανατροφοδότηση από το Evaluate, την οποία µπορούν να χρησιµοποιήσουν ως γνώση και για τις επόµενες ερωτήσεις, γεγονός που αντικατοπτρίζεται και στην τελική βαθµολογία. Σε αντίθεση µε τις ερωτήσεις στο χαρτί, των οποίων τις απαντήσεις µαθαίνουν µετά την ολοκλήρωση της διαδικασίας.
Ερωτήσεις ιαβάθµιση ερωτήσεων της εφαρµογής σύµφωνα µε: το επίπεδο δυσκολίας τους, σε εύκολη, µέτρια και δύσκολη την παιδαγωγική θεωρία του Bloom, σε ερωτήσεις ανάκλησης γνώσης, κατανόησης και εφαρµογής την υποενότητα στην οποία αναφέρονται. Οι υποενότητες που εξετάζονται είναι: πράξεις και συναρτήσεις, γενικές ερωτήσεις, γραφήµατα,λίστες
Ερωτήσεις (2) Καθορισµός επιπέδου δυσκολίας Η ταξινόµηση της κάθε ερώτησης σε εύκολη, µέτρια και δύσκολη πραγµατοποιήθηκε µε την συµβολή βοηθητικής οµάδας η οποία, µετηνσωστήήλάθοςαπάντησηπουέδωσεσεκάθεερώτηση καθόρισε το επίπεδο δυσκολίας ΚΑΤΗΓΟΡΟΠΟΙΣΗ ΕΡΩΤΗΣΕΩΝ ΒΑΣΗ ΤΟΥ ΕΠΙΠΕ ΟΥ ΥΣΚΟΛΙΑΣ δύσκολες 24% εύκολες 39% εύκολες µέτριες 37% µέτριες δύσκολες
Ερωτήσεις (3) Ταξινόµηση ερωτήσεων κατά Bloom Οι ερωτήσεις ταξινοµήθηκαν κατά Bloom, µε την βοήθεια 5 εκπαιδευτικών πληροφορικής, που διδάσκουν το µάθηµα των Τ.Π.Ε. στηνε καιτηνστ τάξη.οικατηγορίεςείναι : η ανάκληση γνώσης, η κατανόηση, η εφαρµογή πλήθος ερωτήσεων 16 14 12 10 8 6 4 2 15 13 ταξινόµηση ερωτήσεων κατά Bloom 8 12 11 7 11 12 8 εύκολες µέτριες δύσκολες 0 ανάκληση δεδοµένων κατανόηση εφαρµογή επίπεδα κατά Bloom
Ερωτήσεις (4) Ταξινόµηση ανά υποενότητα Οι υποενότητες που εξετάζονται είναι: πράξεις και συναρτήσεις, γενικές ερωτήσεις, Γραφήµατα λίστες ταξινόµηση ερωτήσεων ανά υποενότητα 5% 21% 38% γενικές ερωτήσεις π ράξεις - συναρτήσεις γραφήµατα λίστες 36%
Προσφορά βοήθειας Έχει την µορφή αφαίρεσης 2 εκ των 4 πιθανών απαντήσεων µετά από λάθος απάντηση του µαθητή. Οµαθητήςέχειπλέον 50%ναβρειτηνσωστήαπάντηση (1στις 2 απαντήσεις), ενώ αρχικά είχε 25% πιθανότητα να απαντήσει σωστά (1 στις 4 απαντήσεις)
Παρουσίαση του Evaluate Τεχνικά χαρακτηριστικά : κατασκευάστηκε σε visual studio 2010 Express, είναι ASPX σελίδες γραµµένες σε γλώσσα προγραµµατισµού VB.NET, η βάση δεδοµένων που υποστηρίζει φτιάχτηκε µε SQL 2008 Express. Φιλοξενείται στην ιστοσελίδα somee.com (evaluate.somee.com)
ιάγραµµα δραστηριότητας (activity diagram) της λειτουργίας του Evaluate
Αρχική σελίδα
Ερωτήσεις
Λάθος απαντήσεις
Ολοκλήρωση - Αποτελέσµατα
Αποτελέσµατα Σωστές απαντήσεις ανά υποενότητα Σωστές απαντήσεις κατά ταξινόµηση Bloom 100% 90% 95% 95% 95% 100% 80% 70% 80% 70% 75% 75% 75% 60% 40% 55% ΣΤ'1 ΣΤ'2 60% 40% 55% 45% ΣΤ'1 ΣΤ'2 20% 25% 20% 0% ΓΕΝΙΚΕΣ ΕΡΩΤΗΣΕΙΣ ΠΡΑΞΕΙΣ - ΣΥΝΑΡΤΗΣΕΙΣ ΓΡΑΦΗΜΑΤΑ ΛΙΣΤΕΣ ΥΠΟΕΝΟΤΗΤΕΣ 0% 0% ΑΝΑΚΛΗΣΗ Ε ΟΜΕΝΩΝ ΚΑΤΑΝΟΗΣΗ ΕΦΑΡΜΟΓΗ ερωτήσεις κατά Bloom
Αποτελέσµατα βοήθειας ΧΡΗΣΗ ΤΗΣ ΒΟΗΘΕΙΑΣ ΑΠΟΤΕΛΕΣΜΑΤΑ ΒΟΗΘΕΙΑΣ 27% 43% ΝΑΙ ΣΩΣΤΕΣ ΑΠΑΝΤΗΣΕΙΣ 57% ΌΧΙ ΛΑΘΟΣ ΑΠΑΝΤΗΣΕΙΣ 73% ΑΠΟΤΕΛΕΣΜΑΤΑ ΒΟΗΘΕΙΑΣ ΑΝΑΛΟΓΑ ΜΕ ΤΟΝ ΒΑΘΜΟ ΥΣΚΟΛΙΑΣ 100% 80% 14,6% 19,7% 38,7% 60% ΛΑΘΟΣ ΑΠΑΝΤΗΣΕΙΣ 40% 85,4% 80,3% 61,3% ΣΩΣΤΕΣ ΑΠΑΝΤΗΣΕΙΣ 20% 0% ΕΥΚΟΛΕΣ ΜΕΤΡΙΕΣ ΥΣΚΟΛΕΣ ΒΑΘΜΟΣ ΥΣΚΟΛΙΑΣ
Στατιστικός έλεγχος Πραγµατοποιήθηκε στατιστικός έλεγχος, µε την χρήση του µηπαραµετρικού τεστ Wilcoxon-rank sum test, και ελέγχθηκε για επίπεδο σηµαντικότητας p < 0.01 (τέθηκε σηµαντικό όριο η τιµή 0.01). Το Wilcoxon rank-sum test ελέγχει την µηδενική υπόθεση πως ταδεδοµέναµεταξύδύοκατανοµών xκαι yείναιδείγµατααπό συνεχείς κατανοµές µε ίσες διάµεσους εναντίον της εναλλακτικής περίπτωσης του να µην είναι. Το τεστ υποθέτει πωςταδύοδείγµαταείναιανεξάρτηταενώτα xκαι yµπορείνα έχουν διαφορετικό µέγεθος. Από τους ελέγχους που πραγµατοποιήθηκαν, σύµφωνα µε τα ερωτήµατα που τέθηκαν προς µελέτη, αποδείχθηκε πως στις περιπτώσεις όπου αναδείχθηκαν διαφορές, το επίπεδο σηµαντικότητας ήταν πολύ µικρότερο της αρχικής µας υπόθεσης (p < 0.00001), δίνοντας έτσι ακόµη µεγαλύτερη βαρύτητα στα συµπεράσµατα της µελέτης.
Ερώτηµα 1 ο : ύπαρξη συσχέτισης ανάµεσα στις µεταβλητές φύλου του µαθητή και απαντήσεων στις ταξινοµηµένες ερωτήσεις κατά Bloom
Ερώτηµα 2 ο : ύπαρξη συσχέτισης ανάµεσα στις µεταβλητές του φύλου, της βοήθειας που προσφέρεται και της αξιοποίησης της βοήθειας
η ύπαρξη σχέσης µεταξύ των απαντήσεων που έδιναν οι µαθητές σε ερωτήσεις από κάθε υποενότητα και του βαθµού δυσκολίας που παρουσίαζε κάθε µια από αυτές τις ερωτήσεις
Ερώτηµα 3 ο : ύπαρξη συσχέτισης του βαθµού δυσκολίας µιας ερώτησης µε την παροχή βοήθειας
Αξιολόγηση Evaluate (1) Α. Ως προς την εκπαιδευτική διάσταση της εφαρµογής 1. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς το περιεχόµενο (ερωτήσεις πολλαπλής επιλογής, αντικειµενικότητα αξιολόγησης, κάλυψη ύλης Α.Π.Σ.); 2. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την παρουσίαση (χρήση πολυµέσων, ευχρηστία, ευκολία ); 3. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την αλληλουχία των ερωτήσεων (σχέση ερώτησης-απάντησης); 4. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την ανατροφοδότηση που παρέχει στους µαθητές ; Β. Ως προς την τεχνική διάσταση της εφαρµογής 1. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την διεπαφή προς τον µαθητή (ευκολία, ευχρηστία, φιλικότητα); 2. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την αξιοπιστία της (απώλεια δεδοµένων, µη αναµενόµενες ενέργειες); 3. Πώς θα κρίνατε την εφαρµογή Evaluate ως προς την προσαρµοστικότητα της (στην ιδιότητα του περιεχοµένου, στην ιδιότητα της παρουσίασης);
Αξιολόγηση Evaluate (2) Εκπαιδευτική διάσταση 100% 80% 86,7% Αξιολόγηση Evaluate: Εκπαιδευτική ιάσταση 90,0% 90,0% 60% 60,0% άριστη πολύ καλή 40% 40,0% καλή µέτρια 20% 13,3% 10,0% 10,0% ανεπ αρκής Τεχνική διάσταση 0% 100% περιεχόµενο παρουσίαση αλληλουχία ερωτήσεων ανατροφοδότηση ιδιότητες 90,0% Αξιολόγηση Evaluate : Τεχνική ιάσταση 80% 60% 40% 60,0% 40,0% 40,0% 33,3% 26,7% άριστη πολύ καλή καλή µέτρια 20% 10,0% ανεπαρκής 0% διεπαφή αξιοπιστία προσαρµοστικότητα ιδιότητες
Οικονοµική διάσταση Περιλαµβάνει τις ιδιότητες: δαπάνες, συµβόλαια και χορήγηση αδειών και αποτελεσµατικότητα δαπανών. Οι ιδιότητες αυτές δεν µπορούν να εξεταστούν, όσον αφορά την εφαρµογή evaluate καθώς πρόκειται για µια µη εµπορική εφαρµογή, σχεδιασµένη για εκπαιδευτικούς σκοπούς, η οποία συµπληρώνεται διαδικτυακά.
Προτάσεις - µελλοντικοί στόχοι Παράλληλα µε την αξιολόγηση, οι ερωτήσεις θα µπορούν να αποτελούν οδηγό για την ύλη που θα πρέπει να καλύψει ο εκπαιδευτικός, ώστε οι µαθητές να είναι σε θέση να απαντούν µε επιτυχία τις ερωτήσεις του Evaluate. Επέκταση του Evaluate και στις άλλες θεµατικές ενότητες του Α.Π.Σ., µε σκοπό να αποτελεί ένα ολοκληρωµένο σύστηµα αξιολόγησης της συνολικής επίδοσης των µαθητών. Το Evaluate να αποτελέσει το έναυσµα για την περαιτέρω ενασχόληση µε το θέµα της αξιολόγηση των µαθητών της πρωτοβάθµιας εκπαίδευσης στο µάθηµα των Τ.Π.Ε. Στόχος θα αποτελέσει η σύνδεση της αξιολόγησης µε την απονοµή πιστοποίησης γνώσης ηλεκτρονικών υπολογιστών στο τέλος της ΣΤ' τάξης, που να αποτυπώνει την γνώση που έχουν κατακτήσει, µέχρι την δεδοµένη χρονική στιγµή.
Σας ευχαριστώ για την προσοχή σας