Αντώνης Βεντούρης Επίκουρος Καθηγητής Διδακτικής των Γλωσσών Τμήμα Ιταλικής Γλώσσας και Φιλολογίας Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Δυσκολία κειμένων Δυσκολία ερωτημάτων (items)
Ίση βαρύτητα πιστοποιητικών ίδιου επιπέδου αλλά διαφορετικών εξεταστικών περιόδων Αξιοπιστία και εγκυρότητα εξετάσεων Συνέπεια προδιαγραφών συστημάτων πιστοποίησης γλωσσομάθειας
Φόρμουλες που χρησιμοποιούν παραδοσιακά κριτήρια αναγνωσιμότητας Φόρμουλες που βασίζονται σε γνωσιακές θεωρίες (cognitive theories) Φόρμουλες που βασίζονται σε στατιστικές αναλύσεις Μικτές μέθοδοι
Κριτήρια που στηρίζονται σε μετρήσεις «επιφανείας»: Πλήθος γραμμάτων ή συλλαβών λέξεων Πλήθος λέξεων σε κάθε πρόταση Πλήθος περιόδων ενός κειμένου (Chall and Dale 1995, Smith et al.1989, Miltsakaki and Troutt 2007, 2008)
New Dale Chall Readability Formula (Chall and Dale 1995), Lexile framework (Smith et al. 1989), Advantage-TASA Open Standard for Readability (ATOS) formula (School Renaissance Inst., Inc. 2000), Read-X tool (Miltsakaki and Troutt 2007, 2008), Lexile, Flesch Kincaid (Flesch-Vacca), GulpEase, READ IT (Dell Orletta et al. 2011).
Κριτήρια πραγματολογικά και σημασιολογικά Στοιχεία συνοχής και συνεκτικότητας (Britton and Gülgöz 1991, Kintsch 1988, McNamara and Kintsch 1996)
Coh-Metrix DeLite software http://www.readabilityformulas.com/freetests/six-readability-formulas.php
Statistical language modeling (SLM): Βασίζεται στην πιθανότητα μία ή περισσότερες λέξεις να παράγονται από ένα γλωσσικό μοντέλο ή ένα συγκεκριμένο επίπεδο σπουδών, ανεξάρτητα από το περιβάλλον στο οποίο βρίσκονται. Πχ η στατιστική ανάλυση ενός μεγάλου κειμένου δείχνει ότι η λέξη red είναι πιθανότερο να βρίσκεται σε κείμενα που απευθύνονται σε άτομα δημοτικής εκπαίδευσης παρά σε άτομα μέσης εκπαίδευσης, ανεξάρτητα από το περιβάλλον ή το θέμα του κειμένου.
Support vector machines (SVMs): Επιτρέπουν τη λήψη ποικιλίας εισιόντων (inputs) και να τα κατατάξουν με βάση δεδομένα που έχουν προκύψει από προηγούμενη ανάλυση. (Benjamin 2011)
Κατασκευή φόρμουλας με βάση ένα συγκεκριμένο κοινό Ύπαρξη προβλεπτικής εγκυρότητας φόρμουλας Διαθεσιμότητα για άμεση χρήση Έκταση ειδικής εκπαίδευσης που απαιτείται για την εκμάθηση της χρήσης της (Benjamin, 2011)
Αποτελεσματικότητα γνωσιακής φόρμουλας για την πρόβλεψη της δυσκολίας κειμένου συγκεκριμένου επιπέδου για φοιτητές πρώτου έτους του Τμήματος Ιταλικής Γλώσσας και Φιλολογίας
30 φοιτητές επιπέδου Β1, οι οποίοι δύο μήνες πριν τη στιγμή της συλλογής των δεδομένων της έρευνας είχαν εξεταστεί με τη χρήση κοινού τεστ και είχαν επιδείξει περίπου την ίδια επίδοση, χωρίστηκαν σε δύο ομάδες των 15 ατόμων, και υποβλήθηκαν σε διαφορετικό τεστ, ίδιου γλωσσικού επιπέδου. Το τεστ της πρώτης ομάδας προβλέφθηκε να είναι χαμηλότερης δυσκολίας σε σχέση με αυτό της δεύτερης.
Για τον έλεγχο του βαθμού δυσκολίας των κειμένων χρησιμοποιήθηκαν δύο φόρμουλες, η φόρμουλα GULPEASE και η φόρμουλα DYLAN TEXTOOLS V2.1.9. Η πρώτη χρησιμοποιεί «παραδοσιακά» κριτήρια ενώ ή δεύτερη συνδυάζει «παραδοσιακά» με γνωσιακά. (Dell Orletta et al. 2011)
Έλεγχος προβλεπτικής εγκυρότητας των δύο μεθόδων με τον a-posteriori έλεγχο του βαθμού δυσκολίας των ερωτημάτων και τη σύγκριση του τελικού αποτελέσματος των δύο ομάδων της έρευνας.
Ανάλυση δυσκολίας κειμένου ερωτημάτων Διατύπωση με κοινές προδιαγραφές
1 Ο ΤΕΣΤ 2 Ο ΤΕΣΤ
Η χρήση γνωσιακών μεθόδων έχει σημαντική προβλεπτική εγκυρότητα σχετικά με τη δυσκολία των κειμένων Προφανώς έχει νόημα η χρησιμοποίησή τους για τον καθορισμό ή/και τη ρύθμιση του βαθμού δυσκολίας των κειμένων κατανόησης ενός τεστ πιστοποίησης γλωσσομάθειας. Ίσως να είναι χρήσιμη η συμπλήρωση των κριτηρίων με άλλα, ακόμη και άλλου μεθοδολογικού προσανατολισμού.
Benjamin, R. (2011). Reconstructing Readability: Recent Developments and Recommendations in the Analysis of Text Difficulty. Educ Psychol Rev (2012) 24:63 88 DOI 10.1007/s10648-011-9181-8. Britton, B., Gülgöz, S. (1991). Using Kintsch s computational model to improve instructional text: Effects of repairing inference calls on recall and cognitive structures. Journal of Educational Psychology, 83(3), 329 345. doi:10.1037/0022-0663.83.3.329. Chall, J. S., & Dale, E. (1995). Readability revisited: The new Dale Chall readability formula. Cambridge: Brookline Books. Dell Orletta, F., Montemagni, S., Venturi, G. (2011). Assessing Readability of Italian Texts with a View to Text Simplification. Proceedings of the 2nd Workshop on Speech and Language Processing for Assistive Technologies, 73 83, Edinburgh, Scotland, UK, July 30, 2011. Kintsch, W. (1988). The role of knowledge in discourse comprehension: A construction integration model. Psychological Review, 95(2), 163 182. doi:10.1037/0033-295x.95.2.163. McNamara, D., Kintsch, W. (1996). Learning from texts: Effects of prior knowledge and text coherence. Discourse Processes, 22(3), 247 288 doi:10.1080/0163853 9609544975. Miltsakaki, E., Troutt, A. (2007). Read-X: Automatic evaluation of reading difficulty of web text. Proceedings of E-Learn 2007, sponsored by the Association for the Advancement of Computing in Education. Quebec, Canada. Miltsakaki, E., & Troutt, A. (2008). Real-time web text classification and analysis of reading difficulty. In J. Tetreault, J. Burstein, & R. De Felice (Eds.), EANL '08 Proceedings of the Third Workshop on Innovative Use of NLP for Building Educational Applications (pp. 89 97). Morristown: Association for Computational Linguistics. Smith, D., Stenner, A.J., Horabin, I., Smith, M. (1989). The Lexile scale in theory and practice: Final report. Washington, DC: MetaMetrics (ERIC Document Reproduction Service No. ED307577).
Gracias! Obrigado!!! Vi ringrazio per la vostra partecipazione Ευχαριστώ!!! Thank you!!! Merci!!!