γλώσσας και την πιστοποίηση ελληνομάθειας

Transcript

1 Λογισμικό αναγνωσιμότητας ελληνικών κειμένων: ένα νέο εργαλείο για τη διδασκαλία της ελληνικής ως ξένης/δεύτερης γλώσσας και την πιστοποίηση ελληνομάθειας Δημήτριος Τζιμώκας, Σωτήριος Τάντος

2 Θεσμικό πλαίσιο υλοποίησης «Πράξη 54: Πιστοποίηση ελληνομάθειας: υποστήριξη και ποιοτική ανάδειξη της διδασκαλίας/εκμάθησης της ελληνικής ως ξένης/δεύτερης γλώσσας» Παραδοτέο Π2α8: «Ορισμός νέων παραμέτρων για τη βελτίωση του υπάρχοντος λογισμικού αναγνωσιμότητας κειμένων» Επανασχεδιασμός του παλαιότερου ανάλογου λογισμικού grval 1.1 της «Πύλης για την Ελληνική Γλώσσα» ( s/readability/index.html). 2

3 Στόχοι Πιο αξιόπιστη και εγκυρότερη λύση για την αξιολόγηση της δυσκολίας των ελληνικών κειμένων των θεμάτων πιστοποίησης ελληνομάθειας του ΚΕΓ Χρηστικό βοήθημα για τους διδάσκοντες την ελληνική ως ξένη/δεύτερη γλώσσα στην επιλογή των κατάλληλων κειμένων για το επίπεδο ελληνομάθειας των μαθητών τους. 3

4 Αναγνωσιμότητα κειμένων Τα κριτήρια αναγνωσιμότητας αποτελούν ενδείξεις του βαθμού δυσκολίας ανάγνωσης και κατανόησης ενός κειμένου. Πιο συγκεκριμένα, αποτελούν στατιστικούς δείκτες βαθμολόγησης ενός κειμένου όσον αφορά τη δυσκολία (ή ευκολία) που το κείμενο αυτό παρουσιάζει κατά την ανάγνωσή του. 4

5 Αναγνωσιμότητα κειμένων Ο υπολογισμός της αναγνωσιμότητας ενός κειμένου εξαρτάται από πολλούς παράγοντες, υπολογίσιμους ή μη. Οι μετρήσιμοι παράγοντες αναφέρονται στην "υλική" διάσταση ενός γραπτού κειμένου και στις ενδείξεις της επιφάνειας του κειμένου που μπορούν να υπολογιστούν με τρόπο αντικειμενικό, χωρίς αποκλίσεις οφειλόμενες στον κάθε αναγνώστη: αριθμός των συλλαβών ανά λέξη και των λέξεων ανά πρόταση αριθμός των πολυσύλλαβων λέξεων ενός κειμένου αριθμός των προτάσεων αριθμός των προθημάτων/επιθημάτων κ.λπ. 5

6 Φάσεις υλοποίησης παραδοτέου 1. Προσδιορισμός των κειμενικών παραμέτρων της αναγνωσιμότητας από ερευνητική ομάδα γλωσσολόγων. 2. Ανάπτυξη νέου μαθηματικού προτύπου με βάση τη στατιστική μοντελοποίηση πολυωνυμικής λογιστικής παλινδρόμησης (multinomial logistic regression). 3. Ανάπτυξη σχετικής ιστοσελίδας με ενσωματωμένο τον νέο τύπο υπολογισμού αναγνωσιμότητας προς χρήση του κοινού. 6

7 Φάση 1 η : προσδιορισμός κειμενικών παραμέτρων Η ερευνητική ομάδα γλωσσολόγων: Αραποπούλου Μαρία (ΚΕΓ) Αρχάκης Αργύρης (παν/μιο Πατρών) Μητρούση Ευδοξία (ΚΕΓ) Παπαδοπούλου Δέσποινα (ΑΠΘ) Τζιμώκας Δημήτριος (ΚΕΓ) Τσαγγαλίδης Αναστάσιος (ΑΠΘ) 7

8 Φάση 1 η : προσδιορισμός κειμενικών παραμέτρων Η ερευνητική ομάδα προέκρινε δεκαέξι (16) κειμενικές παραμέτρους οι οποίες περιλαμβάνουν: παραμέτρους που χρησιμοποιούν μερικοί από τους πιο διαδεδομένους τύπους υπολογισμού του βαθμού αναγνωσιμότητας διεθνώς, όπως οι FleschReadingEase, Flesch- KincaidGradeLevel, SMOG και FleschFogIndex, τις οποίες χρησιμοποιούσε και το παλαιότερο λογισμικό παραμέτρους βάσει πρόσφατης σχετικής βιβλιογραφίας ειδικά για την ελληνική γλώσσα 8

9 Φάση 1 η : προσδιορισμός κειμενικών παραμέτρων Οι κειμενικές παράμετροι: 1. συνολικός αριθμός λέξεων (+), 2. αντωνυμικοί τύποι της νέας ελληνικής (-), 3. «εύκολες» λέξεις της νέας ελληνικής (-), 4. αριθμός συλλαβών ανά 100 λέξεις (Flesch) (+), 5. αριθμός των λέξεων πλέον των δύο συλλαβών ανά 30 προτάσεις (SMOG) (+), 6. αριθμός προτάσεων ανά 100 λέξεις (Flesch) (-), 7. Guiraud s R (+) 8. ποσοστό προτάσεων με μήκος μεγαλύτερο των 30 λέξεων (+), 9. μέσο μήκος προτάσεων σε χαρακτήρες (Fog) (+), 10. προθήματα και επιθήματα της νέας ελληνικής (Fog) (+), 11. μεσοπαθητικά ρήματα, αποθετικά, ασταθή (+), 12. τύποι όντας/-ώντας (+), 13. κύρια ονόματα (-), 14. σύνδεσμοι της νέας ελληνικής (+), 15. λόγιοι επιρρηματικοί τύποι (+), 16. μέσος αριθμός επιθέτων και επιθετικών μετοχών ανά πρόταση (+) 9

10 ΣΚΟΠΟΣ: ανάπτυξη μαθηματικούστατιστικού προτύπου για την αυτόματη κατηγοριοποίηση κειμένων ελληνικής γλώσσας στα έξι επίπεδα γλωσσομάθειας των εξετάσεων πιστοποίησης του ΚΕΓ: Α1, Α2, Β1, Β2, Γ1, Γ2 (με αυξανόμενο βαθμό δυσκολίας από Α1 σε Γ2). 10

11 ΜΕΘΟΔΟΣ: 1. Κατάρτιση : α) σώματος κειμένων εκπαίδευσης (586 κείμενα) για την ανάπτυξη του στατιστικού προτύπου και β) σώματος κειμένων ελέγχου (119 κείμενα) για την επικύρωση του στατιστικού προτύπου. Προέλευση γλωσσικού υλικού: θέματα εξετάσεων, δειγματικά θέματα ιστοσελίδας πιστοποίησης και τράπεζα κειμένων ιστοσελίδας πιστοποίησης για όλα τα επίπεδα. Όλα τα κείμενα ήταν εκ των προτέρων επεξεργασμένα και διαβαθμισμένα ανά επίπεδο ελληνομάθειας βάσει του αναλυτικού εξεταστικού προγράμματος του ΚΕΓ. 11

12 ΜΕΘΟΔΟΣ: 2. Στατιστική συσχέτιση: μεταξύ της διακριτής εξαρτημένης μεταβλητής του επιπέδου γλωσσομάθειας και καθεμιάς από τις 16 ανεξάρτητες γλωσσολογικές μεταβλητές των κειμένων μεταβλητές με την μεγαλύτερη ισχύ συσχέτισης (δείκτης Kendall tau b 1938). Όλες οι γλωσσολογικές μεταβλητές, εκτός των αντωνυμικών τύπων, βρέθηκαν να έχουν ικανοποιητική συσχετιστική ισχύ με τα επίπεδα δυσκολίας. 12

13 ΜΕΘΟΔΟΣ: 3. Υιοθέτηση του στατιστικού προτύπου της Πολλαπλής Λογιστικής Παλινδρόμησης (Multinomial Logistic Regression) (Garson 2013) διότι: προσφέρεται για πρόβλεψη βάσει των τιμών ισχύος συσχέτισης των γλωσσολογικών μεταβλητών ο αριθμός των κειμένων στο σώμα εκπαίδευσης ήταν ικανοποιητικά μεγάλος (πάνω από 20 ανά μεταβλητή) 13

14 ΜΕΘΟΔΟΣ: 4. Προσθήκη επιπλέον μη γλωσσολογικής μεταβλητής: κοινώς αποδεκτά όρια στην έκταση των κειμένων ανά επίπεδο ελληνομάθειας βάσει του πίνακα στον ιστοχώρο της πιστοποίησης ελληνομάθειας στατιστικά σημαντική συμβολή στην ακρίβεια της πρόβλεψης μια πρώτη κατηγοριοποίηση ανά επίπεδο με βάση τον συνολικό αριθμό λέξεων 14

15 ΜΕΘΟΔΟΣ: 5. Επιλογή των μεταβλητών με την μεγαλύτερη προβλεπτική ισχύ Αποκλείστηκαν μεταβλητές με αρνητική επίδραση στην ευστάθεια του στατιστικού προτύπου λόγω πολυγραμμικότητας (multicollinearity) (Garson 2013). 6. Εξαίρεση από το σώμα κειμένων εκπαίδευσης μικρού αριθμού κειμένων (18 από τα 586) με δυσανάλογα αρνητική επίδραση στην προσαρμογή του μοντέλου στα δεδομένα (model fit). 15

16 ΜΕΘΟΔΟΣ: Γλωσσολογικές παράμετροι που εξετάστηκαν (1): Χ1 = Μέσο μήκος προτάσεων σε χαρακτήρες Χ2 = Αριθμός προτάσεων ανά 100 λέξεις Χ3 = Αριθμός λέξεων Χ4 = Συλλαβές ανά λέξη Χ5= Αντωνυμικοί τύποι/100 λέξεις Χ6 = Εύκολες λέξεις / 100 λέξεις Χ7 = Μεγάλες λέξεις / 100 λέξεις Χ8 = Giraud s R X9 = Ποσοστό μεγάλων προτάσεων Χ10 = Λέξεις με προθήματα - επιθήματα / 100 λέξεις Χ11 = Λέξεις μεσοπαθητικής μορφολογίας / 100 λέξεις Ομαδοποιήθηκα ν σε μία μεταβλητή λόγω συνάφειας 16

17 ΜΕΘΟΔΟΣ: Γλωσσολογικές παράμετροι που εξετάστηκαν (2): Χ12 = Λέξεις σε -οντας και -ώντας / 100 λέξεις Χ13 = Κύρια ονόματα / 100 λέξεις Χ14 = Σύνδεσμοι / 100 λέξεις Χ15 = Λόγιοι επιρρηματικοί τύποι / 100 λέξεις Χ16 = Μετοχές / 100 λέξεις 17

18 Α παραλλαγή: εξίσωση στατιστικού προτύπου υπολογισμού αναγνωσιμότητας με έκταση κειμένου 18

19 Αντιστοίχηση και Κατηγορία j παράμετροι bij μεταβλητών j=1 j=2 j=3 j=4 j=5 b0j y1->x1 b1j y2->x2 b2j y3->x3 b3j y4->x5 b4j y5->x6 b5j y6->x7 b6j y7->x8 b7j y8->x10 b8j y9 ->x11 b9j y10->x13 b10j y11->x14 b11j y12->x15 b12j y13->x16 b13j y14->x17 b14j

20 Β παραλλαγή: εξίσωση στατιστικού προτύπου υπολογισμού αναγνωσιμότητας χωρίς έκταση κειμένου 20

21 Αντιστοίχηση και Κατηγορία j παράμετροι bij μεταβλητών j=1 j=2 j=3 j=4 j=5 b0j y1->x2 b1j y2->x5 b2j y3->x6 b3j y4->x7 b4j y5->x8 b5j y6->x10 b6j y7->x11 b7j y8->x13 b8j y9->x14 b9j

22 Αξιολόγηση στατιστικού προτύπου: Έλεγχος εάν κατηγοριοποιεί σωστά τα κείμενα επί των οποίων εκπαιδεύτηκε βάσει των δεικτών της ανάκλησης και της ακρίβειας. Ανάκληση: ποσοστό των κειμένων που κατηγοριοποιήθηκαν σωστά σε μια συγκεκριμένη κατηγορία. Ακρίβεια: πιθανότητα ορθής εκτίμησης μιας κατηγορίας λόγος αριθμού ορθώς κατηγοριοποιημένων κειμένων προς συνολικό αριθμό κειμένων που εντάχθηκαν στην εκάστοτε κατηγορία. 22

23 Αξιολόγηση στατιστικού προτύπου: Η αξιολόγηση πραγματοποιήθηκε και στις δύο παραλλαγές του στατιστικού προτύπου. Αποτελέσματα: το στατιστικό πρότυπο βρέθηκε θα υπερβαίνει σε ακρίβεια κατά πολύ τα ελάχιστα διεθνώς καθιερωμένα κριτήρια-όρια ακρίβειας βάσει των Classification Matrices του Πανεπιστημίου του Τέξας. 23

24 Αξιολόγηση στατιστικού προτύπου: Τιμές ανάκλησης και ακρίβειας του σώματος ελέγχου με την έκταση κειμένου Παρατηρηθείσα κατηγορία Προβλεφθείσα κατηγορία Ποσοστά (%) Α1 Α2 B1 B2 Γ1 Γ2 Ανάκληση Ακρίβεια Σύνολο Α Α Β Β Γ Γ

25 Αξιολόγηση στατιστικού προτύπου: Τιμές ανάκλησης και ακρίβειας του σώματος ελέγχου χωρίς την έκταση Παρατηρηθείσα κατηγορία κειμένου Προβλεφθείσα κατηγορία Ποσοστά (%) Ανάκληση Ακρίβεια Α1 Α2 B1 B2 Γ1 Γ2 Α Α Β Β Γ Γ Σύνολ ο

26 Αξιολόγηση στατιστικού προτύπου: Σύγκριση με τα στατιστικά πρότυπα του παλαιότερου λογισμικού αναγνωσιμότητας Τιμές προτύπων Αντιστοίχιση επιπέδων γλωσσομάθειας με τις κλίμακες παλαιότερων στατιστικών προτύπων: Αντιστοιχίσεις τιμών προτύπων σε επίπεδα γλωσσομάθειας Επίπεδα Γλωσσομάθειας Α1 Α2 Β1 Β2 Γ1 Γ2 Flesch <35 FOG >52 SMOG >14 26

27 Αξιολόγηση στατιστικού προτύπου: Σύγκριση στατιστικών προτύπων σε σώμα ελέγχου 191 κειμένων συνολικά 27

28 Αξιολόγηση στατιστικού προτύπου: Σύγκριση στατιστικών προτύπων σε σώμα ελέγχου 191 κειμένων ανά επίπεδο γλωσσομάθειας 28

29 Φάση 3 η : Ανάπτυξη ιστοσελίδας με νέο λογισμικό υπολογισμού αναγνωσιμότητας 29

30 Το αποτέλεσμα Ο χρήστης έχει πια στη διάθεσή του ένα λογισμικό αναγνωσιμότητας το οποίο: είναι «εκπαιδευμένο» βάσει σώματος αυθεντικών ελληνικών κειμένων, διαβαθμισμένων εκ των προτέρων και στα έξι ισχύοντα επίπεδα ελληνομάθειας με αυστηρά κριτήρια χρησιμοποιεί περισσότερες παραμέτρους με αυξημένη διακριτική ισχύ μεταξύ των επιπέδων ελληνομάθειας 30

31 Το αποτέλεσμα Ο χρήστης έχει πια στη διάθεσή του ένα λογισμικό αναγνωσιμότητας το οποίο: δίνει εκτίμηση για την απευθείας αντιστοίχιση βαθμού αναγνωσιμότητας επιπέδου ελληνομάθειας υπολογίζει τις πιθανότητες που αντιστοιχούν σε όλα τα επίπεδα ελληνομάθειας, ώστε ο διδάσκων ή ο ερευνητής να εστιάσει σε ορισμένες από αυτές (συνήθως 2) με τις μεγαλύτερες τιμές 31

32 Βιβλιογραφία Γιάγκου, Μαρία (2009). Σώματα Κειμένων και Γλωσσική Εκπαίδευση: Δυνατότητες Αξιοποίησης στη Διδασκαλία της Ελληνικής και Συγκρότηση Παιδαγωγικά Κατάλληλων Σωμάτων Κειμένων. Αδημοσίευτη διδακτορική διατριβή, Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών. DuBay, William H. (2004). The Principles of Readability. Costa Mesa, California: Impact Information. Garson, G. D. (2012). Discriminant Function Analysis. Asheboro, NC: Statistical Associates Publishers. Garson, G. D. (2013). Logistic Regression: Binomial and Multinomial. Asheboro, NC: Statistical Associates Publishers. Rijsbergen, C.J. VAN ( ). Information Retrieval. London: Butterworths 32