Βασικά ποσοτικά µεγέθη στην γραπτή Νέα Ελληνική γλώσσα: η αξιοποίηση του ΕΘΕΓ στην ελληνική ποσοτική γλωσσολογία

Transcript

1 Βασικά ποσοτικά µεγέθη στην γραπτή Νέα Ελληνική γλώσσα: η αξιοποίηση του ΕΘΕΓ στην ελληνική ποσοτική γλωσσολογία 1 Γεώργιος Μικρός, 2 Νίκος Χατζηγεωργίου, 2 Γεώργιος Καραγιάννης 1 Πανεπιστήµιο Αθηνών, 2 Ινστιτούτο Επεξεργασίας του Λόγου Abstract The aim of this research is the exploitation of Hellenic National Corpus (HNC) in obtaining some basic quantitative information (Zipf s law, word length distribution etc.) regarding written Modern Greek language. A first attempt to investigate these quantitative properties of Modern Greek based on a smaller version of HNC (13 million words) can be found in Hatzigeorgiu, Mikros, Carayannis (2001). In this paper we will compare the findings from the first version of HNC with the ones obtained from the current version (33 million words). Furthermore, we will publish some initial findings regarding the letter frequencies in MG and the word distribution in texts. Keywords: Quantitative linguistics, Hellenic National Corpus, Zipf s law, word length, letter frequency, 1000 most frequent words 1 Εισαγωγή Η ποσοτική διερεύνηση της γλωσσικής δοµής µιας γλώσσας αποτελεί έναν από τους σηµαντικότερους στόχους της σύγχρονης γλωσσολογικής έρευνας. Η παροχή Ηλεκτρονικών Σωµάτων Κειµένων (ΗΣΚ) σε συνδυασµό µε την ανάπτυξη κατάλληλών υπολογιστικών και στατιστικών τεχνικών για τη διαχείριση γλωσσικών δεδοµένων έχουν εισαγάγει ποσοτικές µεθόδους στην ανάλυση του συνόλου των γλωσσολογικών επιπέδων (ενδ. Bod, Hay & Jannedy 2003). Η αυξηµένη χρήση ποσοτικών µεθόδων στη γλωσσική ανάλυση την τελευταία δεκαετία εξηγείται εν µέρει και από την αυξηµένη αποτελεσµατικότητα που επιδεικνύουν αυτές σε πλήθος εργασιών που σχετίζονται µε την Επεξεργασία Φυσικής Γλώσσας (Manning & Schütze 1999). Η γενικότερη αυτή τάση στη γλωσσολογική έρευνα επιβεβαιώνεται και στην µελέτη της Νέας Ελληνικής (ΝΕ) γλώσσας. Σε µια πρόσφατη έρευνα (Mikros υπό δηµοσίευση) διαπιστώθηκε ότι η χρήση ποσοτικών µεθόδων στις γλωσσολογικές έρευνες της ΝΕ

2 ακολουθεί εκθετική αύξηση, µε το ποσοστό της να έχει πενταπλασιαστεί την δεκαετία του 90 σε σχέση µε την δεκαετία του 80. Μια σηµαντική εξέλιξη στην αξιοποίηση των ποσοτικών µεθόδων στην ελληνική γλωσσολογία αποτέλεσε και η ανάπτυξη του Εθνικού Θησαυρού της Ελληνικής Γλώσσας (ΕΘΕΓ) (Hatzigeorgiu et. al. 2000) από το Ινστιτούτο Επεξεργασίας του Λόγου. Σε προηγούµενη έρευνα (Hatzigeorgiu, Mikros, Carayannis 2001) αξιοποιήσαµε την πρώτη έκδοση του ΕΘΕΓ (13 εκ. λέξεις) για να διερευνήσουµε την εφαρµογή του πρώτου νόµου του Zipf στις 1000 συχνότερες λέξεις και λήµµατα της ΝΕ, καθώς και για να υπολογίσουµε ορισµένα βασικά ποσοτικά µεγέθη σε γραπτά κείµενα της ΝΕ γλώσσας, όπως, το µέσο µήκος των λέξεων και η κατανοµή της συχνότητας των γραµµατικών κατηγοριών. Οι µετρήσεις αυτές µας έδωσαν τα πρώτα ποσοτικά στοιχεία για το υψίσυχνο λεξιλόγιο της ΝΕ. Ωστόσο, η νέα έκδοση του ΕΘΕΓ έχει υπερδιπλάσιο µέγεθος γεγονός που καθιστά την ανανέωση των βασικών αυτών µετρήσεων επιβεβληµένη. Ειδικότερα, οι ερευνητικοί στόχοι της παρούσας εργασίας είναι: α) Η δηµοσίευση των 1000 συχνότερων λέξεων και ληµµάτων του ΕΘΕΓ, η σύγκρισή τους µε την παλαιότερη λίστα και η συσχέτιση της διαφοράς µε τα ποσοστά αλλαγής στην σύσταση των θεµατικών κατηγοριών του ΕΘΕΓ. β) Η διερεύνηση της εφαρµογής του νόµου του Zipf στις συχνότερες λέξεις της νέας έκδοσης του ΕΘΕΓ. γ) Η δηµοσίευση της πρώτης συγκεντρωτικής λίστας συχνότητας γραµµάτων για τη ΝΕ. δ) Η προκαταρκτική διερεύνηση της κατανοµής του µήκους των λέξεων στην ΝΕ γλώσσα και η συσχέτισή της µε την σχετική θέση των 1000 συχνότερων λέξεων του ΕΘΕΓ. Η διερεύνηση των παραπάνω ερευνητικών στόχων θα βοηθήσει σηµαντικά την ποσοτική περιγραφή της ΝΕ γλώσσας και ειδικότερα του λεξιλογίου της. Οι παραπάνω µετρήσεις θα δώσουν σηµαντική ώθηση στα πειράµατα αυτόµατης κειµενικής κατηγοριοποίησης και υφοµετρικής ανάλυσης που ήδη διεξάγονται για τη ΝΕ (Mikros & Carayannis, 2000; Tambouratzis et al., 2000) και θα διευκολύνουν πολλές εργασίες υπολογιστικής επεξεργασίας ελληνικών γλωσσικών δεδοµένων, όπως η κατασκευή µηχανών αναζήτησης στο ελληνικό Web. Επιπλέον, θα θεµελιώσουν τον κλάδο της ποσοτικής γλωσσολογίας που στην Ελλάδα έχει παραµεληθεί σηµαντικά σε σχέση µε την πρόοδο που έχει γίνει σε άλλες γλώσσες (π.χ. Saukkonen 1994, Hammerl & Sambor 1993, Tesitelova 1992). 2 Ο ΕΘΕΓ Ο ΕΘΕΓ, τα εργαλεία για την κατασκευή του, καθώς και όλα τα εργαλεία που χρησιµοποιήθηκαν για τα αποτελέσµατα αυτού του άρθρου έχουν κατασκευαστεί από το Ινστιτούτο Επεξεργασίας του Λόγου. Ο ΕΘΕΓ είναι ένα δυναµικό ΗΣΚ της γραπτής Νέας Ελληνικής γλώσσας. Αυτή τη στιγµή περιλαµβάνει περισσότερα από κείµενα που

3 δηµοσιεύτηκαν µετά το 1976 και αποτελούνται από περισσότερες από 33 εκατοµµύρια λέξεις. Για τον ΕΘΕΓ έχει κατασκευαστεί µια διεπαφή χρήστη για το διαδίκτυο (δηλαδή ένα web interface) και µπορεί να χρησιµοποιηθεί µε συνδροµή από οποιονδήποτε ενδιαφερόµενο ερευνητή 1. Τα κείµενα που περιέχει ο ΕΘΕΓ έχουν κατηγοριοποιηθεί µε βάση το σύστηµα PAROLE το οποίο ακολουθεί τις οδηγίες ΤΕΙ και EAGLES (EAGLES 1994). Πριν την εισαγωγή τους τα κείµενα κατηγοριοποιούνται µε βάση το Μέσο ηµοσίευσης (Medium), το Γένος (Genre), το Θέµα (Topic), το Ειδικότερο Γένος (Detailed Genre), το Ειδικότερο Θέµα (Detailed Topic), τον Εκδότη, τον Συγγραφέα και την Ηµεροµηνία Έκδοσης. Με βάση το Μέσο ηµοσίευσης τα κείµενα κατατάσσονται σε τέσσερις κατηγορίες οι οποίες φαίνονται στον Πίνακα 1, όπου έχει σηµειωθεί και η αναλογία του αριθµού των λέξεων, όπως αυτή έχει διαµορφωθεί σήµερα. Σηµειώνουµε ότι µια σηµαντική ώθηση δόθηκε όταν αριθµός εκδοτών δέχθηκε µε προθυµία να παραχωρήσει τα απαραίτητα πνευµατικά δικαιώµατα για µια τέτοια εργασία. Η κάποια ασυµµετρία που παρουσιάζει η κατανοµή των διάφορων κατηγοριών του ΕΘΕΓ σήµερα, οφείλεται στην µη σύµµετρη εµπλοκή µεγαλύτερου αριθµού εκδοτών. Πίνακας 1 Κατανοµή κειµένων στον ΕΘΕΓ Μέσο ηµοσίευσης Ποσοστό λέξεων στον ΕΘΕΓ Βιβλίο 10 Εφηµερίδα 79 Περιοδικό 4,5 Αδιευκρίνιστο 2 6,5 3 Βασικά ποσοτικά χαρακτηριστικά των 1000 συχνότερων λέξεων και ληµµάτων 3.1 Σύγκριση των 1000 συχνότερων λέξεων στις δύο εκδόσεις του ΕΘΕΓ Οι Hatzigeorgiu, Mikros, Carayannis (2001) δηµοσίευσαν την πρώτη λίστα των 100 πιο συχνών λέξεων και ληµµάτων της ΝΕ αξιοποιώντας την πρώτη έκδοση του ΕΘΕΓ, η οποία αριθµούσε συνολικά 13 εκ. λέξεις. Η αύξηση του µεγέθους του ΕΘΕΓ στα 33 εκ. λέξεις κατέστησε την επανεκτίµηση των συχνότερων λέξεων της ΝΕ επιτακτική. Οι 1000 συχνότερες λέξεις στον ΕΘΕΓ των 13 εκ. λέξεων αποτελούν το 59,9% του συνόλου των λέξεων, ενώ στον ΕΘΕΓ των 33 εκ. λέξεων το 60,4%. Παρατηρούµε εποµένως ότι σε απόλυτους αριθµούς οι 1000 συχνότερες λέξεις καταλαµβάνουν σχετικά σταθερό ποσοστό του συνολικού λεξιλογίου ενός ΗΣΚ, ακόµα και όταν προστίθεται σηµαντικός αριθµός νέων κειµένων και το µέγεθος του γίνεται 2,5 φορές µεγαλύτερο.

4 Για να εξεταστεί µε περισσότερη λεπτοµέρεια το µέγεθος της διαφοροποίησης των δύο εκδόσεων του ΕΘΕΓ ως προς το φάσµα των συχνών λέξεων προχωρήσαµε στην καταµέτρηση της συχνότητας των 1000 πιο συχνών λέξεων και στις δύο εκδόσεις του ΕΘΕΓ. Οι λίστες συχνότητας που δηµιουργήθηκαν εξισώθηκαν ως προς τις λέξεις που περιείχαν και για κάθε λέξη καταγράφηκε η συχνότητα της στις δύο εκδόσεις του ΕΘΕΓ (13 εκ. και 33 εκ.), η σχετική συχνότητα εµφάνισής της (ποσοστό της απόλυτης συχνότητας χρήσης ως προς το συνολικό µέγεθος του ΕΘΕΓ) και η σχετική θέση της λέξης στη λίστα (κατάταξη) για κάθε έκδοση. Εν συνεχεία υπολογίστηκαν η διαφορά συχνότητας και σχετικής θέσης στις δύο εκδόσεις και ελέγχθηκε κατά πόσο διαφέρουν στις δύο λίστες. Συνολικά παρατηρήθηκε ότι οι δύο λίστες στις 1000 πιο συχνές λέξεις περιλαµβάνουν 895 κοινές λέξεις (ποσοστό οµοίων λέξεων 89,5%). Για να κριθεί αν η παρατηρούµενη διαφοροποίηση είναι στατιστικά σηµαντική επιλέχθηκε η ανάλυση τους µε το µη παραµετρικό στατιστικό τεστ Wilcoxon Signed Rank Test. Το συγκεκριµένο τεστ προτιµάται γιατί δεν προϋποθέτει συγκεκριµένη κατανοµή στις ελεγχόµενες µεταβλητές. Το τεστ παίρνει υπόψη του το µέγεθος των διαφορών µεταξύ ζευγών τιµών και δίνει µεγαλύτερο βάρος σε ζεύγη που έχουν µεγάλες διαφορές από τα ζεύγη που έχουν µικρές διαφορές. Το τεστ επιβεβαίωσε ότι, τόσο στην σχετική θέση των 1000 συχνότερων λέξεων (z= -0,808, p= 0,41), όσο και στην σχετική συχνότητα εµφάνισής τους (z= -1,721, p= 0,08) δεν υπάρχει στατιστικά σηµαντική διαφοροποίηση. Εποµένως, ο διπλασιασµός του µεγέθους του ΕΘΕΓ δεν έχει επιδράσει ουσιαστικά, ούτε στην σχετική συχνότητα, ούτε στην σχετική θέση των 1000 συχνότερων λέξεων της ΝΕ. Για να επιβεβαιωθεί το συγκεκριµένο αποτέλεσµα ελέγχθηκε η συνάφεια των δύο λιστών, τόσο ως προς την σχετική θέση, όσο και ως προς την σχετική συχνότητα των 1000 συχνότερων λέξεων. Ο συντελεστής συσχέτισης που χρησιµοποιήθηκε ήταν ο Spearman r (r s ). H συσχέτιση που παρατηρήθηκε ήταν υψηλότατη, τόσο για την σχέση της σχετικής συχνότητας των δύο εκδόσεων του ΕΘΕΓ (r s = 0,89, p<0,001), όσο και για την σχέση της σχετικής θέσης (r s = 0,90, p<0,001).

5 Σχετική θέση των 1000 συχ. λέξεων ΕΘΕΓ 33 εκ. λέξεις στις 2 εκδόσεις του ΕΘΕΓ ΕΘΕΓ 13 εκ. λέξεις ιάγραµµα 1: Σύγκριση της σχετικής θέσης των 1000 συχνότερων λέξεων στις δύο εκδόσεις του ΕΘΕΓ. Το διάγραµµα διασποράς ( ιάγραµµα 1) της σχετικής θέσης των 1000 συχνότερων λέξεων στις δύο εκδόσεις του ΕΘΕΓ δείχνει την ισχυρή σταθερότητα που παρουσιάζει η σχετική θέση στο φάσµα των 1000 συχνότερων λέξεων της ΝΕ. Για να ολοκληρωθεί η σύγκριση των δύο εκδόσεων του ΕΘΕΓ πέραν των λέξεων αναλύθηκαν και οι λίστες των 1000 συχνότερων ληµµάτων. Η σύγκριση έδειξε ότι η διαφοροποίηση είναι πολύ µεγαλύτερη από τις λίστες των λέξεων. Τα κοινά λήµµατα στις δύο λίστες είναι 775 (ποσοστό οµοίων ληµµάτων 77,5%). Η ανάλυση µε Wilcoxon Signed Rank Test έδειξε µια στατιστικά σηµαντική διαφοροποίηση, τόσο στις κατατάξεις των ληµµάτων µέσα στις λίστες (Ζ= -4,64, p<0,001), όσο και στη σχετική συχνότητα εµφάνισης των ληµµάτων (Ζ= -2,16, p<0,05). 3.2 Ο νόµος του Zipf στις λέξεις και τα λήµµατα της ΝΕ Ένας από τους γνωστότερους νόµους στην ποσοτική γλωσσολογία είναι ο νόµος του Zipf που συνδέει την σχετική θέση µιας λέξης µε την συχνότητά της. Αν και παρατηρήσεις για αυτήν την σχέση είχαν ήδη διαπιστωθεί στα τέλη του 19 ου αιώνα από τον Γάλλο ψυχολόγο Estoup (Tesitelova 1992: 50), ήταν ο Zipf που έκανε ευρύτερα γνωστή τη συγκεκριµένη παρατήρηση ως πρώτος νόµος του Zipf. Σύµφωνα µε αυτόν η σχέση µεταξύ της σχετικής θέσης µιας λέξης σε µια λίστα συχνότητας λέξεων (rank order) και της συχνότητας της είναι αντιστρόφως ανάλογη και το γινόµενό τους είναι σταθερό.

6 p i Είναι ένας πολύ απλός εκθετικός νόµος (power law). Σχετίζει την σχετική θέση (r) ενός µέλους µιας διατεταγµένης λίστας µε την συχνότητα εµφάνισης (p i ) αυτού του µέλους.: b = log( pi ) = B a log( i), µε a 1 (Εξίσωση 1) a i Η εγκυρότητά του έχει παρατηρηθεί σε ένα µεγάλο εύρος φαινοµένων, συµπεριλαµβανοµένων των φυσικών γλωσσών, οικονοµικών, οικολογικών συστηµάτων και στατιστικών πρόσβασης σε δικτυακούς τόπους. Ο πρώτος νόµος του Zipf έχει αποδειχθεί ότι ισχύει για πολλές γλώσσες (Miller et al., 1958; Rousseau & Zhang, 1992). Η ερµηνεία αυτού του εµπειρικού νόµου έγκειται στην προσπάθεια του γλωσσικού συστήµατος να εξισορροπήσει τη συχνότητας µιας λέξης µε τον αριθµό των λέξεων που µοιράζονται την ίδια συχνότητα εµφάνισης. Η εξισορροπιστική αυτή τάση σε κάθε γλωσσικό σύστηµα είναι προϊόν ανταγωνισµού δύο αντίρροπων δυνάµεων. Η πρώτη ωθεί το γλωσσικό σύστηµα να περιορίσει την λεξιλογική ποικιλία που σε θεωρητικό επίπεδο θα µπορούσε να φτάσει στη µία λέξη µε τη µέγιστη δυνατή συχνότητα. Η αντίθετη δύναµη ωθεί το γλωσσικό σύστηµα σε αύξηση της λεξιλογικής ποικιλότητας τείνοντας τη θεωρητική συχνότητα για κάθε λέξη στο 1. Οι δύο αυτές δυνάµεις αντιστοιχούν σε αντίστοιχες απαιτήσεις που παρουσιάζονται στους εµπλεκόµενους σε κάθε επικοινωνιακό γεγονός. Ο ποµπός θέλει να κωδικοποιεί το µήνυµα µε την µικρότερη δυνατή προσπάθεια χρησιµοποιώντας τις ελάχιστες δυνατές λέξεις οι οποίες θα έχουν υψηλότατη συχνότητα. Αντίθετα, ο δέκτης θέλει τη µεγαλύτερη δυνατή πληροφορία από το µήνυµα που λαµβάνει, έτσι ώστε να απαιτείται η ελάχιστη δυνατή προσπάθεια αποκωδικοποίησης του. Η συχνότητα των λέξεων για τις 1000 πιο συχνές λέξεις ακολουθεί αρκετά πιστά τον νόµο του Zipf, τόσο στην έκδοση 13 εκ. λέξεων του ΕΘΕΓ, όσο και σε αυτήν των 33 εκ. λέξεων. Στο ιάγραµµα 2 παρουσιάζουµε τις καµπύλες της συχνότητας των λέξεων σε λογαριθµική κλίµακα καθώς και τις ευθείες τις καλύτερης προσαρµογής. Για τον ΕΘΕΓ των 33 εκ. λέξεων, η παράµετρος α της εξίσωσης 1 παίρνει την τιµή 0,96 ενώ για τον ΕΘΕΓ των 33 εκ. λέξεων την τιµή 0,97. Και οι δύο αυτές τιµές δεν είναι ακριβείς διότι τα πρώτα 20 σηµεία του διαγράµµατος αποκλίνουν αρκετά από την ευθεία, όµως το σηµαντικό στοιχείο των αριθµών αυτών είναι ότι βρίσκονται πολύ κοντά στην µονάδα, όπως ακριβώς θα περιµέναµε. Επίσης, τόσο η µορφή των καµπύλων, όσο και παράµετροι των ευθειών καλύτερης προσαρµογής είναι παρόµοιοι για τις δύο µορφές του ΕΘΕΓ, έστω και αν η συνολική ποσότητα των λέξεων έχει σχεδόν τριπλασιαστεί.

7 ιάγραµµα 2: Γραφηµατική απεικόνιση της προσαρµογής της συχνότητας των λέξεων του ΕΘΕΓ στον πρώτο νόµο του Zipf. Παρόµοια συµπεράσµατα έχουµε και για τις εµφανίσεις ληµµάτων. Τα αντίστοιχα διαγράµµατα παρουσιάζονται στο ιάγραµµα 3. Στην περίπτωση αυτή έχουµε επιπλέον σφάλµατα που εισχωρούν λόγω της χρήσης µορφολογικού λεξικού, όµως τελικά βλέπουµε ότι αυτό δεν επηρεάζει ουσιαστικά τα αναµενόµενα αποτελέσµατα από το νόµο Zipf, παρά µόνο στις πρώτες πιο συχνές λέξεις οι οποίες πιθανόν να καταµετρούνται περισσότερες φορές από όσες θα έπρεπε. Στην περίπτωση αυτή η παράµετρος α της εξίσωσης 1 παίρνει την τιµή 0,87 για την ευθεία προσαρµογής του ΕΘΕΓ 13 εκ. και την τιµή 0,90 γι αυτήν του ΕΘΕΓ 33 εκ.

8 ιάγραµµα 3: Γραφηµατική απεικόνιση της προσαρµογής της συχνότητας των ληµµάτων του ΕΘΕΓ στον πρώτο νόµο του Zipf. 4 Το µήκος λέξης στη ΝΕ γλώσσα 4.1 Η µελέτη των κατανοµών του µήκους των λέξεων Το µήκος των λέξεων και η κατανοµή του έχει αποτελέσει αντικείµενο εντατικής µελέτης στον χώρο της ποσοτικής γλωσσολογίας µε σηµαντικότερη πρωτοβουλία το πρόγραµµα Göttingen (Best 1998). Η κατανοµή του µήκους των λέξεων έχει εξεταστεί συγκριτικά για σχεδόν όλες τις ινδοευρωπαϊκές γλώσσες ήδη από τα µέσα του 20ου αιώνα µε πρωτοπόρο τον ρώσο µαθηµατικό Čebanov (Altmann 1988: 58). Σε µια από τις πρώτες συγκριτικές µελέτες για να βρεθεί αν το µήκος των λέξεων ακολουθεί συγκεκριµένη κατανοµή ο Fucks (1956) εξετάζοντας δεδοµένα από 8 Ινδοευρωπαϊκές και µη γλώσσες κατέληξε στην κατανοµή «1 Displaced Poisson». Νεότερη έρευνα έδειξε (Grotjahn 1982: 68) ότι καταλληλότερη κατανοµή για το µήκος των λέξεων είναι η «Negative Binomial», αφού δεν θεωρεί ότι οι πιθανότητες των µεµονωµένων λέξεων είναι ίσες, αλλά αναγνωρίζει την εξάρτησή τους από υφολογικούς, συµφραστικούς και άλλους παράγοντες. Προσπάθεια για την µοντελοποίηση του µήκους των λέξεων έχει γίνει και από τον Altman (1988: 58) ο οποίος προσπαθεί να διασυνδέσει τις µαθηµατικές κατανοµές µε τις αντίρροπες τάσεις που παρουσιάζει η γλώσσα ως επικοινωνιακό γεγονός όπως τις συνέλαβε ο Zipf στον πρώτο του νόµο (βλ.3.2). Η συγκριτική ανάλυση 38 γλωσσών που εκτείνονται σχεδόν στο σύνολο των γλωσσικών οικογενειών έδειξε ότι η κατανοµή «Hyper-Poisson» είναι κατάλληλη για την περιγραφή του

9 µήκους των λέξεων των περισσότερων γλωσσών (συµπεριλαµβανοµένων και των αρχαίων ελληνικών) (Best 1998: 158). Στη ΝΕ δεν έχει γίνει συστηµατική έρευνα σχετικά µε τα µήκη των λέξεων και τις κατανοµές τους. Αν και το µέσο µήκος λέξεων σε ένα κείµενο αποτελεί σηµαντικό υφοµετρικό δείκτη ο οποίος έχει ήδη χρησιµοποιηθεί σε υφοµετρικές αναλύσεις στη ΝΕ (Μπεκιάρη, Παπαβασιλείου, Πασχάλης 2001), καθώς και σε πειράµατα κειµενικής κατηγοριοποίησης (Mikros & Carayannis 2000, Tambouratzis et al. 2000), δεν έχει µελετηθεί διεξοδικά η κατανοµή του. Στη συνέχεια θα εξετάσουµε το µήκος των λέξεων του ΕΘΕΓ στο σύνολό του καθώς και στις 1000 συχνότερες λέξεις. Επιπλέον θα εξετάσουµε ενδεικτικά την κατανοµή του µήκους των λέξεων σε ορισµένα κείµενα της ΝΕ και θα τη συγκρίνουµε µε αντίστοιχες έρευνες σε άλλες γλώσσες. 4.2 Μήκος λέξης στον ΕΘΕΓ Το µέσο µήκος της λέξης στο σύνολο του ΕΘΕΓ είναι 5,32 γράµµατα. Ωστόσο, αυτός ο µέσος όρος δεν είναι οµοιογενής. Το µήκος των λέξεων αποτελεί µια ποσότητα που εξαρτάται από πολλούς παράγοντες ένας από τους οποίους είναι και το κειµενικό µέσο (Wimmer et al. 1994: 99). Η επίδραση του συγκεκριµένου παράγοντα φαίνεται στον πίνακα 2. Πίνακας 2: Μέσο µήκος λέξης ανά κειµενικό µέσο στον ΕΘΕΓ ΕΘΕΓ Βιβλία Εφηµερίδες Περιοδικά Αδιευκρίνιστο (σύνολο) 5,33 5,41 5,29 5,38 5,56 Σύγκριση κατανοµή του µήκους των λέξεων ανά κειµενικό µέσο Συχνότητα λέξεων Βιβλίο Εφηµερίδα Περιοδικό Αδιευκρίνιστο Μήκος λέξεων ιάγραµµα 4: Το µήκος των λέξεων στον ΕΘΕΓ στα διαφορετικά κειµενικά µέσα.

10 Όπως γίνεται αντιληπτό και από το παραπάνω διάγραµµα ( ιάγραµµα 4) οι κατανοµές ανά κειµενικό µέσο παρουσιάζουν οµοιογένεια και κάποιες µικρές διαφοροποιήσεις εµφανίζονται µόνο στις µεσαίες σε µήκος λέξεις (4-10 γράµµατα). Ενδιαφέρον τέλος παρουσιάζει η σύγκριση της κατανοµής του µήκους λέξεων στις 1000 συχνότερες λέξεις µε την κατανοµή του συνόλου του ΕΘΕΓ (βλ. ιάγραµµα 5). 40 Σύγκριση του µήκους λέξης στις 1000 συχν. λέξεις και στο σύνολο του ΕΘΕΓ 30 % του λεξιλογίου ΕΘΕΓ (Σύνολο) ΕΘΕΓ (1000 συχν.λέξ) Μήκος λέξης ιάγραµµα 5: Σύγκριτικό διάγραµµα του µήκους των λέξεων στο σύνολο του ΕΘΕΓ και στις 1000 συχνότερες λέξεις του. Η κατανοµή των 1000 συχνότερων λέξεων επιδεικνύει µια συγκέντρωση στις µικρότερες λέξεις (1-5 γράµµατα), ενώ στις µεσαίες και έπειτα φαίνεται ότι η κατανοµή του συνόλου του ΕΘΕΓ καλύπτει µεγαλύτερη επιφάνεια. Επίσης έχει ενδιαφέρον να εξετάσουµε πως µεταβάλλεται το αθροιστικό µέσο µήκος λέξεως για τις πιο συχνές λέξεις. Αν a είναι το µήκος της λέξης i και b είναι το σύνολο των i εµφανίσεων της λέξης i τότε το αθροιστικό µέσο µήκος λέξεως είναι: y i ai bi 0 i = i 0 b i i (Εξίσωση 2) Όπως µπορούµε να δούµε στο ιάγραµµα 6 η ποσότητα αυτή αυξάνει µονοτονικά προσεγγίζοντας το µέσο µήκος λέξεων του ΕΘΕΓ που είναι 5,33 (ευθεία γραµµή). Επιπλέον

11 είναι εµφανές ότι οι συχνές λέξεις έχουν µικρότερο µήκος από το µέσο µήκος λέξεων του συνόλου του σώµατος κειµένων. Και οι δύο αυτές παρατηρήσεις συµφωνούν µε αυτά που έχουν υπολογιστεί για άλλες γλώσσες (Grotjahn & Altmann 1993) και είναι συµβατά µε την αρχή της «ελαχίστης προσπάθειας» του Zipf και την ευρύτερη αυτορυθµιστική ικανότητα των γλωσσικών συστηµάτων που την εµφανίζουν σε όλα τα επίπεδα της οργάνωσής τους. Τέλος, τα παραπάνω συµπεράσµατα για το µήκος λέξεων είναι τα ίδια µε αυτά που παρατηρήσαµε παλαιότερα στον ΕΘΕΓ των 13 εκ. λέξεων, αφού η µορφή της καµπύλης είχε την ίδια ακριβώς µορφή. Η µόνη αλλαγή είναι η µεταβολή του µέσου µήκους λέξεων από 5,45 που είχαµε βρει παλαιότερα σε 5,33 που έχουµε τώρα. Αυτή η µικρή µείωση δικαιολογείται από το γεγονός ότι άλλαξε η κατανοµή της προέλευσης των κειµένων, µε τις εφηµερίδες, οι οποίες εµφανίζουν συστηµατικά µικρότερο µήκος λέξεων (βλ. Πίνακας 2), να καταλαµβάνουν πλέον ένα µεγαλύτερο ποσοστό απ ότι στον ΕΘΕΓ 13 εκ. ιάγραµµα 6: Αθροιστική αύξηση του µέσου µήκους των λέξεων στις 1000 συχνότερες λέξεις

12 Συµπληρωµατικά µε την µελέτη του µήκους των λέξεων σε µακροεπίπεδο, ελέγξαµε ενδεικτικά την κατανοµή του µήκους των λέξεων σε επίπεδο κειµένου. Για να συγκρίνουµε την κατανοµή του µήκους των λέξεων συγκεκριµένων κειµένων επιλέξαµε τυχαία 5 βιβλία ποικίλης θεµατολογίας και αναλύσαµε την κατανοµή του µήκους των λέξεων που αυτά παρουσίαζαν. Η εξέταση των κατανοµών έδειξε ότι τα δεδοµένα µήκους λέξεων στη ΝΕ µπορούν να µοντελοποιηθούν ικανοποιητικά µε την κατανοµή Negative Binomial. Η Negative Binomial κατανοµή δίνεται από τον παρακάτω τύπο: s + x 1 s x f ( x) = p ( 1 p) (Εξίσωση 3) x όπου s= ο αριθµός των επιτυχιών, s > 0 p= η πιθανότητα µιας επιτυχίας, 0 < p < 1 Τα αποτελέσµατα της προσαρµογής φαίνονται στον πίνακα 3. Πίνακας 3: Αποτελέσµατα της προσαρµογής της Negative Binomial στην κατανοµή του µήκους των λέξεων σε 5 τυχαία κείµενα από τον ΕΘΕΓ Παράµετροι κατανοµής Προσαρµογή Κείµενα s P χ 2 p(χ 2 ) Επιστηµονική Μελέτη 1 1 2,3E -4 4,41 0,21 Επιστηµονική Μελέτη 2 1 5,6E -4 5,16 0,16 Επιστηµονική Μελέτη 3 1 2,4E ,39 ιήγηµα 1 1 6,6E -4 4,83 0,18 ιήγηµα 2 1 1,04E -4 4,82 0,18 Νοµολογία 1 1,9E -4 5,16 0,15 Η συγκεκριµένη κατανοµή έχει χρησιµοποιηθεί και για την ερµηνεία των δεδοµένων άλλων γλωσσών (Best 1998: 157, Grotjahn 1988: 55, Wimmer & Altmann 1996), αν και πολλές ευρωπαϊκές γλώσσες φαίνεται να ακολουθούν την Hyper-Poisson (Best 1998: 158). Τα συγκεκριµένα αποτελέσµατα αποτελούν αφετηρία για µια πληρέστερη και µεθοδικότερη διερεύνηση των κατανοµών που εφαρµόζουν στα ΝΕ κείµενα που θα ολοκληρωθεί στο µέλλον. 5 Συχνότητες γραµµάτων Οι ελληνικοί χαρακτήρες µετρήθηκαν σε όλο τον ΕΘΕΓ και το σύνολό τους είναι Η κατανοµή τους ανά συχνότητα εµφάνισης είναι η ακόλουθη:

13 Πίνακας 4: Κατανοµή της συχνότητας των γραµµάτων στον ΕΘΕΓ Γράµµα Εµφανίσεις Ποσοστό Γράµµα Εµφανίσεις Ποσοστό Α ,49 Μ ,37 Ο ,14 Λ ,75 Ι ,32 Ω ,16 Ε , ,75 Τ ,98 Γ ,73 Σ ,87 Χ ,18 Ν ,23 Θ ,13 Η ,09 Φ ,82 Υ ,45 Β ,68 Ρ ,32 Ξ ,40 Π ,04 Ζ ,35 Κ ,96 Ψ ,13 Η συγκεκριµένη κατανοµή περιλαµβάνει τα τονισµένα, τα άτονα, τα κεφαλαία και τα πεζά γράµµατα και την αποτυπώνει γραφηµατικά το διάγραµµα 9. 12,00 Συχνότητα Γραµµάτων στον ΕΘΕΓ 10,00 Ποσοστό (%) 8,00 6,00 4,00 2,00 0,00 Α Ο Ι Ε Τ Σ Ν Η Υ Ρ Π Κ Μ Λ Ω Γ Χ Θ Φ Β Ξ Ζ Ψ Γράµµα ιάγραµµα 7: Κατάταξη των γραµµάτων της ΝΕ σύµφωνα µε τη συχνότητα εµφάνισης τους στον ΕΘΕΓ. Επιπλέον, εξετάστηκε η κατανοµή των τονισµένων και των άτονων φωνηέντων η οποία φαίνεται στον πίνακα 7.

14 Πίνακας 5: Κατανοµή τονισµένων και άτονων φωνηέντων στον ΕΘΕΓ Τονισµένα Συχνότητα % Άτονα Συχνότητα % Σύνολο ά ,43 α , έ ,45 ε , ό ,91 ο , ώ ,69 ω , ί, ϊ, ΐ ,17 ι , ή ,27 η , ύ,ϋ,ΰ ,54 υ , Τα τονισµένα φωνήεντα στο σύνολό τους αποτελούν σχεδόν το 1/3 των φωνηέντων και η αναλογία τους ποικίλει από το 1/2 (για το Ω) έως το 1/5 (για το Α). Επιπλέον εξετάστηκε η συχνότητα των ελληνικών γραµµάτων ανάλογα µε την θέση τους στην λέξη. Τα αποτελέσµατα δίνονται στον πίνακα 8. Πίνακας 6: Κατανοµή των γραµµάτων ανάλογα µε τη θέση που έχουν µέση στη λέξη Αρχή % Μέση % Τέλος % Σύνολο A , , , B , , , Γ , , , , , , Ε , , , Ζ , , , Η , , , Θ , , , Ι , , , Κ , , , Λ , , , Μ , , , Ν , , , Ξ , , , Ο , , , Π , , , Ρ , , , Σ , , , Τ , , , Υ , , ,

15 Φ , , , Χ , , , Ψ , , , Ω , , , Η συγκεκριµένη κατανοµή αποτυπώνεται γραφηµατικά στο διάγραµµα 10. Κατανοµη της θέσης των γραµµάτων µέσα στην λέξη 100% 80% 60% % 40% Τέλος Μέση Αρχή 20% 0% A B Γ Ε Ζ Η Θ Ι Κ Λ Μ Ν Ξ Ο Π Ρ Σ Τ Υ Φ Χ Ψ Ω Γράµµατα ιάγραµµα 8: Συγκριτικό διάγραµµα της κατανοµής των γραµµάτων µέσα στη λέξη Από τα παραπάνω γίνεται φανερό ότι το, Π, Κ και το Τ αποτελούν τα πιο συχνά σύµφωνα µε τα οποία ξεκινούν ελληνικές λέξεις, ενώ τα Ε και Α είναι τα πιο συχνά αρχικά φωνήεντα. Αντίστοιχα οι πιο συχνοί χαρακτήρες στο τέλος της λέξης είναι το Σ και το Ν για τα σύµφωνα και το Η και του Υ για τα φωνήεντα. Τέλος τα σύµφωνα που εµφανίζονται σχεδόν κατ αποκλειστικότητα στο εσωτερικό της λέξης είναι το Ρ και Λ µε 97% και 91% αντίστοιχα. Σε µια πρόσφατη συγκριτική έρευνα της συχνότητας των χαρακτήρων σε πολλές ευρωπαϊκές γλώσσες οι Rosenbaum & Fleischmann (2002: 242) υποστήριξαν ότι τα ΝΕ έχουν αυξηµένη συχνότητα του κενού σε σχέση µε τις ρωµανικές γλώσσες. Ειδικότερα, υπολογίζουν το κενό στη ΝΕ σε 19,4% του συνόλου των χαρακτήρων του ΗΣΚ που εξέτασαν 3, ενώ στη Λατινική και στις Ρωµανικές γλώσσες στο 14,6%. Ωστόσο, τα δεδοµένα από τον ΕΘΕΓ δείχνουν ότι η συχνότητα του κενού στη Νέα Ελληνική γλώσσα ταυτίζεται πλήρως µε τις ρωµανικές γλώσσες και είναι 14,6% επί του συνόλου των χαρακτήρων του ΕΘΕΓ.

16 6 Συµπεράσµατα Η παρούσα εργασία εξέτασε µερικά από τα βασικότερα ποσοτικά στοιχεία της γραπτής ΝΕ γλώσσας και κατέληξε σε ορισµένες περιγραφικές παρατηρήσεις σχετικά µε το συχνόχρηστο λεξιλόγιο (1000 συχνότερες λέξεις), καθώς και τις συχνότητες των ελληνικών γραµµάτων. Οι παραπάνω µετρήσεις αποτυπώνουν µερικά από τα βασικότερα ποσοτικά χαρακτηριστικά της ΝΕ γραπτής γλώσσας και, αν και κάποιες από αυτές έχουν γίνει παλαιότερα, είναι οι πρώτες που στηρίζονται σε ένα µεγάλο ΗΣΚ γενικής γλώσσας, τον ΕΘΕΓ. Τα αποτελέσµατα της παρούσας έρευνας είναι η αφετηρία µιας συνεχιζόµενης προσπάθειας για την ποσοτική διερεύνηση της ΝΕ γλώσσας σε όλα τα επίπεδα ανάλυσής της. Μια τέτοια ερευνητική προσπάθεια καθίσταται αναγκαία καθώς η ΝΕ αποτελεί µια ανεξερεύνητη ποσοτικά γλώσσα την στιγµή που στις σηµαντικότερες ευρωπαϊκές γλώσσες έχει ήδη ολοκληρωθεί το στάδιο της ποσοτικής περιγραφής τους. Η παρούσα εργασία ελπίζουµε να αποτελέσει µια αφετηρία για την ενίσχυση των ερευνητικών δεδοµένων της ποσοτικής γλωσσολογίας µε ΝΕ δεδοµένα.

17 Βιβλιογραφικές Αναφορές Altmann, Gabriel Wiederholungen in Texten. Bochum: Brockmeyer. Best, Karl-Heinz Results and perspectives of the Göttingen project on quantitative linguistics. Journal of Quantitative Linguistics Bod Rens, Hay Jennifer, Jannedy, Stefanie (eds) Probabilistic linguistics. Cambridge, MA: MIT Press. EAGLES Corpus encoding: Draft. Technical report, EAGLES. Document EAG-CSG/IR-T21. Fucks Wilhelm Die mathematischen Gesetze der Bildung von Sprachelementen aus ihren Bestandteilen. Nachrichtentechnische Fachberichte Grotjahn Rüdiger Ein statistisches Modell zur Verteilung der Wortlänge. Zeitschrift für Sprachwisswenschaft, Grotjahn Rüdiger, Altmann Gabriel Modelling the distribution of word length. Contributions to quantitative linguistics, ed. by Reinhard Köehler and Burghard B. Rieger, Dordrecht: Kluwer. Hatzigeorgiu Nikos, Gavrilidou Maria, Piperidis Stelios, Carayannis George, Papakostopoulou Anna, Spiliotopoulou Anna, Vacalopoulou Anna, Labropoulou Peni, Mantzari Elena, Papageorgiou Haris, Demiros Ioannis Design and implementation of the online ILSP Greek Corpus. Proceedings of the LREC 2000 Conference, Athens 2000, Hatzigeorgiu Nikos, Mikros George., Carayannis George Word length, word frequencies, and Zipf s law in the Greek language. Journal of Quantitative Linguistics Hammerl, Rolf & Sambor, Jadwiga Synergetic studies in Polish. Contributions to quantitative linguistics, ed. by Reinhard Köehler and Burghard B. Rieger, Dordrecht: Kluwer. Bekiari Chara, Papavasileiou Vasilis, Pasxalis Stefanos Στατιστική προσέγγιση του λογοτεχνικού ύφους µε εφαρµογές στον εντοπισµό άγνωστου συγγραφέα. Μεταυπτυχιακή ιπλωµατική Εργασία, ιατµηµατικό Μεταπτυχιακό Πρόγραµµα «Τεχνογλωσσία», Αθήνα. Manning, Christopher D., Schütze Hinrich Foundations of statistical natural language processing. Cambridge, MA: MIT Press. Mikros George, Carayannis George Modern Greek Corpus Taxonomy. Proceedings of the LREC 2000 Conference, Athens 2000, Mikros George. (υπό δηµοσίευση). Quantitative linguistics in Greece. Quantitative Linguistics. An international handbook, ed. by Gabriel Altmann, Reinhard Kohler, Raijmund Piotrowski. Berlin: Walter De Gruyter. Miller George A., Newman Edwin B., Friedman Elizabeth A Length-frequency statistics for written English. Information and Control Rosenbaum, Richard, Fleischmann, Michael Character frequency in multilingual corpus 1 Part 1. Journal of Quantitative Linguistics Rousseau Ronald, Zhang Qiaoqiao Zipf's data on the frequency of Chinese words revisited. Scientometrics

18 Saukkonen, Pauli Main trends and results of quantitative linguistics in Finland. Journal of Quantitative Linguistics 1: Tambouratzis George, Markantonatou Stella., Hairetakis Nikos, Carayannis George Automatic style categorization of corpora in the Greek language. Proceedings of the LREC 2000 Conference, Athens 2000, Tesitelova Marie Quantitative linguistics. Amsterdam & Philadelphia: John Benjamins. Tuldava Juhan The frequency spectrum of text and vocabulary. Journal of Quantitative Linguistics Wimmer Gejza, Kohler Reinhard, Grotjahn Rüdiger, Altmann Gabriel Towards a theory of word length. Journal of Quantitative Linguistics Wimmer Gejza, Altmann Gabriel The theory of word length: some results and generalizations. Glottometrika Zipf George K Human behavior and the principle of least effort. Cambridge MA.: Addisson Wesley.

19 Σηµειώσεις 1 Η ηλεκτρονική διεύθυνση για τον ΕΘΕΓ είναι 2 Ο χαρακτηρισµός «Αδιευκρίνιστο» έχει δοθεί σε κείµενα που είτε προέρχονται από διαφορετικά µέσα από τα τρία προαναφερόµενα (π.χ. εσωτερική αναφορά, σηµειώσεις. κ.ά.), είτε το µέσο δηµοσίευσης ήταν άγνωστο όταν το κείµενο παραδόθηκε για να ενταχθεί στον ΕΘΕΓ. 3 Το ΗΣΚ που εξετάστηκε ήταν το ελληνικό τµήµα του Multilingual Corpus 1 του European Corpus Initiative (ECI) το οποίο αριθµούσε 10 εκ.λέξεις.