ΜΔΛΔΣΖ ΚΑΗ ΔΛΔΓΥΟ ΣΟΤ PYTHON NATURAL LANGUAGE TOOLKIT ΣΖΝ ΔΛΛΖΝΗΚΖ ΓΛΧΑ

Transcript

1 ΜΔΛΔΣΖ ΚΑΗ ΔΛΔΓΥΟ ΣΟΤ PYTHON NATURAL LANGUAGE TOOLKIT ΣΖΝ ΔΛΛΖΝΗΚΖ ΓΛΧΑ Γ Η Π Λ Χ Μ Α Σ Η Κ Ζ Δ Ρ Γ Α Η Α ΣΑΤΛΗΧΣΖ Β. ΛΔΧΝΗΓΑ ΔΠΗΒΛΔΠΧΝ: Κ. ΓΑΡΜΠΑ ΠΑΣΡΑ ΦΔΒΡΟΤΑΡΗΟ 2012 Αξηζκόο Γηπιωκαηηθήο:

2 ΠΗΣΟΠΟΗΖΖ Πζζημπμζείηαζ υηζ δ δζπθςιαηζηή ενβαζία ιε εέια: ΜΔΛΔΣΖ ΚΑΗ ΔΛΔΓΥΟ ΣΟΤ PYTHON NATURAL LANGUAGE TOOLKIT ΣΖΝ ΔΛΛΖΝΗΚΖ ΓΛΧΑ Σμο θμζηδηή ημο ηιήιαημξ Ζθεηηνμθυβςκ Μδπακζηχκ & Σεπκμθμβίαξ Τπμθμβζζηχκ ΣΑΤΛΗΧΣΖ ΛΔΧΝΗΓΑ (Α.Μ. 6458) πανμοζζάζηδηε δδιυζζα ηαζ ελεηάζηδηε ζημ Σιήια Ζθεηηνμθυβςκ Μδπακζηχκ & Σεπκμθμβίαξ Τπμθμβζζηχκ ζηζξ 15/02/2012 Ο Δπζαθέπςκ Ο Γζεοεοκηήξ ημο Σμιέα Κ. γάξκπαο Ν. Φαθωηάθεο Δπ. Καζεγεηήο Καζεγεηήο 2

3 ΣΗΣΛΟ: Μεθέηδ ηαζ Έθεβπμξ ημο Python Natural Language Toolkit ζηδκ Δθθδκζηή Γθχζζα ΤΓΓΡΑΦΔΑ: ηαοθζχηδξ Β. Λεςκίδαξ (Α.Μ. 6458) ΠΔΡΗΛΖΦΖ: ηδκ πανμφζα δζπθςιαηζηή ενβαζία πανμοζζάγεηαζ μ έθεβπμξ ημο ενβαθείμο NLTK (Natural Language Toolkit) ηδξ Python. οβηεηνζιέκα, ημ nltk είκαζ ιζα ακμζπημφ ηχδζηα αζαθζμεήηδ ζοκανηήζεςκ βζα επελενβαζία θοζζηήξ βθχζζαξ ηαζ ακάπηολδ ακάθμβςκ εθανιμβχκ. Έπεζ ακαπηοπεεί ζε βθχζζα Python ιε ζηυπμ ηδκ ακάθοζδ ηαζ ακάπηολδ εθανιμβχκ ηονίςξ βζα ηδκ Αββθζηή βθχζζα. Ακηζηείιεκμ αοηήξ ηδξ ενβαζίαξ είκαζ δ ζοζηδιαηζηή ιεθέηδ ηαζ μ έθεβπμξ ηςκ ζοκανηήζεςκ ημο nltk βζα ηδκ Δθθδκζηή βθχζζα, ηαεχξ οπάνπμοκ εκδείλεζξ υηζ ζδιακηζηυ ιένμξ αοηχκ δμοθεφεζ ζςζηά. Ανπζηά, έβζκε δ ιεθέηδ βζα εζζαβςβή εθθδκζηχκ ηεζιέκςκ, ηαεχξ ηαζ ηαηάθθδθδ επελενβαζία αοηχκ, χζηε κα είκαζ ζε επελενβάζζιδ ιμνθή απυ ημ ενβαθείμ. Έπεζηα, εθέβπεδζακ υθεξ μζ εκημθέξ ηαζ ηαηδβμνζμπμζήεδηακ ιε αάζδ ηδ θεζημονβία ημοξ. Σέθμξ, παναηδνχκηαξ ηα ζοβηεκηνςηζηά απμηεθέζιαηα, ελάβεηαζ ημ ζοιπέναζια υηζ μζ οπμρίεξ βζα ζςζηή θεζημονβία ιεβάθμο ανζειμφ εκημθχκ επαθδεεφμκηαζ, ηαεχξ ημ 87,9 % ηςκ εκημθχκ θαίκεηαζ κα θεζημονβεί ζςζηά. ABSTRACT: This diploma dissertation presents the examination of Python NLTK (Natural Language Toolkit) tool. Particularly, nltk is an open source function library suitable for natural language processing and the development of respective applications. It has been developed into Python language in order to analyse and develop applications mostly for the English language. The present dissertation is concerned with the systematic study and the examination of nltk functions for the Greek language, given that there is evidence of the correct operation of some. At first, research for the input of Greek texts as well as their appropriate processing was conducted as a way of presenting these texts in a processable by the tool form. Thereupon, all functions were tested and categorised in terms of their operation. Finally, the observation of concentrated results leads to the conclusion that the initial hypothesis for the correct operation of a great number of order is confirmed, as 87,9% of the functions appears to be operating correctly. 3

4 ΠΗΝΑΚΑ ΠΔΡΗΔΥΟΜΔΝΧΝ Πεξηερόκελα.4-5 Δηζαγωγή Κεθάιαην 1: Γεληθέο Γλώζεηο 1.1. Σζ είκαζ δ Δπελενβαζία Φοζζηήξ Γθχζζαξ Σζ είκαζ δ Python Σζ είκαζ ημ NLTK Modules ημο NLTK Απαζηήζεζξ Λμβζζιζημφ Ακηζηείιεκμ ηαζ δμιή ηδξ ενβαζίαξ Κεθάιαην 2: Python θαη Unicode 2.1. Δζζαβςβή Σζ είκαζ ημ Unicode Ζ Python ηαζ ηα Δθθδκζηά Κεθάιαην 3: Καηεγνξίεο Δληνιώλ 3.1. Δζζαβςβή Δκημθέξ Δζζαβςβήξ Κεζιέκμο απυ ανπείμ ή ημ Web Δκημθέξ Πνυζααζδξ βζα Corpora Δκημθέξ βζα Tokenization Κεζιέκμο Δκημθέξ Ακαγήηδζδξ Δκημθέξ Μέηνδζδξ Δκημθέξ Δπελενβαζίαξ Δκημθέξ Αθβυνζειμζ Δκημθέξ οκεήηδξ Δθέβπμο Δκημθέξ Δλυδμο Απεζηυκζζδξ Δκημθέξ Σαλζκυιδζδξ Δκημθέξ Ακάθοζδξ Καηαζηεοήξ Πνμηάζεςκ Δκημθέξ Ακάθοζδξ Νμήιαημξ Πνμηάζεςκ Δκημθέξ Ακαβκχνζζδξ..86 Κεθάιαην 4: πκπεξάζκαηα-βειηηώζεηο 4.1. οιπενάζιαηα..91 4

5 4.2. Βεθηζχζεζξ..93 Παξάξηεκα Α. 94 Παξάξηεκα Β. 95 Παξάξηεκα Γ. 96 Παξάξηεκα Γ. 97 Παξάξηεκα Δ. 98 Παξάξηεκα Σ.. 99 Παξάξηεκα Ε Παξάξηεκα Ζ Παξάξηεκα Θ..112 Παξάξηεκα Η Παξάξηεκα ΗΑ Παξάξηεκα ΗΒ Παξάξηεκα ΗΓ..116 Παξάξηεκα ΗΓ Παξάξηεκα ΗΔ Παξάξηεκα ΗΣ Βηβιηνγξαθία Αιθαβεηηθό Δπξεηήξην Θεκαηηθό Δπξεηήξην

6 Δηζαγωγή Ζ πανμφζα δζπθςιαηζηή ενβαζία ακαθένεηαζ ζημ NLTK (Natural Language Toolkit), ημ μπμίμ απμηεθεί ιία ακμζηημφ ηχδζηα αζαθζμεήηδ ζοκανηήζεςκ ηδξ Python βζα επελενβαζία θοζζηήξ βθχζζαξ ηαζ ακάπηολδ ηαηάθθδθςκ εθανιμβχκ. ηυπμξ ηδξ είκαζ δ εηηεηαιέκδ ιεθέηδ υθςκ ηςκ ζοκανηήζεςκ ημο NLTK βζα ηδκ εηηίιδζδ ηδξ θεζημονβίαξ αοηχκ ζηδκ Δθθδκζηή βθχζζα, ηαεχξ ιέπνζ ηχνα δεκ έπεζ ενεοκδεεί. Απαναίηδημξ πανάβμκηαξ είκαζ, ανπζηά, δ ελμζηείςζδ ιε ηδ βθχζζα Python ηαζ έπεζηα δ ιεθέηδ ημο εβπεζνζδίμο ηδξ αζαθζμεήηδξ NLTK. Ζ ιεθέηδ αοηή μδδβεί ζηδκ ζηακυηδηα εθέβπμο υθςκ ηςκ εκημθχκ ημο NLTK ιέζα απυ ηδκ εηηέθεζδ ηαηάθθδθςκ παναδεζβιάηςκ. Σεθζηυξ ζηυπμξ ήηακ δ ενβαζία κα απμηεθέζεζ έκα είδμξ manual βζα ημ NLTK υζμκ αθμνά ζηδκ Δθθδκζηή βθχζζα. Γζα ηδκ οθμπμίδζδ ιζαξ ηέημζαξ ιμνθήξ, ακαθένμκηαζ μζ εκημθέξ ιε ζοκμπηζηή πενζβναθή ηαζ πνήζδ παναδεζβιάηςκ βζα ηάεε ιία. Σμ πενζεπυιεκμ ηδξ ενβαζίαξ ζηδνίπεδηε, ηαηά ηφνζμ θυβμ, ζημ αζαθίμ ηςκ Steven Bird, Ewan Klein ηαζ Edward Loper Natural Language Processing with Python. Πζμ ζοβηεηνζιέκα, εεςνείηαζ, πνςηίζηςξ, απαναίηδημ κα βίκμοκ ηάπμζεξ εζζαβςβζηέξ ακαθμνέξ. Οζ ακαθμνέξ αοηέξ ζπεηίγμκηαζ ιε εέιαηα μνζζιχκ ηαζ πναβιαημπμζμφκηαζ ζημ ηεθάθαζμ 1. Δζδζηά, δίκμκηαζ ηάπμζεξ βεκζηέξ πθδνμθμνίεξ βζα ημκ ημιέα ηδξ Δπελενβαζίαξ ηδξ Φοζζηήξ Γθχζζαξ ηαζ ηδ βθχζζα πνμβναιιαηζζιμφ Python, μνίγεηαζ ημ NLTK ηαζ ακαθένμκηαζ ηάπμζα modules αοημφ ηαεχξ ηαζ ημ απαναίηδημ θμβζζιζηυ βζα ηδκ εηηέθεζδ ηςκ μπμζςκδήπμηε παναδεζβιάηςκ. Έπεζηα, ελεηάγεηαζ δ ηαηάθθδθδ ηςδζημπμίδζδ ιε ηδκ μπμία εα βίκεζ δ ιεθέηδ. οβηεηνζιέκα, ζημ ηεθάθαζμ 2 πανμοζζάγμκηαζ, ανπζηά, ηάπμζα βεκζηά ζζημνζηά ζημζπεία βζα ηζξ ηςδζημπμζήζεζξ. Καηυπζκ, βίκεηαζ εζδζηή ακαθμνά ζηδ ζπέζδ ιεηαλφ Python ηαζ Unicode ηαζ ηέθμξ επζθέβεηαζ δ ηαηάθθδθδ ηςδζημζεθίδα πμο εα πνέπεζ κα έπεζ ημ πνμξ ελέηαζδ ηείιεκμ, ιέζς παναδεζβιάηςκ. ηδ ζοκέπεζα, ζημ ηεθάθαζμ 3 θαίκμκηαζ υθεξ μζ εκημθέξ ακάθμβα ιε ηδκ ηαηδβμνία πμο ακήηεζ δ ηάεε ιία ηαζ παναδείβιαηα πνήζδξ ημοξ, υπςξ πνμηφπημοκ ηαη εοεείακ απυ ημ πνυβναιια. Πενζθδπηζηά, δίκμκηαζ ηάπμζα αμδεδηζηά ζπυθζα χζηε δ ελαβςβή ηςκ ζοιπεναζιάηςκ κα βίκεζ πζμ εφημθα. ηδκ εζζαβςβή ημο ηεθαθαίμο αοημφ, δίκμκηαζ μδδβίεξ βζα ηδ πνήζδ ιεηααθδηχκ ζε υθμ ημ εφνμξ ηδξ ενβαζίαξ χζηε κα απμθεοπεμφκ επακαθήρεζξ. ημ ηεθάθαζμ 4 δίκμκηαζ ηα απαναίηδηα ζοιπενάζιαηα βζα υθεξ ηζξ εκημθέξ ημο αζαθίμο είηε αθθααδηζηά είηε εειαηζηά ηαζ μζ εκδεπυιεκεξ αεθηζχζεζξ πμο εα πνέπεζ κα βίκμοκ. Σέθμξ, θαίκμκηαζ ηα πανανηήιαηα ηα μπμία πενζέπμοκ υθα ηα ανπεία πμο πνεζάζηδηε κα δδιζμονβδεμφκ ηαηά ηδ δζάνηεζα ημο project, δ αζαθζμβναθία πμο πνδζζιμπμζήεδηε βζα ηδκ οθμπμίδζή ημο ηαεχξ ηαζ εονεηήνζα ακάθμβα ιε ημ υκμια ηαζ ηδκ ηαηδβμνία ηδξ ηάεε ζοκάνηδζδξ. 6

7 Κεθάιαην 1 Γεληθέο Γλώζεηο 1.1. Ση είλαη ε Δπεμεξγαζία Φπζηθήο Γιώζζαο Ζ Δπελενβαζία ηδξ Φοζζηήξ Γθχζζαξ (NLP- Natural Language Processing) είκαζ έκα πεδίμ ηδξ επζζηήιδξ ηςκ οπμθμβζζηχκ ηαζ ηδξ βθςζζμθμβίαξ πμο αζπμθείηαζ ιε ηζξ αθθδθεπζδνάζεζξ ιεηαλφ ηςκ οπμθμβζζηχκ ηαζ ηδξ θοζζηήξ βθχζζαξ. Ζ ακάπηολή ηδξ λεηίκδζε ζακ έκα ιένμξ ηδξ ηεπκδηήξ κμδιμζφκδξ. Οοζζαζηζηά, ακαθένεηαζ ζηδ δοκαηυηδηα πεζνζζιμφ ηδξ θοζζηήξ βθχζζαξ απυ ημοξ οπμθμβζζηέξ, ζε επίπεδμ ηαηακυδζδξ ηαζ επζημζκςκίαξ ιε ημοξ ακενχπμοξ. Πνςηανπζηυξ ζηυπμξ απμηεθμφζε δ ηαηακυδζδ ηςκ εηθνάζεςκ ηδξ θοζζηήξ βθχζζαξ ηαζ ανβυηενα δ απάκηδζδ αοηχκ ιε εφζημπεξ ηαζ πνήζζιεξ απακηήζεζξ, ακάθμβα ιε ηδξ πενίπηςζδ ηάεε θμνά. Οζ ηεπκμθμβίεξ πμο ααζίγμκηαζ ζημκ ημιέα ηδξ Δπελενβαζίαξ ηδξ Φοζζηήξ Γθχζζαξ αολάκμκηαζ ναβδαία ηαεχξ παναηδνείηαζ υθμ ηαζ πενζζζυηενμ δ ακάβηδ βζα ηδ πνδζζιμπμίδζή ημοξ. Γζα πανάδεζβια, ηα ηζκδηά ηδθέθςκα οπμζηδνίγμοκ ακαβκχνζζδ πεζνυβναθςκ ιδκοιάηςκ. ιδπακέξ ακαγήηδζδξ ζημ web πανέπμοκ πνυζααζδ ζε αδυιδηα ηείιεκα. ιδπακέξ ιεηάθναζδξ δίκμοκ ηδ δοκαηυηδηα ιεηαηνμπήξ εκυξ ηεζιέκμο ζηδκ επζεοιδηή βθχζζα. Με ηδκ πανμπή υθμ ηαζ πενζζζυηενςκ δζεπαθχκ ιεηαλφ ακενχπμο-ιδπακήξ ηαζ ηδκ ελεθζβιέκδ πνυζααζδ ζε απμεδηεοιέκεξ πθδνμθμνίεξ, δ επελενβαζία ηδξ βθχζζαξ παίγεζ πθέμκ έκα ζδιακηζηυ νυθμ ζηδκ πμθφβθςζζδ ημζκςκία ηδξ πθδνμθμνίαξ Ση είλαη ε Python: Ζ Python είκαζ ιζα δζαδναζηζηή, ακηζηεζιεκμζηναθήξ βθχζζα πνμβναιιαηζζιμφ δ μπμία δδιζμονβήεδηε απυ ημκ Οθθακδυ Guido van Rossum ημ Έπεζ ηδ δοκαηυηδηα κα εκζςιαηχκεζ modules, ορδθμφ επζπέδμο ηφπμοξ δεδμιέκςκ (very high level dynamic data types), ηαζ ηθάζεζξ. Δίκαζ ιζα πμθφ ζζπονή βθχζζα πνμβναιιαηζζιμφ ιε ανηεηά εφημθμ ζοκηαηηζηυ πμο δζαηνίκεηαζ βζα ηδκ ακαβκςζζιυηδηα ημο ηχδζηά ηδξ ηαζ ηδκ εοημθία πνήζδξ ηδξ. Μπμνεί κα πνδζζιμπμζδεεί ζε υθα ζπεδυκ ηα θεζημονβζηά ζοζηήιαηα Windows, Unix/Linux, Mac OS X- ηαεχξ δζαεέηεζ ανηεηέξ αζαθζμεήηεξ, είκαζ επεηηάζζιδ ζηδκ C/C++ ηαζ Java ηαζ βεκζηά ζε υθεξ ηζξ εθανιμβέξ πμο απαζημφκ πνμβναιιαηζζηζηυ πενζαάθθμκ. Ζ Python ακαπηφζζεηαζ ςξ open source ηαζ δ δζαπείνζζή ηδξ βίκεηαζ απυ ημκ ακελάνηδημ ιδ ηενδμζημπζηυ μνβακζζιυ Python Software Foundation μ μπμίμξ ηαηέπεζ ηα δζηαζχιαηα ηδξ Python απυ ηδκ έηδμζδ 2.1 ηαζ ιεηέπεζηα Ση είλαη ην NLTK Σμ NLTK (Natural Language Toolkit) είκαζ ιζα ακμζηημφ ηχδζηά αζαθζμεήηδ ζοκανηήζεςκ, πμο έπεζ ακαπηοπεεί ζε βθχζζα Python, ιε ζηυπμ ηδκ επελενβαζία θοζζηήξ βθχζζαξ ηαζ ακάπηολδ ακάθμβςκ εθανιμβχκ. Ακαπηφπεδηε ημ 2001, ζακ έκα ιένμξ ημο ιαεήιαημξ ηδξ Τπμθμβζζηζηήξ Γθςζζμθμβίαξ ημο ηιήιαημξ 7

8 Τπμθμβζζηχκ ηαζ Δπζζηήιδξ ηδξ Πθδνμθμνίαξ ζημ πακεπζζηήιζμ ηδξ Πεκζοθαακία ζε βθχζζα Python, ηονίςξ βζα ηδκ Αββθζηή βθχζζα. Πενζθαιαάκεζ components, δμιέξ δεδμιέκςκ ηαζ interfaces ηαζ ζοκμδεφεηαζ απυ μδδβμφξ, ακαθμνέξ ηαζ ηεπκζηέξ μδδβίεξ πμο ελδβμφκ ηδκ αηνζαή θεζημονβία ημο αθθά ηαζ ηαεμδδβμφκ βζα ηδ πνήζδ ηαζ ηδκ επέηηαζή ημο. Βαζζηά ημο παναηηδνζζηζηά είκαζ υηζ εκχ πανέπεζ έκα εονφ ζφκμθμ απυ θεζημονβίεξ, παναιέκεζ έκα ενβαθείμ πμο αζπμθείηαζ ιε ημ πεδίμ ηδξ επελενβαζίαξ ηδξ θοζζηήξ βθχζζαξ ηαζ δεκ ιεηαηνέπεηαζ ζε ζφζηδια. Δπίζδξ, εκχ είκαζ ανηεηά απμηεθεζιαηζηυ βζα εκένβεζεξ πμο αθμνμφκ ζημ κμδιαηζηυ πθαίζζμ, δεκ εκδείηκοηαζ βζα runtime εηηεθέζεζξ ηαεχξ δ αεθηζζημπμίδζδ ζημ ζοβηεηνζιέκμ ακηζηείιεκμ ζοπκά πενζθαιαάκεζ πζμ πμθφπθμημοξ αθβμνίειμοξ ή οθμπμζήζεζξ ζε παιδθυηενμο επζπέδμο βθχζζεξ πνμβναιιαηζζιμφ υπςξ δ C/C++, μ μπμίεξ εα ηαηαζημφζακ ημ ενβαθείμ δοζακάβκςζημ ηαζ πζμ δφζημθμ κα εβηαηαζηαεεί Modules ηνπ NLTK Σμ NLTK οθμπμζείηαζ ζακ έκα ζφκμθμ απυ modules ηαεέκα απυ ηα μπμία μνίγεζ ιζα δζαθμνεηζηή δμιή δεδμιέκςκ ή δζενβαζία. Έκα ζφκμθμ ααζζηχκ modules μνίγεζ ααζζημφξ ηφπμοξ δεδμιέκςκ ηαζ ζοζηήιαηα επελενβαζίαξ πμο πνδζζιμπμζμφκηαζ ζε υθμ ημ toolkit. Αοηά είκαζ ημ token, ημ tree ηαζ ημ probability module. Σμ token module πανέπεζ ααζζηέξ ηθάζεζξ βζα επελενβαζία ζοβηεηνζιέκςκ ζημζπείςκ εκυξ ηεζιέκμο, υπςξ θέλεζξ ή πνμηάζεζξ. Σμ tree module μνίγεζ δμιέξ δεδμιέκςκ βζα κα ακαπανζζηά δμιέξ δέκηνςκ βζα έκα ηείιεκμ, υπςξ ζοκηαηηζηά δέκηνα ή ιμνθμθμβζηά δέκηνα. Σμ probability module οθμπμζεί ηθάζεζξ πμο ηςδζημπμζμφκ ηαηακμιέξ ζοπκμηήηςκ ηαζ πζεακμηήηςκ, ζοιπενζθαιαάκμκηαξ ιία πμζηζθία απυ ηεπκζηέξ ζηαηζζηζηήξ. Σα οπυθμζπα modules μνίγμοκ δμιέξ δεδμιέκςκ ηαζ δζεπαθέξ βζα ηδκ εηηέθεζδ εζδζηχκ δζενβαζζχκ βζα ηδ θοζζηή βθχζζα. Ζ θίζηα ιε ηα modules ακακεχκεηαζ ζοκέπεζα ηαεχξ ημ nltk είκαζ οπυ ακάπηολδ ζοκεπχξ εκζςιαηχκμκηαξ κέεξ θεζημονβίεξ ηαζ αθβμνίειμοξ. Δκδεζηηζηά ακαθένμκηαζ μζ ελήξ ηαηδβμνίεξ: Parsing Modules: Αοηή δ ηαηδβμνία πενζέπεζ: ημ parser module, ημ μπμίμ μνίγεζ ιζα ορδθμφ επζπέδμο δζεπαθή δ μπμία πανάβεζ δέκηνα πμο ακαπανζζημφκ δμιέξ ηεζιέκςκ ημ chunkparser module, ημ μπμίμ μνίγεζ ιζα sub-interface βζα ημ parser πμο πνμζδζμνίγεζ ιδ επζηαθοπηυιεκεξ βθςζζζηέξ ιμκάδεξ, υπςξ μιάδεξ μοζζαζηζηχκ, ζε πμθφ ιεβάθα ηείιεκα. ημ srparser module ημ chartparser module, πμο μνίγεζ έκακ εοέθζηημ ακαθοηή μ μπμίμξ πνδζζιμπμζεί έκα δζάβναιια βζα κα ηαηαβνάρεζ οπμεέζεζξ βζα ζοκηαηηζηά ζφκμθα ημ pcfgparser module, ημ μπμίμ πανέπεζ ιία πμζηζθία απυ δζαθμνεηζημφξ ακαθοηέξ βζα πζεακμφξ ζοκδοαζιμφξ ζε βναιιαηζηά θαζκυιεκα ημ rechunkparser module, ημ μπμίμ μνίγεζ ιία έηθναζδ ααζζζιέκδ ζηδκ εηηέθεζδ ηδξ δζεπαθήξ ημο chunkparser. Tagging Modules: 8

9 Σμ tagger module μνίγεζ ιία δεδμιέκδ δζεπαθή βζα ηδκ αφλδζδ ηάεε έκδεζλδξ/ζδιείμο εκυξ ηεζιέκμο ιε επζπθέμκ πθδνμθμνίεξ. Finite State Automata: 3,Σμ fsa module μνίγεζ έκακ ηφπμ δεδμιέκςκ βζα ηδκ ηςδζημπμίδζδ ιζαξ πεπεναζιέκδξ ηαηάζηαζδξ αοημιάηςκ ηαζ ιία interface βζα ηδ δδιζμονβία αοημιάηςκ απυ ηακμκζηέξ εηθνάζεζξ. Type Checking: Σμ type checking module έπεζ ακαπηοπεεί βζα ημκ έθεβπμ ηαζ ηδκ εβηονυηδηα ηςκ ζημζπείςκ ηςκ ζοκανηήζεςκ πμο μνίγμκηαζ απυ ημκ πνμβναιιαηζζηή ηαζ πνδζζιμπμζείηαζ ζε υθμοξ ημοξ ααζζημφξ ηφπμοξ δεδμιέκςκ. Χζηυζμ, επεζδή ηάπμζεξ θμνέξ ιαξ εκδζαθένεζ δ απμδμηζηυηδηα ηαζ ημ module αοηυ εκδέπεηαζ κα επζαναδφκεζ ημ ενβαθείμ ιαξ, έπμοιε ηδ δοκαηυηδηα κα απεκενβμπμζήζμοιε ημ type checking πςνίξ ηαιία επζαάνοκζδ ζηδκ απυδμζδ. Visualization (μπηζημπμίδζδ): Σα modules ηδξ μπηζημπμίδζδξ μνίγμοκ βναθζηέξ δζεπαθέξ ηαζ βναθζηά ενβαθεία βζα ηδκ απεζηυκζζδ δμιχκ δεδμιέκςκ απυ δζενβαζίεξ ηδξ επελενβαζίαξ ηδξ θοζζηήξ βθχζζαξ. Πενζέπεζ: ημ draw.tree module, ημ μπμίμ πανέπεζ ιζα interface βζα ηδ δδιζμονβία ηαζ ηδκ ηνμπμπμίδζδ δμιχκ δέκηνςκ ημ draw.plot_graph module, ημ μπμίμ πνδζζιμπμζείηαζ βζα κα απεζημκίζεζ ιαεδιαηζηέξ ζοκανηήζεζξ ημ draw.fsa module, ημ μπμίμ πανέπεζ έκα βναθζηυ ενβαθείμ βζα απεζηυκζζδ ηαζ πνμζμιμίςζδ πεπεναζιέκδξ ηαηάζηαζδξ αοημιάηςκ ημ draw.chart module, ημ μπμίμ πανέπεζ έκα δζαδναζηζηυ βναθζηυ ενβαθείμ βζα πεζνάιαηα ιε ημκ ακαθοηή chartparser. Σαλζκυιδζδ Κεζιέκμο: Σμ classifier module μνίγεζ ιία δεδμιέκδ interface βζα ηδκ ηαλζκυιδζδ ηεζιέκςκ ζε ηαηδβμνίεξ ηαζ εθανιυγεηαζ απυ δφμ modules: ημ classifier.naivebayes module, ημ μπμίμ μνίγεζ έκακ ηαλζκμιδηή ααζζζιέκμ ζημ αλίςια Naive Bayes ημ classifier.maxent module, ημ μπμίμ μνίγεζ ημ ιέβζζημ ιμκηέθμ εκηνμπίαξ βζα ηδκ ηαλζκυιδζδ ηεζιέκμο ηαζ οθμπμζεί δφμ αθβμνίειμοξ βζα ηδκ εηπαίδεοζδ ημο ιμκηέθμο: Generalized Iterative Scaling ηαζ Improved Iterative Scaling classifier.feature module, ημ μπμίμ πανέπεζ ιία δεδμιέκδ ηςδζημπμίδζδ πμο πνδζζιμπμζείηαζ βζα ηδ θήρδ απμθάζεςκ ζε ιία εζδζηή θεζημονβία ηαλζκυιδζδξ classifier.featureselection module, ημ μπμίμ μνίγεζ ιία δεδμιέκδ interface βζα ηδκ επζθμβή αοηχκ ηςκ παναηηδνζζηζηχκ πμο ζπεηίγμκηαζ ιε ιία εζδζηή θεζημονβία ηαλζκυιδζδξ. Να ζδιεζςεεί υηζ ζςζηή επζθμβή αοηχκ ηςκ παναηηδνζζηζηχκ ιπμνεί κα αεθηζχζεζ ζδιακηζηά ηζξ επζδυζεζξ ηδξ ηαλζκυιδζδξ. 9

10 Ζ θίζηα ιε ηα modules ακακεχκεηαζ ζοκέπεζα ηαεχξ ημ nltk είκαζ οπυ ακάπηολδ ζοκεπχξ Απαηηήζεηο Λνγηζκηθνύ Γζα ηδ πνήζδ ημο ενβαθείμο είκαζ απαναίηδηδ δ εβηαηάζηαζδ δζαθυνςκ πνμβναιιάηςκ ηαζ δ εζζαβςβή αζαθζμεδηχκ. Python Ζ έηδμζδ ηδξ Python πνέπεζ κα είκαζ δ 2.4, δ 2.5, δ 2.6 ή δ 2.7. Μέπνζ ηχνα δεκ έπμοκ ακαπηοπεεί αηυια μζ αζαθζμεήηεξ ημο NLTK πμο εα ιπμνέζμοκ κα πνδζζιμπμζδεμφκ ζε κεχηενδ έηδμζδ ηδξ Python ηάηζ πμο ακαιέκεηαζ κα βίκεζ άιεζα. Γζα ηδκ πανμφζα δζπθςιαηζηή ενβαζία πνδζζιμπμζήεδηε δ έηδμζδ 2.6. NLTK Γζα ηδκ εηηέθεζδ ηςκ παναδεζβιάηςκ εβηαηαζηάεδηε δ έηδμζδ 2.0 ημο NLTK. NLTK-Data Αοηυ πενζέπεζ ηα απαναίηδηα corpora πμο πνδζζιμπμζήεδηακ ςξ πνυηοπα βζα ηδκ ακάθοζδ ηαζ ηδκ επελενβαζία ηςκ δζαθυνςκ εκημθχκ. NumPy Δίκαζ ιζα επζζηδιμκζηή οπμθμβζζηζηή αζαθζμεήηδ βζα πμθοδζάζηαηεξ ζοζημζπίεξ ηαζ βναιιζηή άθβεανα πμο είκαζ απαναίηδηδ βζα ηδ αέααζδ πζεακυηδηα, βζα tagging, βζα μιαδμπμίδζδ ηαζ θεζημονβίεξ ηαλζκυιδζδξ. Matplotlib Δίκαζ ιία 2D αζαθζμεήηδ ζπεδζαζιμφ δζαβναιιάηςκ βζα απεζηυκζζδ δεδμιέκςκ ηαζ πνδζζιμπμζείηαζ ηονίςξ βζα βναθήιαηα βναιιχκ ηαζ ζζημβνάιιαηα. Prover9 Αοηυ είκαζ έκα αοημιαημπμζδιέκμ εεχνδια απμδείλεςκ βζα πνχηδξ ηάλδξ θμβζηή ημ μπμίμ πνδζζιμπμζείηαζ βζα ηδκ οπμζηήνζλδ ζοιπεναζιάηςκ ζηδ βθςζζζηή επελενβαζία. PyYaml Δίκαζ έκαξ YAML ακαθοηήξ βζα ηδκ Python. Maltparser Δίκαζ έκα ζφζηδια βζα ακάθοζδ ελάνηδζδξ δεδμιέκςκ. 10

11 1.6. Αληηθείκελν θαη δνκή ηεο εξγαζίαο Σμ NLTK είκαζ ιζα ακμζηημφ ηχδζηα αζαθζμεήηδ ζοκανηήζεςκ βζα επελενβαζία θοζζηήξ βθχζζαξ ηαζ ακάπηολδ ακάθμβςκ εθανιμβχκ. Έπεζ ακαπηοπεεί ζε βθχζζα Python ιε ζηυπμ ηδκ ακάθοζδ ηαζ ακάπηολδ εθανιμβχκ ηονίςξ βζα ηδκ αββθζηή βθχζζα. Παν υθα αοηά οπήνπακ εκδείλεζξ υηζ ζδιακηζηυ ιένμξ ηςκ ζοκανηήζεχκ ηδξ θεζημονβμφκ ζςζηά πςνίξ υιςξ κα έπεζ βίκεζ ζοζηδιαηζηή ιεθέηδ. Αοηή δ ζοζηδιαηζηή ιεθέηδ είκαζ ημ ακηζηείιεκμ ηδξ πανμφζδξ ενβαζίαξ. Ανπζηά, έβζκε ελμζηείςζδ ιε ηδ βθχζζα πνμβναιιαηζζιμφ Python. Έπεζηα, ιεθεηήεδηε ημ εβπεζνίδζμ ηδξ αζαθζμεήηδξ NLTK ηαζ έβζκε ελμζηείςζδ ιε ηζξ ζοκανηήζεζξ ηδξ. Καηυπζκ, δδιζμονβήεδηακ ηαζ εζζήπεδζακ ηα ανπεία ιε ηα εθθδκζηά ηείιεκα ηαζ εηηεθέζηδηε ζεζνά ηαηάθθδθςκ παναδεζβιάηςκ χζηε κα εθεβπεεί ηαηά πυζμ μζ ζοκανηήζεζξ αοηέξ θεζημονβμφκ ζςζηά ηαζ ζηα εθθδκζηά ηείιεκα. Σέθμξ, ζε έκακ πίκαηα ηαηαβνάθμκηαζ ζοβηεκηνςηζηά μζ ζοκανηήζεζξ ηαεχξ ηαζ δ απμηεθεζιαηζηυηδηά ημο βζα ηδκ εθθδκζηή βθχζζα. Ζ ενβαζία δμιείηαζ ςξ ελήξ: Δζζαβςβή, υπμο ακαθένμκηαζ πενζθδπηζηά ημ εέια, μ ζηυπμξ ηαζ ηα πενζεπυιεκα ημο ηάεε ηεθαθαίμο Κεθάθαζμ πνχημ: πανμοζζάγμκηαζ ηάπμζα βεκζηά ζημζπεία ηαζ μνζζιμί, ηαεχξ επίζδξ ηαζ υθα ηα απαναίηδηα ενβαθεία βζα ηδκ οθμπμίδζδ ημο ζηυπμο ηδξ δζπθςιαηζηήξ ενβαζίαξ Κεθάθαζμ δεφηενμ: πανμοζζάγμκηαζ ηα Unicode strings ζηδκ Python ηαζ δ ηαηάθθδθδ ηςδζημπμίδζδ ηςκ εθθδκζηχκ ηεζιέκςκ βζα ημκ έθεβπμ ημο NLTK Κεθάθαζμ ηνίημ: ιεηά ηδκ ηαηάθθδθδ εζζαβςβή πμο αθμνά ζε ηάπμζεξ θεπημιένεζεξ βζα ηδ ζςζηή εηηέθεζδ ηςκ παναδεζβιάηςκ βζα ηδκ εθθδκζηή βθχζζα πανμοζζάγμκηαζ μζ δζάθμνεξ εκημθέξ ακά ηαηδβμνία ακάθμβα ιε ηδ θεζημονβία ημοξ. Ζ πανμοζίαζδ ηςκ εκημθχκ βίκεηαζ ιε έκακ ζφκημιμ μνζζιυ αημθμοεμφιεκδ απυ έκα πανάδεζβια χζηε κα δζαπζζηςεεί δ θεζημονβία ηαζ δ απμηεθεζιαηζηυηδηά ηδξ. Σα παναδείβιαηα απμηεθμφκ αοημφζζα ημιιάηζα απυ ηα απμηεθέζιαηα ημο πνμβνάιιαημξ. Χζηυζμ, έπεζ βίκεζ πενζημπή ανηεηχκ απμζπαζιάηςκ, εθυζμκ ημ απμηέθεζια ηδξ εκημθήξ είκαζ ζαθέξ, πνμηεζιέκμο κα βίκεζ ελμζημκυιδζδ πχνμο. Κεθάθαζμ ηέηανημ: πανμοζζάγμκηαζ ζοιπενάζιαηα επαβυιεκα απυ ηα απμηεθέζιαηα ηαεχξ ηαζ πνμηεζκυιεκεξ αεθηζχζεζξ βζα επζηείιεκεξ ακαααειίζεζξ Πανάνηδια: πενζέπμκηαζ υθα ημ πενζεπυιεκμ υθςκ ηςκ ανπείςκ πμο εζζήπεδζακ Βζαθζμβναθία Αθθααδηζηυ εονεηήνζμ Θειαηζηυ εονεηήνζμ Δκ ηαηαηθείδζ, ζηυπμξ ηδξ πανμφζδξ δζπθςιαηζηήξ ενβαζίαξ είκαζ κα εθέβλεζ υθεξ ηζξ ζοκανηήζεζξ ημο ενβαθείμο NLTK βζα ηδ ζςζηή θεζημονβία ημοξ ζηδκ εθθδκζηή βθχζζα. ημπυξ ήηακ δ ιμνθή ηδξ κα έπεζ ηδ ιμνθή ημο εβπεζνζδίμο εκυξ ενβαθείμο ηαζ υπζ κα πανμοζζάζεζ ακαθοηζηά ηδ θεζημονβία αοημφ ηαζ ηςκ ζοκανηήζεςκ ημο. Γζα αοηυ ημ θυβμ, ζε ηάεε εκημθή πανμοζζάγεηαζ ζοκμπηζηά δ θεζημονβία ηδξ ηαζ έκα πανάδεζβια οθμπμίδζήξ ηδξ. 11

12 Κεθάιαην 2 Python θαη Unicode 2.1. Δηζαγωγή Σμ 1968, μ Αιενζηακζηυξ Πνυηοπμξ Κχδζηαξ βζα Ακηαθθαβή Πθδνμθμνζχκ (American Standard Code for Information Interchange), βκςζηυξ απυ ημ αηνχκοιυ ημο ASCII, ηοπμπμζήεδηε. Ο ASCII υνζγε ανζειδηζημφξ ηχδζηεξ βζα δζάθμνμοξ παναηηήνεξ ιε ηζξ ανζειδηζηέξ ηζιέξ κα είκαζ απυ ημ 1 ιέπνζ ημ 127 ηαζ απμηεθμφζε έκα ηςδζημπμζδιέκμ ζφκμθμ παναηηήνςκ έπμκηαξ ςξ αάζδ βζα ηδκ ακάπηολή ημο ημ Αββθζηυ αθθάαδημ. Αοηυ ημ πενζμνζζιέκμ πενζεπυιεκμ άνπζζε κα δδιζμονβεί πνμαθήιαηα υηακ βθχζζεξ, υπςξ δ Γαθθζηή, πενζείπακ ημκζζιέκμοξ παναηηήνεξ βζαηί ειπυδζγακ ηδκ πθήνδ ακαπανάζηαζδ αοηχκ ηςκ βθςζζχκ ζημκ ηχδζηα ASCII. Μία πνχηδ θφζδ ήηακ δ πνήζδ παναηηήνςκ πςνίξ ημοξ ηυκμοξ. Ανβυηενα, ζπεδυκ υθμζ μζ οπμθμβζζηέξ ήηακ 8-bit, ημ μπμίμ έδζκε ηδ δοκαηυηδηα ζηα bytes κα ηναηήζμοκ ηζιέξ απυ ημ 0 έςξ ημ 255. Ο ηχδζηαξ ASCII έθηακε ιέπνζ ηδκ ηζιή 127, μπυηε ζε πμθθμφξ οπμθμβζζηέξ ηαηαπςνμφκηακ μζ ημκζζιέκμζ παναηηήνεξ απυ ηδκ ηζιή 128 ιέπνζ 255. Δκημφημζξ, δζαθμνεηζημί οπμθμβζζηέξ είπακ δζαθμνεηζηέξ ηςδζημπμζήζεζξ ημ μπμίμ δδιζμφνβδζε πνυαθδια ιε ηδκ ακηαθθαβή ηςκ ανπείςκ. Σεθζηά, πνμέηορακ πμζηίθεξ ημζκέξ ηζιέξ απυ ημ 128 έςξ ημ 255. Ανηεηέξ, πμο ήηακ μνζζιέκεξ απυ ημκ Γζεεκή Ονβακζζιυ Σοπμπμίδζδ (International Organization for Standardization-ISO), ήηακ ημζκέξ βζα υθμοξ ηαζ ηάπμζεξ ήηακ de facto ζοιαάζεζξ πμο ακαπηφζζμκηακ απυ δζάθμνεξ εηαζνίεξ ηαζ επζηνάηδζακ. Χζηυζμ, μζ 255 παναηηήνεξ δεκ είκαζ ανηεημί. Γζα πανάδεζβια, δεκ ήηακ δοκαηυ κα πςνέζμοκ μζ ημκζζιέκμζ παναηηήνεξ πμο πνδζζιμπμζμφκηαζ ζηδ Γοηζηή Δονχπδ ηαζ ημ Κονζθθζηυ αθθάαδημ πμο πνδζζιμπμζείηαζ βζα ηα νχζζηα ζε έκα εφνμξ ιεηαλφ ηαεχξ οπάνπμοκ πενζζζυηενμζ απυ 127 ηέημζμζ παναηηήνεξ. Σμ πνυαθδια θαζκυηακ ζημ βεβμκυξ υηζ ιπμνμφζακ κα βναθημφκ νςζζηά ανπεία ζε ιία ηςδζημπμίδζδ (KOI8) ηαζ βαθθζηά ανπεία ζε ιία άθθδ ηςδζημπμίδζδ (Latin1) αθθά δε ιπμνμφζακ κα δδιζμονβδεμφκ ανπεία πμο πενζείπακ ηαζ βαθθζημφξ ηαζ νχζζημοξ παναηηήνεξ. Αοηυ ημ πνυαθδια άνπζζε κα λεπενκζέηαζ ημκηά ζημ 1980 μπυηε ηαζ λεηίκδζε δ πνμζπάεεζα βζα ηδκ ηοπμπμίδζδ Unicode. [13] 2.2. Ση είλαη ην Unicode Σμ Unicode είκαζ έκαξ ηφπμξ ηςδζημπμίδζδξ πμο οπμζηδνίγεζ πάκς απυ έκα εηαημιιφνζμ παναηηήνεξ. Κάεε παναηηήναξ ακαπανίζηαηαζ εζςηενζηά ιε ιία αηέναζα ηζιή πμο ηαθείηαζ code point. ε έκα πνυβναιια ιπμνμφιε κα εεςνήζμοιε ηα Unicode strings ζακ απθά strings. Χζηυζμ, υηακ Unicode παναηηήνεξ απμεδηεφμκηαζ ζε ανπεία ή ακαπανίζηακηαζ ζε έκα ηενιαηζηυ πνέπεζ κα είκαζ ηςδζημπμζδιέκμζ ζε bytes. Κάπμζεξ ηςδζημπμζήζεζξ, υπςξ δ ASCII ή δ Latin-2, πνδζζιμπμζμφκ έκα byte ακά code point ιε απμηέθεζια κα ιπμνμφκ κα οπμζηδνίλμοκ έκα οπμζφκμθμ απυ Unicode, ηα μπμία υιςξ είκαζ ανηεηά βζα ιία βθχζζα. Κάπμζεξ άθθεξ ηςδζημπμζήζεζξ, υπςξ δ UTF-8, πνδζζιμπμζμφκ πμθθαπθά bytes ηαζ ιπμνμφκ κα ακαπανζζημφκ υθμ ημ ζφκμθμ ηςκ παναηηήνςκ Unicode. 12

13 Σμ πενζεπυιεκμ ζηα δζάθμνα ανπεία είκαζ ζε ζοβηεηνζιέκδ ηςδζημπμίδζδ, μπυηε είκαζ ακαβηαία δ φπανλδ εκυξ ιδπακζζιμφ βζα ηδ ιεηαηνμπή ημο ζε Unicode. Ζ δζαδζηαζία ιεηαηνμπήξ ζε Unicode μκμιάγεηαζ απμηςδζημπμίδζδ (decoding). Ακηίεεηα, βζα ηδκ εζζαβςβή εκυξ Unicode ζε έκα ανπείμ ή ηδκ ειθάκζζή ημο ζε έκα ηενιαηζηυ είκαζ απαναίηδηδ δ ιεηαηνμπή ημο ζε ιία ηαηάθθδθδ ηςδζημπμίδζδ. Αοηή δ ακηίζηνμθδ δζαδζηαζία ημο decoding, ηαθείηαζ ηςδζημπμίδζδ (encoding). Σρήκα 2.1 : Δηαδηθαζία θσδηθνπνίεζεο θαη απνθσδηθνπνίεζεο Unicode ηδκ Python, ηα code points βνάθμκηαζ ζηδ ιμνθή \uxxxx υπμο ημ XXXX είκαζ μ ανζειυξ ζε δεηαελαδζηή ιμνθή ιε ηέζζενα ρδθία. Ζ Python πενζέπεζ ανηεηέξ ηςδζημπμζήζεζξ, μζ μπμίεξ πανμοζζάγμκηαζ ζημκ αηυθμοεμ πίκαηα. αοηυκ θαίκεηαζ, ανπζηά, ημ υκμια ηδξ ηςδζημπμίδζδξ ιαγί ιε ηα πζμ ημζκά ρεοδχκοια πμο ιπμνμφιε κα ηζξ ζοκακηήζμοιε ηαζ μζ βθχζζεξ βζα ηζξ μπμίεξ ζοκήεςξ αοηή πνδζζιμπμζείηαζ. Ζ θίζηα ιε ηα ρεοδχκοια, υπςξ ηαζ ιε ηζξ βθχζζεξ, δεκ είκαζ απμηθεζζηζηή. Ανηεημί απυ ημοξ παναηηήνεξ οπμζηδνίγμκηαζ απυ ίδζεξ βθχζζεξ. Γζαθένμοκ ιυκμ ζε ζοβηεηνζιέκμοξ παναηηήνεξ, π.π. ακ ειθακίγεηαζ ή υπζ μ παναηηήναξ ακαπανάζηαζδξ ημο Δονχ, ηαζ ζηδκ εηπχνδζδ ηςκ παναηηήνςκ ζηζξ εέζεζξ ηςδζημπμίδζδξ. Δζδζηυηενα, βζα ηζξ Δονςπασηέξ βθχζζεξ οπάνπμοκ ηοπζηά μζ ελήξ παναθθαβέξ: Μία ISO 8859 ηςδζημζεζνά Μία Microsoft Windows ηςδζημζεθίδα, δ μπμία ηοπζηά πνμένπεηαζ απυ ιία 8859 ηςδζημζεζνά ακηζηαεζζηχκηαξ παναηηήνεξ εθέβπμο ιε ζοιπθδνςιαηζημφξ βναθζημφξ παναηηήνεξ Μία IBM EBCDIC ηςδζημζεθίδα Μία IBM PC ηςδζημζεθίδα, δ μπμία είκαζ ζοιααηή ιε ηδκ ASCII Codec Aliases Languages ascii 646, us-ascii English big5 big5-tw, csbig5 Traditional Chinese 13

14 Codec Aliases Languages big5hkscs big5-hkscs, hkscs Traditional Chinese cp037 IBM037, IBM039 English cp424 EBCDIC-CP-HE, IBM424 Hebrew cp , IBM437 English cp500 cp720 cp737 EBCDIC-CP-BE, EBCDIC-CP-CH, IBM500 Western Europe Arabic Greek cp775 IBM775 Baltic languages cp , IBM850 Western Europe cp , IBM852 Central and Eastern Europe cp855 cp , IBM855 Bulgarian, Byelorussian, Macedonian, Russian, Serbian Hebrew cp , IBM857 Turkish cp , IBM858 Western Europe cp , IBM860 Portuguese cp , CP-IS, IBM861 Icelandic cp , IBM862 Hebrew cp , IBM863 Canadian cp864 IBM864 Arabic cp , IBM865 Danish, Norwegian cp , IBM866 Russian cp , CP-GR, IBM869 Greek cp874 cp875 Thai Greek cp , ms932, mskanji, ms-kanji Japanese cp , ms949, uhc Korean cp , ms950 Traditional Chinese cp1006 Urdu cp1026 ibm1026 Turkish cp1140 ibm1140 Western Europe cp1250 windows-1250 Central and Eastern Europe cp1251 windows-1251 Bulgarian, Byelorussian, Macedonian, Russian, Serbian cp1252 windows-1252 Western Europe 14

15 Codec Aliases Languages cp1253 windows-1253 Greek cp1254 windows-1254 Turkish cp1255 windows-1255 Hebrew cp1256 windows-1256 Arabic cp1257 windows-1257 Baltic languages cp1258 windows-1258 Vietnamese euc_jp eucjp, ujis, u-jis Japanese euc_jis_2004 jisx0213, eucjis2004 Japanese euc_jisx0213 eucjisx0213 Japanese euc_kr gb2312 euckr, korean, ksc5601, ks_c-5601, ks_c , ksx1001, ks_x-1001 chinese, csiso58gb231280, euc- cn, euccn, eucgb2312-cn, gb , gb , iso- ir-58 Korean Simplified Chinese gbk 936, cp936, ms936 Unified Chinese gb18030 gb Unified Chinese hz hzgb, hz-gb, hz-gb-2312 Simplified Chinese iso2022_jp csiso2022jp, iso2022jp, iso-2022-jp Japanese iso2022_jp_1 iso2022jp-1, iso-2022-jp-1 Japanese iso2022_jp_2 iso2022jp-2, iso-2022-jp-2 iso2022_jp_2004 iso2022jp-2004, iso-2022-jp-2004 Japanese, Korean, Simplified Chinese, Western Europe, Greek Japanese iso2022_jp_3 iso2022jp-3, iso-2022-jp-3 Japanese iso2022_jp_ext iso2022jp-ext, iso-2022-jp-ext Japanese iso2022_kr csiso2022kr, iso2022kr, iso-2022-kr Korean latin_1 iso , iso8859-1, 8859, cp819, latin, latin1, L1 West Europe iso8859_2 iso , latin2, L2 Central and Eastern Europe iso8859_3 iso , latin3, L3 Esperanto, Maltese iso8859_4 iso , latin4, L4 Baltic languages iso8859_5 iso , cyrillic iso8859_6 iso , arabic Arabic iso8859_7 iso , greek, greek8 Greek iso8859_8 iso , hebrew Hebrew iso8859_9 iso , latin5, L5 Turkish Bulgarian, Byelorussian, Macedonian, Russian, Serbian 15

16 Codec Aliases Languages iso8859_10 iso , latin6, L6 Nordic languages iso8859_13 iso , latin7, L7 Baltic languages iso8859_14 iso , latin8, L8 Celtic languages iso8859_15 iso , latin9, L9 Western Europe iso8859_16 iso , latin10, L10 South-Eastern Europe johab cp1361, ms1361 Korean koi8_r koi8_u mac_cyrillic maccyrillic Russian Ukrainian mac_greek macgreek Greek mac_iceland maciceland Icelandic Bulgarian, Byelorussian, Macedonian, Russian, Serbian mac_latin2 maclatin2, maccentraleurope Central and Eastern Europe mac_roman macroman Western Europe mac_turkish macturkish Turkish ptcp154 csptcp154, pt154, cp154, cyrillic-asian Kazakh shift_jis csshiftjis, shiftjis, sjis, s_jis Japanese shift_jis_2004 shiftjis2004, sjis_2004, sjis2004 Japanese shift_jisx0213 shiftjisx0213, sjisx0213, s_jisx0213 Japanese utf_32 U32, utf32 all languages utf_32_be UTF-32BE all languages utf_32_le UTF-32LE all languages utf_16 U16, utf16 all languages utf_16_be UTF-16BE all languages (BMP only) utf_16_le UTF-16LE all languages (BMP only) utf_7 U7, unicode-1-1-utf-7 all languages utf_8 U8, UTF, utf8 all languages utf_8_sig all languages Πίλαθαο 2.1 : Κσδηθνπνηήζεηο θαη ςεπδώλπκα θπζηθώλ γισζζώλ ζηελ Python Μενζηέξ ηςδζημπμζήζεζξ ακαθένμκηαζ απμηθεζζηζηά ζηδκ Python, μπυηε δ μκμιαζία ημοξ δεκ έπεζ ηαιία ζδιαζία έλς απυ αοηή. Μενζηέξ απ αοηέξ δε ιεηαηνέπμοκ απυ Unicode strings ζε byte strings αθθά ακηζεέηςξ πνδζζιμπμζμφκ ιδπακζζιμφξ ηδξ Python χζηε ηάπμζα ζοκάνηδζδ έκα-πνμξ-έκα (bijective function) κα ιπμνεί κα εεςνείηαζ ςξ ιία ηςδζημπμίδζδ. [14] 16

17 2.3. Ζ Python θαη ηα Διιεληθά Ζ πνμεπζθεβιέκδ ηςδζημπμίδζδ πμο πεζνίγεηαζ δ Python είκαζ δ ASCII ςζηυζμ, ανηεηέξ θμνέξ, είκαζ απαναίηδημ κα θεζημονβήζεζ ιε δζαθμνεηζηέξ ηςδζημπμζήζεζξ. Οζ πζμ βκςζηέξ απυ αοηέξ είκαζ δ UTF-8, δ ISO-8859-X, ηαζ πμθθέξ άθθεξ πμο εεςνμφκηαζ οπενζφκμθα ηδξ ASCII. Ζ ηςδζημπμίδζδ ηςκ εθθδκζηχκ ηεζιέκςκ ιπμνεί κα βίκεζ ιε πμθθέξ ηςδζημζεθίδεξ ιε ηζξ πζμ βκςζηέξ κα είκαζ δ iso , δ windows-1253 ηαζ δ Unicode utf-8. Αοηυ επζαάθθεζ, βζα ημ ζςζηή πνήζδ ημο nltk ζε εθθδκζηυ ηείιεκμ, ηδ ιεηαηνμπή ημο πνμξ ελέηαζδ ηεζιέκμο ηαζ ζηζξ ηνεζξ ηςδζημπμζήζεζξ βζα κα θακεί πμζα είκαζ δ πζμ ηαηάθθδθδ. πςξ ακαθένεδηε παναπάκς, πνμεπζθεβιέκδ ηςδζημπμίδζδ ζε έκα ηείιεκμ βζα ηδκ Python εεςνείηαζ δ ASCII, εηηυξ ηζ ακ έπεζ μνζζηεί ηάπμζα άθθδ. Σα ηείιεκα πμο εα εθεβπεμφκ είκαζ ηνία: Σμ code.txt, ημ μπμίμ έπεζ ηςδζημπμίδζδ windows Σμ code_iso.txt, ημ μπμίμ έπεζ ηςδζημπμίδζδ iso Σμ code_utf.txt, ημ μπμίμ έπεζ ηςδζημπμίδζδ utf8. Πενζέπμοκ έκα απυζπαζια απυ ημ ανπείμ article1.txt πμο θαίκεηαζ ζημ πανάνηδια Β ηαζ δ επζθμβή έβζκε χζηε κα ηαθφπημκηαζ ηάπμζεξ πζεακέξ δζαθμνέξ ακάιεζα ζηζξ ηνεζξ ηςδζημζεθίδεξ. code ISO windows xA1 U+2018 LEFT SINGLE QUOTATION MARK U+0385 GREEK DIALYTIKA TONOS 0xA2 U+2019 RIGHT SINGLE QUOTATION MARK U+0386 GREEK CAPITAL LETTER ALPHA WITH TONOS 0xA4 unassigned U+00A4 CURRENCY SIGN 0xA5 unassigned U+00A5 YEN SIGN 0xAE unassigned U+00AE REGISTERED SIGN 0xB5 U+0385 GREEK DIALYTIKA TONOS U+00B5 MICRO SIGN 0xB6 U+0386 GREEK CAPITAL LETTER ALPHA WITH TONOS U+00B6 PILCROW SIGN Πίλαθαο 2.2 : Δηαθνξέο θσδηθνπνηήζεσλ ISO θαη windows

18 Μεηαλφ ηςκ δφμ πνχηςκ ηςδζημζεθίδςκ παναηδνμφκηαζ ιενζηέξ δζαθμνέξ ιε ηδκ πζμ δζαδεδμιέκδ κα επζζδιαίκεηαζ ζημ ημκζζιέκμ ηεθαθαίμ εθθδκζηυ βνάιια Α, υπςξ εζημκίγεηαζ ηαζ ζημκ παναπάκς πίκαηα. ηδκ πνχηδ πενίπηςζδ ειθακίγεηαζ ηακμκζηά (Ά) εκχ ζηδ δεφηενδ ςξ. [17] Να ζδιεζςεεί υηζ ημ ζφζηδια ζημ μπμίμ πναβιαημπμζμφκηαζ μζ έθεβπμζ βζα υθμ ημ nltk έπεζ πνμεπζθεβιέκδ ηςδζημζεθίδα ηδκ Microsoft Windows-1253 (Greek), υπςξ θαίκεηαζ ηαζ απυ ηδκ παναηάης εκημθή ηδξ Python: >>> import locale >>> language, output_encoding = locale.getdefaultlocale() >>> language 'el_gr' >>> output_encoding 'cp1253' Ανπζηά, βίκεηαζ δ εζζαβςβή ημο ηεζιέκμο. Ζ Python πενζέπεζ έκα module ημ codecs, ημ μπμίμ πανέπεζ ηδ δοκαηυηδηα κα δζααάγμκηαζ ηςδζημπμζδιέκα δεδμιέκα ζε Unicode strings. Ζ ζοκάνηδζδ codecs.open() δέπεηαζ ζακ υνζζια ημ υκμια ημο ανπείμο ηαζ ιία πανάιεηνμ πμο πνμζδζμνίγεζ ηδκ ηςδζημπμίδζδ ημο ανπείμο πμο δζααάγεηαζ. Έπεζηα, βζα ημκ έθεβπμ ηδξ μνεήξ ειθάκζζδξ ημο ηάεε ανπείμο ιε δζαθμνεηζηή ηςδζημζεθίδα, αημθμοεείηαζ δ δζαδζηαζία ιεηαηνμπήξ ημο ζε ηφπμ «nltkηείιεκμ». >>> import nltk, codecs >>> f_win = codecs.open('code_win.txt','ru',encoding='windows- 1253') >>> raw_win = f_win.read() >>> tokens_win = nltk.whitespacetokenizer().tokenize(raw_win) >>> text_win = nltk.text(token.encode('windows-1253') for token in tokens_win) >>> text_win[0:34] ['Ένας', 'από', 'τους', 'συζύγους', 'της,', 'ο', 'συγγραφέας', 'Άρθουρ', 'Κίλερ,', 'συνήθιζε', 'να', 'αποκαλεί', 'τη', 'Κονρόε', '«μια', 'ποιήτρια', 'στη', 'γωνία', 'ενός', 'δρόμου', 'που', 'προσπαθεί', 'να', 'απαγγείλει', 'στο', 'κοινό,', 'την', 'ώρα', 'που', 'αυτό', 'της', 'ξεσκίζει', 'τα', 'ρούχα».'] >>> f_iso = codecs.open('code_iso.txt','ru',encoding='iso ') >>> raw_iso = f_iso.read() >>> tokens_iso = nltk.whitespacetokenizer().tokenize(raw_iso) >>> text_iso = nltk.text(token.encode('iso ') for token in tokens_iso) >>> text_iso[0:34] ['Ένας', 'από', 'τους', 'συζύγους', 'της,', 'ο', 'συγγραφέας', ' ρθουρ', 'Κίλερ,', 'συνήθιζε', 'να', 'αποκαλεί', 'τη', 'Κονρόε', '«μια', 'ποιήτρια', 'στη', 'γωνία', 'ενός', 'δρόμου', 'που', 'προσπαθεί', 'να', 'απαγγείλει', 'στο', 'κοινό,', 'την', 'ώρα', 'που', 'αυτό', 'της', 'ξεσκίζει', 'τα', 'ρούχα».'] 18

19 >>> f_utf = codecs.open('code_utf.txt','ru',encoding='utf8') >>> raw_utf = f_utf.read() >>> tokens_utf = nltk.whitespacetokenizer().tokenize(raw_utf) >>> text_utf = nltk.text([token.encode('utf-8') for token in tokens_utf]) >>> text_utf[0:34] ['Ένας', 'από', 'τους', 'συζύγους', 'της,', 'ο', 'συγγραφέας', 'Άρθουρ', 'Κίλερ,', 'συνήθιζε', 'να', 'αποκαλεί', 'τη', 'Κονρόε', '«μια', 'ποιήτρια', 'στη', 'γωνία', 'ενός', 'δρόμου', 'που', 'προσπαθεί', 'να', 'απαγγείλει', 'στο', 'κοινό,', 'την', 'ώρα', 'που', 'αυτό', 'της', 'ξεσκίζει', 'τα', 'ρούχα».'] Οζ δζάθμνεξ ζοκανηήζεζξ πμο πνδζζιμπμζμφκηαζ ηαηά ηδ δζάνηεζα ηδξ ιεηαηνμπήξ δεκ ελδβμφκηαζ εδχ, ηαεχξ πανμοζζάγμκηαζ εηηεκχξ ζημ ηεθάθαζμ 3. Αλίγεζ ιυκμ κα βίκεζ ακαθμνά ζηδ ζοκάνηδζδ encode(). Σα ηείιεκα πμο δζααάγμκηαζ απυ ημ f_win, to f_iso ηαζ ημ f_utf επζζηνέθμκηαζ ζε Unicode. πςξ ακαθένεδηε ηαζ κςνίηενα, πνμηεζιέκμο κα ειθακίγμκηαζ ζςζηά ζε έκα ηενιαηζηυ πνέπεζ κα ηςδζημπμζδεμφκ ηαηάθθδθα. Απυ ηα απμηεθέζιαηα βίκεηαζ ζαθέξ υηζ δ ηςδζημζεθίδα iso δεκ είκαζ ηαηάθθδθδ βζαηί δεκ ειθακίγεζ ζςζηά ημ παναηηήνα Ά. Οζ εκαπμιείκακηεξ δφμ, ειθακίγμοκ ζςζηά ημ απμηέθεζια, άνα δείπκμοκ κα θεζημονβμφκ ζςζηά. Χζηυζμ, ααζζηή ηςδζημζεθίδα ημο ηεζιέκμο βζα ημκ έθεβπμ ημο nltk επζθέβεηαζ κα είκαζ δ windows-1253 ηζ αοηυ θαίκεηαζ απυ ημ αηυθμοεμ πανάδεζβια. >>> f_win = codecs.open('code_win.txt','ru',encoding='windows- 1253') >>> raw_win = f_win.read() >>> raw_win=raw_win.encode('windows-1253') >>> tokens_win = nltk.whitespacetokenizer().tokenize(raw_win) >>> text_win = nltk.text(tokens_win) >>> text_win[0:34] ['Ένας', 'από', 'τους', 'συζύγους', 'της,', 'ο', 'συγγραφέας', 'Άρθουρ', 'Κίλερ,', 'συνήθιζε', 'να', 'αποκαλεί', 'τη', 'Κονρόε', '«μια', 'ποιήτρια', 'στη', 'γωνία', 'ενός', 'δρόμου', 'που', 'προσπαθεί', 'να', 'απαγγείλει', 'στο', 'κοινό,', 'την', 'ώρα', 'που', 'αυτό', 'της', 'ξεσκίζει', 'τα', 'ρούχα».'] >>> f_utf = codecs.open('code_utf.txt','ru',encoding='utf8') >>> raw_utf = f_utf.read() >>> raw_utf=raw_utf.encode('utf8') >>> tokens_utf = nltk.whitespacetokenizer().tokenize(raw_utf) >>> text_utf = nltk.text(tokens_utf) >>> text_utf[0:41] ['Ένας', 'από', 'τοï', 'ς', 'σï', 'ζύγοï', 'ς', 'της,', 'ο', 'σï', 'γγραφέας', 'ΆρθοÏ', 'ρ', 'Κίλερ,', 'σï', 'νήθιζε', 'να', 'αποκαλεί', 'τη', 'Κονρόε', '«μια', 'ποιήτρια', 'στη', 'γωνία', 'ενός', 'δρόμοï', 'ποï', 'προσπαθεί', 'να', 'απαγγείλει', 'στο', 'κοινό,', 'την', 'ώρα', 'ποï', 'αï', 'τό', 'της', 'ξεσκίζει', 'τα', 'ρούχα».'] Ζ δζαθμνά ζε ζπέζδ ιε ημ πνχημ πανάδεζβια, υπμο ημ encoding έβζκε ζημ ηεθζηυ ζηάδζμ, είκαζ υηζ ηχνα ημ encoding έβζκε ανπζηά ζηζξ ιεηααθδηέξ raw_win ηαζ 19

20 raw_utf ακηίζημζπα. πςξ δζαπζζηχκμοιε απυ ημ απμηέθεζια, ζηδκ ηςδζημζεθίδα utf-8 ημ ηεθζηυ ηείιεκμ δεκ ειθακίγεηαζ ζςζηά ηζ αοηυ μθείθεηαζ ζημ tokenization. Οζ tokenizers ζημ nltk υηακ δέπμκηαζ ζακ είζμδμ Unicode strings αβάγμοκ ηαζ ζακ έλμδμ Unicode strings. Χζηυζμ, ζημ ζοβηεηνζιέκμ πανάδεζβια ημ εθθδκζηυ ηείιεκμ δεκ ειθακίγεηαζ ζςζηά. Ανηεηέξ θμνέξ εα πνέπεζ κα ιπμνμφιε κα επελενβαζημφιε υθεξ ηζξ μνζζιέκεξ ιεηααθδηέξ ηαζ κα είιαζηε ζε εέζδ κα ηάκμοιε encoding ζε μπμζμδήπμηε ζηάδζμ βζαηί, υπςξ ακαθένεδηε ηαζ πζμ πάκς, δ Python πνδζζιμπμζεί ημκ απμηςδζημπμζδηή ASCII μ μπμίμξ δεκ είκαζ ζε εέζδ κα απμηςδζημπμζήζεζ παναηηήνεξ έλς απυ ηδ ζεζνά ASCII. Έηζζ, ααζζηή επζθμβή ηαηαθήβεζ κα είκαζ δ ηςδζημπμίδζδ windows-1253, πμο είκαζ ίδζα ηαζ ιε αοηή ημο ζοζηήιαημξ. Σέθμξ, βζα ηδκ ηαθφηενδ θεζημονβία ηάπμζςκ εκημθχκ, ηονίςξ απεζηυκζζδξ, πνεζάγεηαζ κα αθθάλμοιε ηδκ πνμεπζθεβιέκδ ηςδζημπμίδζδ πμο πνδζζιμπμζείηαζ ζηδκ εηηέθεζδ Unicode, δ μπμία είκαζ δ ASCII. Αοηυ επζηοβπάκεηαζ ιε ηδκ ηνμπμπμίδζδ ημο ανπείμο site.py πμο ανίζηεηαζ ζηδ εέζδ C:\\ Python26\\Lib. οβηεηνζιέκα, ζηδ βναιιή 460 αθθάγμοιε ηδ ζοκεήηδ (if 0:) ζε if 1: ηαζ ζηδ βναιιή 463 (encoding = "undefined") αάγμοιε ηδκ ηςδζημπμίδζδ πμο εέθμοιε. Γζα ημ ζφζηδιά ιαξ είκαζ δ "windows-1253" (encoding = "windows-1253"). [18] Ζ αθθαβή ιπμνεί κα θακεί απυ ηδκ εηηέθεζδ ηςκ παναηάης εκημθχκ πμο επζζηνέθμοκ ηδκ ηςδζημπμίδζδ ηδξ εηηέθεζδξ Unicode, πνζκ ηαζ ιεηά ηδκ ηνμπμπμίδζδ: Πνζκ: Μεηά: >>> import sys >>> sys.getdefaultencoding() 'ascii' >>> import sys >>> sys.getdefaultencoding() 'windows-1253' 20

21 Κεθάιαην 3 Καηεγνξίεο Δληνιώλ 3.1. Δηζαγωγή ημ ηεθάθαζμ αοηυ πανμοζζάγμκηαζ μζ εκημθέξ ημο NLTK. Γζα ημκ έθεβπμ ηςκ εκημθχκ αοηχκ πνδζζιμπμζήεδηε έκα απυζπαζια απυ ημ internet βζα ημ θαζκυιεκμ ημο εενιμηδπίμο. Σμ ηείιεκμ απμεδηεφηδηε ζε έκα έββναθμ ηεζιέκμο ιε ημ υκμια fainomeno_tou_thermokhpiou.txt ιε ηςδζημπμίδζδ windows-1253 (ημ ανπείμ παναηίεεηαζ ζημ πανάνηδια Α). Σμ ανπείμ ανίζηεηαζ ζηδ εέζδ C:\\ Python26\\ χζηε δ εζζαβςβή ημο κα βίκεζ ηαη εοεείακ πςνίξ κα πνεζαζηεί κα μνίζμοιε ημ ιμκμπάηζ ηδξ ημπμεεζίαξ ημο. Γζα ηδκ εηηίκδζδ ηδξ δζαδζηαζίαξ ήηακ απαναίηδημ κα βίκεζ εζζαβςβή ηαηάθθδθςκ αζαθζμεδηχκ ηαεχξ ηαζ ημο ηεζιέκμο ηαζ κα ιεηαηναπεί ζηδκ ηαηάθθδθδ ιμνθή. Δδχ θαίκεηαζ ιυκμ ημ ηιήια ηχδζηα βζα ηδκ εζζαβςβή πςνίξ ηα απαναίηδηα ζπυθζα, ηαεχξ δ επελήβδζδ ηδξ ηάεε εκημθήξ εα βίκεζ ακαθοηζηά παναηάης. Ο θυβμξ ακαθμνάξ αοηχκ ηςκ ιεηαηνμπχκ είκαζ υηζ αοηέξ μζ ιεηααθδηέξ πνδζζιμπμζμφκηαζ ζε υθα ηα οπμηεθάθαζα ημο ηεθαθαίμο 3, μπυηε εα απμθφβμοιε ηδκ επακάθδρδ ηςκ δδθχζεςκ ηάεε θμνά. >>> import nltk, re, pprint, csv, random, codecs >>> from nltk.book import * >>> from nltk import load_parser >>> f = codecs.open('fainomeno_tou_thermokhpiou.txt','ru', encoding = 'windows-1253') >>> raw_win = f.read() >>> raw = raw_win.encode('windows-1253') >>> tokens = nltk.whitespacetokenizer().tokenize(raw) >>> text = nltk.text(tokens) Ζ ιεηααθδηή raw πενζέπεζ ημ ηείιεκμ πμο εα πνδζζιμπμζδεεί βζα ημκ έθεβπμ ζε ιμνθή εκυξ string. Ζ tokens είκαζ ιία ιεηααθδηή ηφπμο θίζηαξ ηαζ ζε ηέημζα έπεζ ιεηαηνέρεζ ημ εζζαβυιεκμ ηείιεκμ. Σέθμξ, δ text είκαζ ηφπμο ηεζιέκμο ηαζ πενζέπεζ, μοζζαζηζηά, ημ ηείιεκμ ζηδ ιμνθή πμο ημ αθέπμοιε ηαζ ειείξ ζε έκακ text editor. Αλίγεζ κα ζδιεζςεεί υηζ ηάεε εκημθή ζοκηάζζεηαζ ιε δζαθμνεηζηά μνίζιαηα ηαζ εζζυδμοξ ηαζ βζ αοηυ εα πνδζζιμπμζδεεί ηάεε θμνά μ ηφπμξ ιεηααθδηήξ πμο πνεζάγεηαζ. Αηυια, ήηακ απαναίηδημ κα ηαηαζηεοαζηεί έκα corpus ιε ηα ηείιεκα πνμξ δμηζιή. Χξ corpus μνίγεηαζ έκαξ θάηεθμξ πμο πενζέπεζ πμθθά ανπεία. Σμ πνμξ ελέηαζδ corpus δδιζμονβήεδηε ζηδ εέζδ C:\\nltk_data\\corpora\\my_own_corpus ηαζ, υπςξ δζαπζζηχκεηαζ, ιέζα ζημ θάηεθμ my_own_corpus πενζέπμκηαζ ηα ανπεία πμο εα ελεηαζημφκ. Σα ανπεία αοηά, ηςκ μπμίςκ ημ πενζεπυιεκμ θαίκεηαζ ζηα πανανηήιαηα, είκαζ ηα ελήξ: article1.txt: πενζέπεζ έκα απυζπαζια εκυξ ημζκςκζημφ άνενμο βζα ηδ Μένζθζκ Μμκνυε ηαζ θαίκεηαζ ζημ πανάνηδια Β. [10] article2.txt: πενζέπεζ έκα απυζπαζια βζα ημ Δεκζηυ Ανπαζμθμβζηυ Μμοζείμ ηαζ θαίκεηαζ ζημ πανάνηδια Γ. [11] 21

22 fainomeno_tou_thermokhpiou.txt: πενζέπεζ έκα απυζπαζια βζα ημ θαζκυιεκμ ημο εενιμηδπίμο ηαζ απμηεθεί ημ ααζζηυ ηείιεκμ πνμξ ιεθέηδ ηδξ πανμφζδξ ενβαζίαξ. [9] fainomeno_tou_thermokhpiou_tagged.txt: πενζέπεζ ημ ηείιεκμ απυ ημ ανπείμ fainomeno_tou_thermokhpiou.txt ζε ιμνθή tagged ηαζ θαίκεηαζ ζημ πανάνηδια Γ fainomeno_tou_thermokhpiou_chunked.txt: πενζέπεζ ημ ηείιεκμ απυ ημ ανπείμ fainomeno_tou_thermokhpiou.txt ζε ιμνθή chunked ηαζ θαίκεηαζ ζημ πανάνηδια Δ female_gr.txt: πενζέπεζ έκα δείβια βζα ηα εθθδκζηά βοκαζηεία μκυιαηα ηαζ θαίκεηαζ ζημ πανάνηδια Σ male_gr.txt: πενζέπεζ έκα δείβια βζα ηα εθθδκζηά ακδνζηά μκυιαηα ηαζ θαίκεηαζ ζημ πανάνηδια Ε merchant.xml: πενζέπεζ έκα απυζπαζια απυ ημ ένβμ ημο Shakespeare «Ο Έιπμνμξ ηδξ Βεκεηίαξ» ηαζ θαίκεηαζ ζημ πανάνηδια Ζ categories.txt: πενζέπεζ ηα ανπεία ημο corpus ηαλζκμιδιέκα ζε ηαηδβμνίεξ ηαζ θαίκεηαζ ζημ πανάνηδια Θ readme: είκαζ ημ readme ανπείμ ημο corpus ηαζ θαίκεηαζ ζημ πανάνηδια Η Γζα κα έπμοιε πνυζααζδ ζε αοηά ηα εα πνέπεζ κα θμνηςεμφκ ηάπμζεξ ηθάζεζξ. Ανπζηά, δ CategorizedPlaintextCorpusReader δ μπμία ηθδνμκμιεί ηα παναηηδνζζηζηά απυ ηδκ PlaintextCorpusReader ηαζ ηδκ CategorizedCorpusReader ηαζ παίνκεζ ςξ μνίζιαηα ηδ δζαδνμιή ημο corpus, ηα ανπεία πμο εέθμοιε κα θμνηχζμοιε ηαζ ημ ανπείμ πμο πενζέπεζ ηζξ ηαηδβμνίεξ ημο corpus. Έπεζηα, δ TaggedCorpusReader πμο παίνκεζ ςξ υνζζια ηδ δζαδνμιή ημο corpus ηαζ ημ ανπείμ πμο πενζέπεζ ημ παναηηδνζζιυ ζε πμζμ ιένμξ ημο θυβμο ακήηεζ δ ηάεε ιία θέλδ (tagged ανπείμ). Σέθμξ, εζζάβεηαζ δ ConllChunkCorpusReader δ μπμία πνδζζιμπμζείηαζ βζα ημ δζάααζια εκυξ ανπείμο πμο είκαζ ηδξ ιμνθήξ IOB. >>> from nltk.corpus import CategorizedPlaintextCorpusReader >>> from nltk.corpus import TaggedCorpusReader >>> from nltk.corpus.reader import ConllChunkCorpusReader >>> corpus_root = 'C:\\nltk_data\\corpora\\my_own_corpus' >>> wordlists= CategorizedPlaintextCorpusReader(corpus_root, '.*', cat_file='categories.txt') >>> reader = TaggedCorpusReader(corpus_root, ['fainomeno_tou_thermokhpiou_tagged.txt']) >>> reader_chun= ConllChunkCorpusReader(corpus_root, r'.*', '.*') Αθμφ έβζκε δ εζζαβςβή ηςκ απαναίηδηςκ ηθάζεςκ, μνίγμκηαζ μζ ηαηάθθδθεξ ιεηααθδηέξ μζ μπμίεξ εα πνδζζιμπμζμφκηαζ ζε υθα ηα οπμηεθάθαζα. Ζ ιεηααθδηή wordlists πενζέπεζ ημ πενζεπυιεκμ ημο corpus υζμκ αθμνά ζε υθα ηα ανπεία. Χζηυζμ, δε ιπμνεί κα πνδζζιμπμζδεεί ζε εκημθέξ πμο ζπεηίγμκηαζ ιε tagged ηείιεκα ηαζ μφηε ιε chunked ηείιεκα. Γζ αοηυ ημ θυβμ, μνίγμκηαζ μζ reader ηαζ δ reader_chun ακηίζημζπα. Σέθμξ, μνίγμοιε ηδ ιεηααθδηή fdist πάκς ζηδκ μπμία εα βίκμοκ ανηεημί έθεβπμζ ηαε υθα ηα ηεθάθαζα. Ζ ιεηααθδηή αοηή πενζέπεζ ιία ηαηακμιή ζοπκμηήηςκ βζα ημ υνζζιά ηδξ. Ζ ζφκηαλή ηδξ είκαζ ςξ ελήξ: >>> fdist = FreqDist(text) 22

23 3.2. Δληνιέο Δηζαγωγήο Κεηκέλνπ από αξρείν ή ην Web open() Άκμζβια ημο ανπείμο. Μπμνεί κα πάνεζ 2 παναιέηνμοξ: ημ υκμια ημο ανπείμο ηαζ ημ 'ru', υπμο ημ r είκαζ βζα άκμζβια ημο εββνάθμο βζα ακάβκςζδ (πνμεπζθμβή) ηαζ ημ U πνμένπεηαζ απυ ηδ θέλδ Universal ηαζ επζηνέπεζ κα αβκμμφιε ηζξ δζάθμνεξ ζοιαάζεζξ βζα ηδ ζήιακζδ βναιιχκ. Υνδζζιμπμζείηαζ ζοκήεςξ αημθμοεμφιεκδ απυ ηδ ζοκάνηδζδ read(). >>> f = open('fainomeno_tou_thermokhpiou.txt','ru') Να ζδιεζςεεί υηζ δ ιεηααθδηή f πμο εα πνδζζιμπμζδεεί βζα ημ βεκζηυ έθεβπμ είκαζ υπςξ μνίγεηαζ ζηδκ εζζαβςβή ηαζ υπζ υπςξ θαίκεηαζ εδχ. Δδχ δείπκεηαζ ιυκμ ζακ βεκζηή ζοκάνηδζδ. read() Γδιζμονβεί έκα string ημ μπμίμ πενζέπεζ ημ πενζεπυιεκμ ημο ανπείμο πμο άκμζλε δ open(). >>> raw = f.read() >>> raw "Ρο φαινόμενο του θερμοκηπίου είναι μια φυσική διαδικασία. Ρο χρειαζόμαστε για να διατηρούμε τη Αη μας ζεστή, ώστε να υπάρχει ζωή και ανάπτυξη. Βίχως αυτό, η Αη θα ήταν κρύα περίπου -20 C, και δεν θα μπορούσε να υπάρχει ζωή. Ώντιθέτως, η μέση θερμοκρασία της Αης διατηρείται στο επίπεδο των 15 0C, χάρις στο φαινόμενο αυτό. Ρα αέρια του θερμοκηπίου (που περιλαμβάνουν κυρίως το CO2 και τους υδρατμούς) σχηματίζουν ένα 'στρώμα' πάνω από το έδαφος της Αης σε ένα ορισμένο ύψος, ώστε αφού επιτρέψουν να εισέλθει η υπέρυθρη ακτινοβολία του ήλιου, αυτή απορροφάται κατά ένα μέρος από τη Αη και την ατμόσφαιρα. Νι τελευταίες, συμβάλλουν στην αύξηση της συγκέντρωσης των αερίων του θερμοκηπίου καθώς και στην έκλυση άλλων ιχνοστοιχείων, όπως οι χλωροφθοράνθρακες (CFC's). Ρα τελευταία χρόνια, καταγράφεται μία αύξηση στη συγκέντρωση αρκετών αερίων του θερμοκηπίου, ενώ ειδικότερα στην περίπτωση του διοξειδίου του άνθρακα, η αύξηση αυτή ήταν 31% την περίοδο Ρα τρία τέταρτα της ανθρωπογενούς παραγωγής διοξειδίου του άνθρακα, οφείλεται σε χρήση ορυκτών καυσίμων, ενώ το υπόλοιπο μέρος προέρχεται από αλλαγές που συντελούνται στο έδαφος, κυρίως μέσω της αποδάσωσης." Να ζδιεζςεεί υηζ δ ιεηααθδηή raw πμο εα πνδζζιμπμζδεεί βζα ημ βεκζηυ έθεβπμ είκαζ υπςξ μνίγεηαζ ζηδκ εζζαβςβή ηαζ υπζ υπςξ θαίκεηαζ εδχ. Δδχ δείπκεηαζ ιυκμ ζακ βεκζηή ζοκάνηδζδ. 23

24 csv.reader() Γζααάγεζ έκα ανπείμ ηφπμο. csv. >>> lexicon = csv.reader(open('dict.csv')) >>> for i in lexicon: print i ['', 'Ρο', 'φαινόμενο', 'του θερμοκηπίου είναι μια φυσική διαδικασία.'] Παναηδνήζηε υηζ ημ ανπείμ πμο δζααάζηδηε είκαζ ημ dict.csv ηαζ ανίζηεηαζ ζηδ εέζδ C:\\ Python26. Σμ πενζεπυιεκυ ημο θαίκεηαζ ζημ πανάνηδια ΗΑ. strip() Μπμνμφιε, επίζδξ, κα δζααάζμοιε έκα ανπείμ ελεηάγμκηαξ ιία βναιιή ηδ θμνά ιε ηδκ εκημθή strip() δ μπμία ελαθείθεζ ημ παναηηήνα κέαξ βναιιήξ ζημ ηέθμξ ηδξ ηάεε βναιιήξ εζζυδμο. >>> f = open('fainomeno_tou_thermokhpiou.txt','ru') >>> for line in f: print line.strip() Ρο φαινόμενο του θερμοκηπίου είναι μια φυσική διαδικασία. Ρο χρειαζόμαστε για να διατηρούμε τη Αη μας ζεστή, ώστε να υπάρχει ζωή και ανάπτυξη. Βίχως αυτό, η Αη θα ήταν κρύα περίπου -20 C, και δεν θα μπορούσε να υπάρχει ζωή. Ώντιθέτως, η μέση θερμοκρασία της Αης διατηρείται στο επίπεδο των 15 0C, χάρις στο φαινόμενο αυτό. Ρα αέρια του θερμοκηπίου (που περιλαμβάνουν κυρίως το CO2 και τους υδρατμούς) σχηματίζουν ένα 'στρώμα' πάνω από το έδαφος της Αης σε ένα ορισμένο ύψος, ώστε αφού επιτρέψουν να εισέλθει η υπέρυθρη ακτινοβολία του ήλιου, αυτή απορροφάται κατά ένα μέρος από τη Αη και την ατμόσφαιρα. Νι τελευταίες, συμβάλλουν στην αύξηση της συγκέντρωσης των αερίων του θερμοκηπίου καθώς και στην έκλυση άλλων ιχνοστοιχείων, όπως οι χλωροφθοράνθρακες (CFC's). Ρα τελευταία χρόνια, καταγράφεται μία αύξηση στη συγκέντρωση αρκετών αερίων του θερμοκηπίου, ενώ ειδικότερα στην περίπτωση του διοξειδίου του άνθρακα, η αύξηση αυτή ήταν 31% την περίοδο Ρα τρία τέταρτα της ανθρωπογενούς παραγωγής διοξειδίου του άνθρακα, οφείλεται σε χρήση ορυκτών καυσίμων, ενώ το υπόλοιπο μέρος προέρχεται από αλλαγές που συντελούνται στο έδαφος, κυρίως μέσω της αποδάσωσης. type() Δκημπίγεζ ημκ ηφπμ ηδξ δμζιέκδξ ιεηααθδηήξ. 24

25 >> type(raw) <type 'str'> >>> type(tokens) <type 'list'> >>> type(text) <class 'nltk.text.text'> urlopen() οκάνηδζδ βζα άκμζβια εκυξ link. Απαναίηδηδ πνμτπυεεζδ είκαζ κα θμνηςεεί πνχηα δ αζαθζμεήηδ urllib. >>> from urllib import urlopen >>> url = " L:HTML" >>> raw_url = urlopen(url).read() >>> raw_url <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"><html lang="el"> <head> <meta name="dc.language" content="el"> <meta name="dc.title" content="eur-lex DC EL"> <div id="texteonly"> <p> <TXT_TE><p>ΐρυξέλλες, </p><p>COM(2004) 818 τελικό</p><p>γθζγπε ΡΕΠ ΓΞΗΡΟΝΞΕΠ</p><p>«Ε ΘΏΙΥΕ ΡΕΠ ΘΏΖΠΡΓΟΕΠΕΠ ΓΗΠ Ν,ΡΗ ΏΣΝΟΏ ΡΝΛ ΘΝΗΛΝΡΗΘΝ ΠΡΝΤΝ ΡΝ ΘΝΡΝ» (δυνάμει της απόφασης του Γυρωπαϊκού Θοινοβουλίου και του Πυμβουλίου, 280/2004/EΘ σχετικά με μηχανισμό παρακολούθησης των εκπομπών αερίων που συμβάλλουν στο φαινόμενο του θερμοκηπίου στην Θοινότητα και εφαρμογής του Ξρωτοκόλλου του Θυότο)</p><p>Γισαγωγη</p><p>Ξρόκειται για την πέμπτη έκθεση παρακολούθησης των εκπομπών αερίων που συμβάλλουν στο φαινόμενο θερμοκηπίου στην Θοινότητα και για την πρώτη έκθεση δυνάμει της απόφασης του Πυμβουλίου 280/2004/EΘ σχετικά με μηχανισμό παρακολούθησης των εκπομπών αερίων που συμβάλλουν στο φαινόμενο του θερμοκηπίου στην Θοινότητα και εφαρμογής του Ξρωτοκόλλου του Θυότο (280/2004/EΘ). 25

26 Ρο αριθμητικό δεδομένο για την ΓΓ-25 αποτελεί εκτίμηση για τα 25 κράτη μέλη, πλην όμως βασίζεται στα δεδομένα εκπομπών 24 μόνο κρατών μελών, επειδή τα δεδομένα για την Θύπρο δεν ήταν διαθέσιμα.</p><p>[3] Ρο 1990 αποτελεί το έτος βάσεως για τα περισσότερα κράτη μέλη εις ό,τι αφορά το CO2,, το μεθάνιο (CH4) και το υποξείδιο του αζώτου (N2O), ενώ είναι το 1995 για τα φθοριούχα αέρια. Ρο έτος βάσεως για το CO2, το CH4 και το N2O για την Νυγγαρία είναι ο μέσος όρος των ετών , για τη Πλοβενία το 1986 και για την Ξολωνία το 1988 το έτος βάσεως για τα φθοριούχα αέρια, για τη Ααλλία και τη Σιλανδία, είναι το 1990.</p><p>[4] Γις ό,τι αφορά τα περισσότερα κράτη μέλη το έτος βάσεως για τα φθοριούχα αέρια είναι το 1995 και ότι το Ρο στοιχείο αυτό ενδέχεται να μεταβάλει κατά τι τα σχετικά με τις βιομηχανικές διαδικασίες δεδομένα, πλην όμως τα σχετικά με το 1990 δεδομένα δεν είναι διαθέσιμα για όλα τα κράτη μέλη.</p></txt_te></p> </div> <hr class="homepage"><div id="managed"><a href=" για τη διαχείριση είναι η πηρεσία Γκδόσεων</a></div></body> </html> clean_html() Ακ εέθμοιε κα απμθφβμοιε ηδ read(), ημ nltk πνμζθένεζ ηδ ζοκάνηδζδ clean_html() πμο απμεδηεφεζ απ εοεείαξ ζε string ημ δμζιέκμ link. >>> html=" L:HTML" >>> raw_url = nltk.clean_html(html) >>> raw_url ' ElementTree() Πανέπεζ έκακ εφημθμ ηνυπμ πνυζααζδξ ζημ πενζεπυιεκμ ανπείςκ xml. >>> from nltk.etree.elementtree import ElementTree >>> merchant_file = nltk.data.find('corpora/my_own_corpus/merchant.xml') >>> merchant = ElementTree().parse(merchant_file) Traceback (most recent call last): File "<pyshell#4>", line 1, in <module> merchant = ElementTree().parse(merchant_file) 26

27 File "C:\Python26\lib\site-packages\nltk\etree\ElementTree.py", line 586, in parse parser.feed(data) File "C:\Python26\lib\site-packages\nltk\etree\ElementTree.py", line 1245, in feed self._parser.parse(data, 0) ExpatError: not well-formed (invalid token): line 6, column 7 Παναηδνήζηε υηζ δε ιπμνεί κα δζααάζεζ ημ ανπείμ ζημ ζδιείμ πμο πανμοζζάγεηαζ δ πνχηδ εθθδκζηή θέλδ, ζοκεπχξ αοηυ ημ module δεκ ζηακμπμζεί εθθδκζηά ανπεία Δληνιέο Πξόζβαζεο γηα Corpora fileids() Γείπκεζ ηα ανπεία πμο πενζέπμκηαζ ζημ corpus ή ηα ανπεία πμο ακήημοκ ζηζξ ζοβηεηνζιέκεξ ηαηδβμνίεξ. >>> wordlists.fileids() ['article1.txt', 'article2.txt', 'categories.txt', 'fainomeno_tou_thermokhpiou.txt', 'fainomeno_tou_thermokhpiou_chunked.txt', 'fainomeno_tou_thermokhpiou_tagged.txt', 'female_gr.txt', 'male_gr.txt', 'merchant.xml', 'readme'] >>> wordlists.fileids(categories='επηζηήκε') ['fainomeno_tou_thermokhpiou.txt', 'fainomeno_tou_thermokhpiou_chunked.txt', 'fainomeno_tou_thermokhpiou_tagged.txt'] categories() Διθακίγεζ ηζξ ηαηδβμνίεξ ημο corpus ζοκμθζηά ή ηζξ ηαηδβμνίεξ ημο corpus πμο ακηαπμηνίκμκηαζ ζε δμζιέκα ανπεία. >>> wordlists.categories() ['Γπιστήμη', 'Θοινωνικά', 'Ιογοτεχνία', 'Ννόματα', 'Ξολιτισμός'] >>> wordlists.categories('fainomeno_tou_thermokhpiou.txt') ['Γπιστήμη'] 27

28 raw() Διθακίγεζ ημ πενζεπυιεκμ είηε ημο corpus είηε ηςκ ανπείςκ πμο γδημφκηαζ είηε ηςκ ανπείςκ πμο ακήημοκ ζηζξ δμζιέκεξ ηαηδβμνίεξ πςνίξ ηάπμζα επελενβαζία. Μπμνμφιε κα ηδ ζοκηάλμοιε ιε ηνεζξ ηνυπμοξ. Ακ ηδ αάθμοιε ιε ηδ ιεηααθδηή wordlists εα ειθακίγεζ ημ πενζεπυιεκμ υθςκ ηςκ ανπείςκ ημο corpus εκχ ακ ηδξ μνίζμοιε ηαζ ζοβηεηνζιέκμ ανπείμ εα ειθακίζεζ ημ πενζεπυιεκμ αοημφ ημο ανπείμο. Σέθμξ, ακ μνίζμοιε ηάπμζα ηαηδβμνία εα ειθακίζεζ ημ πενζεπυιεκμ ηςκ ανπείςκ πμο ακήημοκ ζε αοηή ηδκ ηαηδβμνία. >>> wordlists.raw() 'ταν η αγραμματοσύνη έρχεται ξανά στη μόδα Ε Κέριλιν Κονρόε θωρούσε ότι είναι «κουλ» να είσαι έξυπνη- Ε Πάρα Ξέιλιν περηφανεύεται για την άγνοιά της O Ρζιάκομο Θαζανόβα συνήθιζε να αποπλανεί τις όμορφες γυναίκες λέγοντάς τους ότι ήταν ευφυείς και τις έξυπνες λέγοντάς τους ότι ήταν όμορφες. Ώυτή η ψευδής επιλογή μεταξύ ευφυύας και σεξουαλικότητας στις γυναίκες συνεχίζει να μας κατατρέχει διά μέσου των αιώνων. Θαι δεν υπάρχει πιο παραδειγματικό θύμα της από τη Κέριλιν Κονρόε. Ε Κέριλιν ήταν αρκετά έξυπνη ώστε να γίνει η πιο διάσημη «χαζή ξανθιά» στην ιστορία. Νι φωτογράφοι λάτρευαν να την απαθανατίζουν να ποζάρει με προκλητικό βλέμμα, φορώντας κολλητά σορτσάκια, μια μεταξωτή ρόμπα ή το μαγιό της, και κρατώντας στα χέρια της ένα βαρύ βιβλίο, όπως τον «Νδυσσέα» του Ρζέιμς Ρζόις ή τα ποιήματα του Τάινριχ Τάινε. Ένα «κουνελάκι με μυαλό», παραλλαγή του στερεοτύπου της σέξι βιβλιοθηκάριου. Έτσι, όσοι άνδρες ένιωθαν αμήχανα με τον έντονο ερωτισμό που εξέπεμπε, μπορούσαν πάντα να νιώσουν ανώτεροι γελώντας με τις πνευματικές της «επιδόσεις». Ε ίδια η Κέριλιν δεν είχε πιάσει το εις βάρος της αστείο. Πημαδεμένη από τη σχιζοφρενή μητέρα της και με προβληματική ανατροφή, <LINE>λαχνός που επινόησε σ αυτά τα τρία κουτιά, το</line> <LINE>χρυσό, τ ασημένιο και το μολυβένιο, που όποιος</line> <LINE>διαλέξει με την ιδέα του θα διαλέξει εσένα, το δίχως άλλο ποτέ δε θα διαλεχτεί ποτέ από κανέναν,</line> <LINE>παρά μόνον από κείνον που με τα σωστά του θα σ αγαπάει.</line> <LINE>Κα ποια ναι η θέρμη της συμπάθειάς σου για κανέναν</line> <LINE>απ τους βασιλικούς μνηστήρες που έχουν έρθει ως τώρα;</line> </SPEECH> <STAGEDIR>ΐγαίνουν</STAGEDIR> </SCENE> </ACT> </PLAY> Ώυτό είναι το readme αρχείο του προς εξέταση κατασκευασμένου corpus.' Παναηδνήζηε υηζ ςξ απμηέθεζια παίνκμοιε ημ πενζεπυιεκμ υθμο ημο corpus. 28