Transcript

1 Πανεπιστήμιο Πατρών Πολυτεχνική Σχολή Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής Διπλωματική Εργασία Μεταπτυχιακό Δίπλωμα Ειδίκευσης Επιστήμη και Τεχνολογία Υπολογιστών Πολιτισμικοί Αλγόριθμοι: εφαρμογή στην ανάλυση της ελληνικότητας του παγκόσμιου ιστού Παναγιώτα Κατσικούλη Α.Μ.: 827 Επιβλέπων: Χρήστος Κακλαμάνης, Καθηγητής Πάτρα, Ιούνιος 2013

2

3 Ευχαριστίες Στο σημείο αυτό θα ήθελα να ευχαριστήσω όλους όσους συνέβαλλαν στην εκπόνηση και συγγραφή της μεταπτυχιακής διπλωματικής μου εργασίας. Θεωρώ τιμή μου, για ακόμα μια φορά, τη συνεργασία με τον καθηγητή κ.χρήστο Κακλαμάνη και υποχρέωσή μου να τον ευχαριστήσω θερμά για την εμπιστοσύνη που μου έδειξε αναθέτοντάς μου την εκπόνηση της συγκεκριμένης διπλωματικής. Θα ήθελα επίσης να ευχαριστήσω την επιβλέπουσα της διπλωματικής, κ. Εύη Παπαϊωάννου για τη συνεργασία, τη βοήθεια και τις συμβουλές που μου προσέφερε σε όλα τα στάδια των σπουδών μου καθώς και τις συμβουλές της για τη συνέχισή τους. Τέλος, ευχαριστώ την οικογένειά μου και τους φίλους μου. 3

4 4

5 Περίληψη Οι Πολιτισμικοί Αλγόριθμοι είναι Εξελικτικοί Αλγόριθμοι εμπνευσμένοι από την κοινωνική εξέλιξη. Περιλαμβάνουν ένα χώρο πεποιθήσεων, έναν πληθυσμό και ένα πρωτόκολλο επικοινωνίας που παρέχει συναρτήσεις που επιτρέπουν την ανταλλαγή γνώσης μεταξύ του πληθυσμού και του χώρου πεποιθήσεων. Στην παρούσα εργασία οι Πολιτισμικοί Αλγόριθμοι χρησιμοποιούνται για την ανάλυση της ελληνικότητας του παγκόσμιου ιστού. Είναι γνωστό πως η ελληνική γλώσσα αποτελεί πηγή άντλησης πληθώρας λέξεων για τα λεξιλόγια πολλών άλλων γλωσσών. Ο παγκόσμιος ιστός αποτελεί πλέον καθολικό μέσο επικοινωνίας, χώρο διακίνησης τεράστιου όγκου πληροφορίας και δεδομένων και σύγχρονο μέσο οικονομικής, πολιτικής και κοινωνικής δραστηριοποίησης. Με άλλα λόγια, ο παγκόσμιος ιστός αποτελεί ένα νέο είδος κοινωνίας. Ως τέτοιο, ο παγκόσμιος ιστός αποτελεί σήμερα το χώρο εκείνο που η επίδραση του πολιτισμού, μέσω της γλώσσας, είναι εμφανής στα διάφορα κείμενα που φιλοξενούνται σε αυτόν. Η παρούσα διπλωματική επιχειρεί να μετρήσει το ποσοστό των λέξεων με ελληνική προέλευση που χρησιμοποιούνται στα κάθε είδους κείμενα που εμφανίζονται σε ιστοσελίδες του παγκόσμιου ιστού. Στόχος της εργασίας είναι η διερεύνηση του κατά πόσον είναι εφικτός ο σχεδιασμός κατάλληλου μοντέλου και αντίστοιχων αλγορίθμων που θα επιτρέψουν να εκτιμηθεί η ἑλληνικότητα του παγκόσμιου ιστού. Η μεθοδολογία προσέγγισης του θέματος περιλαμβάνει το σχεδιασμό και την υλοποίηση ενός Πολιτισμικού Αλγορίθμου και χρήση του περιβάλλοντος προγραμματισμού Python για σχεδιασμό και υλοποίηση κατάλληλης εφαρμογής και για πειραματικό έλεγχο. 5

6 6

7 Abstract Cultural Algorithms are Evolutionary Algorithms inspired from societal evolution. They involve a belief space, a population space and a communication protocol which provides functions that enable exchange of knowledge between population and belief space. In this thesis cultural algorithms are used in order to analyze how greek the web is. It is commonly known that the greek language is the source of a plethora of words for other languages dictionaries. The World Wide Web is, nowadays, a universal means of communication, a place where huge amounts of information and data are transmitted and a modern means of economical, political and social activity. In other words, the world wide web has emerged as a new kind of society. As such, it has become the place where any culture s influence, throuh their language, is obvious in hosted texts. This thesis attempts to count the percentage of words with greek origin used in web hosted texts of any kind. The main objective is to investigate whether it is possible to design a proper model and corresponding algorithms that allow to evaluate how greek the web is. The methodology followed in this approach consists of the design and implementation of a Cultural Algorithm and of the use of the programming language Python for designing and implementing a proper application and for experimental evaluation. 7

8 8

9 Περιεχόμενα 1 Εισαγωγή 13 2 Πολιτισμικοί Αλγόριθμοι Συστατικά Πολιτισμικών Αλγορίθμων Εφαρμογές Πολιτισμικών Αλγορίθμων Εφαρμογή για την ανάλυση της ελληνικότητας του παγκόσμιου ιστού Σχετική βιβλιογραφία Η επίδραση της ελληνικής γλώσσας στο αγγλικό λεξιλόγιο Συλλογή ελληνικών λημμάτων και παραδειγμάτων Πολιτισμικός Αλγόριθμος Σχεδιασμός και υλοποίηση διεπαφής χρήστη Λειτουργία εφαρμογής Πειραματική αξιολόγηση και αποτελέσματα Πρακτική χρησιμότητα εφαρμογής Ανοιχτά προβλήματα και μελλοντικές επεκτάσεις

10 10

11 Κατάλογος Σχημάτων 2.1 Τα συστατικά ενός πολιτισμικού αλγορίθμου και η μεταξύ τους επικοινωνία Ψευδοκώδικας ενός γενικού πολιτισμικού αλγορίθμου Ψευδοκώδικας πολιτισμικού αλγορίθμου εφαρμογής Κομμάτι κώδικα γραμμένο σε Python και σε JAVA Τα σημαντικότερα γραφικά στοιχεία (widgets) που υποστηρίζει η βιβλιοθήκη γραφικών Tkinter Η διεπαφή χρήστη: περιλαμβάνει ένα μενού, ένα πλαίσιο εισαγωγής κειμένου και έναν καμβά Τα αποτελέσματα της ανάλυσης παρουσιάζονται στον καμβά μέσω (α) ενός χάρτη που δείχνει τη χώρα που φιλοξενεί τη διεύθυνση IP του συνδέσμου εισόδου και (β) μιας γραφικής παράστασης σε μορφή πίτας που δείχνει με μπλε χρώμα το ποσοστό ελληνικών λέξεων που ανιχνεύτηκαν από τον αλγόριθμο Γραφικές παραστάσεις αποτελεσμάτων Γραφικές παραστάσεις συνολικών αποτελεσμάτων συλλογής πειραματικής αξιολόγησης Γραφικές παραστάσεις αποτελεσμάτων συλλογής πειραματικής αξιολόγησης ανά κατηγορία ιστοσελίδων που αναλύθηκαν Χρόνος εκτέλεσης πολιτισμικού αλγορίθμου

12 12

13 Κεφάλαιο 1 Εισαγωγή Στην παρούσα εργασία παρουσιάζεται σύστημα μάθησης ικανό να παράγει και να αναγνωρίζει αγγλικές λέξεις ελληνικής προέλευσης σε κείμενα που φιλοξενούνται στον παγκόσμιο ιστό. Τις τελευταίες δεκαετίες έχουμε παρατηρήσει την άνθιση του παγκόσμιου ιστού ως ένα παγκόσμιο καταθετήριο πληροφοριών και ως ένα από τα βασικότερα μέσα επικοινωνίας. Η εκρηκτική άνθιση του Διαδικτύου, καθώς και οι εξελίξεις στην έρευνα και την τεχνολογία, δείχνουν την ανάγκη για ένα νέο είδος κοινωνίας που αντανακλά την οικονομική, πολιτική και κοινωνική κατάσταση και δομή των σύγχρονων κοινωνιών καθώς και την ανάγκη για ένα νέο είδος πολιτισμού που συνδυάζει και ενσωματώνει στοιχεία από τους υπάρχοντες πολιτισμούς και παραδόσεις, όπως για παράδειγμα την ιστορία, τις τέχνες, την επιστήμη και την τεχνολογία, την εκπαίδευση, τη γλώσσα. Η αλληλεπίδραση μεταξύ της γλώσσας και του πολιτισμού και το κατά πόσον η γλώσσα και ο πολιτισμός επηρεάζονται μεταξύ τους έχει αποτελέσει το αντικείμενο πολλών γλωσσολογικών μελετών που στοχεύουν να καθορίσουν το κατά πόσο μια γλώσσα επιδρά στον τρόπο με τον οποίο οι ομιλητές της αντιλαμβάνονται τον κόσμο. Καθώς οι πληροφορίες βρίσκονται συχνά διαθέσιμες στο Διαδίκτυο κυρίως σε μορφή κειμένου, προκύπτει ένα ενδιαφέρον ερώτημα: μπορούν οι γλωσσολογικές επιδράσεις να ανιχνευτούν σε αυτή την ανερχόμενη κοινωνία και πολιτισμό του Διαδικτύου; Εμπνευσμένη από τη θεμελιώδη και σημαντική φύση της ελληνικής γλώσσας (δείτε για παράδειγμα, στο Κεφάλαιο 2 της παρούσας εργασίας, τις δύο ομιλίες του Ξενοφών Ζολώτα, Ελληνα οικονομολόγου που υπηρέτησε ως εσωτερικός ανεξάρτητος Πρωθυπουργός της Ελλάδας το 1989, οι οποίες έγιναν στα αγγλικά και θεωρούνται ιστορικής σημασίας διότι αποτελούνταν μόνο από όρους που έχουν ελληνική προέλευση), η παρούσα εργασία χρησιμοποιεί πολιτισμικούς αλγορίθμους για να μελετήσει την επιρροή της ελληνικής γλώσσας στα γραπτά κείμενα που φιλοξενούνται στον παγκόσμιο ιστό. Η προσέγγιση που ακολουθείται για τη μελέτη της επιρροής της ελληνικής γλώσσας στα γραπτά κείμενα που φιλοξενούνται στον παγκόσμιο ιστό βασίζεται κυρίως στην αυτόματη ανίχνευση (δλδ., εξόρυξη) και μέτρηση της συχνότητας (δλδ., ποσοστό) των λέξεων ελληνικής προέλευσης σε διαδικτυακά κείμενα που επιλέγει ο χρήστης. Η προσέγγιση εστίασε σε συνδέσμους που περιλαμβάνουν 13

14 Αγγλικό κείμενο, ωστόσο η εργασία μπορεί να επεκταθεί (εύκολα) για να υποστηρίζει συνδέσμους που περιέχουν κείμενο σε άλλες γλώσσες. Η μεθοδολογία αποτελείται από (α) τη δημιουργία συλλογής ελληνικών λημμάτων και παραδειγμάτων, (β) το σχεδιασμό και την υλοποίηση ενός πολιτισμικού αλγορίθμου που, ξεκινώντας από ένα αρχικό σύνολο λημμάτων και λέξεων ελληνικής προέλευσης, συλλογικά μαθαίνει και ανιχνεύει τέτοιες λέξεις στους συνδέσμους και (γ) το σχεδιασμό και την υλοποίηση μιας διεπαφής χρήστη που οπτικοποιεί και παρουσιάζει τα αποτελέσματα που λαμβάνουμε. Οι πολιτισμικοί αλγόριθμοι [26, 25] αναπτύχθηκαν από το R.G.Reynolds με σκοπό τη μοντελοποίηση της εξέλιξης των πολιτισμικών συστημάτων [3], δηλαδή, των συστημάτων εκείνων που επιτρέπουν την αλληλεπίδραση μεταξύ των διαφορετικών στοιχείων ενός πολιτισμού. Αποτελούν κλάδο της Εξελικτικής Υπολογιστικής τομέας που αφορά σε αλγορίθμους και τεχνικές που προσομοιώνουν την βιολογική εξέλιξη των ειδών στην φύση καθώς και άλλες βιολογικές τεχνικές και συστήματα. Οι πολιτισμικοί αλγόριθμοι αποτελούνται από ένα πλήθος συστατικών [26, 6]: το χώρο πεποιθήσεων, τον πληθυσμό και το πρωτόκολλο επικοινωνίας. Ο πληθυσμός περιλαμβάνει τα άτομα που συμμετέχουν στη διαδικασία της εξέλιξης ενώ ο χώρος πεποιθήσεων αποτελείται από διαφορετικές κατηγορίες γνώσης. Σκοπός του χώρου πεποιθήσεων είναι να καθορίσει το χώρο αναζήτησης του προβλήματος καθώς και να βοηθήσει τα μέλη του πληθυσμού να κινηθούν προς την αποδεκτή λύση, η οποία ορίζεται κάθε φορά από τη φύση του προβλήματος όπου εφαρμόζεται ο πολιτισμικός αλγόριθμος. Το πρωτόκολλο επικοινωνίας περιλαμβάνει συναρτήσεις (π.χ., συνάρτηση επιρροής, συνάρτηση αποδοχής κ.ά.) οι οποίες επιτρέπουν την ανταλλαγή πληροφοριών μεταξύ του χώρου πεποιθήσεων και των μελών του πληθυσμού. Η βασική λειτουργία ενός πολιτισμικού αλγορίθμου εξελίσσεται σε βήματα [26]. Αρχικά, αρχικοποιείται ο πληθυσμός και ο χώρος πεποιθήσεων. Στην αρχή κάθε βήματος πραγματοποιείται η αξιολόγηση των ατόμων του πληθυσμού. Στη συνέχεια, η συνάρτηση αποδοχής αποφασίζει ποια άτομα στον πληθυσμό του τρέχοντος βήματος έχουν την ικανότητα να επιδράσουν ή να συνεισφέρουν στο χώρο πεποιθήσεων του τρέχοντος βήματος. Τα άτομα αυτά και οι εμπειρίες τους χρησιμοποιούνται για την προσαρμογή του χώρου πεποιθήσεων. Ο ανανεωμένος χώρος πεποιθήσεων χρησιμοποιείται για να επηρεάσει τον πληθυσμό στο επόμενο βήμα. Η διαδικασία τερματίζει όταν ικανοποιηθεί η συνθήκη τερματισμού που έχει οριστεί για το πρόβλημα. Πρόκειται συνήθως για την κατάσταση όπου επιθυμούμε να βρίσκεται ο πληθυσμός που υπόκειται στη διαδικασία έτσι ώστε να ικανοποιούνται οι απαιτήσεις του προβλήματος. Η εφαρμογή για την αυτόματη ανίχνευση και μέτρηση της συχνότητας των λέξεων ελληνικής προέλευσης σε διαδικτυακά κείμενα υλοποιήθηκε με τη χρήση της Python [24], μιας γλώσσας προγραμματισμού ελεύθερου λογισμικού που υποστηρίζει καθαρή σύνταξη και προσφέρει αποτελεσματικότητα υλοποίησης και γρήγορη εκτέλεση. Για την πειραματική αξιολόγηση της εφαρμογής και του αλγορίθμου χρησιμοποιήθηκε συλλογή συνδέσμων από τους τομείς της τεχνολογίας, της επιστήμης των υπολογιστών, των μαθηματικών, της 14

15 ιατρικής, της εκπαίδευσης και της ανάπτυξης λογισμικού. Η αξιολόγηση επιβεβαίωσε τη μαθησιακή ικανότητα και ορθότητα του συστήματος στον ποιοτικό χαρακτηρισμό των συνδέσμων αναφορικά με την ελληνικότητα των κειμένων που περιέχουν. Τα αποτελέσματα της παρούσας διπλωματικής εργασίας, μετά από κρίση, δημοσιεύτηκαν στα πρακτικά του διεθνούς συνεδρίου INTED 2013 (7th International Technology, Education and Development Conference) [4]. Το κείμενο της διπλωματικής εργασίας ολοκληρώνεται ως εξής. Οι πολιτισμικοί αλγόριθμοι παρουσιάζονται στο Κεφάλαιο 2. Στο Κεφάλαιο 3 παρουσιάζεται ο πολιτισμικός αλγόριθμος καθώς και το σύστημα που σχεδιάστηκε και αναπτύχθηκε για την ανάλυση της ελληνικότητας των κειμένων που φιλοξενούνται στις ιστοσελίδες του παγκόσμιου ιστού. Τα αποτελέσματα της πειραματικής α- ξιολόγησης παρουσιάζονται στο ίδιο κεφάλαιο. Ο πηγαίος κώδικας της εφαρμογής βρίσκεται στο Παράρτημα Α. 15

16 16

17 Κεφάλαιο 2 Πολιτισμικοί Αλγόριθμοι Οι πολιτισμικοί αλγόριθμοι [25, 26] αποτελούν επέκταση στον τομέα της Εξελικτικής Υπολογιστικής (Evolutionary Computation) [16], του τομέα εκείνου ο οποίος, χρησιμοποιώντας ιδέες, έννοιες και μηχανισμούς από τη λειτουργία και την εξέλιξη των συστημάτων της φύσης, επιχειρεί να λύσει πολύπλοκα υπολογιστικά προβλήματα. Μέχρι πρόσφατα, η πλειοψηφία των προβλημάτων που αφορούσαν στην Εξελικτική Υπολογιστική επικεντρώνονταν στις διαδικασίες της φυσικής ε- πιλογής και της γενετικής. Συχνά, ωστόσο, προτείνεται [23] πως η πολιτιστική εξέλιξη επιτρέπει στις κοινωνίες να αναπτύσσονται με ρυθμούς μεγαλύτερους από τους ρυθμούς της βιολογικής εξέλιξης. Ο πολιτισμός ορίζεται από τον Durham [11] ως το σύστημα του συμβολικά κωδικοποιημένου φαινομένου εννοιών οι οποίες μεταδίδονται κοινωνικά και ιστορικά μέσα και μεταξύ των πληθυσμών. Οι πολιτισμικοί αλγόριθμοι εμπνέονται από την αρχή της πολιτισμικής εξέλιξης. Ο πολιτισμός περιλαμβάνει τις συνήθειες, τη γνώση, τις πεποιθήσεις, τα ήθη και τα έθιμα ενός μέλους της κοινωνίας. Ο πολιτισμός δεν είναι ανεξάρτητος από το περιβάλλον στο οποίο εξελίσσεται και μπορεί να αλληλεπιδρά με αυτό μέσω θετικών ή αρνητικών κύκλων ανατροφοδότησης. Πρόσφατα, ερευνητές επιχείρησαν να μοντελοποιήσουν τη διαδικασία της πολιτισμικής εξέλιξης υπό δύο πρίσματα [26]: α) υπό το πρίσμα της μικρο-εξελικτικής, αναφορικά με τη μετάδοση των συμπεριφορών ή των χαρακτηριστικών γνωρισμάτων μεταξύ ατόμων σε έναν πληθυσμό και β) υπό το πρίσμα της μάκρο-εξελικτικής, αναφορικά με το σχηματισμό γενικευμένων πεποιθήσεων βασισμένων στις εμπειρίες των ατόμων του πληθυσμού. Αυτές οι γενικευμένες πεποιθήσεις μπορούν να χρησιμοποιηθούν για να περιορίσουν τις συμπεριφορές των ατόμων ενός πληθυσμού. Ενα πολιτισμικό σύστημα διπλής κληρονομικότητας ε- πιτρέπει και υποστηρίζει τη μετάδοση πληροφορίας και στο επίπεδο του ατόμου αλλά και στο επίπεδο της ομάδας. Οι πολιτισμικοί αλγόριθμοι, ως κλάση υπολογιστικών μοντέλων πολιτισμικής εξέλιξης, υποστηρίζουν τη διπλή κληρονομικότητα. Στην πολιτισμική εξέλιξη, καθώς η διαδικασία της εξέλιξης ξεδιπλώνεται, τα άτομα του πληθυσμού συσσωρεύουν πληροφορία για το περιβάλλον, πληροφορία η οποία μοιράζεται στα υπόλοιπα άτομα του πληθυσμού [8]. Συλλογικά, αυτό το σώμα πληροφορίας, αποτελεί τη βάση γνώσης την οποία τα μέλη του πληθυσμού μπορούν να αξιοποιήσουν. Οι μηχανισμοί θετικής ανατροφοδότησης 17

18 εμφανίζονται όταν η πολιτισμική γνώση υποδεικνύει χρήσιμες περιοχές του περιβάλλοντος, πληροφορία που περνάει στις γενιές, αξιοποιείται, βελτιώνεται και υιοθετείται καθώς οι καταστάσεις αλλάζουν. Επιπρόσθετα, πληροφορία σχετικά με πιθανές περιοχές κινδύνου μοιράζεται εξίσου μέσω της βάσης γνώσης. Ο στόχος της επεξεργασίας πληροφορίας ενός αλγορίθμου είναι η βελτίωση της μάθησης ή η σύγκλιση κάποιας ενσωματωμένης τεχνικής αναζήτησης (τυπικά, ένας αλγόριθμος εξέλιξης ή αλλιώς, ένας πολιτισμικός αλγόριθμος) με τη χρήση πολιτισμικής εξέλιξης υψηλότερης τάξης. Ενας τέτοιος αλγόριθμος λειτουργεί σε δύο επίπεδα [8]: το επίπεδο του πληθυσμού: τα άτομα του πληθυσμού αναπαριστούν υποψήφιες λύσεις, είναι κυρίως διακριτά μεταξύ τους και τα χαρακτηριστικά τους μεταφράζονται σε στόχους ή συναρτήσεις κόστους αναφορικά με το πεδίο του προβλήματος, το επίπεδο του πολιτισμού: ορίζεται εναλλακτικά ως ο χώρος γνώσης ή πεποιθήσεων όπου η πληροφορία που λαμβάνεται από τις γενιές αποθηκεύεται και είναι διαθέσιμη στην τρέχουσα γενιά. Ενα πρωτόκολλο επικοινωνίας χρησιμοποιείται για την αλληλεπίδραση των δύο επιπέδων και για την ανταλλαγή των διαφόρων ειδών πληροφορίας. Στη συνέχεια του κεφαλαίου, αναλύουμε τα συστατικά των πολιτισμικών αλγορίθμων και τη λειτουργία τους καθώς και ενδιαφέροντα προβλήματα που έχουν προσεγγιστεί με χρήση πολιτισμικών αλγορίθμων. 2.1 Συστατικά Πολιτισμικών Αλγορίθμων Σε αυτή την ενότητα παρουσιάζονται τα βασικά συστατικά που υποστηρίζονται από τους πολιτισμικούς αλγορίθμους καθώς και ο τρόπος που αυτά αλληλεπιδρούν μεταξύ τους. Ενας πολιτισμικός αλγόριθμος ορίζεται, τυπικά, ως μια 8-άδα [26]: CA = (P, S, Vc, f, B, Accept, Adjust, Influence) όπου: 1. P: είναι ο πληθυσμός 2. S: είναι ο τελεστής επιλογής 3. Vc: είναι ο τελεστής αλλαγής/παραλλαγής 4. f: η συνάρτηση απόδοσης 5. B: ο χώρος πεποιθήσεων 18

19 6. Accept: η συνάρτηση αποδοχής 7. Adjust: είναι τελεστής του χώρου πεποιθήσεων που προσαρμόζει ή ανανεώνει τη γνώση του 8. Influence: σύνολο συναρτήσεων επιρροής που χρησιμοποιούνται για να επηρεάσουν τον τελεστή Vc Ανάλογα με τη φύση του προβλήματος, διαφορετικοί πολιτισμικοί αλγόριθμοι σχεδιάζονται με βάση την αναπαράσταση του πληθυσμού και του χώρου πεποιθήσεων. Αφήνοντας στην άκρη τον τυπικό ορισμό, οι πολιτισμικοί αλγόριθμοι αποτελούνται κατά βάση από τα εξής συστατικά [6, 25, 26]: τον πληθυσμό, το χώρο πεποιθήσεων και το πρωτόκολλο επικοινωνίας που περιέχει κυρίως τις συναρτήσεις αποδοχής, ανανέωσης και επιρροής. Πληθυσμός: περιλαμβάνει τα άτομα που συμμετέχουν στο πρόβλημα Χώρος πεποιθήσεων: χωρίζεται σε διακριτές κατηγορίες που αναπαριστούν διαφορετικά πεδία γνώσης. Ανανεώνεται μετά από κάθε επανάληψη του αλγορίθμου από τα καλύτερα άτομα του τρέχοντος πληθυσμού. Οι διαφορετικές κατηγορίες γνώσης του χώρου πεποιθήσεων είναι οι εξής: Κανονιστική γνώση (normative knowledge): είναι ένα σύνολο περιοχών μεταβλητών που παρέχει πρότυπα για τις ατομικές συμπεριφορές και οδηγίες για τις αλλαγές που επιτρέπεται να γίνουν στα άτομα του πληθυσμού. Σκοπός της είναι να οδηγήσει τα άτομα στην καλή περιοχή, αν δε βρίσκονται ήδη εκεί Γνώση κατάστασης (situational knowledge): σύνολο υποδειγματικών περιπτώσεων που είναι χρήσιμες για την ερμηνεία των διαφόρων συγκεκριμένων ατομικών εμπειριών. Σκοπός της είναι να οδηγεί τα άτομα προς τα υποδείγματα Γνώση πεδίου (domain knowledge): χρησιμοποιεί γνώση σχετική με το χώρο του προβλήματος με σκοπό να καθοδηγήσει την αναζήτηση Ιστορική/Χρονική γνώση (historical/temporal knowledge): παρακολουθεί τη διαδικασία της αναζήτησης και καταγράφει σημαντικά γεγονότα. Σκοπός της είναι να προβλέπει τη σωστή κατεύθυνση για κάποια κίνηση Τοπογραφική γνώση (topographical knowledge): διανέμει τα άτομα σε ένα χώρο. Προτάθηκε για προβλήματα εξόρυξης δεδομένων όπου ο χώρος του προβλήματος ήταν πολύ μεγάλος και απαιτούσε ένα συστηματικό τρόπο τμηματοποίησής του κατά τη διαδικασία της αναζήτησης Στους πρώτους πολιτισμικούς αλγορίθμους χρησιμοποιούνταν μόνο μια πηγή γνώσης στο χώρο αναζήτησης, η γνώση κατάστασης, και χρησιμοποιούνταν κυρίως για να κατευθύνει την αναζήτηση 19

20 του προβλήματος. Οι υπόλοιπες κατηγορίες γνώσης προστέθηκαν στη συνέχεια και η χρήση τους σε κάθε περίπτωση αντανακλά την πολυπλοκότητα του προβλήματος όπου εφαρμόζεται ο πολιτισμικός αλγόριθμος. Πρωτόκολλο επικοινωνίας: Αρχικά, μία συνάρτηση αποδοχής καθορίζει τα άτομα του πληθυσμού που επιτρέπεται να επηρεάσουν το χώρο αναζήτησης. Το πρωτόκολλο επικοινωνίας απαιτείται ως μια διεπαφή μεταξύ του πληθυσμού και του χώρου πεποιθήσεων. Τα καλύτερα άτομα του πληθυσμού (δηλαδή, τα άτομα που αποδέχτηκε η συνάρτηση αποδοχής) μπορούν να ανανεώσουν το χώρο πεποιθήσεων μέσω της συνάρτησης ανανέωσης. Ο χώρος πεποιθήσεων επηρεάζει τον πληθυσμό μέσω μιας συνάρτησης επιρροής, για παράδειγμα, αλλάζοντας το γονιδίωμα ή τις δράσεις των ατόμων του πληθυσμού. Τα συστατικά ενός πολιτισμικού αλγορίθμου, καθώς και η μεταξύ τους επικοινωνία, παρουσιάζονται στο Σχήμα 2.1. Σχήμα 2.1: Τα συστατικά ενός πολιτισμικού αλγορίθμου και η μεταξύ τους επικοινωνία 20

21 Λειτουργία πολιτισμικού αλγορίθμου: Κάθε πολιτισμικός αλγόριθμος ξεκινάει αρχικοποιώντας το σύνολο των ατόμων που αποτελούν τον πληθυσμό του καθώς και το χώρο πεποιθήσεων του μοντέλου. Αρχικά, κάθε άτομο αξιολογείται στα πλαίσια του προβλήματος στο οποίο συμμετέχει. Την αξιολόγηση την υλοποιεί η συνάρτηση καταλληλότητας (fitness function). Αν η απόδοση του ατόμου, με βάση την αξιολόγησή του από τη συνάρτηση καταλληλότητας, είναι χαμηλότερη α- πό το προκαθορισμένο κατώτερο αποδεκτό επίπεδο (κατώφλι), τότε το άτομο αυτό και η εμπειρία του (δηλαδή, το χαρακτηριστικό του γνώρισμα που συμμετέχει, επηρεάζει και επηρεάζεται μέσα στη διαδικασία του πολιτισμικού αλγορίθμου) απορρίπτονται. Την απόρριψη αυτών των ατόμων και αντίστοιχα την επιλογή των ατόμων εκείνων που έλαβαν αξιολόγηση μεγαλύτερη από το προκαθορισμένο κατώτερο αποδεκτό επίπεδο την πραγματοποιεί η συνάρτηση αποδοχής. Το σύνολο των ατόμων που επιστρέφει ως αποτέλεσμα η συνάρτηση αποδοχής, δηλαδή τα αποδεκτά άτομα του πληθυσμού, διαμορφώνουν τον τρέχοντα χώρο πεποιθήσεων. Τα άτομα που απορρίφθηκαν από τη συνάρτηση αποδοχής, καθώς και οι συμπεριφορές τους, μπορούν είτε να εμφανιστούν είτε όχι σε επόμενες γενιές του πληθυσμού. Στη συνέχεια, η τρέχουσα γνώση του χώρου πεποιθήσεων μπορεί να χρησιμοποιηθεί για να επηρεάσει και να διαμορφώσει τον πληθυσμό του προβλήματος. Ο ανανεωμένος πληθυσμός χρησιμοποιείται για την παραγωγή του πληθυσμού της επόμενης γενιάς. Κάθε πολιτισμικός αλγόριθμος, ανάλογα με το πρόβλημα στο οποίο εφαρμόζεται, ορίζει μια συνθήκη τερματισμού. Στο Σχήμα 2.2 παρουσιάζεται ψευδοκώδικας που περιγράφει τη διαδικασία αυτή για έναν γενικό πολιτισμικό αλγόριθμο. Ο ορισμός ενός πολιτισμικού αλγορίθμου, τα συστατικά και ο τρόπος λειτουργίας υποστηρίζουν μεγάλη ελαστικότητα στον τρόπο που θα χρησιμοποιηθούν για τις ανάγκες του προβλήματος στο οποίο εφαρμόζεται ο πολιτισμικός αλγόριθμος. Σχήμα 2.2: Ψευδοκώδικας ενός γενικού πολιτισμικού αλγορίθμου 21

22 Γενικά χαρακτηριστικά πολιτισμικών αλγορίθμων [26]: Ενα βασικό χαρακτηριστικό των πολιτισμικών αλγορίθμων είναι η ιδιότητα της διπλής κληρονομικότητας. Ενώ οι γενετικοί αλγόριθμοι, το μοντέλο αλγορίθμων που χρησιμοποιείται κατ εξοχήν στην Εξελικτική Υπολογιστική, διαθέτει μόνο το χώρο του πληθυσμού και επιτελεί εργασίες πάνω σε αυτό, οι πολιτισμικοί αλγόριθμοι παρέχουν επιπλέον πληροφορία στο πρόβλημα ορίζοντας το χώρο πεποιθήσεων. Η ανταλλαγή πληροφοριών μεταξύ του πληθυσμού και του χώρου πεποιθήσεων ορίζει τη διπλή κληρονομικότητα των πολιτισμικών αλγορίθμων. Ενα άλλο χαρακτηριστικό, το οποίο πηγάζει από τη διπλή κληρονομικότητα, είναι το γεγονός πως η εξέλιξη του πληθυσμού, σε αυτό το μοντέλο, καθοδηγείται από γνώση κι όχι μόνο από πράξεις που γίνονται στα άτομα του πληθυσμού. Επιπρόσθετα, επιτρέπεται η ιεραρχική δομή του πληθυσμού και του χώρου πεποιθήσεων σε επίπεδα διαφορετικής σημασίας και χρήσης. Επιπλέον, υποστηρίζεται η αυτο-προσαρμογή σε διάφορα επίπεδα - όπως στο επίπεδο του πληθυσμού μέσω της επιρροής του από τον εκάστοτε χώρο πεποιθήσεων και στο επίπεδο του χώρου πεποιθήσεων μέσω της ανανέωσής του από τα αποδεκτά άτομα του τρέχοντος πληθυσμού. Ενα άλλο χαρακτηριστικό των πολιτισμικών αλγορίθμων αφορά στο ότι η εξέλιξη μπορεί να πραγματοποιηθεί με διαφορετικούς ρυθμούς (ο Perreault [23] αναφέρει πως ο πολιτισμός εξελίσσεται γρηγορότερα από τους βιολογικούς οργανισμούς) και σε διαφορετικά επίπεδα (π.χ., πληθυσμός και χώρος πεποιθήσεων). Τέλος, οι πολιτισμικοί αλγόριθμοι προσφέρουν ένα εργαλείο που υποστηρίζει υβριδικές προσεγγίσεις για την επίλυση των προβλημάτων και ένα υπολογιστικό μοντέλο που επιτρέπει την έκφραση πολλών διαφορετικών μοντέλων πολιτισμικής αλλαγής. 2.2 Εφαρμογές Πολιτισμικών Αλγορίθμων Οι πολιτισμικοί αλγόριθμοι αρχικά προτάθηκαν και χρησιμοποιήθηκαν ως ένα εργαλείο προσομοίωσης για την εξερεύνηση της Πολιτισμικής Οικολογίας 1 [8]. Εκτοτε, έχει υιοθετηθεί για χρήση ως αλγόριθμος βελτιστοποίησης [9, 27, 28] σε πολλά προβλήματα που δεν περιορίζονται μόνο σε βελτιστοποίηση και συνδυαστική βελτιστοποίηση. Η δομή γνώσης (χώρος πεποιθήσεων) παρέχει ένα μηχανισμό για ενσωμάτωση πληροφορίας σχετικής με το πρόβλημα στην εκτέλεση της εξελικτικής αναζήτησης. Οι συναρτήσεις αποδοχής που ελέγχουν τη ροή της πληροφορίας στη βάση γνώσης είναι τυπικά άπληστες, περιέχοντας μόνο την καλύτερη πληροφορία από την τρέχουσα γενιά και χωρίς να αντικαθιστούν υπάρχουσα γνώση χωρίς να αποτελεί βελτίωση. Οι συναρτήσεις αποδοχής είναι παραδοσιακά ντετερμινιστικές ωστόσο έχουν μελετηθεί πιθανοτικές και ασαφείς συναρτήσεις αποδοχής [8]. Συγκεκριμένα, στην εργασία [9] προτείνεται μια δοκιμαστική πλατφόρμα βασισμένη στους πολιτισμικούς αλγορίθμους η οποία, μέσω plug and play λειτουργίας, επιτρέπει την παραγωγή ποικίλων παραλλαγών ενός πολιτισμικού αλγορίθμου για την επίλυση μη γραμμικών προβλημάτων βελτιστο- 1 Η μελέτη της προσαρμογής του ανθρώπου στα κοινωνικά και φυσικά περιβάλλοντα. Η ανθρώπινη προσαρμογή αναφέρεται στις βιολογικές και πολιτισμικές διεργασίες που επιτρέπουν σε έναν πληθυσμό να επιβιώσει και να αναπαραχθεί μέσα σε ένα συγκεκριμένο ή μεταβαλλόμενο περιβάλλον 22

23 ποίησης με περιορισμούς. Ο χώρος πεποιθήσεων αφορά στους περιορισμούς και η εργασία έδειξε πως η ύπαρξη και η λειτουργία του χώρου πεποιθήσεων έφερε βελτιώσεις στην επίλυση μη γραμμικών προβλημάτων βελτιστοποίησης με περιορισμούς. Το πρώτο μοντέλο πολιτισμικού αλγορίθμου προτάθηκε από τον Reynolds για τη μοντελοποίηση της εξέλιξης της γεωργίας στην περιοχή Oaxaca, Mexico [25]. Το μοντέλο χρησιμοποιήθηκε για να αποδείξει πως η γεωργία θα μπορούσε να θεαθεί και να εξελιχθεί ως μια συλλογή αποφάσεων προγραμματισμού των διαθέσιμων πόρων για ένα μεγάλο διάστημα καλλιέργειας. Μια δεύτερη γενιά μοντέλου πολιτισμικού αλγορίθμου χρησιμοποιεί τα συστατικά και τη δομή της γενικής μορφής πολιτισμικού αλγορίθμου με σκοπό την απόκτηση γνώσης για τη δομή των ατόμων ενός πληθυσμού [26]. Σε τέτοιου τύπου εφαρμογές, η συνάρτηση καταλληλότητας (fitness function) αποδίδει από έναν βαθμό στα άτομα, είτε βαθμό επιβράβευσης είτε υποβιβασμού, ανάλογα με τη γνώση του χώρου πεποιθήσεων με βάση την οποία αξιολογούνται. Από το αποτέλεσμα αυτής της αξιολόγησης ο χώρος αναζήτησης του προβλήματος, σε κάθε βήμα, περιορίζεται στα άτομα του πληθυσμού που έχουν βαθμό μεγαλύτερο του μέσου όρου βαθμολογίας και άρα είναι πιο πιθανό να αποτελούν λύση του προβλήματος. Επιπλέον, ο χώρος αναζήτησης προσαρμόζεται σε κάθε βήμα συνδυάζοντας την ήδη υπάρχουσα γνώση του χώρου πεποιθήσεων με σκοπό την παραγωγή γενικότερης γνώσης. Η συνάρτηση αποδοχής επιλέγει τα άτομα εκείνα που έχουν βαθμολογία πάνω από το μέσο όρο βαθμολογιών και η συνάρτηση επιρροής αποσκοπεί στη μετατροπή της απόδοσης των ατόμων και όχι στην αλλαγή της δομής τους. Πάνω σε αυτό το μοντέλο βασίσαμε το σχεδιασμό του πολιτισμικού αλγορίθμου που χρησιμοποιήσαμε στην εφαρμογή του Κεφαλαίου 2. Οι πολιτισμικοί αλγόριθμοι έχουν χρησιμοποιηθεί στην εργασία [17], όπου μοντελοποιούνται οικιστικές και αγροτικές πρακτικές σε μια συγκεκριμένη περιοχή με σκοπό να εξεταστεί αν η ξηρασία μόνον ευθύνεται για την αποχώρηση των γηγενών πληθυσμών από τη συγκεκριμένη περιοχή. Οι πολιτισμικοί αλγόριθμοι εισήχθησαν στη διαδικασία της μοντελοποίησης για να προστεθούν σε αυτή οικονομικοί παράγοντες, καθώς και άλλοι παράγοντες και για να μπορούν τα ανεξάρτητα άτομα να διατηρούν μνήμη για τα άτομα με τα οποία έχουν έρθει σε συνεργασία. Στην εργασία [22] η πολιτισμική προσέγγιση εφαρμόζεται για την εξαγωγή ενός γενικευμένου συνόλου πεποιθήσεων από επιτυχημένους πληθυσμούς ως παραμετρικές ρυθμίσεις μιας προσομοίωσης συναλλαγών σε μια ανθεκτική αγορά αγαθών βασισμένη σε πράκτορες. Επιπλέον, παρουσιάζεται η μεθοδολογία της χρήσης των πολιτισμικών αλγορίθμων για μοντέλα βασισμένα σε πράκτορες η οποία και εφαρμόζεται σε ένα μοντέλο στρατηγικών τιμολόγησης σε ένα εξομοιωμένο σενάριο αγοράς ετερογενούς πληθυσμού. Στην εργασία [6] των Christopher Best et al.,, το μοντέλο χρησιμοποιήθηκε για την επίλυση προβλημάτων βελτιστοποίησης πολλαπλών στόχων, αντιγράφοντας όλες τις κατηγορίες γνώσης του χώρου πεποιθήσεων τόσες φορές όσοι και οι στόχοι του προβλήματος και εφαρμόζοντας τη μεθοδολογία επίλυσης προβλημάτων βελτιστοποίησης μονού στόχου με εφαρμογή πολιτισμικών αλγορίθμων. Το σύστημα που προέκυψε από αυτή την εργασία αξιολογήθηκε συγκριτικά με άλλα συστήματα ε- πίλυσης πολύπλοκων προβλημάτων βελτιστοποίησης και σχεδιασμού και τα αποτελέσματα έδειξαν 23

24 πως οι πολιτισμικοί αλγόριθμοι είναι μια υποσχόμενη τεχνική για την επίλυση τέτοιων προβλημάτων. Μια ενδιαφέρουσα εφαρμογή πολιτισμικού αλγορίθμου παρουσιάζεται στην εργασία [28] για το πρόβλημα του χρονοπρογραμματισμού εργασιών (job shop scheduling). Αρχικά, παράγονται τυχαίοι χρονοπρογραμματισμοί εργασιών οι οποίοι αποτελούν και τον πληθυσμό του προβλήματος. Σε κάθε βήμα του αλγορίθμου υπολογίζεται το φορτίο (makespan) κάθε χρονοπρογραμματισμού και πραγματοποιούνται ενέργειες πάνω στους χρονοπρογραμματισμούς έτσι ώστε να δημιουργηθούν χρονοπρογραμματισμοί με καλύτερο φορτίο (makespan). Ο αλγόριθμος τελικά επιστρέφει τον χρονοπρογραμματισμό με το καλύτερο φορτίο όπως έχει προκύψει από τις ενέργειες επί του πληθυσμού και από τη γνώση του χώρου πεποιθήσεων. Μια ειδική περίπτωση του προβλήματος χρονοπρογραμματισμού εργασιών είναι το πρόβλημα χρονοπρογραμματισμού ηλεκτρικής γεννήτριας. Το πρόβλημα αυτό έχει προσεγγιστεί με τις τεχνικές του δυναμικού προγραμματισμού, με ευρετικές τεχνικές κ.ά. Στην εργασία [10] το πρόβλημα προσεγγίζεται με χρήση πολιτισμικών αλγορίθμων. Τα αποτελέσματα έδειξαν πως η προτεινόμενη προσέγγιση μπορεί να εφαρμοστεί σε πραγματικά προβλήματα και παρέχει καλύτερες λύσεις από άλλες προσεγγίσεις με κόστος ελαφρά αυξημένο ή ίδιο χρόνο εκτέλεσης αλγορίθμου. Οι πολιτισμικοί αλγόριθμοι έχουν προταθεί για εφαρμογή στο χώρο του τεχνητού πολιτισμού (artifical culture) [5]. Σκοπός του προβλήματος είναι η εύρεση ενός αντικειμένου (αν υπάρχει) σε ένα δισδιάστατο χώρο. Ο πληθυσμός αποτελείται από μια ακολουθία γενεών πρακτόρων (ρομπότ). Κάθε κελί του χώρου αναπαριστά μια θέση - είτε κενή, είτε εμπόδιο, είτε το προς εύρεση αντικείμενο - πάνω στην οποία μπορεί να μεταβεί ο πράκτορας. Οι πράκτορες έχουν ως γνώση κάποια - διαφορετική - διαδρομή πάνω στο δισδιάστατο χώρο. Κάθε πράκτορας βελτιώνει τη διαδρομή του για την αναζήτηση του αντικειμένου με βάση τη γνώση από τις προσπάθειες των προηγούμενων πρακτόρων έως ότου βρεθεί - αν υπάρχει - η συντομότερη διαδρομή. 24

25 Κεφάλαιο 3 Εφαρμογή για την ανάλυση της ελληνικότητας του παγκόσμιου ιστού Τις τελευταίες δεκαετίες έχει παρατηρηθεί η ανάδειξη του παγκόσμιου ιστού ως ένα παγκόσμιο καταθετήριο πληροφοριών και ως ένα από τα βασικότερα μέσα σύγχρονης επικοινωνίας. Υπολογιστικές οντότητες συνδεδεμένες μέσω Διαδικτύου - πιθανότατα κινητές, με ποικίλες υπολογιστικές δυνατότητες, συνδεδεμένες μεταξύ τους με διαφορετικά μέσα επικοινωνίας - είναι διαθέσιμες σε παγκόσμια κλίμακα και ικανές να παρέχουν στους χρήστες τους υπηρεσίες υψηλού επιπέδου οι οποίες χρησιμοποιούν τη συσσωρευμένη υπολογιστική ισχύ τους, τον αποθηκευτικό τους χώρο και τους πόρους πληροφοριών. Η εκρηκτική ανάπτυξη του Διαδικτύου, μαζί με τις εξελίξεις στην έρευνα και την τεχνολογία, έχουν δώσει ώθηση στην ανάδειξη ενός νέου είδους κοινωνίας που αντανακλά την οικονομική, πολιτική και κοινωνική κατάσταση και δομή των σύγχρονων κοινωνιών και ένα νέο είδος πολιτισμού που συνδυάζει και ενσωματώνει στοιχεία από υπάρχουσες παραδοσιακές κοινωνίες και πολιτισμούς, όπως για παράδειγμα, ιστορία, τέχνες, επιστήμη, τεχνολογία, εκπαίδευση, γλώσσα... Καθώς οι πληροφορίες βρίσκονται συνήθως διαθέσιμες στο Διαδίκτυο κυρίως σε μορφή κειμένου, εγείρεται ένα ενδιαφέρον ερώτημα: μπορούν οι γλωσσολογικές επιρροές, σε αυτή την αναπτυσσόμενη κοινωνία και πολιτισμό που βασίζονται στο Διαδίκτυο, να ανιχνευτούν Εμπνευσμένοι από τη θεμελιώδη και σημαντική φύση της ελληνικής γλώσσας (δείτε για παράδειγμα τις δύο ομιλίες του Ξενοφών Ζολώτα, Ελληνα οικονομολόγου που υπηρέτησε ως εσωτερικός ανεξάρτητος Πρωθυπουργός της Ελλάδας το 1989, οι οποίες έγιναν στα αγγλικά και θεωρούνται ιστορικής σημασίας διότι αποτελούνταν μόνο από όρους που έχουν ελληνική προέλευση) ερευνούμε την επιρροή της ελληνικής γλώσσας στα γραπτά κείμενα που φιλοξενούνται στον παγκόσμιο ιστό. Η προσέγγιση της έρευνας της παρούσας εργασίας στηρίζεται κυρίως στην αυτόματη ανίχνευση (δλδ., εξόρυξη) και μέτρηση της συχνότητας (δλδ., ποσοστό) των λέξεων ελληνικής προέλευσης σε 25

26 κείμενα του διαδικτύου που επιλέγει ο χρήστης. Στην έρευνά μας επικεντρωθήκαμε σε συνδέσμους (URL) που περιέχουν αγγλικό κείμενο, ωστόσο, η εργασία μπορεί (με εύκολο τρόπο) να επεκταθεί ώστε να είναι συμβατή με συνδέσμους που περιέχουν κείμενο σε άλλες γλώσσες. Η μεθοδολογία που ακολουθήθηκε αποτελείται από (α) τη δημιουργία συλλογής ελληνικών λημμάτων και παραδειγμάτων, (β) το σχεδιασμό και την υλοποίηση ενός πολιτιστικού αλγορίθμου ο οποίος, ξεκινώντας από ένα αρχικό σύνολο λημμάτων και λέξεων ελληνικής προέλευσης συλλογικά μαθαίνει και ανιχνεύει τέτοιες λέξεις στους συνδέσμους και (γ) το σχεδιασμό και την υλοποίηση μιας διεπαφής χρήστη που οπτικοποιεί και παρουσιάζει τα αποτελέσματα. Δεν είναι προτιμότερο να χρησιμοποιήσει κανείς μια απλή προσέγγιση αναζήτησης/ταύτισης σε λεξικό που θα περιλαμβάνει αγγλικές λέξεις ελληνικής προέλευσης; Αρχικά, είναι αμφίβολη η ύπαρξη ενός πλήρους τέτοιου λεξικού. Επειτα, στόχος της εργασίας είναι να προτείνει έναν έξυπνο αλγόριθμο μάθησης ο οποίος, έχοντας στη διάθεσή του μόνο ένα μικρό σύνολο ελληνικών λημμάτων και παραδειγμάτων (σε αντίθεση με τις χιλιάδες λέξεων που θα πρέπει να περιέχει ένα αντίστοιχο λεξικό), θα είναι ικανός να παράγει και να αναγνωρίζει αυτόματα νέα λήμματα και λέξεις ελληνικής προέλευσης. Η εφαρμογή που σχεδιάστηκε υλοποιήθηκε με χρήση της γλώσσας προγραμματισμού Python [24], ένα προγραμματιστικό περιβάλλον ανοιχτού κώδικα που υποστηρίζει καθαρό συντακτικό και προσφέρει απόδοση υλοποίησης και γρήγορη εκτέλεση. Για την πειραματική αξιολόγηση της εφαρμογής και του πολιτισμικού αλγορίθμου χρησιμοποιήθηκε μια πλούσια συλλογή συνδέσμων από τους τομείς της τεχνολογίας, των μαθηματικών, της επιστήμης των υπολογιστών, της ιατρικής, της εκπαίδευσης και της ανάπτυξης λογισμικού. Τα α- ποτελέσματα επιβεβαιώνουν τη μαθησιακή ικανότητα και ορθότητα του συστήματος στον ποιοτικό χαρακτηρισμό των συνδέσμων αναφορικά με την ελληνικότητα του κειμένου που περιέχουν. 3.1 Σχετική βιβλιογραφία Στην παρούσα διπλωματική εργασία, οι πολιτισμικοί αλγόριθμοι χρησιμοποιούνται για εφαρμογή στον τομέα της γλωσσολογικής τεχνολογίας και πιο συγκεκριμένα στην εξόρυξη κειμένου, δηλαδή, της ανακάλυψης νέας πληροφορίας μέσω υπολογιστή μέσω αυτόματης εξαγωγής πληροφορίας από έναν μεγάλο όγκο διαφορετικών μη-δομημένων πηγών κειμένου.. Γενετικοί Αλγόριθμοι έχουν χρησιμοποιηθεί στο παρελθόν για την εξαγωγή πληροφορίας και για εξόρυξη κειμένου [21]. Οι πολιτισμικοί αλγόριθμοι έχουν προταθεί για την αξιολόγηση κανόνων κατηγοριοποίησης σε συστήματα εξέλιξης και εξόρυξης κανόνων 1 [32]. Η εξόρυξη κανόνων κατηγοριοποίησης είναι μια κλάση προβλημάτων όπου η γνώση που εξορύσσεται αναπαρίσταται μέσω κανόνων Εάν - Τότε. Οι κανόνες αυτοί αξιολογούνται μέσω διαφόρων μετρικών, γνωστών ως οι ιδιότητες των κανόνων. Για να μπορούν οι κανόνες κατηγοριοποίησης να χρησιμοποιηθούν ως καλοί κατηγοριοποιητές, θα 1 Μέθοδος για την ανίχνευση ενδιαφερουσών σχέσεων μεταξύ μεταβλητών σε μεγάλες βάσεις δεδομένων 26

27 πρέπει να ικανοποιούν αυτές τις ιδιότητες. Πολλές φορές, οι στόχοι της αξιολόγησης των κανόνων είναι αντικρουόμενοι μεταξύ τους καθώς οι απαιτήσεις των χρηστών είναι ποικίλες. Ως εκ τούτου, το πρόβλημα της ανακάλυψης κανόνων με συγκεκριμένες ιδιότητες αποτελεί πρόβλημα βελτιστοποίησης πολλαπλών στόχων όπου η μεγιστοποίηση ή η ελαχιστοποίηση κάθε ιδιότητας αποτελεί ένα μοναδικό στόχο. Οι πολιτισμικοί αλγόριθμοι προτείνονται στην εργασία [32] για να επιτρέψουν στους χρήστες ελευθερία ελέγχου των διαφόρων παραμέτρων ενός συστήματος εξόρυξης κανόνων κατηγοριοποίησης πολλαπλών στόχων (εξελικτικοί παράμετροι, παράμετροι κανόνων και παράμετροι πρακτόρων) έτσι ώστε να μπορεί να προσδιορισθεί η επίδραση των παραμέτρων αυτών στην ανακάλυψη των συνόλων κανόνων με διαφορετικούς συμβιβασμούς (trade-offs) και ο χρήστης να μπορεί να επιλέξει τελικά το καλύτερο σύνολο κανόνων. Το εργαλείο που προτείνεται στην εργασία παρέχει μια διεπαφή χρήστη για την εισαγωγή τιμών διαφόρων παραμέτρων από το χρήστη. Η χρήση ευφυών πρακτόρων με γνωστικά γνωρίσματα στην εργασία επέτρεψε το συνδυασμό της τεχνολογίας ευφυών πρακτόρων με την εξόρυξη δεδομένων και με τη χρήση πολιτισμικών αλγορίθμων έτσι ώστε το σύστημα που προέκυψε να είναι ικανό να χρησιμοποιηθεί ως ένα κοινωνικό σύστημα μελέτης των δυναμικών ενός οργανισμού ή οποιουδήποτε κοινωνικού συστήματος του πραγματικού κόσμου. Στην εργασία [15] χρησιμοποιούνται πολιτισμικοί αλγόριθμοι και τεχνικές εξέλιξης για την ε- πιτάχυνση της εξόρυξης δεδομένων σε χώρο-χρονικές αρχαιολογικές βάσεις δεδομένων μεγάλης κλίμακας. Οι τεχνικές αυτές χρησιμοποιούνται για να αποφευχθεί η εξαντλητική αναζήτηση στη βάση δεδομένων. Ο πληθυσμός αποτελείται από όλες τις καταχωρίσεις της βάσεις δεδομένων και ο χώρος πεποιθήσεων από ένα σύνολο ιεραρχικά δομημένων περιφερειακών σχημάτων. Το ζητούμενο είναι να βρεθεί η καταλληλότερη καταχώρηση στη βάση δεδομένων βάσει συγκεκριμένων προτύπων ενώ παράλληλα επιχειρείται, στο χώρο πεποιθήσεων, η εξέλιξη της γνώσης που λαμβάνεται από τον πληθυσμό, διαδικασία που εξάγει άγνωστα πρότυπα. Το πρωτόκολλο επικοινωνίας μεταξύ του πληθυσμού και του χώρου πεποιθήσεων ενσωματώνει την εξελικτική βελτιστοποίηση και την εξόρυξη δεδομένων. Για να είναι δυνατή η εξόρυξη γνώσης από βάσεις δεδομένων με τη χρήση πολιτισμικών αλγορίθμων απαιτείται η αναπαράσταση και η αιτιολόγηση της αποκτώμενης γνώσης κατά τη διάρκεια της διαδικασίας. Στη συγκεκριμένη εργασία [15] χρησιμοποιούνται περιφερειακά σχήματα διότι μπορούν να αναπαραστήσουν πολύπλοκες λογικές σχέσεις μεταξύ των παραμέτρων. Τα αποτελέσματα της εργασίας δείχνουν πως η νέα προσέγγιση με τη χρήση πολιτισμικών αλγορίθμων εξάγει επιτυχώς νέα ενδιαφέροντα πρότυπα που δεν ήταν γνωστά μέχρι πρότινος. Η επεξεργασία αδόμητης πληροφορίας (κειμένου) με σκοπό την εξαγωγή ουσιαστικών (αριθμητικών) δεικτών από το κείμενο, και η δυνατότητα η πληροφορία που περιέχεται στο κείμενο να είναι προσπελάσιμη από διάφορους στατιστικούς αλγορίθμους και αλγορίθμους μηχανικής μάθησης (machine learning), έχει προσελκύσει την προσοχή της έρευνας που σχετίζεται με την υπολογιστική γλωσσολογία και την επεξεργασία φυσικής γλώσσας. Ερευνες σχετικές με θεωρητικές και εφαρμοσμένες προσεγγίσεις στην εξόρυξη κειμένου και στη σχέση της με την υπολογιστική γλωσσολογία 27

28 και την επεξεργασία φυσικής γλώσσας βρίσκονται στις εργασίες [13, 20]. Η χρήση του παγκόσμιου ιστού, ως πηγή αδόμητης πληροφορίας κειμένου και δύσκολη πλατφόρμα ελέγχου, εμφανίζεται σε πολλές εργασίες αυτόματης εξόρυξης κειμένου και κατηγοριοποίησης [1, 29, 30, 34]. Πιο συγκεκριμένα, στην εργασία [1] προτείνεται η εφαρμογή τεχνικών ανάλυσης συναισθημάτων για την κατηγοριοποίηση συναισθημάτων σε βάση δεδομένων για περιλήψεις ταινιών και σε δύο φόρα που περιείχαν δημοσιεύσεις από εξτρεμιστικές ομάδες. Τα διαφορετικά σύνολα χαρακτηριστικών που περιέχουν συντακτικά και στιλιστικά χαρακτηριστικά αξιολογούνται και ένας γενετικός αλγόριθμος αναπτύσσεται για την επιλογή των χαρακτηριστικών. Τα χαρακτηριστικά και οι τεχνικές οδηγούν στη δημιουργία μιας προσέγγισης ανάλυσης συναισθημάτων προσανατολισμένη στην κατηγοριοποίηση λεκτικών συναισθημάτων που εντοπίζονται στο Διαδίκτυο σε διάφορες γλώσσες. Τα αποτελέσματα, με χρήση support vector machines - SVM, αναφέρουν υψηλά επίπεδα ακρίβειας κατηγοριοποίησης καταδεικνύοντας την ικανότητα της ακολουθούμενης προσέγγισης στην κατηγοριοποίηση και ανάλυση συναισθημάτων σε εξτρεμιστικά φόρα. Η εργασία [29] ασχολείται με την κατηγοριοποίηση κειμένου 2 και μελετά τις διαφορετικές προσεγγίσεις που έχουν προταθεί και σχετίζονται με τη μηχανική μάθηση (machine learning). Στην εργασία [34] παρουσιάζεται η εξαγωγή σχέσεων από κείμενα που βρίσκονται στον Παγκόσμιο Ιστό. Δεδομένου ότι ο Παγκόσμιος Ιστός παρέχει μια σχεδόν ανεξάντλητη πηγή γνώσης που κατά κύριο λόγο παρουσιάζεται σε φυσική γλώσσα, ένα πρώτο βήμα προς την αυτόματη αξιοποίηση αυτής της γνώσης θα ήταν η εξαγωγή ζευγών μιας δοσμένης σημασιολογική σχέσης από αρχεία κειμένου, π.χ., όλα τα ζεύγη ατόμων και των ημερομηνιών γέννησής τους. Μια στρατηγική για την υλοποίηση αυτής της ιδέας είναι η αναζήτηση προτύπων κειμένου που εκφράζουν τη σημασιολογική σχέση, η γενίκευση αυτών των προτύπων και η εφαρμογή τους σε ένα σώμα κειμένου προς αναζήτηση νέων ζευγών. Στην εργασία [34] χρησιμοποιούνται βαθιές γλωσσολογικές δομές, σε αντίθεση με επιφανειακά πρότυπα κειμένου, που βελτιώνουν σημαντικά τα αποτελέσματα και δείχνεται πώς οι δομές αυτές μπορούν να αναπαρασταθούν για μηχανική μάθηση. Η εξόρυξη λέξεων μιας συγκεκριμένης γλώσσας από συνδέσμους είναι στενά συνδεδεμένη με την αυτόματη μετάφραση [12, 19]. Συγκεκριμένα, η εργασία [12] χρησιμοποιεί ανάλυση ιδιοτιμών και σύνολα εκπαίδευσης για την ανάκτηση διγλωσσικών πληροφοριών στην αυτόματη μετάφραση. Η εργασία προτείνει τη χρήση εργαλείων αυτόματης μηχανικής μετάφρασης για την παραγωγή ενός τεχνητού ζευγαρωμένου σώματος άμεσα από το σώμα κειμένου. Στην εργασία [19] παρουσιάζονται δύο νέες μέθοδοι για τη μηχανική μετάφραση που βασίζεται σε φράσεις οι οποίες βασίζονται στην εξόρυξη ενός παράλληλου σώματος κειμένων με σκοπό την αναζήτηση των ζευγαριών των γλωσσολογικών μονάδων που αποτελούν μετάφραση η μία της άλλης. Και οι δύο μέθοδοι παράγουν έναν πλήρες πίνακα μετάφρασης με μεταφράσεις μεμονωμένων λέξεων ή/και φράσεων. Το πλεονέκτημα 2 Δραστηριότητα ανάθεσης ετικετών θεματικών κατηγοριών από ένα προκαθορισμένο σύνολο σε κείμενα φυσικής γλώσσας 28

29 και η καινοτομία των προτεινόμενων μεθόδων αφορά στην ευκολία με την οποία αναπτύσσουν στατιστική μηχανική μετάφραση και στο ότι, σε αντίθεση με το τί προτείνεται στην υπόλοιπη σύγχρονη σχετική βιβλιογραφία, οι μέθοδοι αυτοί δεν απαιτούν ευθυγραμμίσεις. Οι μέθοδοι αξιολογήθηκαν πειραματικά πάνω σε ένα μεγάλο σύνολο Άγγλο-Γαλλικών κειμένων. Η εξόρυξη λέξεων μιας συγκεκριμένης γλώσσας από συνδέσμους έχει επίσης χρησιμοποιηθεί για την ανάλυση σωμάτων κειμένων μιας συγκεκριμένης γλώσσας, όπως η Αραβική [2], η Κινεζική [14] και η Τούρκικη [35]. Για παράδειγμα, η εργασία [2] ερευνά το πρόβλημα της κατηγοριοποίησης κειμένων στην Αραβική γλώσσα με τη χρήση διαφόρων προσεγγίσεων κατηγοριοποίησης που βασίζονται σε κανόνες και επιχειρεί να αξιολογήσει τις διαφορετικές τεχνικές που χρησιμοποιούν απλούς Εάν - Τότε κανόνες με σκοπό να αποφασίσει ποια προσέγγιση είναι η καταλληλότερη για χρήση σε κείμενα γραμμένα στην Αραβική γλώσσα. Οι αλγόριθμοι και τεχνικές που αξιολογούνται στην εργασία είναι οι: Ενός κανόνα, RIPPER, Δένδρα Απόφασης και η υβριδική μέθοδος PART στην οποία και καταλήγει η εργασία ως την καταλληλότερη για Αραβικά κείμενα. Στην εργασία [35] προτείνεται μέθοδος για την απόκτηση σχέσεων υπονύμων 3 για την Τουρκική γλώσσα. Η μέθοδος βασίζεται σε λεξικο-συντακτικά πρότυπα και σε σημασιολογική ομοιότητα. Αρχικά, εφαρμόζονται τα λεξικο-συντακτικά πρότυπα για την εξαγωγή προτύπων. Στη συνέχεια, εφαρμόζεται εξάλειψη με βάση την ομοιότητα για να απομακρυνθούν τα ακατάλληλα αντικείμενα. 3.2 Η επίδραση της ελληνικής γλώσσας στο αγγλικό λεξιλόγιο Είναι κοινώς γνωστό πως η ελληνική γλώσσα έχει επηρεάσει τα λεξιλόγια αρκετών μοντέρνων ευρωπαϊκών γλωσσών και ιδιαιτέρως της αγγλικής και αυτό προκύπτει από τη συμβολή της ελληνικής γλώσσας στον πολιτισμό και τις επιστήμες. Σύμφωνα με το Διεθνές Λεξικό Webster, η αγγλική γλώσσα περιλαμβάνει περίπου λέξεις εκ των οποίων περισσότερες από είναι ελληνικής προέλευσης (ποσοστό 24.5%). Οπως αναφέρει ο Α. Κωνσταντινίδης στο έργο του Οι ελληνικές λέξεις στην αγγλική γλώσσα [18], υπάρχει ένα σύνολο ελληνικών λέξεων, περίπου , που είναι αναντικατάστατο στο αγγλικό λεξιλόγιο διότι δεν υπάρχουν αντίστοιχες λέξεις στις ευρωπαϊκές γλώσσες για παράδειγμα, οι λέξεις athlete - αθλητής, theater - θέατρο, music - μουσική, dialogue - διάλογος, grammar - γραμματική, theory - θεωρία, idea - ιδέα κτλ. Στην ίδια εργασία αναφέρεται πως η ιατρική ορολογία περιλαμβάνει περίπου λέξεις εκ των οποίων οι περίπου είναι ελληνικής προέλευσης (ποσοστό 46.5%). Η επιστημονική και τεχνική ορολογία περιλαμβάνει 44.6% λέξεις ελληνικής προέλευσης ενώ στην ονοματολογία ζώων το 57.9% των ονομάτων αφορούν σε λέξεις ελληνικής προέλευσης (ποσοστό που αντιστοιχεί σε λέξεις). λέξης Το μεγαλύτερο ποσοστό των λέξεων του αγγλικού λεξιλογίου που προέρχονται από την ελληνική 3 Λέξεις ή φράσεις των οποίων το σημασιολογικό πεδίο βρίσκεται μέσα στο σημασιολογικό πεδίο κάποιας άλλης 29

30 γλώσσα, είτε άμεσα είτε έμμεσα, είναι όροι επιστημονικοί ή τεχνικοί. Παρατηρείται πως αρκετά συχνά ελληνικές λέξεις μη τεχνικού χαρακτήρα χρησιμοποιούνται σε αγγλοποιημένη μορφή για να μπορούν να αποδώσουν με ακρίβεια την έννοια που περιέχουν. Παραθέτουμε, ως παράδειγμα της επίδρασης και της παρουσίας της ελληνικής γλώσσας στην αγγλική, τις δύο ομιλίες του Ξενοφών Ζολώτα στα αγγλικά 4. Ο Ξενοφών Ζολώτας ήταν οικονομολόγος και ακαδημαϊκός που διετέλεσε διοικητής της Τράπεζας της Ελλάδος και εσωτερικός ανεξάρτητος πρωθυπουργός της Ελλάδας το Ως διευθυντής της Τράπεζας της Ελλάδος και διαχειριστής του ελληνικού Δημοσίου Χρέους, ο Ξενοφών Ζολώτας εκφώνησε δύο λόγους στην Ουάσιγκτον, στις 26 Σεπτεμβρίου 1957 και στις 2 Οκτωβρίου Οι ομιλίες αυτές θεωρούνται ιστορικής σημασίας διότι, ενώ η γλώσσα τους ήταν η αγγλική, με την εξαίρεση λίγων συνδέσμων, άρθρων και προθέσεων, όλες οι χρησιμοποιούμενες λέξεις ήταν ελληνικής προέλευσης. Ο λόγοι του έκαναν μεγάλη εντύπωση, ωστόσο επρόκειτο περισσότερο για ένα διανοητικό παιχνίδι, σχεδιασμένο για να τέρψει την ελίτ των τραπεζιτών και των ισχυρών της παγκόσμιας οικονομίας και να τους υπενθυμίσει την ύπαρξη της Ελλάδας, η οποία μόλις είχε βγει από τον Εμφύλιο πόλεμο, εντελώς κατεστραμμένη. Ο λόγος του έτους 1957 έχει ως εξής: Kyrie, I eulogize the archons of the Panethnic Numismatic Thesaurus and the Oecumenical Trapeza for the orthodoxy of their axioms methods and policies, although there is an episode of cacophony of the Trapeza with Hellas. With enthusiasm we dialogue and synagonize at the synods of our didymous Organizations in which polymorphous economic ideas and dogmas are analyzed and syntherized. Our critical problems such as the numismatic plethora generate some agony and melancholy. This phenomenon is charateristic of our epoch. But, to my thesis we have the dynamism to program therepeutic practices as a prophylaxis from chaos and catastrophe. In parallel a panethnic unhypocritical economic synergy and harmonization in a democratic climate is basic. I apologize for my eccentric monologue. I emphasize my eucharistia to your Kyrie to the eugenic and generous American Ethnos and to the organizers and protagonists of this Ampitctyony and the gastronomic symposia. Ο λόγος του έτους 1959 έχει ως εξής: Kyrie, It is Zeus anathema on our epoch for the dynamism of our economies and the heresy of our economic methods and policies that we should agonize the Scylla of numismatic plethora and the Charybdis of economic anaemia. It is not my idiosyncrasy to be ironic or sarcastic, but my diagnosis would be that politicians are rather cryptoplethorists. Although they emphatically stigmatize numismatic plethora, they energize it through their tactics and practices. Our policies have to be based more on economic and less on political criteria. Our gnomon has to

31 be a metron between political, strategic and philanthropic scopes. Political magic has always been anti-economic. In an epoch characterized by monopolies, oligopolies, monopsonies, monopolistic antagonism and polymorphous inelasticities, our policies have to be more orthological. But this should not be metamorphosed into plethorophobia, which is endemic among academic economists. Numismatic symmetry should not hyper-antagonize economic acme. A greater harmonization between the practices of the economic and numismatic archons is basic. Parallel to this, we have to synchronize and harmonize more and more our economic and numismatic policies panethnically. These scopes are more practicable now, when the prognostics of the political and economic barometer are halcyonic. The history of our didymus organizations in this sphere has been didactic and their gnostic practices will always be a tonic to the polyonymous and idiomorphous ethnical economies. The genesis of the programmed organization will dynamize these policies. Therefore, I sympathize, although not without criticism on one or two themes, with the apostles and the hierarchy of our organs in their zeal to program orthodox economic and numismatic policies, although I have some logomachy with them. I apologize for having tyrannized you with my Hellenic phraseology. In my epilogue, I emphasize my eulogy to the philoxenous autochthons of this cosmopolitan metropolis and my encomium to you, Kyrie, and the stenographers. 3.3 Συλλογή ελληνικών λημμάτων και παραδειγμάτων Για την αναγνώριση των λέξεων ελληνικής προέλευσης σε Διαδικτυακά κείμενα αγγλικής γλώσσας χρησιμοποιήθηκε ανάλυση προθέματος/επιθέματος. Χρησιμοποιήθηκε αυτή η ανάλυση διότι, στα λεξιλόγια των ξένων γλωσσών πολλές λέξεις ελληνικής προέλευσης έχουν συνήθως χαρακτηριστικά επιθέματα ή/και προθέματα. Με βάση το βιβλίο [33], παρήγαμε μια πλούσια συλλογή ελληνικών λημμάτων, τη Greek Lemma Collection - GLC. Χωρίσαμε τη GLC σε τρία αμοιβαία ξένα μεταξύ τους σύνολα: (α) το σ 1, που περιέχει χαρακτηριστικά και συχνά χρησιμοποιούμενα ελληνικά προθέματα (π.χ., auto-, tele-, κτλ.), (β) το σ 2, που περιέχει χαρακτηριστικά και συχνά χρησιμοποιούμενα επιθέματα (π.χ., -logy, -pathy, κτλ.) και (γ) το σ 3, που περιέχει προθέματα/επιθέματα που εμφανίζονται σε αγγλικές λέξεις οι οποίες δεν προέρχονται απαραίτητα από λέξεις ελληνικής προέλευσης (π.χ., in-, -ous, κτλ). Εκτός αυτού, ένα επιπλέον σύνολο αγγλικών λέξεων ελληνικής προέλευσης, το English Greek Words - EGW, δημιουργήθηκε και χρησιμοποιήθηκε ως βοηθητική συλλογή ελληνικών λημμάτων. Το EGW περιέχει ένα μικρό σύνολο λέξεων τυχαία και ομοιόμορφα επιλεγμένων από τη συλλογή [33] για να χρησιμοποιηθούν ως υποδείγματα στην ανάλυσή μας. 31

32 3.4 Πολιτισμικός Αλγόριθμος Στα πλαίσια της εφαρμογής σχεδιάσαμε και υλοποιήσαμε πολιτισμικό αλγόριθμο που χρησιμοποιείται για τη δημιουργία συστήματος μάθησης ικανού να αναγνωρίζει λέξεις ελληνικής προέλευσης στα κείμενα του παγκόσμιου ιστού. Στο παρόν υποκεφάλαιο αναλύουμε τη λειτουργικότητα κάθε συστατικού του πολιτισμικού μας αλγορίθμου καθώς και σχετικές σχεδιαστικές λεπτομέρειες. Ο αρχικός πληθυσμός του πολιτισμικού αλγορίθμου αποτελείται από τις αγγλικές λέξεις που περιέχονται στο σύνδεσμο (URL) που επέλεξε ο χρήστης. Κάθε λέξη αποτελεί μια ανεξάρτητη οντότητα, ένα άτομο, το οποίο εμφανίζεται στον αρχικό πληθυσμό τόσες φορές όσες εμφανίζεται και στο κείμενο του συνδέσμου. Ο αρχικός χώρος πεποιθήσεων περιλαμβάνει δύο γνωστικές κατηγορίες: την κανονιστική (normative knowledge) και τη γνώση κατάστασης (situational knowledge). Η κανονιστική γνώση περιέχει το σύνολο GLC και η γνώση κατάστασης τις λέξεις του συνόλου EGW. Ο πολιτισμικός αλγόριθμος τρέχει σε γύρους. Σε κάθε γύρο επιλέγονται άτομα από τον πληθυσμό. Τα άτομα αυτά αξιολογούνται και τα καλύτερα από αυτά επιλέγονται να επηρεάσουν το χώρο πεποιθήσεων, ο οποίος στη συνέχεια ανανεώνεται ανάλογα. Συγκεκριμένα, μετά από ζεύγη επιτυχών δράσεων αξιολόγησης-επιλογής, ο πληθυσμός επηρεάζεται μέσω της διαγραφής των λέξεων ελληνικής προέλευσης που ανιχνεύονται. Οι λέξεις αυτές, μαζί με ανιχνευμένα προθέματα/επιθέματα που υποδεικνύουν ελληνική προέλευση, χρησιμοποιούνται έπειτα για την ανανέωση του χώρου πεποιθήσεων. Ο πολιτισμικός αλγόριθμος τερματίζει όταν όλα τα άτομα του πληθυσμού έχουν διαγραφεί, είτε επειδή έχουν μετακινηθεί στο χώρο πεποιθήσεων ως άτομα που υποδεικνύουν ελληνική προέλευση είτε επειδή έχουν χαρακτηριστεί ως λέξεις μη ελληνικής προέλευσης. Η διαδικασία αυτή παρουσιάζεται σε μορφή ψευδοκώδικα στο Σχήμα 3.1. Σχήμα 3.1: Ψευδοκώδικας πολιτισμικού αλγορίθμου εφαρμογής Σε κάθε γύρο, ο πολιτισμικός αλγόριθμος χρησιμοποιεί τέσσερις συναρτήσεις: τη συνάρτηση 32

33 αξιολόγησης (fitness function), τη συνάρτηση αποδοχής (acceptance function), τη συνάρτηση ε- πιρροής (influence function) και τη συνάρτηση ανανέωσης (update function), οι οποίες δουλεύουν όπως περιγράφεται στη συνέχεια. Η συνάρτηση αξιολόγησης εξετάζει την ελληνικότητα κάθε λέξης στο σύνδεσμο που έχει δοθεί ως είσοδος στο σύστημα. Συγκεκριμένα, η συνάρτηση αξιολόγησης χρησιμοποιείται για την ανάθεση βαθμού σε κάθε λέξη του πληθυσμού. Οι βαθμοί ορίζονται ως πόντοι που ανατίθενται σε κάθε λέξη του πληθυσμού με βάση τον επόμενο κανόνα: οι λέξεις που έχουν πρόθεμα ή επίθεμα στη συλλογή GLC (σύνολα σ 1, σ 2, αντίστοιχα) καθώς και λέξεις που σχετίζονται (αυτές ή τα παράγωγά τους) με λέξεις στο βοηθητικό σύνολο υποδειγμάτων, EGW, ανατίθενται από 1 πόντο λέξεις που έχουν πρόθεμα ή επίθεμα στη συλλογή GLC (σύνολο σ 3 ) ανατίθενται 0.5 πόντους οι υπόλοιπες λέξεις δε λαμβάνουν πόντους. Στη συνέχεια, με βάση τη βαθμολογία που έχει λάβει κάθε λέξη του πληθυσμού από τη συνάρτηση αξιολόγησης, η συνάρτηση αποδοχής επιλέγει τα άτομα με την καλύτερη συμπεριφορά, δηλαδή, επιλέγει τις λέξεις που είναι πιο πιθανό να υποδεικνύουν ελληνική προέλευση. Συγκεκριμένα, η συνάρτηση αποδοχής κατηγοριοποιεί τις λέξεις σε δύο ομάδες, Α και Β, σύμφωνα με τη βαθμολογία που έλαβαν από τη συνάρτηση αξιολόγησης. Η ομάδα Α περιλαμβάνει λέξεις που έλαβαν 1 πόντο ενώ η ομάδα Β περιλαμβάνει λέξεις που έλαβαν 0.5 πόντους. Οι λέξεις της ομάδας Α θεωρούνται λέξεις ελληνικής προέλευσης και διαγράφονται από τον πληθυσμό. Περαιτέρω αξιολόγηση/έλεγχος απαιτείται για τις λέξεις της ομάδας Β. Ολες οι υπόλοιπες λέξεις (δηλαδή, λέξεις που δεν έλαβαν πόντους) παραμένουν στον πληθυσμό για περαιτέρω επεξεργασία για έναν ακόμα γύρο. Η συνάρτηση επιρροής και η συνάρτηση ανανέωσης χρησιμοποιούνται για να εμπλουτίσουν την κανονιστική γνώση και τη γνώση κατάστασης του χώρου πεποιθήσεων (δηλαδή, τις συλλογές GLC και EGW, αντίστοιχα) και με αυτό τον τρόπο να επηρεάσουν την επόμενη γενιά του πληθυσμού, η οποία θα επανεξεταστεί κατά τη διάρκεια των επόμενων γύρων με βάση την, ανανεωμένη πλέον, συλλογή λέξεων ελληνικής προέλευσης. Συγκεκριμένα, το βοηθητικό σύνολο EGW επεκτείνεται για να περιλαμβάνει τις λέξεις της ομάδας Α η συλλογή GLC επεκτείνεται μέσω της προσθήκης ενός νέου συνόλου, του σ 4, το οποίο περιέχει νέα προθέματα και επιθέματα που ανιχνεύτηκαν. Στη συνέχεια, οι λέξεις της ομάδας Β επανεξετάζονται για να αποφασιστεί αν έχουν πρόθεμα ή επίθεμα στο σύνολο σ 4 ή αν ταιριάζουν με κάποια λέξη (ή το παράγωγό της) στο επεκταμένο σύνολο EGW. Αν κάποια λέξη της ομάδας Β ικανοποιήσει τουλάχιστον μία από αυτές τις συνθήκες, μετακινείται στην ομάδα Α (και έτσι διαγράφεται από τον πληθυσμό). Αλλιώς, παραμένει στον πληθυσμό για περαιτέρω επεξεργασία για ακόμα ένα γύρο. Η λύση που επιστρέφει ο πολιτισμικός αλγόριθμος, δηλαδή οι αγγλικές λέξεις ελληνικής προέλευσης που περιέχονται στο δοθέν σύνδεσμο, περιέχει αποκλειστικά λέξεις της ομάδας Α. Παρατηρούμε πως οι λέξεις που δεν έχουν χαρακτηριστεί ως λέξεις ελληνικής προέλευσης μετά από δύο γύρους επεξεργασίας διαγράφονται από τον πληθυσμό. Η συνθήκη αυτή είναι μάλλον ευρετική και υιοθετήθηκε βάσει πειραματικών ενδείξεων αυτές οι ενδείξεις υποδεικνύουν πως επιπλέον γύροι 33

34 επεξεργασίας αυξάνουν το χρόνο εκτέλεσης του αλγορίθμου αλλά δεν αυξάνουν την απόδοσή του με ανάλογο τρόπο, δηλαδή, ένας μικρός επιπλέον αριθμός λέξεων ελληνικής προέλευσης εξορύσσεται. 3.5 Σχεδιασμός και υλοποίηση διεπαφής χρήστη Η εφαρμογή του συστήματος σχεδιάστηκε με χρήση της γλώσσας προγραμματισμού Python και μιας σειράς βιβλιοθηκών, ενσωματωμένων και μη, συμβατών με την Python, όπως η πλατφόρμα φυσικής γλώσσας NLTK (Natural Language ToolKit), η βιβλιοθήκη γραφικών Tkinter, η βιβλιοθήκη μαθηματικών συναρτήσεων και γραφημάτων matplotlib.pyplot, η βιβλιοθήκη αλγορίθμων στελεχοποίησης (stemmers) Lancaster και Porter καθώς και κανονικές εκφράσεις. Η γλώσσα προγραμματισμού Python Η γλώσσα προγραμματισμού Python [24] αναπτύχθηκε τη δεκαετία του 90 από τον Ολλανδό Guido van Rossum. Πρόκειται για γλώσσα διερμηνευόμενη, αλληλεπιδραστική (δλδ., διευκολύνει την αλληλεπιδραστική αναζήτηση) και προσανατολισμένη σε αντικείμενα (object-oriented). Η Python αναπτύσσεται και διατίθεται ως ανοιχτό λογισμικό (open source) και ο κώδικάς της διανέμεται με την άδεια Python Software Foundation License που είναι συμβατή με την άδεια GPL (Γλώσσα Γενικού Σκοπού). Τα τρία βασικά χαρακτηριστικά της γλώσσας είναι: α) η αναγνωσιμότητα του κώδικά της, β) η ευκολία χρήσης της και γ) η δύναμή της να υλοποιεί πολύπλοκες συναρτήσεις με απλό τρόπο. Ως σύγχρονη γλώσσα προγραμματισμού, διακρίνεται μεταξύ άλλων (π.χ., Perl) επειδή υλοποιεί διάφορες συνηθισμένες εργασίες και συναρτήσεις με χρήση βιβλιοθηκών, ενοτήτων (γνωστές ως modules) και πολύ υψηλού επιπέδου δυναμικούς τύπους δεδομένων (π.χ., λίστες, λεξικά, πλειάδες). Η Python έχει γίνει δημοφιλής σε εργασιακούς και ακαδημαϊκούς χώρους (π.χ., μαθηματικό προγραμματισμό, τεχνητή νοημοσύνη, επεξεργασία εικόνας, βιολογία κτλ) για μια σειρά λόγους, όπως: (α) ευκολία στη χρήση, (β) ευκολία στην αναγνωσιμότητα, (γ) ευκολία στην επέκταση της ίδιας της γλώσσας με την προσθήκη και τον ορισμό νέων ενοτήτων (για μεταβλητές, συναρτήσεις, τύπους δεδομένων) γραμμένων σε οποιαδήποτε γλώσσα που μεταγλωττίζεται (π.χ., C, C++ κτλ) κατά τις ανάγκες του προγραμματιστή, (δ) ευκολία εκμάθησής της από μαθητές και φοιτητές διαφόρων ειδικοτήτων λόγω της απλής δομής και του απλού συντακτικού της, (ε) κώδικας γραμμένος σε Python μπορεί να ενσωματωθεί σε ήδη υπάρχουσες εφαρμογές που απαιτούν μια προγραμματιζόμενη διεπαφή και (στ) βιβλιοθήκες σχεδιασμένες από τρίτους χρησιμοποιούνται ευρέως σε προγράμματα γραμμένα σε Python. Η συνολική φιλοσοφία της γλώσσας, υποδεικνύει την υπεροχή της έναντι άλλων σύγχρονων ή παραδοσιακών γλωσσών προγραμματισμού καθώς και την ανάγκη δημιουργίας της. Η φιλοσοφία της γλώσσας συμπυκνώνεται στο κείμενο PEP 20 - Το Ζεν της Python 5 :

35 Η ομορφιά είναι καλύτερη από την ασχήμια Η αμεσότητα είναι καλύτερη από την εμμεσότητα Η απλότητα είναι καλύτερη από την πολυπλοκότητα Το πολύπλοκο είναι καλύτερο από το μπερδεμένο Το επίπεδο είναι καλύτερο από το εμφωλευμένο Το αραιό είναι καλύτερο από το πυκνό Η αναγνωσιμότητα μετράει Οι ειδικές περιπτώσεις δεν είναι αρκετά ειδικές για να καταργούν τους κανόνες Ωστόσο, η πρακτικότητα νικάει την καθαρότητα Τα λάθη δεν πρέπει ποτέ να περνάνε απαρατήρητα Εκτός αν τα σιγήσουμε άμεσα Εν όψει της ασάφειας, αρνήσου τον πειρασμό της μαντεψιάς Θα πρέπει να υπάρχει ένας και κατά προτίμηση μόνο ένας προφανής τρόπος να κάνεις κάτι Ωστόσο, αυτός ο τρόπος μπορεί να μην είναι προφανής εξ αρχής, εκτός αν είσαι Ολλανδός Τώρα είναι καλύτερα από ποτέ Ωστόσο, το ποτέ είναι συχνά καλύτερο από το τώρα αμέσως Αν η υλοποίηση είναι δύσκολο να εξηγηθεί, πρόκειται για κακή ιδέα Αν η υλοποίηση είναι εύκολο να εξηγηθεί, μάλλον πρόκειται για καλή ιδέα Τα πεδία ονομάτων είναι μια υπέροχη ιδέα - ας φτιάξουμε περισσότερα! Η αναγνωσιμότητα της γλώσσας οφείλεται κυρίως στην υιοθέτηση του κενού διαστήματος ως ειδικού χαρακτήρα και στη χρήση πλήρων αγγλικών λέξεων κλειδιών στη θέση συμβόλων. Ενώ οι περισσότερες γλώσσες προγραμματισμού υιοθετούν την πρακτική να χρησιμοποιούν ειδικά σύμβολα (π.χ., αγκύλες, παρενθέσεις, ελληνικό ερωτηματικό κ.ά.) για να διαχωρίσουν τις συντακτικές δομές του προγράμματός τους, η Python σηματοδοτεί τα blocks κώδικα κυρίως με τη χρήση του κενού διαστήματος και της χρήσης της εσοχής (indentation). Ειδικά σύμβολα υιοθετήθηκαν σε μερικές περιπτώσεις στην τελευταία έκδοση της γλώσσας, Python version 3. Στο Σχήμα 3.2 παρουσιάζεται ένα χαρακτηριστικό block κώδικα γραμμένο σε Python και σε JAVA, μια δημοφιλή γλώσσα προγραμματισμού που επίσης προσανατολίζεται στα αντικείμενα. Αν και κώδικας σε Java εκτελείται γρηγορότερα από ότι κώδικας σε Python, ο χρόνος που απαιτείται για την ανάπτυξη του κώδικα είναι πολύ περισσότερος σε σχέση με τον αντίστοιχο χρόνο σε Python. Είναι εμφανής η καθαρότητα και η ευκολία στη συγγραφή και την ανάγνωση του block κώδικα σε Python. Στην παρούσα διπλωματική εργασία χρησιμοποιήθηκε η έκδοση της γλώσσας Python version 2.7. Επιλέξαμε την Python διότι έχει εξαιρετική λειτουργικότητα στην επεξεργασία γλωσσολογικών δεδομένων. Υποστηρίζει όλους τους τύπους παραδοσιακών μεταβλητών (π.χ., ακέραιος, ρητός, 35

36 Σχήμα 3.2: Κομμάτι κώδικα γραμμένο σε Python και σε JAVA χαρακτήρας) και παρέχει μια πλούσια συλλογή ενοτήτων και βιβλιοθηκών για τη μεταβλητή τύπου χαρακτήρα, η οποία χρησιμοποιείται ευρέως στην παρούσα εργασία που περιλαμβάνει επεξεργασία κειμένου και λέξεων. Επιπλέον, η Python, σε συνδυασμό με την πλατφόρμα επεξεργασίας φυσικής γλώσσας NLTK έχουν υιοθετηθεί ως κατάλληλο πλαίσιο για επεξεργασία φυσικής γλώσσας και στην υπολογιστική γλωσσολογία για ανάλυση και εξόρυξη κειμένου. Η πλατφόρμα φυσικής γλώσσας NLTK Η πλατφόρμα επεξεργασίας φυσικής γλώσσας NLTK (Natural Language ToolKit) [7, 13], χρησιμοποιείται για το σχεδιασμό προγραμμάτων Python που περιλαμβάνουν δεδομένα ανθρώπινης γλώσσας. Παρέχει εύχρηστες διεπαφές σε πάνω από 50 σώματα κειμένων (γνωστά ως corpora) και λεξιλογικές πηγές, όπως το WordNet. Επιπλέον, παρέχει βασικές κλάσεις για αναπαράσταση δεδομένων σχετικών με την επεξεργασία φυσικής γλώσσας, σουίτα βιβλιοθηκών για την εκτέλεση εργασιών όπως σήμανση μέρους του λόγου, συντακτική ανάλυση, κατηγοριοποίηση κειμένου, κερματοποίηση κειμένου(tokenization), στελεχοποίηση λέξεων (stemming) και σημασιολογική λογική καθώς και βασικές υλοποιήσεις των εργασιών αυτών οι οποίες μπορούν να συνδυαστούν για την επίλυση πολύπλοκων προβλημάτων. Τα συστατικά και οι δυνατότητες της πλατφόρμας NLTK την καθιστούν χρήσιμη για γλωσσολόγους, μηχανικούς, μαθητές, εκπαιδευτικούς, ερευνητές και ανεξάρτητους χρήστες. Είναι διαθέσιμη σε όλα τα λειτουργικά συστήματα και είναι ελεύθερο και ανοιχτού κώδικα λογισμικό. Για τη χρήση της πλατφόρμας είναι απαραίτητη η εγκατάστασή της στο σύστημα του χρήση. Για τη χρήση των βιβλιοθηκών που παρέχει η πλατφόρμα, απαιτείται η εισαγωγή κάθε μίας στον κώδικα με την ειδική λέξη import. Στην παρούσα διπλωματική εργασία χρησιμοποιήθηκε η έκδοση της πλατφόρμας NLTK version 2.0 για κερματοποίηση κειμένου και στελεχοποίηση λέξεων. Αλγόριθμοι στελεχοποίησης Οι αλγόριθμοι στελεχοποίησης λαμβάνουν ως είσοδο κάποια λέξη και επιστρέφουν τη λέξη στο βασικό της όρο ή στη ρίζα της (π.χ., ο βασικός όρος της λέξης ἑπιστρέφονται είναι το ρήμα ἑπιστρέφω ). Στη βιβλιογραφία υπάρχουν πάρα πολλοί αλγόριθ- 36

37 μοι στελεχοποίησης (ή κανονικοποίησης λέξεων) καθένας από αυτούς χρησιμοποιηθεί διαφορετική λογική για την εξαγωγή του στελέχους της λέξης που του δίνεται ως είσοδος. Στην παρούσα διπλωματική εργασία χρησιμοποιήσαμε αλγορίθμους στελεχοποίησης για να λάβουμε παράγωγα λέξεων. Συγκεκριμένα, χρησιμοποιήσαμε τον αλγόριθμο Lancaster ( stem/lancaster.html) και μία από τις πιο σημαντικές παραλλαγές του, τον αλγόριθμο Porter ( Κανονικές εκφράσεις Οπως οι αριθμητικές πράξεις +, μας επιτρέπουν να συντάσσουμε εκφράσεις για αναπαράσταση αριθμών, έτσι και οι κανονικές εκφράσεις μας επιτρέπουν να συντάσσουμε εκφράσεις για αναπαράσταση γλωσσών. Η τιμή μιας κανονική έκφρασης είναι κάποια γλώσσα. Για παράδειγμα, η κανονική έκφραση {0} έχει ως τιμή τη γλώσσα που αποτελείται από όλες τις λέξεις που περιέχουν οποιοδήποτε πλήθος από μηδενικά. Οι κανονικές εκφράσεις παίζουν σημαντικό ρόλο σε διάφορες εφαρμογές της επιστήμης υπολογιστών. Για παράδειγμα, σε εφαρμογές σχετικά με κείμενο, όπως στην περίπτωση της εφαρμογής της παρούσας διπλωματικής, ο χρήστης επιθυμεί να αναζητά λέξεις που ακολουθούν κάποια συγκεκριμένα πρότυπα. Οι κανονικές εκφράσεις αποτελούν ισχυρή μέθοδο περιγραφής τέτοιων προτύπων. Οι κανονικές εκφράσεις χρησιμοποιούνται για την περιγραφή γλωσσών μέσω της χρήσης απλών πράξεων πάνω στα σύμβολα ενός αλφαβήτου. Τυπικά, ορίζονται ως εξής [31]: Η R είναι κανονική έκφραση αν είναι της μορφής: 1. α, όπου α είναι ένα σύμβολο του αλφαβήτου Σ 2. ɛ, η κενή λέξη 3., καμία λέξη 4. R 1 R2, R 1 και R 2 είναι κανονικές εκφράσεις (πράξη: ένωση) 5. R 1 R 2, R 1 και R 2 είναι κανονικές εκφράσεις (πράξη: συναρμογή) 6. R1, R 1 είναι κανονική έκφραση (πράξη: σώρευση) Η Python υποστηρίζει και παρέχει την ενότητα re η οποία δίνει τη δυνατότητα στο χρήστη να πραγματοποιήσει λειτουργίες αντιστοίχησης κανονικών εκφράσεων. Για τη χρήση της απαιτείται η εισαγωγή της στο πρόγραμμα με την ειδική λέξη import. Οι κανονικές εκφράσεις ορίζουν ένα σύνολο χαρακτήρων που ταιριάζουν με την κανονική έκφραση που επιθυμούμε. Οι συναρτήσεις της αντίστοιχης ενότητας της Python επιτρέπουν στο χρήστη να ελέγξει αν ένα συγκεκριμένο σύνολο χαρακτήρων ή μια λέξη ταιριάζει με τη δοθείσα κανονική έκφραση. Οι κανονικές εκφράσεις μπορεί να περιέχουν ειδικούς χαρακτήρες (π.χ., *,. ) αλλά και συνηθισμένους χαρακτήρες (π.χ., 37

38 Ἁ, ἁ, 1 ). Οι συνηθισμένοι χαρακτήρες χρησιμοποιούνται για αντιστοίχηση με τον εαυτό τους. Οι ειδικοί χαρακτήρες είτε αντιπροσωπεύουν κλάσεις συνηθισμένων χαρακτήρων ή επηρεάζουν τον τρόπο που ερμηνεύονται οι κανονικές εκφράσεις. Για παράδειγμα, ο ειδικός χαρακτήρας. ταιριάζει με οποιονδήποτε χαρακτήρα, εκτός του χαρακτήρα νέας γραμμής. Ο ειδικός χαρακτήρας? έχει ως αποτέλεσμα η κανονική έκφραση που τον περιέχει να ταιριάζει μία ή καμία επανάληψη της κανονικής έκφρασης (δηλαδή, η κανονική έκφραση ab? θα ταιριάξει είτε με το χαρακτήρα a είτε με η συμβολοσειρά ab. Στην παρούσα διπλωματική εργασία οι κανονικές εκφράσεις χρησιμοποιήθηκαν (α) για το διαχωρισμό των λέξεων που περιέχονται στα κείμενα του παγκόσμιου ιστού σε λέξεις γραμμένες με λατινικούς χαρακτήρες και λέξεις γραμμένες με ελληνικούς ή άλλους χαρακτήρες, (β) για την απομάκρυνση ειδικών χαρακτήρων από τις λέξεις, όπου κι αν αυτοί υπήρχαν και (γ) για τον εντοπισμό και την εξάλειψη συμβολοσειρών που αναπαριστούν διευθύνσεις ηλεκτρονικού ταχυδρομείου ή ιστοσελίδων. Η βιβλιοθήκη γραφικών Tkinter Το γραφικό περιβάλλον της εφαρμογής υλοποιήθηκε με τη χρήση της βασικής βιβλιοθήκης γραφικών της Python, Tkinter version Η βιβλιοθήκη Tkinter είναι διαθέσιμη σε όλες τις Unix πλατφόρμες καθώς και στα λειτουργικά συστήματα Windows και Mac. Η βιβλιοθήκη Tkinter αποτελείται από ένα σύνολο ενοτήτων (modules) και υποστηρίζει διάφορα γραφικά στοιχεία (π.χ., κουμπί, καμβάς, εισαγωγή κειμένου, πλαίσιο, ετικέτα, λίστα αντικειμένων, μενού, παράθυρα διαλόγων, κουτιά πολλαπλής επιλογής, εισαγωγή εικόνας κ.ά.). Η εγκατάσταση της βιβλιοθήκης, μαζί με τα περισσότερα από τα συστατικά της, γίνεται κατά την εγκατάσταση της Python στο σύστημα του χρήστη. Για τη δυνατότητα χρήσης της σε κάποιο πρόγραμμα απαιτείται η εισαγωγή της βιβλιοθήκης με την ειδική λέξη import. Στο Σχήμα 3.3 παρουσιάζεται πίνακας με τα σημαντικότερα γραφικά στοιχεία (widgets) που υποστηρίζει η βιβλιοθήκη γραφικών Tkinter καθώς και η χρήση τους. Διεπαφή χρήστη Οπως φαίνεται στο Σχήμα 3.4, η διεπαφή του χρήστη, σχεδιασμένη με τη βασική βιβλιοθήκη γραφικών Tkinter, αποτελείται από ένα μενού, ένα πλαίσιο εισαγωγής κειμένου και έναν καμβά. Το μενού παρέχει τέσσερις επιλογές: 1) επιλογή Files (Αρχεία) που δίνει πρόσβαση στο χρήστη στο φάκελο που περιέχει τις αγγλικές λέξεις του συνδέσμου που δόθηκε ως είσοδος στην εφαρμογή καθώς και στο φάκελο που περιέχει τις λέξεις ελληνικής προέλευσης που ανιχνεύτηκαν από τον αλγόριθμο, 2) επιλογή Plots (Γραφικές παραστάσεις) που χρησιμοποιείται για τη γραφική αναπαράσταση (μέσω γραφικών παραστάσεων μορφής πίτας) των αποτελεσμάτων της γλωσσολογικής ανάλυσης του συνδέσμου αναφορικά με τις λέξεις ελληνικής και μη ελληνικής προέλευσης που περιέχονται σε αυτόν, 3) επιλογή Reset (Επαναφορά) που επιτρέπει την ανάλυση ενός νέου συνδέσμου ο υπάρχον χώρος πεποιθήσεων, όπως έχει διαμορφωθεί από την αμέσως προηγούμενη ανάλυση συνδέσμου, μπορεί είτε να διατηρηθεί είτε να επανέλθει στα αρχικά του περιεχόμενα και 38

39 Σχήμα 3.3: Τα σημαντικότερα γραφικά στοιχεία (widgets) που υποστηρίζει η βιβλιοθήκη γραφικών Tkinter 4) η επιλογή Exit ( Εξοδος) που επιτρέπει τον τερματισμό της εφαρμογής. Το πλαίσιο εισαγωγής χρησιμοποιείται για την εισαγωγή της εισόδου, δηλαδή του συνδέσμου που θα αναλυθεί αναφορικά με λέξεις ελληνικής προέλευσης που περιέχονται σε αυτόν. Τα αποτελέσματα της ανάλυσης παρουσιάζονται στον καμβά (Σχήμα 3.5) μέσω (α) ενός χάρτη που δείχνει τη χώρα που φιλοξενεί τη διεύθυνση IP του συνδέσμου εισόδου και (β) μιας γραφικής παράστασης μορφής πίτας που δείχνει με μπλε χρώμα το ποσοστό ελληνικών λέξεων που ανιχνεύτηκαν από τον αλγόριθμο στο σύνδεσμο εισόδου. 3.6 Λειτουργία εφαρμογής Η λειτουργία της εφαρμογής, αναφορικά με την ανάλυση του περιεχομένου ενός συνδέσμου, ολοκληρώνεται μέσα από την ακολουθία τεσσάρων βασικών ενεργειών: προ-επεξεργασία, εξόρυξη 39

40 Σχήμα 3.4: Η διεπαφή χρήστη: περιλαμβάνει ένα μενού, ένα πλαίσιο εισαγωγής κειμένου και έναν καμβά λέξεων ελληνικής προέλευσης, αξιολόγηση του αλγορίθμου και οπτικοποίηση των αποτελεσμάτων. Στη συνέχεια της ενότητας αναλύουμε κάθε μία από τις τέσσερις αυτές ενέργειες. Προ-επεξεργασία Οταν ο χρήστης εισάγει κάποιο σύνδεσμο προς ανάλυση στο πλαίσιο εισαγωγής κειμένου της εφαρμογής, ο σύνδεσμος ελέγχεται ως προς τη σύνταξή του από το σύστημα, μέσω των αλγορίθμων στελεχοποίησης, των κανονικών εκφράσεων και συναρτήσεων της Python που ελέγχουν την IP του συνδέσμου που δόθηκε. Οταν ο συντακτικός έλεγχος ολοκληρωθεί και ο σύνδεσμος αποτελεί έγκυρη, από άποψη σύνταξης, διεύθυνση, ειδικές συναρτήσεις της πλατφόρμας NLTK αναγνώσκουν το περιεχόμενο του συνδέσμου. Αφού αφαιρεθούν όλοι οι ειδικοί html χαρακτήρες, οι λέξεις του κειμένου που βρίσκεται στο σύνδεσμο αποθηκεύονται σε λίστα. Στη συνέχεια, με χρήση συναρτήσεων συμβολοσειρών, ενσωματωμένων αγγλικών λεξικών της Python και κανονικών εκφράσεων, οι αγγλικές λέξεις χωρίζονται από λέξεις άλλων γλωσσών. Εφόσον δημιουργηθεί το τελικό σύνολο λέξεων της αγγλικής γλώσσας που περιέχονται στον προς ανάλυση σύνδεσμο, αυτό το σύνολο προωθείται ως είσοδος στον πολιτισμικό αλγόριθμο. Εξόρυξη λέξεων ελληνικής προέλευσης Η εξόρυξη λέξεων ελληνικής προέλευσης επιτυγχάνεται μέσα από συνάρτηση που υλοποιεί τον πολιτισμικό αλγόριθμο που σχεδιάσαμε. Η συνάρτηση λαμβάνει ως είσοδο το σύνολο των αγγλικών λέξεων του συνδέσμου που έδωσε ο χρήστης ως ε- ίσοδο στην εφαρμογή και επιστρέφει ως έξοδο το σύνολο των λέξεων που ανιχνεύτηκαν να έχουν 40

41 Σχήμα 3.5: Τα αποτελέσματα της ανάλυσης παρουσιάζονται στον καμβά μέσω (α) ενός χάρτη που δείχνει τη χώρα που φιλοξενεί τη διεύθυνση IP του συνδέσμου εισόδου και (β) μιας γραφικής παράστασης σε μορφή πίτας που δείχνει με μπλε χρώμα το ποσοστό ελληνικών λέξεων που ανιχνεύτηκαν από τον αλγόριθμο. ελληνική προέλευση. Η αξιολόγηση των λέξεων πραγματοποιείται μέσω κανονικών εκφράσεων και ειδικών συναρτήσεων συμβολοσειρών. Η επιλογή των λέξεων με την καλύτερη βαθμολογία πραγματοποιείται μέσω της χρήσης δομών λίστας και λεξικού. Ομοια υλοποιούνται οι συναρτήσεις επιρροής και ανανέωσης. Αξιολόγηση του αλγορίθμου Η απόδοση του αλγορίθμου, δηλαδή το κατά πόσον καταφέρνει να αναγνωρίσει τις περισσότερες από τις λέξεις ελληνικής προέλευσης που υπάρχουν στο σύνδεσμο, πραγματοποιείται μέσα από την υλοποίηση ενός λεξικού αγγλικών λέξεων ελληνικής προέλευσης. Με βάση το λεξικό ελληνικών λημμάτων και λέξεων [33], δημιουργήσαμε μια πιο εμπλουτισμένη έκδοσή του, τέτοια που να περιέχει περισσότερες λέξεις καθώς και παράγωγα αυτών. Για τον εμπλουτισμό του λεξικού κάναμε χρήση των αλγορίθμων στελεχοποίησης Lancaster και Porter. Η συνάρτηση που υλοποιεί την αξιολόγηση του πολιτισμικού αλγορίθμου λαμβάνει ως είσοδο το σύνολο των αγγλικών λέξεων του συνδέσμου που έδωσε ο χρήστης ως είσοδο στην εφαρμογή, δηλαδή την ίδια είσοδο που λαμβάνει και ο πολιτισμικός αλγόριθμος, και επιστρέφει ως έξοδο το σύνολο των λέξεων που εντοπίστηκαν μέσα στο λεξικό αγγλικών λέξεων ελληνικής προέλευσης. 41

42 Οπτικοποίηση των αποτελεσμάτων Ορίζοντας ως CA το ποσοστό λέξεων ελληνικής προέλευσης που ανίχνευσε ο πολιτισμικός αλγόριθμος στο κείμενο του συνδέσμου και ως LEX το αντίστοιχο ποσοστό που προκύπτει από τα αποτελέσματα του λεξικού κατά την αξιολόγηση του πολιτισμικού αλγορίθμου, η εφαρμογή, με χρήση της βιβλιοθήκης μαθηματικών συναρτήσεων και γραφημάτων matplotlib.pyplot δημιουργεί γραφήματα μορφής πίτας - Σχήμα που επιστρέφονται στο χρήστη μέσω της επιλογής του μενού Plots (Γραφικές παραστάσεις). Συγκεκριμένα, ο χρήστης λαμβάνει 1) γραφική παράσταση που εμφανίζει το ποσοστό των λέξεων ελληνικής προέλευσης που ανίχνευσε ο πολιτισμικός αλγόριθμος ως προς το σύνολο των αγγλικών λέξεων του συνδέσμου (Σχήμα 3.6αʹ) (ποσοστό CA), 2) γραφική παράσταση που εμφανίζει το ποσοστό των λέξεων ελληνικής προέλευσης που βρέθηκαν στο λεξικό κατά την αξιολόγηση του πολιτισμικού αλγορίθμου (Σχήμα 3.6βʹ)(ποσοστό LEX) και 3) γραφική παράσταση που εμφανίζει το ποσοστό των λέξεων ελληνικής προέλευσης που ανίχνευσε ο πολιτισμικός αλγόριθμος ως προς το σύνολο των λέξεων ελληνικής προέλευσης που υπάρχουν στο σύνδεσμο (Σχήμα 3.6γʹ)(ποσοστό CA/LEX). (αʹ) Ποσοστό CA (βʹ) Ποσοστό LEX (γʹ) Ποσοστό CA/LEX Σχήμα 3.6: Γραφικές παραστάσεις αποτελεσμάτων 42