4.3. Απαιτήσεις Συστήματος Επέκταση Ασάφειας στο RDFS (Fuzzy RDFS) Fuzzy Logic Από το RDF στο Fuzzy RDF

Transcript

1

2

3

4

5 Περιεχόμενα Περίληψη... 1 Abstract...6 Ευχαριστίες Εισαγωγή Προαπαιτούμενες Γνώσεις Σημασιολογικός Ιστός XML RDF RDFS OWL Συλλογισμός σε Δεδομένα RDF SPARQL Υπολογιστική Νοημοσύνη Μέθοδοι Υπολογιστικής Νοημοσύνης Τεχνητά Νευρωνικά Δίκτυα Εξελικτική Υπολογιστική...25 Γενετικοί Αλγόριθμοι Νοημοσύνη Σμήνους Τεχνητά Ανοσοποιητικά Συστήματα Ασαφή Συστήματα Μεγάλα Δεδομένα MapReduce και Apache Hadoop MapReduce Apache Hadoop Hadoop Distributed File System (HDFS) Αρχιτεκτονική του Hadoop Σημασιολογικός Ιστός και Υπολογιστική Νοημοσύνη Σημασιολογικός Ιστός και Ασαφής Λογική Σημασιολογικός Ιστός και Εξελικτική Υπολογιστική Σημασιολογικός Ιστός και Τεχνητά Νευρωνικά Δίκτυα Κατασκευή Συστήματος Fuzzie Περιγραφή Συστήματος Σχετικές Εργασίες... 46

6 4.3. Απαιτήσεις Συστήματος Επέκταση Ασάφειας στο RDFS (Fuzzy RDFS) Fuzzy Logic Από το RDF στο Fuzzy RDF Σχεδίαση Αλγόριθμων MapReduce και Σειρά Εκτέλεσης Κανόνων Αλγόριθμοι MapReduce για τους Κανόνες Fuzzy RDFS Fuzzy RDFS Rule 2 - Συμπερασμός domain Fuzzy RDFS Rule 3 - Συμπερασμός range Fuzzy RDFS Rule 5 - SubProperty Transitive Closure Fuzzy RDFS Rule 7 - SubProperty Inference Fuzzy RDFS Rule 9 - SubClass Typing Fuzzy RDFS Rule 11 - SubClass Transitive Closure Preprocessing...56 Clear Duplicates Σειρά Εκτέλεσης Κανόνων Υλοποίηση Συστήματος Λειτουργία Συστήματος Αξιολόγηση Συστήματος Προτεινόμενες Βελτιώσεις και Επεκτάσεις Συστήματος Περιπτώσεις Χρήσης Οντολογία της Τέχνης Ηλεκτρονικοί Ιατρικοί Φάκελοι Ασθενούς Συμπεράσματα...77 Παράρτημα Α - Εγκατάσταση και Παραμετροποίηση Apache Hadoop...81 Node Setup...81 Cluster Setup...88 Παράρτημα Β - Αποσπάσματα Πηγαίου Κώδικα...92 Παράρτημα Γ - Ενδεικτική Εκτέλεση Fuzzie...99 Παράρτημα Δ - Λογισμικό που χρησιμοποιήθηκε Βιβλιογραφία

7 Εικόνες Εικόνα 1: Semantic Web Stack...14 Εικόνα 2: Γράφος Σημασιολογικών Δεδομένων Εικόνα 3: Τεχνητός Νευρώνας Εικόνα 4: Τεχνητό Νευρωνικό Δίκτυο...24 Εικόνα 5: Τριγωνική Συνάρτηση Μέλους Εικόνα 6: Τραπεζοειδής Συνάρτηση Μέλους...30 Εικόνα 7: Gaussian Συνάρτηση Μέλους Εικόνα 8: Τα 3 V των Big Data Εικόνα 9: Ενδεικτική Τοπολογία Hadoop Cluster...38 Εικόνα 10: Υψηλού επιπέδου άποψη εκτέλεση προγράμματος MapReduce...38 Εικόνα 11: Χαμηλότερου επιπέδου άποψη εκτέλεσης προγράμματος MapReduce...39 Εικόνα 12: Γενική άποψη του συστήματος Fuzzie Εικόνα 13: Γενική εικόνα του συστήματος Fuzzie Εικόνα 14: Πακέτα λογισμικού του Fuzzie Εικόνα 15: Hadoop MapReduce Web Interface Εικόνα 16: Περίπτωση Χρήσης - Οντολογία της Τέχνης Εικόνα 17: Hadoop NameNode Web Interface Εικόνα 18: Hadoop JobTracker Web Interface...87 Εικόνα 19: Παράδειγμα Αρχιτεκτονικής Hadoop cluster...88

8 Πίνακες Πίνακας 1: RDFS Entailment Rules...19 Πίνακας 2: Semantic Web Meets Computational Intelligence Πίνακας 3: Εκδοχές πράξεων ασαφούς λογικής Πίνακας 4: Fuzzy RDFS Entailment Rules Πίνακας 5: Σειρά εκτέλεσης κανόνων FRDFS Πίνακας 6: Σειρά εκτέλεσης κανόνων FRDFS Πίνακας 7: Σειρά εκτέλεσης εργασιών στο Fuzzie Πίνακας 8: Αποτελέσματα Πειράματος Πίνακας 9: Αποτελέσματα Πειράματος

9 Περίληψη Ο Σημασιολογικός Ιστός επεκτείνει τον Παγκόσμιο Ιστό προσφέροντας τα πρότυπα και τα εργαλεία ώστε η διαθέσιμη πληροφορία, που είναι κατανοητή μόνο από ανθρώπους, να είναι κατανοητή και διαχειρίσιμη και από μηχανές. Αυτό αρχικά επιτυγχάνεται με τη δημιουργία οντολογιών οι οποίες περιγράφουν αντικείμενα και σχέσεις του πραγματικού κόσμου. Η χρήση των οντολογιών για επισήμανση και διασύνδεση των δεδομένων δημιουργεί τη βάση για τη χρήση αυτών των δεδομένων από τις μηχανές ως πληροφορία, αφού συνοδεύονται από τη σημασία τους. Κατά την εξέλιξη των τεχνολογιών του Σημασιολογικού Ιστού διαπιστώθηκαν διάφορες αδυναμίες όπως η εύρεση τρόπων διαχείρισης μεγάλου όγκου δεδομένων τα οποία βρίσκονται διάσπαρτα στον Ιστό, η αντιστοίχιση οντολογιών, η έκφραση της αβεβαιότητας που μπορεί να συνοδεύει τη γνώση, καθώς και η ικανότητα των μηχανών να λαμβάνουν αποφάσεις σε αβέβαια περιβάλλοντα. Για την αντιμετώπιση αυτών των προβλημάτων επιστρατεύθηκαν μέθοδοι, τεχνικές και τεχνολογίες από άλλα επιστημονικά πεδία της Πληροφορικής. Σε αυτή την εργασία θα ασχοληθούμε με τη συνεισφορά της Υπολογιστικής Νοημοσύνης και των Μεγάλων Δεδομένων σε αυτή την προσπάθεια. Η Υπολογιστική Νοημοσύνη περιλαμβάνει τρεις κύριες μεθόδους, τα Τεχνητά Νευρωνικά Δίκτυα, την Εξελικτική Νοημοσύνη και την Ασαφή Λογική. Κάθε μία από αυτές τις μεθόδους έχει χρησιμοποιηθεί στην προσπάθεια επίλυσης διάφορων προβλημάτων του Σημασιολογικού Ιστού. Οι τεχνικές και η τεχνολογία που αναπτύχθηκαν για τη διαχείριση Μεγάλων Δεδομένων, αντικείμενο για το οποίο υπάρχει μεγάλο ενδιαφέρον, τόσο από την επιστημονική όσο και από την επιχειρηματική κοινότητα, βρίσκουν μεγάλη εφαρμογή και στα Σημασιολογικά Δεδομένα αφού αυτά παρουσιάζουν χαρακτηριστικά όπως ο μεγάλος όγκος και η διασπορά στον Ιστό. Στην εργασία αυτή αρχικά θα παρουσιαστούν τα τρία βασικά αντικείμενα που συνθέτουν το θέμα, δηλαδή ο Σημασιολογικός Ιστός, η Υπολογιστική Νοημοσύνη και τα Μεγάλα Δεδομένα. Στη συνέχεια θα γίνει αναφορά στην εφαρμογή μεθόδων Υπολογιστικής Νοημοσύνης και τεχνικών Μεγάλων Δεδομένων στο Σημασιολογικό Ιστό. Τέλος, ως παράδειγμα, θα σχεδιαστεί και θα υλοποιηθεί ένα σύστημα για το συλλογισμό πάνω σε μεγάλο όγκο σημασιολογικών δεδομένων με επέκταση βαθμού ασάφειας. Ο μεγάλος όγκος των δεδομένων θα είναι διαχειρίσιμος μέσω της τεχνικής MapReduce που αποτελεί βασική τεχνική των Μεγάλων Δεδομένων, ενώ η επέκταση βαθμού ασάφειας θα οριστεί χρησιμοποιώντας την Ασαφή Λογική. 1

10 Συγκεκριμένα, η εργασία αποτελείται από τα εξής κεφάλαια/τμήματα: Κεφάλαιο 1 - Εισαγωγή: Μία σύντομη περιγραφή του Σημασιολογικού Ιστού και προβλημάτων που προκύπτουν κατά την προσπάθεια πραγματοποίησης του. Πώς μέθοδοι και τεχνολογίες από τις περιοχές της Υπολογιστικής Νοημοσύνης και των Μεγάλων Δεδομένων μπορούν να συνεισφέρουν στην επίλυση κάποιων από αυτά. Κεφάλαιο 2 - Προαπαιτούμενες Γνώσεις: Στην παράγραφο 2.1 παρουσιάζεται η θεωρία και τα πρότυπα του Σημασιολογικού Ιστού που μας ενδιαφέρουν στα πλαίσια της παρούσας εργασίας. Παρουσιάζεται η XML, πρότυπη γλώσσα επισημείωσης, πολύ διαδεδομένης χρήσης, η οποία καθιστά εύκολη την ανταλλαγή δεδομένων στο διαδίκτυο, και που χρησιμοποιείται για τη σύνταξη των προτύπων του Σημασιολογικού Ιστού, όπως τα RDF, RDFS και OWL. Το RDF είναι ένα μοντέλο για εννοιολογική περιγραφή της πληροφορίας, ενώ το RDF Schema (RDFS) είναι μία γλώσσα περιγραφής λεξικών με σκοπό την περιγραφή πόρων και σχέσεων που εμφανίζονται σε μοντέλα δεδομένων RDF. Μέσω αυτών των σχέσεων είναι δυνατό να πραγματοποιηθεί συλλογισμός πάνω σε ένα σύνολο δεδομένων RDF και του σχήματός τους, και έτσι να προκύψει όλη η έμμεση γνώση που είναι κρυμμένη μέσα σε αυτά. Η OWL είναι επίσης μία οικογένεια γλωσσών περιγραφής λεξικών, με περισσότερες δυνατότητες από το RDFS, κάτι που τις καθιστά και πολύ πιο απαιτητικές επεξεργαστικά για συλλογισμό νέας γνώσης από την υπάρχουσα πληροφορία. Τέλος, για τη δημιουργία ερωτημάτων σε σύνολα δεδομένων RDF χρησιμοποιείται η γλώσσα SPARQL. Στη συνέχεια, στην παράγραφο 2.2, γίνεται βιβλιογραφική ανασκόπηση στο πεδίο της Υπολογιστικής Νοημοσύνης, με μία προσπάθεια οριοθέτησης και ορισμού του πεδίου και των μεθόδων ή σκοπών που το συνθέτουν. Αν και υπάρχουν διάφορες απόψεις, συμφωνούμε στο γενικότερο ορισμό ότι η Υπολογιστική Νοημοσύνη ασχολείται με την εύρεση υπολογιστικών λύσεων για προβλήματα η λύση των οποίων απαιτεί νοημοσύνη. Οι κύριες μέθοδοι που υπάγονται στο πεδίο της Υπολογιστικής Νοημοσύνης είναι τα Τεχνητά Νευρωνικά Δίκτυα, η Εξελικτική Υπολογιστική και η Ασαφής Λογική, οι οποίες αποτελούν το θέμα της παραγράφου 2.3 όπου γίνεται παρουσίαση κάθε μίας από αυτές. Στην παράγραφο 2.4 γίνεται μία εισαγωγή στην έννοια των Μεγάλων Δεδομένων, ενώ στη 2.5 αναφερόμαστε στην προγραμματιστική τεχνική MapReduce και το Apache Hadoop. Το MapReduce χρησιμοποιείται για την επεξεργασία μεγάλων συνόλων δεδομένων εκτελώντας κατανεμημένο 2

11 υπολογισμό σε clusters υπολογιστών, ενώ το Apache Hadoop είναι μία δημοφιλής υλοποίηση του μοντέλου. Παρουσιάζεται επίσης το HDFS το οποίο είναι το κατανεμημένο σύστημα αρχείων του Hadoop, η αρχιτεκτονική του Hadoop, καθώς και το πώς σχεδιάζονται, υλοποιούνται και εκτελούνται προγράμματα σε αυτό. Κεφάλαιο 3 - Σημασιολογικός Ιστός και Υπολογιστική Νοημοσύνη: Σε αυτό το κεφάλαιο παρουσιάζονται μέσα από τη βιβλιογραφία περιπτώσεις εφαρμογής μεθόδων Υπολογιστικής Νοημοσύνης για την επίλυση προβλημάτων του Σημασιολογικού Ιστού. Αναφέρονται περιπτώσεις προβλημάτων των οποίων η λύση βασίζεται στις μεθόδους των Τεχνητών Νευρωνικών Δικτύων, της Εξελικτικής Υπολογιστικής και της Ασαφούς Λογικής. Λόγω της φύσης των σημασιολογικών δεδομένων, πολλές φορές το τοπίο συμπληρώνεται από τεχνικές Μεγάλων Δεδομένων. Κεφάλαιο 4 - Κατασκευή Συστήματος Fuzzie: Το κεφάλαιο 4 αποτελεί το δεύτερο κομμάτι της εργασίας, το οποίο είναι πρακτική εφαρμογή των όσων παρουσιάστηκαν στα προηγούμενα κεφάλαια. Πρόκειται για τη σχεδίαση, υλοποίηση και πειραματική χρήση ενός συστήματος που ονομάσαμε Fuzzie. Αρχικά, ορίζεται μία επέκταση του RDF με βαθμό ασάφειας ώστε να προκύψει το Fuzzy RDF. Γίνονται οι απαραίτητες μετατροπές στους κανόνες του RDFS έτσι ώστε να λαμβάνουν υπόψιν και το βαθμό ασάφειας όταν κάποια δεδομένα συνοδεύονται από τέτοιον. Στη συνέχεια υλοποιείται στο Hadoop ένα πρόγραμμα MapReduce το οποίο είναι ικανό να εκτελέσει κατανεμημένο συλλογισμό. Κατανεμημένο όχι μόνο όσο αφορά την αποθήκευση των δεδομένων, αλλά και τους υπολογισμούς. Σχεδιάζονται οι απαραίτητοι αλγόριθμοι για την εφαρμογή όλων των κανόνων του Fuzzy RDFS ώστε στην έξοδο να δίνεται όλη η έμμεση γνώση που κρύβεται στα δεδομένα μας. Αντιμετωπίζονται διάφορα προβλήματα, σχεδιαστικά αλλά και τεχνικά, όπως η εύρεση της κατάλληλης σειράς εφαρμογής των κανόνων ώστε να εκτελείται πλήρης συλλογισμός, ή τεχνικών για αποδοτικό συνδυασμό των δεδομένων μέσα στο μοντέλο MapReduce. Αφού παρουσιαστεί ο τρόπος λειτουργίας του συστήματος, ακολουθεί αξιολόγησή του η οποία βασίζεται σε μετρήσεις κατά την εκτέλεσή του σε εργαστήριο του ΟΠΑ και στις υποδομές νέφους της ΕΔΕΤ, αλλά και σε σύγκριση με παρόμοια συστήματα. Το κεφάλαιο κλείνει με κάποιες προτάσεις σχετικά με βελτιώσεις που θα μπορούσαν να γίνουν στο σύστημα αλλά δεν είχαμε το χρόνο για την υλοποίηση τους, και με κάποιες ιδέες για επεκτάσεις που θα έδιναν στο σύστημα τη δυνατότητα να αξιοποιήσει και άλλες τεχνολογίες που έχουν αναπτυχθεί για την διαχείριση Μεγάλων Δεδομένων. 3

12 Κεφάλαιο 5 - Περιπτώσεις χρήσης: Στο πέμπτο κεφάλαιο της εργασίας παρουσιάζονται δύο περιπτώσεις χρήσης που ταιριάζουν στο μοντέλο της επέκτασης των σημασιολογικών δεδομένων με βαθμό ασάφειας. Το πρώτο παράδειγμα αφορά σε μία οντολογία της τέχνης. Κατασκευάζεται ένα τμήμα αυτής και παρουσιάζεται η χρήση του Apache Pig για την δημιουργία ερωτημάτων που χρησιμοποιούν το βαθμό ασάφειας και την ανάκτηση των σχετικών αποτελεσμάτων. Στο δεύτερο παράδειγμα παρουσιάζεται η ιδέα χρήσης του συστήματός μας σε οντολογίες που αφορούν σε ηλεκτρονικούς ιατρικούς φακέλους. Κεφάλαιο 6 - Συμπεράσματα: Παρουσιάζονται συμπεράσματα σχετικά με τη γενικότερη χρήση των μεθόδων υπολογιστικής νοημοσύνης και των τεχνικών μεγάλων δεδομένων στο σημασιολογικό ιστό, αλλά και σχετικά με το σύστημα που κατασκευάσαμε και τις εμπειρίες που αποκομίσαμε κατά τη σχεδίαση και υλοποίησή του. Τέλος, η εργασία συνοδεύεται από τα εξής παραρτήματα: Α. Εγκατάσταση και Παραμετροποίηση Apache Hadoop: Παρουσιάζεται βήμα βήμα η εγκατάσταση και η αρχική παραμετροποίηση ενός μικρού cluster Hadoop. Τα ίδια βήματα μπορούν να εφαρμοσθούν και σε μεγαλύτερα clusters ή για διαφορετικές αρχιτεκτονικές. Β. Αποσπάσματα Πηγαίου Κώδικα: Για πληρότητα, καθώς και για τον ενδιαφερόμενο αναγνώστη, παρουσιάζονται επιλεγμένα αποσπάσματα πηγαίου κώδικα της εφαρμογής Fuzzie. Γ. Ενδεικτική Εκτέλεση Fuzzie: Παρατίθεται τμήμα της εξόδου του Fuzzie κατά τη διάρκεια ενδεικτικής εκτέλεσης σε μικρό δείγμα δεδομένων ( records). Δ. Λογισμικό που χρησιμοποιήθηκε: Γίνεται αναφορά στα διάφορα προγράμματα ή βιβλιοθήκες λογισμικού που χρησιμοποιήθηκαν για την εκπόνηση της εργασίας. Αξίζει να αναφερθεί ότι το λογισμικό που χρησιμοποιήθηκε ανήκει στην κατηγορία Ελεύθερο Λογισμικό / Λογισμικό Ανοιχτού Κώδικα. 4

13 5

14 Abstract Semantic Web extends the World Wide Web by setting the standards and supplying the tools so that the available information - which has been mostly understood only by people till now - can become understandable by machines too. This is achieved by creating and using ontologies, which describe objects and relations of the real world. Using ontologies to markup and interconnect data is the basis for enabling the machines to use the information represented by these data, since, by this way, they are accompanied by their meaning. Some problems arose during the evolution and deployment of Semantic Web technologies. Problems such as finding ways to manage a vast volume of data stored in diverse locations in the web, to align ontologies, to express the vagueness that sometimes comes with the knowledge, or to enable the machines to decide in uncertain contexts. In order to face these problems, methods, techniques and technologies belonging to other scientific fields of Information Technology have been used. In this thesis we shall deal with the contribution of Computational Intelligence and Big Data in the Semantic Web realization. Computational Intelligence incorporates three basic methods. These are Artificial Neural Networks, Evolutionary Computing and Fuzzy Logic. Each one of these methods has been used in efforts to solve different kinds of problems about the Semantic Web. Techniques and technologies, which have been developed to cope with the management of Big Data, apply to Semantic Data also, since these have characteristics such as big volume and being stored in a distributed fashion. The main objects of this thesis will be the Semantic Web, Computational Intelligence and Big Data. There will be some discussion about the use of Computational Intelligence methods and Big Data techniques in the effort to solve Semantic Web problems. In the end, and as an example of the application of all the previously mentioned topics, the design and implementation of a system that performs reasoning over big semantic data, which have been extended by a fuzzy degree, will be presented. The management of the big volume of data will be achieved by using Big Data techniques, while the fuzzy degree will be defined using Fuzzy Logic. 6

15 The thesis consists of the following chapters/parts: Chapter 1 - Introduction: This chapter includes a short description of the Semantic Web and the problems that I faced in the process of its establishment. It also refers to how methods and technologies belonging to the areas of Big Data and Computational Intelligence are used in order to cope with these problems. Chapter 2 - Background Knowledge: Paragraph 2.1 presents the theory and standards behind the Semantic Web. XML is a markup language, widely used, that makes the exchange of data in the Web easy and that is also used as syntax for the Semantic Web standards such as RDF, RDFS and OWL. RDF is a model used for the conceptual description of the information, while RDF Schema (RDFS) is a language that provides the basic elements for the description of ontologies. Using the relations that are defined in RDFS and the RDFS entailment rules, makes it possible to perform reasoning over RDF data sets so as to extract the indirect knowledge that derives from the data. OWL is also a family of ontology description languages, which are more expressive than RDFS. This expressiveness comes with added computational cost. Finally, SPARQL is an RDF query language. The object of paragraphs 2.2 and 2.3 is Computational Intelligence. Paragraph 2.2 presents the field of Computational Intelligence through a relevant literature review. A simplified but widely acceptable definition is that Computational Intelligence is about finding computational solutions to problems whose solution demands intelligence. The main methods of Computational Intelligence are Artificial Neural Networks, Evolutionary Computing and Fuzzy Logic, all of which are presented in paragraph 2.3. Paragraph 2.4 is an introduction to Big Data, while paragraph 2.5 presents the programming paradigm MapReduce and the Apache Hadoop framework. MapReduce is used to perform distributed computations over very big data sets. Apache Hadoop is a popular implementation of the MapReduce model. Other topics presented are HDFS, which stands for Hadoop Distributed File System, as well as the design, implementation and use of MapReduce programs in Hadoop. Chapter 3 - Semantic Web and Computational Intelligence: Chapter 3 includes references and comments about examples of using Computational Intelligence methods to solve problems of the Semantic Web. There are examples of solutions coming from either the fields of Artificial Neural Networks, or Evolutionary Computing and Fuzzy Logic. In 7

16 some of these examples, Big Data techniques appear to assist too. Chapter 4 - Design and Implementation of Fuzzie: Chapter four introduces the second part of the thesis, which is a combination of the topics presented earlier so as to design, implement and test a system named Fuzzie. The first thing to be done is the definition of Fuzzy RDF, which is an extension of the RDF so as every statement contains a fuzzy degree. Following the same way, the RDFS entailment rules must be extended accordingly. Next follows the implementation of a Hadoop MapReduce program, which can perform, in a distributed fashion, reasoning over fuzzy semantic data. Distributed not just as far as it concerns the storage of the data, but also the computations. The algorithms that are used to perform the join of the data accordingly to the fuzzy RDFS rules are presented next. There are references to the problems met during the design and the implementation of the system, problems such as finding the best order of execution of the rules so that the reasoning is complete and computationally cheaper. The chapter continues with the evaluation of the system which was preceeded by the performing of some experiments at the CS Lab of Athens University of Economics and Business and the cloud infrastructure of GRNet, and ends with some thoughts and suggestions for future work to be done so as to extend and improve the system. Furthermore I refer to extensions that could enable the system to implement more technologies, which have been developed for the management of Big Data. Chapter 5 - Applications: In the fifth chapter of the thesis I introduce two applications that fit to the fuzzy extension model that I have proposed. The first one is about an ontology of art. I have designed a part of this ontology and have taken the opportunity to present how Apache Pig, a system running on top of Hadoop, can be used to query fuzzy RDF data belonging to it. The second application presented, is about using the fuzzy extension to enrich ontologies describing electronic health records. Chapter 6 - Conclusions: I will present the conclusions I have drawn when using computational intelligence methods and big data techniques so as to solve problems arising in the semantic web, and the discussion continues about the system I have developed and the experience that I have gained during its design and implementation. The thesis is complemented by the following appendices: 8

17 Appendix A - Installing and Configuring Apache Hadoop: This appendix offers some guidelines on how to install and configure a mini Hadoop cluster. The same instructions can be easily adopted for bigger installations or different architectures. Appendix B - Source Code Samples: For the shake of completeness, as well as for the reader who might be interested in, some source code samples from the Fuzzie application are presented here. Appendix C - Example Execution of Fuzzie: Appendix C presents the terminal output of Hadoop during the execution of the Fuzzy RDFS Application over a small sample data set of records. Appendix D The software I have used: Last, but not least, here are included the references to the software tools and libraries that were used for the writing of this thesis, and also for the design and implementation of the Fuzzie application. It is worth mentioning that all the software I have used is free and open source software. 9

18 Ευχαριστίες Σε αυτό το σημείο θα ήθελα να ευχαριστήσω τους ανθρώπους που με στήριξαν και μου συμπαραστάθηκαν επιστημονικά, αλλά και ηθικά ή συναισθηματικά κατά τη διάρκεια της εκπόνησης της διπλωματικής εργασίας μου. Αρχικά, θέλω να ευχαριστήσω την επιβλέπουσα της εργασίας Διδάσκουσα Αναστασία Καστανιά η οποία ήταν πάντα διαθέσιμη όταν χρειάστηκα τη βοήθεια και τις συμβουλές της, και μοιράστηκε μαζί μου την εμπειρία και τις γνώσεις της, καθώς και άλλους απαραίτητους πόρους για την εκπόνηση της εργασίας. Ευχαριστώ επίσης τον Καθηγητή Θεόδωρο Αποστολόπουλο που δέχτηκε να είναι ο εξωτερικός κριτής της εργασίας μου και τον Καθηγητή Γιάννη Κωτίδη ο οποίος μου διατύπωσε μερικές πολύ εύστοχες παρατηρήσεις για αυτή. Επίσης, οφείλω τις ευχαριστίες μου σε όλους τους Καθηγητές, αλλά και τους συμφοιτητές μου στο ΠΜΣ στα Πληροφοριακά Συστήματα του ΟΠΑ, αφού η συναναστροφή μαζί τους με βοήθησε να βελτιωθώ τόσο σε επιστημονικό, όσο και σε προσωπικό επίπεδο. Τέλος, θέλω να ευχαριστήσω την οικογένεια μου και τους φίλους μου, οι οποίοι με στήριξαν και, πολύ συχνά, μοιράστηκαν μαζί μου τις θυσίες που έπρεπε να κάνω όλο αυτό τον καιρό. Ιδιαίτερες ευχαριστίες οφείλω στη συμβία μου που έδειξε τη μέγιστη κατανόηση, αλλά και συμπαράσταση που θα μπορούσα ποτέ να περιμένω. Κλείνοντας, αφιερώνω την εργασία μου στη μνήμη του πατέρα μου ο οποίος με δίδαξε να εργάζομαι με επιμονή και να αντιμετωπίζω με θάρρος τα προβλήματα και δυσκολίες που βρίσκω μπροστά μου. 10

19 1. Εισαγωγή Ο Σημασιολογικός Ιστός δεν είναι ένας διαφορετικός Ιστός αλλά μία επέκταση του γνωστού Παγκόσμιου Ιστού μέσω της οποίας η πληροφορία αποκτά μία καλά ορισμένη σημασία, δημιουργώντας έτσι τη δυνατότητα για συνεργασία ανάμεσα σε υπολογιστές και ανθρώπους. Τα πρώτα βήματα για την ενσωμάτωση του Σημασιολογικού Ιστού στη δομή του υπάρχοντος Ιστού γίνονται ήδη. Στο κοντινό μέλλον, αυτές οι εξελίξεις θα είναι προάγγελοι σημαντικών νέων λειτουργιών καθώς οι μηχανές θα γίνονται όλο και πιο ικανές στην επεξεργασία και κατανόηση των δεδομένων που προς το παρόν απλώς παρουσιάζουν. T. Berners-Lee, J. Hendler, O. Lassila, The Semantic Web, Scientific American, May 2001 Ο Σημασιολογικός Ιστός είναι ένας Ιστός από δεδομένα. Επικεντρώνεται στη χρήση κοινών προτύπων για ενσωμάτωση και συνδυασμό δεδομένων από διάσπαρτες πηγές του Ιστού. Επίσης, εστιάζει στη δημιουργία γλωσσών μέσω των οποίων δηλώνεται η σημασία των δεδομένων, δηλαδή το πώς αυτά σχετίζονται με αντικείμενα του πραγματικού κόσμου. Αυτό επιτρέπει σε έναν χρήστη (άνθρωπο ή μηχανή) να περιπλανηθεί και να αναζητήσει την πληροφορία που τον ενδιαφέρει σε ένα γράφο δεδομένων με κόμβους πόρους (αντικείμενα ή σημασίες) και ακμές τις μεταξύ τους σχέσεις. Στο Σημασιολογικό Ιστό το μεγάλο ενδιαφέρον έγκειται στην ικανότητα των μηχανών να καταλαβαίνουν τα δεδομένα, ώστε να μπορούν να κάνουν αναζητήσεις και να καταλήγουν σε ορθά συμπεράσματα συνδυάζοντας την πληροφορία που υπάρχει διαθέσιμη στον Ιστό. Στα πλαίσια του κινήματος για την πραγματοποίηση του Σημασιολογικού Ιστού το W3C καθιέρωσε πολλά πρότυπα και τεχνολογίες όπως τα XML, RDF, OWL κ.ά., τεχνολογίες οι οποίες βρίσκουν εφαρμογή και σε περιοχές εκτός του Παγκόσμιου Ιστού, όπως είναι οι επιχειρήσεις και η επιστημονική έρευνα, αφού προσφέρουν μία ισχυρή υποδομή για κοινή χρήση δεδομένων τα οποία μπορούν να βρίσκονται σε διάσπαρτες τοποθεσίες και να έχουν δημιουργηθεί από διαφορετικούς ανθρώπους ή μηχανές. Όμως αναδεικνύονται διάφορα προβλήματα. Ένα πρόβλημα αποτελεί η ικανότητα των μηχανών να διαχειρίζονται τη γνώση προσομοιώνοντας τον άνθρωπο, ο οποίος λειτουργεί, σκέφτεται και τελικά αποφασίζει χωρίς να έχει πάντα πλήρη πληροφόρηση ή απόλυτη βεβαιότητα. Άλλα προβλήματα, τα οποία πηγάζουν από τον τεράστιο όγκο και τη διασπορά των δεδομένων, αφορούν την εύρεση μεθόδων για την αποδοτική διαχείριση και χρήση τους. Για την αντιμετώπιση κάποιων από αυτά τα προβλήματα χρησιμοποιούνται τεχνικές που προέρχονται από άλλες επιστημονικές περιοχές της Πληροφορικής όπως μέθοδοι της Υπολογιστικής Νοημοσύνης ή τεχνικές Μεγάλων Δεδομένων. 11

20 Η Υπολογιστική Νοημοσύνη ασχολείται με τη δημιουργία υπολογιστικών συστημάτων τα οποία λειτουργούν με τέτοιο τρόπο που τα αντιλαμβανόμαστε ως κατόχους ιδιοτήτων λογικής όπως η γενίκευση, η ανακάλυψη, η συσχέτιση και η αφαίρεση. Τέτοια συστήματα μπορούν να αντιμετωπίσουν προβλήματα του Σημασιολογικού Ιστού όπως η έκφραση και η διαχείριση της αβεβαιότητας, η αντιστοίχιση οντολογιών ή η μαζική ανάλυση διασυνδεδεμένων δεδομένων. Τα Μεγάλα Δεδομένα έχουν γίνει κεντρικό σημείο ενδιαφέροντος της επιστημονικής και επιχειρηματικής κοινότητας. Πρόκειται για δεδομένα που παρουσιάζουν χαρακτηριστικά όπως διασπορά και μεγάλο όγκο για τη διαχείριση των οποίων έχουν αναπτυχθεί τεχνικές όπως το MapReduce και έχουν υλοποιηθεί οι αντίστοιχες τεχνολογίες. Τα σημασιολογικά δεδομένα που θέλουμε να είμαστε ικανοί να χειριστούμε, είτε μιλάμε για έναν ώριμο Παγκόσμιο Σημασιολογικό Ιστό, είτε για δεδομένα που ανήκουν σε τεράστιες ιδιωτικές αποθήκες δεδομένων, έχουν τα βασικά χαρακτηριστικά των Μεγάλων Δεδομένων και έτσι οι σχετικές τεχνολογίες μπορούν να χρησιμοποιηθούν για τη διαχείρισή τους. Στην εργασία αρχικά θα γίνει επιμέρους παρουσίαση των θεμάτων που αναφέρθηκαν, δηλαδή Σημασιολογικός Ιστός, Υπολογιστική Νοημοσύνη, Μεγάλα Δεδομένα. Στη συνέχεια θα γίνει αναφορά, μέσα από τη βιβλιογραφία, σε τρόπους χρήσης των μεθόδων της Υπολογιστικής Νοημοσύνης στο Σημασιολογικό Ιστό, κάποιες φορές χρησιμοποιώντας και τεχνικές Μεγάλων Δεδομένων. Τέλος, θα παρουσιαστεί η σχεδίαση και υλοποίηση ενός συστήματος που κατασκευάστηκε στα πλαίσια της εργασίας. Χρησιμοποιήσαμε την Ασαφή Λογική για την επέκταση των σημασιολογικών δεδομένων ώστε να συνοδεύονται από βαθμό βεβαιότητας και μετασχηματίσαμε αντίστοιχα τους βασικούς κανόνες συλλογισμού. Χρησιμοποιήσαμε επίσης τεχνικές Μεγάλων Δεδομένων ώστε το σύστημα να είναι ικανό να επεξεργάζεται μεγάλο όγκο τέτοιων δεδομένων, να εκτελεί κατανεμημένο συλλογισμό και τελικά να παράγει στην έξοδο όλη την έμμεση γνώση που προκύπτει από το συνδυασμό τους. 12

21 2. Προαπαιτούμενες Γνώσεις Σε αυτό το κεφάλαιο θα παρουσιαστούν οι διάφορες επιστημονικές και ερευνητικές περιοχές, αλλά και τεχνολογίες, οι οποίες συνθέτουν το αντικείμενο της παρούσας εργασίας. Αρχικά, στην παράγραφο 2.1 θα γίνει παρουσίαση του Σημασιολογικού Ιστού και των βασικών τεχνολογιών που χρησιμοποιούνται για την πραγματοποίηση αυτού. Στις παραγράφους 2.2 και 2.3 θα γίνει ανασκόπηση του επιστημονικού πεδίου της Υπολογιστικής Νοημοσύνης με αναφορές στα πιο αντιπροσωπευτικά παραδείγματα αυτού. Στη συνέχεια, στην παράγραφο 2.4 θα παρουσιαστεί ένα θέμα που απασχολεί ιδιαίτερα την κοινότητα της Πληροφορικής τα τελευταία χρόνια, τα Μεγάλα Δεδομένα, ενώ τέλος, στην παράγραφο 2.5 θα παρουσιαστούν το προγραμματιστικό παράδειγμα MapReduce το οποίο έχει εφαρμογή σε κατανεμημένα συστήματα υπολογιστών για την επεξεργασία μεγάλου όγκου δεδομένων και το Apache Hadoop το οποίο είναι ένα σύστημα ανοιχτού κώδικα που υλοποιεί ένα κατανεμημένο σύστημα αρχείων και το απαραίτητο περιβάλλον για την εκτέλεση προγραμμάτων MapReduce Σημασιολογικός Ιστός Οι ιστοσελίδες στον Iστό είναι σχεδιασμένες έτσι ώστε να είναι αναγνώσιμες από ανθρώπους και όχι από μηχανές. Κύρια εργαλεία για τη χρήση του Ιστού είναι οι μηχανές αναζήτησης όπως της Google ή της Yahoo, οι οποίες λειτουργούν κατά βάση με τη χρήση λέξεων-κλειδιών ή και πιο εξελιγμένων τεχνικών όπως είναι η επεξεργασία φυσικής γλώσσας ή τεχνικές μηχανικής μάθησης. Όμως, όσο αξιόλογα και αν είναι τα αποτελέσματα σε πολλές περιπτώσεις παραμένει δύσκολο για μία μηχανή να καταλάβει τη διαφορά μεταξύ των κειμένων ο υψηλός πυρετός είναι σύμπτωμα της γρίπης Χ και ο υψηλός πυρετός είναι σύμπτωμα της γρίπης Χ, πίστεψαν αρχικά οι επιστήμονες. Και αυτό επειδή η μηχανή δεν καταλαβαίνει τη σημασία των δύο προτάσεων. Προβλήματα που υφίστανται είναι η επιστροφή πολλών αποτελεσμάτων με χαμηλή ακρίβεια, η ευαισθησία στην ορθογραφία, η αδυναμία συλλογής τμημάτων γνώσης από διάφορες τοποθεσίες στον Ιστό και η ενιαία προβολή της συνολικής γνώσης στο χρήστη. Επίσης, τα αποτελέσματα από μία αναζήτηση στον Ιστό δεν είναι άμεσα κατάλληλα για χρήση από άλλα εργαλεία λογισμικού. Μία προσέγγιση για τη λύση αυτών των προβλημάτων είναι η αναπαράσταση του περιεχομένου Ιστού σε μία μορφή η οποία θα είναι πιο εύκολη για επεξεργασία από μηχανές, σε συνδυασμό με τη χρήση ευφυών τεχνικών που θα εκμεταλλεύονται τον τρόπο αναπαράστασης για τη σημασιολογική επεξεργασία και την αποδοτικότερη αξιοποίηση του περιεχομένου. Έτσι, ο Σημασιολογικός Ιστός είναι μία επέκταση στον Παγκόσμιο Ιστό με στόχο να δώσει στις μηχανές την ικανότητα να 13

22 καταλαβαίνουν και να αποκρίνονται στις απαιτήσεις του χρήστη με βάση τη σημασία αυτών. Για την πραγματοποίηση αυτού του στόχου είναι απαραίτητο οι πληροφορίες που βρίσκονται στον Ιστό να είναι δομημένες σημασιολογικά. Έτσι, οι χρήστες ενθαρρύνονται να συμπεριλαμβάνουν σημασιολογικό περιεχόμενο σε ιστοσελίδες, ώστε ο Παγκόσμιος Ιστός, ο οποίος κυριαρχείται από αδόμητα και ημιδομημένα έγγραφα, να μετεξελιχθεί σε ένα ιστό δεδομένων (web of data). Ενσωμάτωση σημασιολογικών δεδομένων στον Ιστό σημαίνει πρόοδο σε τομείς όπως είναι η διαχείριση γνώσης, οι ηλεκτρονικές συναλλαγές επιχειρήσεων με τους πελάτες τους ή με άλλες επιχειρήσεις, και η σύνθεση προσωποποιημένων υπηρεσιών Ιστού για το χρήστη. Η προτυποποίηση του Σημασιολογικού Ιστού και των σχετικών υποστηρικτικών τεχνολογιών είναι μία εργασία του World Wide Web Consortium (W3C). Στην εικόνα [1] φαίνεται η στοίβα τεχνολογιών του Σημασιολογικού Ιστού. Στις επόμενες παραγράφους θα παρουσιαστούν οι τεχνολογίες που υποστηρίζουν την πραγματοποίηση του Σημασιολογικού Ιστού και σχετίζονται με το αντικείμενο της παρούσας εργασίας. Εικόνα 1: Semantic Web Stack 14

23 XML Η XML (Extensible Markup Language) είναι μία γλώσσα επισημείωσης η οποία ορίζει ένα σύνολο κανόνων για την κωδικοποίηση εγγράφων έτσι ώστε αυτά να είναι αναγνώσιμα από μηχανές και ανθρώπους. Κατά τη σχεδίαση της XML δόθηκε έμφαση στην απλότητα, τη γενικότητα και τη χρηστικότητα για εύκολη ανταλλαγή δεδομένων στο διαδίκτυο. Στην XML γίνεται χρήση ετικετών (tags) και ιδιοτήτων (attributes) χωρίς όμως προκαθορισμένη σημασία. Με τον εμφωλιασμό των ετικετών δημιουργείται η δομή του εγγράφου, η οποία μπορεί να ακολουθεί συγκεκριμένους κανόνες που ορίζονται από κάποιο XML-Schema ή DTD (Document Type Definition). Ένα απλό παράδειγμα εγγράφου XML είναι το ακόλουθο: <?xml version="1.1"?> <student arithmos_mitroou="m "> <firstname>vasilis</firstname> <lastname>spiropoulos</lastname> </student> RDF Το RDF (Resource Description Framework) είναι ένα πρότυπο μοντέλο του W3C [7] για εννοιολογική περιγραφή πληροφορίας και χρησιμοποιείται για την ανταλλαγή δεδομένων στον Ιστό. Το RDF έχει χαρακτηριστικά που διευκολύνουν τη συγχώνευση των δεδομένων, ακόμη και αν διαφέρουν τα υποκείμενα σχήματα. Μάλιστα, υποστηρίζει την εξέλιξη των σχημάτων στο χρόνο χωρίς να απαιτεί αλλαγές στους καταναλωτές των δεδομένων. Το RDF επεκτείνει τη διασυνδεδεμένη φύση του Ιστού με τη χρήση URIs (Uniform resource identifier), τα οποία είναι μοναδικά αναγνωριστικά ιστού, για την ονομασία της σχέσης ανάμεσα σε αντικείμενα, καθώς και για τα δύο άκρα της σχέσης. Αυτή η κατασκευή ονομάζεται triple. Κάνοντας χρήση αυτού του απλού μοντέλου επιτρέπει δομημένα και ημιδομημένα δεδομένα να αναμιγνύονται, εκτίθενται και διαμοιράζονται σε διάφορες εφαρμογές. Αυτή η διασυνδεδεμένη δομή σχηματίζει έναν κατευθυνόμενο γράφο με ετικέτες, όπου κάθε ακμή αναπαριστά τη σχέση ανάμεσα σε δύο πόρους, οι οποίοι αναπαρίστανται από τους κόμβους του γράφου. Αυτή η αναπαράσταση μέσω γράφου είναι το ευκολότερο εννοιολογικό μοντέλο για το RDF και χρησιμοποιείται συχνά για εύκολα κατανοητές οπτικές περιγραφές. Κάθε triple είναι ένα διατεταγμένο σύνολο που αποτελείται ένα υποκείμενο (subject), ένα κατηγόρημα (predicate) και ένα αντικείμενο (object), με πεδία τιμών αντίστοιχα τα και I B, I I B L, όπου I, B και L ορίζονται ως εξής: 15

24 I: το άπειρο σύνολο των URIs B: το άπειρο σύνολο κενών κόμβων (blank nodes), δηλαδή κόμβων του γράφου δίχως URI L: το άπειρο σύνολο λεκτικών (literals) Ακολουθεί ένα παράδειγμα δεδομένων RDF από τη σχετική σελίδα του W3C σε triples και τα ίδια δεδομένα σε αναπαράσταση γράφου (Εικόνα [2]): Triples: # Subject Predicate Object pim/contact#person "Eric Miller" mailto:em@w3.org "Dr." Γράφος: Εικόνα 2: Γράφος Σημασιολογικών Δεδομένων Για την αποθήκευση και ανταλλαγή των δεδομένων RDF χρησιμοποιούνται διάφορες συντάξεις (notations), όπως είναι η N3, η N-Triples, η Turtle και η RDF/XML. 16

25 RDFS Το RDF είναι μία γενικής χρήσης γλώσσα η οποία επιτρέπει στους χρήστες να περιγράφουν πόρους χρησιμοποιώντας τα δικά τους λεξικά. Το RDF δεν κάνει υποθέσεις για κάποιο συγκεκριμένο πεδίο εφαρμογής, ούτε ορίζει τη σημασία ενός πεδίου. Αυτό γίνεται από το χρήστη με το RDF Schema το οποίο αποτελεί πρότυπο του W3C [9]. Το RDFS (RDF Schema) είναι βασισμένο στο RDF και αποτελεί τη γλώσσα περιγραφής λεξικών συγκεκριμένων πεδίων με σκοπό την περιγραφή πόρων και σχέσεων που εμφανίζονται σε μοντέλα δεδομένων RDF. Με το RDFS περιγράφονται ταξινομίες και ιεραρχίες που αποτελούν τα βασικά συστατικά των οντολογιών. Οι βασικές έννοιες του RDFS είναι οι κλάσεις (classes), οι ιδιότητες (properties) και οι ιεραρχίες που σχηματίζονται ανάμεσα σε αυτές. Για τις ιδιότητες μπορούν επίσης να οριστούν πεδία ορισμού (domain) και τιμών (range). Οι δηλώσεις του RDFS έχουν μοναδική σημασία, προσφέροντας έτσι στις μηχανές τη δυνατότητα να χειριστούν αυτή την πληροφορία. Ένα απλό παράδειγμα μπορεί να παρουσιαστεί μέσα από τις ακόλουθες δύο δηλώσεις: Wine rdfs:subclassof Beverage. Merlot rdf:type Wine. Μία μηχανή με χρήση του κατάλληλου reasoning αλγόριθμου μπορεί να συμπεράνει τη γνώση ότι το Merlot είναι επίσης τύπου Beverage. Το κατηγόρημα rdfs:subclassof είναι ένα από τα κατηγορήματα που ορίζονται από το RDFS, με τα οποία θα ασχοληθούμε λεπτομερέστερα στη συνέχεια της εργασίας. Αυτό που αξίζει να αναφερθεί εδώ είναι ότι αυτά τα κατηγορήματα δεν είναι δεσμευμένα από κάποιο συγκεκριμένο πεδίο εφαρμογής και έτσι τα δεδομένα αυτά μπορούν να χρησιμοποιηθούν από οποιαδήποτε εφαρμογή επεξεργάζεται πληροφορία RDF. Αυτή η ιδιότητα έχει μεγάλη σημασία για την επιθυμητή διαλειτουργικότητα στο Σημασιολογικό Ιστό OWL Όπως είδαμε προηγουμένως, με τη χρήση του RDFS μπορούν να οριστούν σχέσεις ιεραρχίας ανάμεσα σε κλάσεις και ιδιότητες, καθώς και τα πεδία ορισμού και τιμών αυτών των ιδιοτήτων. Η ανάγκη για περιγραφή περιπλοκότερων οντολογιών οδήγηση στην δημιουργία της OWL (Web Ontology Language), η οποία είναι επίσης πρότυπο του W3C [10]. Δεν πρόκειται για μία γλώσσα, αλλά για μία οικογένεια γλωσσών, η κάθε μία από τις οποίες έχει διαφορετικό επίπεδο εκφραστικότητας. Οι γλώσσες αυτές σε σειρά αύξουσας εκφραστικότητας είναι οι OWL Lite, OWL DL και η OWL Full. Η OWL Lite είναι υποσύνολο της OWL DL, η οποία είναι με τη σειρά της υποσύνολο της OWL Full. Ο λόγος που δε χρησιμοποιείται πάντα η OWL Full είναι ότι δεν 17

26 υπάρχει επαρκής υπολογιστικά αλγόριθμος για reasoning σε τέτοια δεδομένα, αφού πρόκειται για μη αποφασίσιμο πρόβλημα. Η κύρια διαφορά ανάμεσα στην OWL και το RDFS είναι η υπεροχή της OWL στην εκφραστικότητα και, κατά συνέπεια, τη δυνατότητα περιγραφής του πεδίου προβλήματος, κάτι που έχει ως συνέπεια τη δύσκολη υλοποίηση επαρκούς υπολογιστικά reasoning Συλλογισμός σε Δεδομένα RDF Ως συλλογισμό στο Σημασιολογικό Ιστό ορίζουμε την εφαρμογή των τυπικών κανόνων του RDFS, της OWL ή και άλλων κανόνων, ορισμένων από το χρήστη, με σκοπό τη διεξαγωγή λογικών συμπερασμάτων για οντολογίες και άτομα, μετατρέποντας την έμμεση γνώση σε άμεση. Ο συλλογισμός μπορεί να είναι προς τα εμπρός ή ανάστροφος. Στην περίπτωση της προς τα εμπρός συλλογιστικής η επεξεργασία γίνεται με βάση τα δεδομένα εισόδου και τους ισχύοντες κανόνες ώστε να παραχθούν όλα τα πιθανά συμπεράσματα. Στην περίπτωση της ανάστροφης συλλογιστικής συνήθως συνδυάζεται ο συλλογισμός με την αναζήτηση έτσι ώστε όταν γίνεται μια ερώτηση στο σύστημα ενεργοποιούνται οι κανόνες που οδηγούν στο επιθυμητό αποτέλεσμα σε αντίστροφη σειρά, ανακτώντας τελικά την πληροφορία. Στην εργασία αυτή θα μας απασχολήσει η προς τα εμπρός συλλογιστική για συλλογισμό σε δεδομένα RDF και RDFS. Όπως φάνηκε στην παράγραφο η μοναδική σημασία που έχουν οι δηλώσεις του RDFS (μονοσήμαντες) προσφέρει την ευκαιρία για συλλογισμό (reasoning) νέας γνώσης από ήδη υπάρχουσα. Οι τυπικοί κανόνες για συλλογισμό σε οντολογίες RDFS (RDFS Entailment Rules) είναι προτυποποιημένοι από το W3C [11]. Για λόγους πληρότητας, και αφού θα μας απασχολήσουν σε μεγάλο βαθμό στη συνέχεια της εργασίας, παρατίθενται στον πίνακα [1]. Αυτοί οι κανόνες μπορούν να εφαρμοστούν σε οποιαδήποτε δεδομένα τα οποία ακολουθούν κάποια οντολογία εκφρασμένη σε RDFS έτσι ώστε να παραχθεί ένα μεγάλο μέρος της έμμεσης γνώσης (αυτού που αφορά στο σχήμα της οντολογίας) που κρύβεται μέσα σε αυτά. Φυσικά, για κάθε πεδίο ο χρήστης μπορεί να δημιουργήσει κανόνες που αφορούν συγκεκριμένα αυτό και να τους εφαρμόσει στα δεδομένα του για να εξάγει τη σχετική έμμεση γνώση SPARQL Η SPARQL είναι επίσης προτυποποιημένη από το W3C [12]. Πρόκειται για μία γλώσσα επερωτήσεων (query language) σε δεδομένα RDF. Η SPARQL μπορεί να χρησιμοποιηθεί για να εκφράσει ερωτήματα σε διάφορες αποθήκες δεδομένων, είτε ευθέως σε δεδομένα που είναι αποθηκευμένα ως RDF, είτε μέσω ενδιάμεσου λογισμικού (middleware). Η SPARQL δίνει τη δυνατότητα σε ένα ερώτημα να συνδυάζει triple patterns, ενώσεις, τομές, καθώς και άλλα 18

27 εναλλακτικά patterns. Η απάντηση σε ένα ερώτημα SPARQL είναι ένας γράφος RDF. Ένα απλό φανταστικό παράδειγμα ερωτήματος SPARQL, όπου ζητούνται τα ονόματα και τα των φοιτητών που εισήχθησαν στο ΟΠΑ το έτος 2011 θα μπορούσε να είναι: SELECT?name? WHERE {?person isa Student.?person belongstouniversity ΟΠΑ.?person entryyear 2011.?person hasname?name.?person has ? . } Rule Name if input data contains: then add: uuu aaa lll. _:nnn rdf:type rdfs:literal. where lll is a plain literal (with or without a language tag). where _:nnn identifies a blank node allocated to lll by rule rule lg. rdfs2 aaa rdfs:domain xxx. uuu aaa yyy. uuu rdf:type xxx. rdfs3 aaa rdfs:range xxx. uuu aaa vvv. vvv rdf:type xxx. rdfs4a uuu aaa xxx. uuu rdf:type rdfs:resource. rdfs4b uuu aaa vvv. vvv rdf:type rdfs:resource. rdfs5 uuu rdfs:subpropertyof vvv. vvv rdfs:subpropertyof xxx. uuu rdfs:subpropertyof xxx. rdfs6 uuu rdf:type rdf:property. uuu rdfs:subpropertyof uuu. rdfs7 aaa rdfs:subpropertyof bbb. uuu aaa yyy. uuu bbb yyy. rdfs8 uuu rdf:type rdfs:class. uuu rdfs:subclassof rdfs:resource. rdfs9 uuu rdfs:subclassof xxx. vvv rdf:type uuu. vvv rdf:type xxx. rdfs10 uuu rdf:type rdfs:class. uuu rdfs:subclassof uuu. rdfs11 uuu rdfs:subclassof vvv. vvv rdfs:subclassof xxx. uuu rdfs:subclassof xxx. rdfs12 uuu rdf:type rdfs:containermembershipproperty. uuu rdfs:subpropertyof rdfs:member. rdfs13 uuu rdf:type rdfs:datatype. uuu rdfs:subclassof rdfs:literal. rdfs1 Πίνακας 1: RDFS Entailment Rules 19

28 2.2. Υπολογιστική Νοημοσύνη Αρχικός στόχος είναι να οριστεί η υπολογιστική νοημοσύνη. Μέσω μελέτης της σχετικής βιβλιογραφίας θα γίνει απόπειρα να οριοθετηθεί το επιστημονικό πεδίο της υπολογιστικής νοημοσύνης, καθώς και να γίνει διάκριση αυτού από το συγγενές πεδίο της τεχνητής νοημοσύνης αλλά και σύνδεσή του με άλλους κλάδους της επιστήμης υπολογιστών. Μέσα από τη μελέτη των Eberhart και Shi στο [13] παραθέτουμε τον εξής ορισμό του Fogel για τη νοημοσύνη: Νοημοσύνη είναι η ικανότητα ενός συστήματος να προσαρμόζει τη συμπεριφορά του ώστε να επιτυγχάνει τους στόχους του σε ποικίλα περιβάλλοντα. Είναι μία ιδιότητα που παρουσιάζουν όλοι οι οδηγούμενοι από αίτια λήπτες αποφάσεων. Συνεχίζουν με έναν αντίστοιχο ορισμό για την υπολογιστική νοημοσύνη: Υπολογιστική νοημοσύνη είναι μία μεθοδολογία η οποία εμπλέκει χρήση υπολογιστών και παρέχει ένα σύστημα ικανό να μάθει ή/και να αντιμετωπίσει νέες καταστάσεις, με τέτοιο τρόπο που να το αντιλαμβανόμαστε ως κάτοχο μίας ή περισσότερων ιδιοτήτων λογικής, όπως η γενίκευση, η ανακάλυψη, η συσχέτιση και η αφαίρεση. Καταλήγουν ότι τα συστήματα υπολογιστικής νοημοσύνης συνήθως περιλαμβάνουν υβρίδια παραδειγμάτων όπως τα τεχνητά νευρωνικά δίκτυα, τα ασαφή συστήματα και τα εξελικτικά υπολογιστικά συστήματα προσαυξημένα με στοιχεία γνώσης, καθώς και ότι συχνά είναι σχεδιασμένα έτσι ώστε να μιμούνται μία ή περισσότερες πτυχές της βιολογικής νοημοσύνης. Ο Konar [14] κάνει μία ανασκόπηση των απόψεων των θεμελιωτών του πεδίου της υπολογιστικής νοημοσύνης. Αναφέρει τον ορισμό του Bezdek, έναν από τους πρωτοπόρους του χώρου, για ένα σύστημα υπολογιστικής νοημοσύνης: Ένα σύστημα είναι υπολογιστικά νοήμον όταν: έχει να κάνει μόνο με αριθμητικά (χαμηλού επιπέδου) δεδομένα, έχει τμήματα αναγνώρισης προτύπων και δεν χρησιμοποιεί τη γνώση όπως γίνεται στα συστήματα τεχνητής νοημοσύνης. Επιπλέον, όταν παρουσιάζει: i) υπολογιστική προσαρμοστικότητα, ii) ανοχή σε υπολογιστικά σφάλματα, iii) ταχύτητα η οποία προσεγγίζει την ανθρώπινη ευστροφία και iv) ρυθμό σφάλματος που προσεγγίζει την ανθρώπινη απόδοση. Σύμφωνα με τον ορισμό, μέθοδοι όπως τα τεχνητά νευρωνικά δίκτυα, η ασαφής λογική και οι γενετικοί αλγόριθμοι, οι οποίες χρησιμοποιούν αριθμητικά δεδομένα, υπάγονται στην εργαλειοθήκη της υπολογιστικής νοημοσύνης. Αναφέρεται επίσης στον ορισμό της υπολογιστικής νοημοσύνης από τον Marks:... νευρωνικά δίκτυα, γενετικοί αλγόριθμοι, ασαφή συστήματα, εξελικτικός προγραμματισμός και τεχνητή ζωή είναι οι θεμέλιοι λίθοι της υπολογιστικής νοημοσύνης, αναδεικνύοντας έτσι μία συμφωνία ανάμεσα στους ερευνητές όσον αφορά τις βασικές μεθόδους που υπάγονται στην υπολογιστική νοημοσύνη. Ο Konar προσπαθώντας να συνδυάσει αυτούς τους ορισμούς για την υπολογιστική νοημοσύνη, προσθέτει την άποψή του και 20

29 καταλήγει στον εξής ορισμό: Υπολογιστική νοημοσύνη είναι τα υπολογιστικά μοντέλα και εργαλεία νοημοσύνης, τα οποία είναι ικανά όταν έχουν ως είσοδο αριθμητικά δεδομένα, να τα επεξεργάζονται εκμεταλλευόμενα τον παραλληλισμό και την αγωγιμότητα του προβλήματος, ώστε να παράγουν αξιόπιστα και γρήγορα αποτελέσματα παρουσιάζοντας υψηλή ανοχή σε σφάλματα. Ο Engelbrecht [15] υποστηρίζει ότι η υπολογιστική νοημοσύνη είναι ένας κλάδος της τεχνητής νοημοσύνης ο οποίος αφορά τη μελέτη προσαρμοστικών μηχανισμών οι οποίοι κάνουν δυνατή την ευφυή συμπεριφορά σε περίπλοκα και δυναμικά περιβάλλοντα. Αυτοί οι μηχανισμοί, καταλήγει, περιλαμβάνουν τα παραδείγματα τεχνητής νοημοσύνης τα οποία παρουσιάζουν την ικανότητα μάθησης ή προσαρμογής σε νέες καταστάσεις, καθώς και τις ικανότητες γενίκευσης, αφαίρεσης, ανακάλυψης και συσχέτισης. Ως τα πέντε βασικά παραδείγματα υπολογιστικής νοημοσύνης θεωρεί τα τεχνητά νευρωνικά δίκτυα, τη εξελικτική υπολογιστική, τη νοημοσύνη σμήνους, τα τεχνητά ανοσοποιητικά συστήματα και τα ασαφή συστήματα. Μία πρόσφατη ανασκόπηση των αποπειρών ορισμού της υπολογιστικής νοημοσύνης γίνεται από τον Chai [16], ο οποίος επισημαίνει ότι πολλοί ερευνητές, με βάση τις απόψεις τους Zadeh, ταυτίζουν την υπολογιστική νοημοσύνη με το Soft Computing. Έτσι, μπορούμε να δούμε σε αυτή χαρακτηριστικά όπως είναι η ανοχή στην ανακρίβεια και την αβεβαιότητα, καθώς και η αποδοχή της μερικής αλήθειας. Το βασικό μοντέλο είναι το ανθρώπινο μυαλό. Έτσι επιτυγχάνεται επιλογή λύσης σε περιπτώσεις αβεβαιότητας ή και χαμηλό κόστος εύρεσης κάποιας λύσης χωρίς αυτή να είναι απαραίτητα η βέλτιστη. Βασικά συστατικά του Soft Computing που κληρονομούνται από την υπολογιστική νοημοσύνη είναι η ασαφής λογική, η θεωρία νευρωνικών δικτύων και ο πιθανοτικός συλλογισμός, ο οποίος περιλαμβάνει τα δίκτυα πίστης, τους γενετικούς αλγόριθμους, τη θεωρία του χάους και μέρη της θεωρίας μάθησης. Πολύ σωστά επισημαίνεται ότι οι μέθοδοι αυτές σε καμία περίπτωση δεν είναι ανταγωνιστικές, αλλά η κάθε μία αφορά συγκεκριμένους τύπους προβλημάτων και όταν είναι απαραίτητο χρησιμοποιούνται συνδυαστικά. Ο Chai αναφέρεται και στις απόψεις του Duch, οι οποίες παρουσιάζουν μεγάλο ενδιαφέρον. Ο Duch [17] υποστηρίζει ότι οι διάφοροι επιστημονικοί κλάδοι δε γίνεται να οριστούν εκ των προτέρων αλλά ορίζονται σταδιακά μέσα από τη διαδικασία ανάπτυξής τους η οποία έχει να κάνει με την ομαδοποίηση κοινών ενδιαφερόντων της επιστημονικής και ερευνητικής κοινότητας. Ο Duch, αφού κάνει μία ανασκόπηση του πώς διάφορα περιοδικά και βιβλία του χώρου ορίζουν την υπολογιστική νοημοσύνη, τελικά αναδεικνύει μία σχετική σύγχυση που επικρατεί όσον αφορά ένα κοινά αποδεκτό ορισμό του πεδίου. Φαίνεται να υπάρχει μία τάση να ακολουθείται ο ορισμός της IEEE Computational Intelligence Society, η οποία ορίζει ως τους κλάδους που αποτελούν το πεδίο 21

30 της υπολογιστικής νοημοσύνης τα νευρωνικά δίκτυα, τα ασαφή συστήματα και την εξελικτική υπολογιστική. Όμως ο Duch επιμένει ότι ο ορισμός της υπολογιστικής νοημοσύνης πρέπει να αποδεσμευτεί από τα εργαλεία και τις μεθόδους που χρησιμοποιούνται και, αντί αυτού, να σχετίζεται με το σκοπό, τα προβλήματα δηλαδή που προσπαθούμε να επιλύσουμε. Έτσι καταλήγει σε ένα αρκετά γενικό ορισμό: Υπολογιστική νοημοσύνη είναι ο κλάδος της επιστήμης υπολογιστών ο οποίος μελετά προβλήματα για τη λύση των οποίων δεν υπάρχει υπολογιστικά αποδοτικός αλγόριθμος. Με αυτό τον τρόπο στην εργαλειοθήκη των ερευνητών του χώρου μπορούν να συμπεριληφθούν και άλλα εργαλεία όπως είναι για παράδειγμα η εξόρυξη δεδομένων, οι ευφυείς πράκτορες, η μηχανική μάθηση ή η αναγνώριση προτύπων. Όλα τα προαναφερόμενα όμως εύκολα θα φέρουν στο μυαλό του αναγνώστη την τεχνητή νοημοσύνη, Ποια είναι λοιπόν η διαφορά της υπολογιστικής από την τεχνητή νοημοσύνη; Μία πρώτη απόπειρα διαχωρισμού γίνεται από τον Bezdek [18], ο οποίος διαχωρίζει τη νοημοσύνη σε τεχνητή, βιολογική, και υπολογιστική. Υποστηρίζει ότι το χαρακτηριστικό της υπολογιστικής νοημοσύνης είναι η εξάρτησή της από αριθμητικά δεδομένα σε αντίθεση με την τεχνητή νοημοσύνη η οποία βασίζεται σε γνώση ή, όπως τα αποκαλεί, knowledge tidbits (μεζεδάκια γνώσης). Συνοψίζοντας, και συμφωνώντας με τον Duch, το συμπέρασμα στο οποίο καταλήγουμε είναι ότι η υπολογιστική νοημοσύνη ασχολείται με την εύρεση υπολογιστικών λύσεων για προβλήματα τα οποία παραδοσιακά μπορούν να λυθούν μόνο από ανθρώπους και ζωντανούς οργανισμούς, προβλήματα η λύση των οποίων απαιτεί νοημοσύνη. Επίσης, συμφωνούμε σε αυτό που φαίνεται να είναι ευρύτερα αποδεκτό από την επιστημονική κοινότητα: O κλάδος της υπολογιστικής νοημοσύνης ασχολείται με τις χαμηλού επιπέδου γνωστικές λειτουργίες: αντίληψη, αναγνώριση αντικειμένων, ανάλυση σήματος, αναγνώριση δομών σε δεδομένα, απλές συσχετίσεις και έλεγχο, ενώ η έρευνα που αφορά τις υψηλότερου επιπέδου γνωστικές λειτουργίες - όπως είναι η συστηματική σκέψη, η κατανόηση συμβολικής γνώσης, ο συμπερασμός ή ο σχεδιασμός - εντάσσεται στον κλάδο της τεχνητής νοημοσύνης. Στη συνέχεια θα παρουσιαστούν οι βασικές κατηγορίες μεθόδων υπολογιστικής νοημοσύνης, αυτές που είναι κοινά αποδεκτές ως τέτοιες από την επιστημονική και ερευνητική κοινότητα: τα Τεχνητά Νευρωνικά Δίκτυα, η Εξελικτική Υπολογιστική και τα Ασαφή Συστήματα. 22

31 2.3. Μέθοδοι Υπολογιστικής Νοημοσύνης Τεχνητά Νευρωνικά Δίκτυα Η συγγραφή του παρόντος κεφαλαίου βασίστηκε κυρίως στη μελέτη των [15] και [19]. Αντικείμενο της περιοχής των τεχνητών νευρωνικών δικτύων είναι τα προβλήματα που μπορούν να λυθούν χρησιμοποιώντας υπολογιστικά μοντέλα, η κατασκευή των οποίων βασίστηκε σε ανακαλύψεις στο πεδίο της νευροεπιστήμης όπου διατυπώθηκαν απλουστευμένα μαθηματικά μοντέλα τα οποία περιγράφουν τον τρόπο λειτουργίας του ανθρώπινου εγκεφάλου. Αυτό το βιολογικό ανάλογο στο οποίο βασίζονται τα ΤΝΔ είναι: Ο εγκέφαλος αποτελείται από ένα τεράστιο αριθμό διασυνδεδεμένων νευρώνων. Κάθε νευρώνας δέχεται ερεθίσματα από άλλα κύτταρα μέσω συνδέσεων, τα οποία επηρεάζουν την κατάστασή του. Στη συνέχεια, ανάλογα με την κατάσταση που βρίσκεται, στέλνει ερεθίσματα για να επηρεάσει με τη σειρά του την κατάσταση άλλων νευρώνων. Κάθε σύνδεση μεταξύ δύο νευρώνων χαρακτηρίζεται από μία τιμή ισχύος η οποία δηλώνει πόσο ισχυρή είναι η μεταξύ τους αλληλεπίδραση. Εικόνα 3: Τεχνητός Νευρώνας Με βάση τα παραπάνω και σε αντιστοιχία με αυτά ο ορισμός ενός τεχνητού νευρωνικού δικτύου όπως δίνεται από το Λύκα [19] είναι: Τεχνητό Νευρωνικό Δίκτυο (ΤΝΔ): Μία αρχιτεκτονική δομή (δίκτυο) αποτελούμενη από ένα πλήθος διασυνδεδεμένων μονάδων επεξεργασίας (τεχνητοί νευρώνες). Κάθε μονάδα επεξεργασίας χαρακτηρίζεται από εισόδους και εξόδους. Υλοποιεί τοπικά έναν απλό υπολογισμό με βάση τις εισόδους που δέχεται και μεταδίδει το αποτέλεσμα (έξοδος) σε άλλες μονάδες επεξεργασίας με τις οποίες συνδέεται. Κάθε σύνδεση μεταξύ δύο μονάδων χαρακτηρίζεται από μία τιμή βάρους. Οι τιμές των βαρών των συνδέσεων αποτελούν τη γνώση που 23

32 είναι αποθηκευμένη στο ΤΝΔ και καθορίζουν τη λειτουργικότητά του. Συνήθως ένα ΤΝΔ αναπτύσσει μια συνολική λειτουργικότητα μέσω μιας μορφής εκπαίδευσης (μάθησης). Ένα τεχνητό νευρωνικό δίκτυο είναι δηλαδή μία συνάρτηση από το ℝ I στο ℝ K, δηλαδή: f NN :ℝ I ℝ K όπου το I και το K είναι αντίστοιχα η διάσταση των χώρων εισόδου και εξόδου. Η συνάρτηση f NN είναι συνήθως μία σύνθετη συνάρτηση αποτελούμενη από ένα σύνολο συναρτήσεων, μία για κάθε νευρώνα του δικτύου. Έτσι, κάθε μονάδα υλοποιεί μία συνάρτηση τοπικά και ολόκληρο το δίκτυο υλοποιεί μια συγκεκριμένη λειτουργία, η οποία καθορίζεται από την εκάστοτε εφαρμογή. Ο καθορισμός των παραμέτρων του δικτύου, οι οποίες είναι οι τιμές των βαρών των συνδέσεων, επιτυγχάνεται μέσω της διαδικασίας εκπαίδευσης. Η εκπαίδευση ενός ΤΝΔ είναι ένα αντίστροφο πρόβλημα: δίνεται ένα σύνολο από ζεύγη τιμών μιας άγνωστης συνάρτησης και μέσω της διαδικασίας εκπαίδευσης πρέπει να καθοριστούν οι τιμές των βαρών του ΤΝΔ που υλοποιεί τη συγκεκριμένη άγνωστη συνάρτηση. Εικόνα 4: Τεχνητό Νευρωνικό Δίκτυο Ποιες είναι όμως οι δυνατότητες που προσφέρει η χρήση των τεχνητών νευρωνικών δικτύων; Τα ΤΝΔ έχουν τις ακόλουθες δυνατότητες: μάθηση με χρήση παραδειγμάτων, ικανότητα γενίκευσης, μάθηση κατά τη λειτουργία, αυτοοργάνωση των εμπειριών και κατανεμημένη αποθήκευση της γνώσης στις τιμές των βαρών των συνδέσεων. Όλες αυτές οι δυνατότητες αποτελούν χαρακτηριστικά και του ανθρώπινου εγκεφάλου. Έτσι, καταλήγουμε στο ότι τα ΤΝΔ είναι τεχνητά συστήματα μάθησης τα οποία εκπαιδεύονται από δεδομένα (παραδείγματα) για να μάθουν να υλοποιούν κάποια συγκεκριμένη λειτουργία. Ανάλογα 24

33 με τον τρόπο εκπαίδευσης του ΤΝΔ διακρίνονται οι ακόλουθες τρεις κατηγορίες: Μάθηση με επίβλεψη: τα στοιχεία του συνόλου των παραδειγμάτων είναι ζεύγη της μορφής (είσοδος, επιθυμητή έξοδος). Το σύστημα υλοποιεί συσχετίσεις εισόδου-εξόδου και επιθυμούμε να εκπαιδευτεί ώστε με συγκεκριμένη είσοδο να παρέχει στην έξοδο την αντίστοιχη τιμή. Πρόκειται για μία επαναληπτική διαδικασία κατά την οποία το σύστημα προσαρμόζει τις τιμές των βαρών των συνδέσεων ώστε στην επόμενη επανάληψη να διορθώσει τα λάθη του. Στα προβλήματα μάθησης με επίβλεψη ανήκουν τα προβλήματα της ταξινόμησης και τα προβλήματα συναρτησιακής προσέγγισης. Μάθηση χωρίς επίβλεψη: τα δεδομένα εκπαίδευσης δεν περιλαμβάνουν την επιθυμητή έξοδο αλλά μόνο τα δεδομένα εισόδου. Σκοπός δεν είναι η εύρεση της απεικόνισης εισόδου-εξόδου, αλλά η ανακάλυψη κάποιων βασικών δομικών ιδιοτήτων του συνόλου εκπαίδευσης, όπως είναι για παράδειγμα η εύρεση ομάδων. Στην κατηγορία αυτή ανήκουν τα προβλήματα ομαδοποίησης, εκτίμησης πυκνότητας πιθανότητας και μείωσης της διάστασης των δεδομένων. Μάθηση με ενίσχυση: πρόκειται για παραλλαγή της μάθησης με επίβλεψη, όπου δεν παρέχεται στο σύστημα η επιθυμητή έξοδος για κάθε είσοδο, αλλά μόνο μία τιμή που ονομάζεται σήμα ενίσχυσης η οποία δηλώνει αν το σύστημα παρείχε σωστή ή λάθος απόκριση Εξελικτική Υπολογιστική Η εξέλιξη είναι μία διαδικασία βελτιστοποίησης όπου σκοπός είναι η βελτίωση της ικανότητας επιβίωσης ενός οργανισμού ή συστήματος μέσα σε δυναμικά και ανταγωνιστικά περιβάλλοντα. Βασικότεροι εκπρόσωποι της εξελικτικής υπολογιστικής είναι οι γενετικοί αλγόριθμοι, όμως υπάρχει μεγάλο ενδιαφέρον και για άλλους κλάδους όπως η νοημοσύνη σμήνους και τα τεχνητά ανοσοποιητικά συστήματα. Βασισμένοι κυρίως στη μελέτη του [15] και [20] στη συνέχεια κάνουμε μία σύντομη παρουσίαση για κάθε ένα από τα προαναφερθέντα τρία πεδία. Γενετικοί Αλγόριθμοι Η θεωρία του Δαρβίνου για την εξέλιξη μπορεί να παρουσιαστεί συνοπτικά ως εξής: Σε ένα κόσμο με περιορισμένους πόρους και σταθερό πληθυσμό κάθε άτομο ανταγωνίζεται με τα υπόλοιπα με σκοπό την επιβίωση. Τα άτομα με τα καλύτερα χαρακτηριστικά έχουν περισσότερες πιθανότητες να επιβιώσουν και να αναπαραχθούν, κληροδοτώντας αυτά τα χαρακτηριστικά στους απογόνους τους. Αυτά τα επιθυμητά χαρακτηριστικά κληρονομούνται από τις ακόλουθες γενιές και με την πάροδο του χρόνου γίνονται κυρίαρχα χαρακτηριστικά του πληθυσμού. Επίσης κατά την παραγωγή ενός 25

34 νέου οργανισμού διάφορα τυχαία γεγονότα προκαλούν τυχαίες αλλαγές στα χαρακτηριστικά του. Αν αυτές είναι θετικές τότε οι πιθανότητες για επιβίωση του οργανισμού αυτού αυξάνονται. Οι γενετικοί αλγόριθμοι αναφέρονται σε υπολογιστικά συστήματα τα οποία, για την επίλυση προβλημάτων, χρησιμοποιούν μοντέλα της εξελικτικής διαδικασίας, όπως είναι η φυσική επιλογή, η επιβίωση των ικανότερων, η αναπαραγωγή και η μετάλλαξη. Στη συνέχεια παρουσιάζεται η δομή ενός γενικού εξελικτικού αλγόριθμου και ακολουθεί περιγραφή της. Δομή Γενικού Εξελικτικού Αλγόριθμου 1. Αρχικοποίηση 2. Υπολογισμός ικανότητας ή αξιολόγηση 3. Αναπαραγωγή (Επιλογή, Διασταύρωση, Μετάλλαξη) 4. Επανάληψη από το βήμα 2 μέχρι να ικανοποιηθεί η συνθήκη τερματισμού του ΓΑ Η αρχικοποίηση είναι το βήμα στο οποίο ορίζεται ο αρχικός πληθυσμός πάνω στον οποίο θα λάβουν χώρα οι λειτουργίες του ΓΑ. Ο πληθυσμός αποτελείται από τυχαία επιλεγμένα άτομα από το χώρο των πιθανών λύσεων του προβλήματος. Αυτά τα άτομα είναι που θα εξελιχθούν ώστε να βρεθεί η λύση του προβλήματος μετά από κάποιο αριθμό γενεών. Κάθε άτομο αξιολογείται με τη χρήση μίας συνάρτησης αξιολόγησης, η εύρεση της οποίας αποτελεί το βασικό συστατικό για έναν επιτυχή γενετικό αλγόριθμο. Στη συνέχεια δημιουργείται η επόμενη γενιά μέσω των διαδικασιών της επιλογής, όπου τα καλύτερα άτομα του πληθυσμού περνάνε στην επόμενη γενιά, της διασταύρωσης, όπου δημιουργούνται νέα άτομα συνδυάζοντας δύο ή περισσότερα από τα ήδη υπάρχοντα, και τέλος της μετάλλαξης, όπου νέα άτομα δημιουργούνται με τυχαία αλλαγή σε κάποιο χαρακτηριστικό των υφιστάμενων ατόμων. Όλη αυτή η διαδικασία επαναλαμβάνεται έως ότου να ικανοποιηθεί κάποια, ορισμένη από το χρήστη, συνθήκη τερματισμού. Αυτή, για παράδειγμα, μπορεί να είναι ένας συγκεκριμένος αριθμός από γενιές. Νοημοσύνη Σμήνους Στη μέθοδο της νοημοσύνης σμήνους ως σμήνος ορίζουμε μία ομάδα από πράκτορες οι οποίοι επικοινωνούν μεταξύ τους ενώ παράλληλα κάθε ένας από αυτούς δρα στο τοπικό του περιβάλλον. Οι αλληλεπιδράσεις μεταξύ τους έχουν ως αποτέλεσμα κατανεμημένες, αλλά συλλογικές στρατηγικές για την επίλυση προβλημάτων. Τα υπολογιστικά μοντέλα νοημοσύνης σμήνους έχουν βασιστεί στον τρόπο λειτουργίας κοινωνικών ζώων και εντόμων όπως τα μυρμήγκια, οι μέλισσες, τα κοπάδια ψαριών και τα σμήνη πουλιών. Σε αυτές τις ομάδες ενώ τα άτομα λειτουργούν με σχετικά απλό τρόπο, η συλλογική τους συμπεριφορά συνήθως είναι αρκετά περίπλοκη. Αυτή η συμπεριφορά δεν είναι ιδιότητα των ατόμων, και μάλιστα δεν είναι εύκολο να προβλεφθεί από τις 26

35 απλές συμπεριφορές των ατόμων. Αυτό το φαινόμενο είναι γνωστό ως εμφάνιση (emergence). Πιο τυπικά ως εμφάνιση ορίζεται η διαδικασία της παραγωγής νέων και συνεκτικών δομών, προτύπων και ιδιοτήτων σε ένα περίπλοκο σύστημα. Η εμφάνιση συμβαίνει χωρίς να υπάρχει κάποιο κεντρικό σύστημα συντονισμού, αλλά από τις αλληλεπιδράσεις των ατόμων στο τοπικό τους σύστημα. Η αλληλεπίδραση και η συνεργασία είναι οι πλέον βασικές έννοιες της νοημοσύνης σμήνους. Παραδείγματα νοημοσύνης σμήνους από τη φύση είναι ο δυναμικός διαμοιρασμός εργασιών σε μία αποικία μυρμηγκιών και η επικοινωνία των βακτηρίων μέσω μορίων με σκοπό τη συλλογική καταγραφή των αλλαγών στο περιβάλλον τους. Το αντικείμενο της υπολογιστικής νοημοσύνης σμήνους είναι η μοντελοποίηση των απλών συμπεριφορών ατόμων, καθώς και των αλληλεπιδράσεών τους με το περιβάλλον ή άλλα γειτονικά άτομα, με σκοπό την εμφάνιση πιο περίπλοκων συμπεριφορών που μπορούν να χρησιμοποιηθούν για να λύσουν σύνθετα προβλήματα, τα οποία είναι κυρίως προβλήματα βελτιστοποίησης. Έτσι, για παράδειγμα η βελτιστοποίηση σμήνους σωματιδίων (particle swarm optimization - PSO) μοντελοποιεί δύο απλές συμπεριφορές των σωματιδίων, την κίνηση προς τον κοντινότερο καλύτερο γείτονα και την επιστροφή στη βέλτιστη κατάσταση που έχει βιώσει έως μία συγκεκριμένη χρονική στιγμή. Ως αποτέλεσμα εμφανίζεται μία συλλογική συμπεριφορά όπου το σύνολο των ατόμων συγκλίνει στην περιβαλλοντική κατάσταση που είναι βέλτιστη για όλα τα άτομα. Τεχνητά Ανοσοποιητικά Συστήματα Ένα τεχνητό ανοσοποιητικό σύστημα μοντελοποιεί την ικανότητα του φυσικού ανοσοποιητικού συστήματος να ανιχνεύει κύτταρα ξένα ως προς το σώμα. Το αποτέλεσμα είναι ένα υπολογιστικό παράδειγμα με εξαιρετικά ισχυρές ικανότητες αναγνώρισης μοτίβων, το οποίο βρίσκει κυρίως εφαρμογή στην ανίχνευση ανωμαλιών. Το ανοσοποιητικό σύστημα του σώματος αντιδρά σε ένα ξένο σώμα ή παθογονικό υλικό, αλλιώς γνωστό και ως αντιγόνο. Κατά τη διάρκεια της αντίδρασης το ανοσοποιητικό σύστημα προσαρμόζεται ώστε να ανιχνεύει καλύτερα το αντιγόνο και ταυτόχρονα χτίζει μία μνήμη από αντιγόνα που αντιμετωπίζει συχνά. Η μνήμη αυτή επιταχύνει και βελτιώνει την αντίδραση του ανοσοποιητικού συστήματος σε μελλοντικές εκθέσεις στο ίδιο αντιγόνο. Οι αμυντικές αντιδράσεις του ανοσοποιητικού συστήματος εμπίπτουν σε τρεις κατηγορίες: μη συγκεκριμένες, κληροδοτημένες και συγκεκριμένες. Υπάρχουν διάφορες θεωρίες για τον τρόπο λειτουργίας του ανοσοποιητικού συστήματος, όπως είναι η κλασική θεώρηση, η θεωρία επιλογής κλώνου, η θεωρία δικτύων και η θεωρία κινδύνου. Στις διάφορες θεωρίες για τη λειτουργία του ανοσοποιητικού συστήματος έχουν βασιστεί αντίστοιχα υπολογιστικά μοντέλα. 27

36 Ασαφή Συστήματα Βάση για την κατασκευή των ασαφών συστημάτων αποτελούν τα ασαφή σύνολα και η ασαφής λογική που παρουσιάζονται σε βάθος στα σχετικά κεφάλαια των [14] και [15]. Παραθέτουμε εδώ κάποια βασικά στοιχεία που προέρχονται από τη μελέτη αυτών. Η λογική Boolean είναι εξαιρετικά σημαντική για την υλοποίηση υπολογιστικών συστημάτων όπου η πληροφορία ή η γνώση για ένα πρόβλημα είναι δυαδικά κωδικοποιημένη. Είχε σημαντικό ρόλο για την ανάπτυξη των πρώτων συστημάτων συλλογισμού τεχνητής νοημοσύνης, ειδικά για τις μηχανές συμπερασμού των expert systems. Μεγάλη σχέση με τη λογική Boolean έχει και η παραδοσιακή δίτιμη θεωρία συνόλων, όπου ένα στοιχείο είτε ανήκει σε ένα σύνολο, είτε όχι. Και ενώ αρκετή πρόοδος παρουσιάστηκε με τη χρήση της δίτιμης λογικής και συνόλων, δεν είναι δυνατόν να λύσουμε όλα τα προβλήματα απεικονίζοντας το πεδίο ορισμού σε δίτιμες μεταβλητές. Η αντιμετώπιση των περισσοτέρων προβλημάτων στον πραγματικό κόσμο χαρακτηρίζεται από την ικανότητα της λογικής να επεξεργάζεται μερική, ανακριβή, ασαφή ή αβέβαια πληροφορία. Και ενώ η λογική Boolean και η θεωρία συνόλων αποτυγχάνουν σε τέτοια περιβάλλοντα, η ασαφής λογική (Fuzzy Logic) και τα ασαφή σύνολα (Fuzzy Sets) προσφέρουν τα απαραίτητα εργαλεία για το συλλογισμό με τέτοιου είδους πληροφορία. Ένα ασαφές σύνολο επεκτείνει τη δίτιμη ιδιότητα μέλους {0,1} ή αλλιώς {ψευδές, αληθές} ενός συμβατικού συνόλου στο εύρος του διαστήματος [0,1]. Έτσι όλα τα στοιχεία ενός καθολικού συνόλου U είναι μέλη ενός δοσμένου ασαφούς συνόλου Α, και για κάθε στοιχείο x U ισχύει ότι 0 μ Α (x) 1, όπου μ Α ( x ) είναι η τιμή της ιδιότητας μέλους του στοιχείου x στο Α. Η τιμή αυτή υπολογίζεται από τη συνάρτηση μέλους (membership function) μ Α : x [0,1], x X, όπου x είναι ένας πραγματικός αριθμός ο οποίος περιγράφει ένα αντικείμενο ή ιδιότητα αυτού, το X είναι το σύμπαν του πεδίου προβλήματος, και το Α είναι υποσύνολο του X. Η συνάρτηση μέλους είναι η ουσία των ασαφών συνόλων, αφού μία συνάρτηση μέλους ορίζει ένα ασαφές σύνολο. Οι συναρτήσεις μέλους κατασκευάζονται από τους ειδικούς του πεδίου προβλήματος που μοντελοποιείται, και μπορούν να είναι οποιασδήποτε μορφής ή τύπου αρκεί να ικανοποιούν τους περιορισμούς: Μία συνάρτηση μέλους πρέπει να είναι φραγμένη κάτω από το 0 και άνω από το 1. Έτσι, μία συνάρτηση μέλους πρέπει να έχει πεδίο τιμών το [0,1] Για κάθε x X, η τιμή μ Α ( x ) πρέπει να είναι μοναδική. Δηλαδή, κανένα στοιχείο δεν μπορεί να έχει διάφορες τιμές ιδιότητας μέλους για το ίδιο ασαφές σύνολο. 28

37 Παραδείγματα συναρτήσεων που χρησιμοποιούνται στην ασαφή λογική είναι οι triangular, trapezoidal, Γ-membership, S-membership, Logistic, Exponential-like και Gaussian, ενώ κάποιες από αυτές φαίνονται στις εικόνες [5], [6] και [7]. Για τα ασαφή σύνολα, σε αντιστοιχία με τα συμβατικά σύνολα, έχουν οριστεί σχέσεις και τελεστές, όπως η ισότητα, το συμπλήρωμα, η τομή και η ένωση. Πάνω στη θεωρία των ασαφών συνόλων βασίζεται η ασαφής λογική η οποία επιτρέπει στοιχειώδη συλλογισμό σχετικά με γεγονόταδηλώσεις. Για παράδειγμα, έστω τρία ασαφή σύνολα μόρφωση, εμπειρία και καταλληλότητα και ότι ισχύουν: μ μόρφωση ( Κώστας)=0.9, μ εμπειρία ( Κώστας)=0.6, μ μόρφωση (Ελένη)=0.7, μ εμπειρία (Ελένη)=0.7 Αν είναι γνωστό ότι ο κατάλληλος υποψήφιος για την πλήρωση μίας θέσης είναι αυτός που έχει την περισσότερη μόρφωση και εμπειρία, τότε ποιος είναι ο καταλληλότερος ανάμεσα στον Κώστα και την Ελένη; Χρησιμοποιώντας τον τελεστή της τομής θα έχουμε: μκαταλληλότητα ( Κώστας )=min (0.9, 0.6)=0.6 μ καταλληλότητα ( Ελένη)=min(0.7,0.7)=0.7 Έτσι, συμπεραίνουμε ότι η Ελένη είναι καταλληλότερη για τη θέση από τον Κώστα. Το παράδειγμα αυτό είναι πολύ απλοϊκό. Στα περισσότερα προβλήματα του πραγματικού κόσμου η έξοδος είναι μία συνάρτηση ενός αριθμού σύνθετων γεγονότων και οι λύσεις ορίζονται από ένα σύνολο ασαφών κανόνων αν...τότε... Περισσότερες λεπτομέρειες για τους τελεστές της ασαφούς λογικής δίνονται στο κεφάλαιο της εργασίας όπου ορίζεται η ασαφής επέκταση στο RDF για την κατασκευή του σχετικού συστήματος. Εικόνα 5: Τριγωνική Συνάρτηση Μέλους 29

38 Εικόνα 6: Τραπεζοειδής Συνάρτηση Μέλους Εικόνα 7: Gaussian Συνάρτηση Μέλους Παραδείγματα πετυχημένων εφαρμογών ασαφούς λογικής είναι ο αυτόματος έλεγχος πυλών σε υδροηλεκτρικά εργοστάσια, η εστίαση κάμερας και ο έλεγχος συστημάτων κλιματισμού. Επίσης, τα ασαφή σύνολα και η ασαφής λογική πολύ συχνά συνδυάστηκαν με άλλα παραδείγματα υπολογιστικής νοημοσύνης για να σχηματιστούν υβριδικά μοντέλα όπως για παράδειγμα τα ασαφή νευρωνικά δίκτυα (fuzzy neural networks) Μεγάλα Δεδομένα Με τον όρο Μεγάλα Δεδομένα (Big Data) εννοούνται τα σύνολα δεδομένων που είναι τόσο πολλά και περίπλοκα, σε σημείο να μην είναι εύκολα διαχειρίσιμα από τις παραδοσιακές βάσεις δεδομένων. Πολλές φορές τα δεδομένα αυτά δεν είναι δομημένα, ούτε καν ημιδομημένα, αλλά αδόμητα όπως για παράδειγμα αυτά που συλλέγονται με αυτόματο τρόπο από τον ιστό. Αποτελεί 30

39 ισχυρή πεποίθηση ότι η ικανότητα διαχείρισης των Μεγάλων Δεδομένων θα προσφέρει υψηλότατα οικονομικά οφέλη στα επόμενα χρόνια. Μεγάλες επενδύσεις στο συγκεκριμένο χώρο μπορούν να προσφέρουν όχι μόνο επιστημονική πρόοδο σε διάφορους τομείς, αλλά και να δώσουν τη βάση για την επόμενη γενιά εξελίξεων στην επιστήμη αλλά και στην επιχειρηματικότητα. Εικόνα 8: Τα 3 V των Big Data Τα σημασιολογικά δεδομένα, που μας ενδιαφέρουν και στο πλαίσιο της παρούσας εργασίας, υπάρχουν διαθέσιμα στον Ιστό και έχουν χαρακτηριστικά όπως μεγάλο όγκο και κατανομή σε πολλές τοποθεσίες και έτσι μπορούν να ενταχθούν στην κατηγορία των Μεγάλων Δεδομένων. Άλλωστε, αναμένεται ακόμα μεγαλύτερη αύξησή τους μέσα στα επόμενα χρόνια με την εντονότερη προσπάθεια για την πραγματοποίηση του σημασιολογικού ιστού. Η ανάγκη για τη διαχείριση και επεξεργασία των Μεγάλων Δεδομένων οδήγησε στην ανάπτυξη νέων πληροφοριακών και προγραμματιστικών μοντέλων, όπως είναι τα κατανεμημένα συστήματα αρχείων, οι NoSQL βάσεις δεδομένων ή το προγραμματιστικό παράδειγμα MapReduce που θα παρουσιαστεί στην επόμενη παράγραφο MapReduce και Apache Hadoop Όπως είδαμε και στην προηγούμενη παράγραφο, η εκθετική αύξηση του όγκου των δεδομένων δημιούργησε νέες προκλήσεις σε επιχειρήσεις ακμής όπως η Google, η Yahoo, η Amazon και η Microsoft. Υπήρχε η ανάγκη επεξεργασίας terabytes και petabytes δεδομένων ώστε να μπορούν, για παράδειγμα, να εντοπίζουν δημοφιλείς ιστοσελίδες, προϊόντα σε υψηλή ζήτηση ή τι είδους 31

40 διαφημίσεις είχαν μεγαλύτερη επιρροή στο κοινό. Τα υφιστάμενα εργαλεία έδειχναν ανεπαρκή στην επεξεργασία τόσο μεγάλων συνόλων δεδομένων. Η Google ήταν η πρώτη που δημοσιοποίησε το MapReduce [26], ένα σύστημα το οποίο χρησιμοποιούσε για να αντιμετωπίσει αυτή την κλιμάκωση των αναγκών επεξεργασίας δεδομένων. Αυτό το σύστημα προσέλκυσε το ενδιαφέρον πολλών επιχειρήσεων οι οποίες αντιμετώπιζαν παρόμοια προβλήματα και δεν είχαν τη δυνατότητα να ερευνήσουν και να δημιουργήσουν δικά τους αντίστοιχα συστήματα. Ο Doug Cutting 1 είδε την ευκαιρία και οδήγησε την ανάπτυξη μίας ανοιχτού κώδικα υλοποίησης αυτού του MapReduce συστήματος, με το όνομα Hadoop [30]. Πολλές μεγάλες εταιρίες, όπως η Yahoo, στήριξαν αυτή την προσπάθεια. Πλέον το Hadoop είναι αναπόσπαστο κομμάτι των υποδομών μεγάλων εταιριών που δραστηριοποιούνται στον Ιστό, όπως η Yahoo, το Facebook, το LinkedIn και το Twitter. Επίσης πολλές επιχειρήσεις που δραστηριοποιούνται σε τομείς όπως τα media και οι τηλεπικοινωνίες αρχίζουν να υιοθετούν τη χρήση του Hadoop MapReduce Το MapReduce είναι ένα προγραμματιστικό μοντέλο, καθώς και η σχετική υλοποίηση της Google, για την επεξεργασία και την παραγωγή μεγάλων συνόλων δεδομένων. Οι χρήστες ορίζουν μία συνάρτηση map η οποία επεξεργάζεται ένα ζεύγος key/value και παράγει ένα σύνολο ενδιάμεσων ζευγών key/value, καθώς και μία συνάρτηση reduce η οποία συγχωνεύει όλα τα ενδιάμεσα ζεύγη που έχουν το ίδιο (ενδιάμεσο) κλειδί. Πολλά προγραμματιστικά προβλήματα μπορούν να λυθούν με τη χρήση αυτού του μοντέλου. Τα προγράμματα που είναι γραμμένα σε αυτό το προγραμματιστικό στυλ μπορούν να εκτελεσθούν παράλληλα σε ένα μεγάλο cluster υπολογιστών. Το σύστημα πραγματικού χρόνου αναλαμβάνει τις εργασίες κατακερματισμού (partitioning) των δεδομένων εισόδου, προγραμματισμού της κατανεμημένης εκτέλεσης, χειρισμού αποτυχιών υλικού και διαχείρισης της απαραίτητης επικοινωνίας μεταξύ των κόμβων. Για την καλύτερη κατανόηση του μοντέλου, στη συνέχεια θα δοθεί ένα απλό παράδειγμα προγράμματος MapReduce και θα περιγραφεί η εκτέλεση του. Το πρόβλημα που θέλουμε να λύσουμε είναι το πρόβλημα της μέτρησης του αριθμού εμφανίσεων κάθε μοναδικής λέξης σε μία μεγάλη συλλογή εγγράφων. Ο ψευδοκώδικας που απαιτείται για την επίλυση του προβλήματος, και συγκεκριμένα οι συναρτήσεις map και reduce, είναι ως ακολούθως: map(string key, String value): // key: document name // value: document contents 1 Doug Cutting, Wikipedia, 32

41 for each word w in value: EmitIntermediate(w, "1"); reduce(string key, Iterator values): // key: a word // values: a list of counts int result = 0; for each v in values: result += ParseInt(v); Emit(AsString(result)); Η συνάρτηση map εκπέμπει (emits) κάθε λέξη του εγγράφου συνοδευόμενη από τον αριθμό 1, ο οποίος δηλώνει μία εμφάνιση της λέξης. Η συνάρτηση reduce προσθέτει όλες τις μονάδες για κάθε συγκεκριμένη λέξη και εκπέμπει στην έξοδο του προγράμματος κάθε μοναδική λέξη συνοδευόμενη από το συνολικό αριθμό εμφανίσεων της στο σύνολο των εγγράφων. Τα βήματα της εκτέλεσης του προγράμματος έχουν ως εξής: 1. Τα αρχεία εισόδου κατακερματίζονται σε κομμάτια, τα οποία συνήθως είναι μεγέθους από 16MB έως 64MB. Αντίγραφα του εκτελέσιμου προγράμματος φορτώνονται σε ένα cluster υπολογιστών. 2. Ένα από αυτά τα αντίγραφα αναλαμβάνει το ρόλο του master, ενώ τα υπόλοιπα το ρόλο των workers στους οποίους ανατίθενται εργασίες από τον master. Υπάρχουν M και R το πλήθος εργασίες map και reduce αντίστοιχα. Ο master διαλέγει αδρανείς workers και αναθέτει σε κάθε ένα από αυτούς μία εργασία map ή reduce. 3. Ένας worker στον οποίο ανατίθεται μία εργασία map διαβάζει τα περιεχόμενα του αντίστοιχου κομματιού δεδομένων. Τα δεδομένα εισόδου περνάνε από τη συνάρτηση map και τα ενδιάμεσα ζεύγη key/value που παράγονται αποθηκεύονται στη μνήμη. 4. Περιοδικά, τα αποθηκευμένα ζεύγη γράφονται στον τοπικό δίσκο, και κατακερματίζονται σε R περιοχές, σύμφωνα με μία συνάρτηση partition, η οποία είναι κάποια συνάρτηση κατακερματισμού (hash function) που δοθέντος του κλειδιού και του πλήθους των reducers επιστρέφει το αναγνωριστικό του επιθυμητού reducer. Οι διευθύνσεις των δεδομένων στον τοπικό δίσκο αποστέλλονται στο master, ο οποίος είναι υπεύθυνος να τις προωθήσει στους reduce workers. 5. Όταν ένας reduce worker λαμβάνει από το master πληροφορίες για αυτές τις διευθύνσεις, χρησιμοποιεί απομακρυσμένες κλήσεις ώστε να διαβάσει τα δεδομένα που έχουν αποθηκευτεί εκεί από τους map workers. Όταν ολοκληρώνει την ανάγνωση των ενδιάμεσων 33

42 δεδομένων τα ταξινομεί με βάση τα ενδιάμεσα κλειδιά (key) ώστε όλες οι εμφανίσεις του ίδιου κλειδιού να ομαδοποιηθούν. Η ταξινόμηση είναι απαραίτητη διότι μία εργασία reduce μπορεί να είναι υπεύθυνη για την επεξεργασία πολλών κλειδιών και όχι μόνο ενός. 6. Ο reduce worker διατρέχει τα ταξινομημένα ενδιάμεσα δεδομένα και για κάθε μοναδικό κλειδί που συναντά προωθεί το κλειδί και το σχετικό σύνολο από ενδιάμεσες αξίες (values) στη συνάρτηση reduce. Η έξοδος της συνάρτησης reduce προσαρτάται στο τελικό αρχείο εξόδου. 7. Όταν όλες οι εργασίες map και reduce έχουν ολοκληρωθεί, ο master τερματίζει το πρόγραμμα και επιστρέφει τον έλεγχο στο χρήστη. Μετά την επιτυχημένη ολοκλήρωση του προγράμματος, η έξοδος είναι διαθέσιμη στα R αρχεία εξόδου (ένα για κάθε εργασία reduce). Στη συνέχεια αυτά τα αρχεία είναι διαθέσιμα για χρήση από κάποια άλλη κατανεμημένη εφαρμογή ή, πολύ συχνά, αποτελούν την είσοδο ενός άλλου προγράμματος MapReduce (chaining). Παραδείγματα προβλημάτων που μπορούν να λυθούν με τη χρήση προγραμματισμού στο μοντέλο MapReduce αποτελούν τα: Μέτρηση συχνότητας επισκέψεων URL: Η συνάρτηση map επεξεργάζεται logs αιτημάτων πρόσβασης ιστοσελίδων και δίνει στην ενδιάμεση έξοδο <URL, 1>. Η συνάρτηση reduce προσθέτει όλες τις αξίες (values) για κάθε μοναδικό URL και δίνει στην έξοδο τα ζεύγη <URL, total count>. Αντίστροφος γράφος συνδέσμων Ιστού: Η συνάρτηση map δίνει στην ενδιάμεση έξοδο ζεύγη της μορφής <target, source> για κάθε σύνδεσμο που βρίσκει στη σελίδα source. Η συνάρτηση reduce ενώνει (concatenates) τη λίστα όλων των source URL που σχετίζονται με ένα δοσμένο target URL και δίνει στην έξοδο τα ζεύγη <target, list(source)>. Κατανεμημένη ταξινόμηση: Η συνάρτηση map εξάγει το κλειδί (key) από κάθε ζεύγος και δίνει στην ενδιάμεση έξοδο ένα ζεύγος <key, record>. Η συνάρτηση reduce δίνει στην έξοδο όλα τα ζεύγη χωρίς άλλη επέμβαση. Αυτού του είδους ο υπολογισμός βασίζεται στις ιδιότητες κατακερματισμού (partitioning) και ταξινόμησης που αναφέρθηκαν προηγουμένως. Για την υποστήριξη και λειτουργία του συστήματος MapReduce η Google υλοποίησε το δικό της κατανεμημένο σύστημα με το όνομα Google File System (GFS) [28]. Το GFS παρουσιάζει χαρακτηριστικά όπως υψηλή διαθεσιμότητα που επιτυγχάνεται με πολλαπλά αντίγραφα των δεδομένων σε διάφορους κόμβους του cluster και ακεραιότητα δεδομένων με χρήση συναρτήσεων 34

43 κατακερματισμού. Προσφέρει επίσης διαγνωστικά εργαλεία μέσω των οποίων ο διαχειριστής του συστήματος μπορεί να εντοπίσει και να αντιμετωπίσει προβλήματα ή να παρακολουθεί στατιστικά απόδοσης με πολύ μικρή επιβάρυνση στη λειτουργία του συστήματος Apache Hadoop Το Hadoop είναι μία ανοιχτού κώδικα υλοποίηση του συστήματος MapReduce της Google που διατίθεται με άδεια χρήσης Apache Licence2. Πρόκειται για μία πλατφόρμα λογισμικού που επιτρέπει την κατανεμημένη παράλληλη επεξεργασία μεγάλων συνόλων δεδομένων από clusters υπολογιστών. Είναι σχεδιασμένο έτσι ώστε να μπορεί να λειτουργήσει σε clusters που αριθμούν από έναν εξυπηρετητή (τετριμμένη περίπτωση) έως και χιλιάδες μηχανήματα, με το κάθε ένα να συνεισφέρει στο σύστημα τοπικούς υπολογισμούς, καθώς και αποθηκευτικό χώρο. Το Hadoop είναι υλοποιημένο σε Java, και έτσι η παρουσία Java Virtual Machine είναι απαραίτητη για την εκτέλεσή του. Ο χρήστης γράφει προγράμματα στο μοντέλο MapReduce και τα υποβάλλει στο Hadoop για εκτέλεση. Τα προγράμματα αυτά συνήθως είναι γραμμένα σε γλώσσα Java, όμως το Hadoop μέσω pipes υποστηρίζει και τη χρήση άλλων γλωσσών προγραμματισμού όπως πχ PHP ή Python. Η λειτουργία αυτή ονομάζεται Hadoop Streaming. Hadoop Distributed File System (HDFS) Το HDFS είναι το αποθηκευτικό συστατικό του Hadoop. Είναι ένα κατανεμημένο σύστημα αρχείων το οποίο έχει κατασκευαστεί στα πρότυπα του Google File System που αναφέραμε προηγουμένως. Το HDFS είναι βελτιστοποιημένο για υψηλό throughput και αποδίδει καλύτερα όταν γράφει ή διαβάζει μεγάλα αρχεία (τάξεως GB και πάνω). Για την επίτευξη τέτοιου throughput χρησιμοποιεί ασυνήθιστα μεγάλα, ειδικά για σύστημα αρχείων, μεγέθη από blocks, καθώς και βελτιστοποιήσεις στην τοπικότητα των δεδομένων για να μειώσει το Input/Output του δικτύου. Η επεκτασιμότητα και η διαθεσιμότητα είναι επίσης βασικά στοιχεία του HDFS και επιτυγχάνονται κυρίως μέσω της διατήρησης αντιγράφων των δεδομένων σε πολλούς κόμβους του cluster και της ανοχής που παρουσιάζει σε σφάλματα υλικού και λογισμικού. Αρχιτεκτονική του Hadoop Ένα σύστημα Hadoop αποτελείται από ένα σύνολο προγραμμάτων daemons, τα οποία τρέχουν σε διαφορετικά μηχανήματα του δικτύου. Κάθε ένα από αυτά τα προγράμματα έχουν κάποιο συγκεκριμένο ρόλο. Μερικά έχουν ένα και μοναδικό στιγμιότυπο σε συγκεκριμένο εξυπηρετητή,

44 ενώ άλλα έχουν πολλά στιγμιότυπα σε πολλούς εξυπηρετητές του συστήματος. Τα προγράμματα αυτά είναι τα NameNode, DataNode, SecondaryNameNode, JobTracker και TaskTracker. Στη συνέχεια ακολουθεί περιγραφή για κάθε ένα από αυτά: NameNode: Το Hadoop υλοποιεί μία αρχιτεκτονική master/slave για την κατανεμημένη αποθήκευση, αλλά και για την κατανεμημένη επεξεργασία. Το κατανεμημένο σύστημα αρχείων είναι το Hadoop Distributed File System (HDFS). Ο NameNode είναι ο master του HDFS και ως τέτοιος συντονίζει τους slave DataNodes στην εκτέλεση των εργασιών εισόδου/εξόδου (I/O) χαμηλότερου επιπέδου. Ο NameNode διατηρεί HDFS metadata και έτσι παρακολουθεί και γνωρίζει με ποιο τρόπο τα αρχεία έχουν μοιραστεί σε τμήματα (blocks), καθώς και σε ποιο κόμβο του συστήματος βρίσκεται κάθε ένα από αυτά. Παρακολουθεί επίσης τη συνολική υγεία του κατανεμημένου συστήματος. Οι εργασίες που εκτελεί ο NameNode είναι συνήθως απαιτητικές σε μνήμη και I/O οπότε είναι καλή πρακτική ο κόμβος στον οποίο εκτελείται ο NameNode να μη χρησιμοποιείται για άλλες εργασίες του συστήματος. Η σημαντικότητά του ως συντονιστή της λειτουργίας του συστήματος δυστυχώς τον καθιστά το πιο ευαίσθητο σημείο μίας εγκατάστασης Hadoop, αφού η αποτυχία του μεταφράζεται σε αποτυχία όλου του συστήματος. Η αποτυχία ενός οποιουδήποτε άλλου κόμβου προβλέπεται και αντιμετωπίζεται αποτελεσματικά από το σύστημα, όμως η αποτυχία του κόμβου που φιλοξενεί το NameNode συνεπάγεται δύσκολη επαναφορά του συστήματος σε λειτουργία. DataNode: Κάθε slave μηχάνημα του cluster φιλοξενεί ένα DataNode για να εκτελεί τις εργασίες του κατανεμημένου συστήματος αρχείων, δηλαδή το read/write των HDFS blocks σε αρχεία του τοπικού συστήματος αρχείων. Κατά την ανάγνωση ή εγγραφή ενός αρχείου HDFS, το αρχείο διασπάται σε blocks και ο NameNode ενημερώνει το πρόγραμμα-πελάτη (client) ως προς το DataNode στον οποίο βρίσκεται το κάθε block. Το πρόγραμμα-πελάτης επικοινωνεί άμεσα με τα DataNode ώστε να χρησιμοποιήσει τα αρχεία που τον ενδιαφέρουν. Επιπλέον, ένας DataNode μπορεί να επικοινωνεί και με άλλους DataNodes με σκοπό την αντιγραφή των δεδομένων σε πολλές τοποθεσίες ώστε να διασφαλίζεται η διαθεσιμότητά τους. Κάθε DataNode βρίσκεται σε συνεχή επικοινωνία με τον NameNode για να ενημερώνει για την κατάστασή του και τις αλλαγές στα blocks που φιλοξενεί. SecondaryNameNode: Όπως και ο NameNode, έτσι και ο SecondaryNameNode είναι ένας μοναδικός για όλο το σύστημα και συνήθως καταλαμβάνει ένα μηχάνημα αποκλειστικά. Σε αντίθεση με τον NameNode δε δουλεύει σε πραγματικό χρόνο, αλλά επικοινωνεί σε τακτά διαστήματα με τον NameNode και λαμβάνει snapshots των HDFS metadata. Ο ρόλος του είναι να 36

45 αντικαταστήσει τον NameNode σε περίπτωση αποτυχίας, διευκολύνοντας και επιταχύνοντας την επαναφορά του συστήματος σε λειτουργία. Αυτή η διαδικασία δεν είναι αυτοματοποιημένη, αλλά χρειάζεται την επέμβαση του διαχειριστή του συστήματος. JobTracker: Ο JobTracker αποτελεί το σύνδεσμο ανάμεσα στα προγράμματα του χρήστη και το Hadoop. Όταν ένα πρόγραμμα αποστέλλεται στο cluster, ο JobTracker είναι αυτός που καθορίζει το σχέδιο εκτέλεσης καθορίζοντας ποια αρχεία πρόκειται να χρησιμοποιηθούν, ποιοι κόμβοι θα εκτελέσουν ποια εργασία και συνεχώς παρακολουθώντας την εκτέλεση των εργασιών. Σε περίπτωση αποτυχίας μίας εργασίας ο JobTracker κάνει επανεκκίνησή της, πιθανό σε διαφορετικό κόμβο, μέχρι ένα αριθμό προσπαθειών σύμφωνα με την παραμετροποίηση του συστήματος. TaskTracker: Όπως και τα daemons που είναι υπεύθυνα για την αποθήκευση έτσι και αυτά που είναι υπεύθυνα για τους υπολογισμούς ακολουθούν μία αρχιτεκτονική master/slave. Ο JobTracker είναι ο master που επιβλέπει τη γενικότερη εκτέλεση ενός MapReduce προγράμματος του χρήστη, ενώ οι TaskTrackers διαχειρίζονται την εκτέλεση των εργασιών σε κάθε κόμβο επεξεργασίας. Κάθε TaskTracker είναι υπεύθυνος για την εκτέλεση των εργασιών που ανατέθηκαν από τον JobTracker στον κόμβο στον οποίο τρέχει. Αν και σε κάθε κόμβο υπάρχει ένας μοναδικός TaskTracker, κάθε ένας από αυτούς μπορεί να ξεκινήσει πολλές java virtual machines (JVMs) και έτσι να χειριστεί πολλές εργασίες map ή reeduce παράλληλα. Μια ευθύνη του TaskTracker είναι η συνεχής επικοινωνία με τον JobTracker. Αν ο JobTracker δε λάβει σήμα (heartbeat) από κάποιον TaskTracker μέσα σε ένα καθορισμένο χρονικό όριο, τότε υποθέτει ότι ο TaskTracker έχει καταρρεύσει και έτσι υποβάλλει τις σχετικές εργασίες σε άλλους κόμβους του cluster. Στην εικόνα [9] μπορούμε να δούμε μία ενδεικτική τοπολογία ενός τυπικού Hadoop cluster. Εκεί υπάρχει ένας κόμβος master στον οποίο τρέχουν οι NameNode και JobTracker, ένας αριθμός από κόμβους σε κάθε έναν από τους οποίους τρέχουν στιγμιότυπα των DataNode και TaskTracker, καθώς και ένας κόμβος όπου τρέχει ο SecondaryNameNode. Στα σχήματα [10] και [11] που προέρχονται από το "Hadoop Tutorial from Yahoo!" [31] μπορούμε να δούμε τη ροή επεξεργασίας MapReduce όπως υλοποιείται από το Hadoop. Στο σχήμα [10] φαίνεται μία υψηλού επιπέδου άποψη του συστήματος, ενώ στο σχήμα [11] έχουμε μια χαμηλότερου επιπέδου απεικόνιση της διαδικασίας. 37

46 Εικόνα 9: Ενδεικτική Τοπολογία Hadoop Cluster Εικόνα 10: Υψηλού επιπέδου άποψη εκτέλεση προγράμματος MapReduce 38

47 Εικόνα 11: Χαμηλότερου επιπέδου άποψη εκτέλεσης προγράμματος MapReduce Η εγκατάσταση του Hadoop μπορεί να γίνει σε ένα από τρία modes, τα standalone και pseudodistributed ή fully-distributed. Σε standalone και pseudo-distributed mode το Hadoop εγκαθίσταται σε έναν υπολογιστή. Η standalone είναι η προκαθορισμένη κατά την εγκατάστασή του, αφού δεν πρέπει να γίνουν υποθέσεις για το διαθέσιμο hardware. Η pseudo-distributed προσομοιώνει την εκτέλεση σε cluster ενώ στην πραγματικότητα εκτελείται σε έναν υπολογιστή και είναι χρήσιμη στους προγραμματιστές, αφού έτσι μπορούν να εργαστούν στον υπολογιστή τους και να πραγματοποιούν δοκιμές κατά την ανάπτυξη προγραμμάτων. Τέλος, η fully-distributed mode είναι αυτή που χρησιμοποιείται για την εγκατάσταση σε cluster υπολογιστών. Στο παράρτημα Α δίνονται οδηγίες για μία τυπική εγκατάσταση Hadoop, την απαραίτητη παραμετροποίηση για την επίτευξη της βασικής λειτουργικότητάς του, καθώς και κάποιες βασικές οδηγίες για διαχείριση του HDFS και την εκτέλεση προγραμμάτων MapReduce. 39

48 3. Σημασιολογικός Ιστός και Υπολογιστική Νοημοσύνη Ο Σημασιολογικός Ιστός δημιουργεί και θέτει πολύ πιο περίπλοκα προβλήματα από τον τρέχοντα Παγκόσμιο Ιστό. Σημαντικός παράγοντας για την ύπαρξη αυτών των προβλημάτων είναι η αβέβαιη φύση του Ιστού, όπου είναι απαραίτητο να βρεθούν τρόποι να εκφραστούν η ασάφεια και η αοριστία που μπορεί ή θα έπρεπε να υπάρχουν στα σημασιολογικά δεδομένα. Επίσης, σε ένα ανοιχτό, αποκεντροποιημένο και ταυτόχρονα τεράστιο περιβάλλον δεδομένων είναι απαραίτητες νέες προσεγγίσεις, υπολογιστικά επαρκείς και υλοποιήσιμες, για τη λύση προβλημάτων όπως είναι η εύρεση απαντήσεων σε ερωτήματα και ο συλλογισμός κλίμακας Ιστού, η σύνθετη ευθυγράμμιση οντολογιών σε πολλαπλά μοντέλα πεδίου και η μαζική ανάλυση διασυνδεδεμένων δεδομένων τα οποία πολύ συχνά μπορεί να είναι ασυνεπή. Η αναζήτηση για τις λύσεις τέτοιων προβλημάτων οδήγησε στο πρόσφατο παρελθόν πολλούς ερευνητές να ασχοληθούν με τη χρήση μεθόδων Υπολογιστικής Νοημοσύνης για την επίλυση προβλημάτων του Σημασιολογικού Ιστού [37]. Σε μελέτες που έχουν γίνει και αφορούν την Υπολογιστική Νοημοσύνη και το Σημασιολογικό Ιστό εντοπίζονται προσπάθειες ένταξης διαφόρων μεθόδων της Υπολογιστικής Νοημοσύνης ώστε να αντιμετωπιστούν διάφορες προκλήσεις. Η Ασαφής Λογική δείχνει να είναι μία καλή επιλογή για την επιτυχή διαχείριση της ασάφειας και της αβεβαιότητας στα σημασιολογικά δεδομένα, η Εξελικτική Υπολογιστική έχει ενδιαφέρουσες εφαρμογές στην αντιμετώπιση της απεραντοσύνης του Ιστού και τα Τεχνητά Νευρωνικά Δίκτυα έχουν επιτυχία σε λύση προβλημάτων όπως είναι η χαρτογράφηση δεδομένων και η αντιστοίχιση οντολογιών. Στη συνέχεια θα γίνει αναφορά σε κάποιες προσεγγίσεις για τη λύση προβλημάτων του Σημασιολογικού Ιστού για κάθε μία από τις τρεις προαναφερθείσες μεθόδους. Computational Intelligence Fuzzy Logic Systems Evolutionary Computing Fuzzy Logic for Fuzzy Semantic Genetic Algorithms for Query and Search Query Optimization Artificial Neural Networks Semantic Recursive ANN for Ontology Alignment Learning Fuzzy Logic for Ontology Alignment Genetic Algorithms for Ontology Interactive Activation and and Semantic Mapping Alignment Competition ANN for Ontology Alignment Fuzzy Ontology for Semantic Image Swarm Intelligence for Semantic Retrieval and Analysis Storage System Self-Organization Map for Ontology Enrichment Fuzzy Ontology for Semantic Web Swarm Intelligence for Web-Scale Service Matchmaking Reasoning Projective Adaptive Resonance Theory ANN for Ontology Artificial Immune Systems for RDF Construction Query Optimization Πίνακας 2: Semantic Web Meets Computational Intelligence 3 3 Πηγή: Computational Intelligence Magazine, IEEE, vol.7, no.2, pp.67-74, May

49 3.1. Σημασιολογικός Ιστός και Ασαφής Λογική Για τον εμπλουτισμό της δυνατότητας αναζήτησης σε σημασιολογικά δεδομένα, καθώς και το συλλογισμό για την παραγωγή νέας γνώσης από αυτά, υπάρχει η ανάγκη για την έκφραση της αβεβαιότητας. Για την επίτευξη αυτού του στόχου θα πρέπει να είναι δυνατόν να χρησιμοποιηθούν ασαφείς έννοιες με τέτοιο τρόπο που μία μηχανή να μπορεί να απαντήσει με επιτυχία ερωτήματα στα οποία οι συνθήκες δεν έχουν απλά αληθή ή ψευδή τιμή, αλλά ισχύουν σε κάποιο βαθμό. Παράδειγμα τέτοιου ερωτήματος είναι το Βρες μου όλα τα κοντινά εστιατόρια, τα οποία είναι δημοφιλή για επαγγελματικό δείπνο, αλλά και οικονομικά. Οι έννοιες κοντινό, δημοφιλές και οικονομικό είναι τέτοιες που δεν παίρνουν μόνο απόλυτες τιμές αληθής και ψευδής, αλλά ενδέχεται να ισχύουν μερικώς και συνεπώς μπορούν να συνοδεύονται από ένα βαθμό βεβαιότητας. Έτσι, οι απαντήσεις που θα βρει μία μηχανή μπορούν να ταξινομηθούν με βάση τη συνολική βαθμολογία τους (βαθμό ισχύος) ή και να φιλτραριστούν με βάση κάποια τιμή κατωφλίου. Τέτοιες προσεγγίσεις βλέπουμε στα [38], [39] και [40]. Άλλη περίπτωση όπου η χρήση της ασαφούς λογικής έχει δείξει ενδιαφέροντα αποτελέσματα είναι η επίλυση σημασιολογικών συγκρούσεων ανάμεσα σε οντολογίες όπως για παράδειγμα στο [41]. Η ασαφής σημασιολογική αντιστοίχιση μπορεί να δηλώσει την ομοιότητα δύο εννοιών που συναντώνται σε δύο διαφορετικές οντολογίες. Έτσι, για παράδειγμα, η έννοια Smartphone μπορεί να αντιστοιχηθεί με την έννοια MobileDevice σε βαθμό 0.9. Μία τέτοια αντιμετώπιση έχει μεγάλη χρησιμότητα στο Σημασιολογικό Ιστό, αφού οι αντιστοιχίσεις ανάμεσα σε διάφορες πηγές δεδομένων μπορούν να έχουν ένα βαθμό ταιριάσματος και να μην είναι απόλυτες Σημασιολογικός Ιστός και Εξελικτική Υπολογιστική Όπως έχουμε ήδη αναφέρει, η ποσότητα των σημασιολογικών δεδομένων στον Ιστό είναι πολύ μεγάλη και πρόκειται να αυξηθεί ακόμα περισσότερο. Έτσι, για την εκμετάλλευση όλων αυτών των δυναμικών και πολυδιάστατων δεδομένων απαιτούνται νέες προσεγγίσεις. Μία από αυτές είναι η χρήση μεθόδων εξελικτικής υπολογιστικής, όπως είναι οι γενετικοί αλγόριθμοι, η νοημοσύνη σμήνους και τα τεχνητά ανοσοποιητικά συστήματα. Αυτές οι μέθοδοι έχουν δείξει ότι είναι αρκετά αποδοτικές στην αντιμετώπιση προβλημάτων όπως είναι η απάντηση ερωτημάτων και ο συλλογισμός σε κλίμακα Ιστού. Γεννετικοί Αλγόριθμοι: Η χρήση των γενετικών αλγόριθμων είναι αποδοτική στη βελτιστοποίηση απάντησης σημασιολογικών ερωτημάτων. Το πρόβλημα αυτό μπορεί να μοντελοποιηθεί ως αναζήτηση σημασιολογικών υπογράφων οι οποίοι να ταιριάζουν με ένα δοσμένο πρότυπο. Αρχικά 41

50 δημιουργούνται μερικώς ταιριαστοί υπογράφοι ως ο πληθυσμός των υποψήφιων λύσεων. Στη συνέχεια μέσω των τεχνικών της μετάλλαξης ή του συνδυασμού ο πληθυσμός εξελίσσεται και παράγει νέες υποψήφιες λύσεις. Ακολούθως, επιλέγονται οι καλύτερες με χρήση μίας συνάρτησης αξιολόγησης, και συνεχίζουν ως ο πληθυσμός του επόμενου κύκλου εξέλιξης. Μία τέτοια προσέγγιση μπορούμε να δούμε στο framework erdf [42]. Οι γενετικοί αλγόριθμοι μπορούν επίσης να χρησιμοποιηθούν για τη μείωση της πολυπλοκότητας που αντιμετωπίζεται κατά την αντιστοίχιση οντολογιών. Σε αυτή την περίπτωση το πρόβλημα ορίζεται ως η εύρεση του βέλτιστου συνδυασμού βαρών για κριτήρια ευθυγράμμισης οντολογιών. Τέτοια κριτήρια μπορούν να είναι η ομοιότητα αλφαριθμητικών, η σύγκριση τύπων δεδομένων ή λεξικογραφικές μέθοδοι. Το πλεονέκτημα που προσφέρει η χρήση γενετικών αλγόριθμων είναι η ικανότητα εύρεσης του καλύτερου συνδυασμού βαρών χωρίς την ανάγκη ανθρώπινης επέμβασης. Νοημοσύνη Σμήνους: Η συλλογική συμπεριφορά που παρουσιάζουν τα χωρίς κεντρικό έλεγχο και αυτοοργανωμένα συστήματα που λειτουργούν με βάση τις αρχές της νοημοσύνης σμήνους έχουν εφαρμοσθεί από ερευνητές σε προβλήματα όπως τα αυτοοργανωμένα αποθηκευτικά συστήματα για μεγάλης κλίμακας σύνολα σημασιολογικών δεδομένων, καθώς και για τη βελτιστοποίηση διαδικασιών συλλογισμού σε τέτοια μεγάλα σύνολα χωρίς την ύπαρξη κεντρικού ελέγχου. Για αποδοτικότερη απάντηση ερωτημάτων είναι απαραίτητες έξυπνες στρατηγικές αποθήκευσης των σημασιολογικών δεδομένων, ώστε αυτά να είναι οργανωμένα κατά κάποια σχετικότητα. Με έμπνευση από τον τρόπο που λειτουργούν τα μυρμήγκια έχουν υλοποιηθεί συστήματα για κατανεμημένη αποθήκευση και ανάκτηση μεγάλης κλίμακας συνόλων δεδομένων RDF. Τέτοια συστήματα παρουσιάζονται στα [43] και [44]. Η βασική ιδέα είναι η μοντελοποίηση διαδικασιών αποθήκευσης δεδομένων RDF ως μυρμήγκια που κινούνται σε ένα δίκτυο από κόμβους. Αυτά τα μυρμήγκια κινούνται από κόμβο σε κόμβο ώσπου να εντοπίσουν έναν αριθμό από RDF triples που να είναι επαρκώς όμοια στο προς αποθήκευση, και τότε το αποθηκεύουν βασισμένα σε μία ομαδοποίηση ως προς την ομοιότητα μεταξύ των triples. Όταν κάποια τέτοια διαδικασία επιτυγχάνει φροντίζει να θυμάται το μονοπάτι που ακολούθησε ώστε να το επαναχρησιμοποιήσει αν χρειαστεί. Στο [45] μπορούμε να δούμε τη χρήση νοημοσύνης σμήνους για κατανεμημένο συλλογισμό σε κλίμακα Ιστού. Τεχνητό Ανοσοποιητικό Σύστημα: Η ιδέα του τεχνητού ανοσοποιητικού συστήματος έχει βρει εφαρμογή στο σημασιολογικό ιστό στο πρόβλημα της βελτιστοποίησης απάντησης σημασιολογικών ερωτημάτων [46]. Η ιδέα σε αυτή την περίπτωση είναι τα σημασιολογικά ερωτήματα να μοντελοποιηθούν ως αντισώματα του ανοσοποιητικού συστήματος. Όπως τα πετυχημένα αντισώματα κλωνοποιούνται και μεταλλάσσονται για την παραγωγή όμοιων 42

51 αντισωμάτων με περισσότερη όμως ικανότητα στην αντιμετώπιση μίας μόλυνσης, έτσι και επιτυχή ερωτήματα τα οποία παράγουν σχετικά αποτελέσματα κλωνοποιούνται και στη συνέχεια τροποποιούνται ώστε να παράγουν νέα ερωτήματα τα οποία πιθανόν να είναι μία βελτιωμένη εκδοχή του αρχικού ερωτήματος Σημασιολογικός Ιστός και Τεχνητά Νευρωνικά Δίκτυα Τα τεχνητά νευρωνικά δίκτυα, λόγω της ικανότητάς τους να ανακαλύπτουν περίπλοκες συσχετίσεις ή patterns που είναι κρυμμένα σε μεγάλης κλίμακας σημασιολογικά δεδομένα, έχουν, μεταξύ άλλων, βρει εφαρμογή στην αντιστοίχιση οντολογιών, στον εμπλουτισμό οντολογιών, στην εξόρυξη εννοιών και στην αυτόματη κατασκευή οντολογιών. Έτσι, για παράδειγμα, στο [47] μπορούμε να δούμε τη χρήση μιας επέκτασης των τεχνητών νευρωνικών δικτύων, τα νευρωνικά δίκτυα με ανάδραση, στην ευθυγράμμιση οντολογιών. Συγκεκριμένα, το νευρωνικό δίκτυο επεξεργάζεται στιγμιότυπα οντολογιών με σκοπό την εύρεση ομοιοτήτων ανάμεσα σε έννοιες των οντολογιών. Έτσι, οι έννοιες των διάφορων οντολογιών ταξινομούνται μέσω της εκτίμησης ενός μέτρου ομοιότητας. Άλλο παράδειγμα χρήσης των τεχνητών νευρωνικών δικτύων στο Σημασιολογικό Ιστό βλέπουμε στο [48], όπου ένα μοντέλο νευρωνικού δικτύου χωρίς επίβλεψη, το self-organizing map, χρησιμοποιείται για τον εμπλουτισμό μίας οντολογίας ενός συγκεκριμένου πεδίου συνδυάζοντας τεχνικές μηχανικής μάθησης και επεξεργασίας φυσικής γλώσσας. 43

52 4. Κατασκευή Συστήματος Fuzzie Σε αυτό το κεφάλαιο παρουσιάζεται η σχεδίαση και υλοποίηση της εφαρμογής Fuzzie η οποία έγινε στα πλαίσια της εργασίας και συνδυάζει γνώσεις και τεχνικές που παρουσιάστηκαν στα προηγούμενα κεφάλαια, όπως η Ασαφής Λογική, ο Σημασιολογικός Ιστός και η τεχνική MapReduce στο Apache Hadoop για επεξεργασία Μεγάλων Δεδομένων. Στα πλαίσια του Σημασιολογικού Ιστού, για την ανταλλαγή δεδομένων μεταξύ οργανισμών ή επιχειρήσεων σε παγκόσμια κλίμακα ή για την ελεύθερη διάθεση τους στον Ιστό, χρησιμοποιούνται οντολογίες, ώστε αυτά να μην είναι απλά δεδομένα αλλά να συνοδεύονται από τη σημασία τους και έτσι να αποτελούν πραγματική πληροφορία, άμεσα αξιοποιήσιμη. Συγκεντρώνοντας τέτοια δεδομένα από πολλές πηγές, υπάρχει η δυνατότητα να παραχθεί νέα γνώση η οποία προκύπτει έμμεσα από την αρχική εκτελώντας συλλογισμό με βάση τους όρους της οντολογίας και τις μεταξύ τους σχέσεις ή και επιχειρησιακούς κανόνες. Όμως, σε συγκεκριμένα πεδία, όπως είναι για παράδειγμα η ιατρική, η γενετική ή η βιολογία, πολλές φορές υπάρχει γνώση η οποία συνοδεύεται από κάποιο βαθμό αβεβαιότητας, χαρακτηριστικό το οποίο δεν μπορεί να εκφραστεί με το πρότυπο RDF. Επίσης, πολύ συχνά τα δεδομένα αυτά παρουσιάζουν χαρακτηριστικά μεγάλων δεδομένων όπως είναι ο όγκος και η διασπορά τους στο δίκτυο, κάτι που δεν είναι πάντα διαχειρίσιμο από ένα κλασικό πληροφοριακό σύστημα. Εικόνα 12: Γενική άποψη του συστήματος Fuzzie 44