ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ Επιστήμη του Διαδικτύου «Web Science» ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Εφαρμογές Ελληνικών Συνδεδεμένων Δεδομένων σε Έξυπνα Τηλέφωνα με Γεωγραφικά Δεδομένα Greek Linked Data Applications For Smartphones using Geospatial Data Αντώνιος Καράλης ΕΠΙΒΛΕΠΩΝ: Πολυχρόνης Μωυσιάδης, Καθηγητής Α.Π.Θ. ΣΥΝΕΠΙΒΛΕΠΩΝ: Δρ. Χαράλαμπος Μπράτσας. Θεσσαλονίκη, Δεκέμβριος 2012
ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ Επιστήμη του Διαδικτύου «Web Science» ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Εφαρμογές Ελληνικών Συνδεδεμένων Δεδομένων σε Έξυπνα Τηλέφωνα με Γεωγραφικά Δεδομένα Greek Linked Data Applications For Smartphones using Geospatial Data Αντώνιος Καράλης ΕΠΙΒΛΕΠΩΝ: Πολυχρόνης Μωυσιάδης, Καθηγητής Α.Π.Θ. ΣΥΝΕΠΙΒΛΕΠΩΝ: Δρ. Χαράλαμπος Μπράτσας. Εγκρίθηκε από την Τριμελή Εξεταστική Επιτροπή την 31 η Ιανουαρίου 2013 Π. Μωυσιάδης Γ. Μητακίδης Ι. Αντωνίου Καθηγητής Α.Π.Θ. Καθηγητής Καθηγητής Α.Π.Θ. Θεσσαλονίκη, Δεκέμβριος 2012
.. Αντώνιος Κ. Καράλης Πτυχιούχος Τμήματος Μαθηματικών Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Copyright Αντώνιος Κ. Καράλης, 2012 Με επιφύλαξη παντός δικαιώματος. All rights reserved. Απαγορεύεται η αντιγραφή, αποθήκευση και διανομή της παρούσας εργασίας, εξ ολοκλήρου ή τμήματος αυτής, για εμπορικό σκοπό. Επιτρέπεται η ανατύπωση, αποθήκευση και διανομή για σκοπό μη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπόθεση να αναφέρεται η πηγή προέλευσης και να διατηρείται το παρόν μήνυμα. Ερωτήματα που αφορούν τη χρήση της εργασίας για κερδοσκοπικό σκοπό πρέπει να απευθύνονται προς τον συγγραφέα. Οι απόψεις και τα συμπεράσματα που περιέχονται σε αυτό το έγγραφο εκφράζουν τον συγγραφέα και δεν πρέπει να ερμηνευτεί ότι εκφράζουν τις επίσημες θέσεις του Α.Π.Θ.
Σύνοψη Τα Συνδεδεμένα Δεδομένα αποτελούν το σημαντικότερο βήμα της εξέλιξης του Παγκόσμιου Ιστού από Ιστό των εγγράφων σε Ιστό των Δεδομένων, αυξάνοντας τη σημασιολογική αξία της πληροφορίας που περιέχει. Το Νέφος που σχηματίζουν εξελίσσεται με ταχύτατους ρυθμούς και ήδη Ελληνικά Ανοικτά Δεδομένα έχουν αρχίσει να συνδέονται σ αυτό, δίνοντας την ευκαιρία για ανάπτυξη καινοτόμων εφαρμογών που εκμεταλλεύονται τη διασύνδεση των δεδομένων για να παρέχουν στους χρήστες εμπλουτισμένο σημασιολογικά περιεχόμενο. Στο πλαίσιο της παρούσας Διπλωματικής Εργασίας μελετάται η ανάπτυξη εφαρμογής για φορητές συσκευές (smartphones) που βασίζεται στην τοποθεσία (Location Based) για την πλοήγηση μέσω χαρτών στα Ελληνικά Συνδεδεμένα Δεδομένα, επιλέγοντας την Ελληνική DBpedia ως σύνολο αναφοράς, μετά από αξιολόγηση της γεωχωρικής πληροφορίας της. Η εφαρμογή εντοπίζει τη θέση του χρήστη και την απεικονίζει σε χάρτη μαζί με πληροφορίες που ανασύρει από την Ελληνική DBpedia για οντότητες που βρίσκονται κοντά του. Η πλοήγηση του χρήστη στο χάρτη μπορεί έτσι να του παρέχει ταυτόχρονη πρόσβαση σε όλες τις συνδεδεμένες διαθέσιμες πληροφορίες (όπως σημεία τουριστικού ενδιαφέροντος, ιστορικά δεδομένα ή υπηρεσίες). Η DBpedia αποτελεί διεθνώς τον πυρήνα των συνδεδεμένων δεδομένων, δίνοντας πρόσβαση που δεν περιορίζεται στα δεδομένα της, αλλά επεκτείνεται, μέσω των συνδέσεων της, σε υπηρεσίες τρίτων (όπως το YAGO για κατηγοριοποίηση ή το Flickr για εύρεση σχετικών εικόνων). Όπως λοιπόν η ελληνική DBpedia φιλοδοξεί να αποτελέσει τον πυρήνα της δημιουργίας των Ελληνικών Ανοικτών Συνδεδεμένων Δεδομένων (Greek LOD Cloud), η εφαρμογή που μελετάται επιδιώκει να συμβάλλει προς τη γεωχωρική απεικόνιση του Greek LOD Cloud και την απρόσκοπτη πρόσβαση του τελικού χρήστη σ αυτό. Λέξεις Κλειδιά Συνδεδεμένα Δεδομένα, Ιστός των Δεδομένων, Γεωχωρικός Σημασιολογικός Ιστός, Ελληνικό Νέφος Συνδεδεμένων Ανοικτών Δεδομένων, DBpedia
Καράλης Αντώνιος Abstract Linked Data is the most prominent step in the evolution of the World Wide Web from a Web of documents to a Web of Data, increasing thus the semantic value of the information it contains. The Linked Data Cloud that is formed progresses rapidly and Greek Open Data have already begun to connect to it, giving the opportunity to develop innovative applications that exploit the interconnection of data to provide users with rich semantic content. In this thesis we study the development of a mobile application for smartphones, based on location, for map navigation through Greek Linked Data, selecting the Greek DBpedia as a reference dataset after evaluation of the geospatial information it contains. The application detects the user's location and displays it in a map along with information retrieved from Greek DBpedia for "entities" that are close to him. As the user navigates on the map the application can provide simultaneous access to all related information available (such as places of touristic interest, historical data and other services). DBpedia is internationally the core of Linked Data, giving access not limited to its own data, but extends through connections with third party services (such as YAGO for information categorization or Flickr in order to find relevant images). So, as the Greek DBpedia aims to become the core of the creation of the Greek Linked Open Data (Greek LOD Cloud), the application studied in this thesis, seeks to facilitate towards the geospatial representation of Greek LOD Cloud and the seamless end-user access to it. Keywords Linked Data, Web of Data, Geospatial Semantic Web, Greek Linked Open Data Cloud, DBpedia 6
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα Εκτενής Περίληψη Ο όγκος των πληροφοριών που διατίθεται σήμερα στον Παγκόσμιο Ιστό (World Wide Web) είναι τεράστιος και συνεχίζει να αυξάνεται με εκθετικούς ρυθμούς. Οι πληροφορίες βρίσκονται είτε σε ιστοσελίδες σαν web (HTML) έγγραφα είτε σε βάσεις δεδομένων, σε μορφή εγγραφών σε πίνακες, και είναι ασύνδετες μεταξύ τους. Έτσι καθίσταται δύσκολο να απαντήσουμε σε σύνθετα εννοιολογικά ερωτήματα και να εξάγουμε πραγματικά χρήσιμη γνώση από τις πληροφορίες αυτές. Η αύξηση επομένως της διαθέσιμης πληροφορίας δεν έχει οδηγήσει και σε ανάλογη αύξηση της γνώσης μας σχετικά με αυτές. Ο Σημασιολογικός Ιστός (Semantic Web) αποτελεί την εξέλιξη του Ιστού, συνδέοντας τα δεδομένα μεταξύ τους (Web of Data) μέσω μιας δομημένης πρότυπης μορφής που είναι επεξεργάσιμη από τους υπολογιστές και εμπλουτίζοντάς τα σημασιολογικά με επιπλέον γνώση (μεταδεδομένα). Τα Συνδεδεμένα Δεδομένα (Linked Data) έχουν αναδειχθεί ως η πλέον αποτελεσματική μέθοδος δημοσίευσης δεδομένων στον Ιστό με τέτοιο τρόπο ώστε να εκπληρώνονται οι σημασιολογικές απαιτήσεις για τη μετάβαση στον Ιστό των Δεδομένων. Μέσα σε λίγο χρόνο ένα πλήθος συνόλων δεδομένων έχει συνδεθεί, δημιουργώντας ένα Νέφος Συνδεδεμένων Ανοικτών Δεδομένων (LOD Cloud) και προσφέροντας έτσι ταυτόχρονα εύκολη, προτυποποιημένη και εννοιολογικά πλούσια πρόσβαση στα δεδομένα. Το τελευταίο διάστημα το LOD Cloud εμπλουτίζεται και με ελληνικά ανοικτά δεδομένα ως αποτέλεσμα μιας προσπάθειας που ξεκίνησε από Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης και το ΠΜΣ Επιστήμη του Διαδικτύου. Βασικό ρόλο ως σημεία αναφοράς στο LOD Cloud έχουν κόμβοι (hubs) που μέσω του πλήθους των συνδέσεων σ αυτούς διευκολύνουν την περαιτέρω διασύνδεση των υπολοίπων δεδομένων. Τέτοιο κεντρικό ρόλο για τα Ελληνικά Συνδεδεμένα Δεδομένα έχει η Ελληνική DBpedia. Στην προσπάθεια για υιοθέτηση των Linked Data από οργανισμούς και κοινό για τη δημοσίευση των δεδομένων τους στον Ιστό, βάση των κανόνων που θέτουν, πρέπει να αναπτυχθούν καινοτόμες εφαρμογές που να εκμεταλλεύονται τις σημασιολογικές δυνατότητες τους ώστε τα Linked Data να γίνουν ευρύτερα γνωστά και κατανοητά. Στην κατεύθυνση αυτή κινείται η παρούσα Διπλωματική Εργασία. 7
Καράλης Αντώνιος Έτσι στο κεφάλαιο 2 περιγράφονται οι βασικές αρχές που θέτουν τα Linked Data και εξηγείται ο τρόπος που δομούνται και δημοσιεύονται στον Ιστό. Παρουσιάζεται το Linking Open Data Project που έχει ως σκοπό την δημιουργία ενός παγκόσμιου Ιστού Συνδεδεμένων Δεδομένων και μια ιδιαίτερη κατηγορία δεδομένων, τα γεωχωρικά (Geospatial) Linked Data καθώς είναι αυτά που χρησιμοποιεί η μελετώμενη εφαρμογή. Τέλος γίνεται μια επισκόπηση των εργαλείων για τη δημοσίευση στον Ιστό και τη χρήση των Linked Data από εφαρμογές που παρέχουν πολύπλευρη πρόσβαση στις πληροφορίες τους. Στο κεφάλαιο 3 αναλύεται η DBpedia που αποτελεί τον πυρήνα του LOD Cloud. Η DBpedia εξάγει δομημένη πληροφορία από τα άρθρα της Wikipedia και τη δημοσιεύει σε μορφή Linked Data. Παρουσιάζεται ο μηχανισμός εξαγωγής πληροφορίας που χρησιμοποιεί (DIEF) και στοιχεία για το σύνολο των δεδομένων που διαθέτει καθώς και εφαρμογές που χρησιμοποιούν τα δεδομένα της με διάφορους τρόπους ώστε να εκμεταλλευτούν το διαθέσιμο πλούτο γνώσης. Ιδιαίτερος λόγος γίνεται στην προσπάθεια διεθνοποίησης της DBpedia, ένα πρόγραμμα που ξεκίνησε από το Αριστοτέλειο Πανεπιστήμιο και έκανε δυνατή τη δημιουργία της όχι μόνο στα ελληνικά, αλλά και σε οποιαδήποτε άλλη γλώσσα του κόσμου. Παρουσιάζονται οι αλλαγές που έχει επιφέρει και οι επιπτώσεις της, με τη δημιουργία μιας σειράς εφαρμογών αξιοποίησή της, στην κατηγορία των οποίων ανήκει και η μελετώμενη εφαρμογή. Στο κεφάλαιο 4 περιγράφεται ο χώρος των Ανοικτών και των Συνδεδεμένων Ανοικτών Δεδομένων, παραθέτοντας τα πλεονεκτήματα χρήσης τους βάση της διεθνούς εμπειρίας και βιβλιογραφίας. Γίνεται αναφορά στην ελληνική πραγματικότητα στο χώρο των ανοικτών δεδομένων και της έλλειψης ενός κεντρικού σχεδιασμού αξιοποίησή τους, ενώ τέλος παρουσιάζεται η τρέχουσα μορφή του Ελληνικού LOD Cloud και δίνεται μια θεώρηση της διασυνδεσιμότητας των δεδομένων που το απαρτίζουν. Στο κεφάλαιο 5 αναλύεται η αρχιτεκτονική της μελετώμενης εφαρμογής παρουσιάζοντας το σκοπό της και τις σχεδιαστικές αρχές πάνω στις οποίες υλοποιείται. Περιγράφεται η πλατφόρμα ανάπτυξης που επιλέχθηκε (Android) και οι λόγοι που οδήγησαν σ αυτήν, ενώ αναλύονται τα σύνολα δεδομένων που αποτελούν το Ελληνικό LOD Cloud, αξιολογώντας τη γεωχωρική πληροφορία που διαθέτουν και τις δυνατότητες για αξιοποίησή τους από την εφαρμογή. 8
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα Στο κεφάλαιο 6 αναλύεται η ίδια η εφαρμογή. Παρουσιάζονται οι μέθοδοι για την εύρεση της τρέχουσας τοποθεσίας του χρήστη και ο τρόπος που επιλέχθηκε ώστε τα στοιχεία του να δομούνται σε RDF μορφή (RDF Content Provider). Αυτό γίνεται για να καταστεί δυνατή η χρήση τους σε SPARQL ερωτήματα απευθείας στο σύνολο δεδομένων της Ελληνικής DBpedia μέσω του SPARQL Endpoint της, αποφεύγοντας έτσι αυξημένες απαιτήσεις στον όγκο των διακινούμενων δεδομένων. Περιγράφονται τα ερωτήματα (SPARQL) που κωδικοποιήθηκαν στην εφαρμογή ώστε να λαμβάνει δεδομένα, σε RDF μορφή, για τα σημεία ενδιαφέροντος που γεωχωρικά βρίσκονται κοντά στον χρήστη. Η εφαρμογή τα σημειώνει στο χάρτη και όταν ο χρήστης επιλέγει κάποιο από αυτά, του εμφανίζει τον τίτλο του σχετικού πόρου και συνδέσμους προς το αντίστοιχο άρθρο της Βικιπαίδεια, την Ελληνική DBpedia, απ όπου μπορεί να περιηγηθεί στις πληροφορίες που αφορούν την οντότητα και τις υπόλοιπες οντότητες με τις οποίες συνδέεται, και την υπηρεσία flickrwrappr που εμφανίζει αντίστοιχες εικόνες. Παρουσιάζονται τέλος ενδεικτικά στιγμιότυπα από την εκτέλεση της εφαρμογής. Κλείνοντας, στο κεφάλαιο 7 παρατίθενται οι δυνατότητες επέκτασής της εφαρμογής από λειτουργική και τεχνολογική άποψη και αναφέρονται μελλοντικές αντίστοιχες εφαρμογές. Τα συμπεράσματα αφορούν τις δυνατότητες πρόσβασης και αξιοποίησης της πληροφορίας που προσφέρουν τα Linked Data στον μη εξειδικευμένο χρήστη (τελικό χρήστη end user). Γίνεται επίσης αναφορά στην ανάγκη ενσωμάτωσης ακριβούς και αξιόπιστης γεωχωρικής πληροφορίας στα κυβερνητικά ανοικτά δεδομένα ώστε να υπάρχει δυνατότητα επιλογής και απεικόνισης δεδομένων σε διαφορετικά επίπεδα (διαφορετικές απεικονίσεις για πληροφορίες τουριστικού ενδιαφέροντος από εκείνες που αφορούν την ασφάλεια π.χ. ανάδειξη επικίνδυνων περιοχών). Οι συνεισφορές και καινοτομίες που παρουσιάζονται σ αυτή την διπλωματική εργασία είναι οι εξής: Γίνεται μια αξιολόγηση της Γεωχωρικής πληροφορίας των Ελληνικών Συνδεδεμένων Δεδομένων και της δυνατότητας αξιοποίησης της σε εφαρμογές. Μελετάται συνολικά ο χώρος των Ελληνικών Συνδεδεμένων Δεδομένων παραθέτοντας στοιχεία για τη διασυνδεσιμότητά τους. Δημιουργήθηκε μια πρωτότυπη εφαρμογή απευθυνόμενη σε τελικούς χρήστες για περιήγηση στα Ελληνικά Συνδεδεμένα Δεδομένα. 9
Καράλης Αντώνιος Summary The volume of the information made available nowadays on the World Wide Web is enormous and continues to grow exponentially. Information is within websites in the form of web documents (HTML) or in databases in the form of table records and is unrelated to each other. Thus it is difficult to respond to complex semantic queries and extract really useful knowledge from this information. Therefore the growth of information available has not led to a proportionate increase of our knowledge about it. The Semantic Web is the evolution of the Web by linking data between them through a standard structured format (Web of Data) which is machine processable and enriching them with additional semantic knowledge (metadata). Linked Data have emerged as the most effective method for publishing data on the web so as to fulfill the semantic requirements for the transition to the Web of Data. A large number of datasets have been connected within a short time, creating a cloud of Linked Open Data (LOD Cloud) and simultaneously offering easy, standardized and semantically rich access to data. Recently the LOD Cloud has been enriched with Greek Open Data as a result of an effort initiated by Aristotle University of Thessaloniki and the MSC Program "Web Science". A key role as reference points is being held by LOD Cloud nodes (hubs) that have a large number of links and facilitate the further interconnection of the remaining data. Greek DBpedia holds such a key role in the Greek Linked Open Data Cloud. Towards the effort for Linked Data adoption from organizations and the public in order to publish their data on the Web, based on the rules set by Linked Data, rises a need to develop innovative applications that take advantage of their semantic capabilities so that they become widely known and understood. This thesis is towards this direction. So in Chapter 2 we describe the basic principles set by Linked Data and explain how they are structured and published on the Web. We present the Linking Open Data Project, which aims to create a global Linked Data Web and a particular class of data, Geospatial Linked Data as they are being used in the intended application. Finally we provide an overview of tools for publishing Linked Data on the web and the use of them from applications that provide versatile access to their information. 10
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα Chapter 3 analyzes DBpedia which is the core of the LOD Cloud. DBpedia extracts structured information from Wikipedia articles and publishes it in the form of Linked Data. We present the information extraction mechanism (DIEF) that it uses and data about its knowledge base along with applications that use the data in different ways to exploit the wealth of knowledge available. We extend particularly on the effort for the internationalization of DBpedia, a program initiated by the Aristotle University that made possible the creation of not only the Greek DBpedia, but also in every other language in the world. We present the changes the internationalization has brought and its consequences by helping create a wide range of applications that exploit it. The application studied in this thesis belongs in this category. Chapter 4 describes the area of Open and Linked Open Data, citing the advantages of their use based on international experience and references. A reference is made on the Greek state in the field of open data and the lack of centrally planned design, and finally, we present the current form of the Greek LOD Cloud, consideration given to the interconnectivity of the datasets that compose it. Chapter 5 analyzes the architecture of the studied application, presenting the purpose and the design principles on which it is implemented. We describe the development platform chosen (Android) and the reasons that led to it, and analyze data sets that are on the Greek LOD Cloud, assessing their geospatial information they hold and the potential for exploitation by the application. Chapter 6 discusses the application itself. We present the methods used for finding the current location of the user and the way that the selected data are structured in RDF format (RDF Content Provider). This is to enable their use in SPARQL queries directly in the dataset of the Greek DBpedia via the SPARQL Endpoint, avoiding increased demands on the volume of the handled data. We describe the queries (SPARQL) that are encoded in the application in order to receive data in RDF format for geospatial points of interest that are near the user. The application pinpoints them on the map and when the user selects one of them it displays the title of the relevant resource and creates links to the corresponding Wikipedia and the Greek DBpedia pages, from where the user can navigate to the information about the entity and other entities with which it is affiliated, and flickrwrappr a service that shows relevant photos from flickr. Finally indicative snapshots from the execution of the application are given. 11
Καράλης Αντώνιος Closing, Chapter 7 presents the possibilities of extending the application, from a functional and technological perspective as well, and future reported respective applications. The conclusions concern the accessibility and utilization of information offered by the Linked Data to the unskilled user (end user). Reference is also made to the need to integrate accurate and reliable geospatial information in Government Open Data so that the user has a choice on data selection and data visualization at different levels (different representations for touristic purposes entities than those relating to safety e.g. highlighting dangerous areas). The contributions and innovations presented in this thesis are: We present an assessment of the geospatial information that the Greek Linked Data have and their potential in applications. We study the total space of the Greek Linked Data and including information on their interconnectivity. We created a prototype application for end users to facilitate them navigate through the Greek Linked Open Data Cloud. 12
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα Ευχαριστίες Θα ήθελα να εκφράσω τις ευχαριστίες μου στο Δρ. Χαράλαμπο Μπράτσα για την πρόταση του παρόντος θέματος, την επιμονή, την υπομονή και την πολύτιμη υποστήριξή του, τόσο επιστημονική όσο και ηθική σ ολόκληρη την πορεία της διπλωματικής όπως και στους καθηγητές του Μεταπτυχιακού και ιδιαίτερα στους κ. Ιωάννη Αντωνίου, Πολυχρόνη Μωυσιάδη και Νικόλαο Φαρμάκη για την ευκαιρία που μου έδωσαν να ασχοληθώ με το Σημασιολογικό Ιστό μέσω της συγκεκριμένης διπλωματικής. Ευχαριστώ επίσης όλη την ομάδα του Greek LOD Cloud, η βοήθεια των οποίων, η άμεση ανταπόκριση σε κάθε πρόβλημα και οι συζητήσεις μας, συνέβαλαν τα μέγιστα στην εισαγωγή και την ενασχόλησή μου με το αντικείμενο των Συνδεδεμένων Δεδομένων. Θα ήθελα ακόμη να ευχαριστήσω την οικογένειά μου για το κουράγιο, την υπομονή και την συμπαράστασή τους καθ όλη τη διάρκεια της παρούσης διπλωματικής, ιδιαίτερα τη σύζυγό μου Σοφία και την κόρη μου Βικτώρια στις οποίες αφιερώνεται αυτή η εργασία ως ελάχιστη ανταπόδοση για τον χρόνο που δεν μπόρεσα να τους αφιερώσω. 13
Καράλης Αντώνιος 14
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα Περιεχόμενα Σύνοψη... 5 Abstract... 6 Εκτενής Περίληψη... 7 Summary... 10 Ευχαριστίες... 13 Περιεχόμενα... 15 Κατάλογος Σχημάτων... 19 Κατάλογος Πινάκων... 19 Ακρωνύμια & Συντομεύσεις... 20 Κεφάλαιο Σελίδα 1. Εισαγωγή... 21 2. Συνδεδεμένα Δεδομένα (Linked Data)... 23 2.1 Βασικές Αρχές των Συνδεδεμένων Δεδομένων... 24 2.2 Τα Δομικά Συστατικά των Συνδεδεμένων Δεδομένων... 24 2.2.1 URIs... 25 2.2.2 HTTP URIs... 25 2.2.3 RDF... 26 2.2.4 SPARQL... 27 2.3 Από τα Ανοικτά στα Συνδεδεμένα Ανοικτά Δεδομένα... 27 2.4 Το Linking Open Data Project και το LOD Cloud... 28 2.5 Γεωχωρικά (Geospatial) Συνδεδεμένα Δεδομένα... 30 2.6 Εργαλεία και Εφαρμογές πάνω στα Συνδεδεμένα Δεδομένα... 31 2.6.1 Εργαλεία Δημοσίευσης Συνδεδεμένων Δεδομένων... 32 2.6.2 Εργαλεία Κατανάλωσης Συνδεδεμένων Δεδομένων... 33 2.7 Μια Ολοκληρωμένη Θεώρηση των Συνδεδεμένων Δεδομένων... 34 15
Καράλης Αντώνιος 3. DBpedia. Ο Πυρήνας των Linked Data... 35 3.1 DBpedia Information Extraction Framework... 36 3.2 Η γνωσιακή Βάση της DBpedia... 39 3.3 Εφαρμογές και Περιπτώσεις Χρήσης της DBpedia... 39 3.3.1 Πολύπλευρη Περιήγηση (Faceted Browsing)... 40 3.3.2 Εφαρμογές για τελικούς χρήστες... 40 3.3.3 Δημιουργία Ερωτημάτων και SPARQL διεπαφές... 42 3.3.4 Επισήμανση Κειμένου (Text Annotation) και Εξαγωγή Πληροφορίας... 42 3.4 Η Διεθνοποίηση (Internationalization) της DBpedia... 43 3.4.1 Η επέκταση του DIEF (I18n DIEF)... 44 3.4.2 URIs vs IRIs... 45 3.4.3 Εφαρμογές που προέκυψαν από τη Διεθνοποίηση της DBpedia... 45 4. Συνδεδεμένα Ανοικτά Δεδομένα στην Ελλάδα... 49 4.1 Πλεονεκτήματα της Δημοσίευσης Ανοικτών Κυβερνητικών Δεδομένων ως Linked Data... 50 4.2 Η Ελληνική Πραγματικότητα στα Ανοικτά Δεδομένα... 52 4.3 Το Ελληνικό Νέφος Συνδεδεμένων Ανοικτών Δεδομένων (Greek LOD Cloud)... 53 4.3.1 Το Ελληνικό Παράρτημα του OKFN και η ομάδα του Ελληνικού LOD Cloud.... 54 4.3.2 Η Ελληνική DBpedia.... 54 4.3.3 Τα Δεδομένα της Διαύγειας... 55 4.3.4 Τα Δεδομένα της Ελληνικής Αστυνομίας... 56 4.3.5 Τα Δεδομένα της Ελληνικής Πυροσβεστικής Υπηρεσίας... 56 4.3.6 Τα Δεδομένα των Καλλικρατικών Δήμων.... 57 4.3.7 Η Διασυνδεσιμότητα του Ελληνικού LOD Cloud... 57 5. Η Αρχιτεκτονική της Εφαρμογής... 59 5.1 Ο Σκοπός της Εφαρμογής... 59 5.2 Ο Σχεδιασμός της Εφαρμογής... 59 5.3 Επιλογή Πλατφόρμας Ανάπτυξης και Λειτουργίας για την Εφαρμογή... 60 5.4 Επιλογή Συνόλου Δεδομένων για τον Ορισμό των POIs... 62 6. Υλοποίηση και Επίδειξη της Εφαρμογής... 65 6.1 Προσδιορισμός της Τοποθεσίας του χρήστη... 65 6.2 Ο RDF Content Provider... 66 6.3 Η Εξαγωγή Πληροφοριών με SPARQL Ερωτήματα... 67 6.4 Λειτουργία της Εφαρμογής... 71 16
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα 7. Μελλοντικές Επεκτάσεις και Συμπεράσματα... 75 7.1 Οι Μελλοντικές Επεκτάσεις της Εφαρμογής... 75 7.2 Συμπεράσματα από τη Χρήση των Linked Data σε end-user Εφαρμογές... 75 7.3 Η Συνεισφορά της Διπλωματικής... 76 Βιβλιογραφία... 77 Παραρτήματα... 83 Παράρτημα Α... 83 Το Manifest αρχείο της εφαρμογής (ΑndroidΜanifest.xml)... 83 Παράρτημα B... 84 Ο Κώδικας java για την εύρεση της γεωγραφικής θέσης... 84 17
Καράλης Αντώνιος 18
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα Κατάλογος Σχημάτων Σχήμα 1. Τα URIs ως γενίκευση των URLs & URNs...25 Σχήμα 2. Διαπραγμάτευση περιεχομένου (TCN) [44]...26 Σχήμα 3. RDF γράφος που περιγράφει την οντότητα Eric Miller [40]...27 Σχήμα 4. Το LOD Cloud και το Ελληνικό τμήμα του, Σεπτέμβριος 2011...29 Σχήμα 5. RDF τριάδα για την αντιστοίχιση του ΑΠΘ στη γεωγραφική του θέση...31 Σχήμα 6. Ολοκληρωμένη Θεώρηση των Linked Data...34 Σχήμα 7. Δομημένη πληροφορία στη Wikipedia...36 Σχήμα 8. Η Λειτουργική δομή της DBpedia ως προς την εξαγωγή πληροφορίας (DIEF)...37 Σχήμα 9.Το infobox και η αντίστοιχη εξαγόμενη πληροφορία για το ΑΠΘ....38 Σχήμα 10. Η DBpedia Mobile...41 Σχήμα 11. Σχέσεις ανάμεσα σε OWL, XML και RDF όπως εμφανίζονται στον RelFinder...41 Σχήμα 12. Το DBpedia Spotlight...42 Σχήμα 13. Η Διεθνοποιημένη (Internationalized I18n) έκδοση του DIEF [36]...44 Σχήμα 14. Το Γραφικό περιβάλλον του I18n DBpedia Mapping Tool...46 Σχήμα 15. Παράδειγμα κουίζ με κρεμάλα στο SWG...47 Σχήμα 16. Παράδειγμα εμφάνισης γεωγραφικής θέσης σχολείων στους χάρτες του geodata.gov.gr...52 Σχήμα 17. Η Ελληνική DBpedia στο LOD Cloud...55 Σχήμα 18. Δαπάνες ανά Ταμείο όπως οπτικοποιούνται από τα δεδομένα της Διαύγειας...56 Σχήμα 19. Η αρχιτεκτονική της εφαρμογής...60 Σχήμα 20. Η εικονική συσκευή Android...61 Σχήμα 21. Εγκλήματα ανά κατηγορία στο Σαν Αντόνιο (Τέξας) για μια συγκεκριμένη χρονική περίοδο..63 Σχήμα 22. Σχηματική αναπαράσταση της αρχικής λειτουργίας της εφαρμογής...69 Σχήμα 23. Η εφαρμογή DBpedia Droid εγκατεστημένη στην εικονική Android συσκευή (AVD)...71 Σχήμα 24. Ο χάρτης της περιοχής στην εκκίνηση της εφαρμογής...71 Σχήμα 25. Η εφαρμογή εμφανίζει τα POIs που ανακτήθηκαν στο χάρτη...72 Σχήμα 26. Ο χρήστης έχει επιλέξει τον Λευκό Πύργο. Εμφανίζεται η περιγραφή και σύνδεσμοι προς τη Βικιπαίδεια, την Ελληνική DBpedia και την υπηρεσία flickrwrappr...72 Σχήμα 27. Η σελίδα resource Λευκός_Πύργος της DBpedia...73 Σχήμα 28. Η υπηρεσία flickrwrappr προβάλλει σχετικές φωτογραφίες...73 Κατάλογος Πινάκων Πίνακας 1. Ακρωνύμια & Συντομεύσεις...20 Πίνακας 2. To μοντέλο 5 αστέρων για τα Ανοικτά Δεδομένα...28 Πίνακας 3. Η κατάσταση του LOD Cloud...30 Πίνακας 4. Η διασυνδεσιμότητα του Ελληνικού LOD Cloud...58 Πίνακας 5. Η Γεωχωρική Πληροφορία του Ελληνικού LOD Cloud...62 Πίνακας 6. Σημεία ενδιαφέροντος κοντά στο Αριστοτέλειο Πανεπιστήμιο...68 19
Καράλης Αντώνιος Ακρωνύμια & Συντομεύσεις API CKAN DIEF GPS HTML HTTP IRI LOD OKFN OWL POI RDF SDK SKOS SPARQL URI WWW Application Programming Interface Comprehensive Knowledge Archive Network DBpedia Information Extraction Framework Global Positioning System Hypertext Markup Language Hypertext Transfer Protocol Internationalized Resource Identifier Linked Open Data Open Knowledge Foundation Web Ontology Language Point of Interest Resource Description Framework Software Development Kit Simple Knowledge Organization System SPARQL Protocol and RDF Query Language Uniform Resource Identifier World Wide Web Πίνακας 1. Ακρωνύμια & Συντομεύσεις. 20
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα 1. Εισαγωγή Το μεγαλύτερο μερίδιο στη ενημέρωση των πολιτών τα τελευταία χρόνια κατέχει ο Παγκόσμιος Ιστός. Καθώς η πρόσβαση στον Παγκόσμιο Ιστό γίνεται μέσα από υπολογιστές θα φάνταζε αυτονόητο η βασική επεξεργασία των πληροφοριών που καταναλώνουμε ως άνθρωποι να γίνεται από τους ίδιους τους υπολογιστές, ώστε να μπαίνει με αυτοματοποιημένο τρόπο μια τάξη στο πληροφοριακό χάος. Μια από τις τεχνολογίες που υπόσχονται να πετύχουν ακριβώς αυτό, είναι τα Συνδεδεμένα Δεδομένα (Linked Data). Τα οφέλη των Linked Data έγιναν γρήγορα αντιληπτά διεθνώς και ήδη κυβερνήσεις, οργανισμοί και επιστημονικά ιδρύματα σπεύδουν να δημοσιεύσουν τα δεδομένα τους σ αυτή τη μορφή. Ανάλογα προγράμματα δημοσίευσης Linked Data έχουν ξεκινήσει και στην Ελλάδα κυρίως ως ερευνητικές προσπάθειες. Προκειμένου όμως τα οφέλη που συνεπάγονται τα Linked Data να γίνουν ευρύτερα γνωστά, θα πρέπει να δημιουργηθούν καινοτόμες, πλούσιες σε περιεχόμενο εφαρμογές που να εκμεταλλεύονται τις σημασιολογικές δυνατότητες που προσφέρει η χρήση τους. Ο σκοπός της παρούσας διπλωματικής εργασίας είναι να εξερευνήσει τις δυνατότητες που δίνουν τα Linked Data στον απλό χρήστη ώστε να του προσφέρουν μια πλούσια σε περιεχόμενο εμπειρία περιήγησης στις πληροφορίες που τον περιβάλλουν. Για την επίτευξη αυτού του στόχου μελετούμε και αναπτύσσουμε μια εφαρμογή για έξυπνα κινητά που θα βρίσκει τη γεωγραφική θέση του χρήστη και θα αντλεί Linked Data αναφορικά με τις οντότητες που τον περιβάλλουν, ενισχύοντας έτσι σημασιολογικά τη φυσική και εικονική του περιήγηση. Η εργασία αυτή δομείται ως εξής: Στο κεφάλαιο 2 περιγράφονται οι βασικές αρχές των Linked Data και η τεχνολογία που τα αφορά και παρουσιάζεται το LOD Project που έχει σκοπό την δημιουργία ενός παγκόσμιου Ιστού Συνδεδεμένων Δεδομένων. Αναφέρονται επίσης τα γεωχωρικά (Geospatial) Linked Data μια και αφορούν άμεσα τη μελετώμενη εφαρμογή. Στο κεφάλαιο 3 αναλύεται εκτενώς η DBpedia ως πυρήνας του LOD Cloud. Παρουσιάζεται ο μηχανισμός εξαγωγής πληροφορίας που χρησιμοποιεί και η γνωσιακή βάση που έχει δημιουργήσει καθώς και εφαρμογές που τη χρησιμοποιούν. 21
Καράλης Αντώνιος Αναφερόμαστε στην διεθνοποίηση της DBpedia που έκανε δυνατή τη δημιουργία της όχι μόνο στα ελληνικά, αλλά και σε άλλες γλώσσες και ο αντίκτυπος που είχε η προσπάθεια αυτή. Στο κεφάλαιο 4 μελετούμε τα Ανοικτά και τα Συνδεδεμένα Ανοικτά Δεδομένα, διεθνώς και στην Ελλάδα, και παρουσιάζουμε την παρούσα κατάσταση του Ελληνικού LOD Cloud παρέχοντας συνολικά στοιχεία για τη διασυνδεσιμότητά του. Στο κεφάλαιο 5 παρουσιάζουμε την αρχιτεκτονική της εφαρμογής, το σκοπό και τις σχεδιαστικές αρχές πάνω στις οποίες πραγματοποιείται. Περιγράφουμε τους λόγους επιλογής της Android πλατφόρμας ανάπτυξης και αναλύουμε από άποψη γεωχωρικής πληροφορίας τα dataset του ελληνικού LOD Cloud. Στο κεφάλαιο 6 αναπτύσσεται η εφαρμογή, οι μέθοδοι που χρησιμοποιούνται για την εύρεση της τοποθεσίας του χρήστη και η δόμηση τους σε RDF. Παρατίθεται η κωδικοποίηση των SPARQL ερωτημάτων για τη λήψη δεδομένων των οντοτήτων που βρίσκονται κοντά στον χρήστη. Τέλος περιγράφεται η λειτουργία της εφαρμογής κι δίνονται αντίστοιχα ενδεικτικά στιγμιότυπα από την εκτέλεση της. Τέλος, στο κεφάλαιο 7, παρουσιάζονται οι δυνατότητες επέκτασής της εφαρμογής και τα συμπεράσματα που προέκυψαν από τη διαδικασία ανάπτυξής της. 22
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα 2. Συνδεδεμένα Δεδομένα (Linked Data) Η ποσότητα των πληροφοριών που διατίθενται στον Παγκόσμιο Ιστό (www) τη σημερινή εποχή αυξάνεται εκθετικά. Καθημερινά προστίθεται ένας τεράστιος όγκος νέων πληροφοριών με αποτέλεσμα να γίνεται συνεχώς δυσκολότερο για κάποιον να βρει αυτό που πραγματικά ψάχνει.. Οι χρήστες του Ιστού έχουν στη διάθεσή τους εργαλεία όπως οι μηχανές αναζήτησης για ανεύρεση εγγράφων (web documents) ή τα Web APIs για αναζήτηση σε βάσεις δεδομένων, όμως καθώς η δομική γλώσσα του Ιστού, η HTML, είναι απλά γλώσσα παρουσίασης, οι πληροφορίες που συνήθως επιστρέφονται, δεν μπορούν να αναλυθούν περεταίρω από τους υπολογιστές ώστε να καταλάβουν τι ακριβώς θέλουμε. Έτσι καθίσταται πολύ δύσκολο το να θέτουμε σύνθετα ερωτήματα του στυλ: «ποιο εστιατόριο, σε ακτίνα 10 km από το σπίτι μου, προσφέρει ιταλική κουζίνα με τιμές κάτω από 20 το άτομο και έχει πάρει καλές κριτικές από τους πελάτες του;» Οι υπολογιστές δεν μπορούν να απαντήσουν σε τέτοια ερωτήματα καθώς έχουν περιορισμένη πρόσβαση στις περισσότερες πηγές (όπως πληροφορίες που βρίσκονται αποθηκευμένες σε βάσεις δεδομένων) ενώ στερούνται τη σημασιολογική κατανόηση και την κοινή λογική για να χτίσουν γέφυρες μεταξύ των πληροφοριών. Μπορούμε να συμπεράνουμε λοιπόν ότι η αύξηση της διαθέσιμης πληροφορίας δεν έχει επιφέρει και ανάλογη αύξηση της γνώσης μας σχετικά με τις πληροφορίες αυτές. Είναι ζωτικής σημασίας επομένως για τους υπολογιστές να αποκτήσουν ένα νέο επίπεδο κατανόησης. Αντί στατιστικά να υπολογίζουν πόσο καλά ένας όρος αναζήτησης αντιστοιχεί σε ένα έγγραφο, πρέπει κυριολεκτικά να είναι σε θέση να κατανοήσουν. Αυτό προϋποθέτει οι πηγές της πληροφορίας να δομούνται σημασιολογικά και να συνδέονται μεταξύ τους. Αυτό ακριβώς είναι το όραμα του Σημασιολογικού Ιστού (Semantic Web) που είναι μια επέκταση του Ιστού, όπου στην πληροφορία δίνεται σαφώς ορισμένο νόημα μέσω μεταδεδομένων (metadata) με σκοπό να είναι ερμηνεύσιμη από τους υπολογιστές [10]. Χρησιμοποιώντας μεταδεδομένα που είναι κοινά για όλους, μπορούν πλέον να συνδεθούν στον Ιστό δεδομένα, όχι μόνο μέσα από ιστοσελίδες αλλά και από βάσεις δεδομένων (δημόσιες ή ιδιόκτητες), άσχετα από το αν έχουν διαφορετική σχεδίαση. Περνάμε λοιπόν από τη λογική της παρουσίασης στη λογική της σύνδεσης δεδομένων, 23
Καράλης Αντώνιος ή διαφορετικά από τον Ιστό των εγγράφων (Web of Documents) στον Ιστό των Δεδομένων (Web of Data). Τα Συνδεδεμένα Δεδομένα (Linked Data) αποτελούν μια μέθοδο δημοσίευσης και διασύνδεσης δομημένων δεδομένων υλοποιώντας έτσι τον Ιστό των Δεδομένων. Τα Linked Data είναι δεδομένα δημοσιευμένα στον Ιστό, με τέτοιο τρόπο ώστε να είναι ερμηνεύσιμα από υπολογιστές, να έχουν ρητά καθορισμένο νόημα, να συνδέονται με άλλα εξωτερικά σύνολα δεδομένων (datasets) και άλλα σύνολα δεδομένων να μπορούν να συνδεθούν σ αυτά [12]. 2.1 Βασικές Αρχές των Συνδεδεμένων Δεδομένων Οι πληροφορίες που βρίσκονται δημοσιευμένες στον Ιστό περιέχονται σε έγγραφα ιστοσελίδες, γραμμένες σε HTML γλώσσα και συνδέονται μεταξύ τους με υπερσυνδέσμους (links) γραμμένους επίσης σε HTML. Οι HTML υπερσύνδεσμοι επισημαίνουν ότι δύο έγγραφα συνδέονται μεταξύ τους χωρίς όμως να προσδιορίζουν τη φύση της σχέσης αυτής. Τα Συνδεδεμένα Δεδομένα χρησιμοποιούν το RDF πρότυπο βάση του οποίου μπορούν να περιγραφούν και να συνδεθούν όχι μόνο έγγραφα αλλά οποιεσδήποτε οντότητες (όπως πρόσωπα, τοποθεσίες ή αφηρημένες έννοιες), ενώ και οι σύνδεσμοι καθορίζουν επακριβώς το είδος της σχέσης (typed links) [29]. Για τον προσδιορισμό των αντικειμένων χρησιμοποιούνται τα URIs. Για τη δημοσίευση συνδεδεμένων δεδομένων στον Ιστό, ο δημιουργός του, Tim Berners-Lee, και το W3C έχουν καθορίσει το εξής σύνολο κανόνων [8]: Χρήση URIs ως ονόματα για τον προσδιορισμό οποιασδήποτε οντότητας. Χρήση HTTP URIs ώστε οι άνθρωποι να μπορούν τα αναζητήσουν και να αναφέρονται στα ονόματα αυτά των οντοτήτων. Όταν κάποιος αναφέρεται σ ένα URI να παρέχεται χρήσιμη πληροφορία κάνοντας χρήση των προτύπων (RDF, SPARQL). Να συμπεριλαμβάνονται σύνδεσμοι προς άλλα URIs, ώστε να καθίσταται δυνατή η ανακάλυψη επιπλέον πραγμάτων. 2.2 Τα Δομικά Συστατικά των Συνδεδεμένων Δεδομένων. Όπως είναι φανερό από τις βασικές αρχές των Συνδεδεμένων Δεδομένων που περιγράφονται παραπάνω, αυτά βασίζονται σε μια σειρά από τεχνολογίες και πρότυπα που είναι θεμελιώδη στον Ιστό καθώς το ζητούμενο δεν είναι να τον εφεύρουν ξανά 24
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα από την αρχή αλλά να χτιστούν πάνω σε ήδη υπάρχουσες (και δοκιμασμένες) τεχνολογίες που βοήθησαν στην επιτυχία του, και διατηρώντας την υποδομή, να συμβάλλουν στην μετάβαση στην επόμενη γενιά του Ιστού και στο όραμα του Σημασιολογικού Ιστού [30]. 2.2.1 URIs Ένα URI (Uniform Resource Identifier) είναι μια σειρά από χαρακτήρες που χρησιμοποιείται για να προσδιορίσει ένα όνομα ή ένα πόρο [11]. Σε αντίθεση με τα γνωστά URL (Uniform Resource Locator) που χρησιμοποιούνται ως διευθύνσεις για έγγραφα στον Ιστό, τα URIs παρέχουν μια πιο γενική μέθοδο για να προσδιοριστεί οποιαδήποτε οντότητα, είτε αφορά ένα έγγραφο του Ιστού είτε κάποιο άτομο του πραγματικού κόσμου είτε μια αφηρημένη έννοια. Σχήμα 1. Τα URIs ως γενίκευση των URLs & URNs 1 Έτσι λοιπόν ενώ ένα URN (Uniform Resource Name) προσδιορίζει την ταυτότητα ενός αντικειμένου και ένα URL τη μέθοδο πρόσβασης στο αντικείμενο αυτό, το URI αποτελεί γενίκευση τους και όπως φαίνεται στο Σχήμα 1 μπορεί να είναι είτε το ένα είτε το άλλο ή ακόμη και τα δύο. 2.2.2 HTTP URIs Τα Συνδεδεμένα Δεδομένα προϋποθέτουν τα URIs που προσδιορίζουν οντότητες να χρησιμοποιούν το σχήμα http:// ώστε να είναι εντοπίσιμα (dereferenceable) στον Ιστό μέσω του HTTP πρωτοκόλλου [11]. Το πρωτόκολλο HTTP εξασφαλίζει έναν καθολικό μηχανισμό ανάκτησης του πόρου που προσδιορίζει το αντίστοιχο URΙ, επιστρέφοντας ένα αντίγραφο του πόρου, αν πρόκειται για κάποιο έγγραφο στον Ιστό που προορίζεται για ανθρώπους (συνήθως σε HTML μορφή) ή μια αναπαράσταση του πόρου (τα δεδομένα που τον περιγράφουν σε μορφή δομημένων RDF δεδομένων) αν πρόκειται για κάποια οντότητα του πραγματικού κόσμου που προορίζεται για 1 http://en.wikipedia.org/wiki/uri 25
Καράλης Αντώνιος κατανάλωση από υπολογιστές. Η διάκριση στο περιεχόμενο αυτό γίνεται μέσω ενός μηχανισμού του HTTP που ονομάζεται διαπραγμάτευση περιεχομένου (TCN Transparent Content Negotiation) [33] και απεικονίζεται στο Σχήμα 2. Σχήμα 2. Διαπραγμάτευση περιεχομένου (TCN) [44] Στην περίπτωση που κάποιο URI προσδιορίζει οντότητα του πραγματικού κόσμου μπορεί να γίνει χρήση Hash URI είτε 303 URI με τα πρώτα να προτιμούνται για μικρά, σταθερού πλήθους σύνολα οντοτήτων ενώ τα δεύτερα για μεγαλύτερα, δυναμικά σύνολα [44]. Σε κάθε περίπτωση, και ανεξάρτητα από την προσέγγιση που επιλέγεται (303 vs Hash), τα URIs που επιλέγονται για να προσδιορίσουν οντότητες θα πρέπει να είναι: απλά, σταθερά και εύκολα διαχειρίσιμα [44]. 2.2.3 RDF Το RDF πρότυπο αναπαριστά τα δεδομένα σαν τριάδες (triples) της μορφής υποκείμενο, κατηγόρημα, αντικείμενο ( subject, predicate, object ) [34]. Τόσο το υποκείμενο όσο και το αντικείμενο είναι URIs που προσδιορίζουν οντότητες ή οντότητα και μια λεκτική τιμή αντίστοιχα. Το κατηγόρημα είναι κι αυτό ένα URI που προέρχεται συνήθως από ευρέως χρησιμοποιούμενα λεξιλόγια (vocabularies) και προσδιορίζει τη σχέση ανάμεσα σε υποκείμενο και αντικείμενο [40]. Τα λεξιλόγια είναι σύνολα από URIs (όπως το FOAF ή το SKOS) που χρησιμοποιούνται για να προσδιορίζουν είδη συσχετίσεων σε συγκεκριμένα θεματικά πεδία [29]. Έτσι καθώς οι οντότητες συνδέονται μεταξύ τους μέσω τριάδων και με άλλες οντότητες, μέσω διαφορετικών τριάδων, σχηματίζεται ένας κατευθυντικός γράφος δεδομένων, όπου οι κόμβοι αντιστοιχούν σε υποκείμενα και αντικείμενα και οι μεταξύ τους σύνδεσμοι στα κατηγορήματα. Ο γράφος αυτός αναπαριστά έναν εν δυνάμει καθολικό χώρο δεδομένων (global data space) [29] όπου η αναζήτηση δεδομένων και οντοτήτων γίνεται μέσω της περιήγησης στους κόμβους και τις ακμές του. 26
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα Στο Σχήμα 3 απεικονίζεται ένας τέτοιος RDF γράφος για το URI υποκείμενο Eric Miller, τις ιδιότητές του, που προσδιορίζονται επίσης με URIs, και τις τιμές τους που είναι είτε URIs είτε λεκτικές (π.χ. η τιμή για την ιδιότητα Τίτλος είναι Dr. ). Σχήμα 3. RDF γράφος που περιγράφει την οντότητα Eric Miller [40] 2.2.4 SPARQL Η SPARQL τέλος που αναφέρεται στις βασικές αρχές των Linked Data περιγράφει ένα πρωτόκολλο και μια γλώσσα ερωτημάτων και είναι για τα δεδομένα RDF το αντίστοιχο της SQL για τις σχεσιακές βάσεις δεδομένων [42]. Οι διαφορές τους οφείλονται κυρίως στην φύση των δεδομένων καθώς δεν υπάρχουν πλέον πίνακες με στήλες που αντιστοιχούν σε ιδιότητες και γραμμές που αντιστοιχούν σε οντότητες, αλλά ένας γράφος όπου τα δεδομένα συνδέονται μεταξύ τους μέσω των τριάδων. 2.3 Από τα Ανοικτά στα Συνδεδεμένα Ανοικτά Δεδομένα Τα Συνδεδεμένα Δεδομένα δεν είναι κατ ανάγκη και ανοικτά, παρόλο που οι δύο όροι τείνουν να συγχέονται. Τα Συνδεδεμένα Δεδομένα μπορεί να αφορούν και ιδιόκτητα δεδομένα επιχειρήσεων καθώς υπάρχει μια σειρά από οφέλη για τη δημοσίευση επιχειρηματικών δεδομένων σε μορφή Linked Data [49]. Μάλιστα χρησιμοποιείται ο όρος LED (Linked Enterprise Data) για να τα διακρίνει από τα LOD (Linked Open Data). Ως Ανοικτά Δεδομένα (Open Data) εννοούμε δεδομένα που είναι (ή τουλάχιστον θα έπρεπε να είναι) ελεύθερα διαθέσιμα σε καθένα να τα χρησιμοποιήσει και να τα αναπαράγει χωρίς περιορισμούς από άδειες χρήσης και δικαιώματα. Ανοικτά δεδομένα μπορεί να διαθέσει οποιοσδήποτε (άτομο, εταιρεία ή οργανισμός) καθώς υπάρχουν 27
Καράλης Αντώνιος σημαντικά προσδοκώμενα οφέλη ανά περίπτωση [4]. Ένα βασικό κομμάτι αφορά βέβαια τα κυβερνητικά δεδομένα (στοιχεία της Δημόσιας Διοίκησης, αποφάσεις νομικής ή οικονομικής φύσης κ.τ.λ.) που θα έπρεπε να είναι ελεύθερα διαθέσιμα μια και αφορούν άμεσα τους πολίτες. Η διάθεση ανοικτών δεδομένων, εκτός από συμβατική υποχρέωση για τις (δημοκρατικά εκλεγμένες) κυβερνήσεις, έχει δειχθεί ότι προάγει τη δημοκρατία, τις μεταρρυθμίσεις και τη δημιουργία καινοτόμων υπηρεσιών, αποκεντρωμένων τις περισσότερες φορές, προσδίδοντας έτσι προστιθέμενη αξία στα δεδομένα αυτά [20][24]. Για να διευκολύνει την αξιολόγηση των ανοικτών δεδομένων, ο Tim Berners-Lee έχει προτείνει ένα μοντέλο 5 αστέρων ώστε να καταγράφεται η αξία τους σαν συνάρτηση των δυνατοτήτων τους και της ευκολίας χρήσης τους από τους χρήστες [8]. Το μοντέλο είναι αθροιστικό, δηλαδή κάθε βήμα-αστέρι προϋποθέτει την ύπαρξη των προηγουμένων. Τα δεδομένα (με οποιαδήποτε μορφή) διατίθεται στον Ιστό με μια ανοικτή άδεια Τα δεδομένα διατίθενται σε δομημένη μορφή (π.χ. Excel αντί μια σαρωμένη εικόνα ενός πίνακα Η δομημένη μορφή διάθεσης των δεδομένων να μην είναι ιδιόκτητη (π.χ. CSV αντί για Microsoft Excel) Χρήση ανοικτών προτύπων του W3C (URI, RDF, SPARQL) ώστε να είναι επισημάνσιμα από τους ανθρώπους Σύνδεση των Δεδομένων με άλλα δεδομένα ώστε να τους παρέχεται το σημασιολογικό πλαίσιο Πίνακας 2. To μοντέλο 5 αστέρων για τα Ανοικτά Δεδομένα Για να επωφεληθούμε πλήρως από τα ανοικτά δεδομένα, είναι σημαντικό να τους παρέχεται ένα πλαίσιο που παράγει νέα γνώση και να διευκολύνει την ανάπτυξη καινοτόμων και δυναμικών υπηρεσιών και εφαρμογών και αυτό είναι ακριβώς που πετυχαίνουν τα ανοικτά συνδεδεμένα δεδομένα. 2.4 Το Linking Open Data Project και το LOD Cloud Καθώς αρκετοί οργανισμοί και επιχειρήσεις (UK Government, NY Times, BBC) άρχισαν να ενδιαφέρονται για τη διάθεση των δεδομένων τους ως συνδεδεμένα ανοικτά δεδομένα στον Ιστό, το W3C ξεκίνησε το 2007 ένα ανοικτό πρόγραμμα μέσω της 28
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα ομάδας SWEO (Semantic Web Education and Outreach Interest Group) 2, με σκοπό να συμβάλλει στη δημοσίευση όσο το δυνατόν μεγαλύτερου πλήθους συνδεδεμένων δεδομένων στον Ιστό. Έκτοτε το πρόγραμμα LOD έχει εμπλουτίσει τον Ιστό με ένα μεγάλο αριθμό ανοικτών συνόλων συνδεδεμένων δεδομένων και έχει αναπτύξει αυτοματοποιημένους μηχανισμούς για να τα διασυνδέσει, έτσι ώστε με τη χρήση κατάλληλων εργαλείων να είναι δυνατή η περιήγηση και η ανακάλυψη δεδομένων από διαφορετικές πηγές [47][48]. Το πρόγραμμα είναι ανοικτό που σημαίνει ότι οποιοσδήποτε μπορεί να δημοσιεύσει δεδομένα, με την προϋπόθεση να τηρεί τις βασικές αρχές των Linked Data. Καθώς συνεχώς νέα σύνολα δημοσιεύονται και διασυνδέονται, έχει δημιουργηθεί ένας Ιστός Διασυνδεδεμένων Συνόλων Ανοικτών Δεδομένων που καλείται Νέφος (LOD Cloud). Tο Σχήμα 4 απεικονίζει την τελευταία ενημέρωση (Σεπ 2011) του διαγράμματος του LOD Cloud [21] και βασίζεται σε μεταδεδομένα που αφορούν τα συνδεδεμένα σύνολα και συλλέγονται και επιμελούνται από το CKAN 3, ένα μητρώο από ανοικτά datasets και projects σχετικά με την ανοικτή γνώση. Greek LOD Cloud Σχήμα 4. Το LOD Cloud και το Ελληνικό τμήμα του, Σεπτέμβριος 2011 2 http://www.w3.org/wiki/sweoig/taskforces/communityprojects/linkingopendata 3 http://ckan.net/ 29
Καράλης Αντώνιος Τα βέλη στο διάγραμμα σημειώνουν τη ύπαρξη συνδέσμων ανάμεσα σε δεδομένα των αντίστοιχων συνόλων και το πάχος τους είναι συνάρτηση του πλήθους των συνδέσμων αυτών. Τα αμφίδρομα βέλη σημειώνουν εξερχόμενους συνδέσμους από και προς τα αντίστοιχα σύνολα. Όπως φαίνεται εύκολα, υπάρχουν datasets (όπως η DBpedia, το GeoNames και το ACM) που λειτουργούν σαν κόμβοι (hubs) αναφοράς στο LOD Cloud, καθώς περιγράφουν ένα μεγάλο πλήθος οντοτήτων και εννοιών και λειτουργούν ως γενικοί σύνδεσμοι ανάμεσα σε δεδομένα από πιο εξειδικευμένες πηγές. Στο διάγραμμα ακόμη σημειώνονται τα πρώτα ελληνικά σύνολα Linked Data (Greek DBpedia, Hellenic Police, Hellenic Fire Department) που αναμένεται να εμπλουτιστούν με νέα δεδομένα στην επόμενη απεικόνιση του LOD Cloud. Η τρέχουσα κατάσταση του LOD Cloud περιλαμβάνει 295 datasets που καλύπτουν ένα μεγάλο φάσμα θεματικών πεδίων (διακρίνονται μεταξύ του χρωματικά), περιλαμβάνουν πάνω από 31 δισεκατομμύρια τριάδες (triples) και διασυνδέονται με πάνω από 504 εκατομμύρια RDF συνδέσμους [21]. Αναλυτικά στοιχεία δίνονται στον Πίνακα 3 [14]. Θεματικό Πεδίο Πλήθος Datasets Τριάδες Ποσοστό επί των Τριάδων Εξερχόμενοι Σύνδεσμοι Ποσοστό επί των Συνδέσμων ΜΜΕ 25 1,841,852,061 5.82 % 50,440,705 10.01 % Γεωγραφικά 31 6,145,532,484 19.43 % 35,812,328 7.11 % Κυβερνητικά 49 13,315,009,400 42.09 % 19,343,519 3.84 % Δημοσιεύσεις 87 2,950,720,693 9.33 % 139,925,218 27.76 % Διαθεματικά 41 4,184,635,715 13.23 % 63,183,065 12.54 % Επιστήμες Ζωής 41 3,036,336,004 9.60 % 191,844,090 38.06 % Περιεχόμενο παραγόμενο από χρήστες 20 134,127,413 0.42 % 3,449,143 0.68 % 295 31,634,213,770 503,998,829 Πίνακας 3. Η κατάσταση του LOD Cloud 2.5 Γεωχωρικά (Geospatial) Συνδεδεμένα Δεδομένα Όπως φαίνεται και από το διάγραμμα του LOD Cloud μια σημαντική κατηγορία Συνδεδεμένων Δεδομένων είναι τα γεωγραφικά ή γεωχωρικά (geospatial). Αυτά 30
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα ορίζουν το Γεωχωρικό Σημασιολογικό Ιστό (Geospatial Semantic Web), μια επέκταση του Ιστού με σκοπό να παρέχει γεωχωρικές πληροφορίες για οντότητες του πραγματικού κόσμου (GIS δεδομένα όπως συντεταγμένες, χάρτες, πληροφορίες για τοποθεσίες ενδιαφέροντος κ.τ.λ.) σε δομημένη μορφή, επεξεργάσιμη από υπολογιστές [2]. Έτσι μπορούν να αντιστοιχηθούν οι οντότητες αυτές με τη πραγματική τους θέση στον κόσμο και να παρέχονται πληροφορίες σε εφαρμογές και υπηρεσίες που βασίζονται στη γεωγραφική θέση [2][7]. Στο Σχήμα 5 φαίνεται η RDF τριάδα που εξάγεται από το dataset της ελληνικής DBpedia και αντιστοιχίζει την οντότητα Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης (subject URI: http://dbpedia.org/resource/aristotle_university_of_thessaloniki ) στις γεωγραφικές του συντεταγμένες (object literal: 40.63 22.958055555555557 ) μέσω του συνδέσμου http://www.georss.org/georss/point (predicate URI) που λαμβάνεται από το Basic Geo λεξιλόγιο για να ονομάσει τη σχέση έχει γεωγραφική θέση. Σχήμα 5. RDF τριάδα για την αντιστοίχιση του ΑΠΘ στη γεωγραφική του θέση Τα πλέον σημαντικά σύνολα Γεωχωρικών Συνδεδεμένων Δεδομένων είναι το Geonames 4, μία ανοικτή γεωγραφική βάση δεδομένων που περιέχει πάνω από 10 εκατομμύρια γεωγραφικά ονόματα και το LinkedGeoData 5, μια έκδοση του OpenStreetMap σε μορφή Linked Data, με πάνω από ένα δισεκατομμύριο κόμβους. Τα δύο αυτά dataset παίζουν βασικό ρόλο ως σημεία αναφοράς για τη διασύνδεση άλλων πηγών που θέλουν να έχουν πρόσβαση σε γεωχωρική πληροφορία. 2.6 Εργαλεία και Εφαρμογές πάνω στα Συνδεδεμένα Δεδομένα Καθώς το Νέφος των Linked Data εμπλουτίζεται συνεχώς με νέα σύνολα δεδομένων, αναπτύσσεται ταυτόχρονα μια σειρά από σχετικές υπηρεσίες και εφαρμογές. Αυτές αφορούν δυο βασικές θεωρήσεις των Linked Data, την δημοσίευση - 4 http://www.geonames.org/about.html 5 http://linkedgeodata.org/about 31
Καράλης Αντώνιος παραγωγή και την αξιοποίηση - κατανάλωσή τους. Παρόλο που εκ πρώτης όψεως οι δύο αυτές θεωρήσεις φαίνονται ανεξάρτητες μεταξύ τους, στην πραγματικότητα αλληλοεπηρεάζονται, καθώς η δημοσίευση σωστά δομημένων, πλούσιων σε πληροφορία και εμπλουτισμένων με μεταδεδομένα Linked Data, διευκολύνει την ανάπτυξη καινοτόμων δυναμικών εφαρμογών πάνω σ αυτά, ενώ από την άλλη η ύπαρξη αποτελεσματικών εφαρμογών βασισμένων στα Linked Data, λειτουργεί ως παράδειγμα για οποιονδήποτε ενδιαφερόμενο (οργανισμό, εταιρεία, κυβέρνηση) να δομήσει και να δημοσιεύσει τα δεδομένα που κατέχει, σ αυτή τη μορφή [28]. 2.6.1 Εργαλεία Δημοσίευσης Συνδεδεμένων Δεδομένων Η δημοσίευση αφορά τη διαδικασία της μετατροπής οποιουδήποτε συνόλου δομημένων δεδομένων σε RDF μορφή και της διασύνδεσής τους με άλλα datasets. Αρκετές από τις βασικές αρχές των Linked Data αφορούν θέματα σχεδιασμού των δεδομένων και όχι αυτοματοποιημένες διαδικασίες που μπορούν να προγραμματιστούν, όπως ο σχεδιασμός του URI χώρου του dataset ή η χρήση υπαρχόντων λεξιλογίων ώστε να αποφεύγεται η δημιουργία νέας ορολογίας [29]. Υπάρχουν παρόλα αυτά αρκετά εργαλεία για μετατροπή δομημένων (XML) ή μη αρχείων σε RDF μορφή (RDFising) 6, για αυτοματοποιημένη διασύνδεση μεταξύ οντοτήτων διαφορετικών dataset βάσει κάποιων καθοριζόμενων κανόνων όπως το Silk [48] και για έλεγχο και επικύρωση Linked Data όπως η online υπηρεσία Vapour 7. Ένας σημαντικός αριθμός εργαλείων επίσης έχει αναπτυχθεί για τη διάθεση RDF συνόλων στον Ιστό με τη μορφή Linked Data καθώς και για τη μετατροπή συνόλων δεδομένων που βρίσκονται σε άλλες μορφές (όπως σχεσιακές βάσεις δεδομένων) σε RDF. Αναλαμβάνουν για λογαριασμό των εκδοτών τις τεχνικές λεπτομέρειες, όπως τη διαπραγμάτευση περιεχομένου, παρέχουν RDF περιγραφές για τα URIs των οντοτήτων που περιλαμβάνονται στα dataset, ενώ κάποια από αυτά παρέχουν και πρόσβαση στα δεδομένα μέσω SPARQL ερωτημάτων [12]. Από τα πλέον σημαντικά τέτοια εργαλεία είναι ο D2R Server 8, ο Virtuoso Server 9 και το Triplify 10. 6 http://esw.w3.org/topic/convertertordf 7 http://validator.linkeddata.org/vapour 8 http://d2rq.org/d2r-server 9 http://virtuoso.openlinksw.com/ 10 http://triplify.org/overview 32
Περιήγηση στο Ελληνικό LOD Cloud με Γεωγραφικά Δεδομένα 2.6.2 Εργαλεία Κατανάλωσης Συνδεδεμένων Δεδομένων Οι εφαρμογές με τις οποίες μπορούν οι χρήστες να περιηγηθούν στα Linked Data είναι ένα σημαντικό κομμάτι τους καθώς είναι αυτές που δίνουν πρόσβαση σ αυτά και στα μάτια των τελικών χρηστών υλοποιούν το όραμα του Ιστού των Δεδομένων. Μπορούν να κατηγοριοποιηθούν σε Linked Data Browsers, μηχανές αναζήτησης Linked Data και εξειδικευμένες εφαρμογές ανά θεματικό πεδίο. Φυλλομετρητές Linked Data 11 : ενώ οι χρήστες του Ιστού περιηγούνται στις ιστοσελίδες ακολουθώντας συνδέσμους υπερκειμένου, οι Linked Data Browsers επιτρέπουν στους χρήστες να περιηγηθούν ανάμεσα σε πηγές δεδομένων ακολουθώντας RDF συνδέσμους, όπως ο Disco Hyperdata Browser 12, ενώ υπάρχουν και άλλοι όπως ο Tabulator 13 (διαθέσιμος ως επέκταση του Firefox), ο Marbles [7] και ο LinkSailor 14 που ιχνηλατούν την προέλευση των δεδομένων και ομαδοποιούν τα δεδομένα διαφορετικών πηγών που αναφέρονται στην ίδια οντότητα. Μηχανές Αναζήτησης και Ευρετήρια: οι πρώτες αφορούν μηχανές αναζήτησης όπου οι χρήστες αναζητούν δεδομένα βάσει λέξεων κλειδιών κατά παρόμοιο τρόπο με τις συμβατικές μηχανές αναζήτησης, όπως είναι η Falcons 15, ενώ τα ευρετήρια έχουν ως σκοπό να εξυπηρετήσουν κυρίως άλλες Linked Data εφαρμογές ώστε να ανακαλύψουν RDF δεδομένα που αναφέρουν συγκεκριμένα URIs ή περιέχουν συγκεκριμένες λέξεις κλειδιά. Τέτοια ευρετήρια είναι το Sindice 16 και το Swoogle 17. Εξειδικευμένες εφαρμογές: αυτές αφορούν χρηστικές εφαρμογές σε κάποιο συγκεκριμένο θεματικό πεδίο που συνδυάζουν δεδομένα από μια πληθώρα πηγών, όπως είναι η DBpedia Mobile που βασίζεται στην τρέχουσα τοποθεσία του χρήστη για να βρει και να του παρουσιάσει σε χάρτη οντότητες που βρίσκονται κοντά του, δίνοντάς του τη δυνατότητα να περιηγηθεί σ αυτές [5][6]. Ένα άλλο παράδειγμα είναι το Revyu 18 ένα site όπου οι χρήστες μπορούν να δημοσιεύσουν Linked Data απλά γράφοντας κριτικές και αξιολογώντας οντότητες που προέρχονται από άλλες 11 http://browse.semanticweb.org/ 12 http://wifo5-03.informatik.uni-mannheim.de/bizer/ng4j/disco/ 13 http://dig.csail.mit.edu/2005/ajar/release/tabulator/0.8/tab.html 14 http://linksailor.com/nav 15 http://ws.nju.edu.cn/falcons/objectsearch/index.jsp 16 http://sindice.com/ 17 http://swoogle.umbc.edu/ 18 http://revyu.com/ 33
Καράλης Αντώνιος πηγές. Επιπρόσθετα το Revyu, ανακτά από RDF συνδέσμους και παρέχει στο χρήστη πληροφορίες σχετικές με την οντότητα την οποία αξιολογεί ώστε να ενισχύσει την εμπειρία των χρηστών του site. 2.7 Μια Ολοκληρωμένη Θεώρηση των Συνδεδεμένων Δεδομένων Συνοψίζοντας τα παραπάνω, το Σχήμα 6 προσφέρει μια συνολική θεώρηση των Συνδεδεμένων Δεδομένων, τόσο από το θέμα των αδειών χρήσης των δεδομένων, τα θέματα της τεχνολογικής υποδομής στην οποία στηρίζονται, των αρχών και τεχνολογιών υλοποίησης, της δημοσίευσής τους, και στο ανώτερο επίπεδο, των εφαρμογών για την πρόσβαση σ αυτά και των δυνατοτήτων ενσωμάτωσής τους σε άλλες εφαρμογές (mashups) [4]. Σχήμα 6. Ολοκληρωμένη Θεώρηση των Linked Data 34