Εισαγωγή Περιγραφή Προβλήµατος Η προώθηση του ανοίγµατος των ηµόσιων εδοµένων από την ΕΕ, έγινε µε σκοπό την δηµιουργία οικονοµικής ανάπτυξης και θέσε

Transcript

1 Ανοιχτά ηµόσια εδοµένα: Πρωτοβουλίες και Τεχνολογίες Αθανασάκης Γεώργιος Επιβλέποντες Καθηγητές: Ταραµπάνης Κων/νος Ταµπούρης Ευθύµιος Εξεταστές: Μαργαρίτης Κων/νος Κίτσιος Φώτιος

2 Εισαγωγή Περιγραφή Προβλήµατος Η προώθηση του ανοίγµατος των ηµόσιων εδοµένων από την ΕΕ, έγινε µε σκοπό την δηµιουργία οικονοµικής ανάπτυξης και θέσεων εργασίας. Ο συντονισµός των Ευρωπαϊκων κυβερνήσεων µε τις οδηγίες της ΕΕ έφερε πληθώρα δεδοµένων, σε διάφορες µορφές, στο διαδίκτυο προς επαναχρησιµοποίηση Η εργασία ερευνά τους τρόπους δηµοσίευσης των δεδοµένων και τα προβλήµατα τους, και χαρτογραφεί τα δεδοµένα του µε σκοπό την εύρεση κοινών χαρακτηριστικών για την σύνθεσή τους.

3 Εισαγωγή- Στόχοι µελέτης Αντικείµενο µελέτης: - Η βιβλιογραφική µελέτη των ηµόσιων Ανοιχτών εδοµένων και η χαρτογράφηση των συνόλων δεδοµένων του Στόχοι µελέτης : - Η µελέτη των τρόπων της δηµοσίευσης και της επαναχρησιµοποίησης των ηµόσιων Ανοιχτών εδοµένων και των προβληµάτων που προκύπτουν. - Η µελέτη σε βάθος των συνόλων δεδοµένων της πρωτοβουλίας του Ηνωµένου Βασιλείου µε σκοπό την κατηγοριοποίηση τους, την δηµιουργία σχέσεων µεταξύ τους και τελικά την σύνθεση και επαναχρησιµοποίηση τους.

4 Περιεχόµενα Μεθοδολογία Βιβλιογραφική επισκόπηση Παρουσίαση ιστοσελίδας data.gov.uk Αποτελέσµατα Έρευνας Συµπεράσµατα και Προτάσεις για Μελλοντική Έρευνα 4

5 Μεθοδολογία Μεθοδολογία µελέτης περίπτωσης (case study) 1. Σχεδιασµός: i) επιλογή αρχείου µεταδεδοµένων για µελέτη, ii) µελέτη και επεξεργασία του, iii) δηµιουργία δικού µας αρχείου µεταδεδοµένων 2. Προετοιµασία: i) επιλογή Google refine και Excel ως εργαλείων εργασίας, ii) εισαγωγή του αρχείου µεταδεδοµένων στο Google refine 3. Συλλογή: επίσκεψη των συνόλων δεδοµένων, για την συγκέντρωση των απαραίτητων µεταδεδοµένων και την δηµιουργία ενός νέου αρχείου 4. Ανάλυση: i) κατηγοριοποίηση των συνόλων δεδοµένων ii) ηµιουργία σχέσεων µέσω των κατηγοριών 5. Οπτικοποίηση: Χρήση bubble tree

7 Ανοιχτά ηµόσια εδοµένα Τι είναι τα Ανοιχτά ηµόσια εδοµένα? (Ορισµοί ανοιχτών και και δηµόσιων δεδοµένων) Γιατί τα δεδοµένα πρέπει να είναι ανοιχτά? ( ιαφάνεια, καλύτερες υπηρεσίες, υπευθυνότητα, καινοτοµία, αλληλεπίδραση, οικονοµική ανάπτυξη) Πώς τα δεδοµένα γίνονται ανοιχτά? (Μορφές αρχείων δεδοµένων, κατάλογοι δηµοσίευσης δεδοµένων) 7

8 Επαναχρησιµοποίηση Ανοιχτών εδοµένων Η επαναχρησιµοποίηση είναι ελεύθερη από όποιον θέλει να δει ή να κάνει χρήση των δεδοµένων Πολίτες, επιχειρήσεις και ο ίδιος ο ηµόσιος Τοµέας κάνουν χρήση των δεδοµένων Εφαρµογές που χρησιµοποιούν ανοιχτά δηµόσια δεδοµένα (Where does my money go, FixMy Transport, Scores on the Doors, ASBOrometer, Car Park Finder, Crime Finder) 8

9 Εφαρµογές που χρησιµοποιούν OGD Οι εφαρµογές συνήθως χρησιµοποιούν ένα σύνολο δεδοµένων (π.χ. WDMMG: COINS, Scores on the doors: NI 184 Food establishments) Στις εφαρµογές που χρησιµοποιούν πάνω από ένα σύνολο δεδοµένων, αυτά είναι γεωχωρικά για να προβάλλουν τα δεδοµένα πάνω σε χάρτη (π.χ. FixMyTransport: NaPTAN, NPTDR, NPTG) Οι εφαρµογές σπάνια χρησιµοποιούν σύνθεση δεδοµένων 9

10 Προκλήσεις και Εµπόδια οµή και κουλτούρα του ηµόσιου Τοµέα Στρατηγικό πλαίσιο για την αντιµετώπιση των στρατηγικών ελλειµάτων (πολιτική και διοίκηση, πλαίσιο για την προσβασιµότητα, πρότυπα) Ποιότητα της πληροφορίας που περιέχεται στα δεδοµένα Προσωπικά δεδοµένα Αντίσταση λόγω «ιδιοκτησίας των δεδοµένων» 10

12 Data.gov.uk Η πρωτοβουλία του Ηνωµένου Βασιλείου Sir Tim Berners-Lee και Nigel Shadbolt Εµφανίστηκε σε beta µορφή στις 30/9/2009 Σήµερα έχει περισσότερα από 8700 σύνολα δεδοµένων Κατάλογος συνδέσµων συνόλων δεδοµένων (έµµεση παροχή) 12

14 Σύνολα δεδοµένων του data.gov.uk Προετοιµασία: - Εισαγωγή του αρχείου µεταδεδοµένων στο Google refine για να µπορέσουµε να χειριστούµε καλύτερα τα δεδοµένα. Το σύνολο των συνδέσµων είναι 8309, τα διεγραµµένα σύνολα είναι 714 Συλλογή: - Επίσκεψη όλων των ενεργών συνόλων δεδοµένων (7595) - Αφαίρεση των γεωχωρικών και των συνόλων που δεν µπορούσαµε να επισκεφθούµε µε αποτέλεσµα ένα αρχείο µε 4638 σύνολα δεδοµένων - ηµιουργία νέου αρχείου µεταδεδοµένων µε τα παρακάτω πεδία i) id, ii) URL, iii) τίτλος, iv) γεωγραφική κάλυψη και v) σηµειώσεις για κάθε σύνολο δεδοµένων - εύτερη επίσκεψη και πρόσθεση των οντοτήτων και των γενικών κατηγοριών - Τρίτη επίσκεψη και πρόσθεση της χρονολογικής κάλυψης, της εφαρµογής και της υποκατηγορίας Σύνολα δεδομένων: 8309 Διαγραμμένα σύνολα δεδομένων: 714 Ενεργά σύνολα δεδομένων: 7595 Γεωγραφικά σύνολα δεδομένων: 951 Απαγορευμένης πρόσβασης: 1333 Σύνολα που δεν βρέθηκαν: 365 Άδεια σύνολα δεδομένων: 154 Περιορισμένης πρόσβασης: 154 Στατιστικά σύνολα δεδομένων:

15 Κατηγοριοποίηση δεδοµένων Ανάλυση: - Κατηγοριοποίηση των δεδοµένων σε 17 γενικές κατηγορίες µε βάση το UK Reference Architecture. - Τα περισσότερα σύνολα από αυτά αφορούν την δηµόσια διοίκηση - Οι υποκατηγορίες προέκυψαν από τα περιεχόµενα των δεδοµένων µε βάση του τι αυτά περιγράφουν - Κατηγοριοποίηση των δεδοµένων µε βάση την Γεωγραφική κάλυψη (σύνολο 117) - Τα περισσότερα σύνολα αφορούν την Αγγλία (1902) Αριθμός ανά γεωγραφική οντότητα England: 1902 Στατιστικά σύνολα δεδομένων: 4638 Αριθμός ανά γενική κατηγορία Government, Politics and Public Administration: 1696 United Kingdom: 1140 Health, Well-being and Care: 949 England, Wales: 478 Education and Skills: 419 United Kingdom, Global: 317 Environment: 308 Scotland: 157 Public Order, Justice and Rights: 303 Great Britain: 128 Life in the Community: 257 Wales: 120 Economics and Finance: 119 Northern Ireland: 49 Business and Industry: 106 Global: 26 Transport and Infrastructure: 104 Warwickshire: 44 People and Organizations: 103 Sunderland: 41 Employment, Jobs and Careers: 86 Bristol City: 25 Housing: 85 East Sussex: 9 Information and Communication: 31 England, Scotland, Ν.Ι. : 8 Leisure and Culture: 28 England, Scotland: 12 International Affairs and Defence: 9 England, Northern Ireland: 8 Science, Technology and Innovation: 2 Other: 174 Other: 33 15

16 Κατηγοριοποίηση δεδοµένων (συνέχεια) Ανάλυση (συνέχεια): - Κατηγοριοποίηση των δεδοµένων µε βάση την οντότητα που περιγράφουν - Τα περισσότερα σύνολα αφορούν τους δηµόσιους και κυβερνητικούς οργανισµούς (1520) - Τα 1245 από αυτά αφορούν τις δαπάνες των υπουργείων και των δηµοσίων οργανισµών Entities (total number 235): 4638 Government Departments and Public Organizations: 1520 Local Authorities: 1298 Regions: 158 Local Government: 132 Primary Care Trust (PCT): 87 Police Force Area: 84 NHS Organisations: 55 Lower Layer Super Output Area (LSOA): 52 Strategic Health Authority: 46 Operations: 43 NHS Board: 38 Primary diagnosis: 38 Country: 27 Speciality: 22 Selected Sites: 20 Industrial Sector: 19 Middle Layer Super Output Area (MLSOA): 16 Other:

17 Σύνδεση συνόλων δεδοµένων Οντότητα (π.χ. Local Authority) Γεωγραφική κάλυψη (π.χ. England) Σύνολο εδοµένων Χρόνος Υποκατηγορία (π.χ. Offences) Γενική Κατηγορία (π.χ. Public Order, Justice and Rights) Κάθε σύνολο δεδοµένων έχει τα χαρακτηριστικά που βλέπουµε στο σχήµα Στην περίπτωση που δύο σύνολα δεδοµένων έχουν ίδια την οντότητα και χρονική κάλυψη µπορούν να συντεθούν Η κατηγορία δεν είναι απαραίτητο να συµπίπτει για την σύνθεση δύο συνόλων δεδοµένων 17

18 Παράδειγµα σύνδεσης δεδοµένων από διαφορετικές κατηγορίες 2008 δφγδσδγφσακλδφγ Local Authority Jobs density 2009 Jobs density Local Authority Burglary dwelling offences recorded 07/08 Burglary dwelling offences recorded 08/09 Burglary dwelling change 07/08-08/09 (%) Population figures (thousands) Household figures (thousands) Allerdale Allerdale Amber Valley Amber Valley Arun Arun Ashfield Ashfield 1,043 1, Ashford Ashford Aylesbury Vale Aylesbury Vale Babergh Babergh Barking and Dagenham Barking & Dagenham 855 1, Barnet Barnet 2,692 2, Barnsley Barnsley Barrow-in-Furness Barrow-in-Furness Basildon Basildon 1,005 1, Basingstoke and Deane Basingstoke & Deane Bassetlaw Bassetlaw Bath and North East Somerset Bath and North East Somerset Bedford Bedford Bexley Bexley 1,245 1, Birmingham Birmingham 7,701 7, , Blaby Blaby Blackburn with Darwen Blackburn with Darwen Blackpool Blackpool Blaenau Gwent Blaenau Gwent Bolsover Bolsover Bolton Bolton 1,750 2, Boston Boston Bournemouth Bournemouth Bracknell Forest Bracknell Forest Bradford Bradford 4,518 5, Braintree Braintree Breckland Breckland Brent Brent 2,556 2, Brentwood Brentwood Bridgend Bridgend Παράδειγµα σύνθεσης δεδοµένων όπου διερευνάται αν η ύπαρξη υψηλού ποσοστού πυκνότητας εργασίας (θέσεις εργασίας προς πληθυσµό ικανό προς εργασία), επηρεάζει αρνητικά ένα πρωτεύων αδίκηµα, τη διάρρηξη. 18

19 Παράδειγµα σύνδεσης δεδοµένων από ίδιες κατηγορίες 3.14 Income and tax Table 7.7a Annual pay - Gross ( )-For all employee jobsa: United Kingdom, 2010 Employment income Local Authorities No. of individuals Mean Median Local Authorities Number Annual Annual of jobs b percentage percentage (thousand) Median change Mean change Cumbria County ,700 17,300 Cumbria , , Allerdale 35 22,000 17,100 Allerdale 25 17, , Barrow -in-furness 27 21,200 18,000 Barrow-in-Furness 19 19, , Carlisle 42 20,400 17,000 Carlisle 50 17, , Copeland 26 26,900 22,800 Copeland 28 34, , Eden 21 19,900 16,400 Eden 17 14, , South Lakeland 42 20,600 15,300 South Lakeland 32 17, , Greater Manchester Metropolitan County ,900 17,700 Greater Manchester MC , , Bolton ,100 16,400 Bolton 82 17, , Bury 73 22,200 17,700 Bury 44 18, , Manchester ,500 17,000 Manchester , , Oldham 76 20,300 17,200 Oldham 57 18, , Rochdale 72 20,700 17,400 Rochdale 46 19, , Salford 87 21,200 17,700 Salford 83 20, , Stockport ,500 19,900 Stockport 91 20, , Tameside 83 19,900 17,400 Tameside 55 18, , Trafford 89 27,300 19,600 Trafford , , Wigan ,900 17,900 Wigan 86 18, , Παράδειγµα σύνθεσης δεδοµένων όπου διερευνάται αν τα εισοδήµατα των υπάλλήλων του Ηνωµένου Βασιλείου από τα επίσηµα στοιχεία του υπουργείου οικονοµικών και από τα στοιχεία της έρευνας για το Office for National Statistics συµπίπτουν 19

20 Οπτικοποίηση Κατηγοριών Συνόλων εδοµένων Εργαλείο οπτικοποίησης bubble tree Οπτικοποίηση των κατηγοριών των συνόλων δεδοµένων c 20

22 Συµπεράσµατα Συµπεράσµατα από την βιβλιογραφική επισκόπηση: - Η επαναχρησιµοποίηση προσθέτει αξία στα δεδοµένα - Τα δεδοµένα πρέπει να έχουν την κατάλληλη µορφή για να µπορούν να χρησιµοποιηθούν - Εµπόδια στην υλοποίηση παρουσιάζονται στην νοοτροπία των δηµοσίων λειτουργών και στην ποιότητα της πληροφορίας Συµπεράσµατα από την έρευνα: - Υπάρχει αρκετά µεγάλος αριθµός στατιστικών δεδοµένων που είναι έτοιµα για επαναχρησιµοποίηση - Σε σχετικά µεγάλο αριθµό δεδοµένων δεν επιτρέπεται η πρόσβαση - Τα περισσότερα σύνολα δεδοµένων αφορούν τις δαπάνες των υπουργείων - Η εύρεση συνόλων για σύνθεση δεν είναι απλή υπόθεση 22

23 Προτάσεις για µελλοντική έρευνα Μελλοντική έρευνα για την ποιότητα της πληροφορίας των ανοιχτών συνόλων δεδοµένων Χαρτογράφηση άλλων πρωτοβουλιών για ανοιχτά δηµόσια δεδοµένα (π.χ. Ελληνικά) Εφαρµογές που µπορούν να χρησιµοποιήσουν τα ανοιχτά δηµόσια δεδοµένα 23

24 Ευχαριστώ πολύ για την προσοχή σας! 24