ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ Η ΕΞΟΡΥΞΗ ΤΟΥΣ ΚΑΙ Η ΣΥΜΒΟΛΗ ΤΟΥΣ ΣΤΗΝ ΕΠΙΧΕΙΡΗΜΑΤΙΚΗ ΕΥΦΥΙΑ

Transcript

1 ΕΘΝΙΚΟ ΚΑΙ ΚΑΠΟΔΙΣΤΡΙΑΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΦΥΣΙΚΗΣ ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ Η ΕΞΟΡΥΞΗ ΤΟΥΣ ΚΑΙ Η ΣΥΜΒΟΛΗ ΤΟΥΣ ΣΤΗΝ ΕΠΙΧΕΙΡΗΜΑΤΙΚΗ ΕΥΦΥΙΑ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ ΦΟΙΤΗΤΡΙΑ: ΠΡΟΔΡΟΜΙΤΗ ΓΕΡΑΣΙΜΟΥΛΑ Α.Μ ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ`: ΤΣΙΛΗΣ ΕΜΜΑΝΟΥΗΛ ΑΘΗΝΑ

2 ΠΕΡΙΕΧΟΜΕΝΑ Περίληψη...Σελίδα 5 Λέξεις Φράσεις Κλειδιά. Σελίδα 6 ΚΕΦΑΛΑΙΟ 1 ο : ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ (BigData)......Σελίδα Η ιστορία των Μεγάλων Δεδομένων...Σελίδα Τι είναι τα Μεγάλα Δεδομένα Σελίδα Χαρακτηριστικά των Μεγάλων Δεδομένων...Σελίδα Τα Μεγάλα Δεδομένα στον κόσμο...σελίδα Η Google ανοίγει το δρόμο της αξιοποίησης των Βig Data...Σελίδα Οι εφαρμογές των Μεγάλων Δεδομένων σήμερα. Σελίδα Μεγάλα Δεδομένα και νέες θέσεις εργασίας...σελίδα Aνοιχτά Δεδομένα (open data) και Μεγάλα Δεδομένα.. Σελίδα Τι είναι τα Ανοιχτά Δεδομένα...Σελίδα Η σχέση μεταξύ των Big Data και των Ανοικτών Δεδομένων...Σελίδα Τα ανοιχτά δεδομένα στην Ευρώπη...Σελίδα Τα Ανοιχτά Δεδομένα στην Ελλάδα...Σελίδα 39 ΚΕΦΑΛΑΙΟ 2 ο : ΕΞΟΡΥΞΗ ΓΝΩΣΗΣ ΚΑΙ ΜΕΓΑΛΩΝ ΔΕΔΟΜΕΝΩΝ (data mining) 2.1 Ορισμός Εξόρυξης γνώσης και Δεδομένων...Σελίδα Εξόρυξη δεδομένων και ανεύρεση γνώσης Σελίδα Στόχοι της Εξόρυξης Δεδομένων... Σελίδα Που εφαρμόζεται η Εξόρυξη Γνώσης...Σελίδα Εξόρυξη δεδομένων και οικονομία.σελίδα Εφαρμογές εξόρυξης γνώσης σε επιστημονικά πεδία. Σελίδα Αποτυγχάνουμε να αντλήσουμε γνώση από τα big data, συνεχίζουμε την εξόρυξη..σελίδα 49 2

3 ΚΕΦΑΛΑΙΟ 3 Ο : ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ ΚΑΙ ΕΠΙΧΕΙΡΗΜΑΤΙΚΗ ΕΥΦΥΙΑ...Σελίδα 52 Σύνοψη-Συμπεράσματα Σελίδα 57 Βιβλιογραφία Σελίδα 59 3

4 4

5 Περίληψη Σκοπός της παρούσας εργασίας είναι η μελέτη των Μεγάλων Δεδομένων, της Εξόρυξής τους και της συμβολής τους στην Επιχειρηματική Ευφυΐα. Ειδικότερα, στο πρώτο κεφάλαιο παρουσιάζεται μια ιστορική αναδρομή που αφορά την εξέλιξη της συλλογής, καταγραφής και αποθήκευσης των δεδομένων στην πάροδο των αιώνων. Έπειτα, δίνονται κάποιες έννοιες αλλά και ορισμοί ώστε να γίνει κατανοητή η έννοια των Μεγάλων Δεδομένων καθώς και η πολυπλοκότητά τους και η πολυδιάστατη φύση τους. Στη συνέχεια παρατίθενται τα βασικά χαρακτηριστικά που διέπουν τα Μεγάλα Δεδομένα, ενδιαφέρουσες εφαρμογές τους και φυσικά κάποιες από τις δυνατότητες που διαθέτουν, για να καταλήξουμε στις νέες θέσεις εργασίας που η επιστήμη των δεδομένων δημιουργεί. Στην πορεία, παρουσιάζονται τα Ανοιχτά Δεδομένα, δίνεται ο ορισμός τους και γίνεται η σύγκρισή τους με τα Μεγάλα Δεδομένα. Τέλος, γίνεται αναφορά στο πως τα Ανοιχτά Δεδομένα αντιμετωπίζονται από την Ευρώπη αλλά και την Ελλάδα. Στο δεύτερο κεφάλαιο, εισάγεται η έννοια της εξόρυξης δεδομένων και γνώσης. Δίνεται ο ορισμός της εξόρυξης δεδομένων και εξηγείται αναλυτικά πως αυτή οδηγεί στην ανεύρεση της γνώσης που επιζητούμε. Στη συνέχεια, παρατίθενται οι στόχοι της εξόρυξης δεδομένων καθώς και οι εφαρμογές της γνώσης που εξορύσσεται από τα δεδομένα, σε διάφορους τομείς και κυρίως στην οικονομία και σε διάφορα επιστημονικά πεδία. Στο τρίτο κεφάλαιο, γίνεται η εισαγωγή ενός νέου όρου, της Επιχειρηματικής Ευφυΐας. Δίνεται ο ορισμός της, και εξηγείται πως προκύπτει από την εξόρυξη δεδομένων έχοντας ως αποτέλεσμα την τεράστια συμβολή της στην ανάπτυξη των επιχειρήσεων. Η εργασία ολοκληρώνεται με την καταγραφή βασικών συμπερασμάτων που αφορούν τα δεκάδες πλεονεκτήματα των Μεγάλων Δεδομένων και την αξιοποίησή τους σήμερα, χωρίς βέβαια να παραλείπεται η σκοτεινή τους πλευρά. 5

6 Λέξεις Φράσεις Κλειδιά Δεδομένα Ιστορική Αναδρομή Εξέλιξη δεδομένων Έκρηξη πληροφορίας Ορισμοί Μεγάλων Δεδομένων Χαρακτηριστικά Μεγάλων Δεδομένων Μοντέλο 3V Ταχύτητα Όγκος Ποικιλομορφία Επέκταση μοντέλου 3V Εφαρμογές σήμερα Θέσεις εργασίας Ανοιχτά Δεδομένα Εξόρυξη Δεδομένων Ανεύρεση Γνώσης Στόχοι Εξόρυξης Εφαρμογές Εξόρυξης Επιχειρηματική Ευφυΐα Οφέλη Επιχειρηματικής Ευφυΐας 6

7 7

8 ΚΕΦΑΛΑΙΟ 1 ο : ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ 1.1 Η ιστορία των μεγάλων δεδομένων. Εικόνα 1: Η εξέλιξη του ανθρώπου μέσω της τεχνολογίας. Εάν και η έννοια των Μεγάλων Δεδομένων εμφανίστηκε πρόσφατα, τα θεμέλια πάνω στα οποία στηρίχθηκε η εμφάνιση και εξέλιξή τους, τέθηκαν πολλά χρόνια πριν. Πολύ πριν την εμφάνιση των ηλεκτρονικών υπολογιστών, υπήρξε η ανάγκη να αποθηκεύουμε, αναπαράγουμε και αναλύουμε τις πληροφορίες που κατείχαμε. Τον τελευταίο αιώνα ο όγκος των πληροφοριών που διαχειριζόμαστε αυξήθηκε ταχύτατα και αναπτύχθηκαν τεχνικές και μέσα αποθήκευσης και ανάλυσης που διευκόλυναν τη διαχείρισή τους, όπως το ίντερνετ και η ψηφιακή αποθήκευση. Ας δούμε όμως τι μας οδήγησε στην σημερινή εποχή των Μεγάλων Δεδομένων. Χιλιάδες χρόνια πριν, και συγκεκριμένα χρόνια πχ, οι άνθρωποι χρησιμοποιούσαν ψηλά μπαστούνια για την καταγραφή των πρώτων δεδομένων στην ανθρωπότητα. Συγκεκριμένα, για να καταγράψουν τα αποθέματα και να παρακολουθούν την επιχειρηματική τους δραστηριότητα. Πρόκειται ουσιαστικά για την πρώτη προσπάθεια του ανθρώπου να συλλέξει δεδομένα. Χιλιάδες χρόνια αργότερα, κατά το 2400 π.χ εφευρίσκεται το αριθμητήριο και χτίζεται η βιβλιοθήκη της Βαβυλώνας. Το 300 π.χ δημιουργείται η βιβλιοθήκη της Αλεξάνδρειας, η οποία αποτέλεσε το μεγαλύτερο κέντρο αποθήκευσης δεδομένων του κόσμου! Το 100 μ.χ ανακαλύπτεται ο μηχανισμός των Αντικυθήρων, ένα αρχαίο τέχνημα που πιστεύεται ότι ήταν ένας αρχαίος αναλογικός, μηχανικός υπολογιστής και όργανο αστρονομικών παρατηρήσεων, που παρουσιάζει ομοιότητες με πολύπλοκο ωρολογιακό μηχανισμό. 8

9 Σχεδόν 16 αιώνες μετά, και συγκεκριμένα το 1663 ο John Graunt διεξάγει το πρώτο καταγεγραμμένο πείραμα στατιστικής ανάλυσης, προκειμένου να περιορίσει την εξάπλωση της πανούκλας στην Ευρώπη. To 1881 ο Herman Hollerith δημιουργεί μια μηχανή πινακοποίησης η οποία χρησιμοποιεί διάτρητες κάρτες για να μειώσει το φόρτο εργασίας των απογραφέων των Η.Π.Α. Το 1962 ο NicolaTesla προέβλεψε ότι ο άνθρωπος θα μπορεί να έχει πρόσβαση και να αναλύει τεράστιες ποσότητες δεδομένων χρησιμοποιώντας μια μικρή συσκευή που θα χωράει στην τσέπη του. Δυο χρόνια μετά, ο Fritz Pfleumer εφευρίσκει ένα τρόπο μαγνητικής αποθήκευσης δεδομένων, γεγονός το οποίο αποτέλεσε τη βάση της σύγχρονης τεχνολογίας της ψηφιακής αποθήκευσης δεδομένων. Το 1958 εμφανίζεται για πρώτη φορά η έννοια της επιχειρηματικής ευφυΐας, ενώ το 1965 η κυβέρνηση των Η.Π.Α σχεδιάζει τη κατασκευή του μεγαλύτερου κέντρου αποθήκευσης δεδομένων, το οποίο θα καταγράφει 742 εκατομμύρια φορολογικά στοιχεία και 175 εκατομμύρια αποτυπώματα πολιτών, τα οποία θα είναι καταγεγραμμένα σε μαγνητική ταινία. Πέντε χρόνια αργότερα, η IBM εισάγει το σχεσιακό μοντέλο βάσης δεδομένων, κάτι που σήμαινε ότι ο καθένας πλέον μπορούσε να χειρίζεται μια βάση δεδομένων και όχι μόνο οι επιστήμονες πληροφορικής. Το 1976 έχουμε τη χρήση Συστημάτων Σχεδιασμού Απαιτήσεων Υλικών (Material Requirements Planning Systems MRP) στις επιχειρήσεις. Γίνεται πλέον καθημερινότητα η χρήση υπολογιστή για καταγραφή δεδομένων. Το 1989 κάνει την εμφάνισή του ο όρος Βig Data. Oι επερχόμενες χρονιές κρίνονται καθοριστικές για την εξέλιξη του όρου. Συγκεκριμένα το 1991, το ίντερνετ κάνει την εμφάνισή του, επιτρέποντας τη φόρτωση δικών μας πλέον δεδομένων ή την ανάλυση όσων βρίσκονται ήδη σε κάποιον ιστότοπο. Το1996 μειώνεται το κόστος της ψηφιοποίησης δεδομένων με αποτέλεσμα να στρέφονται όλοι εκεί και όχι στον παραδοσιακό γραπτό τρόπο. Ένα χρόνο αργότερα, η Google παρουσιάζει τη μηχανή αναζήτησής της, η οποία μετατρέπεται στην πιο δημοφιλή παγκοσμίως. Την ίδια χρονιά ο Michael Lesk εκτιμά ότι ο ψηφιακός κόσμος θα δεκαπλασιάζεται ανά έτος. Δύο χρόνια μετά, το 1999, συναντάμε την πρώτη χρήση του όρου Μεγάλα Δεδομένα σε ακαδημαϊκό άρθρο και από τη νέα χιλιετία και έπειτα αυξάνονται εκθετικά ανά έτος τα άρθρα που αναφέρονται στον όρο Μεγάλα Δεδομένα. 9

10 Εικόνα 2: Η εξέλιξη της γραφής και αναπαραγωγής της πληροφορίας. Το 2001 προσδιορίζονται τα τρία χαρακτηριστικά των Μεγάλων Δεδομένων. Tο μοντέλο 3V,Volume,Velocity,Variety (Εικόνα 3). Στην εικόνα που ακολουθεί παρατηρούμε τα στάδια εξέλιξης των τριών χαρακτηριστικών και τις προβλέψεις μας έως το Πιο συγκεκριμένα, παρατηρούμε για το χαρακτηριστικό της ποικιλίας (Variety) των δεδομένων μια σημαντική αύξηση από το 2000 περίπου και έπειτα. Προκειμένου να μπορεί να γίνει καλύτερα διαχειρίσιμη η πληροφορία που χαρακτηρίζεται από υψηλή ποικιλία, εισάγεται η χρήση βάσεων δεδομένων για την αποθήκευση της πληροφορίας και την καλύτερη διαχείριση της. Όσον αφορά των όγκο ως χαρακτηριστικό παρατηρούμε την χρήση Κρυφής Μνήμης (Data Cache), οπού εκεί συνήθως αποθηκεύονται και επεξεργάζονται τα μεγάλου όγκου δεδομένα πριν να αποθηκευτούν στις Βάσεις Δεδομένων. 10

11 Εικόνα 3: Η εξέλιξη των big data To 2005 είναι πολύ σημαντική χρονιά καθώς κάνει την εμφάνισή του το WEB 2.0, ενώ την ίδια χρονιά αναπτύσσεται από τον Αpache το Hadoop, ένα ανοιχτού κώδικα λογισμικό επεξεργασίας Μεγάλων Δεδομένων. Το 2007 η Apple βγάζει στην κυκλοφορία το iphone και δημιουργεί μια ισχυρή καταναλωτική αγορά για έξυπνα κινητά τηλέφωνα. Το 2008 ο αριθμός των συσκευών που είναι συνδεδεμένες στο διαδίκτυο ξεπερνά τον παγκόσμιο πληθυσμό. Οι επεξεργαστές κεντρικών μονάδων (Central Process Unit -CPU) επεξεργάζονται πλέον 9,25 zetabytes πληροφοριών. Την επόμενη χρονιά, ο μέσος όρος των επιχειρήσεων της Αμερικής με πάνω από 1000 εργαζόμενους αποθηκεύει πάνω από 200 terabytes δεδομένων (Εικόνα 4). Το 2011 ο υπολογιστής Watson της IBM σαρώνει και αναλύει 4 terabytes (200 εκατομμύρια σελίδες) δεδομένων σε δευτερόλεπτα νικώντας δύο ανθρώπινους παίκτες στο τηλεοπτικό πρόγραμμα Jeopardy!.Ξεκινά εργασία σε UnQL, μια γλώσσα επερωτήσεων για βάσεις δεδομένων NoSQL. Τα διαθέσιμα στοιχεία στην διεύθυνση του IPv4 έχουν όλα χρησιμοποιηθεί. Το IPv4 είναι μια σταθερά για να ορίζεται η διεύθυνση του πρωτοκόλλου διαδικτύου (IP). Το πρωτόκολλο IPv4 βασίστηκε σε έναν 32μπιτο αριθμό που σημαίνει ότι υπάρχουν διαθέσιμες 2^32 ή 4.5 δισεκατομμύρια μοναδικές διευθύνσεις. Το γεγονός αυτό μαρτυρά την πραγματική ζήτηση και ποσότητα των συνδεδεμένων συσκευών στο διαδίκτυο. 11

12 Το 2012 η κυβέρνηση Ομπάμα ανακοινώνει την πρωτοβουλία έρευνας και ανάπτυξης μεγάλων δεδομένων που αποτελείται από 84 προγράμματα σε έξι τομείς. Το NSF δημοσιεύει «Βασικές τεχνικές και τεχνολογίες για την εξελισσόμενη επιστήμη και μηχανική μεγάλων δεδομένων». Τα IDC και EMC εκτιμούν ότι 2.8zettabytes δεδομένων θα δημιουργηθούν το 2012 αλλά μόνο το 3% όσων θα μπορούσαν να χρησιμοποιηθούν για μεγάλα δεδομένα είναι σημειωμένο και ακόμα λιγότερα έχουν αναλυθεί. Η αναφορά προβλέπει ότι μέχρι το 2020 ο ψηφιακός κόσμος θα κατέχει 40zettabytes, 57 φορές των συνολικό αριθμό των κόκκων άμμου από όλες τις παραλίες τουκόσμου. Εικόνα 4 : Ποσοστιαία αύξηση δεδομένων-πρόβλεψη έως Το 2013 ο εκδημοκρατισμός των δεδομένων ξεκινά. Με έξυπνα τηλέφωνα, ταμπλέτες και ασύρματες συνδέσεις WiFi, όλοι πλέον παράγουν δεδομένα με ξέφρενους ρυθμούς. Ολοένα και περισσότερα άτομα έχουν πρόσβαση σε μεγάλους όγκους δημόσιων δεδομένων και αξιοποίησής τους με δημιουργική χρήση. Το 2014 το 88% των διευθυντών δήλωσε ότι η ανάλυση των Μεγάλων Δεδομένων αποτελεί για αυτούς ύψιστη προτεραιότητα. Τα γεγονότα των τελευταίων 20 ετών έχουν εκ βάθρων αλλάξει τον τρόπο με τον οποίο αντιμετωπίζονται τα δεδομένα. Τα Big Data δημιουργούνται ουσιαστικά από τα πάντα γύρω μας ανά πάσα στιγμή. Κάθε ψηφιακή αλληλεπίδραση με μέσα μαζικής δικτύωσης παράγει δεδομένα, από το browsing στον υπολογιστή και το online λιανεμπόριο μέχρι τις αγορές στο itunes και τα likes στο Facebook. Τα δεδομένα αυτά αλιεύονται από πολλαπλές πηγές, με τρομακτική ταχύτητα, όγκο και ποικιλία. Για να εξαγάγει όμως κάνεις ουσιαστική 12

13 αξία από αυτά, θα πρέπει να έχει στην κατοχή του τη βέλτιστη επεξεργαστική ισχύ, τα κατάλληλα εργαλεία ανάλυσης και φυσικά, τις ανάλογες δεξιότητες. Το εύρος των δεδομένων που συλλέγονται από επιχειρήσεις σήμερα είναι σχεδόν εξωπραγματικό. Σύμφωνα με την IBM, δημιουργούνται πάνω από 2,5 τετράκις εκατομμύρια bytes δεδομένων ανά έτος, ενώ παράλληλα η ποσότητα των δεδομένων που παράγεται αυξάνεται σε ένα τέτοιο εκπληκτικό ποσοστό ώστε το 90% εξ αυτών να έχει δημιουργηθεί μόλις μέσα στα τελευταία δύο χρόνια! Εικόνα 5: Κύριες πηγές παραγωγής δεδομένων και η ταχεία αύξηση τους. 13

14 1.2 Τι είναι τα Μεγάλα Δεδομένα. Τα τελευταία χρόνια υπάρχει ένα αυξανόμενο ενδιαφέρον για την Διαχείριση Μεγάλων Δεδομένων (ή αλλιώς Big Data) κινούμενο από πραγματικές ανάγκες της παραγωγής. Η πρώτη εμφάνιση του όρου έγινε το 1997 από τους επιστήμονες της NΑSA. Ανέφεραν ότι αδυνατούσαν να αναπαραστήσουν γραφικά (visualization) τα σύνολα δεδομένων που κατείχαν (data sets), καθώς ήταν τόσο μεγάλα που ήταν ακατόρθωτο να τα αποθηκεύσουν στη κύρια μνήμη, στον τοπικό δίσκο και σε εξωτερικό σκληρό δίσκο. Έτσι δήλωσαν ότι αντιμετωπίζουν πρόβλημα Μεγάλων Δεδομένων. Οι τελευταίες τεχνολογικές εξελίξεις κυρίως στον τομέα των επικοινωνιών και των ολοκληρωμένων κυκλωμάτων έχουν δώσει την δυνατότητα να δημιουργηθούν μηχανισμοί παρακολούθησης των λειτουργιών ενός οργανισμού σε πολύ λεπτομερές επίπεδο. Η λεπτομερής αυτή ψηφιοποίηση των διαδικασιών παραγωγής έχουν καταστήσει μεγάλους οργανισμούς αλλά και εταιρείες μικρού μεγέθους ικανούς να παράγουν τεράστιους όγκους δεδομένων με πολύ ταχείς ρυθμούς. Τα δεδομένα αυτά κρύβουν πολύτιμη γνώση καθώς η ανάλυση τους μπορεί να οδηγήσει σε σημαντικές βελτιστοποιήσεις της παραγωγής αλλά και προβλήματα, αφού οι υπάρχουσες τεχνολογικές λύσεις για την διαχείριση δεδομένων δεν ανταποκρίνονται πλήρως στον όγκο αλλά και στην φύση τους. Ψηφιακά δεδομένα συναντώνται πλέον παντού: σε κάθε τομέα, σε κάθε οικονομία, σε κάθε οργανισμό και χρήστη της ψηφιακής τεχνολογίας. Τα μεγάλα δεδομένα έλκουν όλο και περισσότερο το ενδιαφέρον των ηγετών από όλους τους τομείς, ενώ οι καταναλωτές προϊόντων και υπηρεσιών αναμένεται να ωφεληθούν από την αξιοποίησή τους. Η ικανότητα αποθήκευσης, συγκέντρωσης, συνδυασμού δεδομένων και η χρήση των αποτελεσμάτων για την εκπόνηση λεπτομερών αναλύσεων έχει γίνει πολύ πιο προσιτή και εφικτή. Με λιγότερο από 600 $, κάποιος μπορεί να αγοράσει μια μονάδα δίσκου με ικανότητα να αποθηκεύσει όλη τη μουσική του κόσμου. Επίσης, τα μέσα εξόρυξης γνώσης από τα δεδομένα σημειώνουν σημαντική βελτίωση, καθώς τα διαθέσιμα λογισμικά για την εφαρμογή τεχνικών αυξανόμενης πολυπλοκότητας συνδυάζονται με την αυξανόμενη υπολογιστική ισχύ. Επιπλέον, η δυνατότητα παραγωγής, επικοινωνίας, μερισμού και πρόσβασης δεδομένων έχει εκτοξευθεί από την αύξηση του αριθμού των ατόμων, συσκευών και αισθητήρων, που συνδέονται σήμερα σε ψηφιακά δίκτυα. Το 2010, περισσότερα από 4 δισεκατομμύρια άνθρωποι, ή το 60 τοις εκατό του παγκόσμιου πληθυσμού, χρησιμοποιούσαν κινητά τηλέφωνα, και περίπου 12 τοις εκατό από αυτούς τους ανθρώπους είχαν smartphones, των οποίων η διείσδυση αυξάνεται κατά περισσότερο από 20 τοις εκατό το χρόνο. Περισσότερα από 30 εκατ. δικτυωμένοι κόμβοι αισθητήρων βρίσκονται πλέον στους κλάδους μεταφορών, αυτοκινητοβιομηχανίας, επιχειρήσεων κοινής ωφέλειας, καθώς και σε τομείς του λιανικού εμπορίου. Ο αριθμός αυτών των αισθητήρων αυξάνεται σε ποσοστό άνω του 30. Πολλές τεχνολογικές καινοτομίες έχουν οδηγήσει σε δραματική αύξηση των δεδομένων και στη συλλογή δεδομένων. Αυτός είναι ο λόγος που τα μεγάλης 14

15 κλίμακας δεδομένων έχουν γίνει πρόσφατη περιοχή των στρατηγικών επενδύσεων για τους IT οργανισμούς. Δεν είναι όμως μόνο οι οργανισμοί που παράγουν τεράστιους όγκους δεδομένων. Ακόμη και σε μικρότερη κλίμακα οργάνωσης, στο επίπεδο του ατόμου, η παραγωγή δεδομένων είναι πρωτόγνωρη. Οι περισσότεροι άνθρωποι διαθέτουν έναν ψηφιακό εαυτό, ως προβολή των δραστηριοτήτων τους στα κοινωνικά δίκτυα. Η Google εκτιμά ότι κάθε δύο μέρες το ψηφιακό υλικό που δημιουργείται από τους χρήστες είναι ισομεγέθες με το έντυπο υλικό που παρήγαγε η ανθρωπότητα από την αρχή της γραφής μέχρι το Έκρηξη στον όγκο των παραγόμενων δεδομένων παρατηρείται ακόμη στην επιστημονική έρευνα. Τομείς, όπως η ιατρική, η αστρονομία, η μετεωρολογία αλλά και η βιολογία χάρη στις νέες τεχνολογίες, τα νέα τηλεσκόπια, τους νέους και φτηνούς αισθητήρες και τα νέα μηχανήματα για την αποκωδικοποίηση DNA μπορούν και παράγουν όγκους δεδομένων που δεν είναι δυνατόν να αντιμετωπιστούν με τις υπάρχουσες υποδομές. Μάλιστα οι ρυθμοί αύξησης παρατηρούμε ότι είναι εκθετικής κατανομής. Έτσι προβλέπεται για τα επόμενα χρόνια μια ακόμη μεγαλύτερη έκρηξη πληροφορίας. Θα λέγαμε όμως, ότι δεν υπάρχει ένα όριο μεγέθους δεδομένων πάνω από το οποίο αποκαλούνται Μεγάλα Δεδομένα. Υπολογίζεται ότι σήμερα με το συγκεκριμένο όρο αναφερόμαστε συνήθως σε όγκους δεδομένων που κυμαίνονται από μερικά terabytes έως δεκάδες ή και εκατοντάδες petabytes (1.024 terabytes) ή exabytes (1.024 petabytes) ή zetabytes(1.024 exabytes). Εικόνα 6: Εξέλιξη των Δεδομένων, δομημένα και μη δομημένα δεδομένα. 15

16 Το 2011, η ανθρωπότητα δημιούργησε πάνω από 1,2 τρισεκατομμύρια GB δεδομένων. Ο όγκος των δεδομένων αναμένεται να αυξηθεί 50 φορές μέχρι το Η Google λαμβάνει πάνω από ερωτήματα αναζήτησης κάθε λεπτό. 72 ώρες βίντεο προστίθενται στο YouTube κάθε λεπτό. Υπάρχουν 217 νέοι χρήστες του Ίντερνετ κάθε λεπτό. Οι χρήστες του Twitter στέλνουν πάνω από tweets κάθε λεπτό (που είναι πάνω από 140 εκατομμύρια ανά ημέρα). Εταιρείες, και οργανισμοί λαμβάνουν likes σε κοινωνικά δίκτυα κάθε λεπτό. Διεθνή δεδομένα Corporation (IDC) προβλέπουν ότι η αγορά για την τεχνολογία των μεγάλης κλίμακας δεδομένων και υπηρεσιών θα φτάσει τα16,9 εκατομμύρια δολλάρια. Οι Σημαντικότεροι Ορισμοί που έχουν δοθεί για τα Μεγάλα Δεδομένα Η Gartner (η μεγαλύτερη επιχείρηση στον κόσμο που ασχολείται με την τεχνολογική έρευνα και συμβουλευτική), το 2012 έδωσε τον εξής ορισμό: «Τα big data είναι υψηλού όγκου, υψηλής ταχύτητας ή υψηλής ποικιλίας στοιχεία που απαιτούν αποδοτικές και καινοτόμες μορφές επεξεργασίας πληροφοριών». Στα «μεγάλα δεδομένα» συγκαταλέγονται όλες οι πληροφορίες των social media που είναι προσβάσιμες σε όλους μας και βρίσκονται στο Διαδίκτυο, δηλαδή φωτογραφίες, video και κείμενα, καθώς και όλα τα «κλειστά δεδομένα» των διαφόρων εταιριών αλλά και των κυβερνήσεων. Δηλαδή, η Gartner πρότεινε έναν ορισμό που περιλάμβανε τα "τρία Vs (Volume, Velocity, Variety)": τον όγκο, την ταχύτητα και την ποικιλία (στο επόμενο κεφάλαιο θα αναπτυχθεί αναλυτικά). Πρόκειται για έναν ορισμό που εστιάζει στο μέγεθος. Η έκθεση επισημαίνει το αυξανόμενο μέγεθος των δεδομένων, το αυξανόμενο ποσοστό παραγωγής τους και το αυξανόμενο εύρος των μορφών που εφαρμόζονται. Ο ορισμός αυτός έχει επαναληφθεί από τη NIST (Nist Big Dataprogram, 2013) και διευρυνθεί από την IBM (IBM, 2013) για να συμπεριλάβει και ένα τέταρτο V: την πιστότητα (Veracity). Η Oracle αποφεύγει την χρήση των Vs για να καταλήξει σε έναν ορισμό. Αντ 'αυτού η Oracle (J.P Dijcks ORACLE, 2013) υποστηρίζει ότι τα μεγάλα στοιχεία είναι η δημιουργία αξίας από παραδοσιακές σχεσιακές βάσεις δεδομένων με στόχο τη λήψη επιχειρηματικών αποφάσεων, η οποία είναι εμπλουτισμένη με νέες πηγές μηδομημένων δεδομένων. Οι νέες αυτές πηγές περιλαμβάνουν blogs, social media, δίκτυα αισθητήρων, δεδομένα εικόνας και άλλες μορφές δεδομένων, τα οποία ποικίλλουν σε μέγεθος, δομή, μορφή και άλλους παράγοντες. Η Oracle υποστηρίζει 16

17 ότι τα μεγάλα δεδομένα είναι το αποτέλεσμα από την ένταξη πρόσθετων πηγών δεδομένων για να αυξήσουν τις ήδη υπάρχουσες λειτουργίες. Αξίζει να σημειωθεί ότι ο ορισμός της Oracle εστιάζει στην υποδομή. Σε αντίθεση με ορισμούς που εκφράστηκαν από άλλους, η Oracle δίνει έμφαση σε μια σειρά από τεχνολογίες όπως: NoSQL, Hadoop, HDFS, R και σχεσιακές βάσεις δεδομένων. Έτσι, παρείχαν και έναν ορισμό και μια λύση για τα μεγάλα δεδομένα. Παρόλο που ο ορισμός αυτός είναι σχετικά πιο εύκολο να υιοθετηθεί σε σχέση με άλλους, υστερεί ωστόσο στην ποσοτικοποίηση. Σύμφωνα με τον ορισμό της Oracle δεν είναι σαφές ως προς το πότε ακριβώς ο όρος μεγάλα δεδομένα εντοπίζεται στην πράξη και παρέχει περισσότερο μία έννοια ότι «θα τα καταλάβετε όταν τα δείτε". Η Intel είναι μία από τις λίγες επιχειρήσεις που παρέχουν ποσοτικά στοιχεία στη βιβλιογραφία τους. Η Intel συσχετίζει τα μεγάλα δεδομένα με οργανισμούς που δημιουργούν κατά μέσο όρο 300 terabytes (TB) δεδομένων εβδομαδιαίως. Αντί να δώσει έναν ορισμό όπως έκαναν οι προαναφερθέντες οργανισμοί, περιγράφει τα μεγάλα δεδομένα ποσοτικοποιώντας τις εμπειρίες των επιχειρηματικών εταίρων της. Επισημαίνει ότι οι οργανισμοί οι οποίοι μελετήθηκαν ασχολούνται εκτενώς με μηδομημένα δεδομένα και δίνουν έμφαση στη διεξαγωγή αναλύσεων των δεδομένων τους τα οποία παράγονται με ρυθμό 500 terabytes ανά εβδομάδα. Τέλος, ισχυρίζεται ότι ο πιο σύνηθες τύπος δεδομένων που συναντάται είναι οι επιχειρηματικές συναλλαγές που είναι αποθηκευμένες σε σχεσιακές βάσεις δεδομένων (σύμφωνα με τον ορισμό της Oracle), και ακολουθούν τα έγγραφα, τα e- mail, τα blogs και τα socialmedia. Εικόνα 7: Όγκος δεδομένων που παράγονται ανά λεπτό. 17

18 Η Microsoft παρέχει ένα ιδιαίτερα περιεκτικό ορισμό: "Μεγάλα δεδομένα είναι ο όρος που χρησιμοποιείται όλο και περισσότερο για να περιγράψει τη διαδικασία εφαρμογής σημαντικής υπολογιστικής ισχύος - την τελευταία λέξη της μηχανικής μάθησης και της τεχνητής νοημοσύνης - σε μαζικά και εξαιρετικά πολύπλοκα σύνολα πληροφοριών. Ο ορισμός αυτός καθιστά σαφές ότι τα μεγάλα δεδομένα απαιτούν σημαντική υπολογιστική ισχύ. Η σημασία της υπολογιστικής ισχύος αναφέρθηκε και σε προηγούμενους ορισμούς, αλλά δεν ορίστηκε με ακρίβεια. Επιπλέον, ο ορισμός αυτός εισάγει δύο τεχνολογίες: την μηχανική μάθηση (machine learning) και την τεχνητή νοημοσύνη που είχαν αγνοηθεί από προηγούμενους ορισμούς. Αυτό, ως εκ τούτου, εισάγει την ιδέα ότι υπάρχουν μια σειρά από σχετιζόμενες τεχνολογίες που είναι ζωτικής σημασίας συστατικά του τελικούορισμού. Η Google Trends αναφέρει τους ακόλουθους όρους σε σχέση με τα μεγάλα δεδομένα: ανάλυση δεδομένων, Hadoop, NoSQL, Google, IBM, και Oracle. Από αυτούς τους όρους μια σειρά από τάσεις είναι εμφανείς. Πρώτον, ότι τα μεγάλα δεδομένα είναι άρρηκτα συνδεδεμένα με την ανάλυση δεδομένων και την εξαγωγή γνώσης από τα δεδομένα. Δεύτερον, είναι σαφές ότι υπάρχουν μια σειρά από σχετιζόμενες τεχνολογίες όπως φαίνεται και από τον το ορισμό της Microsoft, δηλαδή τις NoSQL και Apache Hadoop. Τέλος, είναι προφανές ότι υπάρχει ένας αριθμός οργανισμών, κυρίως βιομηχανικών οργανισμών που σχετίζονται με μεγάλα δεδομένα. Όπως επισημαίνεται από το GoogleTrends, υπάρχει μια σειρά από τεχνολογίες που συχνά αναφέρονται ότι εμπλέκονται με τα μεγάλα δεδομένα. Αποθήκες δεδομένων NoSQL όπως Amazon, Dynamo, Cassandra, CouchDB, Mongo DB κ.ά. παίζουν κρίσιμο ρόλο στην αποθήκευση μεγάλου όγκου μη δομημένων και ιδιαίτερα μεταβαλλόμενων δεδομένων. Για τη χρήση των χώρων αποθήκευσης δεδομένων NoSQL υπάρχει μια σειρά εργαλείων ανάλυσης και μεθόδων, συμπεριλαμβανομένων των Map Reduce, NLP, στατιστικού προγραμματισμού, της μηχανικής μάθησης και την οπτικοποίηση πληροφοριών. Η εφαρμογή μίας από αυτές τις τεχνολογίες από μόνη της δεν είναι επαρκής για να αξιολογήσει τη χρήση του όρου μεγάλα δεδομένα. Αντίθετα, άλλες τάσεις δείχνουν ότι είναι ο συνδυασμός μιας σειράς τεχνολογιών και η χρήση σημαντικών συνόλων δεδομένων που εξηγούν τον όρο. Οι τάσεις αυτές δείχνουν τα μεγάλα δεδομένα σαν μια τεχνική κίνηση η οποία ενσωματώνει ιδέες, νέες και παλιές και σε αντίθεση με άλλους ορισμούς παρέχει λίγες αναφορές ως προς τις κοινωνικές και επιχειρηματικές επιπτώσεις. Το 2014 η Wikipedia περιέγραφε τα Μεγάλα Δεδομένα ως «ένα ευρύτερο όρο για οποιαδήποτε συλλογή συνόλων δεδομένων τόσο μεγάλων και σύνθετων που είναι δύσκολο να επεξεργαστούν χρησιμοποιώντας χειροκίνητα εργαλεία ή παραδοσιακές εφαρμογές επεξεργασίας δεδομένων». Δεκάδες είναι οι ορισμοί που δόθηκαν. Μελετώντας τους, μπορούμε να περιγράψουμε τον όρο ως συλλογές δεδομένων, τα οποία είναι δομημένα κατά ένα ποσοστό και αδόμητα στη πλειονότητά τους, και ο όγκος τους είναι τόσο μεγάλος που καθιστά πολύ δύσκολη την αποθήκευση, επεξεργασία και ανάλυσή τους με τη χρήση παραδοσιακών τεχνικών της επιστήμης της πληροφορικής. Τέλος, θα ήταν λάθος να προβούμε σε έναν ακριβή προσδιορισμό του όρου Μεγάλα Δεδομένα, αφού κάθε 18

19 επιχείρηση χρησιμοποιεί την επιστήμη των Βig Data για διαφορετικούς σκοπούς, επομένως είναι εμφανής η πολυδιάστατη φύση τους που σαφώς με το πέρασμα του χρόνου συνεχώς εμπλουτίζεται. Εικόνα 8 : Η πολυδιάστατη φύση των Μεγάλων Δεδομένων. 1.3 Χαρακτηριστικά των Μεγάλων Δεδομένων. Είναι ιδιαίτερα εντυπωσιακό, ότι η ακαταστασία των Μεγάλων Δεδομένων έχει προβλεφτεί από τις νέες τεχνολογίες που υπάρχουν σήμερα για την επεξεργασία τους, οι οποίες δεν απαιτούν τα δεδομένα μας να είναι ταξινομημένα ή ιεραρχημένα. Αυτό συμβαίνει γιατί το μυστικό της λειτουργίας τους κρύβεται στις συσχετίσεις που κάνουν οι μαθηματικοί αλγόριθμοι. Η συσχέτιση προβάλει τη στατιστική σχέση μεταξύ των δεδομένων, γι' αυτό δεν μπορούν να εξάγουν βέβαια αποτελέσματα παρά μόνο πιθανά. Ουσιαστικά μέσω των συσχετίσεων των Μεγάλων Δεδομένων μπορούμε να κάνουμε προβλέψεις. Η βάση λειτουργίας πολλών εταιριών σήμερα και το βασικό συστατικό της επιτυχίας ορισμένων εξ αυτών είναι οι συσχετίσεις μεταξύ των Μεγάλων Δεδομένων. Η πρώτη εταιρία που χρησιμοποίησε αυτό το χαρακτηριστικό τους ήταν η Wall Mart. Eνώ η Amazon συγκαταλέγεται σε αυτές που στηρίζουν τη κεντρική ιδέα λειτουργίας τους στις συσχετίσεις. Ουσιαστικά, χρησιμοποιούν τη συσχέτιση μεταξύ αντικειμένων για να αντιληφθούν τις προτιμήσεις -επιλογές του κάθε καταναλωτή (δημιουργία προφίλ καταναλωτή), και να κάνουν τις κατάλληλες προτάσεις για εκείνον. Προσπαθούν δηλαδή, να προβλέψουν τις ανάγκες και τις προτιμήσεις του ώστε στη πορεία να προβούν σε προτάσεις προς τους δυνητικούς καταναλωτές για ανάγκες που ακόμη δεν έχουν γίνει αντιληπτές από τους ίδιους. 19

20 Με τη επεξεργασία των Μεγάλων Δεδομένων και τις συσχετίσεις που μας παρέχουν, οι άνθρωποι ψάχνουν ασυναίσθητα και την αιτιακή σχέση. Για παράδειγμα εάν μια ασφαλιστική εταιρία με τις συσχετίσεις των δεδομένων της αναφέρει ότι τα πορτοκαλί αυτοκίνητα εμπλέκονται σε λιγότερα ατυχήματα, αυτομάτως θα προσπαθήσουμε να απαντήσουμε στο γιατί (π.χ έντονο χρώμα και το προσέχουν περισσότερο οι άλλοι οδηγοί, κ.α). H κεντρική ιδέα των Μεγάλων Δεδομένων όμως είναι ότι δεν μας ενδιαφέρει η αιτιότητα αλλά το αποτέλεσμα. Εφόσον το αποτέλεσμα κάθε φορά εξάγεται από μαθηματικά μοντέλα, αυτό που μας ενδιαφέρει είναι το γεγονός. 20

21 Το Μοντέλο 3V Όπως αναφέρθηκε και στην προηγούμενη ενότητα, ένας από τους πιο γνωστούς ορισμούς για τα Μεγάλα Δεδομένα διατυπώθηκε πολύ εύστοχα από την Gartner με βάση το αποκαλούμενο πρότυπο 3V. Σύμφωνα με αυτή την προσέγγιση, τρία είναι τα κύρια χαρακτηριστικά των μεγάλων δεδομένων: o όγκος (Volume), η ταχύτητα (Velocity) και η ποικιλoμορφία (Variety). Εικόνα 9: Δεδομένων Σχηματική απεικόνιση των τριών χαρακτηριστικών των Μεγάλων Με τον όρο Variety (ποικιλία ή ποικιλομορφία) αναφερόμαστε στο μεγάλο εύρος πιθανών διαφορετικών τύπων δεδομένων που καλούμαστε να επεξεργαστούμε. Ο όρος ανταποκρίνεται στην ανάγκη να καταχωρούμε, να επεξεργαζόμαστε και να συνδυάζουμε δεδομένα διαφορετικών πηγών. Αυτό έχει ως αποτέλεσμα να ερχόμαστε αντιμέτωποι όχι μόνο με διαφορετικούς τύπους δεδομένων, αλλά και με διαφορετική δομή μεταξύ των ιδίων τύπων. Σε πρώτη φάση, δημιουργείται έτσι η ανάγκη να ενσωματωθούν δεδομένα αυστηρώς δομημένα (structured), ημιδομημένα (semistructured) και αδόμητα (unstructured). Σε δεύτερη φάση, ακόμα και αν οι πηγές μας χρησιμοποιούν αυστηρή δόμηση των δεδομένων, πιθανόν να χρησιμοποιούν διαφορετική σημασιολογία, ή να υπάρχει ασυμβατότητα μεταξύ τους. Με τον όρο Volume εννοούμε τον όγκο των δεδομένων που καλούμαστε να διαχειριστούμε. Με την πάροδο των ετών η αναλογική πληροφορία (έντυπης μορφής πληροφορία) άρχισε να αντικαθίσταται όλο και περισσότερο με ψηφιακή. Πλέον, 21

22 έχουμε τεράστιες ποσότητες δεδομένων σε μορφή video, ήχου και εικόνων τόσο σε επιστημονικές εφαρμογές όσο και στα ευρέως πλέον διαδεδομένα κοινωνικά δίκτυα. Είναι πολύ συνηθισμένο μια επιχείρηση να διαθέτει Terabytes ή ακόμα και Petabytes αποθηκευτικού χώρου. Χαρακτηριστικά, η αποθηκευμένη πληροφορία παγκοσμίως αυξάνεται με ρυθμούς τετραπλάσιους από ότι η παγκόσμια οικονομία, ενώ η επεξεργαστική δύναμη των υπολογιστών με εννιαπλάσιους. Ουσιαστικά, αλλάζοντας την ποσότητα των δεδομένων αλλάζουμε την ουσία του αποτελέσματος. Ξεπερνώντας σιγά σιγά τα προβλήματα εύρεσης επαρκούς χώρου αποθήκευσης, νέα ζητήματα αναδύονται όπως η ανάγκη συσχέτισης των μεγάλων δεδομένων και η δυνατότητα αλίευσης πολύτιμης αξίας. Ο όρος Velocity αναφέρεται στον ταχύτατο ρυθμό με τον οποίο εισέρχονται νέα δεδομένα αλλά και ανανεώνονται τα ήδη υπάρχοντα. Επιπλέον, έχει να κάνει με τον χρόνο που απαιτείται για την επεξεργασία και ανάλυση τους κατά την είσοδό τους στο σύστημα. Για το πρώτο μέρος, το ζητούμενο είναι πώς το σύστημα θα δεχθεί, θα φιλτράρει, θα διαχειριστεί και θα αποθηκεύσει τα δεδομένα που έρχονται συνεχώς και ταχύτατα. Το δεύτερο μέρος, αφορά στον απαιτούμενο ρυθμό ώστε να γίνει εξαγωγή πληροφορίας από τα εισερχόμενα δεδομένα. Μάλιστα, δεν αρκεί μόνο να μπορούμε να αναλύουμε τα δεδομένα και να εξάγουμε πληροφορία σε πραγματικό χρόνο,αλλά επιπλέον είναι αναγκαίο να εκτελούμε και όλες τις λειτουργίες που ενεργοποιούνται από αυτά, σε πραγματικό χρόνο, ώστε να μην καθυστερεί η όλη διαδικασία. Για παράδειγμα μια εφαρμογή που παρακολουθεί τις τιμές των εταιριών στο χρηματιστήριο, δεν αρκεί να μπορεί να τις καταγράφει, αλλά πιθανώς να θέλουμε και να αγοράζει ή να πουλάει μια μετοχή όταν αυτή ξεπερνά κάποια τιμή. Επέκταση του μοντέλου 3V σε 4V, 5V, 6V. Πολλά δεδομένα διαφορετικών όγκων, τα οποία έρχονται σε υψηλή ταχύτητα δεν αποτελούν χρήσιμη πηγή δεδομένων αν αυτά είναι ανακριβή. Εσφαλμένα δεδομένα μπορούν να προκαλέσουν πολλά προβλήματα για τους οργανισμούς όσο και για τους καταναλωτές. Έτσι, οι οργανισμοί πρέπει να διασφαλίσουν ότι τα δεδομένα είναι σωστά καθώς και οι αναλύσεις που πραγματοποιήθηκαν σε αυτά είναι σωστές. Ειδικά στην αυτοματοποιημένη διαδικασία λήψης αποφάσεων, όπου κανένας άνθρωπος δεν συμμετέχει πια, πρέπει να είμαστε βέβαιοι ότι τόσο τα στοιχεία όσο και οι αναλύσεις είναι σωστές. Για το λόγο αυτό πρόσφατα προστέθηκε ένα ακόμα χαρακτηριστικό των Big Data, η ειλικρίνεια ή εγκυρότητα (Veracity). H Ειλικρίνεια (Veracity) αναφέρεται στις προκαταλήψεις, το θόρυβο και την ανωμαλία (messiness) ή την αξιοπιστία των δεδομένων. Λόγω των πολλών και διαφορετικών μορφών των Μεγάλων Δεδομένων, η ποιότητα και η ακρίβεια είναι λιγότερο ελεγχόμενες παράμετροι.. Η κύρια υπόσχεση των μεγάλων δεδομένων είναι η λήψη καλύτερων αποφάσεων βασιζόμενοι σε δεδομένα. Η ιδέα φαίνεται ελκυστική αλλά υπάρχει μια προειδοποίηση: είναι τα στοιχεία αρκετά αξιόπιστα για να στηρίξουν τις αποφάσεις μας πάνω σε αυτά; σε ποιο βαθμό μπορούμε να 22

23 εμπιστευθούμε τα δεδομένα; Πολλές φορές το μεγαλύτερο ποσοστό του χρόνου ενός έργου αφορά τη διαλογή και καθαρισμό των δεδομένων. Για παράδειγμα στο Twitter οι αναρτήσεις με hashtags, οι συντομογραφίες, η τυπογραφική και καθομιλουμένη ομιλία. Δεν μπορούμε να θεωρήσουμε ένα tweet ως αξιόπιστο δεδομένο προς ανάλυση, καθώς μπορεί να είναι ψευδές, να υπάρχουν πολλοί λογαριασμοί από τον ίδιο χρήστη και γενικότερα η ανωνυμία που παρέχει ως κοινωνικό μέσο δεν διασφαλίζει ότι τα δεδομένα που υπάρχουν εκεί μέσα είναι ποιοτικά και αξιόπιστα (θόρυβος). Η ανάλυση των Μεγάλων Δεδομένων και η τεχνολογία, μας επιτρέπουν πλέον να συνεργαστούμε με αυτούς τους τύπους των δεδομένων. Εικόνα 10: Τα 4Vτων Μεγάλων Δεδομένων. Επίσης, υπάρχει μια ακόμα παράμετρος η οποία μπορεί να ληφθεί υπόψη κατά την εξέταση μεγάλων δεδομένων, ένα πέμπτο V: Η Αξία (Value). Η πρόσβαση σε μεγάλα δεδομένα αν δε μπορούμε να τη μετατρέψουμε σε αξία είναι άχρηστη. Για αυτό πολλοί υποστηρίζουν ότι η αξία είναι το πιο σημαντικό V των μεγάλων δεδομένων. Οι οργανισμοί καλούνται να επιλέξουν την πιο αποτελεσματική από πλευράς κόστους λύση με στόχο την αξιοποίηση της πληροφορίας που θα οδηγεί στην έγκαιρη και όσο το δυνατό πιο σωστή λήψη αποφάσεων, δίνοντας τη μεγαλύτερη δυνατή αξία στην επιχείρηση. 23

24 Εικόνα 11: Τα 5Vτων Μεγάλων Δεδομένων. Τέλος, η μεταβλητότητα των δεδομένων (variability) προστέθηκε στα υπάρχοντα χαρακτηριστικά των Μεγάλων Δεδομένων, χωρίς βέβαια κανείς να εγγυάται ότι δεν θα υπάρξουν περαιτέρω προσθήκες σο μέλλον! Εικόνα 12: Τα 6Vτων Μεγάλων Δεδομένων. 24

25 1.4 Tα Μεγάλα Δεδομένα στον κόσμο. Η μεγάλη τεχνολογική και επιχειρηματική πρόκληση της εποχής είναι η αποτελεσματική διαχείριση του τεράστιου όγκου δεδομένων, η πλειονότητα του οποίου βρίσκεται στη διάθεση των επιχειρήσεων αλλά και των καταναλωτών. Η πραγματική επανάσταση δεν είναι στις μηχανές επεξεργασίας δεδομένων αλλά στα ίδια τα δεδομένα και πως αυτά χρησιμοποιούνται. Πώς αντιμετώπισε όμως ο κόσμος την εμφάνιση των Μεγάλων Δεδομένων και τί κατόρθωσε από την έως τώρα αξιοποίησή τους; Η Google ανοίγει το δρόμο της αξιοποίησης των Βig Data. Αυτή τη στιγμή η Google χαρακτηρίζεται ως η μεγαλύτερη μηχανή αναζήτησης στο κόσμο. Δικαίως, εάν αναλογιστεί κανείς το τεράστιο όγκο δεδομένων που έχει στην κατοχή της και που διαχειρίζεται. Η Google το 2012 πραγματοποίησε τη μεγαλύτερη έως τότε ανάλυση δεδομένων για εξαγωγή πολύτιμης πληροφόρησης. Συγκεκριμένα στη προσπάθεια περιορισμού και καταπολέμησης του ιού H1N1 η Google πέτυχε αυτό που δεκάδες επιστημονικές κοινότητες αδυνατούσαν. Συνέλεξε 50,000,000 πιο συχνά πληκτρολογημένα θέματα, (καθώς οι άνθρωποι τείνουν να ψάχνουν στον ιντερνέτ με βάση τα συμπτώματά τους, πιθανές ασθένειες) και τα συνέκρινε με την επίσημη λίστα καταγεγραμμένων περιστατικών, συμπτωμάτων και γνωματεύσεων του ιατρικού οργανισμού CDC για το διάστημα 2003 έως Στόχος της, να προσδιορίσει τις περιοχές που προσβάλλονται με βάση το τί ψάχνουν οι άνθρωποι στο διαδίκτυο. Αυτά τα πληθυσμιακά σύνολα ήταν σε θέση να γνωρίζει ποιά είναι η τοποθεσία τους. Δημιούργησε στη συνέχεια ένα εκπληκτικό σύνολο μαθηματικών μοντέλων, ενώ στην πορεία το λογισμικό της ανακάλυψε ένα συνδυασμό 45 όρων που όταν χρησιμοποιείται σε ένα μαθηματικό μοντέλο έχει υψηλά ποσοστά συσχέτισης μεταξύ πρόβλεψης και καταγεγραμμένων περιστατικών. Μάλιστα μπορούσε να γίνει πρόβλεψη σε πραγματικό χρόνο! Το να έχει κανείς στα χέρια του real time προβλέψεις, ειδικά όταν μιλάμε για εξάπλωση ασθένειας, καταλαβαίνουμε ότι πρόκειται για ένα πανίσχυρο όπλο στο αγώνα καταπολέμησης ενός ιού που είχε λάβει προεκτάσεις πανδημίας. Κατάφερε έτσι με βάση το τί πληκτρολογούσε κάθε άτομο να κάνει προβλέψεις για την εξάπλωση του ιού σε τοπικό επίπεδο. Αυτό που έκανε τη Google ώστε να μπορέσει να πετύχει κάτι τέτοιο ήταν ότι: 1.Είχε στη διάθεσή της ένα τεράστιο εύρος δεδομένων, έναντι οποιουδήποτε άλλου. 2.Είχε τη δύναμη επεξεργασίας αυτών. 3.Διέθετε στατιστική τεχνογνωσία. 25

26 Οι εφαρμογές των Μεγάλων Δεδομένων σήμερα. Καθώς η τεχνολογία των μεγάλων δεδομένων διαρκώς εξελίσσεται, ολοένα και πιο πολλοί οργανισμοί αντιλαμβάνονται την ανάγκη και ευκαιρία αξιοποίησης τους. Ορισμένα "κέρδη από τις εφαρμογές της ανάλυσης μεγάλων δεδομένων είναι: Ανάλυση της συμπεριφοράς και των προτιμήσεων των χρηστών και ανάλογη προσαρμογή της πολιτικής προβολής και διαφήμισης Εντοπισμός μοτίβων που αφορούν στην ανταπόκριση ασθενών σε ιατρικές θεραπείες. Εντοπισμός αναζητουμένων ή/και υποψηφίων εγκληματιών μέσω της ανίχνευσης υπόπτων τηλεπικοινωνιακών, αγοραστικών και μετακινήσεων ή συμπεριφορών Εφαρμογές για κινητές συσκευές: Τα τελευταία χρόνια οι κινητές συσκευές αποκτούν όλο και μεγαλύτερο μερίδιο της αγοράς για τις διαδικτυακές υπηρεσίες. Οι υπηρεσίες αυτές για να ανταποκριθούν κατάλληλα, θα πρέπει να εξασφαλίσουν υψηλή διαθεσιμότητα αλλά και τη δυνατότητα για άμεση επεξεργασία μεγάλου πλήθους δεδομένων. Τα δύο αυτά χαρακτηριστικά υποδεικνύουν τα big datas ως την καλύτερη λύση. Εφαρμογές με υψηλό βαθμό παραλληλοποίησης: Η σημερινή έκρηξη δεδομένων έχει ως συνέπεια την ανάγκη για γρήγορη επεξεργασία τεράστιου όγκου πληροφορίας. Αυτό με τις συμβατικές τεχνολογίες είναι αδύνατον να επιτευχθεί. Στο clouding ωστόσο, με την ύπαρξη εικονικά απεριόριστου hardware (on demand), μπορούμε να μοιράσουμε τα δεδομένα μας σε εκατοντάδες διαφορετικούς υπολογιστές για να επιτύχουμε γρηγορότερη επεξεργασία τους. Μάλιστα, οι πάροχοι διαθέτουν έτοιμα περιβάλλοντα (Map Reduce, Hadoop) για τη διευκόλυνση αυτών των εφαρμογών. Επιχειρησιακές εφαρμογές (business applications): Μεγάλα συστήματα (ERP, CRM κλπ) που χρησιμοποιούνται για το στρατηγικό σχεδιασμό των επιχειρήσεων, είναι συνήθως πολύ απαιτητικά σε υπολογιστική ισχύ. Η λύση του cloud λοιπόν φαντάζει μονόδρομος, από τη στιγμή που το μέγεθος των δεδομένων προς επεξεργασία για τις μεγάλες επιχειρήσεις αυξάνεται εκθετικά. Πολλές είναι οι εταιρείες οι οποίες κινηθήκαν με ταχύτητα και κατάφεραν να επιτύχουν επιχειρηματικούς στόχους μέσα από την ανάλυση μεγάλων δεδομένων. Εταιρίες που τα εκμεταλλεύτηκαν άμεσα, όπως η T-Mobile, πάροχος υπηρεσιών κινητής τηλεφωνίας και η θυγατρική της Deutche Telecom, πέτυχαν τη μείωση 26

27 κατά 50% του λειτουργικού κόστους χάρη στα μεγάλα δεδομένα. Πολλά παραδείγματα εταιρειών που με χρήση μεγάλων δεδομένων βελτίωσαν υπηρεσίες μεταφορών, γεωργίας, χρηματοοικονομικών και παιδείας και μπορούν να χωριστούν σε διάφορες κατηγορίες ανάλογα με την περίπτωση. Μέσω των analytics μεγάλων δεδομένων είναι εφικτή η παρακολούθηση της εξέλιξης των πωλήσεών. Η T-mobile, περιόρισε το κόστος αναλύοντας μια σειρά πολλαπλών δεικτών δεδομένων προκειμένου να επιτύχουν τη βελτίωση της εξυπηρέτησης πελατών και την επίτευξη των στόχων τους. Δεδομένα που αφορούν τη συμπεριφορά των πελατών αποτελούν πολύτιμη πηγή πληροφορίας προς εντοπισμό των κινήτρων που διαμορφώνουν τις επιλογές των καταναλωτών σχετικά με ένα προϊόν. Η Time Warner Cable, καταγράφει τη συμπεριφορά των πελατών, τη δραστηριότητά τους, την χρονική κατανομή της κατανάλωσης μέσα σε μια ημέρα προκειμένου να προσαρμόσουν την πολιτική τους σχετικά. Βέβαια τα Μεγάλα δεδομένα αξιοποιούνται σε μια σειρά από σημαντικούς τομείς της κοινωνικής και οικονομικής δραστηριότητας. Εικόνα 13 :Eφαρμογές big datas Τηλεπικοινωνίες Στα τηλεφωνικά κέντρα συλλέγονται πολύ μεγάλες ποσότητες αδόμητων και δομημένων δεδομένων. Η χαρτογράφηση και ταξινόμηση των κλήσεων παρέχει τη δυνατότητα εντοπισμού σφαλμάτων και αδυναμιών στις σχετικές υποδομές (ESRL, 2011) 27

28 Εμπόριο Η eβay, μία από τις μεγαλύτερες ηλεκτρονικές πλατφόρμες δημοπρασιών στον κόσμο, καταγράφει συναλλαγές με περισσότερους από 108 εκατ. πελάτες ετησίως ενώ εισπράττει πάνω από 250 εκατομμύρια αιτήματα στον ιστοχώρο της ημερησίως. Επίσης, στο εμπόριο ηλεκτρονικών συσκευών, εκτιμάται ότι πωλείται ένα κινητό τηλέφωνο κάθε 5 δευτερόλεπτα (Berkeley, 2012). Είναι εμφανής λοιπόν ο όγκος πληροφορίας που αποθηκεύεται τόσο για τους πελάτες και για τα προϊόντα και η δυνατότητα εξόρυξης γνώσης αναφορικά με τις συνήθειες και τάσεις και η διαμόρφωση σχετικών πολιτικών. Αλλά ακόμα και στο λιανεμπόριο γίνεται αξιοποίηση μεγάλων δεδομένων μελετώντας πληροφορίες από ΜΜΕ για τον εντοπισμό του βέλτιστου σημείου εγκατάσταση ενός καταστήματος. Αντιμετώπιση καταστροφών Μέσα από τη συγκέντρωση πληροφορίας που μπορεί να προέρχεται είτε από ΜΜΕ είτε από κοινό δίνεται η δυνατότητα χαρτογράφησης του τόπου όπου λαμβάνει χώρα μια καταστροφή, αξιολόγησης της σοβαρότητάς της και χάραξη της άριστης διαδρομής για την τάχιστη άφιξη των σχετικών υπηρεσιών. Η γρήγορη πρόγνωση του τυφώνα Irene στην Φλόριντα το 2011 ελαχιστοποίησε τις συνέπειες αφού έδωσε το χρόνο για τη λήψη όλων των αναγκαίων μέτρων και βασίστηκε στην ανάλυση μεγάλων γεωχωρικών δεδομένων Φυσικοί πόροι Ο κλάδος του πετρελαίου θεωρείται από τους πρώτους όπου άρχισε να ασχολείται με τα μεγάλα δεδομένα. Πετρελαϊκές εταιρείες και κυβερνήσεις κάνουν χρήση και ανάλυση τεράστιων ποσοτήτων δεδομένων που είναι διαθέσιμα σχετικά με σεισμική δραστηριότητα σε όλη την υφήλιο με σκοπό την εξερεύνηση και εξόρυξη πετρελαίου. Υγεία Στις μέρες μας, τα δεδομένα που αφορούν ασθενείς δημιουργούνται με εκθετικό ρυθμό. Οι πληροφορίες αυτές ωστόσο έχουν διαφορετικές μορφές και πρότυπα. Τα Μεγάλα Δεδομένα μέσω της ανάλυσής τους μας επιτρέπουν να αποκωδικοποιήσουμε ολόκληρα τμήματα DNA μέσα σε λίγα λεπτά γεγονός που διευκολύνει στην εύρεση νέων θεραπειών και στη καλύτερη κατανόηση και πρόβλεψη διαφόρων ασθενών. Οι κλινικές δοκιμές του μέλλοντος δεν θα περιορίζονται σε μικρά μεγέθη δείγματος, αλλά θα μπορούν ενδεχομένως να περιλαμβάνουν όλους! Οι τεχνικές Μεγάλων Δεδομένων χρησιμοποιούνται ήδη για την παρακολούθηση νεογνών που γεννήθηκαν πρόωρα ή είναι άρρωστα. 28

29 Ειδικότερα, με την καταγραφή και ανάλυση κάθε καρδιακού παλμού και της αναπνοής κάθε μωρού, η μονάδα είναι σε θέση να αναπτύσσει αλγόριθμους που μπορούν τώρα να προβλέψουν λοιμώξεις 24 ώρες πριν εμφανιστούν οποιαδήποτε σωματικά συμπτώματα. Με αυτόν τον τρόπο, η ομάδα μπορεί να παρέμβει έγκαιρα και να σώσει μωρά σε ένα περιβάλλον όπου μετράει κάθε ώρα. Γενικότερα επιτρέπει την παρακολούθηση και πρόβλεψη της εξέλιξης των επιδημιών και των εστιών μιας νόσου (παράδειγμα Google-εξάπλωση H1N1). Μεταφορές Η εταιρεία διεθνών ταχυμεταφορών UPS, άρχισε να καταγράφει και να μελετά τις κινήσεις πακέτων και συναλλαγών από τις αρχές της δεκαετίας Σήμερα συγκεντρώνει δεδομένα για 16,3 εκατ. πακέτα ημερησίως, για 8,8 εκατομμύρια πελάτες, με μέσω όρο 39,6 εκατομμύρια αιτήματα παρακολούθησης πακέτου καθημερινά. Το μεγαλύτερο τμήμα των μεγάλων δεδομένων που διαθέτει προέρχονται από τηλεματικούς αισθητήρες τοποθετημένους στα οχήματά της. Τα δεδομένα αξιοποιούνται τόσο για την καθημερινή εποπτεία και μέτρηση της αποδοτικότητας αλλά και για τη διαμόρφωση της βέλτιστης δομής των δρομολογίων. Συνέπεια, της εν λόγω πρακτικής ήταν η εξοικονόμηση πάνω από 8.4 εκατομμύρια γαλονιών καυσίμων το 2011, και η μείωση κατά 85 εκατομμύρια μίλια των καθημερινών δρομολογίων. Η UPS εκτιμά ότι η μείωση ενός μιλίου ανά οδηγό την ημέρα, εξοικονομεί κόστος δολαρίων το χρόνο. Διαδίκτυο Ιστότοποι όπως το facebook και το twitter συγκεντρώνουν πάνω από 25 και 12 terabytes δεδομένων αντίστοιχα. Η Google μέσω των διάφορων εφαρμογών της (mail, googledrive, googleearthκ.α) συγκεντρώνει δεδομένα όγκου πλέον των 80 terabytes ημερησίως. Η ανάλυση των δεδομένων των χρηστών τους είναι ο οδηγός της διαμόρφωσης της στρατηγικής τους στόχευσης. Κατανόηση και στόχευση πελατών. Αυτό αποτελεί μια από τις μεγαλύτερες και δημοφιλέστερες περιοχές χρήσης των Μεγάλων Δεδομένων σήμερα. Χρησιμοποιούνται για να κατανοήσουμε καλύτερα τους πελάτες ως προς τις συμπεριφορές και τις προτιμήσεις τους. Οι εταιρείες είναι πρόθυμες να εμπλουτίσουν τα παραδοσιακά σύνολα δεδομένων τους, με τα δεδομένα των κοινωνικών μέσων και περιήγησης των μηχανών αναζήτησης, ώστε να αποκτήσουν μια πιο ολοκληρωμένη εικόνα των πελατών τους. Απώτερος και βασικός στόχος τους, είναι να δημιουργήσουν μοντέλα πρόβλεψης όπως αναφέραμε και παραπάνω. Μπορούμε να θυμηθούμε το παράδειγμα του λιανοπωλητή Target στις 29

30 ΗΠΑ. Τα Target είναι τώρα σε θέση να προβλέψουν με μεγάλη ακρίβεια, πότε κάποιος από τους πελάτες τους περιμένει μωρό και να τους παρουσιάσουν αντίστοιχες προσφορές. Χρησιμοποιώντας Μεγάλα Δεδομένα επίσης, εταιρίες τηλεπικοινωνιών μπορούν πλέον να προβλέψουν καλύτερα τυχόν απώλειες πελατών και να προβούν σε πρόταση δελεαστικών πακέτων πριν οι πελάτες εκδηλώσουν δυσαρέσκεια και επιθυμία αποχώρησης από τον πάροχό τους. Η Wall- Mart από την άλλη μπορεί να προβλέψει τί προϊόντα θα πωλούν και οι ασφαλιστικές εταιρείες αυτοκινήτων να κατανοήσουν το πόσο καλά στην πραγματικότητα οι πελάτες τους οδηγούν το αυτοκίνητο τους, και να τους προτείνουν αντίστοιχα συμβόλαια. Ακόμη και σε προεκλογικές εκστρατείες η εκάστοτε παράταξη μπορεί να επωφεληθεί από την ανάλυση συνόλων Βig Data και να εντατικοποιήσει τις εκστρατείες της σε περιοχές που τα Μεγάλα Δεδομένα αποκαλύπτουν χαμηλά ποσοστά. Χαρακτηριστικά, ορισμένοι πιστεύουν ότι η νίκη του Ομπάμα το 2012 ήταν λόγω της μεγαλύτερης ικανότητας της ομάδας του να χρησιμοποιήσει ορθολογικά την ανάλυση Μεγάλων Δεδομένων, γεγονός που του παρείχε μία καλύτερη και πιο στοχευμένη προεδρική προεκλογική εκστρατεία. Κατανόηση και Βελτιστοποίηση Επιχειρησιακών Διαδικασιών Τα Μεγάλα Δεδομένα χρησιμοποιούνται επίσης για τη βελτιστοποίηση των επιχειρηματικών διαδικασιών. Οι έμποροι λιανικής πώλησης είναι σε θέση να βελτιστοποιούν τα αποθέματά τους με βάση τις προβλέψεις που δημιουργούνται από τα δεδομένα των μέσων κοινωνικής δικτύωσης, τις τάσεις αναζήτησης Ιστού και τις προβλέψεις καιρού. Μια συγκεκριμένη επιχειρηματική διεργασία που χρησιμοποιεί αρκετά τα Μεγάλα Δεδομένα και την ανάλυση αυτών, είναι η αλυσίδα εφοδιασμού ή η βελτιστοποίηση της διαδρομής παράδοσης. Εδώ, οι γεωγραφικοί αισθητήρες αναγνώρισης και εντοπισμού των ραδιοσυχνοτήτων χρησιμοποιούνται για την παρακολούθηση των εμπορευμάτων ή των οχημάτων διανομής ώστε να βελτιστοποιήσουν τα δρομολόγια τους με την ενσωμάτωση ζωντανών δεδομένων οδικής κυκλοφορίας, κλπ. Οι διεργασίες ανθρωπίνων πόρων έχουν επίσης βελτιωθεί με τη χρήση Μεγάλων Δεδομένων. Αυτό περιλαμβάνει τη βελτιστοποίηση της απόκτησης ταλέντων - Moneyball στυλ, καθώς και τη μέτρηση της εταιρικής κουλτούρας και της ενασχόλησης του προσωπικού με τη χρήση Βig Data. Προσωπική ποσοτικοποίηση και βελτιστοποίηση απόδοσης. Tα Μεγάλα Δεδομένα δεν αφορούν μόνο τις επιχειρήσεις και τις κυβερνήσεις, αλλά και όλους εμάς ξεχωριστά. Μπορούμε πλέον σήμερα να επωφεληθούμε από τα δεδομένα που δημιουργούνται από φορητές συσκευές όπως τα smart watches. Ας 30

31 πάρουμε ώς παράδειγμα το Up band from Jawbone,όπου το περιβραχιόνιο συλλέγει δεδομένα σχετικά με την κατανάλωση θερμίδων, τα επίπεδα δραστηριότητας και τα μοτίβα του ύπνου μας. Ενώ δίνει πλούσιες πληροφορίες σχετικά με τα άτομα, η πραγματική αξία είναι κατά την ανάλυση των δεδομένων. Στη περίπτωση του Jawbone, η εταιρεία συγκεντρώνει εδώ και 60 χρόνια δεδομένα ύπνου κάθε βράδυ. Βελτίωση αθλητικής επίδοσης Τα πιο δημοφιλή αθλήματα σήμερα, στηρίζονται στα Μεγάλα Δεδομένα. Χαρακτηριστικό παράδειγμα εφαρμογής το εργαλείο IBM Slam Tracker για τουρνουά τένις. Αυτό που κάνει ουσιαστικά το IBM Slam Tracker είναι ότι χρησιμοποιεί αναλύσεις βίντεο για να παρακολουθείται η απόδοση του κάθε παίκτη σε ποδοσφαιρικό αγώνα. Διαθέτει επίσης και τεχνολογία αισθητήρων σε αθλητικό εξοπλισμό όπως μπάλες μπάσκετ. Επιπλέον, πολλές μεγάλες αθλητικές ομάδες παρακολουθούν τους αθλητές έξω από το αθλητικό περιβάλλον, χρησιμοποιώντας έξυπνη τεχνολογία για να παρατηρούν τη διατροφή και τον ύπνο, καθώς και τη συναισθηματική ευεξία τους παρακολουθώντας διάφορες συνομιλίες στα κοινωνικά μέσα. Βελτίωση των Επιστημών και της Έρευνας Τα πεδία της Επιστήμης και της Έρευνας μετασχηματίζονται από τις νέες δυνατότητες που παρέχουν τα Μεγάλα Δεδομένα. Ας πάρουμε ως παράδειγμα το CERN, το ευρωπαϊκό κέντρο ερευνών πυρηνικής φυσικής με το μεγάλο Επιταχυντή Αδρονίων του (ο μεγαλύτερος και ισχυρότερος επιταχυντής σωματιδίων στον κόσμο). Κατά τα πειράματα που εκτελεί για να ξεκλειδώσει τα μυστικά του σύμπαντός μας, παράγει τεράστιες ποσότητες δεδομένων. Το κέντρο δεδομένων του CERN έχει επεξεργαστές για να αναλύσει 30 petabytes δεδομένων. Ωστόσο, χρησιμοποιεί την υπολογιστική δύναμη χιλιάδων υπολογιστών, οι οποίοι διανέμονται σε 150 κέντρα δεδομένων σε όλο τον κόσμο, για να αναλύσει τα δεδομένα του. Τέτοια υπολογιστική δύναμη θα λέγαμε μπορεί να αξιοποιηθεί για να επηρεάσει τόσους άλλους τομείς της Επιστήμης και της Έρευνας. Βελτιστοποίηση μηχανών εκτέλεσης Τα Μεγάλα Δεδομένα βοηθούν τις μηχανές και συσκευές να γίνονται πιο έξυπνες και αυτόνομες. Για παράδειγμα, το Toyota Prius είναι εξοπλισμένο με κάμερες, GPS καθώς και ισχυρούς υπολογιστές και αισθητήρες για την ασφαλή οδήγηση στο δρόμο χωρίς την παρέμβαση του ανθρώπου. Μπορούμε να χρησιμοποιήσουμε ακόμα και 31

32 εργαλεία Μεγάλων Δεδομένων για τη βελτιστοποίηση της απόδοσης των υπολογιστών και των αποθηκών δεδομένων. Bελτίωση ασφάλειας και δυνατότητα επιβολής του νόμου Τα Μεγάλα Δεδομένα εφαρμόζονται σε μεγάλο βαθμό για τη βελτίωση της ασφάλειας και τη δυνατότητα επιβολής του νόμου. Η Εθνική Υπηρεσία Ασφαλείας (NSA) των ΗΠΑ χαρακτηριστικά, χρησιμοποιεί Μεγάλα Δεδομένα για να αποτρέψει τρομοκρατικές επιθέσεις. Άλλοι χρησιμοποιούν τεχνικές επεξεργασίας Μεγάλων Δεδομένων για την ανίχνευση και την πρόληψη των επιθέσεων στον κυβερνοχώρο. Οι Αστυνομικές δυνάμεις χρησιμοποιούν τα Μεγάλα Δεδομένα για να συλλάβουν εγκληματίες ή ακόμα και να προβλέψουν πιθανή εγκληματική δραστηριότητα ενώ οι εταιρείες πιστωτικών καρτών τα χρησιμοποιούν για να ανιχνεύσουν τις δόλιες συναλλαγές. Βελτίωση πόλεων και χωρών Τα Μεγάλα Δεδομένα χρησιμοποιούνται για τη βελτίωση πολλών πτυχών των πόλεων και χωρών. Για παράδειγμα, η χρήση τους επιτρέπει σε πόλεις τη βελτίωση της ροής της κυκλοφορίας. Κάτι τέτοιο στηρίζεται σε δεδομένα για τη κυκλοφορία σε πραγματικό χρόνο, σε δεδομένα των μέσων κοινωνικής δικτύωσης καθώς και σε κλιματολογικές πληροφορίες. Πολλές πόλεις αξιοποιούν πλέον τα Μεγάλα Δεδομένα και αποκτούν το τίτλο των έξυπνων πόλεων (smart cities). Έτσι με την ορθή αξιοποίηση τους ένα λεωφορείο θα μπορεί περιμένει τους επιβάτες ενός τρένου που καθυστέρησε ή ακόμη προβλέποντας τον όγκο της κυκλοφορίας τα σήματα κυκλοφορίας θα αλλάζουν αναλόγως ώστε να ελαχιστοποιούνται τυχών συμφορήσεις. Οικονομικές Συναλλαγές Η τελευταία κατηγορία εφαρμογής Μεγάλων Δεδομένων είναι αυτή των χρηματοοικονομικών συναλλαγών. Οι συναλλαγές υψηλής συχνότητας (Ηigh Frequency Trading - HFT ) είναι μια περιοχή όπου τα Μεγάλα Δεδομένα βρίσκουν μεγάλη χρήση σήμερα. Αλγόριθμοι Μεγάλων Δεδομένων χρησιμοποιήθηκαν για τη λήψη επενδυτικών αποφάσεων. Σήμερα, η πλειοψηφία των μετοχών που ανταλλάσσονται πραγματοποιείται μέσω αλγορίθμων Μεγάλων Δεδομένων. Aυτοί λαμβάνουν περισσότερο υπόψη τα σήματα από τα δίκτυα των social media και τις ειδησεογραφικές ιστοσελίδες προκειμένου να αγοράσουν και να πωλούν τις μετοχές σε κλάσματα του δευτερολέπτου. 32

33 Αυτές οι κατηγορίες που παρουσιάστηκαν αντιπροσωπεύουν τις περιοχές στις οποίες τα Μεγάλα Δεδομένα εφαρμόζονται. Φυσικά υπάρχουν τόσες πολλές άλλες εφαρμογές μεγάλων δεδομένων και θα υπάρξουν και πολλές νέες κατηγορίες στο μέλλον Μεγάλα Δεδομένα και νέες θέσεις εργασίας. Τα δεδομένα αποκτούν αληθινή δύναμη, μόνο όταν είναι συγκεντρωμένα, ξεκαθαρισμένα, έχουν υποστεί ανάλυση και χειρισμό και όταν μεταφράζονται στην γλώσσα αυτών που ηγούνται της επιχείρησης και θέτουν τους κανόνες. Και έτσι η έκρηξη των δεδομένων έχει οδηγήσει στην ανάγκη δημιουργίας τομέων που ασχολούνται με την μετατροπή των απλών δεδομένων σε χρήσιμα δεδομένα. Σήμερα βλέπουμε ολόκληρους τομείς και αρχές επιχειρήσεων που έχουν γεννηθεί από την ανάγκη απόκτησης ιδεών από πληροφορίες που υπό άλλες συνθήκες θα ήταν μη αποκωδικοποιήσιμες. Μέχρι το 2017, η αγορά μεγάλων δεδομένων αναμενόταν να φτάσει τα 50 δισεκατομμύρια δολάρια και να δημιουργήσει μέχρι και 3,75 εκατομμύρια καινούριες θέσεις εργασίας. Συγκεκριμένα ένα νέο επάγγελμα, αυτό των επιστημόνων δεδομένων έχει δημιουργηθεί για να ικανοποιήσει την συνεχώς αυξανόμενη αυτή ανάγκη - το να δώσουν μορφή σε μεγάλες ποσότητες ακατέργαστων δεδομένων. Το επάγγελμα αυτό βρίσκεται ακόμη σε νηπιακή ηλικία- ο όρος Επιστήμονας Δεδομένων χρησιμοποιήθηκε πρώτη φορά το 2008 από τους επικεφαλής της ανάλυσης δεδομένων του LinkedIn και του Facebook- αλλά ακόμη και έτσι, μέσα σε λίγα χρόνια μόλις, το επάγγελμα έχει ανθίσει. Το 2012, η κριτική επιχειρήσεων του Harvard, αποκάλεσε αυτή την θέση εργασίας, ως το πιο σέξι επάγγελμα του 21ου αιώνα. Το 2015, ήταν το πιο σέξι επάγγελμα σύμφωνα με το Mashable. Με αναγνωρίσεις όπως αυτές, δεν θα έπρεπε να αποτελεί έκπληξη το γεγονός ότι φοιτητές Μάστερ και Διδακτορικών αλλά και χωρίς καθόλου εργασιακή εμπειρία καταλήγουν να λαμβάνουν εξαψήφιους μισθούς. Οι επιστήμονες δεδομένων με εμπειρία, πολύ συχνά λαμβάνουν μισθούς παρόμοιους με τους επικεφαλής διευθυντές επιχειρήσεων. Η επιστήμη των δεδομένων είναι πλέον ένα εργαλείο απαραίτητο για τις επιχειρήσεις. Σύμφωνα με μία πρόσφατη έρευνα από την Αccenture, το 87% των εταιριών συμφωνούν. Πιστεύουν ότι η ανάλυση μεγάλων δεδομένων, μέσα σε 3 χρόνια, θα επαναπροσδιορισθεί από τις σημαντικές εταιρίες οι οποίες θα επενδύουν πιο σωστά στο αντικείμενο αυτό. Μάλιστα, το 73% των εταιριών ξοδεύουν πάνω από το 1/5 του τεχνολογικού τους προϋπολογισμού στην ανάλυση δεδομένων. Όχι μόνο αυτό, αλλά δεν υπάρχουν και αρκετοί επιστήμονες για να γεμίσουν οι θέσεις αυτές. Οι εταιρίες ψάχνουν πλέον ταλέντα για τις θέσεις αυτές σε άτομα που 33

34 έχουν πτυχίο στην Φυσική, στην Μηχανική και στα Εφαρμοσμένα Μαθηματικά, αλλά κάτι τέτοιο απαιτεί αρκετές εξετάσεις για να επιβεβαιωθεί πως μπορούν να προσαρμοστούν στις δύσκολες απαιτήσεις του τομέα της επιστήμης των δεδομένων. Για ποιόν όμως λόγο ακριβώς χρειάζεται ένας επιστήμονας δεδομένων τις δεξιότητες αυτές; Τι ακριβώς κάνει ένας επιστήμονας δεδομένων; Και τι κάνει το επάγγελμα του ξεχωριστό σε σχέση με τους μαθηματικούς και τους στατιστικούς αναλυτές; Η μεγάλη διαφορά είναι η ικανότητα των επιστημόνων δεδομένων να σκεφτούν ως επιχειρηματίες και όχι απλά να μπορούν να εξετάσουν ευρείες και ποικίλες τράπεζες δεδομένων, αλλά να παραθέσουν τα ευρήματα πιο ξεκάθαρα σε όσους είναι υπεύθυνοι για την λήψη αποφάσεων. Όπως το ορίζει η βιομηχανία, οι Επιστήμονες δεδομένων έχουν την ικανότητα να μεταφέρουν τα ευρήματά τους στους επικεφαλής επιχειρήσεων και πληροφοριακών συστημάτων, με τέτοιο τρόπο που να επηρεάζει το πως προσεγγίζουν τις προκλήσεις οι επιχειρήσεις αυτές. Ακόμη μία μεγάλη διαφορά είναι ο αριθμός των υψηλά τεχνικών και ποσοτικών ικανοτήτων που είναι απαραίτητα για την επιτυχία. Υπάρχει πολύ μεγάλη ζήτηση για ικανότητες εκμάθησης μηχανών, ικανότητες ανάπτυξης των δεδομένων σε Python και Java, και διαχείρισης ανάλυσης ανοιχτής πηγής και δεδομένων. 34

35 1.5 Ανοιχτά Δεδομένα (open data) και Μεγάλα Δεδομένα Τι είναι τα Ανοιχτά Δεδομένα. Και οι δύο τύποι δεδομένων μπορούν να μεταμορφώσουν τον κόσμο, αλλά όταν οι κυβερνήσεις μετατρέπουν τα Big Data σε ανοικτά δεδομένα, αυτό έχει ιδιαίτερο αντίκτυπο. Τα Big Data και το νέο φαινόμενο των ανοικτών δεδομένων είναι στενά συνδεδεμένα, αλλά δεν είναι το ίδιο. Τα Ανοικτά Δεδομένα φέρνουν μια προοπτική που μπορεί να κάνουν τα Big Data πιο χρήσιμα, πιο δημοκρατικά και λιγότερο απειλητικά. Δεν προέρχονται όλα τα μεγάλα, ανοιχτά δεδομένα από τις κυβερνήσεις, όπως π.χ η έρευνα των επιστημόνων στην αστρονομία. Ενώ τα Big Data καθορίζονται από το μέγεθος, τα ανοιχτά δεδομένα ορίζονται από τη χρήση τους. Τα Big Data είναι ο όρος που χρησιμοποιείται για να περιγράψει τα πολύ μεγάλα, σύνθετα, ραγδαία μεταβαλλόμενα σύνολα δεδομένων. Αλλά αυτές οι κρίσεις είναι υποκειμενικές και εξαρτώνται από την τεχνολογία: τα σημερινά Big Data μπορεί να μην φαίνονται τόσο μεγάλα σε μερικά χρόνια, όταν η ανάλυση των δεδομένων και η τεχνολογία των υπολογιστών βελτιωθεί. Τα ανοικτά δεδομένα είναι δημόσια προσβάσιμα δεδομένα που οι άνθρωποι, οι επιχειρήσεις και οι οργανισμοί μπορούν να χρησιμοποιούν για την έναρξη νέων επιχειρήσεων, την ανάλυση προτύπων και τάσεων, να λαμβάνουν αποφάσεις που βασίζονται σε δεδομένα, και να επιλύουν σύνθετα προβλήματα. Όλοι οι ορισμοί των ανοιχτών δεδομένων περιλαμβάνουν δύο βασικά χαρακτηριστικά: i) τα δεδομένα πρέπει να είναι διαθέσιμα στο κοινό για οποιονδήποτε θελήσει να τα χρησιμοποιήσει ii) πρέπει να διαθέτουν άδεια κατά τέτοιο τρόπο που να επιτρέπει την επαναχρησιμοποίησή τους. Τα Ανοικτά Δεδομένα θα πρέπει επίσης να είναι σχετικά εύκολα στη χρήση, αν και υπάρχουν διαβαθμίσεις του «ανοίγματος». Και υπάρχει γενική συμφωνία ότι τα ανοιχτά δεδομένα θα πρέπει να διατίθενται δωρεάν ή με ελάχιστο κόστος. 35

36 1.5.2 Η σχέση μεταξύ των Big Data και των Ανοικτών Δεδομένων. Υπάρχουν μερικά σημαντικά σημεία που πρέπει να προσεχθούν, στη σχέση μεταξύ των Big Data και των Ανοικτών Δεδομένων, και πώς αυτές συνδέονται με την ευρεία έννοια της ανοικτής διακυβέρνησης: Τα Big data που δεν είναι ανοικτά, δεν είναι δημοκρατικά. Υπάρχουν σύνολα δεδομένων που περιλαμβάνουν όλα τα είδη των μεγάλων δεδομένων που τηρούνται από το κοινό όπως τα στοιχεία που κρατούν οι μεγάλες εταιρείες λιανικού εμπορίου για τους πελάτες τους, ή τα δεδομένα που συλλέγονται για την εθνική ασφάλεια από την Εθνική Υπηρεσία Πληροφοριών. Αυτό το είδος των μεγάλων δεδομένων δίνει ένα πλεονέκτημα στους ανθρώπους που την ελέγχουν, αλλά μπορεί να αποδυναμώσει τους υπόλοιπους από εμάς. Είναι αυτό το είδος των μεγάλων δεδομένων που έχουν γίνει τα πιο αμφιλεγόμενα. Τα Ανοικτά Δεδομένα δεν πρέπει να είναι μεγάλα, για να έχουν σημασία τα δεδομένα: Οι μέτριες ποσότητες δεδομένων, μπορεί να έχουν μεγάλο αντίκτυπο όταν γίνονται δημόσια. Τα δεδομένα από την τοπική αυτοδιοίκηση, για παράδειγμα, μπορεί να βοηθήσουν τους πολίτες να συμμετέχουν στην τοπική κατάρτιση του προϋπολογισμού, να επιλέξουν την υγειονομική τους περίθαλψη, να αναλύουν την ποιότητα των τοπικών υπηρεσιών, ή να «φτιάξουν» εφαρμογές που βοηθούν τους ανθρώπους να περιηγηθούν με τα μέσα μαζικής μεταφοράς. Τα Big open data, δεν πρέπει να προέρχονται μόνο από την κυβέρνηση. Όλο και περισσότεροι επιστήμονες μοιράζονται την έρευνά τους στην αστρονομία, τη γονιδιωματική και άλλους τομείς σε ένα νέο, συνεργατικό μοντέλο της έρευνας. Άλλοι ερευνητές χρησιμοποιούν τα μεγάλα δεδομένα που συλλέγονται από τα social media τα περισσότερα από τα οποία είναι ανοικτά για το κοινό για την ανάλυση της κοινής γνώμης και τις τάσεις της αγοράς. Όμως, όταν η κυβέρνηση μετατρέπει τα Big data σε ανοικτά δεδομένα, αυτό είναι ιδιαίτερα ισχυρό: Οι κρατικές υπηρεσίες που έχουν την ικανότητα και τους πόρους για να συγκεντρώσουν πολύ μεγάλες ποσότητες δεδομένων, και το άνοιγμα των εν λόγω συνόλων δεδομένων μπορούν να έχουν σημαντικά οικονομικά οφέλη. Έχουν βρεθεί 500 παραδείγματα εταιρειών με έδρα τις ΗΠΑ που χτίζουν τις επιχειρήσεις τους σε ανοιχτά κυβερνητικά δεδομένα, και πολλά από αυτά τα δεδομένα είναι μεγάλα. Εφαρμόζοντας τις αρχές των Ανοικτών Δεδομένων στα Big Data, μπορεί κανείς να βοηθήσει στην επίλυση μερικών από τα δυσκολότερα ζητήματα που τα μαζικά δεδομένα έχουν εγείρει. Η μεγαλύτερη απειλή για τη δημόσια ευημερία είναι ο κίνδυνος ότι τα ιδιωτικά, τα προσωπικά δεδομένα μπορούν να συλλεχθούν και να χρησιμοποιηθούν ως Big data, με τρόπους που τα υποκείμενα των δεδομένων δηλαδή, όλοι μας μπορεί να μην θέλουν ή να μην εγκρίνουν. Παραδόξως, το 36

37 άνοιγμα αυτών των ευαίσθητων δεδομένων, με ένα συγκεκριμένο και ελεγχόμενο τρόπο, μπορεί στην πραγματικότητα να γίνει πιο ασφαλές. Το πρόβλημα τώρα είναι ότι δεν είναι μόνο οι κυβερνητικές υπηρεσίες και ορισμένες επιχειρήσεις που συλλέγουν προσωπικά δεδομένα για όλους μας. Είναι επίσης, ότι εμείς ως άτομα δεν ξέρουμε τι συλλέγεται και μπορεί να μην έχουμε πρόσβαση στις πληροφορίες για τους εαυτούς μας. Αν ξέραμε περισσότερα, θα μπορούσαμε να ελέγχουμε περισσότερα. Τόσο τα Big data, όσο και τα Ανοικτά Δεδομένα μπορούν να μετατρέψουν τις επιχειρήσεις, την κυβέρνηση και την κοινωνία καθώς και ένας συνδυασμός και των δύο δεδομένων είναι ιδιαίτερα ισχυρός. Τα Big Data μας δίνουν πρωτοφανή δύναμη να κατανοούμε, να αναλύουμε και, τελικά, να αλλάζουμε τον κόσμο στον οποίο ζούμε. Τα Ανοικτά Δεδομένα διασφαλίζουν ότι η εξουσία θα πρέπει να μοιράζεται και ότι ο κόσμος που θα αλλάξουμε, με λίγη τύχη, θα γίνει πιο δίκαιος και δημοκρατικός. 37

38 1.5.3 Τα Ανοιχτά Δεδομένα στην Ευρώπη. Στην παρακάτω εικόνα παρουσιάζονται στο χάρτη της Ευρώπης οι μετρήσεις και σε γράφημα πίτας το ποσοστό του ΑΕΠ της Ε.Ε που επενδύεται σε τομείς με το μεγαλύτερο πιθανό κέρδος από αξιοποίηση των Ανοιχτών Δεδομένων. Με γκρι χρώμα είναι οι 15 χώρες της Ε.Ε του χάρτη και με πορτοκαλί τα νέα μέλη. Ανάλογα με το μέγεθος κάθε κομματιού της πίτας παρουσιάζεται και η συχνότητα εφαρμογής των Ανοιχτών Δεδομένων στους επιμέρους κλάδους. Και στα δύο γραφήματα ο κλάδος της Δημόσιας Διοίκησης υπερτερεί. Εικόνα 14: Εφαρμογή Ανοιχτών Δεδομένων ανά Ευρωπαϊκή χώρα. Η Ευρωπαϊκή Επιτροπή προσφέρει μια πύλη ανοιχτών δεδομένων για κάθε τύπο πληροφοριών που βρίσκονται στην κατοχή της Επιτροπής και των άλλων θεσμικών οργάνων και οργανισμών της ΕΕ. Αυτή η ανοιχτή πύλη δεδομένων της ΕΕ βρίσκεται σε λειτουργία από τον Δεκέμβριο του Η Πύλη Δημόσιων Δεδομένων της ΕΕ: είναι το ενιαίο σημείο πρόσβασης στα συνεχώς 38

39 αυξανόμενα και ποικίλα δεδομένα που παράγουν τα όργανα και οι οργανισμοί της Ευρωπαϊκής Ένωσης. Τα δεδομένα αυτά μπορούν να χρησιμοποιηθούν, να επαναχρησιμοποιηθούν, να διαδοθούν μέσω συνδέσμων και να αναδημοσιευθούν για εμπορικούς ή μη σκοπούς, δωρεάν Τα Ανοιχτά Δεδομένα στην Ελλάδα. Ουραγός στην αξιοποίηση ανοικτών δεδομένων αναδεικνύεται η Ελλάδα, καθώς στοιχεία του Βαρόμετρου Ανοιχτών Δεδομένων που επεξεργάσθηκε το Ίδρυμα Οικονομικών και Βιομηχανικών Ερευνών (IOBE) δείχνουν πως η χώρα μας υπολείπεται στον τομέα αυτό των υπολοίπων ευρωπαϊκών κρατών. Η Ελλάδα κατατάσσεται 27 η στις 77 χώρες του Βαρόμετρου, υπερτερώντας απλώς από τις περισσότερες χώρες της Αφρικής, της Μέσης Ανατολής και της Κεντρικής Ασίας. Το ζητούμενο είναι πώς θα μπορούσαν τα Ανοιχτά Δεδομένα να αξιοποιηθούν κατάλληλα ώστε να συμβάλουν σε μια αποτελεσματική πολιτική ή μια επιχειρηματική επιτυχία όπως συμβαίνει σε αρκετές χώρες του εξωτερικού. Το να δημοσιοποιεί κανείς υψηλής ποιότητας ανοικτά δεδομένα σε ψηφιακή μορφή είναι το βασικό προαπαιτούμενο για την ανάπτυξη νέων πολιτικών και μιας επιτυχημένης επιχειρηματικότητας. Στις μέρες μας, μόνο μια μικρή μερίδα δημόσιων οργανισμών δημοσιοποιεί τα δεδομένα της σε μια μορφή που να μπορεί να χρησιμοποιηθεί από εξωτερικά συστήματα με στόχο την οικοδόμηση ουσιαστικών υπηρεσιών δεδομένων για τους τελικούς χρήστες. Αυτό συμβαίνει κυρίως λόγω του ότι οι κυβερνήσεις δεν είναι 100% πεπεισμένες για τον κοινωνικό και οικονομικό αντίκτυπο των υπηρεσιών που θα δημιουργηθούν με βάση τα ανοικτά δεδομένα. Προς αυτή την κατεύθυνση είναι σημαντικό να αναδείξει κανείς στους οργανισμούς του ιδιωτικού και του δημόσιου τομέα τα οφέλη μέσω πρωτοβουλιών όπως η ομάδα εργασίας Ανοικτών Δεδομένων της EΛΛΑΚ (Ελεύθερο Λογισμικό Ανοιχτού Κώδικα). Ένα άλλο εμπόδιο είναι πως οι οργανισμοί δεν διαθέτουν εσωτερικά τις απαιτούμενες ικανότητες για να υποστηρίξουν το άνοιγμα της γνώσης. Για το λόγο αυτό, είναι αναγκαίο οι εταιρείες και τα ιδρύματα να μεταφέρουν την απαραίτητη εξειδίκευση σε αυτούς τους οργανισμούς, αλλά αυτό προϋποθέτει μια συνεχή, οργανωμένη προσέγγιση και όχι μια αποσπασματική διαδικασία. Είναι επίσης σημαντικό να λαμβάνονται υπόψη οι απαιτήσεις υποδομής που είναι απαραίτητες στους οργανισμούς για να δημοσιεύουν τα δεδομένα τους (υλικό και λογισμικό). Το cloud computing και τα νέα μοντέλα παροχής λογισμικού, π.χ. SaaS μπορεί να αποτελέσουν κάποια χρήσιμα «εργαλεία» προς αυτή την κατεύθυνση. Μια από τις κύριες απαιτήσεις κατά τη δημιουργία ενός επιχειρηματικού μοντέλου που βασίζεται στα ανοικτά δεδομένα, είναι η αξιοπιστία της πηγής των δεδομένων και ως προς την ποιότητα και ως προς τη διαθεσιμότητα. Υπάρχουν περιπτώσεις που τα δεδομένα δεν είναι σωστά ή δεν είναι διαθέσιμα λόγω τεχνικών προβλημάτων. Αυτοί είναι παράγοντες που πρέπει να ληφθούν υπόψη σε μια νέα εφαρμογή που θα βασίζεται σε 39

40 ανοιχτά δεδομένα π.χ. προβλέποντας ένα στρώμα για τον ημι-αυτόματο έλεγχο της ποιότητας, το φιλτράρισμα και τον καθαρισμό. 40

41 ΚΕΦΑΛΑΙΟ 2 ο : ΕΞΟΡΥΞΗ ΓΝΩΣΗΣ ΚΑΙ ΜΕΓΑΛΩΝ ΔΕΔΟΜΕΝΩΝ (data mining) 2.1 Ορισμός Εξόρυξης γνώσης και Δεδομένων. Η εξόρυξη γνώσης από δεδομένα (data mining) ή πιο απλά η εξόρυξη γνώσης είναι μια νέα δυναμική τεχνολογία που βοηθάει τις επιχειρήσεις να εστιάσουν στην σημαντική πληροφορία που βρίσκεται μέσα στις αποθήκες δεδομένων τους (data warehouses). Οι τεχνικές της είναι σε θέση να αναζητήσουν και να βρουν γρήγορα και λεπτομερειακά βάσεις δεδομένων για την αναζήτηση κρυμμένων προτύπων (patterns). Έτσι λοιπόν μπορούμε να πούμε ότι η εξόρυξη γνώσης είναι μια διαδικασία εξαγωγής κρυμμένης πληροφορίας από μεγάλες βάσεις δεδομένων. «Εξόρυξη δεδομένων είναι η διαδικασία εξαγωγής υπονοούμενης και εν πολλοίς άγνωστης αλλά ενδεχομένως χρήσιμης γνώσης υπό την μορφή συσχετίσεων προτύπων και τάσεων, μέσω της εξέτασης ανάλυσης και επεξεργασίας βάσεων δεδομένων, συνδυάζοντας και χρησιμοποιώντας τεχνικές από την μηχανική μάθηση, την αναγνώριση προτύπων, την στατιστική, τις βάσεις δεδομένων και την οπτικοποίηση.» Παρά το γεγονός ότι υπάρχει μια γενικότερη συμφωνία ότι ο στόχος της εξόρυξης δεδομένων είναι η ανακάλυψη νέας και χρήσιμης πληροφορίας σε βάσεις δεδομένων, τα μέσα για την επίτευξη του στόχου αυτού ποικίλουν σε πολύ υψηλό βαθμό. Η εξόρυξη γνώσης περιλαμβάνει ένα ευρύ πεδίο υπολογιστικών μεθόδων που μεταξύ άλλων περιλαμβάνουν, την στατιστική ανάλυση (statistical analysis), τα δένδρα αποφάσεων (decision trees), τα νευρωνικά δίκτυα (neural networks), την εξαγωγή κανόνων (rule induction) και την γραφική οπτικοποίηση (graphic visualization). Τέτοιες μέθοδοι χρησιμοποιούνται για την εύρεση συσχετίσεων, προτύπων και δομών σε μεγάλες και διαρκώς αυξανόμενες βάσεις δεδομένων. Ειδικά η εύρεση εργαλείων είναι ένα ιδιαίτερα σημαντικό εξαγόμενο της εξόρυξης δεδομένων μέσω σχέσεων μεταξύ των χαρακτηριστικών των βάσεων δεδομένων. 41

42 2.2 Εξόρυξη δεδομένων και ανεύρεση γνώσης. Η εξόρυξη γνώσης βοηθά τις σύγχρονες εταιρείες να εστιάζουν στα πιο σημαντικά στοιχεία από τις αποθήκες δεδομένων τους. Με άλλα λόγια είναι η διαδικασία εφαρμογής μεθόδων ανάλυσης σε μεγάλο όγκο δεδομένων. Ο χρήστης των εργαλείων εξόρυξης μπορεί να προβλέψει μελλοντικές συμπεριφορές και συνήθειες, ώστε οι εταιρίες να παίρνουν επιτυχημένες αποφάσεις. Συνειδητοποιούμε ότι οι τεχνικές εξόρυξης γνώσης αναπτύσσονται γρήγορα, δίχως αλλαγές στην υποδομή και με μοναδικό στόχο την αξιοποίηση των επεξεργασμένων δεδομένων. Στη διεθνή βιβλιογραφία υπάρχει μια γενικότερη σύγχυση ανάμεσα στους όρους «Εξόρυξη Γνώσης» (Data mining) και «Ανεύρεση γνώσης στις βάσεις δεδομένων» (Knowledge discovery in data bases, KDD). Σε πολλές περιπτώσεις αξίζει να σημειωθεί ότι οι δύο αυτοί όροι ταυτίζονται, ενώ στην πραγματικότητα η εξόρυξη δεδομένων αποτελεί τμήμα της ανεύρεσης γνώσης, συγκροτώντας το πυρήνα αυτής (Zaiane, 1999). Προκειμένου λοιπόν να κατανοηθεί καλύτερα η εξόρυξη δεδομένων, θα γίνει μια σύντομη αναφορά στη διαδικασία της ανεύρεσης γνώσης. Η ανεύρεση γνώσης είναι μια επαναληπτική διαδικασία που αποτελείται από μια σειρά βημάτων, τα οποία οδηγούν από τη συλλογή των δεδομένων στην ανακάλυψη και εξαγωγή χρήσιμης πληροφορίας από αυτά. Τα βήματα από τα οποία αποτελείται η διαδικασία ανεύρεσης γνώσης είναι τα ακόλουθα: 1. Καθαρισμός δεδομένων (Data cleaning): Στο βήμα αυτό, αφαιρούνται από τη βάση δεδομένων αυτά που παράγουν θόρυβο, δηλαδή όλα εκείνα τα στοιχεία που μπορούν να επηρεάσουν ή και να διαστρεβλώσουν το αποτέλεσμα. 2. Ενσωμάτωση δεδομένων (Data integration): Σε αυτό το βήμα τα δεδομένα που έχουν συλλεχθεί, πολλές φορές ανομοιογενή και από πολλές διαφορετικές πηγές, ενσωματώνονται σε μια κοινή βάση δεδομένων. 3. Επιλογή δεδομένων (Data selection): Από όλα εκείνα τα δεδομένα που έχουμε στη διάθεση μας, επιλέγονται προσεκτικά εκείνα που είναι σχετικά και χρήσιμα για την ανάλυση που θα ακολουθήσει. 4. Τροποποίηση δεδομένων (Data transformation): Τα δεδομένα που έχουμε επιλέξει δέχονται τις απαραίτητες τροποποιήσεις έτσι ώστε η μορφή τους να είναι κατάλληλη για την διαδικασία της εξόρυξης. 5. Εξόρυξη δεδομένων (Data mining): Είναι το σημαντικότερο από τα βήματα της διαδικασίας και αυτό γιατί στο συγκεκριμένο στάδιο, ποικίλες εξελιγμένες τεχνικές χρησιμοποιούνται για την εξαγωγή δυνητικά χρήσιμων προτύπων. 6. Αξιολόγηση προτύπων (Pattern evaluation): Στο βήμα αυτό αναγνωρίζονται χρήσιμα πρότυπα που αναπαριστούν γνώση, βάσει συγκεκριμένων μέτρων αξιολόγησης (evaluation measures). 42

43 7. Αναπαράσταση γνώσης (Knowledge representation): Στο τελικό αυτό στάδιο, η γνώση που έχει ανακαλυφθεί παρουσιάζεται στον χρήστη, βοηθώντας τον έτσι να κατανοήσει και να ερμηνεύσει τα αποτελέσματα της εξόρυξης δεδομένων. Πολλές φορές κάποια από τα παραπάνω βήματα μπορούν να συνδυαστούν μεταξύ τους για το καλύτερο δυνατό αποτέλεσμα. Για παράδειγμα, τα βήματα του καθαρισμού και της ενσωμάτωσης των δεδομένων, μπορούν να υλοποιηθούν μαζί με στόχο την δημιουργία μια αποθήκης δεδομένων. Με την ίδια λογική μπορούν να συνδυαστούν και τα βήματα της επιλογής και τροποποίησης των δεδομένων. Από τα παραπάνω λοιπόν συμπεραίνουμε ότι η εξόρυξη δεδομένων είναι μια διαδικασία-κλειδί για την ανεύρεση γνώσης. Παρόλα αυτά, δεν καταλαμβάνει παρά μόνο ένα μικρό μέρος της όλης προσπάθειας, δεδομένου της πολυπλοκότητας της. Σε αυτό το σημείο αξίζει να σημειωθεί ότι ο χρήστης, εκμεταλλευόμενος την επαναληπτική μορφή της διαδικασίας ανεύρεσης γνώσης, έχει την δυνατότητα να τροποποιήσει τα μέτρα αξιολόγησης, να τελειοποιήσει την διαδικασία της εξόρυξης, να επιλέξει νέα δεδομένα, να τροποποιήσει περαιτέρω τα ήδη υπάρχοντα ή να ενσωματώσει στη βάση νέα από καινούργιες πηγές, με τελικό στόχο την εξαγωγή διαφορετικών και ακόμη πιο κατάλληλων αποτελεσμάτων. 2.3 Στόχοι της εξόρυξης δεδομένων. Οι μέθοδοι εξόρυξης γνώσης στοχεύουν στην ανακάλυψη στοιχειών που θα είναι χρήσιμα για τους οργανισμούς και τις επιχειρήσεις. Πληροφορίες για τυποποιημένες μορφές όπως για παράδειγμα, ότι υπάρχουν πελάτες που θα ψωνίσουν περισσότερο από δύο φορές σε περίοδο εκπτώσεων ή προσφορών, ή είναι πιθανό να αγοράσουν τουλάχιστον μια φορά κατά την διάρκεια των εορταστικών ημερών, Πάσχα και Χριστουγέννων, είτε για συσχετίσεις όπως όταν ένας πελάτης αγοράζει dvd player τότε πιθανότατα να αγοράσει και κάποια άλλη ηλεκτρονική συσκευή, μπορεί να αποτελέσουν καθοριστικούς παράγοντες για την λήψη αποφάσεων όσον αφορά τη λειτουργία μιας εμπορικής επιχείρησης. Αυτό συμβαίνει επειδή μπορεί να ληφθούν αποφάσεις σχετικά με το ωράριο, το ύψος και τη διάρκεια των εκπτώσεων, ακόμη και για την τοποθέτηση των προϊόντων μέσα στα καταστήματα. Παράλληλα τέτοιου είδους πληροφορίες χρησιμοποιούνται για τον προγραμματισμό χρήσης πρόσθετων αποθηκευτικών χώρων ή και για τον σχεδιασμό διαφορετικών στρατηγικών μάρκετινγκ. Τα στελέχη της επιχείρησης, που είναι υπεύθυνα για την λήψη των αποφάσεων εκμεταλλεύονται τις δυνατότητες της εξόρυξης γνώσης και μετατρέπουν τις γνώσεις σε επιτυχή αποτελέσματα. Παρακάτω περιγράφονται και αναλύονται οι στόχοι της εξόρυξης δεδομένων. 43

44 Η εξόρυξη δεδομένων έχει λοιπόν σαν βασικούς της στόχους την εφαρμογή τεχνικών πρόβλεψης και συμπεριφοράς τάσεων (prediction), την αναγνώριση, την περιγραφή (description) σε μεγάλες βάσεις δεδομένων, καθώς επίσης την ταξινόμηση και την βελτιστοποίηση των πόρων της. Ειδικότερα: Πρόβλεψη: Περιλαμβάνει την χρήση μερικών μεταβλητών ή χαρακτηριστικών μιας βάσης δεδομένων για την πρόβλεψη άγνωστων ή μελλοντικών τιμών χρήσιμων μεταβλητών. Με άλλα λόγια, οι διαδικασίες πρόβλεψης της εξόρυξης δεδομένων (predictive data mining tasks), προσπαθούν να κάνουν εκτιμήσεις βγάζοντας συμπεράσματα από τα διαθέσιμα δεδομένα. Η προσπάθεια πρόβλεψης μελλοντικών συμπεριφορών έχει ως στόχο να ληφθούν αποφάσεις που να μεγιστοποιούν το κέρδος και να προλαμβάνουν δυσάρεστες καταστάσεις. Τα αποτελέσματα της εξόρυξης μπορεί να είναι πληροφορίες σχετικές με το ύψος των πωλήσεων ενός καταστήματος για μια συγκεκριμένη χρονική περίοδο, αλλά και αν το κλείσιμο μιας γραμμής παραγωγής θα είχε θετική επίδραση στις πωλήσεις. Συγχρόνως σε επιστημονικό επίπεδο, η μελέτη παλαιότερων σεισμικών φαινόμενων ίσως να οδηγούσε στην πρόβλεψη σεισμικής δραστηριότητας. Αναγνώριση: Σε αυτή τη φάση οι τυποποιημένες μορφές των δεδομένων χρησιμοποιούνται για να δείξουν την ύπαρξη μιας δραστηριότητας ή ενός γεγονότος. Περιγραφή: Είναι η διαδικασία η οποία επικεντρώνεται στην ανακάλυψη προτύπων και αναπαριστά τα δεδομένα μιας πολύπλοκης βάσης δεδομένων με όσο το δυνατό πιο κατανοητό και αξιοποιήσιμο τρόπο. Με άλλα λόγια, οι περιγραφικές διαδικασίες της εξόρυξης δεδομένων (descriptive data mining tasks) περιγράφουν τις γενικές ιδιότητες των υπαρχόντων διαθέσιμων δεδομένων. Ταξινόμηση: Σε αυτό το στάδιο έχουμε διαχωρισμό των στοιχείων, με αποτέλεσμα να προκύπτουν διαφορετικές κατηγορίες ή κλάσεις. Για παράδειγμα, οι πελάτες ενός σούπερ μάρκετ είναι δυνατόν να χωριστούν σε παρορμητικούς, πιστούς ή αλλιώς όπως θα λέγαμε κανονικούς, σπάνιους και σε φίλους των εκπτώσεων και προσφορών. Κατά την ανάλυση των πωλήσεων αυτή η κατηγοριοποίηση χρησιμοποιείται για να ληφθούν αποφάσεις, ώστε να προσελκυστούν περισσότεροι πελάτες ανεξαρτήτως κατηγορίας. 44

45 Βελτιστοποίηση: Μεταξύ των άλλων σκοπός της εξόρυξης γνώσης είναι η βέλτιστη χρήση κάποιων πόρων κάτω από περιορισμούς. Τέτοιοι πόροι μπορεί να είναι ο χρόνος, ο χώρος, το χρήμα και η μεγιστοποίηση κάποιων μεγεθών, όπως είναι τα κέρδη είτε οι πωλήσεις. Σε αυτή την περίπτωση η εξόρυξη γνώσης έχει κοινά σημεία με την επιχειρησιακή έρευνα. Εικόνα 15: Στάδια της διαδικασίας εξόρυξης γνώσης. 2.4 Που εφαρμόζεται η εξόρυξη γνώσης. Τα παραδείγματα εξόρυξης γνώσης από δεδομένα ποικίλουν ανάλογα με τον τομέα στον οποίο εφαρμόζονται. Στη σημερινή εποχή όπου τα δεδομένα υπάρχουν σχεδόν παντού και τις περισσότερες φορές βρίσκονται σε ηλεκτρονική μορφή, η σωστή ανάλυση τους οδηγεί πάντα στην ανάδειξη και οργάνωση της πληροφορίας, η γνώση της οποίας είναι ο σημαντικότερος παράγοντας για την εύρεση μιας στρατηγικής και την ορθολογική λήψη αποφάσεων. Ο χρηματοοικονομικός τομέας, ο τομέας των τηλεπικοινωνιών, της υγείας και της εκπαίδευσης, ο δημόσιος τομέας καθώς επίσης και αυτός της βιομηχανίας και της έρευνας, αποτελούν ίσως το μεγαλύτερο δείγμα εφαρμογών των τεχνολογιών εξόρυξης γνώσης από δεδομένα. Στον χρηματοοικονομικό τομέα η παρουσία αρκετών τραπεζικών και ασφαλιστικών ιδρυμάτων σε συνδυασμό με το υπάρχον οικονομικό κλίμα έχει αυξήσει κατά πολύ τον ανταγωνισμό μεταξύ των επιχειρήσεων. Πολλά από τα επιχειρηματικά ζητήματα του κλάδου, όπως η προσέλκυση νέων πελατών που θα αποφέρουν κέρδος, η προώθηση και πώληση επιπρόσθετων προϊόντων ή παροχή 45

46 υπηρεσιών, η διατήρηση πελατών, ο προσδιορισμός οικονομικού δόλου, η ανάλυση του πιστωτικού κινδύνου ενδεχόμενων πελατών, μπορούν να αντιμετωπιστούν με τα κατάλληλα εργαλεία της εξόρυξης γνώσης. Στον κλάδο των τηλεπικοινωνιών το διαρκώς μεταβαλλόμενο επιχειρηματικό περιβάλλον με τον αστείρευτο ανταγωνισμό, αναγκάζουν τις εταιρείες να προβούν στην αναζήτηση νέων τρόπων ενίσχυσης της θέσης τους έναντι άλλων. Έχοντας γίνει πλήρως αντιληπτό από τη πλευρά τους το συγκριτικό πλεονέκτημα που τους προσφέρει η εξόρυξη γνώσης από δεδομένα, εφαρμόζουν μεταξύ άλλων τεχνικές έγκαιρης πρόβλεψης διακοπής υπηρεσιών από πελάτες, κατηγοριοποίηση των απαιτήσεων τους, ομαδοποίηση των συνηθειών τους και όλα αυτά με τελικό σκοπό την συγκράτηση των πελατών που ήδη έχουν αλλά και την προσέλκυση νέων. Ο τομείς του λιανικού εμπορίου είναι ένας άλλος κλάδος ιδιαίτερα ανταγωνιστικός, όπου οι εφαρμογές εξόρυξης γνώσης βρίσκουν μεγάλη ανταπόκριση. Οι συνεχείς αλλαγές των καταναλωτικών προτιμήσεων και οι τεράστιοι όγκοι δεδομένων πωλήσεων, κρύβουν πολύτιμα στοιχεία εκ των οποίων ελάχιστα μπορούν να αξιοποιηθούν από τα συμβατικά συστήματα ανάλυσης πληροφορίας. Αντιθέτως οι εφαρμογές εξόρυξης γνώσης δίνουν μια νέα διάσταση στην παλαιότερη και βασικότερη επιχειρηματική διαδικασία που είχε σαν αρχή: «αναλύοντας ότι έγινε στο παρελθόν και κατανοώντας τα αποτελέσματα μπορούμε να γίνουμε αποτελεσματικότεροι στο μέλλον.» Επιπλέον, οι εφαρμογές εξόρυξης γνώσης κάνουν εφικτή μια προσωποποιημένη σχέση με κάθε ένα πελάτη χωριστά, κάτι που εξασφαλίζει την διαχρονική σχέση και την μεγιστοποίηση του κέρδους ανά πελάτη. Οι επαγγελματίες στο χώρο της υγείας, πάντα αντιμετωπίζουν την ανάγκη να συλλέγουν, να αποθηκεύουν και να αναλύουν μεγάλες ποσότητες δεδομένων που μπορεί να περιλαμβάνουν καρτέλες ασθενών, δοκιμές νέων φαρμάκων, εξάρσεις ασθενειών και πολλά άλλα. Από όλα τα παραπάνω, συμπεραίνουμε ότι η εξόρυξη γνώσης είναι ένα απαραίτητο εργαλείο σε πολλούς τομείς της σύγχρονης κοινωνίας. Η ραγδαία αύξηση του όγκου δεδομένων έχει καταστήσει σαφές ότι παλιές παραδοσιακές τεχνικές και μέθοδοι, δε μπορούν πλέον να βοηθήσουν στην ανάλυση και οργάνωση της πληροφορίας. Πολύ περισσότερο, δε μπορούν να φέρουν στην επιφάνεια γνώση που τα δεδομένα περιέχουν καλά κρυμμένη και η οποία απαιτεί εφαρμογή ειδικών για να αποκαλυφθεί. 46

47 2.4.1 Εξόρυξη δεδομένων και οικονομία. Ένας από τους τομείς που εφαρμόζεται κατά κόρον η εξόρυξη δεδομένων είναι αυτός της οικονομίας. Τα οικονομικά δεδομένα συλλέγονται κυρίως από τράπεζες, σουπερμάρκετ και από άλλους οικονομικούς οργανισμούς. Τα δεδομένα αυτά συνήθως είναι αξιόπιστα, ολοκληρωμένα, έχουν υψηλή ποιότητα και απαιτούν συστηματική μέθοδο για την ανάλυση τους. H συνεισφορά της εξόρυξης δεδομένων στην επιστήμη της οικονομίας συναντάται στην συλλογή, κατανόηση και βελτίωση των δεδομένων, στην δημιουργία και εκτίμηση ενός μοντέλου και στην ανάπτυξη αυτού. Η σωστή ανάλυση των οικονομικών δεδομένων διευκολύνει στο να παρθούν καλύτερες αποφάσεις ενεργώντας σύμφωνα με την ανάλυση της αγοράς. Τα εργαλεία και οι τεχνικές της εξόρυξης δεδομένων βοηθούν στο να αναλύσουμε τα οικονομικά δεδομένα και είναι τέτοια η συμβολή τους έτσι ώστε για παράδειγμα, τα οικονομικά ινστιτούτα να αναγνωρίζουν τις απάτες από παραποιημένα δεδομένα από τις διάφορες βάσεις δεδομένων και από το ιστορικό συναλλαγών που έγιναν από τους πελάτες. Οι τεχνικές οπτικοποίησης βοηθούν στην παρουσίαση δεδομένων με διαφορετικές μορφές, όπως γράφοι που βασίζονται σε συγκεκριμένα γνωρίσματα. Παραδείγματος χάρη προβάλλοντας τα δεδομένα από διάφορες οπτικές γωνίες, μία τράπεζα δύναται να διακρίνει τους πελάτες που έχουν επιχειρήσει παράνομες πράξεις και μετά μια λεπτομερής έρευνα αυτών των ύποπτων περιπτώσεων βοηθάει στην εξιχνίαση των απατών και των εγκλημάτων Εφαρμογές εξόρυξης γνώσης σε επιστημονικά πεδία. Στο σημείο αυτό θα αναφέρουμε συνοπτικά ορισμένες εφαρμογές των μεθόδων της εξόρυξης γνώσης οι οποίες έχουν συλλεχθεί από διάφορα επιστημονικά πεδία. Μάρκετινγκ μέσω mail (Direct mail marketing): Το Body Shop International δοκιμάζει τεχνικές εξόρυξης γνώσης ώστε να καταφέρει να αυξήσει την αποτελεσματικότητα των παραγγελιών του μέσω . Τα διοικητικά στελέχη ενδιαφέρονται στο να μειώσουν το κόστος αποστολής διαφημιστικών καταλόγων, εστιάζοντας μόνο σε πελάτες οι οποίοι θεωρούνται ως κερδοφόροι. Κατηγοριοποίηση μέσω μάνατζμεντ και έλεγχος για κάτι νέο (Category management and inventoryc ontrol): Η εταιρεία Rubbermaid χρησιμοποιεί μεθόδους εξόρυξης γνώσης για να κατηγοριοποιεί το στυλ της στρατηγικής που χρησιμοποιεί ανάλογα με την αγορά στην οποία εστιάζεται, στο να αγοράζει και να πουλά τα οικονομικά αγαθά που παράγει. Ανάλυση καλαθιού της νοικοκυράς (Market basket analysis): Τα στελέχη της J.Crew Group 47

48 συνδυάζουν click system analysis μέσα από το επίσημο site τους σε συνδυασμό με την μέθοδο point-of-sale (POS) στις λιανικές τους πωλήσεις. Με αυτό τον τρόπο θέλουν να δούνε τι ρούχα, τι υποδήματα και άλλα αξεσουάρ αγοράζονται μαζί. Τα δεδομένα μετά θα αναλυθούν και έπειτα θα σταλθούν κατάλογοι με οικονομικά αγαθά και προσφορές των σε on-line αγοραστές. Κατανόηση του προφίλ του κάθε πελάτη (Customer relationship management): Σύμφωνα με διάφορες εταιρείες λιανικής, άλλες από τον τραπεζικό τομέα είναι δυνατό χρησιμοποιώντας τεχνικές εξόρυξης γνώσης, όπως κανόνες ταξινόμησης ή και ομαδοποίησης να κατατάσσουμε τους πελάτες ανάλογα με προσωπικά τους στοιχεία και την προηγούμενη τους συμπεριφορά προς την εταιρεία που μας ενδιαφέρει σε καλούς, μέτριους και κακούς. Έτσι δίνεται η δυνατότητα να επιλέγουν το αγοραστικό κοινό με το οποίο συναλλάσσονται και στο οποίο εστιάζουν την πολιτική της εταιρείας. Αστρονομία (Astronomy): Έχει αναπτυχθεί ένα σύστημα με την ονομασία SKICAT από το JPL/Caltech και χρησιμοποιείται από τους αστρονόμους στο να αναγνωρίζουν αυτόματα τους διάφορους γαλαξίες και αστεροειδείς σε μία μεγάλη κλίμακα η οποία περιέχει διάφορα αστρονομικά μεγέθη. Βιολογία (Biology): Διάφορα συστήματα έχουν αναπτυχθεί για να εξάγουν κανόνες που αφορούν την δομή των οργανισμών, την ανάλυση του DNA, καθώς και την δυνατότητα για εύρεση φαρμάκων για την καταπολέμηση ασθενειών. Παγκόσμιο μοντέλο κλιματολογικών συνθηκών (Global climate modeling): Διάφορα συστήματα έχουν υιοθετηθεί τα οποία επιτρέπουν την ανάλυση κλιματολογικών συνθηκών δίνοντας έτσι την δυνατότητα προβλέψεων κλιματολογικών φαινομένων όπως οι κυκλώνες, οι καταιγίδες, οι καύσωνες και άλλα πολλά. Η μέθοδος εξόρυξης από δεδομένα σε οικονομικές εφαρμογές (Data mining for financial applications): Πολλές φορές τεχνικές της μεθόδου εξόρυξης από δεδομένα όπως τα νευρωνικά δίκτυα και τα δένδρα αποφάσεων μπορούν να χρησιμοποιηθούν από οικονομικούς αναλυτές για την λήψη στρατηγικών αποφάσεων στο ανάλογο οικονομικό πεδίο που ενδιαφέρει κάθε 48

49 φορά. Φυσικά χρειάζεται και το ανάλογο υπόβαθρο από ιστορικά δεδομένα ώστε να είναι δυνατή η ανάλυση που θα γίνει. 2.5 Αποτυγχάνουμε να αντλήσουμε γνώση από τα big data, συνεχίζουμε την εξόρυξη. Ένας στους τρεις οργανισμούς που επιχειρούν να εξάγουν ειδικές γνώσεις από την ανάλυση όλων των δεδομένων τους αποτυγχάνουν, δείχνει νέα έρευνα της Hewlett Packard. Η ανάλυση των επονομαζόμενων big data αποδεικνύεται δύσκολη υπόθεση, εντούτοις έξι στους δέκα οργανισμούς δηλώνουν πρόθυμοι να δεσμεύσουν το 10% του προϋπολογισμού τους για την καινοτομία για να εξορύξουν πολύτιμη πληροφορία από δομημένα και αδόμητα δεδομένα. Ότι κι αν σημαίνει big data, η νεότερη έρευνα της Hewlett Packard τον Μάιο του 2013 επαναλαμβάνει ότι η ανάλυση της διαρκούς ροής δεδομένων δομημένων και αδόμητων παραμένει πρόκληση για τις επιχειρήσεις. Ο αυξανόμενος όγκος, η ποικιλομορφία αλλά και η ευπάθεια των δεδομένων που ρέουν από το εσωτερικό αλλά και το περιβάλλον κάθε επιχείρησης αποτελούν την αιτία της αποτυχίας των πρωτοβουλιών big data. Περισσότεροι από έναν στους τρεις οργανισμούς που έχει επιχειρήσει την ανάλυση έχει αποτύχει, δείχνει η έρευνα που πραγματοποιήθηκε για λογαριασμό της Hewlett Packard υπό τον τίτλο "Big Data and Cloud από την Coleman Parkers Research Ltd., τον Μάϊο του Σε προγενέστερη παγκόσμια έρευνα που εκδόθηκε τον Απρίλιο και διενεργήθηκε επίσης για λογαριασμό της HP, περισσότερα από ένα στα δύο στελέχη επιχειρήσεων ανέφεραν ότι οι οργανισμοί τους δεν είναι εξοπλισμένοι με τις σωστές λύσεις για να αντλήσουν ειδικές γνώσεις από τα Big Data. Επιπλέον, δεν διαθέτουν την τεχνογνωσία καθώς και τη συνεκτική στρατηγική για να συγκεντρώσουν όλα τα στοιχεία και στη συνέχεια να ενσωματώσουν νέα αλλά και παλιά δεδομένα. Παρά τις συνεχείς αποτυχίες, το 60% των εταιρειών που συμμετείχαν στην νεότερη έρευνα δηλώνουν πρόθυμες να δεσμεύσουν για το big data το 10% του προϋπολογισμού τους για την καινοτομία. Αυτό δείχνει ότι έχουν πειστεί ότι τα επονομαζόμενα big data κρύβουν πλούσιες γνώσεις και η ανάλυσή τους μπορεί να προσφέρει αποτελέσματα σε πραγματικό χρόνο. Με την εξαγωγή ειδικών γνώσεων που είναι κρυμμένες μέσα στα big data οι επιχειρήσεις μπορούν να εξορθολογήσουν τις βασικές οργανωτικές διαδικασίες όπως, οι προσφορές, οι προμήθειες, η εφοδιαστική αλυσίδα και οι λειτουργίες απογραφής, υποστηρίζουν εταιρείες όπως η Hewlett Packard, η IBM και άλλες εταιρείες που παρέχουν hardware, software και υπηρεσίες. 49

50 «Τα big data επιτρέπουν στους οργανισμούς να επωφεληθούν από το σύνολο των πληροφοριών τους, τόσο των εσωτερικών όσο και των εξωτερικών, σε πραγματικό χρόνο. Παράγουν εξαιρετικά γρήγορη διαδικασία λήψης αποφάσεων και ως αποτέλεσμα, μοναδικούς και καινοτόμους τρόπους για την προσφορά υπηρεσιών στους πελάτες και την κοινωνία», δήλωσε ο George Kadifa, επικεφαλής του τμήματος software στην HP κατά την ανακοίνωση του HAVEn. Το HAVEn αποτελεί την νεότερη πρόταση της HP για την ανάλυση big data, μια πλατφόρμα big data analytics, η οποία αξιοποιεί το λογισμικό, το hardware και τις υπηρεσίες analytics της HP (συνδυάζει τις δοκιμασμένες τεχνολογίες των HP Autonomy, HP Vertica, HP Arc Sight και HP Operations Management). Η Hewlett Packard υποστηρίζει πως με αυτή την πλατφόρμα οι επιχειρήσεις μπορούν να αντλήσουν αξία 56 από το 100% των πληροφοριών, συμπεριλαμβανομένων των δομημένων, των ημι-δομημένων και των μη-δομημένων δεδομένων. Περνώντας από τις υψηλού επιπέδου έννοιες των big data στην πραγματικότητα, δηλαδή στην αξιοποίησή τους και τη δράση με βάση την πληροφορία, οι ειδικές γνώσεις που προκύπτουν από την ανάλυση τους μπορούν να βοηθήσουν μια επιχείρηση να βελτιώσει: Το cross-channel marketing σε πραγματικό χρόνο Την εμπειρία του πελάτη και την πρόβλεψη της ζήτησης Άλλες περιπτώσεις χρήσης περιλαμβάνουν: Την υποστήριξη των προσπαθειών των πελατών να εντοπίσουν και να προλάβουν την απάτη, Να διασφαλίσουν τη συμμόρφωση σε πραγματικό χρόνο Να χρησιμοποιήσουν τα κοινωνικά δίκτυα για να διαχειριστούν τους κινδύνους και τη φήμη της μάρκας τους. Είναι γεγονός ότι ο όρος big data έχει πολλούς ορισμούς, όπως άλλωστε και η πρακτική αξιοποίησή της ανάλυσης των πάντοτε αδιευκρίνιστων δεδομένων. 50

51 Εικόνα 16: Η διαδικασία της εξόρυξης δεδομένων. Η εξόρυξη δεδομένων είναι ένα ισχυρό εργαλείο Επιχειρηματικής Ευφυΐας για την ανακάλυψη γνώσης και παράλληλα είναι μια διαδικασία διαχείρισης γνώσης γιατί περιλαμβάνει ανθρώπινη γνώση. Συνεπώς η εξόρυξη δεδομένων συνδέει την Επιχειρηματική Ευφυΐα με τη διαχείριση γνώσης. Η Επιχειρηματική Ευφυΐα και η Διαχείριση Γνώσης πρέπει να ενοποιηθούν προκειμένου να προωθηθεί η οργανωτική εκμάθηση και η αποτελεσματική λήψη αποφάσεων και παράλληλα θα πρέπει να υπολογισθεί η αποτελεσματικότητα της Επιχειρηματικής Ευφυΐας βάσει της βελτίωσης της γνώσης ενός οργανισμού. 51

52 ΚΕΦΑΛΑΙΟ 3 Ο : ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ ΚΑΙ ΕΠΙΧΕΙΡΗΜΑΤΙΚΗ ΕΥΦΥΙΑ Η επιχειρηματική ευφυΐα είναι ένα σύστημα υποστήριξης λήψης αποφάσεων (DecisionSupportSystem DSS), το οποίο συνδυάζει την συγκέντρωση των δεδομένων, την αποθήκευση δεδομένων και διαχείριση γνώσης μέσω ανάλυσης προκειμένου να παρέχει εισροή στη διαδικασία λήψης απόφασης (Negash and Gray, 2008). Αποτελεί ένα εργαλείο με το οποίο οι επιχειρήσεις συλλέγουν, διαχειρίζονται και αναλύουν δομημένα και μη δομημένα δεδομένα και πληροφόρηση. Χρησιμοποιεί ένα μεγάλο όγκο δεδομένων που έχουν συλλεχθεί μέσω των καθημερινών λειτουργικών διαδικασιών και τα μετατρέπει σε πληροφόρηση και γνώση. Μέσω της απόσπασης, της ενσωμάτωσης και την ανάλυσης των δεδομένων, υποστηρίζονται οι τεχνολογικές και εμπορικές διαδικασίες. Ο όρος Επιχειρηματική Ευφυΐα χρησιμοποιήθηκε για πρώτη φορά το1989 από τον Howard Dressner, έναν αναλυτή της Gartner Group, προκειμένου να περιγραφούν έννοιες και μέθοδοι βελτίωσης της επιχειρηματικής λήψης απόφασης με τη χρήση υποστήριξης που βασίζεται σε γεγονότα. Ο όρος είχε απήχηση στους ειδικούς λήψης αποφάσεων και στα στελέχη γενικών καθηκόντων. Σήμερα η Επιχειρηματική Ευφυΐα χρησιμοποιείται ευρέως για την περιγραφή αναλυτικών εφαρμογών και αποτελεί προτεραιότητα για πολλά διευθυντικά στελέχη. Σε μια έρευνα, η Gartner διαπίστωσε ότι τα συστήματα Επιχειρηματικής Ευφυΐας αποτελούσαν την νούμερο ένα τεχνολογική προτεραιότητα για το έτος Ωστόσο, η εφαρμογή της Επιχειρηματικής Ευφυΐας σήμερα είναι ακόμη σε πρώιμο στάδιο και οι περισσότερες επιχειρήσεις δεν μπορούν να την κατανοήσουν επαρκώς και σε βάθος. Η επιχειρηματική ευφυΐα δίνει έμφαση στην ανάλυση μεγάλου όγκου δεδομένων που αφορούν στην επιχείρηση και τις λειτουργίες της. Χρησιμοποιεί μια μεγάλη βάση δεδομένων, η οποία συνήθως αποθηκεύεται σε μια αποθήκη δεδομένων (data warehouse) ή σε ένα κέντρο δεδομένων (data mart), που αποτελεί την πηγή της πληροφορίας και τη βάση εξεζητημένης ανάλυσης. Η ανάλυση ποικίλλει από απλές αναφορές μέχρι απαντήσεις σε ερωτήματα adhoc, ανάλυση σε πραγματικό χρόνο και πρόβλεψη. Πρόσφατες εξελίξεις στο τομέα της επιχειρηματικής ευφυΐας περιλαμβάνουν την μέτρηση της επιχειρηματικής επίδοσης (business performance measurement BPM), τον έλεγχο της επιχειρηματικής δραστηριότητας (business activity monitoring BAM) και την επέκταση της επιχειρηματικής ευφυΐας σε ένα εργαλείο που χρησιμοποιείται από άτομα κατά μήκος του οργανισμού. Αυτό σημαίνει ότι οι τεχνικές και τα ευρήματα της επιχειρηματικής ευφυΐας σταδιακά ενσωματώνονται στις επιχειρηματικές διαδικασίες (Negash and Gray, 2008). Τα συστήματα Επιχειρηματικής Ευφυΐας συνδυάζουν τη συγκέντρωση δεδομένων, την αποθήκευση δεδομένων και την διαχείριση γνώσης με την ανάλυση προκειμένου 52

53 να αξιολογηθεί η σύνθετη επιχειρηματική και ανταγωνιστική πληροφόρηση, και εν συνεχεία να παρουσιαστεί στους υπεύθυνους σχεδιασμού και λήψης αποφάσεων, με σκοπό τη βελτίωση της επικαιρότητας και της ποιότητας των εισροών στη διαδικασία λήψης απόφασης. Παρέχουν αγώγιμη πληροφόρηση και γνώση την κατάλληλη χρονική στιγμή, στην κατάλληλη τοποθεσία και με την κατάλληλη μορφή. Η Επιχειρηματική Ευφυΐα είναι αποτέλεσμα μιας σειράς σημαντικών καινοτομιών των τελευταίων δεκαετιών. Προγενέστερα συστήματα είναι τα πρώτα συστήματα υποστήριξης της λήψης αποφάσεων, οι γλώσσες χρηματοοικονομικού προγραμματισμού τέταρτης γενιάς όπως η IFPS, συστήματα εκτελεστικής πληροφόρησης, οι αποθήκες δεδομένων, η ηλεκτρονική διαδικασία ανάλυσης (Online Analytical Processing- OLAP) και η εξόρυξη δεδομένων. Κάθε επανάληψη ήταν και πιο εξεζητημένη από την προηγούμενη. Σήμερα, το λογισμικό ενώνει όλα αυτά τα στοιχεία σε ένα μοναδικό σύστημα. Μέσω της Επιχειρηματικής Ευφυΐας, οι επιχειρήσεις μαθαίνουν να προβλέπουν τις πράξεις των πελατών και των ανταγωνιστών τους και να προλαμβάνουν φαινόμενα και τάσεις της αγοράς και του κλάδου τους. Οι επιχειρήσεις χρησιμοποιούν την πληροφόρηση και τη γνώση που προκύπτει προκειμένου να υποστηρίξουν τη λειτουργική και στρατηγική λήψη αποφάσεων. Κατά το σχεδιασμό της στρατηγικής τους, οι επιχειρήσεις πρέπει να λάβουν υπόψη τις πιέσεις και τις προκλήσεις που προκύπτουν στο επιχειρηματικό περιβάλλον ώστε να επιβιώσουν στην παγκόσμια ψηφιακή οικονομία. Ένα ταχύτατα μεταβαλλόμενο επιχειρηματικό περιβάλλον δημιουργεί αυξανόμενη ανάγκη για έγκαιρη και ποιοτική επιχειρηματική πληροφορία και γνώση. Επιπρόσθετα ο όγκος της διαθέσιμης πληροφόρησης αυξάνεται, λόγω της τεχνολογικής προόδου και είναι δύσκολη η διάκριση των σχετικών και συναφών πληροφοριών (Hannula and Pirttimaki, 2003). Ωστόσο, τα ο ανταγωνιστικό πλεονέκτημα προκύπτει μόνο μέσω της δυνατότητας της επιχείρησης να προβλέψει την πληροφορία, να την μετατρέψει σε γνώση και εν συνεχεία σε ευφυΐα σχετική με το επιχειρηματικό περιβάλλον. 53

54 Εικόνα 17: Πως η εξόρυξη δεδομένων οδηγεί στην επιχειρηματική ευφυΐα. Τα βασικά οφέλη που προσφέρουν τα συστήματα Επιχειρηματικής Ευφυΐας είναι τα ακόλουθα: Καλύτερη κατανόηση πελατών, αγορών, ανταγωνιστών, προμηθειών και πόρων. Η κατάλληλη οργάνωση των δεδομένων και τα εξελιγμένα εργαλεία πληροφορικής δίνουν πρωτόγνωρες δυνατότητες στην εμβάθυνση όλων των παραπάνω ζητημάτων. Τροφοδότηση της διοίκησης με τη σωστή πληροφόρηση, την κατάλληλη στιγμή και με τον κατάλληλο τρόπο. Τα συστήματα της Ε.Ε. μπορούν να αναδείξουν την ουσιαστική πληροφορία. Ταυτόχρονο και βασικό μέλημα όμως είναι και η έγκαιρη πληροφόρηση. Βελτίωση της ποιότητας των αποφάσεων. Η αναβαθμισμένη και έγκαιρη πληροφόρηση επιτρέπει στη διοίκηση του οργανισμού να λάβει βελτιωμένες αποφάσεις. Συμβολή στη διαμόρφωση των στρατηγικών στόχων. Τα συστήματα Ε.Ε. απευθύνονται κυρίως στα υψηλά ή και κορυφαία στελέχη των επιχειρήσεων. 54

55 Στο επίπεδο αυτό λαμβάνονται οι στρατηγικές αποφάσεις. Η διοίκηση αξιοποιεί τα συστήματα ΕΕ για την άντληση ποιοτικής πληροφόρησης και τον καθορισμό των στρατηγικών στόχων. Επίτευξη συγκριτικού πλεονεκτήματος. Η εξασφάλιση συγκριτικού πλεονεκτήματος αποτελεί μόνιμη επιδίωξη κάθε επιχείρησης. Η βελτίωση των αποφάσεων και μέσω αυτού η αύξηση της αποτελεσματικότητας και αποδοτικότητας της διοίκησης, καθώς και ο καθορισμός σωστών στρατηγικών στόχων, μπορούν να αποτελέσουν το συγκριτικό πλεονέκτημα και να οδηγήσουν σε αυξημένη ανταγωνιστικότητα. Δυνατότητες αύξησης της κερδοφορίας, μείωσης του κόστους και βελτίωσης της αποδοτικότητας. Η βελτίωση της πληροφόρησης σχετικά με τη διαχείριση της εφοδιαστικής αλυσίδας μπορεί να βοηθήσει στη συμπίεση του κόστους, ενώ η κατανόηση των αγορών μπορεί να αυξήσει τις πωλήσεις και τα κέρδη. Γενικώς, επιτυχημένα συστήματα ΕΕ συμβάλλουν στην αύξηση των επιδόσεων και της κερδοφορίας. Αύξηση της πιθανότητας πρόβλεψης συμβάντων και επιχειρηματικών ευκαιριών. Η βαθύτερη κατανόηση της αγοράς επιτρέπει τον εντοπισμό επιχειρηματικών ευκαιριών. Επιπλέον, οι μέθοδοι προγνωστικής ανάλυσης (predictive analytics) επεξεργάζονται ιστορικά δεδομένα και επιτρέπουν τη διατύπωση προβλέψεων. Μεγαλύτερη αξιοποίηση των δεδομένων και αύξηση της απόδοσης της επένδυσης σε τεχνολογίες πληροφορικής. Οι σημερινές επιχειρήσεις έχουν επενδύσει εκατομμύρια ευρώ σε πληροφοριακά συστήματα. Τα δεδομένα αυτών των συστημάτων μπορούν να αποδειχθούν πολύτιμη πηγή πρόσθετης, μη συμβατικής πληροφόρησης, εάν αξιοποιηθούν με τη χρήση της.επιχειρηματικής Ευφυΐας. Με τον τρόπο αυτό, οι επενδύσεις πληροφορικής.αποδίδουν πρόσθετους καρπούς. 55

56 Εικόνα 18: Πλεονεκτήματα της Επιχειρηματικής Ευφυΐας 56