Big Data Πνιγόμαστε σε έναν ωκεανό δεδομένων

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Big Data Πνιγόμαστε σε έναν ωκεανό δεδομένων"

Ευρυδίκη Θεοδώρα Μαυρογένης
7 χρόνια πριν
Προβολές:

1 Big Data Πνιγόμαστε σε έναν ωκεανό δεδομένων

2 Παράδειγμα οι Ολυμπιακοί του Λονδίνου

3 Τα σύμβολα Power Name Symbol 10^3 kilo k 10^6 mega M 10^9 giga G 10^12 tera T 10^15 peta P 10^18 exa E 10^21 zetta Z 10^24 yotta Y 10^27 xona X 10^30 weka W 10^33 vunda V 10^36 uda U 10^39 treda TD 10^42 sorta S 10^45 rinta R 10^48 quexa Q 10^51 pepta PP 10^54 ocha O 10^57 nena N 10^60 minga MI 10^63` luma L

Τα προβλήματα στο κλασσικό μοντέλο Data Warehouse-based BI Οι περισσότερες εργασίες ενημέρωσης δεν γίνονται On-Line Οι χρόνοι ενημέρωσης είναι μεγάλοι Η διαδικασία ενημέρωσης δεν μπορεί να διακοπεί ή

4 Τα προβλήματα στο κλασσικό μοντέλο Data Warehouse-based BI Οι περισσότερες εργασίες ενημέρωσης δεν γίνονται On-Line Οι χρόνοι ενημέρωσης είναι μεγάλοι Η διαδικασία ενημέρωσης δεν μπορεί να διακοπεί ή να διαφοροποιηθεί εύκολα Η αλλαγή δομής του DW δεν είναι εύκολη διαδικασία Τα δεδομένα επαναλαμβάνονται μέσα από ενοποιήσεις και ομαδοποιήσεις σε πολλά σημεία (π.χ. λειτουργικά δεδομένα σχεσιακά DW πολυδιάστατα DW) Χάνεται χρόνος και χρήμα

5 Τo μοντέλο Big Data BI Create-Read- Update-Destroy

6 Φιλοσοφία Big Data

7 Τo μοντέλο Big Data BI με απλά λόγια

Big Data Χαρακτηριστικά - Πλεονεκτήματα Χαρακτηριστικά Ταχύτητα, επεκτασιμότητα, κινητικότητα, ασφάλεια, ευελιξία, σταθερότητα Δομημένα και αδόμητα δεδομένα Ταχύτητα απόκρισης από πολλαπλές πηγές

8 Big Data Χαρακτηριστικά - Πλεονεκτήματα Χαρακτηριστικά Ταχύτητα, επεκτασιμότητα, κινητικότητα, ασφάλεια, ευελιξία, σταθερότητα Δομημένα και αδόμητα δεδομένα Ταχύτητα απόκρισης από πολλαπλές πηγές (π.χ. κινητά, RFID, Web, αυτόματους αισθητήρες κ.λπ.) Πλεονεκτήματα Ακρίβεια Ευρύτερη προσέγγιση στις πηγές των δεδομένων Ευελιξία στη λήψη αποφάσεων Καλύτερη στόχευση Βελτίωση αποτελεσματικότητας

9 Τι σημαίνει αυτό;

10 HDFS (Hadoop Distributed File System) Σπάσιμο μεγάλων αρχείων Τα μέρη μοιράζονται σε πολλαπλούς χώρους Οι επαναλήψεις εξασφαλίζουν διαθεσιμότητα Κάθε κόμβος έχει μέρος των δεδομένων και εκτελεί επεξεργασία στα δεδομένα αυτά

11 NoSQL Δεν λύνονται όλα τα προβλήματα BI/BA αποκλειστικά με κλασσικές βάσεις δεδομένων Απαιτούνται μηχανισμοί αποθήκευσης και ανάκτησης δεδομένων εκτός του κλασσικού μοντέλου των πινάκων και των σχέσεων Βάσεις εγγράφων Βάσεις δικτύων (όπως σχέσεις μελών κοινωνικής δικτύωσης) Βάσεις κλειδιών (κάθε πληροφορία αποτελείται από κλειδιά και περιεχόμενο) Βάσεις πεδίων (βελτιστοποιημένες για ερωτήματα σε πολύ μεγάλες βάσεις, κατανέμοντας τα πεδίαστήλες)

12 NoSQL Χαρακτηριστικά Ευελιξία στην ανάπτυξη (μέσα από νέους κόμβους) Συνδυασμός δομημένων και αδόμητων δεδομένων Αντιμετώπιση σφαλμάτων σε κόμβους Εύκολη αναδόμηση

13 Χαρακτηριστικά Big Data 1. Όγκος 2. Ταχύτητα (η ταχύτητα εισαγωγής και εξαγωγής δεδομένων) 3. Ποικιλία (η ποικιλία τύπων δεδομένων και πηγών) 4. Μεταβλητότητα (εναλλακτικές προσεγγίσεις ή ερμηνείες)

14 Επένδυση στην τεχνολογία Big Data

15 Μείωση κόστους

16 Ταχύτερη απόκριση

17 Υποστήριξη λήψης αποφάσεων

18 Η εξέλιξη

19 Οι τεχνολογίες στον κύκλο της υπερβολής

Οι μύθοι των Big Data 1. Όλοι πρέπει να επενδύσουν. Εξαρτάται από μέγεθος και απαιτήσεις. Οι επενδύσεις είναι μεγάλες 2. Είναι άλλο ένα έργο ΠΣ. Δεν είναι.

20 Οι μύθοι των Big Data 1. Όλοι πρέπει να επενδύσουν. Εξαρτάται από μέγεθος και απαιτήσεις. Οι επενδύσεις είναι μεγάλες 2. Είναι άλλο ένα έργο ΠΣ. Δεν είναι. Είναι διερευνητικό, δίνει νέες δυνατότητες, ακούγεται απλό αλλά δεν είναι εύκολο. 3. Είναι κάτι νέο. Υπάρχει από το Είναι καινοτομικό. Η τεχνολογία είναι. 5. Έχει όλες τις απαντήσεις. Μόνο η σωστή προσέγγιση στο πρόβλημα μπορεί να δώσει απαντήσεις. 6. Χρειάζεται για εμβάθυνση στα δεδομένα. 7. Όσο περισσότερα δεδομένα τόσο καλύτερα. Η ποιότητα υπερτερεί της ποσότητας.

21 Ιστορικό παράδειγμα εφαρμογής

22 Χαρακτηριστικά εφαρμογής Όγκος (τα σημεία συλλογής) Ταχύτητα (η ταχύτητα ενημέρωσης με νέα στοιχεία) Ποικιλία (ποιος συλλέγει, πώς και πού;) Μεταβλητότητα (διαφορετικές μέθοδοι καταγραφής και χρήσης. Αν και δεν υπήρχαν κοινωνικά δίκτυα, υπήρχαν διαδόσεις)

23 Αποτελέσματα εφαρμογής

24 Το μέλλον θα δείξει

Σχετικά έγγραφα

Πληροφοριακά Συστήματα Διοίκησης

Πληροφοριακά Συστήματα Διοίκησης Μεγάλα Δεδομένα ΠΜΣ Λογιστική Χρηματοοικονομική και Διοικητική Επιστήμη ΤΕΙ Ηπείρου Bytes 1KB = 2 10 1MB = 2 20 1GB = 2 30 1TB = 2 40 1PB = 2 50 1EB = 2 60 1ZB = 2 70 1YB