Εξόρυξη Δεδομένων. Εισαγωγή

Transcript

1 Εξόρυξη Δεδομένων Εισαγωγή

2 Γενικές Πληροφορίες Διδάσκων Ιωάννης Κωνσταντίνου Θεωρία Παρασκευή 17:00 20:00 Δικτυακός τόπος μαθήματος

3 Γιατί εξόρυξη δεδομένων? Εμπορική Σκοπιά Πολλά δεδομένα συλλέγονται και αποθηκεύονται Δεδομένα web, e-commerce Αγορές σε καταστήματα/ super market Τραπεζικές Δοσοληψίες/ πιστωτικές κάρτες Φτηνότεροι και πιο αποτελεσματικοί υπολογιστές Αυξημένος ανταγωνισμός Ανάγκη για καλύτερες υπηρεσίας για ένα συγκεκριμένο θέμα (πχ. in Customer Relationship Management)

4 Γιατί εξόρυξη δεδομένων? Επιστημονική άποψη Δεδομένα συλλέγονται και αποθηκεύονται με τεράστιες ταχύτητες (GB/ώρα) Σένσορες δορυφόρων Τηλεσκόπια που σκανάρουν τον ουρανό microarrays generating gene expression data Επιστημονικές εξομοιώσεις που παράγουν TB από δεδομένα Παραδοσιακές τεχνικές δεν είναι αρκετές για raw δεδομένα («ακατέργαστα» δεδομένα) Η εξόρυξη δεδομένων μπορεί να βοηθήσει τους επιστήμονες Να κατηγοριοποιήσουν και να τεμαχίσουν τα δεδομένα Να σχηματίσουν υποθέσεις

5 Εξόρυξη μεγάλου όγκου δεδομένων - Κίνητρο Υπάρχει «κρυμμένη» πληροφορία στα δεδομένα που δεν είναι εύκολα αντιληπτή Αναλυτές μπορεί να χρειαστούν εβδομάδες για να βρουν χρήσιμη πληροφορία Πολλά δεδομένα δεν αναλύονται καθόλου 4,000,000 3,500,000 3,000,000 2,500,000 2,000,000 1,500,000 The Data Gap Total new disk (TB) since ,000, ,000 0 Number of analysts From: R. Grossman, C. Kamath, V. Kumar, Data Mining for Scientific and Engineering Applications

6 Big Data Facts (1) 90% των σημερινών δεδομένων δημιουργήθηκαν τα τελευταία 2 χρόνια Νόμος του Moore: Διπλασιασμός δεδομένων κάθε 18 μήνες YouTube: 13 εκατ. ώρες και 700 δις αναπαραγωγές το 2010, 48h/min -> 8years/day upload Facebook: 20TB/ημέρα zipped, 1B shares/day CERN/LHC: 40TB/μέρα (15PB/έτος)

7 Big Data Facts (2) By 2015, 4.4M new Big Data IT jobs By 2018, a shortage of 190K big-data experts and 1.5M analysts Bad/poor data costs US 600B $/year For a Fortune 1000 company, a 10% increase on data usability -> 2B USD increase

8 Τι είναι η εξόρυξη δεδομένων? Πολλοί ορισμοί Μη τετριμμένη εξαγωγή έμμεσων, προηγουμένως άγνωστων και δυνητικά χρήσιμων πληροφοριών από δεδομένα Εξερεύνηση & ανάλυση, με αυτόματο ή ημι-αυτόματο τρόπο μεγάλων ποσοτήτων δεδομένων προκειμένου να ανακαλυφθούν μοτίβα με νόημα

9 Εξόρυξη δεδομένων Αλλά για να εξαχθεί γνώση, τα δεδομένα πρέπει να: Αποθηκευτούν Διαχειριστούν και Αναλυθούν αυτό το μάθημα Εξόρυξη δεδομένων Big Data Προγνωστική Ανάλυση Data Science J. Leskovec, A. Rajaraman, J. Ullman: Mining of Massive Datasets, 9

10 Καλά νέα: Ζήτηση για Εξόρυξη δεδομένων J. Leskovec, A. Rajaraman, J. Ullman: Mining of Massive Datasets, 10

11 Τι (δεν) είναι εξόρυξη δεδομένων? Τι δεν είναι εξόρυξη δεδομένων? Αναζήτηση τηλεφωνικού αριθμού σε ένα κατάλογο Αναζήτηση στο google για Amazon Τι είναι εξόρυξη δεδομένων? Ορισμένα ονόματα είναι πιο συχνά σε ορισμένες περιοχές της Ελλάδας (-όπουλος για Πελλοπόνησο, -ακης για Κρήτη, κλπ) «Γκρουπάρισμα» παρόμοιων κειμένων που επιστρέφονται από μια μηχανή αναζήτησης ανάλογα με το περιεχόμενό τους (e.g. Amazon rainforest, Amazon.com,)

12 Προέλευση της Εξόρυξης δεδομένων Χρησιμοποιεί ιδέες από μηχανική μάθηση τεχνητή νοημοσύνη (machine learning/ai), αναγνώριση προτύπων (pattern recognition), στατιστική και βάσεις δεδομένων Παραδοσιακές τεχνικές μπορεί να μην εφαρμόζονται εξαιτίας Μέγεθος δεδομένων Μέγεθος διαστάσεων (High dimensionality of data) Ετερογενή κατανεμημένη φύση δεδομένων Statistics/ AI Data Mining Database systems Machine Learning/ Pattern Recognition

13 Μέθοδοι εξόρυξης δεδομένων Μέθοδοι πρόγνωσης (προγνωστικοί-predictive) Χρησιμοποίησε γνωστές μεταβλητές για να προβλέψεις άγνωστες ή μελλοντικές τιμές από άλλες μεταβλητές Μέθοδοι περιγραφής (περιγραφικοί-descriptive) Βρες μοτίβα που μπορούν να ερμηνευτούν εύκολα από ανθρώπους τα οποία περιγράφουν τα δεδομένα From [Fayyad, et.al.] Advances in Knowledge Discovery and Data Mining, 1996

14 «Νόημα» των αποτελεσμάτων Ένα ρίσκο με την «Εξόρυξη δεδομένων» είναι ότι ο αναλυτής μπορεί να ανακαλύψει μοτίβα που δεν έχουν νόημα Οι στατιστικοί ονομάζουν αυτό το φαινόμενο σαν Bonferroni s principle: Σε γενικές γραμμές, αν ψάξεις σε περισσότερα μέρη από όσα τα δεδομένα σου υποστηρίζουν/επιτρέπουν, τότε είσαι καταδικασμένος να βρεις «ανοησίες» J. Leskovec, A. Rajaraman, J. Ullman: Mining of Massive Datasets, 14

15 «Νόημα» των αποτελεσμάτων Παράδειγμα: Θέλουμε να βρούμε (ασυσχέτιστα) άτομα που τουλάχιστον δυο φορές έχουν μείνει στο ίδιο ξενοδοχείο την ίδια μέρα Παρακολουθήσαμε 10 9 άτομα 1,000 μέρες Κάθε άτομο μένει σε ξενοδοχείο πχ το 1% του χρόνου του (1 μέρα κάθε 100) Τα ξενοδοχεία μπορούν να φιλοξενήσουν πχ 100 άτομα (πχ 10 5 ξενοδοχεία) Εάν ο κάθε ένας συμπεριφέρεται με τυχαίο τρόπο (π.χ., κανένας τρομοκράτης) η εξόρυξη δεδομένων θα ανακαλύψει τίποτα? Εκτιμώμενος αριθμός «ύποπτων» ζευγών ανθρώπων: 250,000 πολλοί συνδυασμοί για έλεγχο χρειάζονται επιπλέον στοιχεία για να εντοπίσουμε «ύποπτα» ζεύγη ανθρώπων με κάποιο πιο αποδοτικό τρόπο J. Leskovec, A. Rajaraman, J. Ullman: Mining of Massive Datasets,

16 Τι παίζει ρόλο όταν ασχολούμαστε με δεδομένα? Usage Quality Context Streaming Scalability J. Leskovec, A. Rajaraman, J. Ullman: Mining of Massive Datasets,

17 Μέθοδοι Εξόρυξης δεδομένων... Κατηγοριοποίηση (Classification) [Predictive] Συσταδοποίηση (Clustering) [Descriptive] Ανάλυση συσχέτισης (Association Rule Discovery) [Descriptive] Ανακάλυψη ακολουθιακών μοτίβων (Sequential Pattern Discovery) [Descriptive] (Παλινδρόμηση) Regression [Predictive] Ανίχνευση ανωμαλιών (Deviation Detection) [Predictive]

18 Κατηγοριοποίηση: Ορισμός Δοθείσας μιας συλλογής εγγραφών (σύνολο εκπαίδευσης - training set ) Κάθε εγγραφή περιέχει ένα σετ από ιδιότητες- attributes. Μια από τις ιδιότητες είναι η κλάση (class). Βρες ένα μοντέλο για την ιδιότητα κλάση σαν συνάρτηση των τιμών των άλλων ιδιοτήτων. Στόχος: Goal: Νέες άγνωστες εγγραφές πρέπει να ανατίθενται με μια κλάση όσο πιο σωστά γίνεται. Ένα σύνολο εκπαίδευσης (test set) χρησιμοποιείται για να υπολογίσει την ακρίβεια του μοντέλου. Συνήθως τα δεδομένα χωρίζονται σε σύνολα εκπαίδευσης και δοκιμής. Το σύνολο εκπαίδευσης δημιουργεί το μοντέλο και το σύνολο δοκιμής (test set) ελέγχει την αποτελεσματικότητα του μοντέλου.

19 10 10 Παράδειγμα κατηγοριοποίησης Tid Refund Marital Status Taxable Income Cheat Refund Marital Status Taxable Income Cheat 1 Yes Single 125K No No Single 75K? 2 No Married 100K No Yes Married 50K? 3 No Single 70K No No Married 150K? 4 Yes Married 120K No Yes Divorced 90K? 5 No Divorced 95K Yes No Single 40K? 6 No Married 60K No 7 Yes Divorced 220K No No Married 80K? Test Set 8 No Single 85K Yes 9 No Married 75K No 10 No Single 90K Yes Training Set Learn Classifier Model

20 Κατηγοριοποίηση: Εφαρμογή 1 Στοχευμένη διαφήμιση (Direct Marketing) Στόχος: Μείωση του κόστους αλληλογραφίας στοχεύοντας σε ένα σετ αγοραστών που είναι πιθανόν να αγοράσουν ένα νέο κινητό Προσέγγιση: Χρησιμοποίηση δεδομένων από παρόμοιο παλιότερο προϊόν Γνωρίζουμε ποιοι πελάτες αποφάσισαν να αγοράσουν και ποιοι όχι. Η πληροφορία {buy, don t buy} σχηματίζει την (ιδιότητακλάση class attribute). Συλλογή δημογραφικών πληροφοριών, life-style και αλληλεπιδράσεις με την εταιρία σχετικά με τους πελάτες Είδος επιχείρησης, τόπος διαμονής, εισόδημα, κλπ. Χρησιμοποίησε αυτή την πληροφορία σαν ιδιότητες εισόδου για την εκμάθηση ενός μοντέλου κατηγοριοποιητή. From [Berry & Linoff] Data Mining Techniques, 1997

21 Κατηγοριοποίηση: Εφαρμογή 2 Εντοπισμός απάτης (Fraud Detection) Στόχος: Πρόβλεψη περιπτώσεων απάτης σε συναλλαγές πιστωτικών καρτών. Προσέγγιση: Χρησιμοποίησε συναλλαγές καρτών και πληροφορίες των κατόχων τους σαν ιδιότητες. Πότε κάποιος αγοράζει, τι αγοράζει, πόσο συχνά πληρώνει στην ώρα του, κλπ. Ονομάτισε παλιότερες συναλλαγές σαν «απάτη» ή «μη απάτη». Αυτό σχηματίζει την ιδιότητα κλάση. Δημιούργησε ένα μοντέλο για την κλάση των συναλλαγών. Χρησιμοποίησε αυτό το μοντέλο για να εντοπίσεις απάτες παρατηρώντας τρέχουσες συναλλαγές σε έναν λογαριασμό.

22 Κατηγοριοποίηση: Εφαρμογή 3 Customer Attrition/Churn: Στόχος: Πρόβλεψη εάν ένας πελάτης θα «φύγει» σε μια άλλη εταιρία Προσέγγιση: Χρησιμοποίησε δεδομένα συναλλαγών παλιών και νέων πελατών για τον εντοπισμό ιδιοτήτων Πόσο συχνά ένας πελάτης κάνει κλήσεις, που καλεί, ποια ώρα της ημέρας καλεί πιο συχνά, την οικονομική του κατάσταση, εάν είναι παντρεμένος, κλπ. Ονομάτισε (label) τους πελάτες σαν «πιστούς» ή «άπιστους». Υπολόγισε ένα μοντέλο για την «πίστη». From [Berry & Linoff] Data Mining Techniques, 1997

23 Κατηγοριοποίηση: Εφαρμογή 4 Sky Survey Cataloging Στόχος: Να προβλέψουμε την κλάση (άστρο ή γαλαξίας) αντικειμένων ειδικά οπτικά αχνών, βασιζόμενοι σε υπάρχουσες εικόνες από αστεροσκοπεία (from Palomar Observatory) εικόνες με 23,040 x 23,040 pixels ανά εικόνα. Μεθοδολογία: Τεμαχισμός της εικόνας Μέτρηση των ιδιοτήτων της εικόνας (χαρακτηριστικά-features) 40 ανά αντικείμενο. Μοντελοποίηση της κλάσης με βάση αυτά τα χαρακτηριστικά. Success Story: Βρέθηκαν 16 νέοι high red-shift quasars, ορισμένοι σχηματισμοί από τους πιο μακρινούς και δύσκολο να εντοπιστούν! From [Fayyad, et.al.] Advances in Knowledge Discovery and Data Mining, 1996

24 Κατηγοριοποιώντας γαλαξίες Courtesy: Early Κλάση: Stages of Formation Intermediate Ιδιότητες: Χαρακτηριστικά της εικόνας, Characteristics of light waves received, etc. Late Μέγεθος δεδομένων: 72 εκ. άστρα, 20 εκ. γαλαξίες Object Catalog: 9 GB Image Database: 150 GB

25 Συσταδοποίηση (Clustering) Ορισμός Δοθέντος ενός πλήθους σημείων, το καθένα από τα οποία έχει ένα σετ ιδιοτήτων και ένα μετρικό «ομοιότητας» μεταξύ των σημείων, εντόπισε συστάδες έτσι ώστε Σημεία που ανήκουν στην ίδια συστάδα είναι πιο «όμοια» μεταξύ τους Σημεία που ανήκουν σε διαφορετικές συστάδες είναι λιγότερο «όμοια» μεταξύ τους Μετρικά ομοιότητας: Ευκλείδεια απόσταση σε περίπτωση συνεχών μεταβλητών. Άλλα μετρικά ανάλογα το πρόβλημα.

26 Απεικονίζοντας την συσταδοποίηση Συσταδοποίηση με βάση την Ευκλείδεια απόσταση σε 3 διαστάσεις (3-D). Intracluster distances are minimized Intercluster distances are maximized

27 Συσταδοποίηση: Εφαρμογή 1 Τμηματοποίηση αγοράς: Στόχος: Χώρισε την αγορά σε διακριτά υποσύνολα πελατών όπου το κάθε υποσύνολο μπορεί δυνητικά να επιλεχθεί σαν ένας στόχος αγοράς με σκοπό την προσέγγισή του σε μια συγκεκριμένη στρατηγική marketing. Προσέγγιση: Συλλογή διαφορετικών ιδιοτήτων πελατών με βάση γεωγραφικές ή life-style πληροφορίες Εύρεση συστάδων παρόμοιων πελατών Μέτρηση της ποιότητας της συσταδοποίησης παρακολουθώντας τα μοτίβα αγορών των πελατών που ανήκουν στην ίδια συστάδα σε σχέση με διαφορετική.

28 Συσταδοποίηση: Εφαρμογή 1 Συσταδοποίηση εγγράφων (πχ google news): Στόχος: Εύρεση γκρουπ κειμένων που είναι μεταξύ τους παρόμοια σε σχέση με τις πιο σημαντικές λέξεις (όρους) που παρουσιάζονται σε αυτά. Προσέγγιση: Εντοπισμός συχνά εμφανιζόμενων όρων σε κάθε κείμενο. Δημιουργία ενός μετρικού ομοιότητας βασισμένο στην συχνότητα εμφάνισης των διαφορετικών όρων. Χρησιμοποίησέ το για συσταδοποίηση. Όφελος: Τεχνικές IR (information retrieval) μπορούν να χρησιμοποιήσουν τις συστάδες για να συσχετίσουν νέα έγγραφα ή όρους αναζήτησης σε συσταδοποιημένα έγγραφα.

29 Απεικονίζοντας την συσταδοποίηση εγγράφων Σημεία συσταδοποίησης: 3204 Άρθρα των Los Angeles Times. Μετρικό ομοιότητας: Πόσες λέξεις είναι κοινές στα κείμενα αυτά (μετά από την αφαίρεση ορισμένων) Category Total Correctly Articles Placed Financial Foreign National Metro Sports Entertainment

30 Συσταδοποίηση δεδομένων μετοχών S&P 500 Καθημερινή παρακολούθηση κινήσεων μετοχών Σημεία συσταδοποίησης: Stock-{UP/DOWN} Μετρικό ομοιότητας: Δυο σημεία είναι πιο όμοια εάν τα γεγονότα που τα περιγράφουν συχνά τυχαίνουν ταυτόχρονα την ίδια μέρα Χρησιμοποίηση ανάλυσης κανόνων συσχετίσεων Discovered Clusters 1 Applied-Matl-DOW N,Bay-Network-Down,3-COM-DOWN, Cabletron-Sys-DOWN,CISCO-DOWN,HP-DOWN, DSC-Co mm-dow N,INTEL-DOWN,LSI-Logic-DOWN, Micron-Tech-DOWN,Texas-Inst-Down,Tellabs-Inc-Down, Natl-Semiconduct-DOWN,Oracl-DOWN,SGI-DOW N, Sun-DOW N Apple-Co mp-dow N,Autodesk-DOWN,DEC-DOWN, ADV-M icro-device-down,andrew-corp-down, 2 Co mputer-assoc-down,circuit-city-down, Co mpaq-down, EM C-Corp-DOWN, Gen-Inst-DOWN, Motorola-DOW N,Microsoft-DOWN,Scientific-Atl-DOWN 3 4 Fannie-Mae-DOWN,Fed-Ho me-loan-dow N, MBNA-Corp-DOWN,Morgan-Stanley-DOWN Baker-Hughes-UP,Dresser-Inds-UP,Halliburton-HLD-UP, Louisiana-Land-UP,Phillips-Petro-UP,Unocal-UP, Schlu mberger-up Industry Group Technology1-DOWN Technology2-DOWN Financial-DOWN Oil-UP

31 Εξόρυξη κανόνων συσχέτισης (Association Rule Discovery): Ορισμός Δοθέντος ενός σετ εγγραφών που περιέχουν έναν αριθμό από αντικείμενα από μια συλλογή, Δημιούργησε κανόνες εξαρτήσεων που θα προβλέπουν την ύπαρξη ενός αντικειμένου με βάση την ύπαρξη άλλων αντικειμένων. TID Items 1 Bread, Coke, Milk 2 Beer, Bread 3 Beer, Coke, Diaper, Milk 4 Beer, Bread, Diaper, Milk 5 Coke, Diaper, Milk Κανόνες που ανακαλύφθηκαν: {Milk} --> {Coke} {Diaper, Milk} --> {Beer}

32 Εξόρυξη κανόνων συσχέτισης: Εφαρμογή 1 Διαφήμιση και προώθηση πωλήσεων: Έστω ότι ανακαλύφθηκε ο κανόνας ότι {Bagels, } --> {Potato Chips} Potato Chips as consequent => Μπορεί να χρησιμοποιηθεί για να αποφασιστεί τι πρέπει να γίνει για να αυξηθούν οι πωλήσεις του. Bagels in the antecedent => Μπορεί να χρησιμοποιηθεί για να αποφασιστεί τι θα επηρεαστεί εάν το κατάστημα σταματήσει να πουλάει bagels. Bagels in antecedent and Potato chips in consequent => Μπορεί να χρησιμοποιηθεί για να αποφασιστεί τι προϊόντα μπορούν να πουληθούν μαζί με bagels για να προωθήσουν την πώληση potato chips!

33 Εξόρυξη κανόνων συσχέτισης: Εφαρμογή 2 Διαχείριση προϊόντων ραφιού Super Market Στόχος: Να εντοπιστούν αντικείμενα που αγοράζονται μαζί από αρκετά πολλούς πελάτες. Προσέγγιση:Επεξεργασία των point-of-sale δεδομένων που συγκεντρώνονται από τα ταμεία των SM για την εξαγωγή συσχετίσεων μεταξύ αντικειμένων. Ένας κλασσικός κανόνας-- Εάν ένας πελάτης αγοράσει πάνες και γάλα (diaper and milk) τότε είναι πολύ πιθανό να αγοράσει και μπύρες. Επομένως, μην σας φανεί παράξενο εάν βρίσκετε εξάδες από μπύρες δίπλα από pampers!

34 Εξόρυξη κανόνων συσχέτισης: Εφαρμογή 3 Διαχείριση αποθεμάτων ανταλλακτικών: Στόχος: Μια εταιρία ανταλλακτικών θέλει να κατανοήσει την φύση των αλλαγών που χρειάζονται τα προϊόντα της και να έχει τα οχήματα συντήρησης εφοδιασμένα με τα σωστά ανταλλακτικά με σκοπό την μείωση των διαδρομών προς τους πελάτες της. Μεθοδολογία: Επεξεργασία των δεδομένων στα εργαλεία και ανταλλακτικά των προηγούμενων επισκευών σε διαφορετικές τοποθεσίες με σκοπό την ανακάλυψη επαναλαμβανόμενων μοτίβων.

35 Εξόρυξη ακολουθιακών μοτίβων: Ορισμός Δοθέντος ενός σετ από αντικείμενα, όπου το κάθε αντικείμενο σχετίζεται με το δικό του χρονοδιάγραμμα γεγονότων, ανακάλυψε κανόνες που προβλέπουν ισχυρές ακολουθιακές συσχετίσεις μεταξύ διαφορετικών γεγονότων. (A B) (C) (D E) Οι κανόνες σχηματίζονται πρώτα ανακαλύπτοντας τα μοτίβα. Η εμφάνιση των γεγονότων γενικά εξαρτάται από χρονικά περιθώρια (A B) (C) (D E) <= xg >ng <= ws <= ms

36 Εξόρυξη ακολουθιακών μοτίβων: Παραδείγματα Σε αρχεία καταγραφής τηλεπικοινωνιακών alarm logs, (Inverter_Problem Excessive_Line_Current) (Rectifier_Alarm) --> (Fire_Alarm) Σε ακολουθίες δοσοληψιών point-of-sale Computer Bookstore: (Intro_To_Visual_C) (C++_Primer) --> (Perl_for_dummies,Tcl_Tk) Athletic Apparel Store: (Shoes) (Racket, Racketball) --> (Sports_Jacket)

37 Παλινδρόμηση (Regression) Πρόγνωση μιας τιμής μιας συνεχούς μεταβλητής με βάση τιμές άλλων μεταβλητών, υποθέτοντας ένα γραμμικό (ή μη) μοντέλο συσχέτισης. Εφαρμογή σε στατιστική, νευρωνικά δίκτυα Παραδείγματα: Πρόγνωση μεγέθους πωλήσεων ενός νέου προϊόντος με βάση τα διαφημιστικά έξοδα. Πρόγνωση της ταχύτητας του ανέμου σαν συνάρτηση της θερμοκρασίας, υγρασίας, ατμοσφαιρικής πίεσης, κλπ. Πρόγνωση της χρονοσειράς των δεικτών τιμών μετοχών.

38 Εντοπισμός παρεκκλίσεων/ανωμαλιών Εντοπισμό σημαντικών παρεκκλίσεων από «συνηθισμένη» συμπεριφορά Εφαρμογές: Εντοπισμός απάτης πιστωτικών καρτών Εντοπισμό δικτυακών επιθέσεων (ddos attacks) Τυπική ημερήσια κίνηση σε επίπεδο πανεπιστημίου 100 εκ. συνδέσεις.

39 Προκλήσεις εξόρυξης δεδομένων Κλιμακωσιμότητα (Scalability) Μέγεθος διαστάσεων (Dimensionality) Περίπλοκα και ετερογενή δεδομένα (Complex and Heterogeneous Data) Ποιότητα δεδομένων Σε ποιον ανήκουν τα δεδομένα? Διατήρηση ανωνυμίας Δεδομένα ροών (Streaming Data)

40 Μεγάλα Δεδομένα (Big Data) 5 Vs: Volume Velocity Variety Veracity Value

41 Big Data Application Use Cases Retail Monitoring social media to get preferences, customer behavior, product perception, etc. Banking/Insurance Risk management, fraud detection, etc. Manufacturing Maintenance and repair, supply chain management, etc. Advertising/Marketing Responsiveness to campaigns, etc. Government Publicizing data Media Personalization, archiving, etc. Telecommunications Failure prevention, etc.

42 Big Data Sources Social networks Public web information Data Warehouse appliances Monitoring How to deal with this big amount of data? Distributed applications -> Scalability

43 Source: Wikipedia (IBM Roadrunner)

44 divide and conquer Εργασία Partition w 1 w 2 w 3 worker worker worker r 1 r 2 r 3 Αποτέλεσμα Combine

45 Προκλήσεις παραλληλοποίησης Πως αναθέτουμε μονάδες εργασίας σε workers? Αν έχουμε περισσότερες μονάδες εργασίας από workers? Εάν οι workers χρειαστεί να μοιραστούν ενδιάμεσα ημιτελή δεδομένα? Πως συνοψίζουμε τέτοιου είδους ενδιάμεσα δεδομένα? Πως ξέρουμε ότι όλοι οι workers τελειώσανε? Τι γίνεται εάν κάποιοι workers διακοπήκανε?