Οι «κύκλξι» ςηπ επιυειοηριακήπ μξημξρύμηπ. Μέθξδξι και Σευμικέπ ενεοεύμηρηπ ςχμ δεδξμέμχμ για ςημ απόκςηρη γμώρηπ (Knowledge Discovery). Δπιυειοηριακή μξημξρύμη ρε έμα ρύγυοξμξ ξογαμιρμό: Data Warehouses. ΠΔΣΑ: ΟΣΑ Δπιυειοηριακή Νξημξρύμη [Bc1.1.2 ΔΘΑΓΩΓΖ] 1
Δπιυειοηριακή Νξημξρύμη (Business Intelligence - ΒΘ) Ζ (σπξ)δμόςηςα ασςή θα δώρει μια καθαοή εικόμα ςχμ ςοόπχμ πξσ ξι Σευμξλξγίεπ ςηπ Πληοξτξοικήπ διεσκξλύμξσμ ςη υοήρη ςηπ επιυειοηριακήπ μξημξρύμηπ, και ςημ έμςανη ςηπ ρςημ «καθημεοιμόςηςα» εμόπ ξογαμιρμξύ, με ρκξπό ςημ αμαγμώοιρη ςηπ καςάρςαρηπ ςξσ ξογαμιρμξύ και ςη λήφη ξοθξλξγικόςεοχμ απξτάρεχμ. Πεοιλαμβάμει (όπχπ και κάθε άλλη Δμόςηςα): Διραγχγή: Για μα βξηθήρει ςξσπ λιγόςεοξ ενξικειχμέμξσπ με ςξ θέμα μα ςξ παοακξλξσθήρξσμ Αμάπςσνη: Για μα ποξρτέοει κσοιξλεκςικέπ γμώρειπ πάμχ ρςξ θέμα Ποακςική Άρκηρη 2
ςόυξπ Ιαςαμόηρη ςηπ ςευμξλξγικήπ βάρηπ ςηπ Δπιυειοηριακήπ Νξημξρύμηπ Πεοιευόμεμξ Έμμξιεπ και Παοαδείγμαςα Δείςε ασςό ςξ webinar μέυοι ςέλξσπ... Μεςά, Ρχςήρςε ασςά πξσ θέλεςε ςξμ/ςημ Δκπαιδεσςή/ςοία ραπ Ιάμεςε έμα post ρςξ Forum! 3
Δπιυειοημαςική Νξημξρύμη, Ζλεκςοξμική Διακσβέομηρη, Οι Ιύκλξι ςηπ Δπιυειοηριακήπ Νξημξρύμηπ (Δημιξσογία Φοήρη), Data Warehouse, Μέθξδξι και Σευμικέπ για ςη ενεοεύμηρη ςχμ data Αμακάλσφη Γμώρηπ (Knowledge Discovery), Ποόςσπα και Ιαμξμικόςηςεπ, Αλγόοιθμξι για ςξμ εμςξπιρμό ποξςύπχμ και καμξμικξςήςχμ, BI Analytics, Queries, Enterprise Reports, Alerts, OLAP 4
Ζ Δπιυειοηριακή Νξημξρύμη (ΔΝ) πεοιλαμβάμει Ση ρσλλξγή, διαυείοιρη και αμάλσρη ςχμ data πξσ παοάγξμςαι και απξθηκεύξμςαι καςά ςη διάοκεια ςηπ καθημεοιμήπ ζχήπ ςχμ επιυειοήρεχμ και ςχμ δημξρίχμ ξογαμιρμώμ Σημ μεςαςοξπή ςξσπ ρε υοήριμη πληοξτξοία και γμώρη, με ρσρςημαςικό ςοόπξ, με εγκσοόςηςα, έγκαιοα (ρυεδόμ ασςόμαςα) Ση διαυείοιρη ςηπ «παοαγόμεμηπ» πληοξτξοίαπ και ςηπ γμώρηπ με ςη υοήρη εογαλείχμ (ιρςξγοάμμαςα, charts κλπ. και reports) με ρκξπό ςημ σπξρςήοινη ςχμ απξτάρεχμ Ζ Δπιυειοηριακή Νξημξρύμη ρε έμαμ ξογαμιρμό ατξοά Ση Διεύθσμρη Πληοξτξοικήπ, ςη Διξίκηρη (ποξταμώπ) αλλά και όλξσπ ςξσπ άλλξσπ πξσ εμδιατέοξμςαι μα παοακξλξσθξύμ ςη δξσλειά ςξσπ ρσρςημαςικά μέρα από δείκςεπ και αματξοέπ... Ιαι εμ ςέλει ςξσπ πξλίςεπ πξσ μπξοξύμ μα διαπιρςώρξσμ ςημ πξιόςηςα ςηπ παοευόμεμηπ σπηοερίαπ 5
Ζ Δπιυειοηριακή Νξημξρύμη είμαι μια εταομξγή Πληοξτξοικήπ πξσ αμαπςύρρεςαι ρε τάρειπ ρςιπ ξπξίεπ εμπλέκξμςαι αοκεςξί, και κσοίχπ ξι δημξςικξί παοάγξμςεπ Οι τάρειπ ασςέπ ρσμιρςξύμ έμα κύκλξ Μέθξδξι και Σευμικέπ ενεοεύμηρηπ ςχμ δεδξμέμχμ με ρκξπό ςημ παοαγχγή γμώρηπ (Knowledge Discovery) Data Warehouses: Σι είμαι; 6
Πξσ ενελίρρεςαι ρε 2 μεγάλεπ τάρειπ Δημιξσογία (Creation) Αμαλύεςαι ρε πεοιρρόςεοα ρςάδια Φοήρη (Use) Με ςη ρσμδοξμή ςχμ εογαλείχμ πξσ είδαμε ρςξ ποξηγξύμεμξ μάθημα και θα ρσζηςήρξσμε πάλι 7
... πξσ νεκιμάει εδώ! Planning ΖΠΑ: Department of Defense 8
1. υεδιαρμόπ (Planning / Tasking) 2. σγκέμςοχρη Πληοξτξοίαπ (Collection) 3. Δπενεογαρία (Processing & Exploitation) 4. Αμάλσρη (Analysis) 5. Παοαγχγή Reports & Διάυσρη Πληοξτξοίαπ (Production Dissemination) Ποξκαλεί αλλεπάλληλξσπ κύκλξσπ Ανιξλόγηρηπ 6. Φοήρη 9
Ξεκιμά ςη ρςιγμή πξσ αμςιλαμβαμόμαρςε ςημ αμάγκη μα «παίνξσμε» με ςημ ιδέα ςηπ Δπιυειοηριακήπ Νξημξρύμηπ Δηλαδή μα ανιξπξιήρξσμε ςη δσμαςόςηςα μα μεςαςοέφξσμε ςα data, πξσ... απλώπ σπάουξσμ αμεκμεςάλλεσςα, ρε υοήριμη πληοξτξοία Πεοιλαμβάμει Σημ καςαγοατή ςηπ αμάγκηπ, ςημ αμάλσρη ςηπ απαίςηρηπ (Πξιόπ ςξ ρκέτςηκε; Για πξιό λόγξ; Σξ ζήςηρε κάπξιξπ; σμειδηςξπξιξύμε ςημ ανία ςξσ εγυειοήμαςξπ, καςαλαβαίμξσμε ςι πεοιμέμξσμε μα πάοξσμε; Σι πεοιμέμξσμ ξι υοήρςεπ;) Σημ ξμξμαρία ςχμ components έογξσ ΔΝ, π.υ. Μημιαίξ Report Δρόδχμ-Δνόδχμ κλπ. Σημ ξογάμχρη ςξσ έογξσ χπ project με αουή, μέρη και ςέλξπ... και time plan! (όπχπ ποέπει μα κάμξσμε με κάθε έογξ Πληοξτξοικήπ) Πξιόπ; 10
Πξιά data θέλξσμε; Πξιέπ πηγέπ data θα ανιξπξιήρξσμε; Από πξιέπ Τπηοερίεπ ςξσ ξογαμιρμξύ, ςξσ Δήμξσ; Από πξιέπ εταομξγέπ Πληοξτξοικήπ; Ιάθε πόςε; Από πξιέπ ασςξμαςξπξιημέμεπ Διαδικαρίεπ (όςαμ ςξ έογξ LGAF εγκαςαρςαθεί ρςξσπ Δήμξσπ) - ρήμεοα από ςξ Ποχςόκξλλξ... Από άλλεπ πηγέπ, ενχςεοικέπ; Πξιέπ; «Δπίρκεφη» ρςα data Ιαςάλξγξπ ςχμ data πξσ θα υοηριμξπξιηθξύμ (Cataloging) και ςχμ πηγώμ (databases) από ςιπ ξπξίεπ θα αμςληθξύμ Υιλςοάοιρμα (Filtering) Πξιόπ; + 11
Σα data πξσ θα επιλεγξύμ μα υοηριμξπξιηθξύμ θα ποέπει, αμ θέλξσμε η εογαρία μαπ μα είμαι ρσρςημαςική, μα μεςατεοθξύμ Από ςιπ πηγέπ ςξσπ (production databases) ε έμα μέξ πεοιβάλλξμ (data warehouse), πξσ θα δημιξσογήρει ςιπ «ρυεριακέπ ρσμδέρειπ» αμάμερα ρςα δεδξμέμα πξσ ποξέουξμςαι από διατξοεςικέπ πηγέπ Πξιόπ; Howson: Successful Business Intelligence Data από Ενωοςεοικέπ Πηγέπ {ETL: extract, transform, load} 12
Σξ έογξ δημιξσογεί απξςελέρμαςα (με βάρη όρα ξοίρθηκαμ ρςη τάρη ςξσ υεδιαρμξύ) Δείκςεπ, ιρςξγοάμμαςα, πίμακεπ κλπ. Φοειάζεςαι ςώοα μα γίμξσμ ξι παοακάςχ έλεγυξι Έλεγυξπ πξιόςηςαπ: Αμ ςα παοαγόμεμα απξςελέρμαςα είμαι ρε αμςιρςξιυία με ςημ ποαγμαςικόςηςα, αμ επιβεβαιώμξμςαι (ή αλληλξρσμπληοώμξμςαι) μεςανύ ςξσπ, αμ δημιξσογξύμ αμςιτάρειπ πξσ ποέπει μα εοεσμηθξύμ Έλεγυξπ πιρςόςηςαπ και υοηρςικόςηςαπ: Αμ ςα παοαγόμεμα απξςελέρμαςα αμςαπξκοίμξμςαι ρςιπ ποξθέρειπ ρυεδιαρμξύ ςξσ έογξσ. Ασςόπ ξ έλεγυξπ πεοιλαμβάμει επίρηπ αμαδιαςάνειπ ςχμ απξςελερμάςχμ, ρσμπλήοχρη με μέεπ δσμαςόςηςεπ ρσμδσαρμώμ ώρςε ςξ παοαγόμεμξ έογξ μα μπξοεί μα υοηριμξπξιηθεί με ςξμ καλύςεοξ δσμαςό ςοόπξ ρςξ πλαίριξ πξσ έυει ρυεδιαρθεί και μα σπξρςηοίζει ποάγμαςι ςιπ αμάγκεπ λήφηπ απξτάρεχμ... Πξιόπ; 13
Όςαμ πεοαςχθξύμ ξι έλεγυξι, και ξι απαοαίςηςεπ, ποξραομξγέπ ςηπ τάρηπ «Αμάλσρη», ςξ έογξ Δημιξσογεί ςα μέρα (user interface) με ςα ξπξία ςα απξςελέρμαςα ςηπ εταομξγήπ ςηπ Δπιυειοηριακήπ Νξημξρύμηπ (δηλ. Δείκςεπ με ξμξμαρία και επενηγήρειπ, Reports)...... Ηα γίμξμςαι ποξρβάριμα από ςξσπ υοήρςεπ (visualization) Πξιόπ; + Βέβαια ασςά μπξοεί μα πεοάρξσμ από μικοξύπ κύκλξσπ ανιξλόγηρηπ για μα πάοξσμ ξι ρυεδιαρςέπ ςξσ έογξσ ςξ «feedback» ςχμ υοηρςώμ... Σξ έογξ όμχπ ςώοα μπξοεί μα υοηριμξπξιηθεί (Υάρη Φοήρηπ) 14
ςξσ απξςελέρμαςξπ 15
ςημ Ποακςική Άρκηρη ασςήπ ςηπ Δμόςηςαπ (Βc1.1.2) θα δείςε ρςημ ποάνη ςημ παοαγχγή δεικςώμ και reports (hands-on experience) με data πξσ έυξσμ αμςληθεί από Δήμξσπ ςηπ υώοαπ (Ποχςόκξλξ) και ςοξπξπξιηθεί για μα μημ έυξσμ... ξμξιόςηςα με ςημ ποαγμαςικόςηςα 16
17 Δνεοεύμηρηπ ςχμ δεδξμέμχμ με ρκξπό ςημ παοαγχγή γμώρηπ (Knowledge Discovery)
Data από διατξοεςικέπ πηγέπ, ςα ρσγκεμςοώμει, ςα επενεογάζεςαι και ςα κάμει ποξρβάριμα ρςξσπ υοήρςεπ, μέρα από πξλλά «user interfaces»... Με ρκξπό μέρα από ασςή ςη διαδικαρία μα παοάγει υοήριμη πληοξτξοία για ςξμ ξογαμιρμό και μα ξδηγήρει ρε καλύςεοεπ απξτάρειπ και ρςημ αύνηρη ςηπ πξιόςηςαπ ςχμ παοευξμέμχμ σπηοεριώμ Όπχπ μέυοι ςώοα έυξσμε παοξσριάρει ςημ Δπιυειοηριακή Νξημξρύμη, ςξ απξςέλερμα πξσ παίομξσμε από ςημ εταομξγή ςηπ είμαι ασςό πξσ ρυεδιάραμε ρςη βάρη ςηπ αμάγκηπ πξσ επιρημάμαμε ςη γλώρρα πξσ υοηριμξπξιξύμ ξι ειδικξί, ασςή λέγεςαι «proactive business intelligence» 18
Έυξσμ πξλλέπ τξοέπ και μια ερχςεοική ανία πξσ δεμ βλέπξσμε με ςημ ποώςη μαςιά (ςα data κούβξσμ όπχπ λέμε patterns & trends, δηλ. ποόςσπα και καμξμικόςηςεπ) Ιαι πξσ ποξκύπςξσμ μέρα από ςημ εταομξγή μεθόδχμ και ςευμικώμ ενεοεύμηρηπ ςχμ data 19
σμδσαρμξί και ςευμικέπ ενεοεύμηρηπ ςχμ data Πξσ έυξσμ ρκξπό μα «αμακαλύφξσμ» γμώρη πξσ δεμ «σπξπςεσόμαρςε» όςι σπήουε... Δεμ νεκιμάμε με γμχρςό ςξ ςι θέλξσμε μα «αμακαλύφξσμε» Γμώρη πξσ «ποξκύπςει» εν αιςίαπ ςξσ γεγξμόςξπ όςι μπξοξύμε, με ςη βξήθεια ςχμ ςευμικώμ ςηπ Δπιυειοηριακήπ Νξημξρύμηπ, μα εταομόρξσμε αλγξοίθμξσπ εμςξπιρμξύ ποξςύπχμ και καμξμικξςήςχμ, ρε μεγάλεπ «πξρόςηςεπ» data (πξλλώμ υοόμχμ) Παοάδειγμα: Οι Σοάπεζεπ και ξι εμπξοικέπ επιυειοήρειπ εταομόζξσμ ασςέπ ςιπ ςευμικέπ ρςα data πξσ γεμμξύμ ξι πιρςχςικέπ κάοςεπ «για μα «αμακαλύφξσμ» καμξμικόςηςεπ ρςη ρσμπεοιτξοά ςχμ καςαμαλχςώμ (π.υ. ηλικίεπ, έρςχ 15-34, πξσ αγξοάζξσμ πιξ ρσυμά ςξ ποξψόμ Φ, και πξιά μέοα ςηπ εβδξμάδαπ, εογάριμη ή άββαςξ, κλπ.) 20
Μέθξδξι + Σευμικέπ Παοαςήοηρη καμξμικξςήςχμ και ςάρεχμ (Σrend reporting) Δνόοσνη δεδξμέμχμ (Data mining) Αμάλσρη Ποξβλέφεχμ (Predictive analysis) Alerts ρςημ πεοίπςχρη πξσ εμςξπιρςεί έμα «γεγξμόπ» πξσ πεοιέυει μέοξπ από έμα ρύμξλξ υαοακςηοιρςικώμ πξσ έυξσμ ποξρδιξοιρςεί εν αουήπ Οι Δημόριξι Οογαμιρμξί αουίζξσμ μα εμδιατέοξμςαι για ςη υοήρη ασςώμ ςχμ μεθόδχμ και ςευμικώμ Παοαδείγμαςα: Παοαςήοηρη ςάρεχμ για ςημ ποόβλεφη ςηπ ενέλινηπ ςηπ αγξοάπ γηπ (ρε ςξπικό επίπεδξ) ή ςηπ δημιξσογίαπ μέχμ θέρεχμ εογαρίαπ... 21
Data Warehouses 22
Μπξοξύμ μα γίμξσμ με λίγα μέρα και υοηριμξπξιώμςαπ εογαλεία πξσ ποξρτέοει ςξ Web Βλ. Ποώςη Δμόςηςα (Bc1.1.1) Βλ. http://www.gapminder.com Όςαμ όμχπ ρυεδιάζει καμείπ έμα έογξ Δπιυειοηριακήπ Νξημξρύμηπ ρε βάθξπ, πξσ θα απξδίδει ρσμέυεια και με ρσρςημαςικόςηςα απξςελέρμαςα Ηα ποέπει μα ρκετςεί ςημ ξογάμχρη ρσρςήμαςξπ πξσ θα ρσλλέγει ρε μόμιμη βάρη data από ερχςεοικέπ και ενχςεοικέπ πηγέπ Δπιρςοέτξσμε ρςη τάρη «Δπενεογαρία» ςηπ Δπιυειοηριακήπ Νξημξρύμηπ... Σξ ρύρςημα ασςό λέγεςαι Data Warehouse 23
Σι είμαι έμα Data Warehouse Έμα τσρικό απξθεςήοιξ δεδξμέμχμ (data) όπξσ ρσλλέγξμςαι data από διάτξοεπ πηγέπ, και αμαδιξογαμώμξμςαι για μα πάοξσμ ςη μξοτή πξσ ςηπ «πληοξτξοίαπ», πξσ θα απαμςά ρςιπ αμάγκεπ ςχμ υοηρςώμ Ο Κύκλξπ ςηπ Επιχειοηριακήπ Νξημξρύμηπ Φάρη: Επενεογαρία 24
Data Warehouse E Turban et al: Business Intelligence, Prentice Hall 25
Δεμ είμαι σπόθερη εμόπ μικοξύ ξογαμιρμξύ, όπχπ είμαι έμαπ Δήμξπ Δκςόπ αμ ποόκειςαι για ςξσπ πξλύ πξλύ μεγάλξσπ Δήμξσπ ςηπ υώοαπ Ποξταμώπ, ςξ θέμα θα ενεςαρςεί ρςξ πλαίριξ ςξσ Παοαςηοηςηοίξσ ςηπ ΙΔΔΙΔ Σξ Παοαςηοηςήοιξ ςηπ Σξπικήπ και Πεοιτεοειακήπ Αμάπςσνηπ Ηα παοέυει ρςαςιρςικά δεδξμέμα πξσ θα καςαυχοξύμςαι από ςξσπ Δήμξσπ αλλά και πξσ θα ρσλλέγξμςαι κεμςοικά Πληοξτξοίεπ και σπξρςήοινη ρςξσπ τξοείπ ςηπ Σξπικήπ Ασςξδιξίκηρηπ (και ρε κάθε εμδιατεοόμεμξ) Ώρςε μα σπξρςηοιυθξύμ με ςξμ απξςελερμαςικόςεοξ ςοόπξ ξι λήφειπ απξτάρεχμ ρε ςξπικό και πεοιτεοειακό επίπεδξ 26
σρςήμαςα Δπιυειοημαςικήπ Δστσΐαπ ρςη Γ.Γ.Π.. ςξσ Τπξσογείξσ Οικξμξμίαπ και Οικξμξμικώμ http://www.google.gr/url?sa=t&source=web&ct=res&cd=47&u rl=http%3a%2f%2fwww.dmst.aueb.gr%2fdamianos%2faueb%25 20BI%252023_6_08_v1.0.ppt&ei=YEnqSbLyBpGPsAbHtt2GBw&u sg=afqjcnh9lgsdq8msuolsoecxafvkpsp8g&sig2=pbdffewzrlk2i-lfzisdna Δικςσχθείςε (Go Online): Eπιυειοημαςική Eστσΐα και Απξθήκεσρη Δεδξμέμχμ: Οι κσοίαουεπ ςάρειπ http://www.goonline.gr/ebusiness/specials/article.html?article_id=1662 Tech-Writer.net: The Intelligence Cycle http://www.goonline.gr/ebusiness/specials/article.html?article_id=1662 Σι είμαι έμα Data Warehouse; http://el.tech-faq.com/data-warehouse.shtml 27
ΟΣΑ Δπιυειοηριακή Νξημξρύμη Παοαγωγή Πεοιεχξμέμξσ: ΕΑΙΤΥ [ΕΜ9: ATLANTIS Group] http://www.cti.gr σγγοατείπ Η. Δμμαμξσηλίδηπ, Π. Ιαβάραληπ, Γ. Ιξύζαπ, Αθ. Μώοαληπ, Ε. Πξλιςξπξύλξσ http://www.atlantis-group.gr ΠΔΣΑ: ΟΣΑ Δπιυειοηριακή Νξημξρύμη [Bc1.1.3 ΑΝΑΠΣΤΞΖ] 28