Αποθήκες δεδομένων Εισαγωγή - Έννοιες Πασχάλης Θρήσκος PhD Λάρισα 2016-2017 pthriskos@mnec.gr
Ορισμοί Συστήματα επεξεργασίας συναλλαγών (OLTP) Αποθήκες δεδομένων.
OLTP - Χαρακτηριστικά Ένα σύστημα επεξεργασίας συναλλαγών (OLTP) χρησιμοποιείται για καθημερινές συναλλαγές (Οn-Line Transaction Processing) μια επιχείρησης. Τα συστήματα OLTP συνήθως σχεδιάζονται ανεξάρτητα. Η ανταλλαγή πληροφορίας είναι δύσκολη. Ένα σύστημα OLTP πρέπει να είναι σε συνεχή λειτουργία, να αντεπεξέρχεται αποτυχιών, να γίνονται συνεχείς βελτιώσεις-εξελίξεις Είναι συνήθως κατανεμημένο.
OLTP - Χαρακτηριστικά Η οργάνωση είναι συνήθως σε κανονικοποιημένη μορφή (3NF), το οποίο για επιχειρησιακά ερωτήματα είναι δυσνόητο σε εννοιολογικό επίπεδο (πχ πελάτης, λογαριασμός) Η ανάλυση των δεδομένων δεν είναι εύκολο να γίνει με τη χρήση της SQL, αν και έχουν αναπτυχθεί επεκτάσεις του συντακτικού που βοηθούν Η οργάνωση σε φυσικό (B-Trees) δεν ενδείκνυται όσο αφορά τους χρόνους απόκρισης σε επιχειρησιακά ερωτήματα
OLTP - Χαρακτηριστικά Τα συστήματα OLTP συνήθως σχεδιάζονται ανεξάρτητα. Η ανταλλαγή πληροφορίας είναι δύσκολη.
OLTP - Αρχιτεκτονική https://docs.oracle.com/cd/e11882_01/server.112/e25554/conc ept.htm
OLTP - Χαρακτηριστικά Κανόνες ACID Atomicity Consistency Isolation Durability Η οργάνωση γίνεται με βάσει το σχεσιακό μοντέλο Δημιουργούνται δείκτες σε πρωτεύοντα κλειδιά Κανονικοποίηση σε 3NF (Normal Form)
DW - Χαρακτηριστικά Μια αποθήκη δεδομένων (Data warehouse) είναι ένα αποθετήριο δεδομένων μιας επιχείρησης. Χρησιμοποιείται για την υποστήριξη έρευνας και υποστήριξης αποφάσεων (decision support) Ο όγκος των δεδομένων είναι μεγάλος Διατηρείται ιστορικότητα των δεδομένων
DW - Χαρακτηριστικά Μια αποθήκη δεδομένων (Data warehouse) οργανώνεται με διαφορετικό τρόπο. Μη κανονικοποιημένη σχεδίαση (3NF) Επιχειρησιακά ερωτήματα θα δημιουργούσαν μια υπερφόρτωση στο σύστημα Εξασφαλίζει ποιοτικά και συνεπή δεδομένα
DW - Χαρακτηριστικά Βοηθά τις επιχειρήσεις παρέχοντας πληροφορίες σε όλους τους συμμετέχοντες να πάρουν καλύτερες στρατηγικές αποφάσεις Εξεζητημένες αναλύσεις Αναφορές Προσωποποιημένη πληροφόρηση Διαχείριση επιχειρηματικής επίδοσης Υποβοηθούμενες αναφορές 10
Αναφορές «Μια Αποθήκη Δεδομένων είναι ένας πλήρης και συνεπής αποθηκευτικός χώρος όπου βάζουμε δεδομένα που συλλέγουμε από πολλές και ετερογενείς πηγές που στη συνέχεια διαθέτουμε στους χρήστες με τέτοιο τρόπο ώστε αυτοί να μπορέσουν να τα ερμηνεύσουν στο πλαίσιο των διαδικασιών και στόχων της επιχείρησης» -- Barry Devlin, IBM Consultant Ένα σύνολο δεδομένων που χρησιμοποιείται για την λήψη αποφάσεων σε ένα οργανισμό, με ηεματικό προσανατολισμένο. Τα δεδομένα, τα οποία κρατούνται σε βάθος χρόνου χωρίς να διαγράφονται. W.H. Inmon, Building the Data Warehouse, 1992
DW - Χαρακτηριστικά OLTP Data Warehouse ER Diagram Star Schema
DW - Χαρακτηριστικά Μια Αποθήκη Δεδομένων είναι ένα διαφορετικό σύστημα από το επιχειρησιακό σύστημα. Εγκαθίσταται σε διαφορετικό σύστημα αποθήκευσης (δίσκους ή χώρο στον δίσκο), Επιχειρησιακές ενημερώσεις δεν γίνονται απευθείας στο περιβάλλον της Αποθήκης Δεδομένων Δεν χρειάζονται μηχανισμοί διασφάλισης συναλλαγών, ανάκτησης δεδομένων, και μηχανισμοί ταυτόχρονης προσπέλασης Πρέπει να υποστηρίζει τις ακόλουθες δύο ενέργειες : Αρχικοποίηση της Αποθήκης Δεδομένων και Προσπέλαση των δεδομένων
Χαρακτηριστικά ενός DW Στοχευμένη πληροφορία Εναρμόνιση πληροφορίας Αποθήκη δεδομένων Αμετάβλητη πληροφορία Ιστορικότητα
Στοχευμένη πληροφορία Τα δεδομένα κατηγοριοποιούνται και αποθηκεύονται ανάλογα με την επιχειρησιακή διαδικασία η οποία τα δημιουργεί και όχι με την επιχειρησιακή χρήση τους OLTP εφαρμογές Επιχειρησιακή διαδικασία Κεφάλαιο Ασφάλειες Μετοχές Οικονομικά στοιχεία πελάτη Δάνεια Καταθέσεις
Εναρμόνιση πληροφορίας Η πληροφορία αποθηκεύεται σε ΈΝΑ και ΜΟΝΑΔΙΚΟ σημείο Καταθέσεις Λογαριασμοί Πελάτης Δάνεια Εφαρμογές OLTP Αποθήκη Δεδομένων
Αμετάβλητη πληροφορία Η πληροφορία σε μία Αποθήκη Δεδομένων συνήθως δεν ενημερώνεται και ποτέ δεν διαγράφεται OLAP Αποθήκη Δεδομένων Μεταφόρτωση Δεδομένων Εισαγωγή Ενημέρωση Διαγραφή Αναζήτηση Αναζήτηση
Ιστορικότητα Μια Αποθήκη Δεδομένων διατηρεί ιστορικότητα στα δεδομένα Ο ορίζοντας αναφοράς των δεδομένων είναι μεγαλύτερος από ότι σε ένα σύστημα OLTP : OLTP : τρέχοντα δεδομένα Αποθήκη δεδομένων: δίνει στα δεδομένα τη χροιά της ιστορίας (πχ., ιστορία 5-10 ετών) Τα δεδομένα της Αποθήκη Δεδομένων περιέχουν την έννοια του χρόνου είτε άμεσα είτε έμμεσα Τα δεδομένα αποθηκεύονται σε στιγμιότυπα Διατήρηση δεδομένων για άμεση επεξεργασία
Η Ολοκλήρωση πληροφορίας είναι δύσκολη Οι Αποθήκες Δεδομένων συνδυάζουν δεδομένα από πολλές και ετερογενείς πηγές, πχ ΣΣΒΔ, CSV, WebServices, Excel. E-Mail κτλ Τα δεδομένα πρέπει να μετατραπούν στην ίδια μορφή Η ολοκλήρωση δεδομένων (Data integration) αντιπροσωπεύει ~80% της προσπάθειας ενός έργου DW! Λόγοι για τους οποίους συμβαίνει αυτό : Μεταδεδομένα δεν υπάρχουν ή είναι ελλιπή Η ποιότητα των δεδομένων είναι συνήθως χαμηλή Missing or default values Πολλαπλές διαφορετικές αναφορές για το ίδιο πράγμα (ΤΕΙ Λαρ., ΤΕΙ ΛΑΡΙΣΑΣ, ΤΕΙ ΘΕΣΣΑΛΙΑΣ)
Αποθήκες Δεδομένων-Βάσεις Δεδομένων Βάσεις Δεδομένων (OLTP) Αποθήκες δεδομένων Εισαγωγές - Ενημερώσεις Πολλές μικρές συναλλαγές Mb - Gb δεδομένων Current snapshot Δείκτης σε πρωτεύων κλειδί. Πρωτογενή πληροφορία Πολλοί χρήστες (πχ επειχ. χρήστες) Αναζητήσεις Μακροσκελή ερωτήματα Gb - Tb δεδομένων Ιστορικότητα Προ-επεξεργασμένη πληροφορία Αρκετοί χρήστες (πχ., αναλυτές, διευθυντικά στελέχη)
Ορολογία Πηγές (Sources) Κάθε πηγή από την οποία η Αποθήκη Δεδομένων αντλεί δεδομένα. Ενδιάμεσος Χώρος Επεξεργασίας (Staging Area) Μια ΒΔ στην οποία εκτελούνται οι μετασχηματισμοί και ο καθαρισμός των δεδομένων πριν την φόρτωση στην Αποθήκη Δεδομένων Αποθήκη Δεδομένων (DW), Αγορές Δεδομένων (Data Marts) Τα συστήματα που αποθηκεύονται τα δεδομένα που παρέχονται προς τους χρήστες. Μητρώο Μετα-Δεδομένων (Metadata registry) Το υποσύστημα αποθήκευσης πληροφορίας σχετικά με τη δομή και λειτουργία όλου του συστήματος. 21
Ορολογία ETL (Extract-Transform-Load) εφαρμογές: Εφαρμογές που εκτελούν τις διαδικασίες εξαγωγής, μεταφοράς, μετασχηματισμού, καθαρισμού και φόρτωσης των δεδομένων από τις πηγές στην Αποθήκη Δεδομένων. Εφαρμογές Ανάλυσης: Εφαρμογές παραγωγής αναφορών, OLAP, DSS, Data Mining 22
Αρχιτεκτονική Αποθήκης Δεδομένων Επιχειρησιακή Αποθήκη Δεδομένων Ομογενοποίηση πληροφορίας Αποθήκη Δεδομένων Επιχειρησιακής Μονάδας Πηγές δεδομένων Χρήστες
Ενημέρωση δεδομένων Αποθήκη Δεδομένων Μεταφόρτωση Λειτουργική Βάση Δεδομένων Ανανέωση Ανανέωση Ανανέωση
Επιχειρησιακή Αποθήκη Δεδομένων (Data Warehouse) Υλοποίηση μεγάλης κλίμακας Το πεδίο εφαρμογής όλες οι επιχειρηματικές διαδικασίες Τα δεδομένα προέρχονται από όλη την επιχείρηση Σταδιακή ανάπτυξη Η σημείο αναφοράς για επιχειρησιακά δεδομένα Μοναδικά σημείο αναφοράς για μεταφόρτωση δεδομένων σε μικρότερες και στοχευμένες αποθήκες δεδομένων
Αγορές Δεδομένων - Data Marts Αποθήκη Δεδομένων Αγορά Δεδομένων Πεδίο εφαρμογής Επιχείρηση Τμήμα Αναφέρεται Πολλαπλή πληροφορία Στοχευόμενη πληροφορία Προέλευση Δεδομένων Πολλές πηγές Λίγες πηγές Μέγεθος 100GB ~ 1 TB < 100GB Χρόνος υλοποίησης Μήνες ~ Χρόνια Μήνες
Data Marts Δύο διαφορετικές προσεγγίσεις Αγορά Δεδομένων (Data mart) : είναι μια Αποθήκη Δεδομένων, αλλά μικρότερη και πιο εστιασμένη Μέθοδος Πάνω-Κάτω (Top-Down) Αρχικά υλοποιούμε μια ενοποιημένη Αποθήκη Δεδομένων για όλη την επιχείρηση με όλα τα δεδομένα που έχουμε στη διάθεσή μας. Στη συνέχεια υλοποιούμε τα data marts με ειδικευμένα υποσύνολα της επιχειρησιακής Αποθήκης Δεδομένων containing specialized subsets of the data from the warehouse Μέθοδο Κάτω-Πάνω (Bottom-up) Αρχικά υλοποιούμε μια Αγορά Δεδομένων για να δώσουμε άμεση και γρήγορη λύση σε απαιτήσεις για υλοποίηση Στην συνέχεια υλοποιούμε ακόμη μια νέα Αγορά Δεδομένων, μετά ακόμη μια Νέα Αγορά, κ.ο.κ Η Επιχειρησιακή Αποθήκη Δεδομένων είναι η ένωση όλων των Αγορών Δεδομένων Στην πράξη δεν υπάρχει μεγάλη διαφορά μεταξύ των δύο προσεγγίσεων
Οι Αποθήκες Δεδομένων χρησιμοποιούνται για Πάγιες αναφορές (Reporting) Εύρεση σχέσεων και συσχετισμών (analytics) Εξόρυξη γνώσης (Data mining) Παραδείγματα : Τράπεζες : Πιστωτικοί κίνδυνοι Ασφαλιστικές εταιρίες: Ανίχνευση απάτης Ερευνητική δουλειά
Αρχιτεκτονική Αποθήκης Δεδομένων Βασική σχεδίαση https://docs.oracle.com/cd/e11882_01/server.112/e25554/concept.htm
Αρχιτεκτονική Αποθήκης Δεδομένων Ενδιάμεσος αποθηκευτικό χώρος https://docs.oracle.com/cd/e11882_01/server.112/e25554/concept.htm
Αρχιτεκτονική Αποθήκης Δεδομένων Ενδιάμεσος αποθηκευτικό χώρος και Data Marts (Φάση ΙΙ) https://docs.oracle.com/cd/e11882_01/server.112/e25554/concept.htm
Εξαγωγή, Μετασχηματισμός, Μεταφόρτωση (ETL) Σε μια διαδικασία ETL κάνουμε αντιστοίχηση μεταξύ των σχημάτων του OLTP και του DW Ή διαδικασία εξάγει πληροφορία από διάφορες πηγές, την μετασχηματίζει βάσει κανόνων και την μεταφορτώνει στην Αποθήκη Δεδομένων : εξαγωγή εξάγει πληροφορία από διάφορες πηγές μετασχηματισμός ένωση, συνάθροιση, μετατροπή πληροφορίας ομογενοποίηση εύρεση και συγχώνευση πληροφορίας από πολλές πηγές οι οποίες αναφέρονται εννοιολογικά στο ίδιο αντικείμενο διαχείριση ποιότητας έλεγχος τιμών, έλεγχος περιορισμών, επιβολή απαιτήσεων κτλ.
Οι εφαρμογές που αναπτύσσονται σε ένα περιβάλλον Αποθήκες Δεδομένων είναι : Διαχείρισης της Πληροφορίας (Data Processing) supports querying, basic statistical analysis, and reporting using crosstabs, tables, charts and graphs Αναλυτικής Επεξεργασίας (Analytical processing) Πολυδιάστατη ανάλυση των δεδομένων της Αποθήκης Δεδομένων Βασικέ λειτουργίες OLAP Εξόρυξη Γνώσης ανακάλυψη συγκαλυμμένων πρότυπα υποστήριξη εξεύρεσης συσχετισμών (associations), δημιουργία μοντέλων γνώσης, μοντέλα κατηγοριοποίησης και πρόβλεψης, Παρουσίαση αποτελεσμάτων με εργαλεία οπτικοποίησης
Περιοχές Εφαρμογών Ιατρική Κλινικές δοκιμές/μελέτες Μετατροπή σε διεθνώς αναγνωρισμένα πρότυπα CDISC SDTM and ADaM Ασφάλεια σε ευαίσθητα ιατρικά δεδομένα Ανάλυση συμπεριφοράς ασθενή, ώστε να ακολουθήσει την πιο ενδεδειγμένη θεραπεία στο σπίτι Πρόβλεψη πληθυσμιακού κινδύνου σε αρρώστιες
Περιοχές Εφαρμογών Τηλεπικοινωνίες Τεράστιος όγκος δεδομένων από κλήσεις Μέτρηση ικανοποίησης πελατών Πρόβλεψη φυγής ενός πελάτη σε άλλη εταιρεία Ανάλυση συμπεριφοράς πελάτη και στοχευόμενη διαφημιστική εκστρατείας Μέτρηση αποδοτικότητας μιας διαφημιστικής εκστρατείας Εκτίμηση καταναλωτικής συμπεριφοράς ενός πελάτη Ανίχνευση προβλημάτων στο δίκτυο (αρ. επιτυχών κλήσεων/αρ. αποτυχημένων κλήσεων
Συστήματα OLAP Υποστηρίζουν ερωτήματα OLAP Αποθηκεύουν τα δεδομένα σε πολυδιάστατους κύβους Εξυπηρετητές (Servers) MOLAP Τα δεδομένα αποθηκεύονται σε δομές δεδομένων τύπου πινάκων πχ. Hyperion Essbase Εξυπηρετητές (Servers) ROLAP Τα δεδομένα αποθηκεύονται σε σχεσιακούς πίνακες πχ. Microstrategy, IBM Informix Υβριδικοί OLAP (HOLAP) Εξυπηρετητές Τα δεδομένα κατανέμονται ανάμεσα σε σχεσιακούς πίνακες και ειδικά αποθηκευτικά μέσα πχ. Cognos, Microsoft Analysis Services
Παράδειγμα DW Πόσα ποδήλατα πουλήσαμε το 2005;
Παράδειγμα DW Ποιος αγοράζει περισσότερα ποδήλατα: Οι παντρεμένες ή οι ανύπαντρες γυναίκες;
Παράδειγμα DW Ποια είναι τα προϊόντα που πούλησαν περισσότερο;
Διασπώμενες ΣΣΒΔ (Federared Databases) Μια διαφορετική προσέγγιση από τις Αποθήκες Δεδομένων Ενώ σε μια αποθήκη δεδομένων Δημιουργούμε ένα αντίγραφο των δεδομένων Εκτελούμε ερωτήματα στο αντίγραφο Στις Διασπώμενες ΣΣΒΔ Ανακαλούμε από τα Πηγαία ΣΣΒΔ (Source RDBMs) μόνο τα δεδομένα που χρειάζονται για να απαντήσουμε στα ερωτήματα Πρότυπο του Τεμπέλη (lazy) σε σχέση με τον Ζηλωτή (eager) Εξαγωγή Ερώτημα Ερώτημα Αποτέλεσμα Αποτέλεσμα Πηγές Δεδομένων Data Warehouse Μεσολαβητής Federated Database Πηγές Δεδομένων
Διαφορές ανάμεσα σε Αποθήκες Δεδομένων και Διασπώμενες ΣΣΒΔ Πλεονεκτήματα των Δ-ΣΣΒΔ: Δεν υπάρχουν περιττά αντίγραφα των δεδομένων Τα ερωτήματα ανακαλούν πραγματικά δεδομένα Εύκολη πολιτική ασφαλείας Μειονεκτήματα των Δ-ΣΣΒΔ : Επιχειρησιακά ερωτήματα που έχουν σχέση με Analysis queries δημιουργούν επιπρόσθετο φορτίο στις ΣΣΒΔ Η βελτιστοποίηση των ερωτημάτων είναι εξαιρετικά δύσκολη Ιστορικά δεδομένα μπορεί να μην υπάρχουν Οι αποθήκες δεδομένων είναι πιο διαδεδομένες Καλύτερη απόκριση Μικρή πολυπλοκότητα Είναι αποδεκτό να έχουμε δεδομένα που δεν αντανακλούν την τρέχουσα κατάσταση του οργανισμού
Κλιμάκωση Αποθηκών Δεδομένων Ταχύτατη άφιξη και ταχύτατη επεξεργασία Υψηλό κόστος αποθήκευσης ΤΑΧΥΤΗΤΑ ΟΓΚΟΣ ΠΟΙΚΙΛΙΑ ΑΠΟΘΗΚΗ ΔΕΔΟΜΕΝΩΝ Δυνατότητα να επεξεργαστούμε αδόμητα δεδομένα
Αποθήκες Δεδομένων-Βάσεις Δεδομένων Λύνουν διαφορετικά προβλήματα Δομή Μέγεθος Βελτιστοποίηση απόδοσης Διαφορετικές τεχνολογίες
Διαφορές OLTP - DW Πότε δόθηκε η παραγγελία Πόσα κομμάτια υπάρχουν στην αποθήκη Έχει ο πελάτης Χ απλήρωτους λογαριασμούς; Ποιοί παράγοντες επηρεάζουν τον χρόνο διαχείρισης μιας παραγγελίας; Πως επηρέασε το κέρδος της επιχείρησης το κάθε προϊόν; Ποιοι οι χρόνοι εξυπηρέτησης των παραγγελιών από τους προμηθευτές;
Ροή εργασιών (Workflow) ενός DW έργου The DW Lifecycle Toolkit
Διοίκηση & Διαχείριση DW έργου Γιατί το χρειαζόμαστε Τι προβλήματα θα λύσει Τι θα κάνουμε (Work breakdown structure) Ποιοι οι κίνδυνοι και πως θα τους διαχειριστούμε Πόσο θα στοιχίσει και πόσο θα διαρκέσει Πόσοι πόροι χρειάζονται
Διοίκηση & Διαχείριση DW έργου Σχεδιασμός Σκοπός Πόροι Ανάλυση Οργάνωση Προγραμματισμός Δραστηριοτήτων Χρονική διάρκεια Ανάλυση Οργάνωση Έλεγχος Σύγκριση, επανεξέταση, ενέργεια
Διοίκηση & Διαχείριση DW έργου Ο σωστός σχεδιασμός θα μας βοηθήσει να τελειώσουμε το έργο στην ώρα του Ο λανθασμένος σχεδιασμός θα οδηγήσει σε απογοήτευση προς το τέλος του έργου, και τελικά σε μη αποδεκτά παραδοτέα
Παράγοντες επιτυχίας ενός έργου DW Εμπιστοσύνη και υποστήριξη από τα ανώτερα διευθυντικά στελέχη Επιχειρηματική κουλτούρα Συνεργασία με ΙΤ
Συμμετέχοντες DBA της Αποθήκης Δεδομένων Υλοποιήτης OLAP Υλοποίητης ETL Υλοποιητής εργαλείων διαχείρισης DW/BI BI
Αλήθειες Έργα που δεν αντιλαμβάνονται την σπουδαιότητα της σωστής συλλογής δεδομένων 20% από αυτά αποτυγχάνει 50% από αυτά έχει μεγάλες καθυστερήσεις και είναι εκτός προϋπολογισμού. Συνήθως ένα έργο 3Μ τελικά κοστίζει ~5.9Μ Οι 3 από τις 10 κύριες αιτίες για τις οποίες αποτυγχάνουν τα έργα DW είναι : Αλλαγές στις απαιτήσεις Ανεπαρκής καταγραφή των απαιτήσεων Μειωμένη συμμετοχή των χρηστών του συστήματος 24-40% του συνολικού κόστος του έργου ξοδεύεται σε λανθασμένη συλλογή απαιτήσεων
Η προσέγγιση Big Bang
Η προσέγγιση Big Bang Ανάλυση των επιχειρησιακών απαιτήσεων Ανάπτυξη της Αποθήκης Δεδομένων Ανάπτυξη Αγορών Δεδομένων ISQS 6339, Data Mgmt & BI, Zhangxi Lin
Επαναληπτική Προσέγγιση στην Ανάπτυξη Αποθηκών Δεδομένων Πολλές επαναλήψεις Μικρές υλοποιήσεις Επικύρωση Επανάληψη Στρατηγική Ορισμοί Ανάλυση Σχεδίαση Επανάληψη Ανάπτυξη Ενσωμάτωση ISQS 6339, Data Mgmt & BI, Zhangxi Lin 54
Επαναληπτική Προσέγγιση στην Ανάπτυξη Αποθηκών Δεδομένων Πλεονεκτήματα Μικρά διαχειρίσημα παραδοτέα Επεκτάσιμη και εύκολα κλιμακούμενη αρχιτεκτονική Υποστηρίζει τις ανάγκες επιχειρησιακές ανάγκες με μεγάλη ευκολίας Δίνει γρήγορα απτά αποτελέσματα Επιτρέπει την ανάπτυξη της Επιχειρησιακής Αποθήκης Δεδομένων να δομηθεί κλιμακωτά, βασιζόμενη σε μικρές θεματικές περιοχές κάθε φορά
Πλεονεκτήματα Έχουμε παραδοτέα (λογισμικό) σχετικά γρήγορα και στις πρώτες φάσεις του έργου. Τα κόστη επανασχεδιασμού είναι μικρά. Ο έλεγχος και απεσφαλμάτωση γίνονται πιο εύκολα όταν έχουμε μικρά στάδια ανάπτυξης. Ο πελάτης μπορεί να σχολιάσει και να εντοπίσει λάθη. Το κόστος αρχικής παράδοσης είναι μικρό. Μειονεκτήματα Χρειάζεται καλό σχεδιασμό. Χρειάζεται ένα καθαρό και ολοκληρωμένο μοντέλο όλου του συστήματος, πριν αρχίσει η οριστούν τα στάδια ανάπτυξης αρχίσει η τμηματική κατασκευήneeds a clear and complete definition of the whole system before it can be broken down and built incrementally. Το κόστος είναι μεγαλύτερο από την προσέγγιση «Big Bang» Prepared By: RiantSoft a Software Development Company
Προσέγγιση Πάνω-Προς-Κάτω Ανάλυση επιχειρησιακών απαιτήσεων Ανάπτυξη μοντέλου σχεδίασης Προσδιορισμός θεματικών προτεραιοτήτων Ανάπτυξη μοντέλου θεματικής προτεραιότητας Συσχέτιση με διαθέσιμα δεδομένα Ανάλυση πηγών δεδομένων Υλοποίηση τεχνικού μέρους Ανάλυση πηγών δεδομένων Υλοποίηση μεταδεδομένων και ETL για την θεματική προτεραιότητα Δημιουργία και ενημέρωση της θεματικής προτεραιότητας
Προσέγγιση Πάνω-Προς-Κάτω Πλεονεκτήματα Σχετικά γρήγορη υλοποίηση. Η ανάλυση των επιχειρησιακών αναγκών και μια η αρχική υλοποίηση δεν παίρνουν πάνων από έξι με επτά μήνες. Χαμηλός κίνδυνος αποτυχίας διότι δεν η ανάλυση δεν γίνεται για όλο το σύστημα όπως με την προσέγγιση Big Bang Δίνει έμφαση σε αδρές (high level) Εστιάζει στα δεδομένα και όχι στην επιχειρησιακή ανάγκη Επιτυγχάνει συνέργια ανάμεσα σε επιχειρησιακούς τομείς Μειονεκτήματα Η επένδυση θα αργήσει να δώσει γρήγορα απτά αποτελέσματα Δύσκολο να οριστεί το πεδίο εφαρμογής, όταν η επιχείρηση επεκτείνεται γεωγραφικά σε μεγάλο μέρος Είναι η κατάλληλη λύση μόνο στην περίπτωση που χρειαζόμαστε δια-τμηματικές αναφορές
Προσέγγιση Κάτω-Προς-Πάνω Ορίζουμε πεδίο εφαρμογής του DW και αναλύουμε τις πηγές δεδομένων Ορίζουμε το ποσοστό υλοποίησης για κάθε παραδοτέο, βασιζόμενοι στις επιχειρησιακές ανάγκες και το μέγεθος των δεδομένων Υλοποίηση τεχνικού μέρους Ορισμός μεταδεδομένων και υλοποίηση ETL Μεταφόρτωση δεδομένων που απαιτείται για το συγκεκριμένο ποσοστό της επιχειρησιακής ΑΔ
Προσέγγιση Κάτω-Προς-Πάνω Πλεονεκτήματα Το Τμήμα Μηχανοργάνωσης ηγείται της όλης προσπάθειας γιατί εστιάζει στα δεδομένα και όχι στην επιχειρησιακή ανάγκη It is easier to get IT buy-in for this approach because it is focused on IT. Μειονεκτήματα Επειδή το μοντέλο του DW είναι προσαρμοσμένο στις πηγές των δεδομένων, τυχόν αλλαγές δεν μπορούν να υλοποιηθούν γρήγορα. Το Τμήμα Μηχανοργάνωσης δεν μαθαίνει γρήγορα για αλλαγές σε επιχειρηματικές διαδικασίες με αποτέλεσμα η ΑΔ να μην καλύπτει τις επιχειρησιακές ανάγκες κατά την παράδοση Ως μεθοδολογία ανάπτυξης χαρακτηρίζεται από τον επανασχεδιασμό που χρειάζεται μετά από κάθε παραδοτέο.
Φάσεις Σχεδίασης μιας Αποθήκης Δεδομένων Φυσικού μοντέλο Μοντέλο διαστάσεων Επιχειρησιακού μοντέλο 61 61
Επιχειρησιακού μοντέλο Καταγραφή των κυρίων επιχειρηματικών απαιτήσεων Ταυτοποίηση στρατηγικών δεικτών επίδοσης για τις παραπάνω απαιτήσεις Εύρεση των επιχειρηματικών διαδικασιών που υλοποιούν τις αναφερθείσες απαιτήσεις Μέτρηση των αλλαγών στα αποτελέσματος των δεικτών επίδοσης λόγω καλύτερης και άμεσης πληροφόρισης Ανάλυση των απαιτήσεων με μια τεχνική που ονομάζεται μοντέλο διαστάσεων
Συλλογή απαιτήσεων Εκμάθηση της σωστής επιχειρηματικής ορολογίας Παραμονή μέσα στα όρια του έργου Ενεργή συμμετοχή των χρηστών του συστήματος στην καταγραφή Δίνουμε στους χρήστες τα εργαλεία που χρειάζονται και όχι αυτά που θέλουν Καταγραφή των στρατηγικών δεικτών επίδοσης της επιχείρησης και των μεταδεδομένων Καταγραφή των επιχειρησιακών διαδικασιών και των μεταδεδομένων
Μοντέλο Διαστάσεων Μοντέλο Διαστάσεων (Dimensional Modeling) είναι μια τεχνική ειδικά για Αποθήκες Δεδομένων Βασίζεται στην θεώρηση των δεδομένων μέσω ενός πολυδιάστατου μοντέλου δεδομένων με βασικά στοιχεία πίνακες πολυδιάστατων δεδομένων, και πίνακες διαστάσεων. Χρησιμοποιεί το σχεσιακό μοντέλο δεδομένων με ορισμένες αλλαγές ή περιορισμούς. Η βασική σχεδιαστική έννοια είναι η χρήση ενός πίνακα που ονομάζεται πίνακας τιμών (Fact Table) Ένα σύνολο μικρότερων πινάκων που ονομάζονται πίνακες διαστάσεων (Dimensions)
Πίνακας Διάστασης (Dimension table) : Ο πίνακας που περιέχει πληροφορία σχετική με μια διάσταση. Περιέχει ένα τεχνητό κλειδί και από μία στήλη για κάθε επίπεδο της διάστασης (πιθανόν και κάποιες στήλες με επιπλέον χαρακτηριστικά των επιπέδων). Πίνακας Δεδομένων (Fact table) : Ο πίνακας που υλοποιεί τον υπό μοντελοποίηση κύβο. Κάθε εγγραφή του πίνακα αντιστοιχεί σε ένα κελί του κύβου Για κάθε διάσταση έχει και ένα εξωτερικό κλειδί στον αντίστοιχο πίνακα και για κάθε μέτρο και μια αντίστοιχη στήλη. Το πρωτεύον κλειδί είναι ο συνδυασμός των κλειδιών των διαστάσεων (οι συντεταγμένες του κελιού).
Τάσεις νέες τεχνολογίες
In Memory Databases Σε ένα Σύστημα Διαχείρισης Βάσης Δεδομένων Κύριας Μνήμης (ΣΔΒΔ-ΚΜ) (MMDB-Main Memory DataBase) όλα τα δεδομένα αποθηκεύονται στην κύρια μνήμη του υπολογιστή Ο χρόνος προσπέλασης είναι σημαντικά μικρότερος για την κύρια μνήμη Η διάταξη των δεδομένων είναι σημαντικότερη για τους δίσκους από ότι για την κύρια μνήμη, μια και η διαδοχική προσπέλαση (sequential access) είναι πιο γρήγορη από την τυχαία προσπέλαση (random access) Η κύρια μνήμη είναι ευθέως προσπελάσιμη από την επεξεργαστή. Οι δίσκοι δεν είναι, και αυτό προσθέτει επιπλέον χρόνο στην προσπέλαση των δεδομένων
In Memory Databases Σύμφωνα με μια αναφορά της εταιρείας Terradata (http://ww.terradata.com/white-papers/teradata-intelligent-memory), μόλις το 20% των δεδομένων μιας ΒΔ αφορούν στο 92% των συνολικών προσπελάσεων. Αυτό μας οδηγεί στο συμπέρασμα, ότι αν κρατήσουμε μόνο το 1/5 των συνολικών δεδομένων μας στη μνήμη, είναι αρκετό ώστε να ανταποκριθούμε σχεδόν στο σύνολο των αιτημάτων.
In Memory Databases http://www.ephlux.com/wp-content/uploads/2013/10/memory.jpg
Λίμνες Δεδομένων (Data Lakes) Μεθοδολογία αποθήκευσης δεδομένων σε ένα σύστημα «Κουβάς» για όλα τα επιχειρησιακά δεδομένα Δεδομένα σε ΣΣΒΔ Δεδομένα σε ημι-δομημένα αρχεία (csv, xml, json) Δεδομένα σε αδόμητα αρχεία (ηλ. ταχυδρομείο, PDF) Αρχεία σε δυαδική μορφή (εικόνες, ήχος) Κεντρική ασφάλεια Το περιεχόμενο μπορεί να ομογενοποιηθεί και να εμπλουτιστεί
Λίμνες Δεδομένων (Data Lakes) Εύκολη κλιμάκωση Επεξεργασία σε δεδομένα πραγματικού χρόνου Kafka, Flume Επεξεργασία στο σύνολο των δεδομένων με τη χρήση SQL Impala, Hive Προχωρημένες τεχνικές ανάλυσης στο σύνολο των δεδομένων
Λίμνες Δεδομένων Δομή http://www.searchtechnologies.com/images/blog-graphics/data-lake-architecture.jpg