Βέλτιστες Πρακτικές Διασφάλισης Ποιότητας. Δεδομένων. Πώς προσεγγίζουμε την Ποιότητα των Δδ Δεδομένων

Transcript

1 Διοίκηση Ποιότητας Επιχειρηματικών Δεδομένων Enterprise Data Quality Management (EDQM)

2 Περιεχόμενα Ο επιχειρησιακός αντίκτυπος της Ποιότητας των Δεδομένων Βέλτιστες Πρακτικές Διασφάλισης Ποιότητας Δεδομένων Πώς προσεγγίζουμε την Ποιότητα των Δδ Δεδομένων

3 Ο επιχειρησιακός αντίκτυπος της Ποιότητας των Δεδομένων

4 Τι πιέζει για ποιότητα δεδομένων; Data Warehouses και Data Marts Μηχανογραφικές Εφαρμογές Συστήματα Enterprise Resource Planning (ERP) Εφαρμογές Ηλεκτρονικού Επιχειρείν Συμμόρφωση σε Οδηγίες (Ελληνικών ή Ευρωπαϊκών Αρχών κ.ά.) )

5 Η Επιχειρησιακή Ολοκλήρωση αποκαλύπτει τα προβλήματα ποιότητας Συστήματα ERP Ελλιπή, Επαναλαμβανόμενα, Χωρίς ολοκλήρωση Δεδομένα Ενοποιημένα Δεδομένα Καταναλωτής Πληροφοριών Νέες επιχειρησιακές απαιτήσεις στα ενοποιημένα δεδομένα

6 Οι μεγαλύτερες προκλήσεις στην υλοποίηση Data Warehouse

7 Τυπικά προβλήματα ποιότητας Μη αποδεκτές τιμές μς Φτωχή δομή Πινάκων δεδομένων Επαναλαμβανόμενα πεδία Επαναλαμβανόμενα Κλειδιά Ελλείψεις δεδομένων Λανθασμένοι Υπολογισμοί Λανθασμένες σχέσεις Ημερομηνιών Καταστρατήγηση η Επιχειρηματικών Κανόνων Λανθασμένος τύπος πεδίου Επαναλήψεις Ονομάτων & Διευθύνσεων Ορφανά Δεδομένα Λανθασμένοι συσχετισμοί Πινάκων Μη αποδεκτό εύρος τιμών Έλλειψη συγχρονισμού Βάσεων Δεδομένων

8 Μετρώντας το κόστος χαμηλής ποιότητας ΑΞΙΑ ΕΦΑΡΜΟΓΗ ΥΛΟΠΟΙΗΣΗ- ΣΧΕΔΙΑΣΜΟΣ ΑΠΟΚΤΗΣΗ ΕΓΚΑΤΑΛΕΙΨΗ ΚΟΣΤΟΣ ΣΥΝΤΗΡΗΣΗ

9 Το κόστος έλλειψης Ποιότητας Δεδομένων Συνεχείς αναδιοργανώσεις αρχείων Πρόστιμα σχετικά με την ποιότητα των δεδομένων Προσαρμογές, αλλαγές, επανυπολογισμοί Επαναλαμβανόμενα αρχεία σαν αποτέλεσμα της έλλειψης εμπιστοσύνης στα επιχειρησιακά δεδομένα Καθυστερημένα έργα υλοποίησης Έλλειψη εμπιστοσύνης χρηστών Επιχειρησιακές αποφάσεις βασισμένες σε χαμηλής ποιότητας δεδομένα δδ

10 Οι προκλήσεις Πώς εντοπίζουμε τα προβλήματα; ; Πώς αξιολογούμε τα προβλήματα; Ποιά προβλήματα να διορθώσουμε; Πώς και πού να διορθώσουμε τα προβλήματα; ; Πώς να υλοποιήσουμε μια συνεχή διαδικασία ώστε να έχουμε ποιοτικά δδ δεδομένα; Πώς να ενεργοποιήσουμε τελικούς χρήστες στην όλη διαδικασία;

11 Μεγάλη Αμερικανική χρηματιστηριακή επιχείρηση Το επιχειρηματικό πρόβλημα: Απειλή για πρόστιμα από νομοθεσία Χρειάζονταν μια μέθοδο που θα εξασφάλιζε ότι η μεταφορά δεδομένων θα ήταν συμβατή με τους υπάρχοντες επιχειρηματικούς κανόνες Ήθελαν επιχειρησιακές διαδικασίες για πιστοποίηση της ποιότητας των δεδομένων

12 Μεγάλος κατασκευαστής Η/Υ Το επιχειρηματικό πρόβλημα: Αναξιόπιστα δεδομένα επίδοσης προσωπικού Ήθελαν μια διαδικασία αναφοράς των επιπέδων ποιότητας στην πηγή πληροφοριών ρ (data mart) του ανθρώπινου δυναμικού Ήθελαν διαδικασία εξασφάλισης ποιότητας δεδομένων θυγατρικών κατά τη μεταφορά τους στην ενοποιημένη βάση

13 Γαλλική εταιρεία Χημικών Το επιχειρηματικό πρόβλημα : Σύνθετη και ακριβής λειτουργία μετάβασης δεδομένων Χρειάζονταν μια ευκολότερη μεθοδολογία ελέγχου, προετοιμασίας και μετάβασης δεδομένων στο νέο σύστημα ERP Ήθελαν μια διαδικασία αναφοράς στις επιχειρηματικές μονάδες σχετικά με την εξέλιξη της ποιότητας των δεδομένων τους Ήθελαν να ελέγχουν την ποιότητα των δεδομένων στη νέα βάση του ERP

14 Ευρωπαϊκή Πετρελαϊκή Εταιρεία Το επιχειρηματικό πρόβλημα : Τα παγκόσμια αποθέματα πετρελαίου μειώνονται συνεχώς Ήθελε μια μέθοδο ελέγχου και καταγραφής της ποιότητας των δεδομένων που παράγει ο εξοπλισμός δοκιμών των γεωτρυπάνων Η διαδικασία ελέγχου θα έπρεπε να μπορεί να επαναληφθεί σε δεκάδες παρόμοιες επιχειρήσεις

15 Αμερικανικός Ασφαλιστικός Οργανισμός Το επιχειρηματικό πρόβλημα : Ήθελαν να εξασφαλίσουν συγκριτικό πλεονέκτημα μέσω ενεργειών μάρκετινγκ έμφασης πελατών Ήθελαν μια μέθοδο ελέγχου των δεδομένων σε σημεία κλειδιά κατά την ενοποίηση του αρχείου πελατών Ήθελαν μια διαδικασία συνεχούς ςμέτρησης ης της ποιότητας στην βάση δεδομένων των πελατών Ήθελαν μια μέθοδο αναφοράς στις πηγές των πρωτογενών δεδομένων σχετικά με την ποιότητα των δεδομένων που στέλνουν

16 Βέλτιστες Πρακτικές Διασφάλισης Ποιότητας Δεδομένων

17 Πώς προσεγγίζουμε την ποιότητα; Η Ποιότητα Δεδομένων αυξάνει την αξία του Οργανισμού Απαιτείται συνεργασία στελεχών και μηχανογράφων Η αρχή να γίνει με μια ελάχιστη αξιολόγηση Ιεράρχηση της επένδυσης σε ποιότητα δεδομένων Η τελική επιτυχία απαιτεί: Υλοποίηση μια επαναλαμβανόμενης διαδικασίας Συνεχής έλεγχος αποτελεσμάτων Προσοχή στους επιχειρηματικούς κανόνες

18 Υλοποίηση της Διοίκησης Ποιότητας Δεδομένων Χρηματιστηριακή Επιχείρηση Κατασκευαστής Η/Υ Εταιρεία Χημικών Έλεγχος Καταγραφή Πιστοποίηση Πετρελαϊκή Εταιρεία Ασφαλιστικός Οργανισμός

19 Έλεγχος Ποιότητας Δεδομένων

20 Μεθοδολογία ελέγχου Ποιότητας Δεδομένων Επίπεδο 0: Τιμές πεδίων Επίπεδο 1: Πληρότητα & Εγκυρότητα Επίπεδο 2: Δομική Ακεραιότητα Επίπεδο 3: Επιχειρηματικοί Κανόνες Επίπεδο 4: Κανόνες Μετατροπής

21 Επίπεδο 0: Τιμές πεδίων Επίπεδο 0 Τιμές πεδίων Αποτύπωση των επαναλήψεων των διαφορετικών τιμών ανά πεδίο Αξιολόγηση της επιχειρηματικής εγκυρότητας των τιμών αυτών Προσεγγίζουμε την ανάλυση του Επιπέδου 1 αντίστοιχα

22 Επίπεδο 0: Τιμές πεδίων Παράδειγμα: Δεδομένα Αγροτικών παραγώγων PRODUCT NAME RECORD COUNT 106 TEXTURED SOY FLOUR 86 CANOLA OIL 77 CORN OIL 68 PEANUT OIL 62 SOY CLEAR FRY OIL 28 COTTONSEED SALAD OIL 19 HIGH OLEIC SUNFLOWER OIL 14 ########################### 13 SUNFLOWER OIL 11

23 Επίπεδο 1: Πληρότητα & Εγκυρότητα Μη καταχωρημένα πεδία Άκυρες τιμές Άκυρες περιοχές τιμών (π.χ. τιμή 7 σε επιτρεπόμενο εύρος τιμών 0-1) Επίπεδο 1 Πληρότητα & Εγκυρότητα Λανθασμένος τύπος πεδίου (π.χ. Χαρακτήρες σε αριθμητικά πεδία)

24 Επίπεδο 1: Μη καταχωρημένα πεδία PRODUCT NAME TEXTURED SOY FLOUR CANOLA OIL CORN OIL PEANUT OIL SOY CLEAR FRY OIL COTTONSEED SALAD OIL HIGH OLEIC SUNFLOWER OIL ########################## SUNFLOWER OIL Κενά Άδεια πεδία Τιμές εξ ορισμού

25 Επίπεδο 1: Άκυρες τιμές Αποδεκτές Τιμές: PRODUCT NAME TEXTURED SOY FLOUR CANOLA OIL CORN OIL PEANUT OIL SOY CLEAR FRY OIL COTTONSEED SALAD OIL HIGH OLEIC SUNFLOWER OIL SUNFLOWER OIL Canola Oil Corn Oil Peanut Oil Soy Oil Soy Flour Cottonseed Oil Sunflower Oil

26 Επίπεδο 2: Δομική Ακεραιότητα Επαναλαμβανόμενα κλειδιά Πολλαπλοί ορισμοί πεδίων (π.χ. αλλού Α/Γ, αλλού M/F, αλλού 0/1) Ορφανά Δεδομένα (π.χ. εγγραφές λογιστικής χωρίς λογαριασμό στο λογιστικό σχέδιο) Επίπεδο 2 Δομική Ακεραιότητα Περιορισμοί συχετισμών πινάκων (π.χ. κάθε παραγγελία ανήκει σε ένα μόνο πελάτη)

27 Επίπεδο 2: Επαναλαμβανόμενα κλειδιά PRODUCT ID PRODUCT NAME CANOLA OIL SUNFLOWER OIL CORN OIL SOY OIL SOY FLOUR PEANUT OIL PEANUT OIL CANOLA OIL

28 Επίπεδο 3: Επιχειρηματικοί Κανόνες Άτοποι επιχειρηματικοί συσχετισμοί (π.χ. λογιστικές εγγραφές σε πρωτοβάθμιους λογαριασμούς ενώ υπάρχουν κατώτερες βαθμίδες) Λανθασμένες σχέσεις ημερομηνιών Επίπεδο 3 Επιχειρηματικοί Κανόνες Λανθασμένοι υπολογισμοί (π.χ. ποσότητα x τιμή αξία) Έλλειψη συγχρονισμού ανάμεσα στις βάσεις δεδομένων (π.χ. τελευταία ενημέρωση πελατών Τετάρτη, λογιστικής Παρασκευή)

29 Επίπεδο 3: Λανθασμένες σχέσεις ημερομηνιών PRODUCT ID PACKAGE DATE SHIP DATE JUN JUN MAY MAY JUN JUN APR MAR APR APR MAR APR MAR APR MAR MAR-98

30 Επίπεδο 4: Κανόνες Μετατροπής Απαιτήσεις βάσης δεδομένων προορισμού Λογική μετασχηματισμού Αντιστοιχίσεις δεδομένων Επίπεδο 4 Κανόνες Μετατροπής

31 Επίπεδο 4: Αντιστοιχίσεις δεδομένων PRODUCT NAME TYPE SUBSTANCE CANOLA OIL CANOLA OIL SOY OIL SOY FLOUR PEANUT OIL PEANUT OIL CORN OIL CORN OIL SUNFLOWER OIL SUNFLOWER OIL SAFFLOWER OIL SAFFLOWER OIL ΠΗΓΗ ΠΡΟΟΡΙΣΜΟΣ

32 Βασική αναφορά ελέγχου Ποιότητας Δεδομένων Προβλήματα ποιότητας Δείκτες ποιότητας L1 Κενό όνομα προϊόντος X XX% L1 Άκυρο όνομα προϊόντος X XX% L2 Επαναλήψεις κωδικών προϊόντων X XX% L3 Λανθασμένες ημερομηνίες X XX% παραγγελίας / αποστολής L4 Άκυροι μετασχηματισμοί δεδομένων X XX%

33 Διοίκηση της Ποιότητας Δεδομένων Έλεγχος των πηγών δεδομένων Με τη χρήση αποδεδειγμένων τεχνικών Εντοπισμός κρυμμένων προβλημάτων Καταγραφή προβλημάτων ποιότητας Αξιολόγηση κόστους Ιεράρχηση των ενεργειών καθαρισμού Εντοπισμός εναλλακτικών λύσεων καθαρισμού ανάλυση κόστους/οφέλους Χρήση των διαδικασιών εξαγωγής μετασχηματισμού και εισαγωγής δεδομένων για τον καθαρισμό

34 Διοίκηση της Ποιότητας Δεδομένων Συνεχής αποτύπωση της Ποιότητας Δεδομένων Απόδειξη της αποτελεσματικότητας των μετασχηματισμών Διασφάλιση επιπέδων ποιότητας Αναφορές στους χρήστες Συγχρονισμός πηγών και προορισμών Η ποιότητα να διασφαλίζεται στην πηγή

35 Δημιουργία μιας ολοκληρωμένης διαδικασίας Απόδειξη της συνέπειας μεταξύ πηγών και προορισμών Βελτίωση της διαδικασίας μετασχηματισμού Έλεγχος των πηγών Παρακολούθηση του Νέου περιβάλλοντος

36 Ενθάρρυνση Επιχειρησιακών Επιχειρηματικά Δεδομένα Διαδικασιών Τεχνολογία Πιστοποίηση Ποιότητας Δεδομένων στον Οργανισμό Καταναλωτές πληροφοριών Συνεχής διαδικασία Ελέγχου & Βελτίωσης

37 Επιχειρησιακή Ποιότητα Δεδομένων Συμμετοχή στο ανώτερο δυνατό διοικητικό επίπεδο Δημιουργία μιας νοοτροπίας ποιότητας δεδομένων και συνειδητοποίησης μέσω κοινοποίησης δεικτών ποιότητας, επιτυχημένων πρακτικών, απόδοσης επένδυσης κ.ά. Οι στόχοι να βασίζονται στις απαιτήσεις των χρηστών για ποιότητα ή σε εξωτερικά πρότυπα συμβατότητας Επίτευξη των στόχων ποιότητας δεδομένων μέσα από καλά οργανωμένες διαδικασίες καθαρισμού, ελέγχων και αναφορών Καθιέρωση επιχειρησιακών οδηγιών και πολιτικών για τη διοίκηση και βελτίωση της ποιότητας δεδομένων

38 Εφαρμογές Data Warehousing Μεταφορά δεδομένων Υλοποίηση έργων ERP Προγράμματα Επιχειρησιακής Ποιότητας Δεδομένων Συμβατότητα με νομοθετικές ρυθμίσεις κ.ά.