Αριστοµένη Μακρή B.Sc., M.Sc., M.B.A., Ph.D

Transcript

1 Αριστοµένη Μακρή B.Sc., M.Sc., M.B.A., Ph.D ΕΦΑΡΜΟΓΗ ΤΩΝ ΑΡΧΩΝ ΤΗΣ ΠΟΙΟΤΙΚΗΣ ΑΝΑΒΑΘΜΙΣΗΣ Ε ΟΜΕΝΩΝ ΓΙΑ ΤΗΝ ΗΜΙΟΥΡΓΙΑ ΜΙΑΣ ΠΗΓΗΣ ΠΛΗΡΟΦΟΡΙΩΝ (DATA MART) ΜΕ ΤΙΣ ΚΥΚΛΟΦΟΡΙΕΣ ΝΕΩΝ ΚΑΙ ΜΕΤΑΧΕΙΡΙΣΜΕΝΩΝ ΑΥΤΟΚΙΝΗΤΩΝ Τιµητικός τόµος για την οµότιµη καθηγήτρια Λίτσα Νικολάου-Σµοκοβίτη, Πανεπιστήµιο Πειραιώς, 2002, σελ ΠΕΡΙΛΗΨΙΣ Τα δεδοµένα κάθε οργανισµού είναι ένας σηµαντικός πόρος γιατί µετασχηµατιζόµενα σε πληροφορία, γνώση και ενέργεια αποφέρουν κέρδη στον οργανισµό. Γιά να είναι αποδοτική η αξιοποίησή τους πρέπει να έχουν χαρακτηριστικά ποιότητας, αξιοπιστίας και να παρουσιάζονται σε µία µορφή κατανοητή και εύκολα αξιοποιήσιµη από τον καταναλωτή πληροφοριών. Αυτή η διαδικασία µετασχηµατισµού των πρωτογενών δεδοµένων σε πληροφορία έχει σαν αποτέλεσµα την δηµιουργία µιάς πηγής ή αποθήκης πληροφοριών (Data Mart/Warehouse) από την οποία αντλούν πληροφορίες οι καταναλωτές πληροφοριών. Ένας από τους σηµαντικώτερους παράγοντες επιτυχίας του µετασχηµατισµού αυτού αφορά την ποιοτική αναβάθµιση των δεδοµένων. Το άρθρο αυτό εξετάζει τα απαραίτητα βήµατα γιά την υλοποίηση ενός Συστήµατος Ολικής ιαχείρισης Ποιότητας εδοµένων, µε µεγαλύτερη έµφαση στο βήµα της Αναδιοργάνωσης και Επανόρθωσης των δεδοµένων. Αναλύει δε σε βάθος την τεχνική χρησιµοποίησης Υποκατάστατων Τιµών (Surrogate Values) σαν ένα από τα µέσα γιά την επίτευξη αυτής της ποιοτικής αναβάθµισης. 1. ΕΙΣΑΓΩΓΗ 1.1. εδοµένα Πληροφορία Γνώση Κέρδος - Ποιότητα Τα δεδοµένα ενός οργανισµού είναι ο µοναδικός πόρος που είναι απόλυτα επαναχρησιµοποιήσιµος επ άπειρον. Τα δεδοµένα αυτά αποκτούν αξία για τον οργανισµό µόνον όταν κάποιος τα χρησιµοποιήσει για να πάρει µία απόφαση και να υλοποιήσει µία ενέργεια. Για να έχουν εποµένως αξία για τον οργανισµό τα δεδοµένα, πρέπει να υποστούν µία διαδικασία µετασχηµατισµού κατ αρχάς σε πληροφορία, µετά σε γνώση για τον καταναλωτή πληροφοριών και τέλος µέσα από την διαδικασία λήψης αποφάσεων να επιφέρουν ουσιαστικά κέρδη για τον οργανισµό Πληροφορία Εάν αντιµετωπισθεί η πληροφορία σαν το τελικό προϊόν για τον καταναλωτή πληροφοριών, τότε τα δεδοµένα είναι η πρώτη ύλη από την οποία συντίθεται [1]. Αυτή η διαδικασία µετασχηµατισµού και σύνθεσης για να είναι πλήρης προϋποθέτει : Κατανόηση της εννοίας των δεδοµένων Επεξεργασία και µετασχηµατισµός τους και

2 Παρουσίαση των δεδοµένων σε µορφή κατανοητή για τον καταναλωτή πληροφοριών και κατάλληλη για την συγκεκριµένη απόφαση την οποία καλείται να υποστηρίξει η πληροφορία. Ε ΟΜΕΝΑ ΕΝΝΟΙΕΣ ΚΑΤΑΝΟΗΤΕΣ ΓΙΑ ΤΟΝ ΚΑΝΑΛΩΤΗ ΠΛΗΡΟΦΟΡΙΩΝ ΜΕΘΟ ΟΣ ΠΑΡΟΥΣΙΑΣΗΣ ΠΛΗΡΟΦΟΡΙΑ 1.3. Γνώση Η πληροφορία δίχως τους καταναλωτές πληροφοριών που θα την αξιοποιήσουν έχει την ίδια αξία που έχει οποιοδήποτε καταναλωτικό προϊόν δίχως καταναλωτές. Η πληροφορία δεν µπορεί από µόνη της να φέρει αποτελέσµατα ή να αποφέρει κέρδη σε έναν οργανισµό δίχως τον άνθρωπο ο οποίος θα την αξιοποιήσει µετασχηµατίζοντάς την σε γνώση [1]. Η γνώση για να δηµιουργηθεί σαν αποτέλεσµα της πληροφορίας προϋποθέτει : Τον άνθρωπο που θα την αποκτήσει Την πληροφορία Την αξιολόγηση της σηµασίας της πληροφορίας ΑΤΟΜΟ ΠΛΗΡΟΦΟΡΙΑ ΑΞΙΟΛΟΓΗΣΗ & ΑΞΙΟΠΟΙΗΣΗ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΓΝΩΣΗ 1.3. Κέρδος Ο τελικός στόχος κάθε οργανισµού είναι να µεγιστοποιήσει την αξία των πόρων του ώστε να πραγµατοποιήσει τον σκοπό του. Η πληροφορία σαν επιχειρηµατικός πόρος

3 µεγιστοποιεί την ωφέλειά της για τον οργανισµό όταν έχει ποιότητα και είναι προσβάσιµη από αυτούς που την χρειάζονται. Οι ανθρώπινοι πόροι αξιοποιούνται όταν είναι εκπαιδευµένοι, διαθέτουν επιχειρηµατικούς πόρους, συµπεριλαµβανοµένων των πληροφοριών και έχουν την εξουσία να ενεργούν για λογαριασµό του οργανισµού ώστε να ικανοποιήσουν τους τελικούς καταναλωτές [1]. Εποµένως για να αποφέρει κέρδη στον οργανισµό η γνώση προϋποθέτει : Τον άνθρωπο Την γνώση Την ενέργεια ΑΤΟΜΟ ΓΝΩΣΗ ΕΝΕΡΓΕΙΑ ΚΕΡ ΟΣ 1.4. Ποιότητα Για να µπορέσει η πληροφορία να µετασχηµατιστεί σε γνώση µέσα από την διαδικασία που προαναφέρθηκε πρέπει να διαθέτει κάποια χαρακτηριστικά όπως : Να είναι κατανοητή η σηµασία και το περιεχόµενό της στον καταναλωτή πληροφοριών Να είναι ακριβής, πλήρης και έγκαιρη Να είναι προσβάσιµη Να παρουσιάζεται µε τρόπο κατανοητό και Να ικανοποιεί συνεχώς και σταθερά τις προσδοκίες των καταναλωτών πληροφοριών Όλα αυτά τα χαρακτηριστικά για να συνυπάρχουν προϋποθέτουν ποιότητα στην πληροφορία και κατ επέκταση και στα δεδοµένα που είναι η πρώτη ύλη της πληροφορίας [2].

4 2. ΠΟΙΟΤΗΤΑ Ε ΟΜΕΝΩΝ 2.1. Η µετατροπή και µεταφορά των δεδοµένων δεν εξασφαλίζουν την ποιότητα Στο προηγούµενο άρθρο εξετάστηκε η διαδικασία µετατροπής των πρωτογενών πληροφοριών από το αρχείο µε τις κυκλοφορίες νέων και µεταχειρισµένων αυτοκινήτων σε µία νέα κανονικοποιηµένη µορφή, µε τελικό σκοπό την δηµιουργία µίας πηγής πληροφοριών (Data Mart) που θα δώσει στα στελέχη του τµήµατος Marketing την πληροφορία σε µία άµεσα προσβάσιµη και κατανοητή µορφή, µε τελικό στόχο την αξιοποίηση της πληροφορίας για την λήψη επιχειρηµατικών αποφάσεων. Μέσα από την διαδικασία της µετατροπής των δεδοµένων σε πληροφορία και χρήσης εργαλείων αυτοδύναµης άντλησης της πληροφορίας από τον τελικό καταναλωτή πληροφοριών εξασφαλίζεται ένα µέρος των ποιοτικών προϋποθέσεων που τέθηκαν στην προηγούµενη παράγραφο όπως : Πληροφορία κατανοητή στην σηµασία, το περιεχόµενο και στον τρόπο παρουσίασης Πληροφορία πλήρης, έγκαιρη και προσβάσιµη εν εξασφαλίζεται όµως η ακρίβεια και η σταθερή ικανοποίηση των προσδοκιών των καταναλωτών πληροφοριών. Ποιότητα εδοµένων οµή Επιχείρησης/Αρχείων Προσδοκίες Κ αταναλω τώ ν ιαδικασία Μετασχηµατισµού Επιχειρηµατικοί Κανόνες Προσδοκίες ιοίκησης Απόκριση Βάσης εδοµένων 0% 10% 20% 30% 40% 50% DCI / Meta Group Data Warehouse World On-Site Survey Τα προβλήµατα ποιότητας στα πρωτογενή δεδοµένα είναι προφανές ότι θα παρουσιασθούν και στα επεξεργασµένα δεδοµένα, εάν δεν προηγηθεί µία διαδικασία ποιοτικής αναβάθµισής τους [2]. Καθώς τα δεδοµένα µετασχηµατίζονται από πολλές πηγές σε µία πηγή ή αποθήκη πληροφοριών (Data Mart/Data Warehouse) και αποκτούν νέες χρήσεις για τους καταναλωτές πληροφοριών, η αξιοπιστία τους είναι το κρισιµότερη κριτήριο για την βιωσιµότητα της πηγής ή αποθήκης πληροφοριών (Data Mart/Data Warehouse), όπως φαίνεται και στην ανωτέρω µελέτη της DCI γιά λογαριασµό της Prism Solutions Inc., και δείχνει τα σηµαντικώτερα προβλήµατα που παρουσιάζονται κατά την υλοποίηση µίας αποθήκης πληροφοριών (Data Warehouse) [9].

5 2.2. Ολική ιαχείριση Ποιότητας εδοµένων Μετά από αρκετά χρόνια προβληµατισµού µε τα θέµατα της ποιότητας των δεδοµένων, µία νέα αρχή εµφανίστηκε, η αρχή της Ολικής ιαχείρισης Ποιότητας εδοµένων (Enterprise Data Quality Management EDQM), η οποία βασιζόµενη στις αρχές της ιαχείρισης Ολικής Ποιότητας (Total Quality Management TQM) προσπαθεί να αντιµετωπίσει συνολικά το θέµα της ποιότητας των δεδοµένων [2]. Παρ όλον ότι επί µέρους τεχνικές µπορούν να αναβαθµίσουν ποιοτικά τα δεδοµένα που χρησιµοποιούνται για την λήψη µίας επιχειρηµατικής απόφασης, ή µίας εφαρµογής πληροφόρησης διοίκησης, ή ενός πληροφοριακού συστήµατος κλπ., η αντιµετώπιση του προβλήµατος της ποιότητας δεδοµένων πρέπει να είναι συνολική για έναν οργανισµό, όπως ακριβώς και η διαχείριση της Ολικής Ποιότητας και να θέτει τις προδιαγραφές για την πλήρη εξάλειψη του προβλήµατος και συνεχή αναβάθµιση της ποιότητας των δεδοµένων, µέσα από διαδικασίες πολλές φορές επίπονες για τον οργανισµό [8]. Η ανάγκη βελτίωσης της ποιότητας των δεδοµένων δεν είναι αυτονόητη για την πλειοψηφία των οργανισµών, γίνεται όµως επιτακτική όταν η χαµηλή ποιότητα της πληροφορίας είναι ανασταλτικός παράγων στην διαδικασία λήψης αποφάσεων µε αποτέλεσµα την απώλεια κερδών [3]. Ένα πλήρες σύστηµα διαχείρισης ποιότητας δεδοµένων πρέπει να λαµβάνει υπ όψιν του κατ ελάχιστον τα εξής σηµεία ελέγχου αναβάθµισης [6] : Τεχνική αξιολόγηση της ποιότητας των υποδοµών και της αρχιτεκτονικής των δεδοµένων. εν επαρκεί µόνο η αξιολόγηση και αναβάθµιση του περιεχοµένου των δεδοµένων, αλλά πρέπει να εξετασθεί η υποδοµή (µέσον δοµές δεδοµένων) και η αρχιτεκτονική (σχεδιασµός βάσης δεδοµένων). Αξιολόγηση της ποιότητας των δεδοµένων. Εξετάζεται και το περιεχόµενο των δεδοµένων, αλλά και η διαδικασία επεξεργασίας τους µέχρι την τελική τους µορφή. Υπολογισµός κόστους χαµηλής ποιότητας δεδοµένων. Επειδή η συνολική αναβάθµιση της ποιότητας των δεδοµένων είναι πολύ µεγάλο έργο για έναν οργανισµό, η διαδικασία αναβάθµισης πρέπει να είναι σταδιακή, εντοπίζοντας πρώτα τα σηµεία όπου το κόστος χαµηλής ποιότητας είναι το µεγαλύτερο για τον οργανισµό. Αναδιοργάνωση και Επανόρθωση των δεδοµένων. Βελτίωση διαδικασιών ποιότητας. Τα αποτελέσµατα της αναδιοργάνωσης και επανόρθωσης των δεδοµένων προϋποθέτουν και αλλαγές δοµής, αρχιτεκτονικής και διαδικασιών. Το αποτέλεσµα αυτής της διαδικασίας παρακολουθείται διαχρονικά και η διαδικασία βελτίωσης είναι συνεχής. Καθιέρωση και αποδοχή του περιβάλλοντος ποιοτικής αναβάθµισης δεδοµένων. Όπως και µε την ολική ποιότητα, η διαδικασία ποιοτικής αναβάθµισης των δεδοµένων πρέπει να είναι συνεχής και εποµένως αποδεκτή από το επιχειρηµατικό περιβάλλον.

6 Βάσεις εδοµένων Τεχνολογία Πληροφοριακών Συστηµάτων Σύστηµα Ολικής ιαχείρισης Ποιότητας εδοµένων Καταναλωτές Πληροφοριών Συνεχής ιαδικασία Ελέγχου και Βελτίωσης 2.3. Αναδιοργάνωση και Επανόρθωση των δεδοµένων. Το υπό εξέταση µοντέλο έχει σαν πηγή το µηνιαίο αρχείο µε τις κυκλοφορίες νέων και µεταχειρισµένων αυτοκινήτων, ένα αρχείο που προέρχεται από το εξωτερικό περιβάλλον του υπό εξέταση οργανισµού (Hyundai Hellas Π. & Ρ. άβαρη ΑΒΕΕ) µε αποτέλεσµα την αδυναµία εφαρµογής των αρχών της ποιοτικής αναβάθµισης των δεδοµένων, δοµών, αρχιτεκτονικής και διαδικασιών στην πηγή των πληροφοριών. Εποµένως οι µόνες από τις παραπάνω αρχές της Ολικής ιαχείρισης Ποιότητας εδοµένων που µπορούν να εφαρµοσθούν είναι οι αρχές της αναδιοργάνωσης και επανόρθωσης των δεδοµένων. Τα βήµατα που πρέπει να ακολουθηθούν κατά την υποδοχή και µετατροπή των πληροφοριών από την πηγή των πρωτογενών δεδοµένων, µέχρι την πηγή των πληροφοριών (Data Mart) είναι [7]: Έλεγχος τιµών µεταβλητών Έλεγχος πληρότητας και τιµών πεδίων Έλεγχος δοµικής πληρότητας Έλεγχος εφαρµογής επιχειρηµατικών κανόνων Εφαρµογή κανόνων µετασχηµατισµού

7 Έλεγχος Έλεγχος Συµβατότητας Συµβατότητας Μεταξύ Μεταξύ Πρωτογενών Πρωτογενών και και Τελικών Τελικών εδοµένων εδοµένων Βελτίωση Βελτίωση της της ιαδικασίας ιαδικασίας Μετασχηµατισµού Μετασχηµατισµού Αξιολόγηση Αξιολόγηση Πρωτογενών Πρωτογενών εδοµένων εδοµένων Παρακολούθηση Παρακολούθηση Της Της Εξέλιξης Εξέλιξης Της Της Αποθήκης Αποθήκης Πληροφοριών Πληροφοριών Έλεγχος τιµών µεταβλητών Στο βήµα αυτό ανά πεδίο ελέγχεται η κατανοµή των τιµών [2]. Ένα σηµαντικό πρόβληµα που παρατηρείται στο υπό εξέταση αρχείο και πρέπει να αντιµετωπιστεί ώστε να είναι αξιοποιήσιµη η πληροφορία είναι η καταχώρηση πολλές φορές της ίδιας πληροφορίας µε διαφορετική ορθογραφία. Ετσι µία χώρα ή ένα µοντέλο µπορεί να εµφανίζεται µε περισσότερο της µίας ορθογραφίες. Ένα δεύτερο πρόβληµα που παρατηρείται είναι η εµφάνιση τιµών σε πεδία που δεν είναι κατανοητά και πρέπει να εξεταστεί τι σηµαίνουν Έλεγχος πληρότητας και τιµών πεδίων Στο βήµα αυτό που αποτελεί συνέχεια του προηγουµένου γίνονται οι εξής έλεγχοι ανά πεδίο [2] : Κενές τιµές Άκυρες τιµές Π.χ. περιγραφές πόλεων σε πεδία περιγραφών χωρών Άκυρες περιοχές τιµών Π.χ. 6θυρα επιβατικά αυτοκίνητα Λανθασµένη διαµόρφωση πεδίων Έλεγχος δοµικής πληρότητας Πέραν του περιεχοµένου και της µορφής των πεδίων εξετάζεται και η ορθή τους δοµή στα αρχεία, ήτοι [2] : Επαναλαµβανόµενα κλειδιά Αντικρουόµενοι ορισµοί για το ίδιο πεδίο

8 Π.χ. αλλού εµφανίζεται σαν αριθµητικό και αλλού σαν αλφαριθµητικό Έλλειψη ακεραιότητας αναφορών κλειδιών (Referential Integrity) Π.χ. εγγραφές στο αρχείο πωλήσεων αυτοκινήτων, δίχως να υπάρχει το µοντέλο στο αρχείο µοντέλων Θεµελιώδεις περιορισµοί στις σχέσεις µεταξύ πινάκων (Cardinality constraints). Π.χ. να µην υπάρχουν σχέσεις πολλά προς πολλά µεταξύ των πινάκων Έλεγχος επιχειρηµατικών κανόνων Οι µέχρι τώρα έλεγχοι έχουν να κάνουν µε την δοµή ή το περιεχόµενο ενός πεδίου. Πέραν αυτών των ελέγχων υπάρχουν και έλεγχοι που αφορούν σχέσεις περισσοτέρων του ενός πεδίων και καθορίζονται µε επιχειρηµατικούς κανόνες όπως [2] : Ανυπόστατοι συσχετισµοί πεδίων Π.χ. να υπάρχει λογική που να συνδέει τα κυβικά του αυτοκινήτου µε τον τύπο καυσίµου που καταναλώνει Άκυρες σχετικές ηµεροµηνίες Π.χ. ηµεροµηνία πώλησης προγενέστερη της ηµεροµηνίας αγοράς Λανθασµένοι υπολογισµοί Π.χ. αξία πώλησης που δεν προκύπτει από το γινόµενο ποσότητας επί τιµή πώλησης Ελλιπής συγχρονισµός βάσεων δεδοµένων Π.χ. να παραληφθούν τα δεδοµένα του Απριλίου πριν από τα δεδοµένα του Μαρτίου και να αλλοιώσουν λανθασµένα τις πληροφορίες του Α τριµήνου (υποθέτοντας ανεπαρκείς ελέγχους για το ποιος µήνας ενηµερώνει) Κανόνες µετασχηµατισµού Το συγκεκριµένο έργο αφορά τον µετασχηµατισµό του αρχείου µε τις κυκλοφορίες νέων και µεταχειρισµένων αυτοκινήτων σε µία πηγή πληροφοριών. Εποµένως πρέπει να ληφθούν υπ όψιν και οι κανόνες µετασχηµατισµού για την αναδιοργάνωση και επανόρθωση των δεδοµένων [1]. Απαιτήσεις βάσης δεδοµένων πηγής πληροφοριών (Data Mart) Κατά την υλοποίηση των αρχών ποιοτικής αναβάθµισης δεδοµένων στο συγκεκριµένο περιβάλλον, πρέπει να ληφθούν υπ όψιν και οι δυνατότητες και οι περιορισµοί της συγκεκριµένης βάσης δεδοµένων (RDBMS) που θα χρησιµοποιηθεί. Λογική µετασχηµατισµού αντιστοιχίσεις πεδίων Η δηµιουργία µίας πηγής πληροφοριών (Data Mart) προϋποθέτει αφ ενός την αντιστοίχηση των πεδίων µεταξύ της πρωτογενούς πληροφορίας και της τελικής και αφ ετέρου την λογική µετασχηµατισµού η οποία θα λαµβάνει υπ όψιν όλα τα βήµατα ποιοτικής αναβάθµισης δεδοµένων που προαναφέρθηκαν.

9 3. ΠΟΛΙΤΙΚΗ ΚΛΕΙ ΙΩΝ ΤΗΣ ΠΗΓΗΣ / ΑΠΟΘΗΚΗΣ ΠΛΗΡΟΦΟΡΙΩΝ Αντιµετωπίζοντας τα προβλήµατα ποιότητας που προαναφέρθηκαν, ιδιαίτερα µε τα πεδία κλειδιά, ένας βασικός προβληµατισµός που αντιµετωπίζεται κατά την δηµιουργία µίας πηγής ή αποθήκης πληροφοριών (Data Mart / Warehouse) είναι κατά πόσον πρέπει να χρησιµοποιηθούν σαν κλειδιά οι τιµές των πεδίων που προέρχονται από τα αρχεία παραγωγής ή γενικότερα τις πηγές πρωτογενούς άντλησης των πληροφοριών. Οι προτεραιότητες των συστηµάτων παραγωγής είναι σίγουρα διαφορετικές από αυτές των συστηµάτων επιχειρηµατικής ευφυϊας (Business Intelligence BI). Τα κλειδιά που χρησιµοποιούν τα συστήµατα παραγωγής, όπως ο κωδικός χώρας ή ο κωδικός µοντέλου δηµιουργούνται, µορφοποιούνται, ενηµερώνονται, διαγράφονται, ανακυκλώνονται και επαναχρησιµοποιούνται σύµφωνα µε τις ανάγκες των συστηµάτων παραγωγής. Εάν κατά την δηµιουργία της πηγής ή αποθήκης πληροφοριών χρησιµοποιηθούν κλειδιά µε τιµές πεδίων που προέρχονται από τα συστήµατα παραγωγής, είναι βέβαιο ότι θα πρέπει να δηµιουργηθεί µία σηµαντική υποδοµή για την συντήρηση των αλλαγών τιµών που σίγουρα θα προκύψουν. Γιατί είναι βέβαιο ότι θα υπάρξουν αλλαγές και διαφοροποιήσεις, οι οποίες ανάλογα µε την έκτασή τους µπορεί να είναι από ενοχλητικές µέχρι καταστροφικές για την ακεραιότητα της πηγής ή αποθήκης πληροφοριών. Ας υποτεθεί για παράδειγµα ότι ένα εργοστάσιο παραγωγής αυτοκινήτων αποφάσισε να αλλάξει την κωδικοποίηση όλων των µοντέλων του, κάτι που συµβαίνει συχνότατα στην πράξη. Τι θα πρέπει να γίνει το αρχείο πωλήσεων αυτοκινήτων, όταν ακολουθεί τον παλαιό κωδικό του µοντέλου ; Εάν αποφασιστεί να συνυπάρχουν και οι δύο ή περισσότεροι κωδικοί πώς θα ενοποιηθούν οι πωλήσεις ώστε να δώσουν την συνολική εικόνα για το µοντέλο ; Εξετάζοντας αναλυτικώτερα το πρόβληµα προκύπτουν δεκάδες περιπτώσεις που θα πρέπει να αντιµετωπιστούν όπως [4] : Αλλαγές κλειδιών είτε λόγω αντικατάστασης κωδικών (δεν ισχύει πλέον ο παλαιός) είτε λόγω προσθήκης εναλλακτικού/ών κωδικού/ών (συνύπαρξη κωδικών) Επαναχρησιµοποίηση διαγραµµένων ή αλλαγµένων κωδικών Αλλαγές κωδικοποιήσεων λόγω αναδιοργάνωσης αρχείων και επαναχρησιµοποίηση κωδικών για άλλο σκοπό. Παρ ότι δεν συναντάται πολύ συχνά, πολλοί οργανισµοί κατά τακτά χρονικά διαστήµατα απενεργοποιούν πελάτες ή προµηθευτές που δεν έχουν κινηθεί για µεγάλο χρονικό διάστηµα και χρησιµοποιούν τους κωδικούς τους για άλλους πελάτες ή προµηθευτές. Αυτό συνήθως συµβαίνει σε επιχειρήσεις µε πληθώρα πελατών ή προµηθευτών και περιορισµένο µήκος κωδικού στα αρχεία παραγωγής. Πολύ συχνά παρ όλον ότι δεν αλλάζουν οι κωδικοί αλλάζουν άλλα σηµαντικά δεδοµένα όπως η περιγραφή. Τα συστήµατα παραγωγής λόγω ειδικών αναγκών συχνά αλλάζουν το µήκος ή την διαµόρφωση του κωδικού (από αριθµητικό σε αλφαριθµητικό ή αντίστροφα), όπως έγινε πρόσφατα µε την αλλαγή του µήκους του ΑΦΜ. Η παγκοσµιοποίηση της αγοράς και το κύµα των εξαγορών συγχωνεύσεων έχει σαν επακόλουθο την ανάγκη ενοποίησης κωδικών µε σηµαντικές διαφορές µεταξύ τους. Πολλές φορές αντιµετωπίζονται περιπτώσεις όπου δεν είναι σαφής η τιµή του κλειδιού µε αποτέλεσµα να πρέπει να δοθεί προσωρινός κωδικός µέχρις ότου διευκρινιστεί.

10 3.1. Υποκατάστατα κλειδιών (surrogate keys) Η πλέον διαδεδοµένη τεχνική για την αντιµετώπιση του προβλήµατος είναι η δηµιουργία ακεραίων υποκατάστατων κλειδιών (integer surrogate keys) στην θέση των κλειδιών που χρησιµοποιούνται από τα συστήµατα παραγωγής. Με τον τρόπο αυτό κάθε ένωση (join) µεταξύ πινάκων (tables) γίνεται µε τα υποκατάστατα κλειδιών επιλύοντας τα προβλήµατα που προαναφέρθηκαν αλλά και βελτιώνοντας σηµαντικά την όλη απόκριση του συστήµατος, εφ όσον η απόδοση µίας σχεσιακής βάσης δεδοµένων βελτιώνεται σηµαντικά όταν χρησιµοποιούνται ακέραια (integer) κλειδιά για τις σχέσεις (relations) µεταξύ των πινάκων (tables). Τα υποκατάστατα κλειδιά αντικαθιστούν πλήρως τα κλειδιά των αρχείων παραγωγής σε όλες τις χρήσεις τους σε όλους τους πίνακες. Τα κλειδιά παραγωγής κρατούνται σε ένα µόνο πίνακα αντιστοίχισης µεταξύ κλειδιού παραγωγής και υποκατάστατου, µε διπλή πρόσβαση και κατά κωδικό παραγωγής (secondary key) και κατά υποκατάστατο (primary key) [4] Τεχνική υποκατάστασης κλειδιών Η τεχνική υποκατάστασης κλειδιών είναι απλή στην πράξη. Χρειάζεται µόνο ένας νέος πίνακας δύο πεδίων. Το πρώτο αλφαριθµητικό πεδίο που είναι και πρωτεύον κλειδί περιέχει τον κωδικό του πίνακα και το δεύτερο ένα αριθµητικό ακέραιο πεδίο (integer) περιέχει τον τελευταίο αύξοντα αριθµό υποκατάστατου κλειδιού που έχει δοθεί για τον υπό εξέταση πίνακα [5]. Πίνακας Υποκατάστατων Κλειδί Πεδίο Σύντοµη Περιγραφή * Table_ID Κωδικός Πίνακα Last_No Τελευταίο χρησιµοποιηµένο υποκατάστατο κλειδιού Ένας δεύτερος πίνακας χρειάζεται για κάθε πεδίο κλειδί όπου θα κρατείται ο κωδικός παραγωγής και ο κωδικός υποκατάστασης. Π.χ. για τον κωδικό µοντέλου θα προστεθεί ο ακόλουθος πίνακας : Υποκατάστατο Μοντέλου Κλειδί Πεδίο Σύντοµη Περιγραφή * Model_S Υποκατάστατο κλειδί µοντέλου * Model Μοντέλο Αυτοκινήτου New Ένδειξη για νέο κλειδί Κάθε φορά που παρουσιάζεται ένας κωδικός µοντέλου ελέγχεται κατά πόσον ο συγκεκριµένος κωδικός ξαναϋπάρχει στον πίνακα Υποκατάστατου Μοντέλου και αν βρεθεί χρησιµοποιείται το Υποκατάστατο κλειδί µοντέλου αντί του Μοντέλου για όλες τις αναζητήσεις. Αν δεν βρεθεί διαβάζεται από τον Πίνακα Υποκατάστατων η λογική εγγραφή (record) µε κλειδί τον κωδικό για τον πίνακα µοντέλων π.χ. model, το τελευταίο χρησιµοποιηµένο υποκατάστατο για τον πίνακα µοντέλων π.χ. 1001, αυξάνεται κατά 1 ήτοι 1002 και ενηµερώνεται ο Πίνακας Υποκατάστατων µε την νέα τιµή (1002) για το τελευταίο χρησιµοποιηµένο υποκατάστατο της λογικής εγγραφής µε κλειδί model. Η δε τιµή που

11 προέκυψε ήτοι 1002 είναι το υποκατάστατο του νέου µοντέλου και υποκαθιστά το µοντέλο σε όλες του τις χρήσεις σε όλους τους πίνακες. Ο κωδικός του νέου µοντέλου µαζί µε το υποκατάστατο κλειδί ενηµερώνουν τον πίνακα Υποκατάστατο Μοντέλου. Κατά την ενηµέρωση το πεδίο New παίρνει χαρακτηριστική τιµή ώστε ο διαχειριστής της βάσεως να γνωρίζει ότι υπάρχουν νέα κλειδιά που προέκυψαν από την τελευταία ενηµέρωση τα οποία πρέπει να διερευνηθούν Το διαµορφωµένο µοντέλο µετά την υποκατάσταση των κλειδιών Η διαδικασία υποδοχής και µετασχηµατισµού των δεδοµένων πρέπει να είναι αυτόµατη και να µην υπάρχουν περιπτώσεις απόρριψης εγγραφών λόγω αδυναµίας χαρακτηρισµού των. Σηµεία σταµατήµατος της ροής της διαδικασίας ενηµέρωσης δηµιουργούν δυσλειτουργίες στο σύστηµα καθώς απαιτούν την παρέµβαση χειριστή και πρέπει να αποφεύγονται. Η αυτόµατη δηµιουργία υποκατάστατων κλειδιών για την πλειοψηφία των αλφαριθµητικών πεδίων, όπου για τους λόγους που προαναφέρθηκαν ή και από λάθος χειριστικό παρουσιάζονται τιµές λανθασµένες ή χωρίς σηµασία, επιτρέπει την αυτόµατη ενηµέρωση της πηγής πληροφοριών (Data Mart) από τα πρωτογενή δεδοµένα χωρίς την ανάγκη χειριστικής παρέµβασης [5]. Μετά την ολοκλήρωση της ενηµέρωσης τα νέα κλειδιά εµφανίζονται στους πίνακες των υποκατάστατων µε την ένδειξη New και µπορεί ο διαχειριστής του συστήµατος να τα εντοπίσει και να αποφασίσει τι τιµή πρέπει να έχει κάθε νέο κλειδί. Εάν εντοπισθούν νέα κλειδιά µε λανθασµένες τιµές που θα έπρεπε να έχουν προϋπάρχουσες τιµές, τότε υποδεικνύεται από τον διαχειριστή η σωστή τιµή του κλειδιού και αντικαθίσταται η τιµή του κλειδιού υποκατάστασης σε όλα τα σηµεία όπου εµφανίζεται. Π.χ. έστω ότι ένα µοντέλο µε τιµή Accent και υποκατάστατο κλειδί Όταν ξαναεµφανιστεί το µοντέλο µε λανθασµένη πληκτρολόγηση π.χ. Accient θα δηµιουργηθεί αυτόµατα ένα νέο υποκατάστατο κλειδί, έστω και µία νέα λογική εγγραφή στον πίνακα Υποκατάστατο Μοντέλου. Αντίστοιχα εφ όσον υπάρχουν πωλήσεις για το µοντέλο αυτό θα δηµιουργηθεί νέα εγγραφή στον πίνακα Πωλήσεις µε κωδικό υποκατάστατο µοντέλου Όταν ο διαχειριστής αναζητήσει τις νέες εγγραφές θα διαπιστώσει ότι υπάρχει ένα νέο µοντέλο Accient που στην ουσία αφορά το σωστό µοντέλο Accent. Μετά την υπόδειξη του χειριστή για την ορθή τιµή του µοντέλου, η εφαρµογή καταργεί τον λανθασµένο κωδικό µοντέλου Accient µε υποκατάστατο κλειδί διαγράφοντάς τον από τον πίνακα Υποκατάστατο Μοντέλου και αντικαθιστά το υποκατάστατο κλειδί µε την σωστή τιµή στον πίνακα Πωλήσεις. Ένα πρόσθετο σηµαντικό πλεονέκτηµα της µεθοδολογίας αυτής είναι ότι η διαδικασία αρχικής ενηµέρωσης της πηγής πληροφοριών (Data Mart) και προοδευτικών ενηµερώσεων µε νέα µηνιαία στοιχεία είναι πανοµοιότυπη. Κατά την δηµιουργία µίας πηγής ή αποθήκης πληροφοριών (Data Mart/Warehouse) η προσέγγιση του προβλήµατος µετασχηµατισµού των δεδοµένων από τα στοιχεία της παραγωγής είναι διττή : Αρχικοί µετασχηµατισµοί κατά την δηµιουργία της πηγής ή αποθήκης πληροφοριών (Data Mart/Warehouse) Προοδευτικοί µετασχηµατισµοί που προκύπτουν από αλλαγές ή προσθήκες στα δεδοµένα παραγωγής (Changed data capture)

12 Με την µεθοδολογία που περιγράφεται τα δύο αυτά στάδια ενσωµατώνονται σε ένα. Ένα µειονέκτηµα της µεθοδολογίας είναι η ανάγκη εκ των υστέρων χειριστικής παρέµβασης για την αποκατάσταση τυχόν διαφορών, αλλά υπερκαλύπτεται από την συνεχή και αδιάλειπτη ροή της διαδικασίας. Η χειριστική παρέµβαση µπορεί σε µεγάλο βαθµό να αποφευχθεί µε την ενσωµάτωση στην λύση ενός ισχυρού αλγορίθµου ή προϊόντος που θα διορθώνει ή θα προτείνει αυτόµατα διορθώσεις κλειδιών µε βάση κριτήρια αναζήτησης κειµένων (text retrieval) και τεχνικές συµφραζοµένων (context sensitive), ηχητικής οµοιότητας (soundex), συνωνύµων (synonyms) κ.ά Τί σηµαίνει η υποκατάσταση των κλειδιών γιά τον καταναλωτή πληροφοριών Η τεχνική υποκατάστασης των κλειδιών είναι µία µηχανογραφική τεχνική µε κέρδη στην ταχύτητα πρόσβασης, την ποιότητα των πληροφοριών, την οικονοµία σε χώρο και χρόνο, την οµαλή ροή της διαδικασίας µετασχηµατισµού των πληροφοριών, την απλούστευση των διαδικασιών ενηµέρωσης της πηγής ή αποθήκης πληροφοριών (Data Mart/Warehouse) κλπ., που αναφέρονται ανωτέρω. Γιά τον έξω κόσµο που είναι το σύστηµα παραγωγής και οι καταναλωτές πληροφοριών, η χρήση των υποκατάστατων κλειδιών είναι σαν να µην υπάρχει εφ όσον φαίνεται ότι χρησιµοποιούνται τα γνωστά σε όλους κλειδιά του συστήµατος παραγωγής. Η όλη διαδικασία της υποκατάστασης λειτουργεί σαν ένα φίλτρο κωδικοποίησης και αποκωδικοποίησης των κλειδιών παραγωγής σε υποκατάστατα κλειδιών. Σύστηµα Παραγωγής Πηγή/Αποθήκη Πληροφοριών Σύστηµα Επιχειρηµατικής Ευφυϊας Φίλτρο Υποκατάστασης Κλειδιών

13 Βιβλιογραφία 1. Improving Data Warehouse and Business Information Quality, by Larry P. English, Wiley Computer Publishing, Achieving Enterprise Wide Data Quality, White Paper by Trillium Software System, Seven DEADLY Misconceptions about Information Quality, by Larry P. English, Information Impact Newsletter, Volume 6, Number 1, Summer Surrogate Keys. Keep control over record identifiers by generating new keys for the data warehouse, by Ralph Kimball, DBMS Magazine, May Pipelining your Surrogates. A good surrogate key system is worth the work, by Ralph Kimball, DBMS Magazine, June Data Warehouse Quality, by Duane Hufford, DM Review, Portal Feature, January Challenges of Efficient Data Cleansing, by Arkady Maydanchik, DM Direct, September The High Costs of Low-Quality Data, by Larry P. English, DM Review, January White Paper on Data Quality, by Prism Solutions Inc, 1997.