Γραφικό Εργαλείο Σχεδίασης Σεναρίων Εξαγωγής Μετασχηµατισµού Φόρτωσης εδοµένων σε Περιβάλλον Αποθηκών εδοµένων

Transcript

1 Εθνικο Μετσοβιο Πολυτεχνειο Σχολη Ηλεκτρολογων Μηχανικων και Μηχανικων Υπολογιστων Τοµεας Τεχνολογιας Πληροφορικης και Υπολογιστων Γραφικό Εργαλείο Σχεδίασης Σεναρίων Εξαγωγής Μετασχηµατισµού Φόρτωσης εδοµένων σε Περιβάλλον Αποθηκών εδοµένων ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Μάριος Ε. Φοινίκεττος Επιβλέπων : Τιµολέων Σελλής Καθηγητής Ε.Μ.Π. Αθήνα, εκέµβριος 2004

2

3 Εθνικο Μετσοβιο Πολυτεχνειο Σχολη Ηλεκτρολογων Μηχανικων και Μηχανικων Υπολογιστων Τοµεας Τεχνολογιας Πληροφορικης και Υπολογιστων Γραφικό Εργαλείο Σχεδίασης Σεναρίων Εξαγωγής Μετασχηµατισµού Φόρτωσης εδοµένων σε Περιβάλλον Αποθηκών εδοµένων ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Μάριος Ε. Φοινίκεττος Επιβλέπων : Τιµολέων Σελλής Καθηγητής Ε.Μ.Π. Εγκρίθηκε από την τριµελή εξεταστική επιτροπή την 6η εκεµβρίου Τ. Σελλής Ι. Βασιλείου Ν. Κοζύρης Καθηγητής Ε.Μ.Π. Καθηγητής Ε.Μ.Π. Επίκουρος Καθηγητής Ε.Μ.Π. Αθήνα, εκέµβριος 2004

4 .... Μάριος Ε. Φοινίκεττος ιπλωµατούχος Ηλεκτρολόγος Μηχανικός και Μηχανικός Υπολογιστών Ε.Μ.Π. Copyright Μάριος Ε. Φοινίκεττος, εκέµβριος 2004 Με επιφύλαξη παντός δικαιώµατος. All rights reserved. Απαγορεύεται η αντιγραφή, αποθήκευση και διανοµή της παρούσας εργασίας, εξ ολοκλήρου ή τµήµατος αυτής, για εµπορικό σκοπό. Επιτρέπεται η ανατύπωση, αποθήκευση και διανοµή για σκοπό µη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής ϕύσης, υπό την προϋπόθεση να αναφέρεται η πηγή προέλευσης και να διατηρείται το παρόν µήνυµα. Ερωτήµατα που αφορούν τη χρήση της εργασίας για κερδοσκοπικό σκοπό πρέπει να απευθύνονται προς το συγγραφέα. Οι απόψεις και τα συµπεράσµατα που περιέχονται σε αυτό το έγγραφο εκφράζουν το συγγραφέα και δεν πρέπει να ερµηνευθεί ότι αντιπροσωπεύουν τις επίσηµες ϑέσεις του Εθνικού Μετσόβιου Πολυτεχνείου.

5 Πρόλογος Η παρούσα διπλωµατική εργασία εκπονήθηκε στο Εργαστήριο Συστηµάτων Βάσεων Γνώσεων και εδοµένων (ΕΒΓ ) της Σχολής Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών του Εθνικού Μετσόβιου Πολυτεχνείου. Ευχαριστώ τον καθηγητή κ. Τίµο Σελλή, τον υποψήφιο διδάκτορα και επιβλέποντα της διπλωµατικής κ. Άλκη Σιµιτσή και τον υποψήφιο διδάκτορα κ. Πάνο Γεωργαντά για την πολύτιµη ϐοήθεια που µου πρόσφεραν κατά την εκπόνηση της διπλωµατικής αυτής εργασίας, καθώς και όλους τους υπεύθυνους (και µη) του εργαστηρίου για τις πολύτιµες συµβουλές, πάνω σε τεχνικά ϑέµατα, που µου προσέφεραν. εκέµβριος 2004 Μάριος Ε. Φοινίκεττος iii

6

7 Περίληψη Αντικείµενο αυτής της διπλωµατικής είναι η µελέτη και υλοποίηση ενός εργαλείου γραφικής αναπαράστασης σεναρίων ΕΜΦ (Εξαγωγής Μετασχηµατισµού Φόρτωσης). Με τον όρο σενάριο ΕΜΦ εννοούµε το σύνολο των διεργασιών που είναι υπεύθυνες για την εξαγωγή των δεδοµένων από διάφορες πηγές, τον καθαρισµό, την προσαρµογή και την εισαγωγή τους σε µία Αποθήκη εδοµένων. Η διπλωµατική ϐασίζεται στο εννοιολογικό µοντέλο για την αρχική ϕάση ενός έργου σχεδιασµού και ανάπτυξης µίας Αποθήκης εδοµένων, που προτείνεται από τους κ.κ. Π. Βασιλειάδη, Α. Σιµιτσή και Σ. Σκιαδόπουλο. Το εργαλείο που δηµιουργήθηκε ικανοποιεί µέσω ενός εύχρηστου γραφικού περιβάλλοντος τις απαιτήσεις του µοντέλου σε απλότητα, γενικότητα και επεκτασιµότητα. Μεταξύ άλλων, το εργαλείο παρέχει στο χρήστη δυνατότητα να σχεδιάσει νέα σενάρια, να τα αποθηκεύσει σε ένα repository και να τα ϕορτώσει για επίδειξη ή περαιτέρω επεξεργασία. Λέξεις Κλειδιά Αποθήκη εδοµένων, Εξαγωγή Μετασχηµατισµός Φόρτωση, Εννοιολογική Μοντελοποίηση. v

8

9 Abstract The object of this Diploma Thesis is the implementation of a tool for the graphical representation of ETL (Extraction Transformation Loading) Scenaria. The term ETL scenario stands for the set of the processes responsible for the extraction of data from several sources, its cleaning, customization and insertion into a data warehouse. The diploma thesis is based on a conceptual model for the initial phase of a project for the design and development of a Data Warehouse, proposed by P. Vassiliadis, A. Simitsis and S. Skiadopoulos. The created tool satisfies the requirements for simplicity, generity and extensibility, through an easy to use, graphical inteface. Among others, the created tool allows the designing of a new scenaria, the insertion of the scenaria into a repository and the loading of scenaria from the repository to be displayed or further processed. Keywords Data Warehouse, Extract Transform Load, Conceptual Modeling. vii

10

11 Περιεχόµενα 1 Εισαγωγή Αποθήκες εδοµένων ιεργασίες Εξαγωγής Μετασχηµατισµού Φόρτωσης εδοµένων Στόχος οµή ιπλωµατικής I Μοντελοποίηση ιεργασιών ΕΜΦ 9 2 Ενα Εννοιολογικό Μοντέλο ιεργασιών ΕΜΦ Εννοιολογικό Μοντέλο Μεθοδολογία Χρήσης του Εννοιολογικού Μοντέλου Μετα Μοντέλο Συµπεράσµατα Εισαγωγή στο Λογικό Μοντέλο Εισαγωγή Σύντοµη Αναφορά στο Λογικό Μοντέλο Εργαλείο Λογικής Σχεδίασης Μετάβαση από το Εννοιολογικό στο Λογικό Μοντέλο Εισαγωγή Απεικονίσεις ix

12 x Περιεχόµενα 4.3 Σειρά Εκτέλεσης στη Λογική Ροή Εργου Μεθοδολογία Μετάβασης από Εννοιολογικό σε Λογικό Μοντέλο Σχετική Εργασία 71 II Σχεδίαση και Υλοποίηση Εργαλείου Σχεδίασης ιεργασιών ΕΜΦ 77 6 Ανάλυση και Σχεδίαση Περιγραφή Αρχιτεκτονικής Περιγραφή Λειτουργιών Υλοποίηση Πλατφόρµες και Προγραµµατιστικά Εργαλεία Λεπτοµέριες Υλοποίησης Περιγραφή Κώδικα Περιγραφή Σχήµατος Repository Χρήση Εργαλείου Εγκατάσταση της Εφαρµογής Εκκίνηση της Εφαρµογής Κεντρική Οθόνη Προγράµµατος Εισαγωγή Κόµβων και Ακµών στο Σενάριο Επίλογος Σύνοψη Συµπεράσµατα Μελλοντικές Επεκτάσεις

13 Κατάλογος Σχηµάτων 1.1 ιαδικασία µεταφοράς δεδοµένων Το περιβάλλον των διεργασιών ΕΜΦ Ο κύκλος Ϲωής της Αποθήκης εδοµένων και των διεργασιών ΕΜΦ αυτής Γενική Αρχιτεκτονική του Αρκτος ΙΙ [39] Βασικά modules του Αρκτος ΙΙ [39] Γραφικοί συµβολισµοί για το εννοιολογικό µοντέλο των διεργασιών ΕΜΦ Το προτεινόµενο µετα-µοντέλο ως διάγραµµα UML ιάγραµµα του εννοιολογικού µοντέλου για το παράδειγµα Αναγνώριση των κατάλληλων πηγών δεδοµένων Υποψήφιοι και ενεργοί υποψήφιοι για τις εµπλεκόµενες πηγές δεδοµένων Απλοποίηση του διαγράµµατος : (α) αγνοώντας υποψηφίους, (ϐ) ϑεωρώντας τον ενεργό υποψήφιο Αντιστοιχίσεις γνωρισµάτων για τη ϕόρτωση της έννοιας DW.PARTSUPP Εµπλουτισµός του Σχήµατος 2.5 µε περιορισµούς εκτέλεσης Το πλαίσιο µοντελοποίησης διεργασιών ΕΜΦ Πρότυπα µετασχηµατισµών και οι συµβολισµοί τους ανά κατηγορίες Γραφικοί Συµβολισµοί για το λογικό µοντέλο διεργασιών ΕΜΦ Παράδειγµα Σεναρίου στο Εργαλείο Λογικής Σχεδίασης Λεπτοµέρια του σεναρίου του Σχήµατος 3.2, όπως ϕαίνεται σε επίπεδο γνωρίσµατος.. 38 xi

14 xii Κατάλογος Σχηµάτων 4.1 Μετάβαση της έννοιας DW.PARTS σε ένα σύνολο εγγραφών, µαζί µε τα γνωρίσµατά της Μετάβαση µίας απλής σχέσης παροχής Πλήρωση της έννοιας S 2 από την έννοια S 1 µέσω του µετασχηµατισµού T Πλήρωση συνόλου εγγραφών S 2 από το σύνολο S 1 µέσω της διεργασίας A Παράδειγµα απεικόνισης ενός µετασχηµατισµού T σε µία διεργασία A Σειριακή σύνθεση των µετασχηµατισµών T 1 και T Το µέρος του Παραδείγµατος 1 που αφορά µόνο το µετασχηµατισµό f Παραγωγή της λειτουργικής σηµασιολογίας της διεργασίας f Περιορισµοί ΕΜΦ Αποβολή ενός γνωρίσµατος Σύγκλιση δύο ϱοών Τµήµα του παραδείγµατος 1 που αφορά την πλήρωση της DW.PARTS από τη S 2.PARTS Επίπεδα µετασχηµατισµών Ενα παράδειγµα (α) κακού και (ϐ) καλού σχεδιασµού Ο αλγόριθµος FS Ενα παράδειγµα εκτέλεσης του FS για το εννοιολογικό διάγραµµα του Σχήµατος Η περίπτωση του δυαδικού µετασχηµατισµού (α) στο εννοιολογικό και (ϐ) στο λογικό µοντέλο Προβληµατικό Εννοιολογικό ιάγραµµα Ο αλγόριθµος FSC Ο αλγόριθµος EOLW Το εννοιολογικό διάγραµµα του Παραδείγµατος 1, µετά το πρώτο ϐήµα Το αποτέλεσµα του δεύτερου ϐήµατος Γραµµικές λογικές ϱοές έργου Το λογικό διάγραµµα του Παραδείγµατος Το τελικό λογικό διάγραµµα του Παραδείγµατος

15 Κατάλογος Σχηµάτων xiii 6.1 Πλήρες διάγραµµα λειτουργίας εργαλείου Τα τµήµατα (packages) στα οποία χωρίζεται η εφαρµογή Σύνδεση στο Repository Αναγνώριση Πηγών εδοµένων Επιλογή γνωρισµάτων για την έννοια DW.Suppliers Στιγµιότυπο της επιφάνειας εργασίας αµέσως µετά την προσθήκη τριών εννοιών Προσθήκη Υποψηφίων στο Σενάριο Στιγµιότυπο του σεναρίου, µετά την προσθήκη υποψηφίων Άµεση αντιστοίχηση γνωρισµάτων Εισαγωγή νέου µετασχηµατισµού στο σενάριο Εµφάνιση κρυµµένης πληροφορίας για το µετασχηµατισµό f3 που ορίζεται στο Σχήµα Τµήµα του Παραδείγµατος 1, σχεδιασµένο στο εργαλείο που κατασκευάσαµε Οι κλάσεις ETL.Base.Scenario και ETL.Conceptual.Scenario Οι κλάσεις ETL.Base και ETL.Conceptual Σχήµα Repository

16

17 1 Εισαγωγή Στο κεφάλαιο αυτό, δίνεται αρχικά (1.1) µία σύντοµη περιγραφή των Αποθηκών εδοµένων και στη συνέχεια (1.2) γίνεται µία εισαγωγή στις διεργασίες Εξαγωγής Μετασχηµατισµού Φόρτωσης (ΕΜΦ) δεδοµένων. Στην ενότητα 1.3 δίνεται ο στόχος της διπλωµατικής αυτής εργασίας, και τέλος, στην ενότητα 1.4 παρουσιάζεται η οργάνωση του τόµου αυτού. 1.1 Αποθήκες εδοµένων Από τα µέσα της δεκαετίας του 70, η αλµατώδης παραγωγή ισχυρών συστηµάτων διαχείρισης ϐάσεων δεδοµένων ϐοήθησε στην ανάπτυξη πληροφοριακών συστηµάτων που καλύπτουν τις λειτουργικές ανάγκες οργανισµών και επιχειρήσεων. Τα µεγαλύτερα και ισχυρότερα συστήµατα αναπτύχθηκαν µε σκοπό τον αυτοµατισµό ϐασικών αναγκών των οργανισµών όπως η διεκπεραίωση τραπεζικών εργασιών και τα λογιστικά συστήµατα. Η λειτουργία αυτών των πληροφοριακών συστηµάτων είναι πλέον κρίσιµη και πολύτιµη για τη Ϲωή των οργανισµών στους οποίους έχουν εγκατασταθεί, η δε ϐάση δεδοµένων ενός τέτοιου συστήµατος αποτελεί τον πυρήνα τους. Η ορθή σχεδίαση, ανάπτυξη και λειτουργία της ϐάσης είναι ο σηµαντικότερος παράγοντας για την επιτυχία ενός πληροφοριακού συστήµατος. Τα συστήµατα αυτά παρέχουν τη δυνατότητα επεξεργασίας µεγάλου αριθµού δοσοληψιών που διαχειρίζονται τα δεδοµένα του οργανισµού. Ενα άλλο είδος πληροφοριακών συστηµάτων που αναπτύσσονται στους οργανισµούς είναι τα συστήµατα στήριξης αποφάσεων, που σκοπό έχουν να ϐοηθήσουν τα στελέχη των οργανισµών να σχεδιάσουν τις δραστηριότητές τους. Η επιτυχία των συστηµάτων αυτών είναι επίσης 1

18 2 Κεφάλαιο 1. Εισαγωγή ϐασικός παράγοντας επιτυχίας του οργανισµού. Μία ϐασική απαίτηση των συστηµάτων στήριξης αποφάσεων είναι η αποδοτική πρόσβαση στα δεδοµένα των συστηµάτων αυτοµατισµού. Το πρόβληµα που προκύπτει, όµως, είναι ότι τα συστήµατα αυτοµατισµού έχουν ήδη πολύ σοβαρό υπολογιστικό ϕορτίο από µόνα τους, και επιπλέον, είναι σχεδιασµένα για την εκτέλεση διαφορετικών λειτουργιών. Είναι σαφές ότι είναι εξαιρετικά δυσχερής η χρήση των ϐάσεων δεδοµένων των πληροφοριακών συστηµάτων των οργανισµών από τα συστήµατα στήριξης αποφάσεων. Οµως, η αποδοτική χρήση των συστηµάτων στήριξης αποφάσεων απαιτεί, όπως προαναφέρθηκε, πρόσβαση στα δεδοµένα αυτά. Η εισαγωγή των Αποθηκών εδοµένων είναι η λύση στο κρίσιµο αυτό πρόβληµα. Με τον όρο Αποθήκες εδοµένων ( Data Warehouses) χαρακτηρίζουµε ένα σύνολο τεχνολογιών που επιτρέπει στους αναλυτές ενός οργανισµού τη σχεδίαση της πολιτικής του, έχοντας αποδοτική πρόσβαση στα δεδοµένα του οργανισµού. Μία Αποθήκη εδοµένων διατηρεί δεδοµένα που αντλεί από τις ϐάσεις δεδοµένων των πληροφοριακών συστηµάτων του οργανισµού, αλλά και άλλες πηγές δεδοµένων, όπως αρχεία του οργανισµού ή δεδοµένα που προέρχονται από εξωτερικές πηγές. Αυτά τα δεδοµένα οργανώνονται στην Αποθήκη εδοµένων σε δοµές κατάλληλες να απαντήσουν τις απαιτήσεις των αναλυτών χρηστών των συστηµάτων στήριξης αποφάσεων. Τα συστήµατα στήριξης αποφάσεων αποκτούν πρόσβαση στα δεδοµένα λειτουργίας του οργανισµού χωρίς την παρουσία των προαναφερθέντων προβληµάτων. Οι Αποθήκες εδοµένων παρέχουν τη δυνατότητα για Συνεχή Αναλυτική Επεξεργασία ( On-line Analytical Processing OLAP) των δεδοµένων, περιέχοντας συνήθως ιστορικά και συγκεντρωτικά δεδοµένα που συνήθως αποδεικνύονται χρήσιµα για υποστήριξη αποφάσεων. Επίσης, παρέχουν µία ολοκληρωµένη εικόνα του σχήµατος των δεδοµένων του οργανισµού. Η σχεδίαση των Αποθηκών εδοµένων έχει σαν στόχο την αποδοτική απάντηση των πολύπλοκων ερωτήσεων που ϑέτονται κατά την αναλυτική επεξεργασία δεδοµένων από τις εφαρµογές στρατηγικού σχεδιασµού. Η δηµιουργία και η συντήρηση µίας Αποθήκης εδοµένων είναι µία πολύπλοκη διαδικασία, καθώς πολλές διαφορετικές προσεγγίσεις είναι εφικτές. Αρκετοί οργανισµοί επιδιώκουν να δηµιουργήσουν µία Αποθήκη εδοµένων που ϑα περιέχει αναλυτικά δεδοµένα από όλες τις δραστηριότητες του οργανισµού. Πρόκειται για ένα πολύπλοκο εγχείρηµα που απαιτεί µεγάλο κόστος για να επιτύχει [23]. Βασικός παράγοντας για την επιτυχία των Αποθηκών εδοµένων είναι η ορθή τροφοδοσία της Απο- ϑήκης εδοµένων από τις πηγές. Η διαδικασία µεταφοράς δεδοµένων από τις πηγές στην Αποθήκη εδοµένων είναι αρκετά πολύπλοκη, καθώς πολλά προβλήµατα πρέπει να αντιµετωπισθούν. Τα ϐή- µατα που ακολουθούνται κατά τη µεταφορά των δεδοµένων, παρουσιάζονται στο Σχήµα 1.1. Πηγή Εξαγωγή Μετατροπή Ολοκλήρωση Εισαγωγή Αποθήκη εδοµένων Σχήµα 1.1: ιαδικασία µεταφοράς δεδοµένων Για κάθε πηγή που χρησιµοποιούµε στο σύστηµα, εγκαθιστούµε λογισµικό που αντλεί τα δεδοµένα από την πηγή, τα καθαρίζει, κρατώντας µόνο αυτά που είναι πραγµατικά χρήσιµα και τα µετασχηµατίζει µε ϐάση ένα καθορισµένο πρότυπο. Οι µετατροπές που γίνονται στα δεδοµένα αφορούν

19 1.2. ιεργασίες Εξαγωγής Μετασχηµατισµού Φόρτωσης εδοµένων 3 τόσο τη δοµή, όσο και την τιµή τους. Για παράδειγµα, το πεδίο Ηµεροµηνία ενός πίνακα µπορεί να µετασχηµατιστεί στα πεδία Χρόνος, Μήνας και Ηµέρα, ενώ οι τιµές του πεδίου Χαρακτηρισµός είναι πιθανόν να µετατραπούν από Α, Β κ.λ.π. σε 1, 2 κ.λ.π. αντίστοιχα. Αυτό το λογισµικό υλοποιείται µε ϐάση τα ιδιαίτερα χαρακτηριστικά κάθε πηγής και εγκαθίσταται σε υπολογιστές µε άµεση πρόσβαση στα δεδοµένα της πηγής. Οι Αποθήκες εδοµένων χρησιµοποιούν ποικίλα εργαλεία για εξαγωγή. Η εξαγωγή δεδοµένων από τις αποµακρυσµένες πηγές συχνά υλοποιείται µέσω πυλών (gateways) και καθιερωµένων προτύπων διασύνδεσης εφαρµογών (όπως ODBC, Oracle Open Connect, Information Builders EDA/SQL, κ.λ.π.). Εξωτερικά εργαλεία που εγκαθίστανται για κάθε διαφορετική πηγή δεδοµένων αναλαµβάνουν την εξαγωγή των δεδοµένων από τις πηγές. Παράλληλα, εκτελούν και µία πρώτη επεξεργασία των δεδοµένων αυτών. Καθώς οι Αποθήκες εδοµένων χρησιµοποιούνται για στρατηγικές αποφάσεις, επιβάλλεται να περιέχουν σωστά δεδοµένα. Στις διάφορες πηγές όπου υπάρχει µεγάλος όγκος δεδοµένων, είναι πολύ πιθανόν να υπάρχουν λάθη ή ανωµαλίες. ιάφορα εργαλεία ϐοηθούν στη διάγνωση των ανωµαλιών των δεδοµένων και στη διόρθωσή τους, όπου αυτό είναι εφικτό. Ως περιπτώσεις όπου ο καθαρισµός των δεδοµένων είναι σηµαντικός, αναφέρονται : ασυνέπειες στο µήκος των πεδίων διαφορετικών πηγών, ασυνέπειες σχετικά µε την περιγραφή των δεδοµένων, ασυνεπείς τιµές δεδοµένων, απουσίες εγγραφών και παραβίαση περιορισµών ακεραιότητας. 1.2 ιεργασίες Εξαγωγής Μετασχηµατισµού Φόρτωσης εδοµένων Για ένα µεγάλο διάστηµα στο παρελθόν, η έρευνα αντιµετώπιζε τις Αποθήκες εδοµένων ως συλλογές υλοποιηµένων όψεων. Αν και αυτή η ϑεώρηση είναι κοµψή και πιθανώς επαρκής για το σκοπό της εξέτασης εναλλακτικών στρατηγικών για τη διατήρηση όψεων, κρίνεται ανεπαρκής για την περιγραφή της δοµής και των περιεχοµένων µίας Αποθήκης εδοµένων. Στην αγορά κυκλοφορούν εξειδικευ- µένα εργαλεία, υπό το γενικό χαρακτηρισµό εργαλεία Εξαγωγής Μετασχηµατισµού Φόρτωσης (ΕΜΦ) (Extraction Transformation Loading ETL), µε σκοπό να διευκολύνουν και να χειριστούν τις λειτουργικές διαδικασίες των Αποθηκών εδοµένων. Τα εργαλεία ΕΜΦ αναλαµβάνουν το έργο της διατήρησης της οµοιογένειας, του καθαρισµού και της ϕόρτωσης µίας Αποθήκης εδοµένων. Το κόστος αυτών των εργασιών υπολογίζεται ότι ανέρχεται στο ένα τρίτο της συνολικής εργασίας και των εξόδων στον προϋπολογισµό µίας Αποθήκης εδοµένων, ενώ ο χρόνος ανάπτυξής τους µπορεί να ϕτάσει ως και το 80% του συνολικού χρόνου ανάπτυξης µίας Αποθήκης εδοµένων [46]. Παρόλα αυτά, κυρίως λόγω της πολυπλοκότητας, του κόστους και της δύσκολης προσαρµογής των έτοιµων πακέτων στις ανάγκες κάθε εταιρίας, πολλοί οργανισµοί αναπτύσσουν µόνοι τους εργαλεία για την εκτέλεση εργασιών ΕΜΦ, προσαρµοσµένα στις ανάγκες των εκάστοτε περιστάσεων. Για να δώσουµε µία γενική ιδέα της λειτουργικότητας αυτών των εργαλείων, αναφέρουµε τις πιο χαρακτηριστικές λειτουργίες τους, που περιλαµβάνουν : (α) τον εντοπισµό της σχετικής πληροφορίας στην πλευρά της πηγής, (ϐ) την εξαγωγή της πληροφορίας αυτής, (γ) την προσαρµογή και την ενοποίηση πληροφορίας προερχόµενης από πολλαπλές πηγές σε µία κοινή µορφή, (δ) τον καθαρισµό του παρα-

20 4 Κεφάλαιο 1. Εισαγωγή γόµενου συνόλου δεδοµένων µε ϐάση τους κανόνες της ϐάσης δεδοµένων αλλά και άλλους λογικούς κανόνες, (ε) την προώθηση των δεδοµένων στην Αποθήκη εδοµένων και/ή στις αποθηκευµένες όψεις. Στη συνέχεια, ϑα υιοθετήσουµε το όνοµα ΕΜΦ τόσο για τις διεργασίες ΕΜΦ, όσο και για αυτές του καθαρισµού δεδοµένων. Εξαγωγή Μετασχηµατισµός & Καθαρισµός Φόρτωση Πηγές Μεταβατική Περιοχή Αποθήκευσης εδοµένων Αποθήκη εδοµένων Σχήµα 1.2: Το περιβάλλον των διεργασιών ΕΜΦ Στο Σχήµα 1.2 περιγράφεται το γενικό πλαίσιο των διεργασιών ΕΜΦ. Στο κατώτερο επίπεδο απεικονί- Ϲονται τα σηµεία αποθήκευσης των δεδοµένων που εµπλέκονται στην όλη διαδικασία. Στην αριστερή πλευρά, παρατηρούµε τους αρχικούς προµηθευτές πηγές δεδοµένων. Συνήθως, ως πηγές δεδοµένων ϑεωρούνται σχεσιακές ϐάσεις δεδοµένων και αρχεία. Τα δεδοµένα από τις πηγές αυτές εξάγονται από ϱουτίνες εξαγωγής (όπως ϕαίνεται στο πάνω αριστερά µέρος του Σχήµατος 1.2, οι οποίες παρέχουν είτε ολοκληρωµένα στιγµιότυπα των πηγών, είτε τις εκάστοτε διαφορές τους. Στη συνέχεια, τα εξαγόµενα δεδοµένα µεταφέρονται στη Μεταβατική Περιοχή Αποθήκευσης εδοµένων (ΜΠΑ ) όπου µετασχηµατίζονται και καθαρίζονται πριν ϕορτωθούν στην Αποθήκη εδοµένων. Η Αποθήκη εδοµένων απεικονίζεται στο δεξί µέρος του κατώτερου επιπέδου και αποτελεί τον τελικό προορισµό αποθήκευσης των δεδοµένων. Η ϕόρτωση της Αποθήκης εδοµένων γίνεται από αντίστοιχες ϱουτίνες που απεικονίζονται στο πάνω δεξί µέρος του σχήµατος. Η σχετική ϐιβλιογραφία έχει αποδώσει διάφορα χαρακτηριστικά στις διεργασίες ΕΜΦ. Καταρχάς, µπορούµε να τις χαρακτηρίσουµε πολυσύνθετες. Η διαδικασία ανανέωσης µίας Αποθήκης εδοµένων µπορεί να αποτελείται από πολλές διαφορετικές υπολειτουργίες, όπως ο καθαρισµός των δεδοµένων, η αρχειοθέτηση, οι µετασχηµατισµοί και η συνένωση, συνδεδεµένα µεταξύ τους µε ένα πολυσύνθετο σχέδιο. Επιπλέον, οι διαδικασίες αυτές είναι πολύ σηµαντικές για την ορθότητα, την πληρότητα και την ενηµερότητα των περιεχοµένων της Αποθήκης εδοµένων, καθώς όχι µόνο διευκολύνουν τη

21 1.2. ιεργασίες Εξαγωγής Μετασχηµατισµού Φόρτωσης εδοµένων 5 ϕόρτωσή της µε δεδοµένα, αλλά και είναι υπεύθυνες για την οµοιογένεια της δοµής τους και την απόρριψη εσφαλµένων και ασυνεπών εγγραφών. Η διπλωµατική αυτή γίνεται στα πλαίσια του προγράµµατος Αρκτος ΙΙ ([1]). Το Άρκτος ΙΙ είναι ένα εσωτερικό πρόγραµµα του Εργαστηρίου Συστηµάτων Βάσεων Γνώσεων και εδοµένων (ΕΣΒΓ ) του Ε.Μ.Π, που αποσκοπεί στη µοντελοποίηση και επεξεργασία διεργασιών ΕΜΦ. Στα πλαίσια του προγράµµατος αυτού, µελετώνται τα διάφορα στάδια του κύκλου Ϲωής των Αποθηκών εδοµένων. Σκοπός της εργασίας µας είναι ο χειρισµός και η ϐελτιστοποίηση του σχεδιασµού και της υλοποίησης διεργασιών ΕΜΦ, τόσο κατά το αρχικό στάδιο σχεδιασµού και ανάπτυξης, όσο και κατά τη διάρκεια της συνεχούς εξέλιξης της Αποθήκης εδοµένων. Στη διερεύνηση του παραπάνω προβλήµατος, πρέπει να αποσαφηνιστεί η ϑέση των διεργασιών ΕΜΦ στον κύκλο Ϲωής αποθήκης δεδοµένων µίας Αποθήκης εδοµένων. Οπως µπορούµε να δούµε στο Σχήµα 1.3, ο κύκλος Ϲωής µίας Αποθήκης εδοµένων ξεκινά µε ένα στάδιο Ανάστροφης Σχεδίασης και Συλλογής Απαιτήσεων, κατά την οποία τα δεδοµένα αναλύονται ώστε να κατανοηθεί η δοµή και το περιεχόµενό τους. Ταυτόχρονα, συλλέγονται οι διάφορες απαιτήσεις από την πλευρά των χρηστών (συνήθως λίγοι διαχειριστές). Το προϊόν αυτού το σταδίου είναι ένα Εννοιολογικό Μοντέλο για τις πηγές δεδοµένων και τις διεργασίες [47]. Σε δεύτερη ϕάση, και συγκεκριµένα στο στάδιο Λογικού Σχεδιασµού, κατασκευάζεται το λογικό σχήµα της Αποθήκης εδοµένων και των διεργασιών της [48]. Αποτέλεσµα αυτής της ϕάσης είναι ένα Λογικό Μοντέλο για τις διεργασίες ΕΜΦ. Στο τρίτο στάδιο, το λογικό σχήµα και οι διαδικασίες εµπλουτίζονται µε ϐάση τις επιλογές όσον αφορά στις συγκεκριµένες ϕυσικές δοµές στην Αποθήκη εδοµένων (π.χ. ευρετήρια) και στις ανάλογες παραµέτρους του περι- ϐάλλοντος εκτέλεσης των λειτουργικών διαδικασιών. Αυτό το στάδιο ονοµάζεται Ρύθµιση, και το προϊόν του Φυσικό Μοντέλο του περιβάλλοντος. Σε ένα τέταρτο στάδιο, αυτό της Κατασκευής Λογισµικού, το κατάλληλο λογισµικό δηµιουργείται, ελέγχεται και αξιολογείται και κατασκευάζεται µια πρώτη έκδοση της Αποθήκης εδοµένων. Η όλη διαδικασία καθοδηγείται από συγκεκριµένες Μετρήσεις Λογισµικού. Στη συνέχεια, ο κύκλος ξενικά από την αρχή, καθώς οι απαιτήσεις των χρηστών, οι πηγές δεδοµένων ιαχείριση Αποθήκης εδοµένων Μετρήσεις Λογικό Μοντέλο Λογικός Σχεδιασµός Ρύθµιση Φυσικό Μοντέλο Εννοιολογικό Μοντέλο Ανάστροφη Σχεδίαση και Συλλογή Απαιτήσεων Κατασκευή Λογισµικού Μετρήσεις Λογισµικού Σχήµα 1.3: Ο κύκλος Ϲωής της Αποθήκης εδοµένων και των διεργασιών ΕΜΦ αυτής

22 6 Κεφάλαιο 1. Εισαγωγή και η Αποθήκη εδοµένων ϐρίσκονται σε συνεχή εξέλιξη. Ενα επιπλέον στοιχείο που εµφανίζεται στο προσκήνιο µετά την ανάπτυξη της Αποθήκης εδοµένων, είναι αυτό της ιαχείρισης του συστήµατος, το οποίο απαιτεί µε τη σειρά του ειδικές µετρήσεις για τη συντήρηση και την επίβλεψη της Αποθήκης εδοµένων. Μέχρι τώρα έχουν γίνει εργασίες και έχουµε αποκοµίσει συµπεράσµατα όσον αφορά τη ϑεωρητική µελέτη των ϕάσεων εννοιολογικής και λογικής σχεδίασης, καθώς και ϐελτιστοποίησης διεργασιών ΕΜΦ. Στα πλαίσια αυτά, αναπτύσσεται ένα πρότυπο εργαλείο σχεδίασης και επεξεργασίας διεργασιών ΕΜΦ, που ονοµάζεται Αρκτος ΙΙ. Στα Σχήµατα 1.4 και 1.5, παρουσιάζεται η αρχιτεκτονική του προγράµµατος. Repository DB Αποθήκη εδοµένων DB ΑΡΚΤΟΣ ΙΙ Σχήµα 1.4: Γενική Αρχιτεκτονική του Αρκτος ΙΙ [39] Repository Μετα- εδοµένων Βιβλιοθήκη Προτύπων Repository Εννοιολογικό GUI Λογικό GUI Βελτιστοποιητής Main Modules ΑΡΚΤΟΣ ΙΙ DB Αποθήκη εδοµένων Εξωτερικές Βάσεις εδοµένων Σχήµα 1.5: Βασικά modules του Αρκτος ΙΙ [39] Το λογικό GUI έχει γίνει στο [41], ενώ ο ϐελτιστοποιητής έχει γίνει στο [40].

23 1.3. Στόχος Στόχος Αυτή η διπλωµατική αποσκοπεί στη σχεδίαση και υλοποίηση GUI για το εννοιολογικό µοντέλο διεργασιών Εξαγωγής Μετασχηµατισµού Φόρτωσης εδοµένων που προτείνεται στο [46]. Συγκεκριµένα, ϑέλουµε να κατασκευάσουµε ένα εργαλείο που να προσφέρει ένα εύχρηστο γραφικό περιβάλλον για τη δηµιουργία σεναρίων ΕΜΦ κατά το πρώτο στάδιο (στάδιο Ανάστροφης Σχεδίασης και Συλλογής Απαιτήσεων) ανάπτυξης µίας Αποθήκης εδοµένων. Με δεδοµένο ότι αναφερόµαστε στα αρχικά στάδια σχεδίασης ενός έργου Αποθήκης εδοµένων, απαίτησή µας είναι, κυρίως, η γρήγορη δηµιουργία ενός σεναρίου, και όχι ο πλήρης και αυστηρός ορισµός του αυτό γίνεται στο στάδιο της λογικής σχεδίασης. Για το σκοπό αυτό, το εργαλείο που ϑα κατασκευάσουµε ϑα πρέπει να δένει αρµονικά µε το εργαλείο για την ανάπτυξη λογικών σεναρίων ([41]) που υπάρχει ήδη στο πρόγραµµα Αρκτος ΙΙ, στοχεύοντας έτσι στη δηµιουργία µίας ολοκληρωµένης πλατφόρµας για τη σχεδίαση και υλοποίηση ενός εργαλείου EMF για έργα Αποθηκών εδοµένων. Το µεγαλύτερο όφελος που επιθυµούµε να αποκοµίσουµε από τη χρήση του µοντέλου γραφικής αναπαράστασης των σεναρίων, και κατ επέκταση του εργαλείου, είναι η δηµιουργία µίας εποπτικής εικόνας του σεναρίου, έτσι ώστε να διευκολυνθεί η εξέλιξη του σεναρίου και να διορθωθούν τυχόν σφάλµατα σχεδίασης της Αποθήκης εδοµένων. Τα σενάρια που ϑα σχεδιάζονται στο εργαλείο ϑα µπορούν να γίνουν ϑέµατα συζήτησης και έτσι να συνεισφέρουν ϑετικά στην ανάπτυξη της Αποθήκης. 1.4 οµή ιπλωµατικής Ο τόµος που κρατάτε στα χέρια σας αποτελείται από 6 κεφάλαια και αναλύει πλήρως την ανάπτυξη της εργασίας. Το Κεφάλαιο 2 εστιάζει την προσοχή του στο εννοιολογικό τµήµα του ορισµού των διεργασιών ΕΜΦ, όπως αυτό περιγράφεται στο [47]. Συγκεκριµένα, ασχολείται µε τα αρχικά στάδια του σχεδιασµού της Αποθήκης εδοµένων. Κατά τη διάρκεια αυτής της ϕάσης, ο σχεδιαστής της Αποθήκης εδοµένων ενδιαφέρεται για δύο διαδικασίες, οι οποίες εκτελούνται παράλληλα. Η πρώτη διαδικασία περιλαµβάνει τη συλλογή των απαιτήσεων του χρήστη. Η δεύτερη διαδικασία, η οποία είναι ίσης σπουδαιότητας για την επιτυχία της ανάπτυξης της Αποθήκης εδοµένων, περιλαµβάνει την ανάλυση της δοµής των πηγών δεδοµένων που υπάρχουν ήδη και την τελική αντιστοίχηση τους στο µοντέλο της Αποθήκευσης εδοµένων. Το Κεφάλαιο 3 δίνεται µία σύντοµη περιγραφή του λογικού µοντέλου που περιγράφεται στο [46]. Αυτό γίνεται για να να αποκτήσει ο αναγνώστης τα απαραίτητα στοιχεία για το λογικό µοντέλο, έτσι ώστε να κατανοήσει ευκολότερα τη µετάβαση από το εννοιολογικό στο λογικό µοντέλο που δίνεται στο επόµενο κεφάλαιο. Στο Κεφάλαιο 4 παρουσιάζεται µία µεθοδολογία για τη µετάβαση από το εννοιολογικό στο λογικό

24 8 Κεφάλαιο 1. Εισαγωγή µοντέλο. Αρχικά, γίνεται µία εισαγωγή και περιγράφονται οι λόγοι που µας οδήγησαν στην ανάγκη για τη µετάβαση από το εννοιολογικό στο λογικό µοντέλο. Στη συνέχεια, περιγράφεται αναλυτικά η διαδικασία µετάβασης καθώς και προβλήµατα που προκύπτουν κατά τη µετάβαση µε τη λύση τους. Το Κεφάλαιο 5 παρουσιάζονται ερευνητικές προσπάθειες για τη µοντελοποίηση, τόσο σε εννοιολογικό, όσο και σε λογικό επίπεδο, των διεργασιών ΕΜΦ. Παράλληλα, παρουσιάζονται µερικά εµπορικά εργαλεία για το σκοπό αυτό. Στο Κεφάλαιο 6 αναλύεται η σχεδίαση και η ανάπτυξη του εργαλείου. Αρχικά, δίνεται µία περιγραφή της αρχιτεκτονικής του συστήµατος και προσδιορίζονται τα λογικά τµήµατα που το αποτελούν. Στη συνέχεια, αναλύονται και περιγράφονται αναλυτικά οι δυνατότητες που παρέχει στο χρήστη. Στο Κεφάλαιο 7 γίνεται µία περιγραφή της υλοποίησης του συστήµατος. Αρχικά τεκµηριώνεται η επιλογή της πλατφόρµας και των προγραµµατιστικών εργαλείων που επιλέχθηκαν για την ανάπτυξη. Στη συνέχεια, ο κώδικας της εφαρµογής χωρίζεται σε ενότητες και παρατίθεται µία σειρά από διαγράµ- µατα UML που αφορούν τις συσχετίσεις µεταξύ των κλάσεων, των ϕορµών, των λειτουργικών µονάδων και των συστατικών στοιχείων τους. Τέλος, περιγράφεται το σχήµα του repository που χρησιµοποιείται για την αποθήκευση των σεναρίων. Στο Κεφάλαιο 8 περιγράφεται η ϕιλοσοφία χρήση του εργαλείου. ίνονται στιγµιότυπα των εργαλειο- ϑηκών και των µενού του εργαλείου και παρουσιάζονται συνοπτικά οι διάφορες οθόνες µε τις οποίες ϑα έρθει αντιµέτωπος ο χρήστης στην προσπάθειά του να υλοποιήσει ένα εννοιολογικό σενάριο. Το Κεφάλαιο 9 αποτελεί τον επίλογο της διπλωµατικής. Στο κεφάλαιο αυτό παρουσιάζονται τα οφέλη που αποκοµίσθηκαν κατά την εκπόνηση της διπλωµατικής αυτής καθώς και τα συµπεράσµατα στα οποία καταλήξαµε. Τέλος, παρουσιάζουµε εισηγήσεις για µελλοντικές επεκτάσεις.

25 Μέρος I Μοντελοποίηση ιεργασιών ΕΜΦ 9

26

27 2 Ενα Εννοιολογικό Μοντέλο ιεργασιών ΕΜΦ Το κεφάλαιο αυτό οργανώνεται ως εξής : Στην ενότητα 2.1 παρουσιάζεται το εννοιολογικό µοντέλο για διεργασίες ΕΜΦ και στην ενότητα 2.2 παρουσιάζεται µια µεθοδολογία για τη χρήση του. Στην ενότητα 2.3 παρουσιάζεται ένα µετα-µοντέλο µε δύο ϐασικά χαρακτηριστικά : τη γενίκευση και την επεκτασιµότητα. Τέλος, στην ενότητα 2.4 καταγράφονται τα συµπεράσµατα της συγκεκριµένης µελέτης, καθώς και κάποια ερευνητικά ϑέµατα που προκύπτουν και αποτελούν αντικείµενα περαιτέρω µελέτης στο µέλλον. 2.1 Εννοιολογικό Μοντέλο Στην ενότητα αυτή παρουσιάζεται ένα εννοιολογικό µοντέλο για διεργασίες ΕΜΦ. Ο σκοπός είναι να εντοπιστούν σε υψηλό επίπεδο οι οντότητες που χρησιµοποιούνται για τη σύλληψη της σηµασιολογίας των διεργασιών ΕΜΦ. Αρχικά, παρουσιάζονται οι γραφικοί συµβολισµοί και το µετα-µοντέλο. Επειτα, διευκρινίζονται τα δοµικά συστατικά του µοντέλου µέσω ενός χαρακτηριστικού παραδείγµατος. Στο Σχήµα 2.1 απεικονίζονται γραφικά οι διάφορες οντότητες για το µοντέλο που προτείνεται στο [47]. εν υιοθετούνται συµβολισµοί UML για τις έννοιες και τα γνωρίσµατα, καθώς τα γνωρίσµατα στο µοντέλο αυτό, ϑεωρούνται ως πολίτες πρώτης τάξης. Κατά συνέπεια, τα γνωρίσµατα δεν περιλαµβάνονται στον ορισµό της οντότητας όπου ανήκουν, όπως για παράδειγµα µία κλάση UML ή ένας σχεσιακός πίνακας. Το µοντέλο είναι ορθόγωνο µε τα εννοιολογικά µοντέλα που έχουν προταθεί για Αποθήκες εδοµένων σχήµατος αστέρα. Στην πραγµατικότητα, η σχετική εργασία που έχει γίνει για 11

28 12 Κεφάλαιο 2. Ενα Εννοιολογικό Μοντέλο ιεργασιών ΕΜΦ έννοια γνώρισµα µετασχηµατισµός σχολιο περιορισµός ΕΜΦ σχέση παροχής 1:1 σχέση παροχής Ν:Μ σειριακή σύνθεση ενεργός υποψήφιος σχέση µέρους υποψήφιος 1... υποψήφιος ν {XOR} στόχος Σχήµα 2.1: Γραφικοί συµβολισµοί για το εννοιολογικό µοντέλο των διεργασιών ΕΜΦ το front end των Αποθηκών εδοµένων, µπορεί να συνδυαστεί µε το προτεινόµενο µοντέλο, που είναι σαφώς προσανατολισµένο στο back end της Αποθήκης εδοµένων. Στο Σχήµα 2.2 απεικονίζονται οι ϐασικές οντότητες του προτεινόµενου στο [47] µετα-µοντέλου, ως διάγραµµα UML. Ολα τα συστατικά του εννοιολογικού µοντέλου που εισάγονται στη συνέχεια, ανα- ϕέρονται στις οντότητες του Σχήµατος γνώρισµα «metaclass» Περιορισµός ΕΜΦ +µετασχηµατισµός 1 «metaclass» Σχέση Μέρους 1 «metaclass» Μετασχηµατισµός +όνοµα +σύµβολο 1 * 1 1 +εισαγωγικό +συνεπακόλουθο «metaclass» Σειριακή Σύνθεση -είσοδος * * «metaclass» Γνώρισµα +όνοµα 1 +µετασχηµατισµός Ετικέτα +περιεχόµενο «metaclass» Σχέση Παροχής * +είσοδος 1 * +έξοδος 1 1 +σχήµα «metaclass» Έννοια +όνοµα * * 1 +υποψήφιος «metaclass» Υποψήφιος «metaclass» Σχέση 1 +στόχος «metaclass» Ενεργός Υποψήφιος Σχήµα 2.2: Το προτεινόµενο µετα-µοντέλο ως διάγραµµα UML

29 2.1. Εννοιολογικό Μοντέλο 13 Παράδειγµα. Για τη διευκόλυνση της παρουσίασης του µοντέλου, χρησιµοποιούµε το ακόλουθο παράδειγµα. Θεωρούµε δύο ϐάσεις δεδοµένων, S1 και S2, και µία Αποθήκη εδοµένων, DW, που στο εξής ϑα αναφέρεται ως στόχος DW. Το σενάριο περιλαµβάνει τη διάδοση δεδοµένων από την έννοια PARTS(PKey, Qty, Cost) της πηγής S1, καθώς και από την έννοια PARTS(PKey, Date, Qty, Cost, Dept) της πηγής S2 στο στόχο DW. Στην Αποθήκη εδοµένων, η έννοια PARTS(PKey, Date, Qty, Cost) αποθηκεύει καθηµερινά (Date) πληροφορία για τη διαθέσιµη ποσότητα (Qty) και κόστος (Cost) των εξαρτηµάτων (PKey). Υποθέτουµε ότι η πρώτη ϐάση δεδοµένων ϐρίσκεται στην Ευρώπη, ενώ η δεύτερη στην Αµερική κατά συνέπεια, τα δεδοµένα που προέρχονται από τη δεύτερη πηγή ϑα πρέπει να προσαρµοστούν στις ευρωπαϊκές µονάδες και τυποποιήσεις. Επίσης, για την πρώτη ϐάση ϑεωρούµε ότι απαιτείται ο συνδυασµός πληροφορίας από δύο διαφορετικές έννοιες, στοιχείο που επιτυγχάνεται µε µια εξωτερική συνένωση των εννοιών PS1 και PS2. Το Σχήµα 2.3 απεικονίζει το πλήρως ανεπτυγµένο διάγραµµα του εννοιολογικού µοντέλου για αυτό το παράδειγµα. Στο υπόλοιπο αυτής της ενότητας ϑα εξηγήσουµε κάθε τµήµα του λεπτοµερώς Συστατικά του µοντέλου Σε αυτή την ενότητα παρουσιάζονται τα επιµέρους δοµικά συστατικά του µοντέλου. Περιγράφονται τα γνωρίσµατα, οι έννοιες, οι µετασχηµατισµοί, οι περιορισµοί ΕΜΦ και τα σχόλια. Επίσης, περιγρά- ϕονται τα διαφορετικά είδη σχέσεων που προβλέπει το εννοιολογικό µοντέλο : σχέση µέρους, σχέση υποψηφίου και σχέση παροχής. Τέλος, παρουσιάζεται η σειριακή σύνθεση µετασχηµατισµών που επεκτείνει τη δυνατότητα του µοντέλου να καλύψει πιο σύνθετες περιπτώσεις διεργασιών ΕΜΦ. Γνωρίσµατα. Το γνώρισµα αποτελεί τη στοιχειώδη µονάδα πληροφορίας στο µοντέλο. Ο ϱόλος των γνωρισµάτων είναι ο ίδιος όπως στα τυποποιηµένα διαγράµµατα Ο/Σ. Υιοθετούµε τη γραφική αναπαράσταση των γνωρισµάτων του τυποποιηµένου προτύπου Ο/Σ και απεικονίζουµε τα γνωρίσµατα µε οβάλ σχήµα. Εννοιες. Η έννοια αντιπροσωπεύει µία οντότητα στις πηγές ή στην Αποθήκη εδοµένων. Παραδείγµατα εννοιών είναι τα αρχεία δεδοµένων στις πηγές, οι πίνακες γεγονότων και διαστάσεων στην Αποθήκη εδοµένων κ.λ.π.. Η έννοια ορίζεται τυπικά από : 1. ένα όνοµα, και 2. ένα σύνολο γνωρισµάτων ενώ απεικονίζεται γραφικά µε ορθογώνιο σχήµα. Με ϐάση το µοντέλο Ο/Σ, η έννοια αποτελεί γενίκευση οντοτήτων και συσχετίσεων. Ανεξάρτητα όµως από το χρησιµοποιούµενο µοντέλο, είτε πρόκειται για επέκταση του µοντέλου Ο/Σ, είτε για το µοντέλο διαστάσεων, όλες οι οντότητες που συντίθενται από ένα σύνολο γνωρισµάτων, είναι γενικά στιγµιότυπα της κλάσης έννοια.

30 14 Κεφάλαιο 2. Ενα Εννοιολογικό Μοντέλο ιεργασιών ΕΜΦ Recent Parts Annual Parts {XOR} t::απαραίτητοι Παροχείς S1 και S2 t:: ιάρκεια < 4h U S2.PARTS DW.PARTS S1.PARTS PK PKey SK1 PKey SK2 PKey Date Qty f1 γ Date Qty f3 S2.PKey S2.Date Qty SUM(S2.Qty) SUM(S2.Cost) Cost f2 Cost NN Cost Dept f::$2 t::dollars to Euros f::a2edate t::american to European Date f::addattribute e::date=sysdate() f::join e::ps1.pkey+=ps2.pkey Σχήµα 2.3: ιάγραµµα του εννοιολογικού µοντέλου για το παράδειγµα PS1 PKey Qty Dept PS2 PKey Cost

31 2.1. Εννοιολογικό Μοντέλο 15 Οπως αναφέρεται στο [45], µπορούµε να χρησιµοποιήσουµε διάφορες ϕυσικές δοµές αποθήκευσης ως πεπερασµένες λίστες γνωρισµάτων, συµπεριλαµβανοµένων των σχεσιακών ϐάσεων δεδοµένων, αρχείων COBOL ή ASCII, πολυδιάστατων κύβων και διαστάσεων. Οι έννοιες είναι απόλυτα ικανές να µοντελοποιήσουν τέτοιου είδους δοµές, πιθανότατα µέσω ενός γενικευµένου (IsA) µηχανισµού. Ας ϑεωρήσουµε για παράδειγµα δοµές ΣΑΕ. Οι συσχετίσεις των επιπέδων και των τιµών, δε σχετίζονται µε την περίπτωση των διεργασιών ΕΜΦ. Η υιοθέτηση των εννοιών είναι αρκετή για το πρόβληµα µοντελοποίησης διεργασιών ΕΜΦ. Εξάλλου, µπορούµε να διασπάσουµε τη γενική δοµή Εννοια σε υποκλάσεις που ϑα ϕέρουν τα χαρακτηριστικά οποιασδήποτε από τις προαναφερθείσες προσεγγίσεις (π.χ. υποκλάσεις Πίνακας Γεγονότων και Πίνακας ιάσταση), επιτυγχάνοντας έτσι ένα οµοιογενή τρόπο για τη µεταχείριση µοντέλων ΣΑΕ και ΕΜΦ. Επιστρέφοντας στο παράδειγµα του Σχήµατος 2.3, παρατηρούµε τις έννοιες PS1, PS2, S1.PARTS, S2.PARTS και DW.PARTS µαζί µε τα γνωρίσµατά τους. Μετασχηµατισµοί. Ο µετασχηµατισµός αντιπροσωπεύει µέρος ή πλήρη ενότητα κώδικα, εκτελώντας µία συγκεκριµένη διαδικασία. ιαχωρίζουµε δύο γενικές κατηγορίες µετασχηµατισµών : (α) µετασχηµατισµούς που συντηρούν το σχήµα των εισερχόµενων δεδοµένων, όπως το ϕιλτράρισµα ή ο καθαρισµός των δεδοµένων (π.χ. έλεγχος για παραβάσεις πρωτεύοντος ή δευτερεύοντος κλειδιού), και (ϐ) µετασχηµατισµούς που µεταβάλλουν το σχήµα των εισερχόµενων δεδοµένων (π.χ. συνάθροιση). Τυπικά, ένας µετασχηµατισµός ορίζεται από (α) ένα πεπερασµένο σύνολο γνωρισµάτων εισόδου, (ϐ) ένα πεπερασµένο σύνολο γνωρισµάτων εξόδου, και (γ) ένα γραφικό σύµβολο που χαρακτηρίζει τη ϕύση του µετασχηµατισµού. Ο µετασχηµατισµός απεικονίζεται γραφικά µε ένα εξάγωνο σχήµα. Στο παράδειγµα του Σχήµατος 2.3, µπορούµε να δούµε αρκετούς µετασχηµατισµούς. Παρατηρήστε, λόγου χάρη, αυτούς που σχετίζονται µε τη διάδοση δεδοµένων από την έννοια S1.PARTS στην DW.PARTSUPP. Υπάρχει ένας µετασχηµατισµός ανάθεσης υποκατάστατου κλειδιού (κεψωορδσκ1), µία συνάρτηση υπολογισµού της ηµεροµηνίας συστήµατος (f1) και ένας έλεγχος για κενές τιµές (NN) στο γνώρισµα Cost. Οι µετασχηµατισµοί δε χρησιµοποιούνται ως αυτόνοµες οντότητες στο µοντέλο, αντίθετα αποτελούν µέρος άλλων δοµικών συστατικών αυτού. Κατά συνέπεια, περισσότερα για τη λειτουργία τους ϑα αναφερθούν κατά την περιγραφή των συστατικών που τους χρησιµοποιούν. Περιορισµοί ΕΜΦ. Σε αρκετές περιπτώσεις, ο σχεδιαστής ϑέλει να τονίσει το γεγονός ότι τα δεδοµένα µίας συγκεκριµένης έννοιας οφείλουν να πληρούν κάποιες απαιτήσεις. Για παράδειγµα, ο σχεδιαστής µπορεί να ϑέλει να επιβάλει ένα περιορισµό πρωτεύοντος κλειδιού ή ένα περιορισµό µη-µηδενικής τιµής σε ένα σύνολο γνωρισµάτων. Για να καλυφθούν τέτοιες ανάγκες εισάγονται οι περιορισµοί ΕΜΦ, που τυπικά ορίζονται ως : 1. ένα πεπερασµένο σύνολο γνωρισµάτων στα οποία εφαρµόζεται ο περιορισµός, και

32 16 Κεφάλαιο 2. Ενα Εννοιολογικό Μοντέλο ιεργασιών ΕΜΦ 2. ένας µετασχηµατισµός ο οποίος επιβάλλει τον περιορισµό. Σ αυτό το σηµείο πρέπει να τονιστεί ότι παρ όλη την οµοιότητα στο όνοµα, οι περιορισµοί ΕΜΦ είναι διαφορετικά στοιχεία µοντελοποίησης από τους γνωστούς περιορισµούς UML. Ενας περιορισµός ΕΜΦ απεικονίζεται γραφικά σαν ένα σύνολο από συνεχείς γραµµές που ξεκινούν από τα εµπλεκό- µενα γνωρίσµατα και καταλήγουν στο µετασχηµατισµό υλοποίησης του περιορισµού. Στο παράδειγ- µα του Σχήµατος 2.3, εφαρµόζεται ένας περιορισµός ΕΜΦ πρωτεύοντος κλειδιού (PK) στην έννοια DW.PARTSUPP που αφορά τα γνωρίσµατα PKey, SuppKey, Date. Σχόλια. Το σχόλιο, όπως ακριβώς και στη µοντελοποίηση UML αποτελεί µία άτυπη ετικέτα για να αποτυπωθούν πρόσθετα σχόλια που επιθυµεί να κάνει ο σχεδιαστής στη ϕάση σχεδιασµού, ή για να εκφράσει περιορισµούς που αφορούν κάποια στοιχεία ή σύνολα στοιχείων [7]. Στο εννοιολογικό µοντέλο που περιγράφουµε, τα σχόλια χρησιµοποιούνται για : 1. επεξηγήσεις στη σηµασιολογία των εφαρµοσµένων µετασχηµατισµών, και/ή 2. σύντοµα σχόλια που εξηγούν σχεδιαστικές αποφάσεις. Θεωρούµε ότι η πληροφορία που περιέχεται σε ένα σχόλιο της πρώτης κατηγορίας µας δηλώνει, είτε το είδος είτε µία έκφραση/συνθήκη µίας συνάρτησης, και προσαρτάται σε ένα µετασχηµατισµό ή σε ένα περιορισµό ΕΜΦ. Η πληροφορία ενός σχολίου της δεύτερης κατηγορίας είναι απλό κείµενο, χωρίς κάποια ειδική σηµασιολογία. Αυτού του τύπου σχόλια χρησιµοποιούνται για να καλύψουν της διαφο- ϱετικές πτυχές των διεργασιών ΕΜΦ, όπως ο προγραµµατισµός µε ϐάση το χρόνο ή κάποιο γεγονός, η επίβλεψη, η καταγραφή συµβάντων, η αντιµετώπιση λαθών, η ανάνηψη από κατάρρευση κ.λ.π.. Οπως και στη UML τα σχόλια απεικονίζονται ως ορθογώνια µε την πάνω δεξιά γωνία διπλωµένη. Τυπικά, ένα σχόλιο ορίζεται από : 1. ένα όνοµα, 2. κάποιο περιεχόµενο, το οποίο αποτελείται από µία ή περισσότερες προτάσεις της µορφής : <τύπος>::<κείµενο>. Τα διάφορα είδη πληροφορίας (προτάσεις) στο περιεχόµενο ενός σχολίου, χωρίζονται µε τη χρήση ενός προθέµατος πριν γραφεί το περιεχόµενο της πληροφορίας. Το πρόθεµα αυτό µπορεί να είναι (α) f:: για το είδος µίας συνάρτησης, (ϐ) e:: για µία έκφραση, ή (γ) t:: για απλό κείµενο. Για να διατηρηθεί το µοντέλο απλό, ο σχεδιαστής δεν είναι υποχρεωµένος να προσαρτήσει σχόλιο σε κάθε ένα µετασχηµατισµό ή περιορισµό ΕΜΦ. Ακόµα, δεν είναι υποχρεωµένος να ορίσει πληροφορία για κάθε ένα από τους τρεις παραπάνω τύπους σε κάθε σχόλιο. Στο παράδειγµα 1 (Σχήµα 2.3), παρατηρούµε αρκετά σχόλια της πρώτης κατηγορίας, συνηµµένα στους µετασχηµατισµούς f1, f2, f3 και +. Για παράδειγµα, το σχόλιο που είναι συνηµµένο στο µετασχηµατισµό f3 υποδεικνύει ότι το είδος του προτύπου του µετασχηµατισµού είναι AddAttribute και η

33 2.1. Εννοιολογικό Μοντέλο 17 έκφραση που απαιτείται για τη στιγµιοτυποποίηση είναι Date=SysDate(). Η χρήση των τύπων συναρτήσεων και των εκφράσεων γίνεται για την απεικόνιση των µετασχηµατισµών του εννοιολογικού µοντέλου σε κάποια πρότυπη διεργασία του λογικού µοντέλου. Το ϑέµα αυτό εξετάζεται στο Κεφάλαιο 4, ενώ ο αναγνώστης µπορεί να ϐρει περισσότερες λεπτοµέρειες στο [46]. Επιπλέον, τα σχόλια χρησιµοποιούνται σαν περιορισµοί χρόνου εκτέλεσης για την αναγνώριση των ιδιοτήτων που πρέπει να πληρούνται. Για παράδειγµα, στο πάνω µέρος του Σχήµατος 2.3, µπορούµε να δούµε ένα περιορισµό χρόνου εκτέλεσης που υποδηλώνει ότι η διάρκεια της ϕόρτωσης της DW.PARTS (που περιλαµβάνει τη ϕόρτωση των S1.PARTS και S2.PARTS) δεν µπορεί να ξεπεράσει τις 4 ώρες. Σχέσεις Υποψηφίου. Στη σχεδίαση Αποθηκών εδοµένων, είναι πολύ συνηθισµένο, ειδικά στα πρώτα στάδια σχεδιασµού του έργου, να υπάρχουν περισσότερες από µία πιθανές έννοιες (πηγές) για τη ϕόρτωση µίας έννοιας (στόχου) στην Αποθήκη εδοµένων. Κάθε µία από τις πιθανές έννοιες ονοµά- Ϲεται υποψήφια. Εποµένως, οι σχέσεις υποψηφίου χρησιµοποιούνται για να υποδηλώσουν το γεγονός ότι ενδέχεται να υπάρχει ένα σύνολο πηγών ικανών να διαδώσουν δεδοµένα σε µία συγκεκριµένη έννοια. Τυπικά, µία σχέση υποψηφίου περιλαµβάνει : 1. ακριβώς µία υποψήφια έννοια, και 2. ακριβώς µία έννοια στόχο. Οι σχέσεις υποψηφίου απεικονίζονται µε έντονες διακεκοµµένες γραµµές, µεταξύ των υποψηφίων και της έννοιας στόχου. Οταν ακριβώς µία από αυτές πρέπει να επιλεγεί, σηµειώνουµε το σύνολο των σχέσεων για τη συγκεκριµένη έννοια µε ένα περιορισµό UML {XOR}. Σχέσεις Ενεργού Υποψηφίου. Μία σχέση ενεργού υποψηφίου εκφράζει το γεγονός ότι, από ένα σύνολο υποψηφίων πηγών για µία έννοια, µόνο ένας υποψήφιος επιλέγεται για να τροφοδοτήσει τη συγκεκριµένη έννοια. Ο υποψήφιος που τελικά επιλέγεται ονοµάζεται ενεργός υποψήφιος. Κατά συνέπεια, µία σχέση ενεργού υποψηφίου είναι µια εξειδίκευση της σχέσης υποψηφίου µε την ίδια δοµή, αλλά πιο αυστηρή σηµασιολογία. Η σχέση ενεργού υποψηφίου συµβολίζεται γραφικά µε ένα έντονο διακεκοµµένο ϐέλος από την έννοια πηγή στην έννοια στόχο. Στο παράδειγµα του Σχήµατος 2.3, υποθέτουµε ότι η πηγή S2 διαθέτει περισσότερα από ένα συστήµατα παραγωγής (π.χ. αρχεία COBOL), τα οποία χαρακτηρίζονται ως υποψήφια για το S2.PARTS. Ετσι οι διαθέσιµοι υποψήφιοι (που απεικονίζονται στο πάνω αριστερά τµήµα του Σχήµατος 2.3) είναι : Μία έννοια Annual Parts (στην πράξη απεικονίζει ένα αρχείο F1), η οποία περιέχει το πλήρες ετήσιο ιστορικό των προµηθευτών εξαρτηµάτων. Η κύρια χρήση της αφορά σε αναφορές και περιέχει ένα υπερσύνολο των γνωρισµάτων που χρειάζονται για τις ανάγκες τις Αποθήκης εδοµένων.

34 18 Κεφάλαιο 2. Ενα Εννοιολογικό Μοντέλο ιεργασιών ΕΜΦ Μία έννοια Recent Parts (στην πράξη απεικονίζει ένα αρχείο F2), η οποία περιέχει µόνο τα στοιχεία του τελευταίου µήνα. Χρησιµοποιείται συνεχώς από τους τελικούς χρήστες για την εισαγωγή ή την ανανέωση των δεδοµένων, όπως επίσης και από µερικά προγράµµατα αναφορών. Στο Σχήµα 2.3 παρατηρούµε επίσης, ότι η έννοια Recent Parts επιλέχθηκε ως ενεργή υποψήφια. Σχέσεις Παροχής. Μία σχέση παροχής απεικονίζει ένα σύνολο γνωρισµάτων εισόδου σε ένα σύνολο γνωρισµάτων εξόδου µέσω ενός µετασχηµατισµού. Στην απλή 1:1 περίπτωση, οι σχέσεις παροχής εκφράζουν το γεγονός ότι ένα γνώρισµα εισόδου των πηγών δεδοµένων µεταφέρεται σε ένα γνώρισµα εξόδου στην Αποθήκη εδοµένων. Αν τα γνωρίσµατα είναι ϕυσικά και σηµασιολογικά ισοδύναµα, τότε δεν απαιτείται µετασχηµατισµός. Σε αντίθετη περίπτωση, η αντιστοίχηση µεταξύ των γνωρισµάτων γίνεται µέσω κατάλληλου µετασχηµατισµού (π.χ. µετατροπή ηµεροµηνίας από ευρωπαϊκή σε αµερικάνικη µορφή, έλεγχος για κενές τιµές, κ.λ.π.). Γενικά, υπάρχει η περίπτωση αλλαγής του σχήµατος των δεδοµένων εισόδου. σχέσεις παροχής τυπικά ορίζονται από : Κατά συνέπεια, οι 1. ένα πεπερασµένο σύνολο γνωρισµάτων εισόδου, 2. ένα πεπερασµένο σύνολο γνωρισµάτων εξόδου, και 3. ένα κατάλληλο µετασχηµατισµό (τέτοιο ώστε τα γνωρίσµατα εισόδου και εξόδου του να απεικονίζονται ένα προς ένα µε τα αντίστοιχα γνωρίσµατα της σχέσης). Στην περίπτωση 1:1, µία σχέση παροχής απεικονίζεται µε έντονο ϐέλος από το γνώρισµα εισόδου στο γνώρισµα εξόδου, ενώ πάνω στο ϐέλος σηµειώνεται ο µετασχηµατισµός που χρησιµοποιείται. Στη γενική περίπτωση N:M, µία σχέση προµηθευτή απεικονίζεται σαν ένα σύνολο από έντονα ϐέλη από τα γνωρίσµατα εισόδου, προς τα γνωρίσµατα εξόδου, µέσω κατάλληλου µετασχηµατισµού. Η γραφική αναπαράσταση της σχέσης παροχής N:M αποκρύπτει την απεικόνιση µεταξύ των γνωρισµάτων εισόδου και εξόδου. Για να αντισταθµιστεί αυτό το µειονέκτηµα, η σύνδεση της σχέσης παροχής µε κάθε ένα από τα εµπλεκόµενα γνωρίσµατα εξόδου συνοδεύεται από µία ετικέτα, ώστε να µην υπάρχει αµφιβολία για τον προµηθευτή ενός γνωρίσµατος εξόδου. Για παράδειγµα, στο Σχήµα 2.3 η σχέση παροχής που αφορά το µετασχηµατισµό γ είναι N:M. Για να µην υπάρχει αµφιβολία για την ένα προς ένα απεικόνιση των γνωρισµάτων εξόδου σε αυτά της εισόδου, η σύνδεση της σχέσης µε τα γνωρίσµατα εξόδου συνοδεύεται από µία ετικέτα για κάθε γνώρισµα εξόδου που ϕέρει το όνοµα του αντίστοιχου γνωρίσµατος εισόδου. Τέλος, ϑα πρέπει να σηµειωθεί µια συντακτική προσθήκη στο µοντέλο αυτό. Μερικές ϕορές τυχαίνει µία συγκεκριµένη σχέση παροχής να περιλαµβάνει όλα τα γνωρίσµατα ενός συνόλου από έννοιες. Για παράδειγµα, στην περίπτωση της ένωσης, όλα τα γνωρίσµατα των εννοιών εισόδου και εξόδου συµµετέχουν στο µετασχηµατισµό. Για την αποφυγή της υπερφόρτωσης του σχήµατος µε υπερβολικά πολλές σχέσεις, εισάγεται ένας συντακτικός συµβολισµός που απεικονίζει τις έννοιες εισόδου

35 2.1. Εννοιολογικό Μοντέλο 19 στις έννοιες εξόδου (αντί της απεικόνισης των γνωρισµάτων εισόδου στα γνωρίσµατα εξόδου). Αυτό µπορεί να χρησιµοποιηθεί σαν µία λειτουργία σµίκρυνσης µεγέθυνσης στο διάγραµµα. Στο πρώτο επίπεδο απεικονίζονται µόνο οι έννοιες και δίνεται µία γενική επισκόπηση του σεναρίου. Στο δεύτε- ϱο, και πιο λεπτοµερές επίπεδο, οι σχέσεις µεταξύ των εννοιών επεκτείνονται στις σχέσεις µεταξύ των εµπλεκοµένων γνωρισµάτων, οπότε και παρέχεται το σενάριο ΕΜΦ σε όλη του τη λεπτοµέρια. Επιστρέφοντας και πάλι στο Σχήµα 2.3, εξετάζουµε τις σχέσεις µεταξύ των γνωρισµάτων των εννοιών S1.PARTS και S2.PARTS. Αρχικά, αγνοούµε τη συνάθροιση γ που πραγµατοποιείται στα δεδοµένα της πηγής S2 και εξετάζουµε τους άλλους µετασχηµατισµούς. Το γνώρισµα PKey παίρνει στοιχεία απ ευθείας από το οµώνυµο γνώρισµα των S1 και S2, µέσω ενός µετασχηµατισµού ανάθεσης υποκατάστατου κλειδιού (SK). Η ανάθεση ενός υποκατάστατου κλειδιού αποτελεί συνηθισµένη τακτική στις Αποθήκες εδοµένων, που χρησιµοποιείται για την αντικατάσταση των κλειδιών των συστηµάτων παραγωγής µε ένα οµοιόµορφο κλειδί. Γενικά, οι ϐασικοί λόγοι για τη χρήση ενός µετασχηµατισµού ανάθεσης υποκατάστατου κλειδιού είναι τόσο η επίδοση, όσο και η οµοιογένεια της σήµανσης. Γνωρίσµατα τύπου συµβολοακολουθίας, γενικά δεν κρίνονται ως καλές περιπτώσεις κλειδιού για χρήση σε ευρετήριο και συνήθως απαιτείται η αντικατάσταση ενός τέτοιου κλειδιού από κλειδιά αριθµητικού τύπου. Παράλληλα, διαφορετικά συστήµατα παραγωγής ενδέχεται να χρησιµοποιούν διαφορετικά κλειδιά για τα ίδια αντικείµενα ή το ίδιο κλειδί για διαφορετικά αντικείµενα, µε αποτέλεσµα την ανάγκη για συνολική αλλαγή αυτών των τιµών στην Αποθήκη εδοµένων. Εστω η περίπτωση όπου το εξάρτηµα Τιµόνι έχει PKey=30 στην πηγή S1 και PKey=40 στην πηγή S2, ενώ στην πηγή S2 το PKey=30 να αντιστοιχεί στο εξάρτηµα Πόρτα. Τέτοιες συγκρούσεις είναι εύκολο να λυθούν µε ένα συνολικό µηχανισµό αντικατάστασης, µέσω της αντιστοίχησης ενός οµοιόµορφου υποκατάστατου κλειδιού. Το γνώρισµα Date δέχεται δεδοµένα από το οµώνυµο γνώρισµα της S2, µέσω ενός µετασχηµατισµού AmericanToEuropeanDate. Παράλληλα, η ηµεροµηνία των εγγραφών που προέρχονται από την S1 καθορίζεται από την εφαρµογή της συνάρτησης SysDate() (διότι η έννοια S1.PARTS δεν περιέχει το γνώρισµα αυτό). Παρατηρήστε τη λειτουργία που εφαρµόζεται για τις εγγραφές που προέρχονται από την πηγή S1: δέχονται ως είσοδο όλα τα γνωρίσµατα της S1.PARTS (για να διαπιστωθεί ότι η παραγόµενη τιµή είναι ένα νέο γνώρισµα), περνούν από ένα µετασχηµατισµό τύπου συνάρτησης που υπολογίζει την ηµεροµηνία συστήµατος, και από εκεί καταλήγουν στο γνώρισµα DW.Date. Το γνώρισµα Qty παίρνει τις τιµές του απ ευθείας από τα οµώνυµα γνωρίσµατα των δύο πηγών χωρίς την ανάγκη κάποιου µετασχηµατισµού. Το γνώρισµα Cost δέχεται δεδοµένα από τα οµώνυµα γνωρίσµατα των δύο πηγών. Οσον αφορά στην πηγή S2, εφαρµόζεται ένας µετασχηµατισµός $ για τη µετατροπή του κόστους των εξαρτηµάτων σε ευρωπαϊκές τιµές. Οσον αφορά στην πηγή S1, εφαρµόζεται ένας µετασχηµατισµός µη-κενής τιµής (NN), για να αποφευχθεί η ϕόρτωση στην Αποθήκη εδοµένων εγγραφών που δεν περιλαµβάνουν κόστος εξαρτηµάτων.

36 20 Κεφάλαιο 2. Ενα Εννοιολογικό Μοντέλο ιεργασιών ΕΜΦ Σηµειώνουµε πως ενδέχεται να υπάρχουν γνωρίσµατα εισόδου τα οποία αγνοούνται κατά τη διάρκεια των µετασχηµατισµών ΕΜΦ, όπως για παράδειγµα το S2.Parts.Dept. Σειριακή Σύνθεση Μετασχηµατισµών. Συνήθως οι διεργασίες ΕΜΦ περιλαµβάνουν περισσότε- ϱους από έναν µετασχηµατισµούς για κάθε γνώρισµα. Εποµένως υπάρχει ανάγκη περισσοτέρων του ενός µετασχηµατισµού σε µία σχέση παροχής. Για παράδειγµα, ϑα µπορούσαµε να οµαδοποιήσουµε τα δεδοµένα εισόδου ως προς κάποιο σύνολο γνωρισµάτων, έχοντας εξασφαλίσει ταυτόχρονα, ότι δεν εµπλέκονται κενές τιµές στη διαδικασία αυτή. Σε µια τέτοια περίπτωση χρειάζεται να εφαρµόσουµε ένα µετασχηµατισµό µη-κενής τιµής σε κάθε ένα από τα γνωρίσµατα και στη συνέχεια να µεταφέρουµε µόνο τις σωστές σχέσεις στην οµαδοποίηση. Για την επίτευξη αυτού χρειάζεται η σειριακή εφαρµογή των εν λόγω µετασχηµατισµών. Ενα πρόβληµα που διαφαίνεται αφορά την απαίτηση, σύµφωνα µε τον ορισµό, ένας µετασχηµατισµός έχει ένα σύνολο γνωρισµάτων ως είσοδο και ένα σύνολο γνωρισµάτων ως έξοδο. Ετσι, η απλή σύνδεση δύο µετασχηµατισµών ϕαίνεται ασυνεπής. Για να ξεπεραστεί αυτό, εισάγεται η σειριακή σύνθεση των µετασχηµατισµών. Τυπικά, η σειριακή σύνθεση µετασχηµατισµών περιλαµβάνει : 1. ένα µοναδικό µετασχηµατισµό έναρξης, και 2. ένα µοναδικό µετασχηµατισµό συνέχειας. Η σειριακή σύνθεση µετασχηµατισµών απεικονίζεται γραφικά µε έντονες συνεχείς γραµµές που ενώνουν τους εµπλεκόµενους µετασχηµατισµούς. Ενα πιο σύνθετο µέρος του παραδείγµατος του Σχήµατος 2.3, είναι η συνάθροιση που εφαρµόζεται στα δεδοµένα από την πηγή S2. Στο παράδειγµα, η πηγή S2 κρατά πληροφορία για τους προµηθευτές εξαρτηµάτων ανάλογα µε το τµήµα στο οποίο ανήκουν. Η ϕόρτωση δεδοµένων στην Αποθήκη εδοµένων, η οποία αγνοεί αυτή τη λεπτοµέρεια, απαιτεί την οµαδοποίηση των δεδοµένων ανά PKey και Date, και τη συνάθροιση των Cost και Qty. Η συγκεκριµένη λειτουργία επιτυγχάνεται από το µετασχηµατισµό γ. Παράλληλα, οι προαναφερθέντες µετασχηµατισµοί δεν αγνοούνται, αλλά ο καθένας µαζί µε το µετασχηµατισµό συνάθροισης γ αποτελούν σειριακή σύνθεση µετασχηµατισµών. Σηµειώστε επίσης τις ετικέτες στην έξοδο του µετασχηµατισµού συνάθροισης που επισηµαίνουν τους προµηθευτές δεδοµένων στα αντίστοιχα γνωρίσµατα εξόδου (π.χ. S2.PARTS.PKey για το DW.PARTS.PKey και SUM(S2.PARTS.Qty) για το DW.PARTS.Qty). 2.2 Μεθοδολογία Χρήσης του Εννοιολογικού Μοντέλου Στην ενότητα αυτή, παρατίθεται η σειρά ϐηµάτων που ένας σχεδιαστής ακολουθεί κατά τη διάρκεια της κατασκευής της Αποθήκης εδοµένων. Κάθε ϐήµα αυτής της µεθοδολογίας ϑα παρουσιαστεί µε αναφορά στο παράδειγµα του Σχήµατος 2.3. Οπως έχει ήδη διευκρινιστεί, ο τελικός στόχος της