Άµεση Αναλυτική Επεξεργασία Ρευµάτων εδοµένων

Transcript

1 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Σχολή Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Πρόγραµµα Μεταπτυχιακών Σπουδών Άµεση Αναλυτική Επεξεργασία Ρευµάτων εδοµένων Εργασία για το µάθηµα Συστήµατα ιεκπεραίωσης Συναλλαγών και Αναλυτικής Επεξεργασίας (OLTP και OLAP) ιδάσκων: Καθηγητής Ιωάννης Βασιλείου Κωνσταντίνος Χ. Πατρούµπας ΑΘΗΝΑ ΙΟΥΛΙΟΣ 2004

2 Πίνακας περιεχοµένων 1 Γενικό πλαίσιο Το µοντέλο ρεύµατος δεδοµένων Αναλυτική επεξεργασία σε πραγµατικό χρόνο Κύβοι σε ρεύµατα δεδοµένων Βασικές έννοιες του κύβου δεδοµένων Αρχιτεκτονική αναλυτικής επεξεργασίας ρευµάτων δεδοµένων Υπολογισµός του κύβου ρευµάτων δεδοµένων Επιλεκτικός υπολογισµός κελιών µε κατώφλι Κυβοειδή στο κύριο µονοπάτι Προοδευτικός υπολογισµός συναθροίσεων Εφαρµογή στην αναζήτηση τάσεων σε χρονοσειρές Συνάθροιση ιεραρχικών ρευµάτων δεδοµένων Προσέγγιση συχνότητας ρεύµατα δεδοµένων Συχνά στοιχεία σε ιεραρχικά ρεύµατα δεδοµένων Τεχνικές µε δειγµατοληψία Τεχνικές µε σκίτσα Συχνά εµφανιζόµενα στοιχεία σε ιεραρχικά ρεύµατα πολυδιάστατων δεδοµένων 10 4 Αξιολόγηση Προεκτάσεις Συµπεράσµατα Παραποµπές Ορολογία ΣΗΜΕΙΩΣΕΙΣ: * Το σχήµα 1 έχει ληφθεί από τους [GCB+97]. * Τα σχήµατα 2 και 3 προέρχονται από την εργασία των [CDH+02a]. * Το σχήµα 4 οφείλεται στους [CKMS04]. * Για τα ρεύµατα δεδοµένων και τις νεότερες τάσεις στη διαχείριση δεδοµένων προτείνονται αποδόσεις των όρων στα ελληνικά. Η ορολογία για τις συµβατικές βάσεις δεδοµένων σε γενικές γραµµές ακολουθεί εκείνη του βιβλίου των R. Elmasri and S.B. Navathe, Θεµελιώδεις Αρχές Συστηµάτων Βάσεων εδοµένων (επιµέλεια - µετάφραση Μ. Χατζόπουλος), 2η έκδοση, ίαυλος, Αθήνα

3 Άµεση Αναλυτική Επεξεργασία Ρευµάτων εδοµένων Κ. Πατρούµπας Σύνοψη Σε πολλά σύγχρονα συστήµατα παρακολούθησης (λ.χ. τηλεπικοινωνίες, µηχανές αναζήτησης στο ιαδίκτυο, δίκτυα υπολογιστών κ.ά.) τα δεδοµένα αφενός µεν παράγονται δυναµικά (π.χ. επισκέψεις σε ιστοσελίδες), αφετέρου δε συσσωρεύονται σε τόσο µεγάλες ποσότητες που συνήθως δεν είναι δυνατή η αποθήκευση των στοιχείων στο σύνολό τους. Επιπλέον, τα πρωτογενή δεδοµένα καταγράφονται µε πολύ µεγάλη λεπτοµέρεια, γι αυτό και η περαιτέρω ανάλυσή τους αποσκοπεί στον εντοπισµό των πιο ενδιαφερόντων χαρακτηριστικών τους, όπως τάσεις, συναθροιστικά µεγέθη, ασυνήθιστες τιµές κ.ά. Στην εργασία αυτή γίνεται ανασκόπηση ορισµένων πρόσφατων ερευνητικών προσεγγίσεων στην πολυδιάστατη online επεξεργασία ρευµάτων δεδοµένων. Οι τεχνικές αυτές θέτουν ως στόχο την παρακολούθηση τυχόν µεταβολών στα στοιχεία σε πολλαπλές διαστάσεις και επίπεδα ιεραρχίας. Θα παρουσιαστούν οι κυριότεροι άξονες της αρχιτεκτονικής και οι βασικές ιδέες ορισµένων αλγορίθµων που υλοποιήθηκαν για τις µεθόδους αυτές, σχολιάζοντας τις καινοτοµίες που εισηγούνται σε σχέση µε την κλασική άµεση αναλυτική επεξεργασία (OLAP) για αποθήκες δεδοµένων. 1 Γενικό πλαίσιο Η ευρεία ανάπτυξη των αποθηκών δεδοµένων (data warehouses) κατά την τελευταία δεκαετία προσέφερε τη δυνατότητα συγκερασµού στοιχείων που βρίσκονται συνήθως διάσπαρτα σε πολλαπλές και πιθανόν ετερογενείς βάσεις δεδοµένων. Η αναλυτική επεξεργασία τέτοιων στοιχείων υποστηρίζει ουσιαστικά τη διαδικασία λήψης αποφάσεων, παρέχοντας τεχνικές εντοπισµού τάσεων, προβλέψεων, εκτίµησης στατιστικών µεγεθών κ.ά. ενδιαφερόντων χαρακτηριστικών στα δεδοµένα. Συνολικά συγκεντρωτικά στοιχεία συχνά κρίνονται περισσότερο σηµαντικά από τις µεµονωµένες πλειάδες που δηµιουργούν τον κύριο όγκο δοσοληψιών στις βάσεις δεδοµένων. Βεβαίως, η εισαγωγή των στοιχείων σε µια αποθήκη δεδοµένων προϋποθέτει διαδικασίες ολοκλήρωσης, καθαρισµού και µετασχηµατισµού τους [JLVV03], οι οποίες είναι µάλλον χρονοβόρες και συνεπάγονται υπολογίσιµες καθυστερήσεις στην έγκαιρη διαθεσιµότητα των περιεχοµένων. Το κυριότερο, τα ερωτήµατα που υποβάλλονται συνήθως εµπλέκουν µεγάλο αριθµό πλειάδων ή ακριβές λειτουργίες (λ.χ. συνδέσεις) πάνω σ αυτά, οπότε ο χρόνος απόκρισης θεωρείται κρίσιµη παράµετρος επίδοσης. Ωστόσο, η δυναµική φύση των εφήµερων δεδοµένων που εµφανίζονται σε πολλές σύγχρονες εφαρµογές αλλάζει το συµβατικό πλαίσιο διαχείρισής τους και περιπλέκει τον τρόπο επεξεργασίας τους. Στο παραδοσιακό µοντέλο των βάσεων δεδοµένων, τα στοιχεία αποθηκεύονται σε στατικές σχέσεις και οι χρήστες θέτουν ερωτήµατα για να ανακτήσουν πληροφορίες που αναφέρονται στο τρέχον στιγµιότυπο της βάσης. Απεναντίας, στο µοντέλο ρευµάτων δεδοµένων (data streams) θεωρείται ότι τα στοιχεία καταφθάνουν στο σύστηµα µε κυµαινόµενους, χρονικά µεταβαλλόµενους ρυθµούς, ενώ το µέγεθός τους είναι απεριόριστο και πάντως όχι εξαρχής γνωστό. Επιπλέον, σ ένα τέτοιο περιβάλλον ρευστότητας, συνήθως υποβάλλονται ερωτήµατα διαρκείας (continuous queries), τα οποία παραµένουν ενεργά επί µακρόν και οφείλουν να παρέχουν τα αποτελέσµατά τους σταδιακά, παρακολουθώντας το ρυθµό άφιξης των στοιχείων. Εποµένως, η επεξεργασία των στοιχείων πρέπει να γίνεται σε πραγµατικό χρόνο (real-time), ενδεχοµένως χαλαρώνοντας τα περιθώρια σφάλµατος που οι χρήστες είναι διατεθειµένοι να αποδεχθούν για τις προσεγγιστικές απαντήσεις θα δοθούν [BBD+02]. 1.1 Το µοντέλο ρεύµατος δεδοµένων Σε αντίθεση µε τα συµβατικά συστήµατα βάσεων δεδοµένων, στο πρότυπο των ρευµάτων δεδοµένων θεωρείται ότι τα στοιχεία δεν υπάρχουν διαθέσιµα παρά µόνο προσωρινά και βέβαια όχι στο σύνολό τους, αλλά τµηµατικά. Εποµένως, δεν είναι εφικτή κάποιας µορφής προεπεξεργασία που θα επιτρέψει την ευκολότερη ενσωµάτωση των στοιχείων. Σε εφαρµογές όπως η διαχείριση χρονοσειρών από µετρήσεις (λ.χ. από αισθητήρες), στατιστικά στοιχεία επισκέψεων σε ιστοσελίδες στο ιαδίκτυο, παρακολούθηση διακυµάνσεων στις τιµές µετοχών σε χρηµατιστήρια, κ.ά., τα δεδοµένα µεταβάλλονται δυναµικά κατά µη προβλέψιµο τρόπο, ενώ ο ρυθµός άφιξης και ο όγκος των στοιχείων που καταφθάνουν στο σύστηµα επεξεργασίας µπορεί να εµφανίσει ραγδαίες ή απροσδόκητες διακυµάνσεις. Ο απεριόριστος όγκος των στοιχείων που είναι δυνατόν να συσσωρευτούν συνήθως αποτρέπει τη χρήση του δίσκου, προκειµένου να αποφευχθούν επιβαρύνσεις στο κόστος που θα απαιτούσαν οι δοσοληψίες, κυρίως σε σχέση µε το χρόνο ανάγνωσης/εγγραφής (I/O) στοιχείων µε το δίσκο. Γι αυτό το λόγο προκρίνεται η γρήγορη επεξεργασία των δεδοµένων στη µνήµη. Λαµβάνοντας υπόψη τους περιορισµούς στη διαθεσιµότητα χώρου καθώς και στη δυναµική δέσµευση της µνήµης από πολλαπλές διαδικασίες που εξελίσσονται ταυτόχρονα, οι αλγόριθµοι επεξεργασίας πρέπει να µπορούν να «σαρώσουν» τα στοιχεία σ ένα µόνο πέρασµα (single-pass algorithms). Εφόσον ο ρυθµός επεξεργασίας υπερτερεί ή έστω συµβαδίζει µε τον ερχοµό διαρκώς νέων πλειάδων, αυτό το µοντέλο υπολογισµού µπορεί να λειτουργήσει αποδοτικά, παρέχοντας εγκαίρως ακριβή 3

4 Άµεση Αναλυτική Επεξεργασία Ρευµάτων εδοµένων. αποτελέσµατα. Στην αντίθετη περίπτωση, είναι αναπόφευκτη κάποια σταδιακή έκπτωση στις απαιτήσεις ακρίβειας ή επικαιρότητας των αποτελεσµάτων. Συνήθως επιλέγεται η λύση της παροχής προσεγγιστικών απαντήσεων σε πραγµατικό χρόνο µε τη µορφή συνόψεων (synopses) εντός προκαθορισµένων περιθωρίων σφάλµατος. Αυτές οι συνόψεις µπορούν να παραχθούν είτε µε χρήση ντετερµινιστικών µεθόδων, όπως ιστογράµµατα ή κυµατίδια (wavelets) είτε τυχαιοποιηµένων (randomized) τεχνικών, λ.χ. σκίτσα (sketches). Η χρονική παράµετρος παίζει σηµαντικότατο ρόλο στα ρεύµατα δεδοµένων. Κάθε εισερχόµενη πλειάδα επιβάλλεται να σηµατοδοτείται από ένα χρονικό ορόσηµο (timestamp) προκειµένου να είναι δυνατή η διάταξη των στοιχείων και η διεκπεραίωση λειτουργιών πάνω σ αυτά (λ.χ. συσχετισµοί στοιχείων από πολλαπλά ρεύµατα). Επιπλέον, για την επεξεργασία των πλειάδων συνηθίζεται ο προσδιορισµός καταλλήλων παραθύρων, τα οποία αποµονώνουν τµήµατα του ρεύµατος βάσει της σηµασιολογίας των ερωτηµάτων που έχουν τεθεί από τους χρήστες. Τυπικές µορφές τέτοιων δοµών είναι τα κυλιόµενα παράθυρα (sliding windows), που µπορούν να οριστούν είτε µε χρονική παράµετρο (λ.χ. «τα στοιχεία πωλήσεων που έχουν καταγραφεί κατά την τελευταία ώρα») είτε µε τον αριθµό των πλειάδων που επιµερίζουν (π.χ. «οι 1000 πιο πρόσφατες συναλλαγές»). 1.2 Αναλυτική επεξεργασία σε πραγµατικό χρόνο Η απαίτηση επεξεργασίας των στοιχείων σε πραγµατικό χρόνο (real-time analytics) συνδυάζεται µε την αναγκαιότητα εκµετάλλευσης ιστορικών στοιχείων, όπως αυτά καταγράφονται στις αποθήκες δεδοµένων [Wu04]. Λ.χ. η ανακάλυψη προτύπων σε δεδοµένα συναλλαγών που έχουν διενεργηθεί µε πιστωτικές κάρτες µπορεί να αξιοποιηθεί για την έγκαιρη εξακρίβωση περιπτώσεων απάτης, ανιχνεύοντας «ύποπτες» συναλλαγές, εντοπίζοντας επαναλαµβανόµενες απόπειρες υπεξαίρεσης κ.ά. Επιπλέον, τα συναθροιστικά στοιχεία που τηρούνται στην αποθήκη δεδοµένων χρειάζεται να ενηµερώνονται τακτικά µε την πρωτογενή πληροφορία που καταγράφεται αδιάκοπα στο σύστηµα µε τη µορφή νέων πλειάδων. Χαρακτηριστικό παράδειγµα εφαρµογής αναλυτικής επεξεργασίας σε ρεύµατα δεδοµένων είναι η καταγραφή τηλεφωνικών συνδιαλέξεων από τηλεπικοινωνιακούς οργανισµούς. Τέτοια δίκτυα διακινούν τεράστιο αριθµό κλήσεων κάθε λεπτό και τα σχετικά στοιχεία (χρόνοι έναρξης και λήξης συνδιαλέξεων, αριθµοί καλούντος και καλούµενου κ.ά.) καταχωρούνται στα τηλεφωνικά κέντρα. Οι σχετικές εγγραφές συλλέγονται συνήθως κατά τις νυχτερινές ώρες και καταλήγουν σε κάποιον κεντρικό επεξεργαστή. Εκεί χρησιµοποιούνται για την έκδοση λογαριασµών, στοιχείων χρήσης του δικτύου κ.ά. παρόµοιες λειτουργίες που διεξάγονται εκ των υστέρων (offline) στα αποθηκευµένα στοιχεία. Ωστόσο, για άλλες κρίσιµες εφαρµογές, όπως η ανίχνευση υποκλοπών, online παρακολούθηση επιδόσεων (λ.χ. κατάληψης ή φόρτισης των γραµµών) κ.ά., είναι απαραίτητη η προσπέλαση και η εξαγωγή τάσεων ή στατιστικών στοιχείων απευθείας από τα πρωτογενή στοιχεία. Τυπικά ερωτήµατα διαρκείας που µπορεί να υποβληθούν είναι: πόσες κλήσεις έγιναν τις τελευταίες τρεις ώρες από κάποιον συγκεκριµένο συνδροµητή, ποιες περιόδους της ηµέρας καταγράφονται οι µεγαλύτερες σε διάρκεια κλήσεις, µεταξύ ποιων κέντρων εντοπίζεται ο µεγαλύτερος αριθµός συνδιαλέξεων (πάνω από ένα όριο) κ.ά. Επίσης, είναι δυνατόν να εξαχθούν οι προτιµήσεις των χρηστών (user profiles) ανιχνεύοντας υπαρκτά πρότυπα στα δεδοµένα των συνδιαλέξεων και σχηµατίζοντας κατηγορίες πελατών. Λ.χ. συνδροµητές που πραγµατοποιούν συχνά µεγάλης διάρκειας διεθνείς συνδιαλέξεις, πρέπει να ενηµερωθούν για νέες σχετικές υπηρεσίες ή να επωφεληθούν από ειδικά τιµολόγια προσφορών. Επίσης, η απρόοπτη και επανειληµµένη χρήση ακριβών τηλεφωνικών υπηρεσιών (λ.χ. 090) ίσως δηλώνει περιπτώσεις απάτης, για τις οποίες χρειάζεται να ενηµερωθεί ο συνδροµητής. Αξίζει να παρατηρηθεί ότι τα περισσότερα σχετικά ερωτήµατα διαρκείας εµπεριέχουν συναθροιστικές λειτουργίες σε πολλαπλά γνωρίσµατα των δεδοµένων και πιθανόν σε αλλεπάλληλα επίπεδα ανάλυσης (λ.χ. χρονικές περιόδους). Η αποτελεσµατική επεξεργασία τέτοιων λειτουργιών συνιστά το βασικό ζητούµενο για την ανάλυση τάσεων στα δεδοµένα και την διαρκή επικαιροποίηση των σχετικών αποτελεσµάτων. Η συχνότητα ενηµέρωσης της αποθήκης δεδοµένων εξαρτάται βέβαια από τις προδιαγραφές της εφαρµογής, ωστόσο έχει προφανείς επιπτώσεις στην ποιότητα των αποτελεσµάτων της ανάλυσης. Είναι σαφές ότι τα περιεχόµενα της αποθήκης δεδοµένων δεν είναι εφικτό να ανανεώνονται στο σύνολό τους σε συνεχή βάση. Κάτι τέτοιο θα προϋπέθετε τη δέσµευση αρκετών υπολογιστικών πόρων του συστήµατος (λ.χ. µνήµη, επεξεργαστική ισχύς). Εξάλλου, δεν είναι απαραίτητο να προϋπολογίζονται όλα τα πιθανά συναθροιστικά αποτελέσµατα µε την πεποίθηση ότι ίσως φανούν χρήσιµα σε πιθανά µελλοντικά ερωτήµατα. Εφόσον τα κυριότερα ερωτήµατα παραµένουν ενεργά για µεγάλα χρονικά διαστήµατα, είναι λίγο-πολύ γνωστό τί είδους ενδιάµεσα συναθροιστικά στοιχεία χρειάζεται να υπολογιστούν κάθε φορά, εξοικονοµώντας έτσι πολύτιµο χρόνο επεξεργασίας. Από την άλλη πλευρά, η εγγενής ρευστότητα των στοιχείων δικαιολογεί προσεγγίσεις (approximations), µε τον περιορισµό ότι η ποιότητά τους οφείλει να προσαρµόζεται σε συγκεκριµένες προδιαγραφές ακρίβειας. Η αναγκαιότητα αναλυτικής επεξεργασίας ρευµάτων δεδοµένων υπογραµµίζεται από το επίπεδο λεπτοµέρειας των πρωτογενών στοιχείων. Η σηµασία κάθε µεµονωµένης πλειάδας ως αυτόνοµης οντότητας είναι συνήθως πολύ µικρή, έως και αµελητέα. Εξαίρεση µπορεί ν αποτελέσουν κάποιες ασυνήθιστα ακραίες τιµές (outliers) ή στοιχεία που καταγράφονται σποραδικά σε αραιά χρονικά διαστήµατα. Εποµένως, το ενδιαφέρον µετατοπίζεται στην ανίχνευση τάσεων, επαναλαµβανόµενων προτύπων, στατιστικών µεγεθών, απρόβλεπτων µεταπτώσεων κ.ά., συνδυάζοντας πολλαπλά γνωρίσµατα των πλειάδων. Αυτοί οι υπολογισµοί αναφέρονται σε πολλαπλά επίπεδα ανάλυσης, γενικεύοντας σταδιακά τα περιεχόµενα του ρεύµατος και αφαιρώντας περιττές λεπτοµέρειες. Στην περίπτωση των αποθηκών δεδοµένων, το τυπικό πρότυπο των ρευµάτων όπου τα στοιχεία, αφού περάσουν από επεξεργασία, µπορούν στη συνέχεια να διαγραφούν, απαιτεί τροποποιήσεις. Είναι λοιπόν αναγκαία η κατασκευή περιλήψεων (summaries), όπου συµπυκνώνεται η «ουσία» των δεδοµένων που ενδιαφέρουν την εφαρµογή, ενώ πολύτιµη είναι και η εκτίµηση τάσεων και διακυµάνσεων στα δεδοµένα. Αυτή η επιτοµή της ιστορίας του ρεύµατος µπορεί να αποβεί χρήσι- µη όχι µόνο για συσχετίσεις µε ό,τι συµβαίνει στο παρόν, αλλά επίσης για την πρόγνωση µελλοντικών καταστάσεων. 4

5 Κύβοι σε ρεύµατα δεδοµένων 2 Κύβοι σε ρεύµατα δεδοµένων Η εντατική έρευνα στο χώρο των αποθηκών δεδοµένων έχει πλέον βρει πεδίο εφαρµογής σε πολλά εµπορικά συστήµατα, ενώ η κατασκευή του «κύβου δεδοµένων» (data cube) αποτελεί σήµερα απαραίτητο συµπλήρωµα πολλών λογισµικών επεκτεταµένων σχεσιακών βάσεων δεδοµένων. Η φύση του µοντέλου δεδοµένων που υιοθετείται είναι πολυδιάστατη, προκειµένου να διευκολύνονται τόσο τυχόν σύνθετες αναλύσεις όσο και η οπτικοποίηση των αποτελεσµάτων. Στόχος είναι η δυνατότητα υποστήριξης στη λήψη αποφάσεων, συµβάλλοντας στην λεγόµενη «υπολογιστική νοηµοσύνη» (business intelligence). 2.1 Βασικές έννοιες του κύβου δεδοµένων Στις αποθήκες δεδοµένων τα στοιχεία συλλέγονται από πολλαπλές βάσεις και ολοκληρώνονται σε έναν πολυδιάστατο κύβο, έτσι ώστε να διευκολύνεται η ταχύτατη επεξεργασία και ανάλυσή τους. Ως διαστάσεις του κύβου χαρακτηρίζονται συγκεκριµένα γνωρίσµατα (attributes) των δεδοµένων, στα οποία υπάρχει εγγενώς ή µπορεί να οριστεί µια ιεραρχία. Για διάφορους συνδυασµούς αυτών των διαστάσεων υπολογίζονται ολικά ή µερικά συναθροιστικά µεγέθη (λ.χ. SUM, AVG, COUNT κ.ά.) σε κάποια άλλα γνωρίσµατα που περιέχουν µετρήσεις τιµών, όπως φαίνεται στο Σχήµα 1. Λ.χ. σε κάποιον πίνακα µε στοιχεία πωλήσεων αυτοκινήτων τα γνωρίσµατα κατάστηµα, χρώµα και µάρκα οχήµατος και χρόνος πώλησης αποτελούν τις διαστάσεις, ενώ ο αριθµός τεµαχίων και το κόστος συνιστούν τα µετρούµενα µεγέθη. Επίσης, ο χρόνος µπορεί να οργανωθεί σε ιεραρχία, λ.χ. ηµέρα, µήνας, τρίµηνο, έτος κ.ο.κ. Αξίζει να παρατηρηθεί ότι οι διαστάσεις αφορούν συνήθως κατηγορικά (categorical) δεδοµένα, ενώ τα µετρούµενα µεγέθη είναι αριθµητικά (numerical). Στόχος της άµεσης αναλυτικής επεξεργασίας (On-Line Analytical Processing, OLAP) είναι ο υπολογισµός των πολυδιάστατων µεγεθών, λαµβάνοντας υπόψη ότι οι κύβοι δεδοµένων απαιτούν αρκετή προεπεξεργασία (µε αλγορίθµους πολλαπλών περασµάτων) ενώ καταλαµβάνουν υπολογίσιµο χώρο. Οι βασικές OLAP λειτουργίες είναι [CD97]: roll-up : αύξηση του επιπέδου συνάθροισης, κάνοντας επιπλέον οµαδοποίηση σε µια τουλάχιστον διάσταση. drill-down : η ακριβώς ανάποδη λειτουργία, µειώνοντας το επίπεδο συνάθροισης σε µια ή περισσότερες ιεραρχίες των διαστάσεων. slice-and-dice : αποσκοπεί σε ελάττωση των διαστάσεων των δεδοµένων, παίρνοντας την προβολή τους σ ένα υποσύνολο των διαστάσεων για τιµές που έχουν επιλεγεί βάσει των υπόλοιπων διαστάσεων. pivot, δηλαδή αναδιάταξη του τρόπου αναπαράστασης και οπτικοποίησης των στοιχείων. Τα αποτελέσµατα της συνάθροισης αποθηκεύονται είτε σε µια σειρά από σχεσιακούς πίνακες (Relational OLAP) είτε σε πολυδιάστατες δοµές arrays (Multidimensional OLAP). Ένα κρίσιµο ζήτηµα αφορά τη σταδιακή συντήρηση των περιεχοµένων του κύβου για διάφορες περιπτώσεις συναθροιστικών συναρτήσεων, καθώς τα πρωτογενή δεδοµένα µεταβάλλονται µε την πάροδο του χρόνου. Έχει διατυπωθεί [GCB+97] µια διάκριση των συναρτήσεων σε ορθογώνιες ιεραρχίες, για τις λειτουργίες SELECT, INSERT και DELETE: Σχήµα 1. Ο κύβος δεδοµένων αποτελεί γενίκευση της συνάθροισης σε N διαστάσεις, δηµιουργώντας το δυναµοσύνολο των συνδυασµών όλων των διαστάσεων και υπολογίζοντας τα συναθροιστικά µεγέθη. i. Αν η συναθροιστική συνάρτηση είναι αλγεβρική (algebraic), η επικαιροποίηση των περιεχοµένων του κύβου είναι σχετικά απλή. Μια τέτοια συνάρτηση λαµβάνει ως όρισµα ένα σύνολο Μ πλειάδων που συµπυκνώνουν το επιµέρους αποτέλεσµα (λ.χ. για την AVG πρέπει να τηρούνται δύο τιµές, δηλαδή το άθροισµα και το πλήθος, για την MaxN πρέπει να κρατούνται οι N µεγαλύτερες τιµές κ.ο.κ.). ii. Αν πάλι η συνάρτηση είναι επιµεριστική (distributive), η συντήρηση του κύβου διευκολύνεται αν για κάθε κελί τηρούνται τα επιµέρους αθροίσµατα, όπως λ.χ. για τις περιπτώσεις των SUM και COUNT, ώστε να µπορούν κατόπιν να συνδυαστούν για να δώσουν ενδιάµεσα αποτελέσµατα που αναφέρονται υψηλότερα στην ιεραρχία των διαστάσεων και τελικά το συγκεντρωτικό αποτέλεσµα. iii. Τέλος, οι ολιστικές (holistic) συναρτήσεις, όπως οι MEDIAN, RANK κ.ά., δεν έχουν εγγυηµένο όριο σε αποθηκευτικό χώρο για την τήρηση των επιµέρους αθροισµάτων, οπότε η ανανέωση των συναθροίσεων δυσχεραίνεται και το κόστος ανεβαίνει. Στην κατηγορία αυτή εντάσσεται και η συνάρτηση MAX στην περίπτωση διαγραφών (DELETE): αν διαγραφεί η µεγαλύτερη τιµή στο συναθροιζόµενο πεδίο, τότε απαιτείται εξαρχής υπολογισµός του κύβου. Το πρόβληµα της συντήρησης του κύβου γίνεται πολύ πιο έντονο όταν τα πρωτογενή δεδοµένα µεταβάλλονται τόσο ραγδαία και απροσδόκητα, λαµβάνοντας τη µορφή ρεύµατος. Πρακτικά, τα συναθροιστικά στοιχεία του κύβου χρειάζεται να αντιπροσωπεύουν ακόµα και τα πιο πρόσφατα περιεχόµενα του ρεύµατος. Η αναγκαιότητα των απευθείας υπολογισµών και της παροχής ιστορικών συγκεντρωτικών στοιχείων επιτάσσει η ανανέωση του κύβου να συµβαδίζει κατά το δυνατόν µε την εισδοχή νέων πλειάδων του ρεύµατος. Βέβαια, ούτε η εκ των υστέρων (offline) επεξεργασία των στοιχείων είναι αποδεκτή ούτε οι πόροι του συστήµατος επαρκούν για την επικαιροποίηση ολόκληρου του όγκου του κύβου. Γι αυτό, ως 5

6 Άµεση Αναλυτική Επεξεργασία Ρευµάτων εδοµένων. διέξοδος προτείνεται η επιλογή κάποιων κρίσιµων τµηµάτων του κύβου και η κατά προτεραιότητα συντήρησή τους. 2.2 Αρχιτεκτονική αναλυτικής επεξεργασίας ρευµάτων δεδοµένων Για τις ανάγκες της άµεσης αναλυτικής επεξεργασίας σε ρεύ- µατα δεδοµένων έχει προταθεί [CDH+02a] µια αρχιτεκτονική «κύβου ρευµάτων» (stream-cube). Τα βασικά στοιχεία αυτής της προσέγγισης κινούνται στους ακόλουθους τρεις άξονες: i. Κλιµακούµενο χρονικό πλαίσιο. Στο µοντέλο ρεύµατος δεδοµένων, οι χρήστες ενδιαφέρονται πρωτίστως για τα πλέον πρόσφατα δεδοµένα, παρά για όσα έχουν καταγραφεί στο απώτερο παρελθόν. Για τις ανάγκες της άµεσης αναλυτικής επεξεργασίας, ο χρόνος θα πρέπει ν αντιµετωπιστεί σε πολλαπλές διαδοχικές διαβαθµίσεις (tilt time frame), παρακολουθώντας την εξέλιξη των στοιχείων: τα πιο πρόσφατα περιεχόµενα του ρεύµατος χρειάζεται να τηρηθούν µε µεγαλύτερη λεπτοµέρεια σε σχέση µε άλλα παλαιότερα, τα οποία µπορούν να γενικευτούν σε άλλες χρονικές µονάδες. Με τον τρόπο αυτό, αξιοποιείται η εγγενής ιεραρχία της χρονικής διάστασης σε διαδοχικά διαστήµατα µε φθίνουσα λεπτοµέρεια (όπως δευτερόλεπτα, λεπτά, τέταρτο, ώρα, ηµέρα, κ.ο.κ.). Λ.χ. τα τελευταία στοιχεία µπορεί να καταγράφονται σε επίπεδο λεπτού, αλλά τα αµέσως προηγούµενα σε επίπεδο τετάρτου της ώρας, κ.ο.κ., µέχρι κάποιο ανώτατο επίπεδο γενίκευσης. Προφανώς, αυτή η σταδιακή απώλεια ακρίβειας εξαρτάται από τη σηµασιολογία των ερωτηµάτων, αλλά αντισταθµίζεται από την αποτελεσµατικότητα των υπολογισµών, επιδιώκοντας την παροχή απαντήσεων σε πραγµατικό χρόνο. ii. Κρίσιµα επίπεδα ανάλυσης. Το µέγεθος του κύβου ρευµάτων δεδοµένων αυξάνει εκθετικά µε τον αριθµό των διαστάσεων, ενώ εξαρτάται επίσης από τον αριθµό των διακριτών τιµών για κάθε διάσταση. εν αποκλείεται λοιπόν το µέγεθος του κύβου, ακόµη και για µικρό αριθµό διαστάσεων, να µεγαλώσει τόσο πολύ, ώστε να µην επαρκεί η πεπερασµένη ποσότητα µνήµης για τον δυναµικό υπολογισµό του. Επίσης, η πλήρης αποθήκευση ολόκληρου του κύβου στο δίσκο είναι εξαιρετικά δαπανηρή τόσο από πλευράς του χώρου που απαιτείται όσο και υπολογιστικού χρόνου [LHG04]. Γι αυτό το λόγο επιλέγεται ο προσδιορισµός δύο κρίσιµων επιπέδων ανάλυσης (κυβοειδών): στο ελάχιστο επίπεδο ενδιαφέροντος (minimally interesting layer) γίνεται µια αρχική συνάθροιση των πρωτογενών στοιχείων, υπονοώντας ότι σπάνια θα ζητηθεί από τους χρήστες περισσότερη λεπτοµέρεια (λ.χ. σε επίπεδο πλειάδας). Εξάλλου, ορίζεται ένα επίπεδο παρατήρησης (observation layer) ως το ανώτερο στάδιο για το οποίο θα ζητηθεί συνάθροιση των δεδοµένων, επιτρέποντας εκτιµήσεις χρήσιµες κατά τη λήψη αποφάσεων. Ενδιαφέροντα χαρακτηριστικά των στοιχείων είναι δυνατόν να εντοπιστούν σ αυτό το επίπεδο, οδηγώντας όταν χρειάζεται σε περαιτέρω εκλέπτυνση (drill-down) προς τα χαµηλότερα επίπεδα της ιεραρχίας του κύβου. Προφανώς, το επίπεδο παρατήρησης προκύπτει καθώς τα δεδοµένα ανέρχονται βαθµιαία (roll-up) την ιεραρχία των διαστάσεων του κύβου, υφιστάµενα αλλεπάλληλες συναθροίσεις κατά την άνοδό τους. iii. Μερική υλοποίηση του κύβου. Η µερική υλοποίηση του κύβου ρευµάτων δεδοµένων µπορεί να επιλύσει το πρόβληµα της ανεπάρκειας χώρου αποθήκευσης για το συσσωρευόµενο όγκο στοιχείων. Ο δυναµικός υπολογισµός των συναθροίσεων δεν είναι πρακτικά εφικτός σε πραγµατικό χρόνο και υπό συνθήκες κυµαινόµενου φόρτου, ούτε βέβαια η υλοποίηση όλων των αποτελεσµάτων για όλους τους δυνατούς συνδυασµούς των διαστάσεων. Τηρώντας λοιπόν τα συναθροιστικά αποτελέσµατα µόνο για τα δύο κρίσιµα επίπεδα, επιτυγχάνεται µια ικανοποιητική προσέγγιση του κύβου. Από τα ενδιάµεσα επίπεδα µπορεί να υλοποιηθούν ορισµένα κατ εξαίρεση κελιά (exception cells), εφόσον οι τιµές τους υπερβαίνουν ένα κατάλληλα ορισµένο κατώφλι. Μια χαµηλή τιµή στο κατώφλι µπορεί να επιβαρύνει το σύστηµα µε άσκοπους υπολογισµούς, ενώ µια υψηλή τιµή πιθανόν να αφήσει κενά αρκετά κελιά του κύβου. Μια πιο αποδοτική προσέγγιση είναι ο προσδιορισµός ενός κύριου µονοπατιού (popular path) µεταξύ των δύο κρισίµων επιπέδων. Για τα κελιά που συγκροτούν αυτό το µονοπάτι υπολογίζονται και τηρούνται συναθροίσεις, όπως ακριβώς και για τα κρίσιµα επίπεδα. Έτσι, ερωτήµατα που αναφέρονται σ αυτά µπορούν να απαντηθούν χωρίς πρόσθετη επεξεργασία. Για όσα κελιά δεν βρίσκονται κατά µήκος αυτού του µονοπατιού είναι απαραίτητο οι συναθροίσεις να γίνουν δυναµικά, βάσει της ιεραρχίας των προϋπολογισµένων στοιχείων του κύβου. 2.3 Υπολογισµός του κύβου ρευµάτων δεδοµένων Πρακτικά, οι περισσότερες λειτουργίες OLAP για ανάλυση δεδοµένων σε πολυδιάστατο χώρο περιορίζονται συνήθως σε µικρό αριθµό διστάσεων κάθε φορά, αγνοώντας τις υπόλοιπες [LHG04]. Με βάση λοιπόν την αρχιτεκτονική που εκτέθηκε προηγουµένως, η µερική υλοποίηση του κύβου µπορεί να αποβεί αποτελεσµατική και χρήσιµη. Οι πρωτογενείς πλειάδες του ρεύµατος είναι δυνατόν να συναθροιστούν κατευθείαν στο ελάχιστο επίπεδο ενδιαφέροντος, παρακάµπτοντας τυχόν χαµηλότερα επίπεδα ανάλυσης και συνυπολογίζοντας την κλιµάκωση των διαδοχικών χρονικών διαβαθµίσεων. Τα παράγωγα αυτής της επεξεργασίας θα πρέπει να τηρούνται σε µια δοµή στην κύρια µνήµη, ώστε να διευκολύνεται η αποδοτική συνάθροιση σε πολλαπλά επίπεδα και διαστάσεις. Η δοµή που προτείνεται για το σκοπό αυτό είναι το H-δένδρο (hyperlinked tree). Τα κατώτερα επίπεδα αυτού του δένδρου αντιπροσωπεύουν µεγαλύτερη λεπτοµέρεια για τις διαστάσεις του κύβου, η οποία βαθµιαία γενικεύεται καθώς τα στοιχεία συναθροίζονται ανεβαίνοντας προς τα ανώτερα επίπεδα. Είναι επίσης δυνατή η απεικόνιση πολλαπλών βαθµίδων ιεραρχίας στα δεδοµένα, όπως αυτές που παριστάνονται στο Σχήµα 2. Οι πλειάδες του ρεύµατος, αφού συναθροιστούν µε τον τρόπο που ορίζεται στο ελάχιστο επίπεδο ενδιαφέροντος, τοποθετούνται στα φύλλα του H-δένδρου. Αξίζει να σηµειωθεί ότι τα στοιχεία του ρεύµατος αρκεί να «σαρωθούν» µόνο µια φορά, ελαχιστοποιώντας το σχετικό χρόνο επεξεργασίας. Στη συνέχεια, η πληροφορία αυτή µπορεί να γενικευτεί ακολουθώντας τις συνδέσεις µεταξύ των κόµβων στους κλάδους του δένδρου, µέχρι τη ρίζα που αντιπροσωπεύει το κυβοειδές του επιπέδου παρατήρησης. Αυτή η βήµα προς βήµα συνάθροιση πραγµατοποιείται παράλληλα µε την είσοδο νέων πλειάδων και τη γενίκευσή τους στα φύλλα του δένδρου. Στις επόµενες ενότητες σκιαγραφούνται δύο εναλλακτικές µέθοδοι που έχουν προταθεί [CDH+02b] για τον υπολογισµό 6

7 Κύβοι σε ρεύµατα δεδοµένων αµέσως χαµηλότερα επίπεδα που µπορούν να συνεισφέρουν τα ενδιάµεσα αποτελέσµατά τους για τους υπολογισµούς. Τέτοιοι κόµβοι µπορούν να βρεθούν εύκολα, µιας και συναποτελούν µέλη µιας διασυνδεδεµένης λίστας που τηρεί όσους απ αυτούς συµβάλλουν στον υπολογισµό κάθε κελιού. Σχήµα 2. Η δοµή του κύβου µεταξύ των δύο κρίσιµων επιπέδων παρατήρησης για τρεις διαστάσεις A, B, C και δύο βαθµίδες ιεραρχίας (1, 2) ανά διάσταση. Το κύριο µονοπάτι µεταξύ του ελάχιστου επιπέδου ενδιαφέροντος (A2, B2, C2) και του επιπέδου παρατήρησης (A1, *, C1) εικονίζεται µε κόκκινο χρώµα. των κυβοειδών πάνω από το ελάχιστο επίπεδο ενδιαφέροντος (δηλαδή την βασική συνάθροιση των πρωτογενών στοιχείων), µέχρι το επίπεδο παρατήρησης Επιλεκτικός υπολογισµός κελιών µε κατώφλι Η πρώτη τεχνική αποσκοπεί στον εντοπισµό κελιών που κατ εξαίρεση εµφανίζουν τιµές πάνω από ένα προκαθορισµένο κατώφλι. Με τη χρήση του H-δένδρου, η συνάθροιση ξεκινά από τα φύλλα, όπου υπολογίζονται όλοι οι δυνατοί συνδυασµοί διακριτών τιµών για τις επιλεγµένες διαστάσεις. Για κάθε κόµβο τηρούνται επικεφαλίδες (header table), οι οποίες καθορίζουν τον τρόπο συνάθροισης των στοιχείων βάσει των τιµών που έχουν προκύψει για τους απογόνους του στο δένδρο. Έτσι, οι υπολογισµοί προοδευτικά ανέρχονται τα επίπεδα του δένδρου προς τη ρίζα (ALL). Ωστόσο, από τα παραγόµενα αποτελέσµατα στα ενδιάµεσα στρώµατα της ιεραρχίας διατηρούνται µόνο όσα υπερβαίνουν µια προκαθορισµένη τιµή κατωφλίου, για λόγους εξοικονόµησης χώρου Κυβοειδή στο κύριο µονοπάτι Ο δεύτερος αλγόριθµος, ξεκινώντας από το ελάχιστο επίπεδο παρατήρησης, συναθροίζει διαδοχικά τα κελιά ανεβαίνοντας τα επίπεδα της ιεραρχίας του H-δένδρου, αλλά µόνο κατά µήκος ενός κύριου µονοπατιού. Υποτίθεται ότι αυτό το κύριο µονοπάτι καθόδου (drilling) µεταξύ των δύο κρίσιµων επιπέδων έχει προκαθοριστεί βάσει των ενδιαφερόντων των χρηστών και του στόχου της ανάλυσης που κατά κύριο λόγο πρόκειται να πραγµατοποιηθεί στα δεδοµένα. Η διάταξη των ιεραρχιών στον κύβο οδηγεί σε ένα συµπαγές H-δένδρο, αφού οι κόµβοι στα κατώτερα επίπεδα έχουν κοινά προθέµατα (δηλαδή γνωρίσµατα και οµάδες διαστάσεων) µε τους προγόνους τους στα ανώτερα επίπεδα (Σχήµα 3). Οι εσωτερικοί κόµβοι του δένδρου αντιπροσωπεύουν εκείνα τα κελιά του κύβου (κυβοειδή) που ανήκουν στο κύριο µονοπάτι. Αυτοί οι κόµβοι όχι µόνον υπολογίζουν ενδιάµεσα συναθροιστικά αποτελέσµατα, αλλά χρησιµοποιούνται επίσης για την τήρησή τους. Επιπλέον, είναι δυνατός ο υπολογισµός κελιών που τυχαίνει να µην βρίσκονται κατά µήκος του κύριου µονοπατιού. Πράγµατι, µε µια κατάβαση (drill-down) στο δένδρο, αρκεί να εντοπιστούν οι πλησιέστεροι κόµβοι στα Προοδευτικός υπολογισµός συναθροίσεων Και µε τις δύο παραπάνω τεχνικές επιτυγχάνεται προοδευτικός υπολογισµός (incremental evaluation) των συναθροιστικών αποτελεσµάτων, παρακολουθώντας την διαρκή έλευση νέων στοιχείων. Με παρόµοιο τρόπο, είναι δυνατή η γενίκευση των στοιχείων σε επάλληλες χρονικές περιόδους χάρη στο κλιµακούµενο πλαίσιο που έχει οριστεί. Ας υποτεθεί ότι τα πρωτογενή στοιχεία συναθροίζονται σε ανάλυση λεπτού για το ελάχιστο επίπεδο ενδιαφέροντος. Κάθε φορά που συµπληρώνεται µια ευρύτερη χρονική περίοδος (λ.χ. τέταρτο, ώρα κλπ.), τα αντίστοιχα ενδιάµεσα αποτελέσµατα µπορούν να παραχθούν και να προωθηθούν προς τα ανώτερα επίπεδα του δένδρου. Εποµένως, κάθε κόµβος του δένδρου τηρεί την πλέον πρόσφατη πληροφορία του ρεύµατος, στον αντίστοιχο βαθµό χρονικής λεπτοµέρειας (time granularity). Άρα, τα στοιχεία δεν χρειάζεται να συναθροίζονται εξαρχής για κάθε νέο στοιχείο που πρέπει να συνυπολογιστεί, µειώνοντας κατά πολύ τον απαιτούµενο χρόνο υπολογισµών, µολονότι οι ανάγκες σε χώρο (µνήµη) παραµένουν ανεπηρέαστες. Πειραµατικές µετρήσεις [CDH+02a] έδειξαν ότι η αύξηση των επιπέδων στον κύβο δεδοµένων οδηγεί σε δυσανάλογη αύξηση του χρόνου των υπολογισµών, όπως και του χώρου που απαιτείται για την τήρηση των κελιών του κύβου. Κάτι τέτοιο κρίνεται αναµενόµενο, εξαιτίας της διεύρυνσης της ιεραρχίας των διαστάσεων ( curse of dimensionality ). Εποµένως, ο περιορισµός των απαραίτητων υπολογισµών κατά µήκος του κύριου µονοπατιού συνιστά µια πρακτική που συνήθως εξασφαλίζει ικανοποιητικές επιδόσεις, ενώ αποδεικνύεται επαρκής για πολλές εφαρµογές (λ.χ. παρακολούθηση κατανάλωσης ηλεκτρικού ρεύµατος ή φόρτου σε δίκτυα υπολογιστών). Αυτό ισχύει τόσο σε σύγκριση µε τον πλήρη υπολογισµό ολόκληρου του κύβου, όσο και µε την κατ εξαίρεση δυναµική επεξεργασία συγκεκριµένων κελιών που έχουν τιµές πάνω από ένα προκαθορισµένο κατώφλι. Παρόλο που και οι δύο τακτικές που παρουσιάστηκαν στις υποενότητες και συρρικνώνουν σηµαντικά τον εκτεταµένο χώρο αναζήτησης (search space) του κύβου, εν τούτοις παρέχουν ικανοποιητική ευχέρεια αναλυτικής επεξεργασίας εστιάζοντας τη διερεύνηση σε κρίσιµα χαρακτηριστικά των δεδοµένων. Σχήµα 3. Αναπαράσταση του H-δένδρου που δηµιουργείται για τον υπολογισµό των ενδιάµεσων συναθροίσεων για τις ιεραρχίες των διαστάσεων στο κύριο µονοπάτι του κύβου ρευµάτων. 7

8 Άµεση Αναλυτική Επεξεργασία Ρευµάτων εδοµένων Εφαρµογή στην αναζήτηση τάσεων σε χρονοσειρές Όπως ήδη έχει τονιστεί, ένα από τα βασικά ζητούµενα της πολυδιάστατης ανάλυσης ρευµάτων δεδοµένων είναι η αναζήτηση τάσεων και όχι η απλή παραγωγή συναθροιστικών στοιχείων, όπως στην περίπτωση των τυπικών αποθηκών δεδοµένων. Για το λόγο αυτό έχει προταθεί [CDH+02b] η αξιοποίηση της µεθόδου της γραµµικής παλινδρόµησης (linear regression) για την online επεξεργασία στοιχείων χρονοσειρών, ανιχνεύοντας ενδιαφέροντα πρότυπα ή κρίσιµες µεταβολές στο περιεχόµενο των δεδοµένων. Έτσι, δεν είναι απαραίτητο να διατηρηθεί όλη η πληροφορία σε λεπτοµέρεια πλειάδων µιας χρονοσειράς, αλλά µπορεί να συµπυκνωθεί σ έναν µικρό αριθµό παραγόντων παλινδρόµησης που αφορούν το χρονικό διάστηµα, την κλίση και τη µετατόπιση της προσαρµοζόµενης γραµµικής συνάρτησης. Ο υπολογισµός αυτών των παραγόντων αποδεικνύεται ότι µπορεί να γίνει δυναµικά, συναθροίζοντας στοιχεία (κελιά) που βρίσκονται χαµηλότερα στην ιεραρχία τόσο κατά τη χρονική όσο και στις υπόλοιπες προκαθορισµένες διαστάσεις των δεδοµένων. Η παλινδρόµηση υπολογίζεται για διάφορα χρονικά ορόσηµα (σηµεία αναφοράς) στο κλιµακούµενο χρονικό πλαίσιο, ανάλογα µε τις ιδιαιτερότητες της εφαρµογής. Μελετήθηκαν δύο εκδοχές του προβλήµατος: η πρώτη αφορά συνάθροιση σε κάποια συγκεκριµένη διάσταση και επιτυγχάνεται αθροίζοντας τους επιµέρους συντελεστές των ιεραρχικά χαµηλότερων κελιών. Η δεύτερη περίπτωση καλύπτει τη χρονική διάσταση και υλοποιείται µε προοδευτική συγχώνευση των στενότερων χρονικών διαστηµάτων σε ευρύτερα (π.χ. από ώρες σε ηµέρες). Ενδιαφέρον ερευνητικό ζήτηµα θα ήταν η γενίκευση αυτών των τεχνικών για συναρτήσεις παλινδρόµησης πολλαπλών µεταβλητών (όπως λ.χ. για περιβαλλοντικές εφαρµογές). 3 Συνάθροιση ιεραρχικών ρευµάτων δεδοµένων Στο µοντέλο υπολογισµού που υιοθετείται για τα ρεύµατα δεδοµένων, κάθε στοιχείο θεωρείται ότι εξετάζεται µόνο µια φορά. Εξυπακούεται πως είναι πρακτικά ανέφικτο να τηρούνται διαρκώς ενηµερωµένα συναθροιστικά µεγέθη, όπως το πλήθος εµφάνισης (COUNT) όλων των διακριτών στοιχείων του ρεύµατος, καθώς θα χρειαζόταν πιθανόν απεριόριστος χώρος στη µνήµη, ενώ η χρήση του δίσκου δεν ενδείκνυται για λόγους ταχύτητας. Επιλέγεται λοιπόν η λύση των προσεγγίσεων, εξισορροπώντας την απαίτηση για υπολογισµούς σε πραγµατικό χρόνο µε την ορθολογική κατανοµή πόρων του συστήµατος µεταξύ πολλαπλών διαδικασιών. Η συνάθροιση δεδοµένων που καταφθάνουν στο σύστηµα τµηµατικά µε τη µορφή ρεύµατος εξυπηρετείται σηµαντικά από τυχόν εγγενείς ιεραρχίες πολλαπλών επιπέδων. Χαρακτηριστικά παραδείγµατα εφαρµογών αναφέρονται σε διαχείριση δικτύων υπολογιστών (λ.χ. συστάδες από ίδιες IP διευθύνσεις), περιλήψεις εγγράφων XML (εντοπίζοντας κοινά προθέµατα καθώς το δένδρο διασχίζεται από τη ρίζα προς τα φύλλα), καθώς και στην υποστήριξη αποφάσεων (OLAP) για ποικιλία εµπορικών εφαρµογών (λ.χ. πωλήσεις αγαθών, τηλεπικοινωνίες, χρηµατοπιστωτικές συναλλαγές). Το αποτέλεσµα µπορεί να παροµοιαστεί µε ένα τοπολογικό «χαρτόγραµµα» των ιεραρχικών δεδοµένων, όπου οι συχνά εµφανιζόµενες τιµές τονίζονται περισσότερο συγκριτικά προς τις υπόλοιπες. Παραλλαγές των ίδιων αλγορίθµων µπορούν φυσικά να χειριστούν και άλλα συναθροιστικά µεγέθη πέραν της συχνότητας (COUNT), όπως αθροίσµατα, µέσες τιµές κλπ. 3.1 Προσέγγιση συχνότητας σε ρεύµατα δεδοµένων Η αναζήτηση συχνών στοιχείων ή συνόλων στοιχείων (frequent itemsets) είναι µια τυπική περίπτωση εξόρυξης δεδοµένων. Για τα ρεύµατα δεδοµένων µόνο προσεγγιστικές απαντήσεις είναι ρεαλιστικό να ζητηθούν, µιας και οι υπάρχοντες αλγόριθµοι είναι κατασκευασµένοι για πεπερασµένο όγκο στοιχείων, οσοδήποτε µεγάλος κι αν είναι αυτός. Στη συνέχεια περιγράφονται δύο βασικοί αλγόριθµοι [MM02] για την εύρεση της συχνότητας εµφάνισης στοιχείων σε ρεύµατα δεδοµένων. Ο αλγόριθµος Sticky sampling βασίζεται σε δειγµατοληψία µε ένα ρυθµό που καθορίζει την πιθανότητα επιλογής κάποιας πλειάδας του ρεύµατος για να συµπεριληφθεί στη δοµή µέτρησης των εµφανίσεων. Ωστόσο, ο ρυθµός µεταβάλλεται µε γεωµετρική πρόοδο µε την πάροδο του χρόνου. Όποτε ο ρυθµός αλλάζει, τα περιεχόµενα της περίληψης σαρώνονται και οι µετρήσεις αναθεωρούνται µε πιθανοτικό τρόπο (ρίχνοντας ένα νόµισµα). Αν οι εµφανίσεις ενός στοιχείου µηδενιστούν, αυτό απαλείφεται από τη σύνοψη. Πρακτικά, αυτό ισοδυναµεί µε την περίπτωση η δειγµατοληψία να είχε ξεκινήσει από την αρχή του ρεύµατος µε τον τρέχοντα ρυθµό. Από την άλλη πλευρά, ο αλγόριθµος Lossy counting είναι ντετερµινιστικός και πειραµατικά επιτυγχάνει πολύ καλύτερες επιδόσεις. Τα περιεχόµενα του ρεύµατος χωρίζονται σε κάδους (buckets) δεδοµένου εύρους που εξαρτάται από την επιθυµητή ακρίβεια των µετρήσεων. Για κάθε ερχόµενη πλειάδα προσδιορίζεται σε ποιον κάδο ανήκει και αυξάνεται η συχνότητά της. Για την τήρηση των συχνοτήτων κάθε στοιχείου της σύνοψης τίθεται ένας παράγων ανοχής που χρησιµοποιείται για τον έλεγχο των ακραίων περιεχοµένων του κάδου. Αν η συχνότητα δεν ξεπερνά το τρέχον κατώφλι, το στοιχείο διαγράφεται από τη σύνοψη, µε την εκτίµηση ότι δεν έχει σηµαντικό αριθµό εµφανίσεων. 3.2 Συχνά στοιχεία σε ιεραρχικά ρεύµατα δεδοµένων Στη µελέτη αλγορίθµων για την επεξεργασία ρευµάτων, µεγάλο ενδιαφέρον συγκεντρώνει η αναζήτηση των συχνά εµφανιζόµενων στοιχείων (heavy hitters): πρόκειται για εκείνες τις τιµές που συναντώνται µε συχνότητα µεγαλύτερη από ένα ποσοστό φ (κατώφλι) σε όλη την ακολουθία των N πλειάδων που συγκροτούν το ρεύµα. Στην πραγµατικότητα πρόκειται για το ανάλογο των ερωτηµάτων µορφής παγόβουνου (iceberg queries) που υποβάλλονται συνήθως σε αποθήκες δεδοµένων για να υπολογίσουν οµάδες στοιχείων των οποίων κάποιο µέγεθος (COUNT, SUM κλπ.) υπερβαίνει ένα ορισµένο κατώφλι. Για την απλή περίπτωση, όπου απλώς η συχνότητα των διακριτών στοιχείων του ρεύµατος αναπροσαρµόζεται συνεχώς µε την έλευση νέων δεδοµένων, έχουν προταθεί αρκετοί ντετερµινιστικοί και τυχαιοποιηµένοι αλγόριθµοι, µε τις αντίστοιχες εγγυήσεις σφάλµατος στις προσεγγιστικές απαντήσεις που θα δοθούν. Αν ε είναι µια µικρή παράµετρος σφάλµατος (0 ε φ), ο αλγόριθµος θα πρέπει να επιστρέφει στοιχεία που συναντώνται τουλάχιστον κατά ποσοστό που κυµαίνεται µεταξύ (φ-ε) και φ επί του τρέχοντος συνολικού πλήθους N των στοιχείων του ρεύµατος. 8

9 Συνάθροιση ιεραρχικών ρευµάτων δεδοµένων Βέβαια, το πρόβληµα περιπλέκεται αν συνυπολογιστεί η πτυχή της ιεραρχικής δοµής των στοιχείων, οπότε πρέπει να βρεθούν τα συχνότερα εµφανιζόµενα στοιχεία σε ιεραρχίες (hierarchical heavy hitters). Πιο συγκεκριµένα, ορίζοντας ένα κλάσµα φ (κατώφλι), ζητούνται να βρεθούν εκείνα τα στοιχεία για τα οποία το πλήθος των απογόνων τους σε όλο το εύρος της ιεραρχίας είναι φ φορές µεγαλύτερο από το σύνολο των στοιχείων του ρεύµατος. εδοµένου ότι το άθροισµα των συχνοτήτων όλων των διακριτών στοιχείων ισούται µε το σύνολο Ν των πλειάδων, ο αριθµός των ιεραρχικά συχνότερων στοιχείων δεν µπορεί να υπερβεί το 1/φ. Η κρίσιµη διαφοροποίηση είναι ότι δεν πρέπει να συνυπολογιστούν εκείνοι οι απόγονοι στην ιεραρχία που επίσης εµφανίζονται µε µεγάλη συχνότητα [CKMS03]. Εποµένως, η τεχνική αυτή δεν στοχεύει απλώς στην ανακάλυψη µεγάλων συχνοτήτων µόνο στα πρωτογενή περιεχόµενα του ρεύµατος, αλλά και στην ιεραρχία που συγκροτείται απ αυτά. Χαρακτηριστικότερο παράδειγµα εφαρµογής αυτής της µεθοδολογίας είναι η αναζήτηση εκείνων των IP διευθύνσεων που δέχονται τις περισσότερες επισκέψεις στις σελίδες που φιλοξενούν για το ιαδίκτυο. Οι διευθύνσεις έχουν µια εγγενή ιεραρχία, οπότε εκτός από τον πλήρη προσδιορισµό (λ.χ ), ελέγχονται και τα προθέµατά τους. Έτσι, τα τρία πρώτα µέρη κάποιων IP διευθύνσεων (π.χ *) µπορεί να εµφανίζονται συνολικά πολύ συχνότερα σε σχέση µε τον καθένα από τους απογόνους του χωριστά (οι πλήρεις IP διευθύνσεις). Φυσικά, η επεξεργασία θα µπορούσε να διεξαχθεί άνετα εκ των υστέρων, αφού υπολογιστούν όλες οι συχνότητες των πρωτογενών δεδοµένων. Όµως, µια τέτοια τακτική θα εισήγαγε πρόσθετες επιβαρύνσεις σε υπολογιστικό χώρο και χρόνο, εφόσον θα έπρεπε να τηρούνται ανεξάρτητες περιλήψεις για κάθε βαθµίδα της ιεραρχίας. Εξάλλου, η διαρκής ενηµέρωση απαιτεί περισσότερο χώρο και εκτελεί πολλαπλά «περάσµατα» στα δεδοµένα. Η καινοτοµία που εισηγούνται οι [CKMS03] συνίσταται στο γεγονός ότι η ιεραρχική φύση των δεδοµένων θα πρέπει να συµπεριληφθεί στη µεθοδολογία της επεξεργασίας, βελτιώνοντας έτσι την ποιότητα της ούτως ή άλλως προσεγγιστικής απάντησης. Τα στοιχεία που προσδιορίζονται ως τα συχνότερα σε όλη την ιεραρχία των µέχρι τότε περιεχοµένων του ρεύµατος, θα πρέπει να ικανοποιούν τα κριτήρια της ορθότητας (accuracy) και της κάλυψης (coverage). Ως προς το πρώτο σκέλος (ορθότητα), τα στοιχεία πρέπει να έχουν συχνότητα εµφάνισης πάνω από ένα συγκεκριµένο κατώφλι που δεν ξεπερνά τον προκαθορισµένο παράγοντα σφάλµατος. Ως προς το κριτήριο της κάλυψης, για τα στοιχεία που ο αλγόριθµος δεν χαρακτηρίζει ως συχνά, θα πρέπει το πλήθος των εµφανίσεών τους να µην υπερβαίνει το κατώφλι που έχει τεθεί, αφού προηγουµένως εξαιρεθούν τυχόν απόγονοί τους που εµφανίζονται συχνά. Οι δύο αυτές συνθήκες εγγυώνται ότι ο ορισµός επιτυγχάνει τον εντοπισµό των σωστών στοιχείων. Άρα, τα αναζητούµενα στοιχεία είναι δυνατόν να βρεθούν σε οποιοδήποτε επίπεδο λεπτοµέρειας, και οι σχετικές τεχνικές επιχειρούν να συµπυκνώσουν όση περισσότερη πληροφορία σε δεδοµένη ποσότητα µνήµης. Επιπροσθέτως, ο σχετικός αλγόριθµος οφείλει να βρίσκει την απάντηση ελαχιστοποιώντας τον απαιτούµενο χώρο και χρόνο επεξεργασίας, προκειµένου να είναι αποδοτικός. Στις επόµενες ενότητες εξετάζονται δύο εκδοχές του προ- βλήµατος εύρεσης των συχνά εµφανιζόµενων ιεραρχηµένων στοιχείων. Στην πρώτη περίπτωση θεωρείται ότι το ρεύµα προκύπτει από συνεχείς προσθήκες νέων πλειάδων (append-only stream), γι αυτό προτείνονται ντετερµινιστικές τεχνικές που βασίζονται σε δειγµατοληψία. Στη δεύτερη περίπτωση, το ενδεχόµενο εναλλαγής εισαγωγών και διαγραφών στοιχείων στο ρεύµα αντιµετωπίζεται µε έναν τυχαιοποιηµένο αλγόριθµο που χρησιµοποιεί σκίτσα, παρέχοντας πιθανοτικές εγγυήσεις σφάλµατος στην προσέγγιση που επιτυγχάνει. Κοινό χαρακτηριστικό και των δύο εκδοχών είναι ότι οι αλγόριθµοι µπορούν να εφαρµοστούν για οποιαδήποτε ιεραρχία δηλωθεί ή υπάρχει εγγενώς στα ίδια τα στοιχεία. Τα δεδοµένα του ρεύµατος θεωρείται ότι ανήκουν στο χαµηλότερο επίπεδο ιεραρχίας του αντίστοιχου πεδίου τιµών. Όµως, οι συγκεκριµένοι αλγόριθµοι µπορούν να παραλλαχθούν ώστε να αντιµετωπίσουν στοιχεία που ανήκουν σε διαφορετικά επίπεδα (οπότε συνεισφέρουν σε διαφορετικά συναθροιστικά αποτελέσµατα). Η παράµετρος σφάλµατος ε πρέπει να προσδιορίζεται εκ των προτέρων πριν δηλαδή ξεκινήσει η συνάθροιση ενώ το κατώφλι φ µπορεί να δηλώνεται δυναµικά, όταν οι χρήστες θέτουν τα σχετικά ερωτήµατα για να λάβουν τα αποτελέσµατα της συνάθροισης Τεχνικές µε δειγµατοληψία Όλες οι τεχνικές δειγµατοληψίας που προτείνονται από τους [CKMS03] χρησιµοποιούν µια «δενδροειδή» δοµή δεδοµένων trie. Σ αυτή τη δοµή Τ καταχωρείται ένα σύνολο πλειάδων που λαµβάνονται δειγµατοληπτικά από το ρεύµα δεδοµένων. Οι αλγόριθµοι εξελίσσονται σε δύο εναλλασσόµενες φάσεις: προσθήκη (insertion) νέων στοιχείων και συµπίεση (compression). Το ρεύµα υποδιαιρείται σε κάδους εύρους 1/ε, άρα ο τρέχων κάδος έχει αρίθµηση εν, όπου ε η παράµετρος σφάλµατος και Ν το πλήθος των πλειάδων του ρεύµατος. Για κάθε εσωτερικό κόµβο της δοµής Τ καταχωρούνται πληροφορίες σχετικά µε το άνω και κάτω όριο στη συχνότητα εµφάνισης του αντίστοιχου προθέµατος σε σχέση µε το άθροισµα των συχνοτήτων των απογόνων του στην ιεραρχία. Κατά το στάδιο της συµπίεσης, ο χώρος που καταλαµβάνει η δοµή ελαττώνεται, συγχωνεύοντας τιµές και διαγράφοντας κόµβους που δεν έχουν απογόνους ή έχουν αµελητέα συνεισφορά. Προτείνονται τέσσερις εναλλακτικές στρατηγικές, οι οποίες διαφέρουν στον τρόπο που υλοποιούνται οι εισαγωγές και οι συγχωνεύσεις: i. Αρχικά, για κάθε στοιχείο του ρεύµατος εισάγονται αναδροµικά στη δοµή όσα προθέµατά του (υψηλότερα στην ιεραρχία) δεν έχουν ακόµη εισαχθεί, έως ότου συναπαντηθεί κάποιος υπαρκτός κόµβος που αντιστοιχεί στο ίδιο πρόθεµα. Για όλα τα υπόλοιπα προθέµατα, αρκεί να αυξηθεί το πλήθος των εµφανίσεών τους στους κόµβους. Εποµένως, η ιεραρχία των δεδοµένων αξιοποιείται για να εξοικονοµούνται εισαγωγές (insertions). ii. Με τη δεύτερη στρατηγική, τηρείται για κάθε κόµβο ο µέγιστος αριθµός εµφανίσεων των απογόνων του που έχουν διαγραφεί επειδή δεν υπερέβαιναν το κατώφλι. Η διαφορά της µε την προηγούµενη τεχνική έγκειται στο γεγονός ότι αυτό το µέγεθος αποτελεί την απόκλιση µεταξύ του κάτω και του άνω ορίου των συχνοτήτων που καταγράφονται σε κάθε κόµβο, οπότε επιστρέφεται πάντοτε µικρότερος (ή το πολύ ίσος) αριθµός πλειάδων. 9

10 Άµεση Αναλυτική Επεξεργασία Ρευµάτων εδοµένων. iii. Η ιδέα για την τρίτη παραλλαγή είναι να επιτραπούν διαγραφές ενδιάµεσων κόµβων της δοµής, καθώς και κόµβων που δεν έχουν καθόλου απογόνους. Επίσης, η εισαγωγή ενός νέου στοιχείου δεν συνεπάγεται εισαγωγή και των προθεµάτων του (µειώνοντας έτσι το συνολικό αριθµό εισαγωγών). iv. Η τέταρτη υβριδική στρατηγική προκύπτει από συγκερασµό των δύο τελευταίων και πειραµατικά συµπεραίνεται ότι συγκριτικά µ εκείνες επιτυγχάνει καλύτερες επιδόσεις Τεχνικές µε σκίτσα Το σκίτσο είναι µια δοµή για την καταχώρηση της κατανοµής στοιχείων A[1..U] σ ένα ρεύµα δεδοµένων µε U διακριτές τιµές, όπου A[i] είναι ο πλήθος εµφανίσεων της τιµής i. Τα σκίτσα έχουν αποδειχθεί ιδιαίτερα χρήσιµα σε αλγορίθµους επεξεργασίας ρευµάτων, χάρη σε ορισµένες πολύ ελκυστικές ιδιότητές τους: µεταξύ άλλων, είναι δυνατή η δυναµική τήρησή τους καθώς νέες πλειάδες εισρέουν στο σύστηµα, καταλαµβάνουν σχετικά λίγο χώρο, ενώ µπορούν να εκτιµήσουν την κατανοµή ενός διαστήµατος τιµών µε ικανοποιητική ακρίβεια, δίνοντας πιθανοτικές εγγυήσεις σφάλµατος. Στη γενική περίπτωση, όταν δηλαδή στο ρεύµα δεδοµένων συµβαίνουν τόσο εισαγωγές όσο και διαγραφές στοιχείων, τα σκίτσα κρίνονται η καταλληλότερη δοµή σύνοψης, κυρίως µε τη µορφή συναθροιστικών αποτελεσµάτων. Στην προκειµένη περίπτωση, για την εύρεση της συχνότητας εµφάνισης των στοιχείων, οι αλγόριθµοι πρέπει να έχουν την ικανότητα να αντιµετωπίσουν το ενδεχόµενο ελλιπώς σχηµατισµένων ρευµάτων (ill-formed streams), όταν συµβαίνει κάποιες διαγραφές να προηγούνται των αντίστοιχων εισαγωγών. Κάτι τέτοιο µπορεί να έχει επιπτώσεις στην τηρούµενη κατανοµή, λ.χ. κάποια τιµή να προκύψει αρνητική. Έστω ότι το πλήθος των εµφανίσεων των διακριτών στοιχείων του ρεύµατος τηρείται σε µια απλή δενδρική δοµή, ακολουθώντας µια ιεραρχική κατάταξη για τα επίπεδα του δένδρου και διατρέχοντάς τα µε ανοδικό τρόπο (bottom-up) από κάτω προς τα πάνω. Έτσι, λ.χ. οι πλήρεις IP διευθύνσεις τοποθετούνται στα φύλλα και τα επιµέρους προθέµατά τους σε εσωτερικούς κόµβους, µε ολοένα µικρότερη λεπτοµέρεια προς τα ανώτερα επίπεδα, ενώ η ρίζα αντιστοιχεί σε όλες τις αναφερόµενες διευθύνσεις (ALL) και συµβολίζεται µε αστερίσκο (*). Ενδέχεται η συχνότητα σε κάποιο κόµβο να προκύψει υπερεκτιµηµένη, οπότε τυχόν διαγραφή του κόµβου ίσως οδηγήσει σε αρνητικό µέγεθος κάποιον πρόγονό του. Το φαινόµενο επιτείνεται όταν οι συχνότητες πολλών απογόνων του είναι υψηλότερες του κατωφλίου που έχει τεθεί. Για το λόγο αυτό, έχει προταθεί για τους υπολογισµούς η χρήση σκίτσων που προκύπτουν ως αποτέλεσµα εσωτερικού γινοµένου µε ένα διάνυσµα τετραπλά ανεξάρτητων (4-wise independent) τυχαίων µεταβλητών. Είναι ευνόητο ότι η ορθότητα των µετρούµενων συναθροιστικών αποτελεσµάτων χειροτερεύει προοδευτικά προς τα ανώτερα επίπεδα του δένδρου. Εναλλακτικά, ο αλγόριθµος αναζήτησης είναι εφικτό να ακολουθήσει µια καθοδική (top-down) διάσχιση του δένδρου από πάνω (ρίζα) αναδροµικά προς τα κάτω (φύλλα), προκειµένου να εντοπιστούν οι συχνότερες τιµές. Για κάθε κόµβο υπολογίζεται το βάρος του ως άθροισµα των εµφανίσεων των φύλλων του υποδένδρου του. Αν απ αυτό το µέγεθος αφαιρεθούν οι συνεισφορές όλων των παιδιών του και η διαφορά προκύψει υψηλότερη από το κατώφλι, τότε ο κόµβος αυτός θεωρείται συχνά εµφανιζόµενο στοιχείο. Βέβαια, για έναν τέτοιο αλγόριθµο που εκµεταλλεύεται την ιεραρχία, το κόστος εξαρτάται από το ύψος της ιεραρχίας που κτίζεται για το δένδρο καθώς και από το κλάσµα φ που ρυθµίζει το κατώφλι. Το πρόβληµα µετατοπίζεται λοιπόν στην κατασκευή ενός κατάλληλου σκίτσου µε το οποίο θα καταστεί δυνατόν να απαντηθούν ερωτήµατα µεµονωµένων τιµών (σηµείου) και διαστηµάτων τιµών. Για το σκοπό αυτόν χρησιµοποιούνται τα λεγόµενα σύνολα τυχαίων υποσυνόλων (random subset sets). Πιο συγκεκριµένα, σχηµατίζονται υποσύνολα του πεδίου τιµών, έτσι ώστε οποιοδήποτε στοιχείο του πεδίου τιµών να έχει πιθανότητα ½ να είναι µέλος στο καθένα απ αυτά. Για κάθε υποσύνολο τηρείται ένας µετρητής, του οποίου η τιµή αυξάνει οπότε καταφθάνει ένα νέο στοιχείο του ρεύµατος που πρέπει να ενταχθεί στο σύνολο. Αντίστοιχα, οι διαγραφές στοιχείων υλοποιούνται µε µείωση της τιµής των αντίστοιχων µετρητών. Παίρνοντας τον µέσο όρο των µετρητών για τα σύνολα όπου εµφανίζεται κάθε στοιχείο, είναι δυνατόν να απαντηθούν ερωτήµατα σηµείου µε πιθανοτικές εγγυήσεις σφάλµατος. Τηρώντας αντίστοιχα σκίτσα για κάθε επίπεδο ιεραρχίας, µπορούν οµοίως να εξυπηρετηθούν ερωτήµατα διαστήµατος τιµών (range query). Η αποθήκευση τόσων τιµών για όλη την ιεραρχία θα ήταν απαγορευτική, λαµβάνοντας υπόψη τον όγκο των στοιχείων και τους περιορισµούς στη διαθέσιµη µνήµη. Ωστόσο, για τον πιθανοτικό προσδιορισµό της προσδοκώµενης τιµής και της διακύµανσης των συναθροιστικών αποτελεσµάτων αρκεί να σχηµατιστούν σύνολα µε ανεξαρτησία ανά ζεύγη (pair-wise independent). Είναι δυνατόν να οριστούν κατάλληλες συναρτήσεις κερµατισµού που να δίνουν τυχαία υποσύνολα και να δηλώνουν την παρουσία ή την απουσία κάθε στοιχείου από το σύνολο. Η καθοδική (top-down) τεχνική πλεονεκτεί, τόσο από την άποψη του υπολογιστικού χρόνου (λιγότερες εισαγωγές και διαγραφές) όσο και του χώρου (µικρότερα σκίτσα). Ωστόσο, αν οι απαιτήσεις σε ακρίβεια γίνουν αρκετά µεγάλες, τότε το µέγεθος των σκίτσων αυξάνει δυσανάλογα και µε τις δύο µεθόδους. 3.3 Συχνά εµφανιζόµενα στοιχεία σε ιεραρχικά ρεύµατα πολυδιάστατων δεδοµένων Η γενίκευση του προβλήµατος της συχνότητας εµφάνισης στοιχείων στην περίπτωση πολυδιάστατων δεδοµένων που καταφθάνουν µε τη µορφή ρεύµατος µοιάζει φυσική. Πράγµατι, στις αποθήκες δεδοµένων υπάρχουν αρκετές ιεραρχίες σε κάθε διάσταση (λ.χ. χρόνος, γεωγραφικός προσδιορισµός, κ.ά.). Προφανώς, έχει ιδιαίτερη σηµασία η εξαγωγή συναθροιστικών στοιχείων σε πολλαπλές ιεραρχίες, ωστόσο η επεξεργασία δυσχεραίνεται όταν πρέπει να διεξαχθεί ταυτόχρονα σε περισσότερες από µια διαστάσεις, αφού αυξάνεται κατά πολύ το πλήθος των δυνατών συνδυασµών διακριτών τιµών. Εποµένως, έχει ιδιαίτερη σηµασία οι σχετικοί αλγόριθµοι να σαρώνουν τα στοιχεία µόνο µια φορά. Για τυπικές εφαρµογές αποθηκών δεδοµένων, µεγαλύτερο ρόλο παίζει η εξαγωγή ακριβών εκτιµήσεων για τις συχνότητες εµφάνισης των τιµών που ενδιαφέρουν, οπότε είναι αποδεκτό να υπάρχουν πολλαπλά περάσµατα. 10

11 Συνάθροιση ιεραρχικών ρευµάτων δεδοµένων Ο τρόπος υπολογισµού των επιµέρους συναθροιστικών στοιχείων για τα πολυδιάστατα δεδοµένα µπορεί να ερµηνευτεί µε διττό τρόπο, µιας και κάθε στοιχείο έχει πολλαπλούς προγόνους στην ιεραρχία (το πολύ όσες και οι διαστάσεις): Είναι λοιπόν πιθανόν τα επιµέρους αποτελέσµατα να είναι επικαλυπτόµενα για το ίδιο επίπεδο της ιεραρχίας (ύπαρξη κοινών κλάδων). Εποµένως, όταν το αποτέλεσµα σ έναν κόµβο προωθείται σε όλους τους προγόνους του, ίσως συνυπολογίζεται πολλαπλές φορές, οδηγώντας σε αλλεπάλληλες υπερεκτιµήσεις καθώς τα στοιχεία διαδίδονται στα ανώτερα επίπεδα της ιεραρχίας. Για να αντιµετωπιστεί το πρόβληµα, τηρούνται επιπλέον στατιστικά στοιχεία για κάθε κόµβο που αφορούν τους «εγγονούς» του στην ιεραρχία. Αυτοί οι λεγόµενοι αντισταθµιστικοί λογαριασµοί (compensating counts) αφαιρούνται από την τρέχουσα συνάθροιση, προκειµένου να τεθεί κάποιο άνω όριο στην εκτίµηση των συχνοτήτων. Από την άλλη, υπάρχει ενδεχόµενο οι επιµέρους συναθροίσεις να είναι πλήρως διαχωρισµένες, µε την έννοια ότι καλύπτουν διαφορετικές οµάδες στοιχείων (άρα έχουν διαφορετικούς κλάδους στην ιεραρχία). Τότε το συναθροιστικό αποτέλεσµα ενός κόµβου διαµοιράζεται (λ.χ. µε χρήση συντελεστών βαρύτητας) µεταξύ των προγόνων του: άλλοτε ισοµερώς (ίδιοι συντελεστές σε όλους τους προγόνους), άλλοτε ευνοώντας ορισµένους εις βάρος κάποιων άλλων, είτε τέλος σ έναν µόνο προγονικό κόµβο που επιλέγεται µε τυχαίο τρόπο. Εξυπακούεται ότι η λύση που επιδιώκεται όταν τα δεδοµένα καταφθάνουν µε τη µορφή ρεύµατος θα είναι προσεγγιστική, οπότε ισχύουν ξανά οι απαιτήσεις της ακρίβειας και της κάλυψης για το αποτέλεσµα της συνάθροισης. Προφανώς, υπάρχει προτίµηση για αλγορίθµους που παρέχουν αποτελέσµατα ίσου µεγέθους µ αυτό της ακριβούς αλλά πρακτικά ανέφικτης λύσης. Ο τρόπος παραγωγής των συναθροιστικών αποτελεσµάτων ανά επίπεδο εξαρτάται απολύτως από τη σηµασιολογία που αποδίδεται στη συχνότητα εµφάνισης των στοιχείων. Λ.χ. µε βάση την πρώτη ερµηνεία, οι τιµές των µετοχών µπορούν να γενικευτούν τόσο σε επίπεδο τετάρτου και κατηγορίας (κοινές, προνοµιούχες κλπ.) όσο και ανά ηµίωρο και κλάδους επιχειρήσεων (βιοµηχανικές, τράπεζες, κ.ά.). Προφανώς, οι δύο συναθροίσεις οµαδοποιούν επικαλυπτόµενα υποσύνολα πλειάδων. Με τη δεύτερη ερµηνεία, η διακύµανση ορισµένων µετοχών µπορεί να παρακολουθείται λ.χ. σε επίπεδο ώρας και κλάδων επιχειρήσεων, οπότε προκύπτουν χωριστά επιµέρους αθροίσµατα που δεν εµφανίζουν επικαλύψεις µεταξύ τους. Άρα, όταν πρόκειται να συναθροιστούν σε ανώτερο επίπεδο πολλαπλασιάζονται µε διαφορετικό συντελεστή ανάλογα µε τον κλάδο ώστε να προκύψει ο γενικός και οι επιµέρους δείκτες σε ηµερήσια βάση. Το βασικό ζήτηµα όσον αφορά τον υπολογισµό της συχνότητας εµφανίσεων στοιχείων σε πολυδιάστατα δεδοµένα εστιάζεται στην αποφυγή υπερεκτιµήσεων ή υποεκτιµήσεων τιµών, εξαιτίας της ύπαρξης πολλαπλών προγόνων και απογόνων στην ιεραρχία των διαστάσεων. Για το λόγο αυτό, προτείνεται [CKMS04] η αξιοποίηση του λεγόµενου πλέγµατος (lattice) που σχηµατίζουν τα γινόµενα των ιεραρχικών διαστάσεων, τηρώντας έναν µικρό αριθµό από πρόσθετα στατιστικά Σχήµα 4. Το πλέγµα σχηµατίζεται για δύο διαστάσεις (δύο IP διευθύνσεις ως προέλευση και προορισµός ενός πακέτου δεδοµένων), µε τέσσερα επίπεδα ιεραρχίας για την καθεµιά. Ο κόµβος στην κορυφή (συµβολίζεται µε *) αντιπροσωπεύει τη γενίκευση για όλες τις διαστάσεις για όλο το πλήθος Ν των στοιχείων του ρεύµατος. Αξιοσηµείωτο είναι ότι το τµήµα του πλέγµατος πάνω από τον κόµβο (1.2.3.*, 5.6.*) είναι το ίδιο λ.χ. και για το ζεύγος ( , ). στοιχεία σε κάθε κόµβο του (βλ. Σχήµα 4). Η µοντελοποίηση των διαστάσεων µε τη µορφή πλέγµατος είναι τυπική του είδους της επεξεργασίας που επιτελείται µε τους κύβους δεδοµένων. Πιο συγκεκριµένα, γενίκευση ενός στοιχείου σε κάποια διάσταση (γνώρισµα των πλειάδων) σηµαίνει ανάβαση (roll-up) στην ιεραρχία αυτής της διάστασης. Σε αντιπαραβολή, ένα στοιχείο είναι εξειδικευµένο, όταν δεν έχει προκύψει από γενίκευση στο αντίστοιχο γνώρισµα, οπότε βρίσκεται στη µεγαλύτερη δυνατή λεπτοµέρεια και δεν µπορεί να αναλυθεί (drill-down) περαιτέρω. Είναι φανερό ότι το πλέγµα περιλαµβάνει και όλα τα επιµέρους πλέγµατα που συντίθενται από γενικεύσεις των διαστάσεων. Όπως διακρίνεται και στο σχήµα 4, από κάποιο επίπεδο γενίκευσης και πάνω, παρατηρούνται επικαλύψεις µε πλέγµατα άλλων στοιχείων. Κατ αυτόν τον τρόπο συγκροτούνται κοινά υποπλέγµατα (sublattices) στα ανώτερα επίπεδα της ιεραρχίας. Βάσει αυτών των πλεγµάτων, υπολογίζονται οι αντισταθµιστικοί λογαριασµοί στους κόµβους, ώστε να αποφεύγονται υπερεκτιµήσεις συχνοτήτων. Ο αλγόριθµος οφείλει να ελέγχει και την περίπτωση των υποεκτιµήσεων, όταν συµβαίνει και οι δύο απόγονοι ενός κόµβου στο πλέγµα να έχουν υψηλή συχνότητα, οπότε γίνεται υπερβολική αντιστάθµιση µε τους εγγονούς του. Οι τεχνικές αυτές επεκτείνονται εύκολα στην περίπτωση περισσότερων των δύο διαστάσεων, τηρώντας δύο αντισταθµιστικούς λογαριασµούς ανά κόµβο, έναν για την περίπτωση υπερεκτιµήσεων κι άλλον ένα για την περίπτωση υποεκτιµήσεων των συχνοτήτων του σε εναλλασσόµενα επίπεδα της ιεραρχίας. Σε σχέση µε τυχόν διαγραφές στοιχείων από το ρεύµα δεδοµένων, η χρήση σκίτσων είναι επίσης ενδεδειγµένη. Παρατηρείται όµως το 11