1 Εισαγωγή ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ

Transcript

1 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΠΕΝΕΔ 03 (03ΕΔ 291) Διαχείριση δεδομένων για υπηρεσίες εντοπισμού κινούμενων αντικειμένων Παραδοτέο 2 Μοντέλα αναπαράστασης δεδομένων και γλώσσες ερωταποκρίσεων 1 Εισαγωγή Η ανάγκη για αποδοτική διαχείριση και επεξεργασία δεδομένων γίνεται συνέχεια πιο έντονη λόγω της διαρκούς τεχνολογικής ανάπτυξης. Στην σημερινή εποχή δεδομένα με συνεχόμενα αυξανόμενο όγκο παράγονται από όλο και περισσότερες πηγές. Οι συσκευές που διαθέτουν λογικά κυκλώματα με δυνατότητα επεξεργασίας και αισθητήρες για τη συλλογή διαφόρων μετρήσεων σχετικά με το περιβάλλον αποκτούν μικρότερο μέγεθος, χρειάζονται λιγότερη ενέργεια. Είναι αναμενόμενο, συνεπώς, η χρήση τους στην καθημερινή ζωή να αυξάνεται με αποτέλεσμα ένας τεράστιος όγκος δεδομένων να είναι διαθέσιμος. Μάλιστα έχουμε φτάσει σε τέτοιο σημείο ώστε η ποσότητα των δεδομένων να εξαρτάται όχι από τον ρυθμό παραγωγής τους από τις πηγές αλλά από τον ρυθμό κατανάλωσής τους από τις εφαρμογές, λόγω των αυξημένων απαιτήσεων σε πόρους επεξεργασίας. Αναδεικνύεται, επομένως, η ανάγκη για αποδοτική διαχείριση αυτής της θάλασσας δεδομένων. Το κλασικό μοντέλο διαχείρισης και επεξεργασίας δεδομένων σε γενικές γραμμές απαιτεί την συλλογή τους, την μοντελοποίηση τους και την αποθήκευσή τους σε μια βάση δεδομένων. Η εξαγωγή χρήσιμων πληροφοριών και συμπερασμάτων πραγματοποιείται με την διατύπωση ερωτημάτων με βάση κάποια γλώσσα. Το μοντέλο αυτό, που αποτέλεσε αντικείμενο της ερευνητικής κοινότητας για πολλά χρόνια, αναπτύχθηκε και οριστικοποιήθηκε πριν από τρεις δεκαετίες και χρησιμοποιείται ευρέως μέχρι και σήμερα. Βέβαια, ο σχεδιασμός του μοντέλου αυτού είχε γίνει σύμφωνα με προδιαγραφές και απαιτήσεις που πλέον θεωρούνται ξεπερασμένες. Συγκεκριμένα, αναφέρουμε τέσσερα κύρια χαρακτηριστικά που διαφοροποιούν τις τρέχουσες απαιτήσεις σε σχέση με το κλασικό μοντέλο. Το πρώτο έγκειται στην ανάγκη για συνεχή επεξεργασία και ανάλυση των δεδομένων καθώς αυτά δημιουργούνται. Το δεύτερο έχει να κάνει με τον τεράστιο όγκο δεδομένων που παράγονται. Είναι σύνηθες σε πολλές εφαρμογές να παράγονται GB πληροφορίας ανά δευτερόλεπτο με αποτέλεσμα να καθιστούν δύσκολη αν όχι αδύνατη την αποθήκευση τους.

2 Σε πολλές εφαρμογές ενδιαφέρουν περισσότερο τα αποτελέσματα ερωτήσεων παρά τα δεδομένα καθαυτά. Για τα δεδομένα που σχετίζονται σε εφαρμογές με τα παραπάνω χαρακτηριστικά έχει καθιερωθεί ο όρος ρεύματα δεδομένων για να αποδώσει την δυναμική μορφή τους: τα δεδομένα ρέουν με μεγάλους ρυθμούς από τις πηγές παραγωγής τους, και, κατά συνέπεια, δεν αποθηκεύονται μόνιμα και χρήζουν άμεσης επεξεργασίας. Τέλος, η ρευστότητα της πληροφορίας είναι σε μεγάλο βαθμό αλληλένδετη με την έντονη κινητικότητα στο σύγχρονο κόσμο, είτε πρόκειται για ανθρώπους, συσκευές, προϊόντα, μέσα μεταφοράς, ακόμη και παρατήρηση φυσικών φαινομένων. Αφενός λοιπόν διαπιστώνεται ανάγκη διαρκούς ελέγχου και συντονισμένης παρακολούθησης της κίνησης αντικειμένων, αφετέρου δε διαφαίνονται σπουδαίες επιχειρηματικές ευκαιρίες για αξιοποίηση της τεχνολογίας (λ.χ., σε συνδρομητικές υπηρεσίες, τουριστικούς οδηγούς, διαφήμιση κ.ά.), προσφέροντας κατάλληλα επεξεργασμένες πληροφορίες εν κινήσει. Οι ερωτήσεις που αφορούν σε τέτοια δυναμικά περιβάλλοντα έχουν διαφορετικά χαρακτηριστικά. Το κυριότερο είναι ότι απαιτούν τη συνεχή αποτίμηση τους καθώς νέα δεδομένα ρέουν. Κάθε φορά που εμφανίζεται ένα κομμάτι πληροφορίας το οποίο σχετίζεται με ένα ερώτημα, η απάντηση του τελευταίου θα πρέπει να ανανεώνεται. Έχει επικρατήσει ο όρος ερωτήματα διαρκείας για να αποδώσει την ιδιότητα αυτή. Συνήθως στα ερωτήματα αυτά ενδιαφέρει μόνο ένα πρόσφατο τμήμα, ένα χρονικό παράθυρο, από το ιστορικό της εξέλιξης του ρεύματος δεδομένων. Τα παράθυρα εκτός από σημασιολογικό σκοπό επιτελούν και πρακτικό σκοπό, καθώς πολλά ερωτήματα δεν είναι δυνατό να οριστούν στο άπειρο σύνολο ενός ρεύματος και απαιτούν την εξαγωγή ενός μικρότερου και ευκολότερα διαχειρίσιμου τμήματος. Μπορούμε να διακρίνουμε τρεις περιπτώσεις σχετικά με το περιβάλλον όπου παράγονται ρεύματα δεδομένων. Η απλούστερη είναι όταν υπάρχει μία μοναδική πηγή. Προφανώς σε αυτή την περίπτωση τα ερωτήματα τίθενται κατευθείαν στην πηγή. Στην δεύτερη περίπτωση υπάρχουν πολλές διαφορετικές πηγές δεδομένων. Τα ερωτήματα μπορούν να τεθούν σε οποιαδήποτε από τις πηγές και η επεξεργασία τους απαιτεί την μεταφορά δεδομένων. Η πιο σύνθετη περίπτωση είναι όταν υπάρχουν πολλαπλές πηγές-αντικείμενα οι οποίες επιπρόσθετα κινούνται. Η δυσκολία έγκειται στο ότι τα ερωτήματα απαιτούν γνώση της θέσης για την αποτίμηση τους. 1.1 Διαχείριση δεδομένων πολλαπλών κινούμενων αντικειμένων Σε αυτή την ενότητα θα περιγράψουμε ένα απλό σχήμα αναπαράστασης ρευμάτων δεδομένων. Θα ξεκινήσουμε από την περίπτωση μιας πηγής δεδομένων και θα επεκταθούμε στις περιπτώσεις πολλαπλών και κινούμενων πηγών. Σε όλες τις περιπτώσεις θα θεωρήσουμε το σχεσιακό μοντέλο αναπαράστασης της πληροφορίας σύμφωνα με το οποίο τα δεδομένα οργανώνονται σε εγγραφές καθορισμένου σχήματος. Το ζητούμενο επομένως είναι να περιγράψουμε το ρέον σχήμα που ταιριάζει σε κάθε περίπτωση. Μοναδική Πηγή Όταν έχουμε μοναδική πηγή δεδομένων θεωρούμε ότι όλες οι ρέουσες εγγραφές ακολουθούν το ρέον σχήμα <Τ, A 1, A 2, >. Τα A 1, A 2, λέγονται κύρια γνωρίσματα της εγγραφής και αποτελούν τα χαρακτηριστικά που ενδιαφέρουν τις εφαρμογές. Για παράδειγμα, αν θεωρήσουμε ότι η πηγή είναι ένας μετεωρολογικός αισθητήρας τα γνωρίσματα θα μπορούσαν να είναι η θερμοκρασία,

3 πίεση, υγρασία κτλ. Το γνώρισμα Τ αποκαλείται χρονόσημο και προσδιορίζει τη χρονική στιγμή την οποία δημιουργήθηκε η εγγραφή. Η ακριβής σημασιολογία του χρονόσημου εξαρτάται από την εφαρμογή: για παράδειγμα θα μπορούσε να αποτελεί τον χρόνο στον οποίο πάρθηκε μια μέτρηση, ή το χρόνο τον οποίο το σύστημα επεξεργάστηκε την εγγραφή. Σε κάθε περίπτωση και για αποφυγή πρόσθετων περιπλοκών, όπως προβλήματα συγχρονισμού, θεωρούμε ότι οι ρέουσες εγγραφές εμφανίζονται ταξινομημένες με βάση το χρονόσημό τους. Ας θεωρήσουμε ένα ατμοσφαιρικό αισθητήρα που παρατηρεί και μετράει την θερμοκρασία, την πίεση και την υγρασία. Το ρέον σχήμα που χαρακτηρίζει αυτό το παράδειγμα είναι S = <Τ, Temp, Press, Humid>. Αν υποθέσουμε ότι ενδιαφερόμαστε να παρακολουθούμε την υγρασία όποτε η θερμοκρασία είναι πάνω από 30 βαθμούς θα θέσουμε το ακόλουθο ερώτημα διαρκείας. SELECT T, Humid FROM S WHERE Temp>30 Το παραπάνω ερώτημα θα αποτιμάται κάθε φορά που έρχεται μία ρέουσα εγγραφή. Αν το γνώρισμα Temp είναι πάνω από 30 αυτή θα περιλαμβάνεται στο αποτέλεσμα. Πολλαπλές Πηγές Στη περίπτωση πολλαπλών πηγών δεδομένων κάνουμε την θεώρηση ότι όλες οι πηγές ακολουθούν το ίδιο ρέον σχήμα. Για παράδειγμα στην περίπτωση των αισθητήρων θεωρούμε ότι όλοι μετρούν ακριβώς τα ίδια γνωρίσματα. Το σχήμα σε αυτή την περίπτωση είναι <O, T, A 1, A 2, >, όπου τα T, A 1, A 2 ορίζονται όπως προηγουμένως. Το γνώρισμα O αποτελεί το αναγνωριστικό της πηγής, καθώς μας ενδιαφέρει να γνωρίζουμε από πού προήρθε κάθε εγγραφή. Αν θεωρήσουμε ότι υπάρχει ένας κεντρικός εξυπηρετητής που συλλέγει τις εγγραφές από όλες τις πηγές, μπορούμε να ανάγουμε την περίπτωση που εξετάζουμε στην προηγούμενη με σχήμα <T, O, A 1, A 2, >, όπου το αναγνωριστικό αποτελεί και αυτό κύριο γνώρισμα. Τα όποια προβλήματα συγχρονισμού εμφανίζονται μπορούμε, όπως και προηγουμένως, να τα αγνοήσουμε. Να σημειώσουμε, τέλος, ότι είναι δυνατό να υπάρχουν πηγές που να παράγουν εγγραφές διαφορετικού σχήματος, ή ακόμα και πηγές που να παράγουν παραπάνω εγγραφές με πολλαπλά σχήματα. Για λόγους απλούστευσης στην συνέχεια θα θεωρούμε την ύπαρξη μοναδικού σχήματος. Ας θεωρήσουμε έναν πάροχο υπηρεσιών διαδικτύου, ο οποίος διαθέτει ένα πλήθος από απομακρυσμένους δρομολογητές που συλλέγουν στατιστικά στοιχεία σχετικά με την κίνηση στο δίκτυο και που τα στέλνουν σε ένα κεντρικό εξυπηρετητή. Υποθέτουμε ότι τα στατιστικά στοιχεία περιλαμβάνουν την διεύθυνση πηγής, την διεύθυνση προορισμού και το όγκο των δεδομένων που διακινήθηκαν σε μία συνεδρία. Επομένως το ακόλουθο ρέον σχήμα μπορεί να περιγράψει το παράδειγμά μας: S = <Router, T, Source, Dest, Traffic>, όπου Router είναι το αναγνωριστικό του δρομολογητή, T είναι ο χρόνος που τελείωσε η συνεδρία, Source είναι η διεύθυνση της πηγής, Dest είναι η διεύθυνση του παραλήπτη και Traffic είναι ο όγκος της συνεδρίας σε KB. Ο διαχειριστής του συστήματος επιθυμεί να ελέγξει για πιθανές κατανεμημένες επιθέσεις αποκλεισμού υπηρεσιών (distributed denial of service attacks). Για το σκοπό αυτό αναζητά τις συνεδρίες εκείνες στις οποίες μία συγκεκριμένη διεύθυνση προορισμού δέχεται μεγάλο όγκο από αρκετούς διαφορετικούς δρομολογητές. Το ακόλουθο ερώτημα διαρκείας περιγράφει τον παραπάνω έλεγχο. SELECT Dest, DISTINCT(Router), SUM(Traffic) FROM S

4 GROUP BY Dest HAVING COUNT DISTINCT(Router)>4 AND SUM(Traffic)>1000 Το παραπάνω ερώτημα οργανώνει τις ρέουσες εγγραφές ανά διεύθυνση προορισμού και εμφανίζει αυτές για τις οποίες υπάρχει κίνηση μεγαλύτερη των 1000KB και που προέρχεται από τουλάχιστον 5 διαφορετικούς δρομολογητές. Πολλαπλές Κινούμενες Πηγές Στην περίπτωση κινούμενων πηγών-αντικειμένων μας ενδιαφέρουν εκτός από τα κύρια γνωρίσματα και η χωρική θέση του αντικειμένου που παρήγαγε την εγγραφή. Το ρέον σχήμα που ταιριάζει σε αυτή την περίπτωση είναι <O, X, Y, T, A 1, A 2, >, όπου τα γνωρίσματα X, Y αποκαλούνται χωρικά και προσδιορίζουν την θέση του αντικειμένου που σχετίζεται με την πληροφορία που περιέχουν τα κύρια γνωρίσματα. Τα υπόλοιπα γνωρίσματα ορίζονται ανάλογα με τις προηγούμενες περιπτώσεις. Να παρατηρήσουμε ότι τα γνωρίσματα X, Y, T προσδιορίζουν χωροχρονικά την πληροφορία που περιλαμβάνεται στην ρέουσα εγγραφή. Όπως και πριν, μπορούμε να θεωρήσουμε την ύπαρξη κεντρικού εξυπηρετητή που συλλέγει τις ρέουσες εγγραφές από όλα τα κινούμενα αντικείμενα. Γίνεται εμφανές ότι οι εφαρμογές που εξετάζουμε και τα ερωτήματα που μας αφορούν χρειάζονται την χωρική πληροφορία. Στην αντίθετη περίπτωση αναγόμαστε στην προηγούμενη περίπτωση. Ας θεωρήσουμε ένα σύνολο από αισθητήρες προσαρτημένους στα ταξί της Αθήνας. Οι αισθητήρες μπορούν να λάβουν μετρήσεις σχετικές με την ατμόσφαιρα, όπως συγκεντρώσεις διαφόρων αερίων και μικροσωματιδίων. Μέσω του δικτύου GPRS της κινητής τηλεφωνίας, οι αισθητήρες μπορούν να αποστείλουν τις μετρήσεις τους σε έναν κεντρικό εξυπηρετητή, ο οποίος δέχεται ερωτήματα σχετικά με τους ρίπους στο κέντρο της Αθήνας. Το ρέον σχήμα S = <Sensor, X, Y, T, CO, NO> αντιστοιχεί στο παράδειγμα που περιγράψαμε: Sensor είναι το αναγνωριστικό του αισθητήρα (και κατά επέκταση του ταξί), X είναι το γεωγραφικό μήκος, Y είναι το γεωγραφικό πλάτος, T είναι η χρονική στιγμή που έγινε η μέτρηση, CO είναι η συγκέντρωση σε μονοξείδιο του άνθρακα και NO είναι η συγκέντρωση σε οξείδιο του αζώτου. Υποθέτουμε ότι θέλουμε να βρούμε τα σημεία στο κέντρο της Αθήνας όπου η ατμόσφαιρα είναι ιδιαίτερα μολυσμένη. Το ακόλουθο ερώτημα διαρκείας περιγράφει την αναζήτηση που θέλουμε. SELECT Sensor, X, Y, T, CO, NO FROM S WHERE Xlow<X<Xhigh AND Ylow<Y<Yhigh AND CO>5 AND NO>5 Το παραπάνω ερώτημα βρίσκει τους αισθητήρες οι οποίοι βρίσκονται στο κέντρο της Αθήνας (το οποίο περιγράφεται από το ορθογώνιο με συντεταγμένες X low X high και Y low Y high ) και που έχουν συγκέντρωση σε οξείδια μεγαλύτερη από 5 μονάδες. Σε όλες τις προηγούμενες περιπτώσεις που αναφέρθηκαν και στα ερωτήματα που παρουσιάστηκαν όλες οι ρέουσες εγγραφές μπορούσαν να εμφανιστούν στις απαντήσεις των ερωτημάτων. Να τονίσουμε ότι ο αριθμός των ρεουσών εγγραφών γίνεται γρήγορα πολύ μεγάλος και δύσκολος στην επεξεργασία. Επιπλέον στα αποτελέσματα ενός ερωτήματος πολύ συχνά δεν ενδιαφέρουν οι παλιές εγγραφές αλλά οι τελευταίες χρονικά. Για τους προηγούμενους λόγους έχει καθιερωθεί η έννοια του χρονικού συρόμενου παραθύρου. Τα παράθυρα καθορίζουν ποιες εγγραφές είναι ενεργές ανάλογα με το χρονόσημο τους. Για παράδειγμα, ένα παράθυρο μήκους w χρονικών στιγμών προσδιορίζει ότι οι ρέουσες εγγραφές είναι ενεργές για w χρονικές στιγμές από την εμφάνιση τους. Αν t 1 είναι το χρονόσημο μίας εγγραφής, αυτή θα παραμείνει ενεργή μέχρι τη χρονική στιγμή t 1 +w. Παρατηρούμε επομένως ότι τα παράθυρα καθορίζουν έμμεσα πότε μία εγγραφή θα διαγραφεί από το ρεύμα.

5 Να σημειώσουμε ότι υπάρχουν διάφοροι τύποι παραθύρων το παραπάνω παράθυρα ονομάζονται συρόμενα με βάση το χρόνο. Ενδεικτικά αναφέρουμε μερικές ακόμα κατηγορίες. Τα συρόμενα παράθυρα με βάση τις εγγραφές δημιουργούν ρεύματα με σταθερό μέγεθος αφού ορίζονται με βάση το πλήθος των εγγραφών που είναι ενεργές, και όχι κάποιο χρονικό διάστημα. Για παράδειγμα, ένα τέτοιο παράθυρο μπορεί να διατηρεί τις τελευταίες 10 εγγραφές του ρεύματος. Μία άλλη κατηγορία είναι τα επάλληλα παράθυρα, είτε με βάση το χρόνο είτε με βάση τις εγγραφές. Η ειδοποιός διαφορά είναι ότι τα παράθυρα αυτά δεν είναι επικαλυπτόμενα, όπως τα συρόμενα, με αποτέλεσμα μία εγγραφή να βρίσκεται πάντα ακριβώς σε ένα παράθυρο. Να σημειώσουμε ότι όταν ένα ερώτημα δεν προσδιορίζει κάποιο παράθυρο, έμμεσα εννοείται ότι όλες οι εγγραφές από τη χρονική στιγμή εμφάνισης του ερωτήματος μέχρι και το τώρα είναι ενεργές και θα πρέπει να ληφθούν υπόψη στην απάντηση. 1.2 Επεξεργασία δεδομένων κινούμενων αντικειμένων Τα δυναμικά περιβάλλοντα και τα ερωτήματα διαρκείας που σχετίζονται με τη διαχείριση κινούμενων αντικειμένων θέτουν ιδιαίτερες απαιτήσεις ως προς την επεξεργασία των δεδομένων. Λόγω του απρόβλεπτου και μεγάλου ρυθμού με τον οποίο μπορεί να παράγονται ρέουσες εγγραφές είναι επιβεβλημένη η έγκαιρη και αποδοτική επεξεργασία τους. Αυτή η ανάγκη έρχεται σε ευθεία αντίθεση με την παραδοσιακή θεώρηση των βάσεων δεδομένων. Για να αντιμετωπίσουμε τα προβλήματα αυτά θεωρούμε τους ακόλουθους δύο κύριους άξονες: Συγκεντρωτικό περιβάλλον. Όλη η πληροφορία θεωρείται ότι εποπτεύεται από έναν κεντρικό σταθμό, στον οποίο αποστέλλουν και από τον οποίο λαμβάνουν δεδομένα οι χρήστες. Ο όγκος της διακινούμενης πληροφορίας λαμβάνει τότε τη μορφή ταχύτατων, χρονικά ευμετάβλητων και πιθανόν ανεξάντλητων ρευμάτων δεδομένων από πολλαπλές πηγές. Ο κεντρικός εξυπηρετητής αναλαμβάνει να τηρήσει τα στοιχεία σε ειδικές δομές αποθήκευσης, με στόχο να δοθούν έγκαιρες και έγκυρες απαντήσεις σε ερωτήματα διαρκείας που υποβάλλονται από τους χρήστες. Αποκεντρωμένο περιβάλλον. Στην περίπτωση αυτή, συγκροτείται ένα δίκτυο ομοτίμων, όπου τα μέλη είναι αρμόδια να χειριστούν την πληροφορία που συλλέγεται και έτοιμα να την χορηγήσουν σε άλλους όταν χρειαστεί. Αυτό δημιουργεί την ανάγκη δρομολόγησης δεδομένων και ερωτημάτων των χρηστών, όπως και κατανομής της επεξεργασίας τους μεταξύ των μελών του δικτύου. Για να ποσοτικοποιήσουμε τις απαιτήσεις επεξεργασίας ρευμάτων δεδομένων κινούμενων αντικειμένων παρουσιάζουμε πέντε μετρικές που μετράνε την απόδοση του συστήματος ως προς ένα συγκεκριμένο ερώτημα διαρκείας. Χρόνος Επεξεργασίας Μιας Ρέουσας Εγγραφής Για την επεξεργασία ρευμάτων δεδομένων χρησιμοποιούνται διάφορες δομές στην κύρια μνήμη με σκοπό την διατήρηση της κατάστασης του συστήματος. Οι δομές αυτές είναι αναγκαίο να ενημερώνονται άμεσα με βάση τη νέα εγγραφή που φτάνει στο σύστημα. Ο χρόνος που απαιτείται για την ενημέρωση των κατάλληλων δομών είναι το αντικείμενο αυτής της μετρικής. Χώρος Αποθήκευσης των Δομών Όπως αναφέραμε η επεξεργασία των δεδομένων πραγματοποιείται εξ ολοκλήρου στην κύρια μνήμη. Να σημειώσουμε ότι η κύρια μνήμη είναι ένα ακριβό αγαθό (είναι 2 με 3 τάξεις μεγέθους πιο ακριβή από τη δευτερεύουσα μνήμη) και ότι σε κάθε χρονική στιγμή είναι δυνατό να υπάρχουν

6 πολλά ερωτήματα διαρκείας που συναγωνίζονται για αυτή. Με την μετρική αυτή αποτυπώνουμε τον μέγιστο χώρο που απαιτείται για την αποτίμηση των ερωτημάτων διαρκείας. Χρόνος Αποτίμησης Για κάθε νέα ρέουσα εγγραφή το σύστημα θα πρέπει να αποτιμήσει το ερώτημα διαρκείας και να αποφασίσει αν και πως θα πρέπει να μεταβληθεί το αποτέλεσμα του. Η μετρική αυτή αποτυπώνει το χρόνο που απαιτείται από τη στιγμή που τελειώσει η επεξεργασία μία εγγραφής μέχρι την ενημέρωση του αποτελέσματος. Κόστος Επικοινωνίας Στην περίπτωση που έχουμε πολλαπλές απομακρυσμένες πηγές σε δίκτυο ομοτίμων (αποκεντρωμένο περιβάλλον), θα πρέπει να προσμετρήσουμε και το κόστος μεταφοράς των εγγραφών και των ερωτήσεων στο δίκτυο. Το κόστος αυτό συνήθως μετριέται με βάση το μέγεθος της πληροφορίας που διακινείται παρά από το χρόνο που απαιτείται για την μεταφορά, καθώς η τελευταία μετρική εξαρτάται από το μέσο μετάδοσης και την ταχύτητά του. Ακρίβεια Αποτελέσματος Λόγω αυξημένων απαιτήσεων, είναι δυνατό το σύστημα να μην έχει τους κατάλληλους πόρους για την αποτίμηση κάποιων ερωτημάτων. Σε αυτές τις περιπτώσεις υπάρχουν δύο ενδεχόμενα: η απόρριψη κάποιων εγγραφών ή η προσεγγιστική αποτίμηση των ερωτημάτων. Για αυτό το λόγο η μετρική αυτή δίνει μια ένδειξη του πόσο ακριβές είναι το λαμβανόμενο αποτέλεσμα σε σχέση με τον αν υπήρχαν διαθέσιμοι ανεξάντλητοι πόροι. Ο συνολικός χρόνος απόκρισης του συστήματος είναι συνισταμένη του χρόνου επεξεργασίας εγγραφών, του χρόνου αποτίμηση του ερωτήματος και του κόστους επικοινωνίας. Οι παραπάνω μετρικές έχουν διάφορες αλληλεξαρτήσεις. Για παράδειγμα ο χρόνος αποτίμησης ενός ερωτήματος εξαρτάται από πόσο χώρο έχουμε διαθέσει για την αποθήκευση των αναγκαίων δομών. Γενικά είναι δυνατό αυξάνοντας των χώρο να μειώσουμε τον χρόνο επεξεργασίας και αντίστροφα. Το όλο πρόβλημα διαχείρισης δεδομένων κινούμενων αντικειμένων αντιστοιχεί σε ένα δύσκολο πρόβλημα βελτιστοποίησης των πόρων του συστήματος. 1.3 Διάρθρωση παραδοτέου Στην Ενότητα 2 παρουσιάζεται η συγκεντρωτική αντιμετώπιση του προβλήματος. Συγκεκριμένα, στην Ενότητα 2.1 αναπτύσσουμε το σημασιολογικό μοντέλο των ρευμάτων δεδομένων και των ερωτημάτων διαρκείας, όπως διατυπώθηκε στο Πακέτο Εργασίας 3 (ΠΕ3). Στη συνέχεια, στην Ενότητα 2.2, διατυπώνονται ερωτήματα με παράθυρα σε δύο πρωτότυπα συστήματα ρευμάτων όπου και διαπιστώνεται η καταλληλότητα των συστημάτων πλαισίων ανάπτυξης λογισμικού, σύμφωνα με το Πακέτο Εργασίας 4 (ΠΕ4). Όσον αφορά στην γλώσσα ερωταποκρίσεων, στην Ενότητα 2.3 περιγράφονται με αλγεβρικό τρόπο οι κατάλληλες παραθυρικές δομές για δεδομένα κινούμενων αντικειμένων κατά το Πακέτο Εργασίας 4 (ΠΕ5). Η Ενότητα 3 αναπτύσσει την αποκεντρωμένη αντιμετώπιση. Στην Ενότητα 3.1 δίνουμε ένα παράδειγμα αποκεντρωμένης αρχιτεκτονικής, ενώ στις Ενότητες 3.2, 3.3 και 3.4 παρουσιάζουμε ειδικευμένα θέματα ομοτίμων, όπως η διατύπωση ερωτημάτων διαρκείας (ΠΕ5), τα συστήματα βάσεων ταχείας εξέλιξης (ΠΕ3) και τα συστήματα για διαχείριση χωρικής πληροφορίας (ΠΕ3), αντίστοιχα. Τέλος στην Ενότητα 3.5 παρουσιάζεται το κατάλληλο πλαίσιο ανάπτυξης λογισμικού (ΠΕ4).

7 2 Συγκεντρωτικό περιβάλλον Τυπικά, ως ρεύμα δεδομένων θεωρείται μια ακολουθία στοιχείων x 1, x 2,, x N, που εξετάζονται σε πραγματικό χρόνο κατ αύξουσα σειρά, όπου N το πλήθος των στοιχείων που έχουν εμφανιστεί μέχρι στιγμής. Αυτή η θεώρηση έχει επικρατήσει κυρίως στην αλγοριθμική μελέτη των ρευμάτων. Από την σκοπιά του μοντέλου, οι περισσότερες προσεγγίσεις επηρεάζονται από το αντίστοιχο σχεσιακό, υποθέτοντας ένα συγκεκριμένο σχήμα των πλειάδων (όπου συμπεριλαμβάνεται η χρονική τους σήμανση) και προτείνοντας επεκτάσεις ή προσθήκες τελεστών. Στην συνέχεια δίνονται οι βασικές πτυχές της σημασιολογίας του προτεινόμενου μοντέλου, όπως έχουν δημοσιευθεί σε εργασία μας [PS06]. 2.1 Βασικές έννοιες Συνήθως κάθε στοιχείο του ρεύματος εκλαμβάνεται ως μια σχεσιακή πλειάδα γνωρισμάτων (tuple of attributes), χωρίς να αποκλείονται άλλες αντικειμενοστραφείς ή ιεραρχικές μορφές, λ.χ. XML έγγραφα (NiagaraCQ). Κατ αντιστοιχία προς όσα ισχύουν στο σχεσιακό μοντέλο, μπορούν να οριστούν τα εξής: Σχήμα πλειάδων. Το σχήμα E των πλειάδων των δεδομένων αντιπροσωπεύεται από ένα σύνολο στοιχείων e 1, e 2, e L. Κάθε στοιχείο e i λέγεται γνώρισμα (attribute), συμβολίζεται με A i και οι τιμές του προέρχονται από ένα πιθανόν άπειρο ατομικό πεδίο ορισμού D i. Ο πεπερασμένος αριθμός L των γνωρισμάτων λέγεται βαθμός (arity) του σχήματος. Κάθε πλειάδα (tuple) είναι ένα στιγμιότυπο του σχήματος και περιγράφεται από τις τιμές που λαμβάνει σε κάθε γνώρισμα. Κάθε πλειάδα του ρεύματος συνοδεύεται από μια συνήθως χρονική ένδειξη. Τέτοια χρονόσημα (timestamps) μπορεί να δίνονται κατά την παραγωγή των στοιχείων στην πηγή (λ.χ. αισθητήρες), κάτι που πιθανόν να ζητείται κι από ερωτήματα που έχουν υποβληθεί (χρόνος ισχύος). Εναλλακτικά, οι χρονικές ενδείξεις (ή απλοί αύξοντες ακέραιοι αριθμοί) είναι δυνατόν να προσαρτώνται τεχνητά με την σειρά στις πλειάδες μόλις φτάσουν στο σύστημα (χρόνος συστήματος). Το χρονόσημο εξυπηρετεί σημαντικά στην σύνθεση στοιχείων από πολλαπλά ρεύματα, όπως και στην διεκπεραίωση λειτουργιών πάνω σ αυτά (λ.χ. συσχετισμοί συγχρονισμένων στοιχείων μεταξύ ρευμάτων). Καθώς τα παλαιότερα δεδομένα σταδιακά καθίστανται παρωχημένα με την άφιξη νέων πλειάδων, το χρονόσημο καθορίζει την διαθεσιμότητα κάθε στοιχείου στο σύστημα και άρα την συμμετοχή του στην επεξεργασία των ερωτημάτων διαρκείας. Σε κάθε περίπτωση, τα χρονόσημα προκύπτουν από ένα καθολικό πεδίο ορισμού (Time Domain): Πεδίο ορισμού χρόνου. Το πεδίο ορισμού του χρόνου Τ θεωρείται ως ένα διατεταγμένο, άπειρο σύνολο διακριτών τιμών τ Τ, καθεμιά από τις οποίες καλείται χρονική στιγμή (time instant). Ένα χρονικό διάστημα [τ 1, τ 2 ] Τ συνίσταται από όλες τις διακριτές χρονικές στιγμές τ Τ όπου τ 1 τ τ 2. Ουσιαστικά, το πεδίο των χρονοσήμων είναι παραπλήσιο του συνόλου N των φυσικών αριθμών. Φυσικός αριθμός είναι επίσης το εύρος (extent) κάθε χρονικού

8 διαστήματος, εφόσον καταμετρά όλα τα διακριτά χρονόσημα που το συγκροτούν. Η βασική παραδοχή είναι ότι το απειράριθμο ρεύμα δεδομένων περιλαμβάνει ένα πεπερασμένο πολυσύνολο (multiset, bag) στοιχείων με την ίδια χρονική ένδειξη τ Τ. Επιτρέπονται διπλότυπα (duplicates), καθώς σε κάθε χρονόσημο είναι δυνατόν να καταγράφονται καμία, μία ή περισσότερες πλειάδες με ίδιες τιμές στα υπόλοιπα γνωρίσματα. Συνεπώς: Ρεύμα δεδομένων. Ως ρεύμα δεδομένων S ορίζεται μια απεικόνιση S : Τ 2 R από το πεδίο ορισμού του χρόνου Τ στο δυναμοσύνολο των πλειάδων R με κοινό σχήμα E. Το γνώρισμα A τ χαρακτηρίζεται ως χρονόσημο των πλειάδων και λαμβάνει τιμές από το Τ. Ως τρέχον περιεχόμενο S(τ i ) ενός ρεύματος δεδομένων S κατά την χρονική στιγμή τ i Τ θεωρείται το σύνολο των πλειάδων που φέρουν χρονόσημο τ τ i. Σιωπηρά υπονοείται αρκετή διαθέσιμη μνήμη για την τήρηση όλων των στοιχείων που έχουν διοχετευτεί μέσω του ρεύματος μέχρι τότε. Επίσης, ως τρέχον στιγμιότυπο I(τ i ) του ρεύματος S κατά την χρονική στιγμή τ i θεωρείται το σύνολο των πλειάδων με χρονόσημο τ i. Τέλος, βάσει του ανωτέρω ορισμού, ο χρονισμός των πλειάδων είναι κοινός, αφού όλα τα χρονόσημα προέρχονται από το Τ. Λόγω των ιδιοτήτων του Τ, είναι εφικτή η ολική χρονική διάταξη (temporal total order) των πλειάδων: Χρονική διάταξη. Η χρονική διάταξη ορίζεται ως μια (πολλά-προς-ένα) απεικόνιση f O : D S Τ από το πεδίο των τύπων D S των γνωρισμάτων που εμφανίζονται στις πλειάδες s του ρεύματος S προς το πεδίο του χρόνου Τ, με τις εξής ιδιότητες: i) Ύπαρξη χρονοσήμων: s S, τ Τ, ώστε f O (s) = τ. ii) Μονοτονία: s 1, s 2 S, αν για τα αντίστοιχα χρονόσημα ισχύει ότι s 1.A τ s 2.A τ, τότε θα ισχύει και f O (s 1 ) f O (s 2 ). Η χρονική διάταξη εξασφαλίζει ότι τα στοιχεία θα δοθούν προς επεξεργασία με την σειρά: ο επεξεργαστής ερωτημάτων δεν πρέπει να δεχτεί πλειάδες με μικρότερο χρονόσημο απ όσες ήδη έχει λάβει, έτσι ώστε να παράγονται χρονικά συνεπή αποτελέσματα. Σε αντίθεση προς τα συμβατικά συστήματα βάσεων δεδομένων, τα στοιχεία του ρεύματος δεν θεωρούνται διαθέσιμα παρά μόνο προσωρινά και πάντως όχι στο σύνολό τους, αλλά τμηματικά. Επομένως, δεν είναι εφικτή κάποιας μορφής προεπεξεργασία που θα επιτρέψει την ευκολότερη ενσωμάτωση των στοιχείων, αφού υπονοείται ότι η αρχή και το πέρας της ακολουθίας των δεδομένων δεν είναι γνωστό Σημασιολογία ερωτημάτων διαρκείας Σ αυτή την υποενότητα ανάγονται στο μοντέλο ρευμάτων δεδομένων έννοιες συναφείς προς τα ερωτήματα διαρκείας που είχαν διατυπωθεί για βάσεις δεδομένων. Όπως είναι λογικά αναμενόμενο, τα αποτελέσματα της εφαρμογής ενός ερωτήματος διαρκείας σ ένα ρεύμα δεδομένων είναι το σύνολο των πλειάδων που θα προέκυπταν από την ένωση των επιμέρους αποτελεσμάτων που θα είχε η εφαρμογή του ερωτήματος επί των τρεχόντων περιεχομένων του ρεύματος ανά πάσα χρονική στιγμή. Πιο συγκεκριμένα:

9 Ερώτημα διαρκείας. Έστω Q ένα ερώτημα διαρκείας που υποβάλλεται την χρονική στιγμή τ ο Τ στο ρεύμα δεδομένων S. Τότε τα αποτελέσματα Q c που πρέπει να λαμβάνονται κατά την χρονική στιγμή τ i Τ είναι το σύνολο των πλειάδων Q(S(τ)) που ικανοποιούν το ερώτημα Q από κάθε τρέχον περιεχόμενο S(τ) του ρεύματος μέχρι τότε, δηλαδή: τ i Τ, Q c (S(τ i )) = Q (S(τ)) τ 0 τ τ i Προφανώς, η συνολική αποτίμηση κάθε ερωτήματος διαρκείας για όλες τις διαδοχικές χρονικές στιγμές είναι πρακτικά ασύμφορη. Χρειάζεται λοιπόν μια στρατηγική που να επιτρέπει κατά διαστήματα έλεγχο των στοιχείων, ώστε οι απαντήσεις να υπολογίζονται περιοδικά. Αφού όλες οι πλειάδες σηματοδοτούνται με διακριτά χρονόσημα, είναι εφικτό η αποτίμηση του ερωτήματος Q να γίνεται με χρονικό βήμα Δτ. Στην k-στή επανάληψη, μόνο τα ενδιάμεσα αποτελέσματα Q c (S(τ 0 +kδτ)) Q c (S(τ 0 +(k-1)δτ)) θα πρέπει να προστεθούν στην τρέχουσα απάντηση αντικαθιστώντας την αμέσως προηγούμενη, ως εξής: ΔQ = τ τ τ + k τ 0 0 Q(S(τ)) τ τ τ + ( 1) τ 0 0 k Q(S(τ)) Εν τούτοις, ο προηγούμενος τύπος δεν εγγυάται πάντοτε ορθά αποτελέσματα. Αρκεί μόνο να σκεφτεί κανείς τι θα συμβεί αν, με την πάροδο του χρόνου, νεότερες απαντήσεις ακυρώσουν άλλες προηγούμενες! Λ.χ. σε μια χρηματιστηριακή εφαρμογή, μπορεί να ζητούνται όλες οι μετοχές που η διακύμανση των τιμών τους δεν έχει υπερβεί ποτέ το γενικό δείκτη. Καθώς όμως τα στοιχεία αλλάζουν δυναμικά, κάποιες πλειάδες που είχαν περιληφθεί σε προηγούμενες απαντήσεις πιθανόν να πάψουν να πληρούν το κριτήριο, λ.χ. κάποτε η τιμή μιας μετοχής ξεπερνά το γενικό δείκτη, οπότε πρέπει να εξαιρεθούν απ την απάντηση. Ωστόσο, με τον περιοδικό υπολογισμό, τέτοια αποτελέσματα θα διατηρούνται σ όλες τις κατοπινές απαντήσεις, μολονότι κανονικά θα έπρεπε να καταργηθούν. Έτσι, η προηγούμενη τεχνική μπορεί να εφαρμοστεί μόνο σε περιπτώσεις όπου καταγράφονται μόνο προσθήκες πλειάδων στην απάντηση (append-only results), δίχως να επιτρέπονται έκτοτε καθόλου διαγραφές ή τροποποιήσεις στα αποτελέσματα. Άρα όλες οι πλειάδες παραμένουν εν ισχύι επ αόριστον και ποτέ δεν πρόκειται να αναιρεθεί οποιαδήποτε πλειάδα έχει περιληφθεί στην απάντηση. Ισοδύναμα, εφόσον πλειάδες μπορούν μόνο να προστεθούν στην απάντηση, αυτή δεν υπάρχει ποτέ περίπτωση να συρρικνωθεί, άρα είναι εφικτός ο σταδιακός εμπλουτισμός της με τα ενδιάμεσα αποτελέσματα (ΔQ). Τέτοια ερωτήματα αποκαλούνται μονότονα (monotonic): Μονότονο ερώτημα διαρκείας. Ένα ερώτημα διαρκείας Q χαρακτηρίζεται μονότονο όταν τ 1, τ 2 Τ, τ 1 τ 2, αν S(τ 1 ) S(τ 2 ), τότε Q(S(τ 1 )) Q(S(τ 2 )) όπου Q(S(τ i )) είναι όλες οι πλειάδες των περιεχομένων του S(τ i ) κατά την χρονική στιγμή τ i που ικανοποιούν το ερώτημα Q.

10 Αξίζει να τονιστεί ότι εν προκειμένω η μονοτονία αναφέρεται σε ερωτήματα διαρκείας και όχι σε ρεύματα δεδομένων, εφόσον αυτό που ενδιαφέρει είναι τυχόν μεταβολές στις πλειάδες των αποτελεσμάτων. Έτσι, παρόλο που το ρεύμα μπορεί να συγκροτείται αποκλειστικά από στοιχεία που δεν διαγράφουν ούτε αναθεωρούν άλλα προγενέστερα, ωστόσο είναι δυνατόν οι απαντήσεις σε κάποια ερωτήματα να απορρίπτουν πλειάδες που ίσχυαν προηγουμένως. Προφανώς, αν επιτραπούν διαγραφές (deletions) ή ενημερώσεις (updates) προγενέστερων στοιχείων του ρεύματος, τα ερωτήματα διαρκείας παύουν να εμφανίζουν μονοτονία. Π.χ., σ ένα δίκτυο αισθητήρων που χρησιμεύει στην καταγραφή θερμοκρασιών σε μια περιοχή, είναι πιθανό κάποιοι να πάθουν βλάβη και να στέλνουν εσφαλμένα αποτελέσματα. Φυσικά, το σφάλμα θα μεταφέρεται και στις απαντήσεις, μέχρις ότου κάποτε να γίνει αντιληπτό. Τότε, τα προβληματικά στοιχεία μπορούν είτε ν ακυρωθούν είτε να διορθωθούν, οπότε κάποια προγενέστερα αποτελέσματα χρειάζεται ν αναθεωρηθούν. Στην ιδανική περίπτωση εφαρμογής μονότονων ερωτημάτων διαρκείας σε σωρευτικά (append-only) ρεύματα δεδομένων, οι απαντήσεις σε ορισμένους τύπους ερωτημάτων διαρκείας μπορεί πράγματι να δίνονται προοδευτικά (incrementally). Λ.χ. σε ερωτήματα επιλογής (selection) ή προβολής (projection) αρκεί κάθε φορά να εξετάζονται μόνο τα πιο πρόσφατα στοιχεία, δηλαδή όσες πλειάδες ανήκουν στο τρέχον στιγμιότυπο I(τ i ) του ρεύματος S. Κάτι τέτοιο όμως δεν ισχύει απαραίτητα για κατηγορίες ερωτημάτων όπου εμπλέκονται τελεστές διατήρησης κατάστασης, όπως λ.χ. συνδέσεις μεταξύ πλειάδων χωρίς χρονικό περιορισμό (οπότε δεν απαιτείται ισότητα χρονοσήμων) ή διαφορά συνόλων. Τυχόν καινούργιες απαντήσεις μπορεί να προκύψουν τότε συνεξετάζοντας στοιχεία που προσκομίστηκαν σε παλαιότερα στιγμιότυπα του ρεύματος. Τα παραπάνω είναι δυνατόν να γενικευθούν για ερωτήματα διαρκείας που εμπλέκουν πολλαπλά ρεύματα δεδομένων ή ακόμη και στατικούς σχεσιακούς πίνακες [ABW06]. Έχουν προταθεί τεχνικές αναδιατύπωσης μη μονότονων ερωτημάτων διαρκείας που επιχειρούν να υπολογίσουν το αποτέλεσμα ως συνολοθεωρητική διαφορά P N ενός ερωτήματος N που καλύπτει ένα πεπερασμένο χρονικό διάστημα από ένα μονότονο ερώτημα διαρκείας P. Επίσης, έχουν μελετηθεί ειδικές περιπτώσεις για μονότονα ερωτήματα όπου επιτρέπονται διαγραφές ή ενημερώσεις σε προγενέστερα στοιχεία, καθώς και ζητήματα υλοποίησης της σημασιολογίας τους σε συμβατικά συστήματα βάσεων δεδομένων [TGNO92]. 2.2 Διατύπωση ερωτημάτων με χρήση παραθύρων Στην ενότητα αυτή θα δοθούν χαρακτηριστικά ερωτήματα διαρκείας σε ρεύματα κινούμενων αντικειμένων, ώστε να καταδειχθεί η αναγκαιότητα χρήσης των παραθυρικών τελεστών, αφενός μεν από πλευράς σημασιολογίας, αφετέρου δε για την διευκόλυνση της επεξεργασίας. Έστω ένα σύστημα που καλείται να διαχειριστεί τις θέσεις οχημάτων που κινούνται σε μια περιοχή (λ.χ., Αττική). Κάθε όχημα στέλνει ανά δευτερόλεπτο την τρέχουσα θέση του σ ένα κεντρικό σταθμό, απ όπου γίνεται η εποπτεία του στόλου με ερωτήματα διαρκείας της εξής μορφής: [Q1: Ερώτημα επιλογής με παράθυρο]. «Εντόπισε όλα τα ταξί που βρέθηκαν τα τελευταία 10 λεπτά εντός της περιοχής ενδιαφέροντος» (π.χ. στο κέντρο της Αθήνας).

11 [Q2: Ερώτημα συνάθροισης]. «Ειδοποίησε όταν περισσότερα από 10 ταξί εντοπιστούν ταυτόχρονα εντός δακτυλίου». [Q3: Ερώτημα παραθυρικής σύνδεσης]. «Εντόπισε όλα τα ζεύγη λεωφορείων με τρόλεϊ που κινούνται πλησίον της πλατείας Συντάγματος (π.χ. εντός ακτίνας 200 μέτρων) κατά τα τελευταία 2 λεπτά». [Q4: Συνολοθεωρητικό ερώτημα]. «Εντόπισε όλα τα οχήματα που μόλις τώρα εισέρχονται εντός δακτυλίου». Στην συνέχεια θα διατυπωθούν ερωτήματα διαρκείας σε δύο ιδιώματα της SQL, θίγοντας επιλεκτικά ορισμένα ζητήματα που εγείρονται κατά την αποτίμησή τους. Παράλληλα, επιχειρείται μια συνοπτική παρουσίαση και συγκριτική αξιολόγηση δύο γλωσσών χειρισμού ρευμάτων δεδομένων (CQL, StreaQuel), στις οποίες θα διατυπωθούν τα σχετικά παραδείγματα, όπως παρουσιάστηκαν στην εργασία μας [PS04] Παραθυρικά ερωτήματα σε CQL Στο σύστημα STREAM τα ερωτήματα διαρκείας διατυπώνονται σε μια δηλωτική γλώσσα ερωταποκρίσεων (declarative query language) με την ονομασία CQL (Continuous Query Language). Οι κύριες διαφοροποιήσεις από την σύνταξη των εντολών επιλογής της SQL εντοπίζονται στον ορισμό διαφόρων τύπων παραθύρων στην πρόταση FROM. Έτσι υπάρχουν: Χρονικά κυλιόμενα παράθυρα που δηλώνονται με την έκφραση [RANGE T], οπότε από το ρεύμα δεδομένων επιλέγονται όσες πλειάδες εμπίπτουν εντός του πρόσφατου διαστήματος εύρους T > 0. Παράθυρα πλειάδων, όπου η σχετική έκφραση [ROWS N] αποσπά τις N πιο πρόσφατες πλειάδες του ρεύματος. Μεριστικά παράθυρα, για ομάδες με N πλειάδες η καθεμιά, ορίζονται ως [PARTITION BY A 1,A 2,,A k ROWS N], όπου A 1,A 2,,A k η λίστα των γνωρισμάτων ομαδοποίησης. Προβλέπονται επίσης βολικές συντομογραφίες για τετριμμένες μορφές παραθύρων, όπως λ.χ. [NOW] προκειμένου για παράθυρο που καλύπτει τις πλειάδες με το τρέχον χρονόσημο. Σε περίπτωση που δεν προσδιορίζεται παράθυρο για κάποιο ρεύμα, υποτίθεται ότι ισχύει [ROWS UNBOUNDED] ή ισοδύναμα [RANGE UNBOUNDED]. Πρακτικά, ένα τέτοιο παράθυρο επιστρέφει όσες πλειάδες έχουν κρατηθεί στην μνήμη. Στην δοκιμαστική έκδοση του συστήματος STREAM v0.5, άλλοι τύποι παραθύρων, όπως τα επάλληλα ή τα παράθυρα οροσήμου, δεν έχουν ενταχθεί στον πυρήνα της CQL, μολονότι η υλοποίησή τους εκτιμάται εφικτή. Η χρήση των παραθύρων μετατρέπει κάποια από τα περιεχόμενα των ρευμάτων σε προσωρινούς πίνακες, όπου κατόπιν είναι δυνατόν να εφαρμοστούν οι γνώριμοι σχεσιακοί τελεστές. Σε περίπτωση που τα αποτελέσματα χρειάζεται να επενέλθουν σε μορφή ρεύματος, τρεις ειδικοί (relation-to-stream) τελεστές διεκπεραιώνουν την μετατροπή:

12 ISTREAM, που παρέχει όλες τις καινούργιες πλειάδες (positive tuples) του προσωρινού σχεσιακού πίνακα, δηλαδή όσες δεν υπήρχαν την προηγούμενη χρονική στιγμή, DSTREAM, για να επιστρέφει σε μορφή ρεύματος όσες πλειάδες του προσωρινού πίνακα έπαψαν να υφίστανται μετά την αμέσως προηγούμενη στιγμή (negative tuples), και RSTREAM, ο οποίος παρέχει ανά πάσα χρονική στιγμή όλες τις τρέχουσες πλειάδες του πίνακα. Στην CQL, η μορφή των κατηγορημάτων παραμένει μάλλον απλουστευμένη, αφού προς το παρόν επιτρέπονται μόνο συζευκτικά ερωτήματα (conjunctive queries). Η χρήση όψεων (views) παρακάμπτει κάπως την ανυπαρξία ένθετων υποερωτημάτων (nested subqueries), μολονότι καταλήγουν σε συντακτικές εκφράσεις που δεν είναι πάντοτε τόσο σαφείς ή ευανάγνωστες. Υπάρχει πρόβλεψη για παραθυρικές συνδέσεις, ακόμη κι όταν αφορούν το ίδιο ρεύμα δεδομένων (self-joins). Τέλος, υποστηρίζονται συναθροίσεις, αν και η απουσία του όρου HAVING στερεί από την ομαδοποίηση την ευελιξία δήλωσης συνθηκών. Θεωρώντας το σχήμα των πλειάδων ως Vehicles (vid, vtype, x, y, t, TS) με χρονόσημο TS, τα χωροχρονικά ερωτήματα μπορούν να εκφρασθούν ως εξής: [Q1: Ερώτημα επιλογής με παράθυρο]. Το ερώτημα διαρκείας προσδιορίζει ένα κυλιόμενο χρονικό παράθυρο [RANGE 10 MINUTES] και επιστρέφει όσα στοιχεία του ρεύματος ικανοποιούν τα κριτήρια επιλογής: SELECT V1.vID, V1.vType, V1.x, V1.y FROM Vehicles V1 RANGE 10 MINUTES WHERE V1.x>= AND V1.x<= AND V1.y>= AND V1.y<= AND V1.vType="TAXI" [Q2: Ερώτημα συνάθροισης]. Το κυλιόμενο παράθυρο [NOW] καλύπτει μόνο το τρέχον στιγμιότυπο του ρεύματος και έχει εύρος μια χρονική μονάδα. Η ομαδοποίηση των στοιχείων γίνεται βάσει του χρονοσήμου TS της πηγής, ορίζοντας όμως δύο ενδιάμεσες όψεις (InRegionCnt, TaxiCnt) για να παρακαμφθεί η έλλειψη του όρου HAVING: InRegionCnt(R): SELECT TS, COUNT(vID) AS cnt FROM Vehicles NOW WHERE X>= AND X<= AND Y>= AND Y<= AND vtype="taxi" GROUP BY TS TaxiCnt(S): ISTREAM (SELECT * FROM InRegionCnt) SELECT * FROM TaxiCnt NOW WHERE cnt>10

13 [Q3: Ερώτημα παραθυρικής σύνδεσης]. Η σύνδεση των δύο ρευμάτων (εν προκειμένω, αυτοσύνδεση) γίνεται εφαρμόζοντας ένα κυλιόμενο χρονικό παράθυρο [RANGE 2 MINUTES] στο καθένα. Οι συντεταγμένες καθορίζουν την ίδια χωρική περιοχή και για τα δύο ρεύματα: SELECT B1.vid, T1.vid, B1.t, T1.t FROM Vehicles B1 RANGE 2 MINUTES, Vehicles T1 RANGE 2 MINUTES WHERE B1.x>= AND B1.x<= AND B1.y>= AND B1.y<= AND T1.x>= AND T1.x<= AND T1.y>= AND T1.y<= AND B1.vType="BUS" AND T1.vType="TROLLEY" [Q4: Συνολοθεωρητικό ερώτημα]. Στην προκειμένη περίπτωση αναζητούνται όσα αντικείμενα εντοπίζονται τώρα εντός περιοχής, αλλά την αμέσως προηγούμενη χρονική στιγμή βρίσκονταν εκτός των ορίων της. Αυτή η ερμηνεία μπορεί να εκφρασθεί με δύο προσωρινές όψεις: η πρώτη (Inside RingNow) επιστρέφει όσα οχήματα βρίσκονται τώρα [NOW] εντός δακτυλίου, ενώ η δεύτερη (InsideRingRec) χρησιμοποιεί ένα μεριστικό παράθυρο [PARTITION BY vid ROWS 2] ώστε να λάβει τις δύο πιο πρόσφατες θέσεις για κάθε όχημα: InsideRingNow: SELECT vid, t FROM Vehicles NOW WHERE X>= AND X<= AND Y>= AND Y<= InsideRingRec: SELECT vid, t + 1 AS t1 FROM Vehicles PARTITION BY vid ROWS 2 WHERE X>= AND X<= AND Y>= AND Y<= Εκμεταλλευόμενοι την μονοτονία του χρόνου και υποθέτοντας ότι η θέση κάθε οχήματος καταγράφεται ανά δευτερόλεπτο, το ερώτημα προσομοιώνεται με χρήση του ANTISEMIJOIN * μεταξύ των δύο προσωρινών όψεων: SELECT InsideRingNow.vID, InsideRingNow.TS FROM InsideRingNow ANTISEMIJOIN InsideRingRec Παραθυρικά ερωτήματα σε StreaQuel Στο σύστημα TelegraphCQ χρησιμοποιείται επίσης μια δηλωτική γλώσσα με την επωνυμία StreaQueL (Stream Query Language), η οποία αποδίδει ιδιαίτερη έμφαση * Antisemijoin των R και S είναι το πολυσύνολο των πλειάδων του R που δεν συμφωνούν με καμιά από τις πλειάδες του S στα κοινά γνωρίσματα.

14 στον προσδιορισμό διαφόρων τύπων παραθύρων. Ωστόσο, μόνο ένα μέρος της γλώσσας έχει υλοποιηθεί μέχρι σήμερα, θέτοντας περιορισμούς στην εκφραστική της δύναμη. Κατά βάση, στην τυπική σύνταξη ενός ερωτήματος σε SQL προσαρτάται μια επαναληπτική δομή (FOR-loop) δηλώνοντας την ακολουθία των παραθύρων που θα χρησιμοποιηθούν για να απομονώσουν τα στοιχεία των αντίστοιχων ρευμάτων, ως εξής: FOR(t=<init_value>;<continue_cond(t)>;<change(t)>) { WINDOW(<S1>, <left_end(t)>, <right_end(t)>); WINDOW(<S2>, <left_end(t)>, <right_end(t)>);... } Από την στιγμή (init_value) που ο επαναληπτικός βρόχος ξεκινά να εκτελείται, καθώς η μεταβλητή t διατρέχει τον χρόνο, αλλεπάλληλα υπολογίζονται οι συνθήκες συνέχισης (continue_cond(t)) της εκτέλεσης και το χρονικό της βήμα (change(t)). Επίσης, προσδιορίζονται ομάδες παραθύρων, ένα [WINDOW] για κάθε ρεύμα του όρου FROM, για τα οποία ο χρήστης επιθυμεί να έχουν το ίδιο βήμα χρονικής προόδου. Χωριστά σε κάθε παράθυρο δηλώνονται τα χρονικά του άκρα, δηλαδή το εύρος του σε σχέση με την μεταβλητή t. Επομένως, η StreaQuel έχει δυνατότητα να εκφράσει όχι μόνο κυλιόμενα παράθυρα, αλλά και παράθυρα οροσήμου ή ζώνης. Αν βέβαια δεν οριστεί παράθυρο για κάποια από τις εισόδους που αναφέρονται στον όρο FROM, τότε αυτή εκλαμβάνεται ως στατικός σχεσιακός πίνακας. Φυσικά, σημειώνεται αυτόματη διακοπή της εκτέλεσης των ερωτημάτων όταν η συνθήκη συνέχισης πάψει να επαληθεύεται. Τέλος, αξίζει να υπογραμμισθεί ότι η δήλωση φυσικών παραθύρων (βάσει πλήθους πλειάδων) απουσιάζει εντελώς από τις προδιαγραφές της StreaQuel, εμμένοντας στον χειρισμό των ρευμάτων αποκλειστικά βάσει του χρονοσήμου τους. Λόγω της πολυπλοκότητάς του, ο επαναληπτικός βρόχος FOR θα πρέπει μάλλον να εκληφθεί ως ένας χαμηλού επιπέδου μηχανισμός ελέγχου της εκτέλεσης, παρά ως δομή διατύπωσης των ερωτημάτων από τους χρήστες. Ίσως γι αυτό στην δοκιμαστική έκδοση του συστήματος TelegraphCQ v2.0 (που αξιοποιεί τον πυρήνα της PostgreSQL) αυτό το τμήμα της εντολής απουσιάζει. Έτσι, υποστηρίζονται μόνο κυλιόμενα παράθυρα για διάφορες χρονικές μονάδες (seconds, minutes, hours, ) χωριστά για καθένα από τα εμπλεκόμενα ρεύματα. Προφανώς, για να παρέχονται ασφαλή αποτελέσματα υποστηρίζονται μόνο συζευκτικά ερωτήματα, οπότε στα κριτήρια επιλογής υπάρχουν μόνο συζεύξεις (AND) και όχι διαζεύξεις (OR) ή αρνήσεις (NOT). Δεν επιτρέπονται ένθετα υποερωτήματα (ανεξαρτήτως αν εμπλέκουν ρεύματα ή σχέσεις), γεγονός που καθιστά προβληματική την διατύπωση αρκετών κατηγοριών ερωτημάτων. Δεν επιτρέπεται επίσης η σύνδεση ενός ρεύματος με τον εαυτό του (self-join), ανεξαρτήτως του μεγέθους των παραθύρων που έχουν δηλωθεί. Σε περίπτωση σύνδεσης μεταξύ ρευμάτων, η συνθήκη ταύτισης μπορεί να αναφέρεται μόνο σε συγκρίσεις μεταξύ γνωρισμάτων (πεδίων) και σταθερών τιμών. Τέλος, παρέχεται ευχέρεια ομαδοποίησης (GROUP BY) και ταξινόμησης (ORDER BY), εφόσον βέβαια δηλωθούν παράθυρα για τα στοιχεία των ρευμάτων. Παράδειγμα. Αν το σχήμα των στοιχείων είναι Vehicles (vid, vtype, pos, t, TCQTIME), όπου pos η σημειακή θέση και TCQTIME το χρονόσημο, τότε τα ερωτήματα διαρκείας του παραδείγματος 1 διατυπώνονται ως εξής:

15 [Q1: Ερώτημα επιλογής με παράθυρο]. Όπως και στην CQL, ορίζεται ένα χρονικό παράθυρο εύρους 10 λεπτών: SELECT vid, vtype, TCQTIME FROM Vehicles V1 WHERE polygon '(475000, , , )') = TRUE AND V1.vType ='TAXI' WINDOW V1 ['10 minutes'] [Q2: Ερώτημα συνάθροισης]. Οι πλειάδες ομαδοποιούνται βάσει του χρονοσήμου TCQTIME, θέτοντας κυλιόμενο παράθυρο μιας χρονικής μονάδας: SELECT TCQTIME, COUNT(V1.vID) AS cnt FROM Vehicles V1 WHERE polygon '(479243, ,, , ,476271, )') = TRUE AND V1.vType='TAXI' GROUP BY TCQTIME HAVING COUNT(V1.vID)>=10 WINDOW V1 ['1 seconds'] [Q3: Ερώτημα παραθυρικής σύνδεσης]. Για να παρακαμφθεί το πρόβλημα των αυτοσυνδέσεων (self-joins), δημιουργούνται δύο επιμέρους ρεύματα για τις θέσεις λεωφορείων (buses) και τρόλλεϋ (trolleys) με παρόμοιο σχήμα πλειάδων. Ακολουθεί η σύνδεση των δύο ρευμάτων, ελέγχοντας την συνθήκη για όλες οι πλειάδες εντός των παραθύρων του καθενός: SELECT B1.vID, T1.vID, B1.TCQTIME, T1.TCQTIME FROM buses B1, trolleys T1 WHERE B1.pos <-> Point '(475750, )')<=200 AND T1.pos <-> Point '(475750, )')<=200 WINDOW B1 ['2 minutes'], T1 ['2 minutes'] [Q4: Συνολοθεωρητικό ερώτημα]. Εκ πρώτης όψεως, θα αρκούσε να δηλωθεί ένα παράθυρο εύρους δύο χρονικών μονάδων. Ύστερα όμως, αλλά έπειτα οι δύο πλειάδες που προκύπτουν για κάθε σημειακή θέση δεν είναι δυνατόν να διακριθούν μεταξύ τους, ούτε να συγκριθούν. Έτσι, μάλλον δεν υπάρχει τρόπος να εκφραστεί αυτό το ερώτημα στην τρέχουσα υλοποίηση της StreaQuel Αξιολόγηση επεξεργασίας ρευμάτων κινούμενων αντικειμένων Όπως φάνηκε στα παραδείγματα, η υλοποίηση των γλωσσών CQL και StreaQuel εμφανίζει κάποιους περιορισμούς που αναπόφευκτα δυσχεραίνουν την διατύπωση σύνθετων ερωτημάτων, όπως τα χωροχρονικά. Ενώ η εκφραστικότητα τους μπορεί να θεωρηθεί ικανοποιητική για ερωτήματα βάσει συντεταγμένων, δεν είναι εύκολα

16 εφικτή η διατύπωση σύνθετων χωρικών κατηγορημάτων (λ.χ. εισέρχεται, εξέρχεται, διασχίζει,...) ή συναρτήσεων (απόσταση, ταχύτητα κλπ.). Για συστήματα διαχείρισης μεγάλου πλήθους κινούμενων αντικειμένων, τέτοιες ελλείψεις επηρεάζουν δραστικά την αποτελεσματικότητα της επεξεργασίας. Επιπλέον, η απουσία υποστήριξης συναρτήσεων ορισμένων από το χρήστη, συνθηκών κατά την ομαδοποίηση στοιχείων ή ένθετων υποερωτημάτων, αφήνει μικρά περιθώρια έκφρασης ερωτημάτων με περιεκτικό τρόπο. Ωστόσο, οι παρεχόμενοι τύποι παραθύρων της CQL προσφέρουν περισσότερες δυνατότητες διαχείρισης πλειάδων απ αυτές του TelegraphCQ, όπου υπάρχουν μόνο χρονικά κυλιόμενα παράθυρα. Φυσικά, δεν μπορεί να απαιτηθεί από ένα σύστημα γενικού σκοπού όπως το STREAM, η υποστήριξη αμιγώς χωρικών τύπων και λειτουργιών, υπόβαθρο που το TelegraphCQ οφείλει στην PostgreSQL. Παραδόξως όμως, στο STREAM είναι εφικτή η εκτέλεση περισσότερων χωροχρονικών ερωτημάτων απ ό,τι στο TelegraphCQ, έστω και με περίπλοκο τρόπο ή χαλαρώνοντας κατά περίπτωση την σημασιολογία των ερωτημάτων (λ.χ. προσεγγίζοντας τα πολύγωνα ως ορθογώνια). Η δυνατότητα ορισμού παράγωγων ρευμάτων με τη μορφή όψεων (views), για κατοπινή χρήση τους σε ερωτήματα διαρκείας, αναμφισβήτητα συνεισφέρει αρκετά στην εκφραστική ικανότητα της CQL, έστω κι αν είναι απαραίτητο να παρεμβληθούν σχέσεις για την τήρηση των ενδιάμεσων πλειάδων. Ωστόσο, φαίνεται ότι τα περιθώρια επεξεργασίας και βελτιστοποίησης χωροχρονικών ερωτημάτων είναι μάλλον περιορισμένα, ιδίως όταν αυτά αναφέρονται στην τοπολογία ή στις τροχιές των αντικειμένων. Είναι εμφανές ότι κάποιοι ακριβοί χωρικοί τελεστές (λ.χ. χωρική σύνδεση) επενεργούν στο μηχανισμό επεξεργασίας των πλειάδων και δυσχεραίνουν την απόκριση στα ερωτήματα. Ενδεχομένως, γι αυτόν τον λόγο έχει νόημα η προσθήκη και χωρικών παραθύρων, εκτός από τα υφιστάμενα χρονικά παράθυρα και τα παράθυρα πλειάδων, ώστε να είναι δυνατόν να δηλωθούν περιοχές ενδιαφέροντος για μεγαλύτερο έλεγχο στην χωρική πτυχή των στοιχείων. Κάτι τέτοιο εκτιμάται ότι μπορεί να περιορίσει και τον επεξεργαστικό φόρτο, εφόσον η αποτίμηση των σχετικών ερωτημάτων διαρκείας θα αφορά μόνο τα αμέσως εμπλεκόμενα αντικείμενα. 2.3 Παραθυρικές δομές σε ερωτήματα διαρκείας Η χρονική εξέλιξη των ρευμάτων επιδρά καθοριστικά στην επεξεργασία τους, καθιστώντας επιτακτικό τον προσδιορισμό κατάλληλου τύπου παραθύρων. Διαισθητικά, ένα παράθυρο αποσπά από το αχανές ρεύμα δεδομένων έναν πιθανόν μεταβαλλόμενο αλλά πάντως πεπερασμένο αριθμό στοιχείων, δηλαδή εκείνα τα τμήματα του ρεύματος που θα χρησιμοποιηθούν κατόπιν στην αποτίμηση του ερωτήματος. Καθώς νέα στοιχεία ολοένα καταφθάνουν στο σύστημα επεξεργασίας, τα περιεχόμενα του παραθύρου αλλάζουν δυναμικά κατά τον τρόπο που προδιαγράφει ο τύπος του (Σχ. 2). Κατά συνέπεια, το ερώτημα διαρκείας υπολογίζεται επί ενός συνόλου ανανεωνόμενων πλειάδων, οπότε το σύστημα μπορεί να παρέχει στον χρήστη επίκαιρες απαντήσεις συνεχώς (Σχ. 2). Η χρήση των παραθυρικών δομών επιβάλλεται μεν από τη σημασιολογία των σχετικών ερωτημάτων διαρκείας, αλλά αιτιολογείται και για λόγους εξοικονόμησης πόρων του συστήματος της μνήμης, κατά κύριο λόγο. Εκ των πραγμάτων, είναι αδύνατον να αποθηκεύονται όλα τα περιεχόμενα του ρεύματος, αφενός μεν λόγω του αυξανόμενου όγκου τους, αφετέρου δε εξαιτίας της επιβάρυνσης που θα

17 δημιουργούσαν τόσο συχνές δοσοληψίες (εισαγωγές, διαγραφές, ενημερώσεις) σ ένα τυπικό σύστημα βάσεων δεδομένων. Επιπλέον, η χρησιμότητα κάθε μεμονωμένης πλειάδας (λ.χ. μετρήσεις θερμοκρασίας ανά λεπτό) είναι πρακτικά αμελητέα ώστε να αξίζει να τηρηθεί σε τόσο μεγάλη λεπτομέρεια. Τυπικές μορφές τέτοιων δομών είναι τα κυλιόμενα παράθυρα, τα οποία μπορεί να οριστούν είτε με χρονική παράμετρο (λ.χ. «τα στοιχεία που έχουν συλλεγεί κατά την τελευταία ώρα») είτε βάσει του αριθμού των πλειάδων που επιμερίζουν (π.χ. «οι 1000 πιο πρόσφατες μετρήσεις»). Ωστόσο, η ανάγκη εξυπηρέτησης διαφόρων ειδών ερωτημάτων διαρκείας συνηγορεί στη διατύπωση αρκετών πρόσθετων τύπων παραθύρων, όπως περιγράφεται στην εργασία μας [PS06] και αναπτύσσεται διεξοδικά στην συνέχεια. Σχήμα 2: Η λογική των παραθύρων στα ρεύματα δεδομένων. Το κυλιόμενο παράθυρο μεγέθους ω παρακολουθεί την εξέλιξη των περιεχομένων του ρεύματος και επιστρέφει τα πιο πρόσφατα στοιχεία (α) έως και την χρονική στιγμή τ 0 +(k-1)δτ και (β) κατά τη χρονική στιγμή τ 0 +kδτ. Κατά το τελευταίο χρονικό διάστημα Δτ έχουν προστεθεί στα περιεχόμενα του ρεύματος επιπλέον πλειάδες (με γκρίζο χρώμα), ωστόσο το παράθυρο εξακολουθεί να περιλαμβάνει και κάποιες παλαιότερες Προσδιορισμός παραθύρων Παρά την ποικιλομορφία των παραθύρων που συναντώνται σε ερωτήματα διαρκείας, είναι γενικά παραδεκτό ότι ο παραθυρικός τελεστής αποσκοπεί στον περιορισμό του θεωρητικά απειράριθμου ρεύματος δεδομένων σ ένα πεπερασμένο, διαχειρίσιμο σύνολο πλειάδων. Συμβολικά: Παράθυρο επί ρεύματος δεδομένων. Έστω W E ένα παράθυρο με συζευκτική συνθήκη E που εφαρμόζεται τη χρονική στιγμή τ 0 Τ στα στοιχεία ενός ρεύματος δεδομένων S, δηλαδή στα τρέχοντα περιεχόμενά του S( τ 0 ). Τότε: τ i Τ, τ i τ 0, W E (S( τ i )) = {s S (τ i ) : E (s) είναι αληθής}, όπου W E (S( τ i )) n, για οσοδήποτε μεγάλο, αλλά πάντοτε πεπερασμένο n N.

18 Βάσει του ανωτέρω ορισμού συμπεραίνεται ότι ανά πάσα χρονική στιγμή λαμβάνεται ένα συμπαγές πεπερασμένο υποσύνολο πλειάδων W E (S( τ i )) S( τ i ). Επίσης, κάθε παράθυρο απευθύνεται στα αναρίθμητα στοιχεία ενός μόνο ρεύματος δεδομένων και πρακτικά το μετασχηματίζει σε μια προσωρινή σχέση (relation) πεπερασμένου μεγέθους [ABW06]. Αν κάποιο ερώτημα διαρκείας αφορά πολλαπλά ρεύματα (λ.χ. σύνδεση), τότε συνήθως δηλώνεται χωριστό παράθυρο για το καθένα, ακόμη κι αν έχουν παρόμοια σημασιολογία (π.χ. τα στοιχεία κάθε ρεύματος στο τελευταίο ημίωρο). Ως εκ τούτου, οι γνώριμοι σχεσιακοί τελεστές μπορούν πλέον να εφαρμοστούν στα πρόσκαιρα στοιχεία των πινάκων για να δίνουν απαντήσεις στα ερωτήματα. Η συνθήκη E καθορίζει τη δομή του παραθύρου, δηλαδή: την αφετηρία (κάτω άκρο, lower bound), η οποία αντιπροσωπεύει το παλαιότερο στοιχείο του ρεύματος που θα συμπεριληφθεί στο παράθυρο. το πέρας (άνω άκρο, upper bound), που αντιστοιχεί στο στοιχείο του με το μεγαλύτερο χρονόσημο. το εύρος του (width), το οποίο άλλοτε εκφράζεται από το πλήθος των πλειάδων που περιλαμβάνει, άλλοτε δε από το χρονικό διάστημα (range) που αυτές καλύπτουν. τον τρόπο μεταβολής των περιεχομένων του. Ο χαρακτηρισμός των τύπων παραθύρων που ορίζονται σε ρεύματα δεδομένων μπορεί να γίνει με διάφορα κριτήρια, όπως εξηγείται ευθύς αμέσως. Μετατόπιση άκρων Το παράθυρο μπορεί να οριστεί ρητώς από τα άκρα του, και γι αυτό χρησιμοποιούνται συνήθως οι χρονικές στιγμές αρχής και πέρατος του παραθύρου. Αναλόγως του κατά πόσον επιτρέπεται ν αλλάζουν τα όριά τους, διακρίνονται παράθυρα με: Σταθερά άκρα (fixed-size windows), όπου τουλάχιστον το ένα άκρο του παραθύρου παραμένει αμετακίνητο. Τα παράθυρα οροσήμου (landmark windows) αποτελούν την χαρακτηριστικότερη δομή αυτής της κατηγορίας. Μεταβλητά άκρα (variable-size windows). Συνήθως, προβλέπεται ότι και τα δύο άκρα του παραθύρου μεταβάλλονται με την πάροδο του χρόνου. Στην πλέον ενδιαφέρουσα περίπτωση, η αφετηρία και το πέρας του παραθύρου εξελίσσονται συντονισμένα με τον ίδιο ρυθμό, όπως συμβαίνει λ.χ. στα κυλιόμενα παράθυρα. Μονάδα μέτρησης περιεχομένων πλήθος στοιχείων χρονόσημα Βήμα προόδου μοναδιαίο κατά άλματα πάγια άκρα Παράθυρα πλειάδων, Μεριστικά Κυλιόμενα χρονικά Επάλληλα Παράθυρα ζώνης, οροσήμου

19 Πίνακας Ι. Κατηγορίες παραθύρων σε ρεύματα δεδομένων. Μονάδα μέτρησης περιεχομένων Εναλλακτικά, το παράθυρο προσδιορίζεται βάσει του μεγέθους του, θεωρώντας γνωστό ένα άκρο του, ώστε τελικά να μπορούν να εντοπιστούν οι πλειάδες που θα συμπεριληφθούν σ αυτό. Η εμβέλεια (scope) του παραθύρου δηλώνεται: σε «λογικές» μονάδες, δηλαδή από το χρονικό διάστημα που καλύπτουν τα περιεχόμενά του. Αυτά ονομάζονται συνήθως χρονικά παράθυρα (time-based windows). σε «φυσικές» μονάδες, υπονοώντας το πλήθος των πλειάδων που εμπίπτουν εντός των άκρων του. Τα παράθυρα πλειάδων (tuple-based windows) και τα μεριστικά παράθυρα (partitioned windows) είναι τυπικές μορφές τέτοιων δομών. Ως γνωστό άκρο του παραθύρου συνήθως θεωρείται το πέρας του, ερμηνεύοντάς το είτε ως τρέχον χρονόσημο είτε ως την πιο πρόσφατη πλειάδα του ρεύματος. Βήμα προόδου Εξαιρώντας την περίπτωση που τα άκρα του θεωρηθούν πάγια, το παράθυρο ανανεώνει προοδευτικά τα περιεχόμενά του παρακολουθώντας την εξέλιξη του χρόνου ή την έλευση νέων πλειάδων του ρεύματος, ως εξής: Με μοναδιαίο βήμα, οπότε το παράθυρο προχωρεί για κάθε στοιχειώδη χρονική μονάδα (λ.χ. ανά δευτερόλεπτο) ή με κάθε πλειάδα που θα ενταχθεί στο ρεύμα. Χαρακτηριστικότερη περίπτωση είναι τα κυλιόμενα παράθυρα (sliding windows), όπου τα άκρα «μετακυλίονται» ομαλά, διατηρώντας σταθερό το μέγεθος του παραθύρου. Με άλματα (hops), συνήθως μη επικαλυπτόμενα. Π.χ. τα επάλληλα παράθυρα (tumbling windows) εξυπηρετούν όταν επιδιώκεται τα περιεχόμενα διαδοχικών στιγμιοτύπων τους να είναι ξένα μεταξύ τους, έτσι ώστε κάθε φορά να εξετάζονται εντελώς διαφορετικά στοιχεία του ρεύματος. Βεβαίως, στην περίπτωση των κυλιόμενων παραθύρων είναι αναμενόμενο να υπάρχουν επικαλύψεις μεταξύ διαδοχικών εκδοχών. Όταν το μοναδιαίο βήμα εκφράζεται χρονικά, όλες οι πλειάδες με χρονόσημο μικρότερο από τη νέα αρχή του παραθύρου διαγράφονται, ώστε να ενταχθούν όσα στοιχεία (όχι κατ ανάγκην ισάριθμα!) αναφέρονται στην τρέχουσα χρονική στιγμή. Αν πάλι το παράθυρο εκφράζεται ως αριθμός πλειάδων, τότε κάθε νεοεισερχόμενη πλειάδα συνεπάγεται την απόρριψη του παλαιότερης που υπάρχει στο παράθυρο. Άρα, καθώς το παράθυρο μετατοπίζεται, μεταβολές σημειώνονται μόνο στα άκρα του (διαγραφές στο κατώτερο, εισαγωγές στο ανώτερο), αφήνοντας άθικτα τα ενδιάμεσα στοιχεία. Σύνθετες μορφές παραθύρων Η κατάταξη των παραθύρων σε κατηγορίες καθόλου δεν αποκλείει τον προσδιορισμό σύνθετων τύπων, συνδυάζοντας κριτήρια ανάλογα με τη σημασιολογία του ερωτήματος διαρκείας που τίθεται. Έτσι, λ.χ. πολλές φορές εξυπηρετεί να οριστούν κυλιόμενα χρονικά παράθυρα: ο αριθμός των περιλαμβανόμενων πλειάδων μπορεί μεν να ποικίλει αναλόγως των διακυμάνσεων στο ρυθμό άφιξης των στοιχείων του ρεύματος, όμως η πρόοδος του παραθύρου συμβαδίζει με την εξέλιξη του χρόνου. Ενδέχεται ακόμη να τεθούν πρόσθετα κριτήρια επιλογής πλειάδων (αντίστοιχα των συνθηκών WHERE στην SQL), προκειμένου να φιλτράρονται τα στοιχεία βάσει των επιθυμητών τιμών (value-based windows) [BBD+02]. Όπως άλλωστε θ αναλυθεί παρακάτω, πρόσθετοι τύποι προκύπτουν από το συνδυασμό παραθύρων με άλλους γνωστούς αλγεβρικούς τελεστές, όπως λ.χ.

20 σύνδεση παραθύρων (window-join), συναθροιστικά παράθυρα (window-aggregates), κ.ά. Στην εργασία [PS06], πτυχές της οποίας θα αναπτυχθούν στις επόμενες παραγράφους, επιχειρήσαμε μια αλγεβρική περιγραφή της σημασιολογίας των κύριων παραθυρικών δομών που συναντώνται στην τρέχουσα βιβλιογραφία [ACC+03, ABW06, CCD+03], διαχωρίζοντάς τες βάσει της μονάδας μέτρησης των περιεχομένων τους σε φυσικά και λογικά παράθυρα Τύποι φυσικών παραθύρων Εξ ορισμού, τέτοια παράθυρα συνήθως είναι κυλιόμενα, ώστε να επιστρέφεται ένας καθορισμένος αριθμός N πρόσφατων πλειάδων. Άλλωστε, σε πρακτικές εφαρμογές είναι μάλλον σπάνιο να ζητηθούν π.χ. τα N δεδομένα που έφτασαν μετά το k-στό στοιχείο, αφού αγνοείται αν και πότε έχει ληφθεί η συγκεκριμένη πλειάδα στη ροή του απειράριθμου ρεύματος. Παράθυρα πλειάδων (tuple-based windows) Τέτοια παράθυρα ανά πάσα χρονική στιγμή τ T εστιάζουν στις N τελευταίες πλειάδες του ρεύματος S, οπότε: W n (S, τ, N ) = {s S ( τ ) : τ 1 T, τ 1 τ {s S ( τ ) τ 1 s.a τ τ } N } Τα στοιχεία εντός παραθύρου (βλ. Σχ. 3α) υπολογίζονται ως εξής: ξεκινώντας από την παρούσα χρονική στιγμή και προχωρώντας προς το παρελθόν («με την όπισθεν»), επιλέγονται συνεχώς πλειάδες μέχρις ότου καλυφθεί ο ζητούμενος αριθμός N. Αυτή η μέθοδος κρύβει όμως δύο πολύ λεπτά σημεία: (i) Πρώτον, δεν είναι σαφές τί θα συμβεί όταν ο αλγόριθμος, φτάνοντας στο απώτατο χρονόσημο που θα χρειαστεί να εξετάσει, διαπιστώσει ότι πρέπει να διαλέξει ανάμεσα σε περισσότερες πλειάδες συγκριτικά με όσες υπολείπονται για να συμπληρωθεί ο αριθμός N. (ii) Επίσης, δεν είναι απλός ο χειρισμός διπλοτύπων, αν δηλαδή ο αλγόριθμος πρέπει να μετράει μία ή περισσότερες φορές τυχόν διπλότυπα καθώς υπολογίζει το παράθυρο. Συνήθως, τέτοια προβλήματα επιλύονται με μη ντετερμινιστικό τρόπο: λ.χ. στο σύστημα STREAM, τα αντίστοιχα παράθυρα (ROW-based windows) επιλέγουν τυχαία τις σχετικές πλειάδες, ενώ προσμετρούν τα διπλότυπα όσες φορές εμφανίζονται [ABW06]. (α) Παράθυρο πλειάδων με μέγεθος (β) Παράθυρο οροσήμου με σταθερή (γ) Κυλιόμενο χρονικό παράθυρο με (δ) Επάλληλο χρονικό παράθυρο με μέγεθος