Κινούμενα αντικείμενα & ρεύματα δεδομένων

Transcript

1 Κινούμενα αντικείμενα & ρεύματα δεδομένων Ερευνητικά προβλήματα & εφαρμογές Τίμος Σελλής, ΙΠΣΥΠ Ε.Κ. «Αθηνά» & ΕΜΠ Κοινή δουλειά με Κ. Πατρούμπα, ΥΔ ΕΜΠ

2 Πηγές ρευμάτων δεδομένων Ρεύματα δεδομένων (data streams) προκύπτουν δυναμικά από καταγραφές στοιχείων δίκτυα αισθητήρων τηλεφωνικές συνδιαλέξεις μηχανές αναζήτησης στο Διαδίκτυο εποπτεία κίνησης σε δίκτυα παρακολούθηση χρηματοοικονομικών δεικτών... Κύρια χαρακτηριστικά μη πεπερασμένο σύνολο στοιχείων όπως συνηθίζεται σε συμβατικές βάσεις δεδομένων αλλά μη φραγμένο σύνολο δεδομένων συνεχή, αλλά με χρονικά κυμαινόμενο όγκο ταχύτατα, εφήμερα και πιθανόν ανεξάντλητα

3 Επεξεργασία ρευμάτων δεδομένων Προς συστήματα διαχείρισης ρευμάτων δεδομένων (DSMS) με νεωτερικούς μηχανισμούς επεξεργασίας ρευμάτων (SPE) εκτέλεση πολλαπλών ερωτημάτων διαρκείας (continuous queries) σταδιακή επικαιροποίηση με τυχόν νέα δεδομένα εισόδου online ανεπάρκεια συμβατικών βάσεων δεδομένων (DBMS): pull-based πρακτικά ανέφικτη η αποθήκευση όλων των στοιχείων στον δίσκο push-based επεξεργασία μεγάλου όγκου ευμετάβλητων δεδομένων απευθείας στην κύρια μνήμη για ταχύτερη αποτίμηση ιδιαίτερη σημασία στην σειρά άφιξης των στοιχείων Επίκαιρη Απάντηση απάντηση Pull-based processing Push-based processing Ερώτημα διαρκείας DBMS DSMS Ρεύμα δεδομένων

4 Διαχείριση ρευμάτων δεδομένων Αποτίμηση ερωτημάτων άμεση ανταπόκριση στην είσοδο νέων στοιχείων δίνουν έγκαιρες έστω και προσεγγιστικές απαντήσεις προσεγγίσεις με δυναμικά τηρούμενες συνόψεις: σκίτσα (sketches) κυματίδια (wavelets) δειγματοληψία (sampling) ιστογράμματα (histograms)... εστίαση σε πεπερασμένα πρόσφατα στοιχεία κυρίως με κυλιόμενα παράθυρα (sliding windows) επιλεκτική απόρριψη φόρτου (load shedding) Γλώσσα ερωταποκρίσεων προτίμηση προς παραλλαγές της SQL Continuous Query Language [STREAM] StreQuel [TelegraphCQ] προσπάθειες για πρότυπο StreamSQL SQuAl [Aurora] GSQL (Gigascope)

5 Εφαρμογές παρακολούθησης Επεξεργασία συμβάντων (complex event processing CEP), λ.χ.: ασφάλεια δικτύων τιμές μετοχών ειδοποίηση συνδρομητών κ.ά. Ενδιαφέρον για υπηρεσίες εντοπισμού (location-based services): πλοήγηση τηλεματική προστασία περιβάλλοντος τουρισμός, διαφήμιση κ.ά. Διαχείριση θέσεων κινούμενων αντικειμένων

6 Ρεύματα θέσεων αντικειμένων Μεγάλο πλήθος κινούμενων αντικειμένων άνθρωποι, συσκευές, εμπορεύματα, πανίδα,... ΠΑΡΟΝ ΠΑΡΕΛΘΟΝ ΜΕΛΛΟΝ καταγραφή θέσης (location) τήρηση τροχιάς (trajectory) πρόβλεψη πορείας Ρεύματα σημειακών θέσεων άφιξη πλήθους γεωγραφικών στιγμάτων με κυμαινόμενο ρυθμό επίκαιρες απαντήσεις σε ποικιλία ερωτημάτων ανεπάρκεια συμβατικών βάσεων δεδομένων Ερευνητικά θέματα Σύνθετα χωροχρονικά ερωτήματα διαρκείας τεχνικές αποτίμησης / εκτίμησης ευρετήρια Διαχείριση δεδομένων περιορισμός όγκου κλιμάκωση επεξεργασίας

7 Μηχανές επεξεργασίας ρευμάτων Ακαδημαϊκά πρωτότυπα Εμπορικά συστήματα Aurora + Borealis (Brown/MIT/Brandeis) Gigascope (AT&T/Carnegie Mellon) NiagaraST (Wisconsin/Portland State) STREAM (Stanford) TelegraphCQ (UC Berkeley) StreamBase Coral8 Sybase CEP Oracle CEP Microsoft StreamInsight Truviso IBM System S SQLStream CEP Cayuga [Cornell] Esper and NEsper [EsperTech] Χωροχρονικά συστήματα Benchmarks SECONDO [Hagen Univ.] PLACE [Purdue] Microsoft StreamInsight Spatial Linear Road [Aurora, STREAM] NEXMark [NiagaraST] BerlinMOD [Hagen Univ.]

8 Ορολογία memory sampling scalability histogram summarization SQL single-pass monitoring approximation shared evaluation continuous query sketches wavelet error monotonicity append-only load shedding data stream incremental results online push-based pull-based processing relational unbounded tuple aggregation partitioned punctuation scope operator scheduling sliding window state expiration join ranking tumbling timestamp count-based multi-resolution similarity k-nn trajectory orientation compression geostreaming prioritization range uncertainty position indexing location-based services amnesic

9 Ιστορική αναδρομή ( )

10 Θεματικοί άξονες διερεύνησης Παράθυρα με χωρικές επεκτάσεις χειρισμός συνεχώς κινούμενων αντικειμένων ευκαιρίες για εξελιγμένα ερωτήματα διαρκείας Συμπίεση δεδομένων τροχιάς αντικειμένων συνεξέταση χαρακτηριστικών κίνησης αντιστάθμιση ακρίβειας απαντήσεων με βαθμό συμπίεσης Επεξεργασία χωροχρονικών ερωτημάτων διαρκείας k-εγγύτεροι γείτονες με προσεγγιστικά κελιά Voronoi ερωτήματα περιοχής με διαβάθμιση προτεραιότητας εποπτεία προσανατολισμού κινήσεων

11 Ιδιότητες ρευμάτων δεδομένων Σχήμα ρεύματος δεδομένων S τυπικές σχεσιακές πλειάδες με κοινά γνωρίσματα + πεδίο χρονοσήμου (timestamp) σε κάθε πλειάδα δείχνει αύξοντα αριθμό ή χρονική στιγμή εισδοχής κάθε στοιχείου όλα τα χρονόσημα από κοινό σύνολο (Time Domain) διατεταγμένο, άπειρο σύνολο διακριτών χρονικών στιγμών όμως μελετώνται και μη δομημένα ρεύματα (XML streams) Μη φραγμένο σύνολο αλλά πεπερασμένο πλήθος στοιχείων εισρέουν κάθε Απευθείας επεξεργασία στην κύρια μνήμη επίκαιρα αποτελέσματα σε πολλαπλά ερωτήματα διαρκείας συμβαδίζοντας με κυμαινόμενο ρυθμό άφιξης πλειάδων Περιορίζοντας τα στοιχεία του ρεύματος που εξετάζονται συνόψεις εμβόλιμες στίξεις (punctuations) παράθυρα

12 Ρεύματα θέσεως αντικειμένων Στο πεδίο του χώρου στίγματα : σημειακές ενδείξεις θέσης μελέτη στο Ευκλείδειο επίπεδο Στο πεδίο του χρόνου χρονόσημα σε κάθε εισερχόμενο στίγμα εξασφάλιση διάταξης μεταξύ καταγραφών Ρεύμα σημειακών θέσεων (positional stream) συρροή «νέφους» πλειάδων με χωρο-χρονόσημα μη φραγμένες ακολουθίες θέσεων από πολλά αντικείμενα πεπερασμένο πλήθος στιγμάτων ανά χρονόσημο έμφαση στην εξέταση φαινομένων κίνησης

13 Ρεύματα τροχιάς αντικειμένων Τροχιά αντικειμένου ακολουθία σημειακών θέσεων στίγματα με χρονόσημα εξελίσσεται διαρκώς στον χώρο και τον χρόνο Ρεύμα τροχιών ακολουθία στιγμάτων από πολλά αντικείμενα t t4 t3 t2 y t1 t0 p0 ταυτότητα (οid) σε κάθε πλειάδα χρονική μονοτονία διάταξη στιγμάτων τοπικότητα στην κίνηση καθενός αντικειμένου p1 p2 p3 p4 x τήρηση τμημάτων τροχιών στην κύρια μνήμη ανάγκη για απευθείας επεξεργασία εποπτικά ερωτήματα διαρκείας για την πρόσφατη κίνηση παράθυρα

14 Συνήθη ερωτήματα διαρκείας Βάσει συντεταγμένων Χωροχρονικά περιοχής (range) k-εγγύτεροι γείτονες (k-nn) συνάθροιση (distinct count) πυκνότητα (density)... Γεωμετρικά κυρτό περίβλημα (convex hull) κελιά Voronoi... Βάσει τροχιών ομοιότητας (similarity) συγχρονισμού (convoy, flocks) k-εγγύτεροι γείτονες (k-nn)

15 Παράθυρα με χωρική υπόσταση ; Τυπικά παράθυρα σε ρεύματα θέσεων αντικειμένων Κυλιόμενα: λ.χ. στίγματα που ελήφθησαν κατά την τελευταία ώρα Ερώτημα: «Για κάθε όχημα εντός περιοχής R, βρες το κοντινότερό του εντός περιοχής R κάθε 10 sec.» Κατηγόρημα Παράθυρο ΙΔΕΑ: Υποστήριξη σύνθετων χωρικών+χρονικών συνθηκών από κοινού διατύπωση & συνδυασμένη αποτίμηση ελάττωση στιγμάτων προς επεξεργασία ταχύτερη απόκριση απομόνωση συμπαγών τμημάτων τροχιάς αντικειμένων συμπερίληψη χωρικών κριτηρίων στο χρονικό παράθυρο πριν την αποτίμηση άλλων τελεστών (push-down spatial predicates)

16 Διατύπωση χωροχρονικών παραθύρων Χρονική εμβέλεια (scope) ενδιαφέρον για τα πιο πρόσφατα στίγματα αντικειμένων χρονικό διάστημα ω διαδοχή πλειάδων συνήθως εξελίσσεται με σταθερό βήμα προόδου β ερμηνεία: ως χρονικό φίλτρο στιγμάτων περιεχόμενα παραθύρου Χωρική κάλυψη (coverage) περιοχή ενδιαφέροντος για το ερώτημα σημειακές εστίες ημιεπίπεδα ζώνες κλειστές επιφάνειες πιθανόν χρονικά μεταβαλλόμενη ερμηνεία: ως χωρικό φίλτρο προσδιορίζει ποια στίγματα καλύπτονται απ το τρέχον παράθυρο

17 Είδη χωροχρονικών παραθύρων Παράθυρα εκτάσεως (extent-based windows) χρονική εμβέλεια : κυλιόμενο διάστημα χωρική κάλυψη : στατική ή περιοδικά κινούμενη εξαίρεση στιγμάτων εκτός ενδιαφέροντος ω=3,β=2 dx = 4, dy = 6 Ψηφιδωτά παράθυρα (tessellated windows) D: διαμέριση επιπέδου σε διακριτές ψηφίδες τα N πιο πρόσφατα στίγματα ανά περιοχή εποπτεία σε προκαθορισμένες ζώνες D = {d1, d2, d3, d4, d5, d6} N = 2 στίγματα ανά ζώνη

18 Είδη χωροχρονικών παραθύρων Παράθυρα k-εγγύτητας (k-proximity) πιθανόν κινούμενες εστίες ενδιαφέροντος F k-εγγύτερες τρέχουσες θέσεις ανά εστία Κατάσταση: ένωση σύγχρονων στιγμάτων F = {q1, q2, q3, q4} k=3 Παράθυρα βεληνεκούς (distance-based) πιθανόν κινούμενες εστίες ενδιαφέροντος F στίγματα εντός αποστάσεως d γύρω από κάθε καθορισμένη εστία κυλιόμενο διάστημα ω χρονοσήμων F = {q1, q2, q3}, d = 5, ω = 2

19 Παραθυρική σύνδεση τροχιών Προοπτικές χρήσης παραθύρων σε συνδέσεις τροχιών trajectory joins : ζεύγη τροχιών με κάποιου είδους ομοιότητα Σύνδεση διαρκείας βάσει αποστάσεων (continuous distance-join) δύο σύνολα από τροχιές παράλληλα εξελισσόμενες κυλιόμενο παράθυρο Δt κατώφλι απόστασης ε(t) Εύρεση όσων ζευγών τροχιών απέχουν απόσταση < ε(t) συνεχώς στο διάστημα Δt «ομάδες» από παρόμοια συγχρονισμένα τμήματα τροχιών Χαλαρή σύνδεση τροχιών ανοχή σε χρονική υστέρηση (lag)

20 Συμπίεση δεδομένων τροχιάς Συσσώρευση εφήμερων δεδομένων κίνησης αντικειμένων στίγματα παρωχημένα με την πάροδο του χρόνου (time-decaying) δύσκολο να αποθηκευθούν πλήρως, δύσχρηστα για ερωτήματα επεξεργασία στην κύρια μνήμη με ένα πέρασμα (single-pass) Απευθείας συμπίεση ρευμάτων τροχιάς (online compression) Εκμετάλλευση κρίσιμων χαρακτηριστικών της κίνησης χρήση δειγματοληψίας επί των εισερχόμενων στιγμάτων Βαθμιαία απώλεια πληροφορίας για το παρελθόν αμνησιακές συνόψεις (...όπως η ανθρώπινη μνήμη) Εξισορρόπηση απαιτήσεων για ακρίβεια & περιεκτικότητα ποιότητα προσεγγίσεων ακόμη και για μεγάλο βαθμό συμπίεσης Εξυπηρέτηση ερωτημάτων διαρκείας εκτίμηση διακριτού πλήθους αντικειμένων με σκίτσα FM

21 Δειγματοληψία σε τροχιές Χαρακτηριστικό δείγμα από πρωτογενείς καταγραφές Συνεχής τήρηση ενός προτύπου της κίνησης online παραμένουν μόνο σημεία καμπής στην πορεία βάσει και του ρυθμού μεταβολής κίνησης: ταχύτητα αντικειμένου προσανατολισμός Σύγχρονη απόσταση όριο στο μέγεθος τηρούμενου δείγματος διαγραφές παλαιότερων δειγμάτων προτιμάται το δείγμα με την μικρότερη σύγχρονη απόσταση διότι θα αλλοιώσει λιγότερο την μορφή της τροχιάς

22 Δείγμα βάσει κατωφλίων Έλεγχος συνεισφοράς νέας θέσης Κριτήρια: μεταβολή ταχύτητας αλλαγή προσανατολισμού C περιοχή ασφαλείας SAT (F) D E SAT (D) εκεί αναμένεται η νέα θέση του αντικειμένου προσθήκη στο δείγμα στιγμάτων εκτός περιοχής SAT (G) F SAT (E) σφάλμα από διαδοχικές μικρές κλίσεις Περιορισμός στην διάδοση σφάλματος συνδυασμός περιοχών (SAJ) βάσει δείγματος (SAS) στιγμιαίας ταχύτητας (SAT) διόγκωση δείγματος επ αόριστον ιδίως για περίπλοκες τροχιές με πολλαπλά σημεία καμπής ή αυξομειώσεις ταχύτητας G

23 Αμνησιακές συνόψεις Προσεγγίσεις δυναμικών ρευμάτων έμφαση στα πρόσφατα στοιχεία παρά σε παλαιότερα η σημασία κάθε πλειάδας ελαττώνεται με τον χρόνο ανάδειξη βασικών χαρακτηριστικών κίνησης πολλαπλά επίπεδα λεπτομέρειας (multi-resolution) Αμνησιακό δένδρο (AmTree) πολλαπλές χρονικές βαθμίδες απλούστευση: δύο κόμβοι/επίπεδο σταδιακή ανανέωση (bottom-up) διάδοση αλλαγών κατά κύματα χρόνος O(1) ανά στοιχείο διατήρηση συνάφειας στοιχείων ανά επίπεδο

24 Τήρηση συνόψεων τροχιάς Αναπαράσταση τροχιάς τήρηση μετατοπίσεων αντί σημειακών θέσεων «συνεχής» ακολουθία από συναπτά ευθύγραμμα τμήματα Συμπίεση μεμονωμένων τροχιών χωριστό αμνησιακό δένδρο για καθεμιά κόμβοι: μετατοπίσεις βαθμιαία μικρότερης λεπτομέρειας πάντοτε από πρωτογενείς καταγραφές ανασύσταση προσεγγιστικής τροχιάς από υπάρχουσες καταγραφές στους κόμβους του δένδρου Δx(0-8) Δx(0-4) Δx(0-4) Δx(4-8) Δx(0-2) Δx(2-4) Δx(4-6) Δx(2-4) Δx(4-6) Δx(0-2) Δx(6-8) Δx(1-2) Δx(0-1) Δx(2-3) Δx(3-4) Δx(4-5) Δx(5-6) Δx(6-7) Δx(3-4) Δx(4-5) Δx(5-6) Δx(6-7) Δx(1-2) Δx(2-3) Δx(7-8) Δx(0-1)

25 Ζητήματα προς διερεύνηση Προηγμένη συμπίεση καταγραφών κίνησης ποιότητα δειγματοληψίας στιγμάτων αλγόριθμος με εγγυήσεις σφάλματος αμνησιακές συνόψεις εκμετάλλευση τοπολογικών συσχετίσεων αντικειμένων & ερωτημάτων Στρατηγικές απόρριψης φόρτου για ερωτήματα σχετικά με την τρέχουσα θέση αντικειμένων διάκριση ως προς την πυκνότητα των καταγραφών κατά περιοχές εκτίμηση πιστότητας απαντήσεων για ποικίλες κατανομές θέσεων για ερωτήματα τροχιάς όχι αυτοτελώς την καθεμιά παροδικά ή περιοδικά παραπλήσιες τροχιές πολλών αντικειμένων αντιπροσώπευση από κοινό τμήμα για ορισμένο χρονικό παράθυρο εκλογή σημείων άρθρωσης για συνάφεια διαδοχικών τμημάτων πρακτικό όφελος ιδίως όταν τα αντικείμενα κινούνται σε δίκτυο

26 k-εγγύτεροι γείτονες μέσω κελιών Voronoi Κελί Voronoi = κελί Dirichlet = πολύγωνο Thiessen Περιοχή επιρροής γύρω από εστία q Κελιά k-τάξεως από πολλαπλά σημεία Ρεύματα θέσεων αντικειμένων Συνεχείς ανανεώσεις στιγμάτων Επιλεγμένες εστίες ενδιαφέροντος Για κάθε εστία q Εντοπισμός k-εγγύτερων στιγμάτων Τήρηση κελιού Voronoi k-τάξεως Άμεση απόκριση σε ερωτήματα k-nn Αλγόριθμοι για προσεγγιστικές απαντήσεις Ανακατασκευή κελιού ανά χρονόσημο ταυτόχρονες επικαιροποιήσεις στιγμάτων απ όλα τα αντικείμενα Σταδιακή προσαρμογή κελιού βάσει πρόσφατων στιγμάτων με χρήση χρονικά κυλιόμενου παραθύρου

27 Προσέγγιση κελιού Voronoi k-τάξεως Υπολογισμός κελιού Voronoi γύρω από εστία q Τα στίγματα όλων των αντικειμένων ανανεώνονται ταυτοχρόνως Μη σταθερή εστία q : μπορεί να μετακινείται ανά χρονόσημο Το κελί Voronoi προσεγγίζεται εξαρχής ανά χρονόσημo Αλγόριθμος (ανά χρονόσημο): Υποδιαίρεση σε λ όμορους τομείς Φίλτρο στιγμάτων ανά τομέα Τήρηση k+1 θέσεων εγγύτερα στο q Εύρεση k εγγύτερων γειτόνων (k-nn) Εντοπισμός φρουρών ανά τομέα: Στίγμα πλησιέστερα στο q (όχι k-nn) Αρχικό κελί : όλο το επίπεδο Ανά τομέα, ελέγχονται k μεσοκάθετοι : Μεταξύ του φρουρού και των k-nn Επιλέγεται μόνο η εγγύτερη στο q Το κελί περικόπτεται σταδιακά

28 Κελί Voronoi σε κυλιόμενο παράθυρο Μοντέλο κυλιόμενου παραθύρου στην προσέγγιση κελιού Περιοδική εξέταση στιγμάτων εντός πρόσφατου διαστήματος ω Ασύγχρονη αποστολή θέσεων από τα κινούμενα αντικείμενα Ιδιότητες κελιού Voronoi ισχύουν για στάσιμη εστία q Αλγόριθμος (ανά νέο παράθυρο): Για κάθε όμορο τομέα αρκεί Τήρηση k+1 θέσεων εγγύτερα στο q ανά χρονόσημο εντός του ω Εκκαθάριση στιγμάτων που έληξαν Τυχόν αλλαγή k-nn εγγύτερου γείτονα: Εκ νέου υπολογισμός κελιού Αλλιώς, εύρεση νέου φρουρού ανά τομέα Χάραξη νέας μεσοκαθέτου Διαγραφή παλαιάς μεσοκαθέτου Επισκευή κελιού τοπικά

29 Διαβαθμισμένα ερωτήματα περιοχής Ιεράρχηση προτεραιοτήτων για κινούμενα ερωτήματα Όταν οι χρήστες επιθυμούν απαντήσεις άμεσα ή συχνά κατάταξη μηνυμάτων ανάλογα με την κρισιμότητά τους Παράδειγμα: κλήση ασθενοφόρου & αναζήτηση εστιατορίων Ο κεντρικός επεξεργαστής μπορεί να απονείμει προτεραιότητες δρομολόγηση εκτέλεσης ερωτημάτων για καλύτερη κατανομή πόρων Διερεύνηση στρατηγικών επεξεργασίας για κινούμενα ερωτήματα περιοχής με προτεραιότητες: δηλωμένες από τους ίδιους τους χρήστες πιθανόν χρονικά μεταβαλλόμενες Έγκαιρες απαντήσεις έστω προσεγγιστικές Θεμιτή η εξέταση ερωτημάτων βάσει προτεραιότητας. Αμερόληπτη; Ανθεκτικότητα σε κλιμακούμενο πλήθος αντικειμένων & ερωτημάτων Συνεξέταση πολλαπλών ερωτημάτων διαρκείας εύνοια προς επικαλυπτόμενες περιοχές κοινού ενδιαφέροντος

30 Μοντέλο επεξεργασίας Κεντρικός επεξεργαστής: λαμβάνει στίγματα από N κινούμενα αντικείμενα αποτιμά M διαβαθμισμένα κινούμενα ερωτήματα περιοχής ορθογώνιες περιοχές ενδιαφέροντος με χρονικά μεταβαλλόμενες βαθμίδες προτεραιότητας Συγχρονισμένα ρεύματα δεδομένων ρεύματα θέσεων & περιοχών Περιοδικοί κύκλοι εκτέλεσης Κάθε κύκλος διαρκεί T χρονόσημα Ανανεώνει θέσεις αντικειμένων & προσδιορισμούς ερωτημάτων Αποτιμά αιτήματα χρηστών βάσει επικαιροποιημένων στοιχείων Ευρετήριο ερωτημάτων & αντικειμένων grid: ομοιόμορφος κάνναβος κελιών

31 Εκτίμηση προτεραιότητας ερωτημάτων Εξέταση ερωτημάτων συλλογικά σε επίπεδο κελιού Κάθε κελί λαμβάνει έναν βαθμό σταθμίζοντας : α) τις παρατηρούμενες προτεραιότητες των συναφών ερωτημάτων β) την τρέχουσα πυκνότητα αντικειμένων εντός του κελιού Μοντέλα επιρροής ερωτημάτων σε κελιά Κυρίαρχο : η υψηλότερη προτεραιότητα μεταξύ επικαλυπτόμενων ερωτημάτων Κανονικοποιημένο : αναλογικός υπολογισμός βάσει κατανομής προτεραιοτήτων μεταξύ κελιών Μέση προτεραιότητα τοπικών ερωτημάτων Πληθωριστικό : ερωτήματα υψηλής προτεραιότητας υπερτερούν στην βαθμολογία του κελιού Μέθοδοι βαθμολόγησης κελιών βάσει ερωτημάτων & αντικειμένων εντός τους σταθμισμένο άθροισμα αρμονικός μέσος συνδυασμένη πυκνότητα

32 Αποτίμηση διαβαθμισμένων ερωτημάτων Κύκλος εκτέλεσης Κατά την διάρκεια μιας περιόδου T : 1. Ενημέρωση ευρετηρίου (grid) με τα τρέχοντα δεδομένα & ερωτήματα 2. Προσδιορισμός βαθμολογίας κελιών σειρά επίσκεψης 3. Εξέταση συναφών ερωτημάτων ανά κελί απαντήσεις Με την εκπνοή κάθε περιόδου Τ, έναρξη νέου κύκλου Ερωτήματα μπορεί να λάβουν ελλιπείς απαντήσεις ή και καθόλου! QoS : εκτίμηση ποιότητας απαντήσεων Στρατηγικές αποτίμησης Εξαντλητική εξέταση κελιών κατά φθίνοντα βαθμό αποτίμηση όλων των ερωτημάτων εντός κελιού Διαστρωματωμένη εξέταση κελιών εκ περιτροπής (k κατηγορίες) σε κάθε κύκλο ευνοείται άλλη κατηγορία με διαφορετική συχνότητα Βάσει δυναμικά αναπροσαρμοζόμενων κατωφλίων εξυπηρέτηση μόνον υψηλής προτεραιότητας ερωτημάτων ανά κελί

33 Εποπτεία προσανατολισμού κινήσεων Προσανατολισμοί αντικειμένων γύρω από σημειακές εστίες Στάσιμα σημεία ενδιαφέροντος: σταθμοί, στάδια, κόμβοι, κ.ά. Συγχρονισμένα στίγματα Ανίχνευση τάσεων online Αποκλίνουσες/συγκλίνουσες κινήσεις Ερωτήματα προσανατολισμού Συνεχής απόκριση σχετικά με: δεδομένη απόσταση από εστία κατεύθυνση ενδιαφέροντος σαν μια συστοιχία RADAR πολυσύχναστες διευθύνσεις κίνησης βαθμιαία καλύτερη ευκρίνεια πλησιέστερα προς την εστία

34 Επεξεργασία προσανατολισμών Συνέργεια αντικειμένων & κεντρικού εξυπηρετητή Κάθε αντικείμενο διαθέτει στοιχειώδη επεξεργαστική ισχύ τηρεί τα πρόσφατα στίγματά του αναθεωρεί τον προσανατολισμό του ενημερώνει όταν σημειωθεί απόκλιση στην ήδη γνωστή πορεία του Ένα σύνολο εστιών επιτηρεί την περιοχή ενδιαφέροντος ο εξυπηρετητής συντηρεί κατανομή των προσανατολισμών ανά εστία Αποτίμηση ερωτημάτων προσανατολισμού Χρήση νέου ευρετηρίου: PolarTree Κατάτμηση εμβέλειας κάθε εστίας & οργάνωση σε ιεραρχία τομέων Αναπροσαρμογή τομέων βάσει πυκνότητας σε βαθμιαία λεπτομερέστερους τομείς πλησιέστερα προς την εστία Τήρηση κινούμενων αντικειμένων κατά τομείς Υποστήριξη πολλαπλών ερωτημάτων γύρω από κοινή εστία Εξέταση τμημάτων τροχιάς κατά το πρόσφατο παρελθόν

35 Πολικός μετασχηματισμός αντικειμένων Αντικείμενα εντός εμβέλειας από εστία f Ορισμός κυκλικού δίσκου για την εστία f Πόλος : σταθερή εστιακή θέση (κέντρο f ) Εμβέλεια : κύκλος ακτίνας R Αντικείμενο o θεωρείται ως σημείο (d, θ) Απόσταση d : εστιακή απόσταση d(f, o) Γωνία θ : προσανατολισμός κίνησης Δήλωση ερωτημάτων προσανατολισμού Κάθε ερώτημα αφορά δεδομένη εστία f Συνδυασμένα κριτήρια αναζήτησης: αντικείμενα εντός ανοίγματος [θ1, θ2) βάσει των προσανατολισμών τους αντικείμενα εντός βεληνεκούς (d1, d2] βάσει εστιακών αποστάσεων από πόλο f

36 Δομή ευρετηρίου PolarTree Δυαδικό δένδρο στην κύρια μνήμη Δεικτοδοτεί αντικείμενα γύρω από συγκεκριμένη εστία f Υποδιαιρεί την εμβέλεια σε μη επικαλυπτόμενους πολικούς τομείς Κάθε κόμβος αντιπροσωπεύει πολικό τομέα με γνωρίσματα: εστιακή απόσταση (ακτίνα r ) εύρος προσανατολισμών (διχοτόμος φ)

37 Διαρκής εποπτεία προσανατολισμών Μοντέλο λειτουργίας Κάθε αντικείμενο στέλνει την κατάστασή του < oid, x, y, t, v, θ > Ο εξυπηρετητής καταχωρεί σύνολο F εστιακών σημείων περιοδικά, ανά τ0 χρ. στιγμές ή κατόπιν αιτήματος του εξυπηρετητή όταν συμβεί απόκλιση σε προσανατολισμό ( >dθ) ή ταχύτητα (>λ%) επιτηρεί κινήσεις αντικειμένων εντός εμβέλειας κάθε εστίας συντηρεί χωριστό PolarTree για κάθε εστία διατηρεί συγχρονισμένες καταστάσεις αντικειμένων εκτιμά την κατάσταση όσων αντικειμένων δεν την έχουν στείλει αποτιμά ερωτήματα προσανατολισμού (ανά εστία) Κυλιόμενα παράθυρα για προσανατολισμό τροχιών Ανά αντικείμενο: εξέταση πρόσφατου τμήματος της κίνησης Κατάσταση βάσει καταγεγραμμένων στιγμάτων εντός παραθύρου ω Ανά ερώτημα: τάσεις κίνησης αντικειμένων γύρω από εστίες Εκτίμηση απάντησης βάσει ληφθέντων στιγμάτων εντός παραθύρου ω

38 Προοπτικές Εξελιγμένα χωροχρονικά ερωτήματα διαρκείας Παραλλαγές ερωτημάτων για ρεύματα θέσεων σε ειδικές περιπτώσεις: αβεβαιότητα κίνηση σε δίκτυα σε εσωτερικό χώρο (indoors)... Νεωτερικές προσεγγίσεις σε ρεύματα τροχιών : πλοήγηση: επαναχάραξη πορείας βάσει τρέχουσας κυκλοφορίας εξατομίκευση: προτιμήσεις βάσει δημοφιλίας & ιστορικού επιλογών δυναμικά πρότυπα στην κίνηση : λ.χ. σμήνη (flock, convoy),... Εγγύηση σφάλματος για προσεγγιστικές τεχνικές υπολογισμού Εναλλακτικές μορφές ευρετηρίων για παρελθόν, παρόν & μέλλον Ευελιξία σε μαζικές ανανεώσεις στοιχείων στην κύρια μνήμη Ανομοιογενείς κατατμήσεις του χώρου βάσει στιγμάτων (data-driven) Δεικτοδότηση δυναμικά μεταβαλλόμενων τροχιών Κατανεμημένη επεξεργασία Βελτιωμένη κλιμάκωση για μεγάλους φόρτους αλλά με ανοχή σε απώλειες ή έλλειψη συγχρονισμού στιγμάτων

39 Παραπομπές Ρεύματα δεδομένων [ACC+03] D.J. Abadi, D. Carney, U. Cetintemel, M. Cherniack, C. Convey, S. Lee, M. Stonebraker, N. Tatbul, and S. Zdonik. Aurora: a New Model and Architecture for Data Stream Management. VLDB Journal, [AAB+05] D.J. Abadi, Y. Ahmad, M. Balazinska, U. Cetintemel, M. Cherniack, J.-H. Hwang, W. Lindner, A.S. Maskey, A. Rasin, E. Ryvkina, N. Tatbul, Y. Xing, and S. Zdonik. The Design of the Borealis Stream Processing Engine. CIDR, January [AHWY03] C. Aggarwal, J. Han, J. Wang, and P.S. Yu. A Framework for Clustering Evolving Data Streams. VLDB, September [ABW06] A. Arasu, S. Babu, and J. Widom. The CQL Continuous Query Language: Semantic Foundations and Query Execution. VLDB Journal, [ACG+04] A. Arasu, M. Cherniack, E. Galvez, D. Maier, A. Maskey, E. Ryvkina, M. Stonebraker, and R. Tibbetts. Linear Road: A Stream Data Management Benchmark. VLDB, September [AW04] A. Arasu and J. Widom. Resource Sharing in Continuous Sliding-Window Aggregates. VLDB, September [BBD+02] B. Babcock, S. Babu, M. Datar, R. Motwani, and J. Widom. Models and Issues in Data Stream Systems. PODS, May [BAF+09] I. Botan, G. Alonso, P.M. Fischer, D. Kossmann, and N. Tatbul. Flexible and Scalable Storage Management for Data-intensive Stream Processing. EDBT, March [BS03] A. Bulut and A.K. Singh. SWAT: Hierarchical Stream Summarization in Large Networks. ICDE, March [CCD+03] S. Chandrasekaran, O. Cooper, A. Deshpande, M.J. Franklin, J.M. Hellerstein, W. Hong, S. Krishnamurthy, S.R. Madden, V. Raman, F. Reiss, and M.A. Shah. TelegraphCQ: Continuous Dataflow Processing for an Uncertain World. CIDR, January [CS03] E. Cohen and M. Strauss. Maintaining Time-Decaying Stream Aggregates. PODS, June [FM85] P. Flajolet and G.N. Martin. Probabilistic Counting Algorithms for Database Applications. Journal of Computer and Systems Sciences, 1985.

40 Παραπομπές Ρεύματα δεδομένων (συνέχεια) [GO05] L. Golab and M. Tamer Ozsu. Update-Pattern-Aware Modeling and Processing of Continuous Queries. SIGMOD, June [JMS+08] N. Jain, S. Mishra, A. Srinivasan, J. Gehrke, J. Widom, H. Balakrishnan, U. Cetintemel, M. Cherniack, R. Tibbetts, and S. Zdonik. Towards a Streaming SQL Standard. VLDB, August [JMSS05] T. Johnson, S. Muthukrishnan, V. Shkapenyuk, O. Spatscheck. A Heartbeat Mechanism and its Application in Gigascope. VLDB, September [LMP+05] J. Li, D. Maier, K. Tufte, V. Papadimos, P. Tucker. Semantics and Evaluation Techniques for Window Aggregates in Data Streams. SIGMOD, June [MPN+09] L. Al Moakar, T. Pham, P. Neophytou, P. Chrysanthis, A. Labrinidis, and M. Sharaf. Class-based Continuous Query Scheduling for Data Streams. DMSN, August [PVK+04] T. Palpanas, M. Vlachos, E. Keogh, D. Gunopulos, and W. Truppel. Online Amnesic Approximation of Streaming Time Series. ICDE, March [PS06] K. Patroumpas and T. Sellis. Window Specification over Data Streams. ICSNW, March [PS09b] K. Patroumpas and T. Sellis. Window Update Patterns in Stream Operators. ADBIS, September [PS10a] K. Patroumpas and T. Sellis. Maintaining Consistent Results of Continuous Queries under Diverse Window Specifications. Information Systems Journal, 2010 (to appear). [PS10b] K. Patroumpas and T. Sellis. Multi-granular Time-based Sliding Windows over Data Streams. TIME, September 2010 (to appear). [SCZ05] M. Stonebraker, U. Cetintemel, and S. Zdonik. The 8 Requirements of Real-Time Stream Processing. SIGMOD Record, December [TMSS07] P. Tucker, D. Maier, T. Sheard, and P. Stephens. Using Punctuation Schemes to Characterize Strategies for Querying over Data Streams. TKDE, September 2007.

41 Παραπομπές Συστήματα ρευμάτων δεδομένων StreamBase Sybase CEP Oracle CEP Microsoft StreamInsight Truviso IBM System S SQLStream Esper and NEsper

42 Παραπομπές Κινούμενα αντικείμενα [BHT05] P. Bakalov, M. Hadjieleftheriou, and V. Tsotras. Time Relaxed Spatiotemporal Trajectory Joins. ACM GIS, November [DBG09] C. Düntgen, T. Behr, and R. H. Güting. BerlinMOD: a benchmark for moving object databases. VLDB Journal, [GL06] B. Gedik, L. Liu. Mobieyes: A Distributed Location Monitoring Service using Moving Location Queries. Transactions on Mobile Computing, [GLWY07] B. Gedik, L. Liu, K.L. Wu, and P.S. Yu. Lira: Lightweight, Region-aware Load Shedding in Mobile CQ Systems. ICDE, April [FGPT07] E. Frentzos, K. Gratsias, N. Pelekis, Y. Theodoridis. Algorithms for Nearest Neighbor Search on Moving Object Trajectories. GeoInformatica, [HXL05] H. Hu, J. Xu, and D. L. Lee. A Generic Framework for Monitoring Continuous Spatial Queries over Moving Objects. SIGMOD, June [JYZ+08] H. Jeung, M. Lung Yiu, X. Zhou, C.S. Jensen, and H. Tao Shen. Discovery of convoys in trajectory databases. PVLDB, August [MXA04] M. Mokbel, X. Xiong, and W.G. Aref. SINA: Scalable Incremental Processing of Continuous Queries in Spatiotemporal Databases. SIGMOD, June [MXHA05] M. Mokbel, X. Xiong, M. Hammad, and W.G. Aref. Continuous Query Processing of Spatio-Temporal Data Streams in PLACE. Geoinformatica, December [MHP05] K. Mouratidis, M. Hadjieleftheriou, and D. Papadias. Conceptual Partitioning: An Efficient Method for Continuous Nearest Neighbor Monitoring. SIGMOD, June [PS04] K. Patroumpas and T. Sellis. Managing Trajectories of Moving Objects as Data Streams. STDBM, August [PPS06] M. Potamias, K. Patroumpas, and T. Sellis. Sampling Trajectory Streams with Spatiotemporal Criteria. SSDBM, July 2006.

43 Παραπομπές Κινούμενα αντικείμενα (συνέχεια) [PS07] K. Patroumpas and T. Sellis. Semantics of Spatially-aware Windows over Streaming Moving Objects. MDM, [PPS07] M. Potamias, K. Patroumpas, and T. Sellis. Online Amnesic Summarization of Streaming Locations. SSTD, [PMS07] K. Patroumpas, T. Minogiannis, and T. Sellis. Approximate Order-k Voronoi Cells over Positional Streams. ACM GIS, November [PS08] K. Patroumpas and T. Sellis. Prioritized Evaluation of Continuous Moving Queries over Streaming Locations. SSDBM, July [PKS08] K. Patroumpas, E. Kefallinou, and T. Sellis. Monitoring Continuous Queries over Streaming Locations (demo paper). ACM GIS, November [PS09a] K. Patroumpas and T. Sellis. Monitoring Orientation of Moving Objects around Focal Points. SSTD, July [PJT00] D. Pfoser, C. Jensen, and Y. Theodoridis. Novel Approaches in Query Processing for Moving Objects. VLDB, September [SG09] M. Attia Sakr and R. H. Güting. Spatiotemporal Pattern Queries in Secondo. SSTD, July [SS06] M. Sharifzadeh and C. Shahabi. Utilizing Voronoi Cells of Location Data Streams for Accurate Computation of Aggregate Functions in Sensor Networks. GeoInformatica, March [TKC+04] Y. Tao, G. Kollios, J. Considine, F. Li, and D. Papadias. Spatio-Temporal Aggregation Using Sketches. ICDE, March [VBT09] M. Vieira, P. Bakalov, and V. Tsotras. On-Line Discovery of Flock Patterns in Spatio-Temporal Data. ACM GIS, November [WGT07] W. Wu, W. Guo, and K.-L. Tan. Distributed Processing of Moving k-nearest-neighbor Query on Moving Objects. ICDE, April [XMA05] X. Xiong, M. Mokbel, and W. Aref. SEA-CNN: Scalable Processing of Continuous k-nearest Neighbor Queries in Spatiotemporal Databases. ICDE, April [YPK05] X. Yu, K. Q. Pu, and N. Koudas. Monitoring k-nearest Neighbor Queries Over Moving Objects. ICDE, April 2005.