Συστήµατα Ρευµάτων εδοµένων για Κινούµενα Αντικείµενα

Transcript

1 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ Τµήµα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Συστήµατα Ρευµάτων εδοµένων για Κινούµενα Αντικείµενα Μεταπτυχιακή διπλωµατική εργασία για το.π.μ.σ. ΓΕΩΠΛΗΡΟΦΟΡΙΚΗ Επιβλέπων: Καθ. Τίµος Σελλής Αθήνα, 27 Ιανουαρίου 2004

2 Το πρόβληµα Ποια µορφή είναι δυνατόν να λάβουν τα δεδοµένα σήµερα; Πλειάδες στατικών σχέσεων ενός πεπερασµένου συνόλου δεδοµένων ή συνεχή, χρονικά µεταβαλλόµενα, ταχύτατα και πιθανόν ανεξάντλητα ρεύµατα δεδοµένων (data( streams); Πώς προκύπτουν ρεύµατα δεδοµένων; Από πολλές νέες εφαρµογές: δίκτυα αισθητήρων, τηλεπικοινωνίες, παρακολούθηση δικτύων, µηχανές αναζήτησης στο ιαδίκτυο, εποπτεία στόλου οχηµάτων, παρακολούθηση χρηµατοοικονοµικών δεικτών κ.ά.

3 Το δίληµµα Τα Συστήµατα ιαχείρισης Βάσεων εδοµένων είναι επαρκή για... ερωτήµατα διαρκείας (continuous queries) ; επεξεργασία µεγάλου όγκου ευµετάβλητων δεδοµένων ; έγκαιρες απαντήσεις σε πραγµατικό χρόνο ; Σύγχρονη τάση: Κινητικότητα των δεδοµένων (αλλά και των εφαρµογών!) => Συστήµατα ιαχείρισης Ρευµάτων εδοµένων πολλαπλά ερωτήµατα διαρκείας online επεξεργασία των στοιχείων (διαγράφοντας µερικά εν ανάγκη...) έγκαιρες αλλά ίσως προσεγγιστικές απαντήσεις

4 Η προσέγγιση Βασική υπόθεση εργασίας: Η τροχιά κινούµενων αντικειµένων συγκροτεί ρεύµα δεδοµένων. ύο κατευθύνσεις: Εξαρχής σχεδιασµός ενός συστήµατος διαχείρισης των τροχιών αλλά µε δυνατότητες επεξεργασίας ρευµάτων Τροποποίηση / επέκταση ενός υφιστάµενου µοντέλου ρεύµατος δεδοµένων γενικού σκοπού µε χωροχρονικές λειτουργίες για τη διαχείριση τροχιών

5 Η διερεύνηση Οργάνωση του µοντέλου για ρεύµατα τροχιάς αντικειµένων ιατύπωση χαρακτηριστικών ερωτηµάτων διαρκείας Γλώσσα ερωταποκρίσεων Προσοµοίωση από ένα συµβατικό σύστηµα βάσεων δεδοµένων Προοπτικές Θεµελίωση του µοντέλου ρευµάτων τροχιάς Βελτιστοποίηση εκτέλεσης ερωτηµάτων µε χωροχρονικά στοιχεία Προσεγγιστικές δοµές σύνοψης δεδοµένων Πειραµατική µελέτη συστηµάτων ρευµάτων δεδοµένων

6 Ορολογία αποβολή φόρτου load shedding ανασχετικός τελεστής blocking operator ερώτηµα διαρκείας continuous query κινούµενο αντικείµενο moving object κινούµενο ερώτηµα moving query κυλιόµενο παράθυρο sliding window περίληψη summary πλειάδα tuple ρεύµα δεδοµένων data stream ρεύµα τροχιάς αντικειµένων trajectory stream σύνδεση join στίξεις punctuations σχέση relation συνάθροιση aggregation τροχιά trajectory χαρακτηριστικό attribute χρονικό ορόσηµο timestamp

7 Συστήµατα ρευµάτων δεδοµένων για κινούµενα αντικείµενα ιάγραµµα της παρουσίασης Ρεύµατα δεδοµένων Ερωτήµατα διαρκείας Κινούµενα αντικείµενα Η τροχιά αντικειµένων ως ρεύµα δεδοµένων Γλώσσα ερωταποκρίσεων για ρεύµατα τροχιάς

8 Ρεύµατα δεδοµένων (συνέχεια) Γενική αρχιτεκτονική θεώρηση Περιλήψεις Ρεύµατα εισόδου Ενδιάµεσος χώρος τήρησης δεδοµένων (buffers) Επεξεργαστής ερωτηµάτων Ρεύµατα εξόδου Στατικές σχέσεις Ερωτήµατα διαρκείας

9 Ρεύµατα δεδοµένων Σύστηµα διαχείρισης Σύστηµα διαχείρισης βάσεων δεδοµένων ρευµάτων δεδοµένων Στατικές σχέσεις Εφήµερα ρεύµατα δεδοµένων Ερωτήµατα στιγµιοτύπου (One-time queries) Τυχαία προσπέλαση πλειάδων (random access) «Απεριόριστος» αποθηκευτικός χώρος (λ.χ. δίσκοι) Ενδιαφέρον για το τρέχον στιγµιότυπο της βάσης δεδοµένων Σχετικά χαµηλός ρυθµός αλλαγών στα δεδοµένα, έπειτα από ενέργειες των χρηστών Ερωτήµατα διαρκείας (Continuous queries) ιαδοχική προσπέλαση πλειάδων (sequential access) Πεπερασµένη ποσότητα µνήµης Ενδιαφέρον για τη σειρά άφιξης των πλειάδων στο σύστηµα Πιθανόν να καταφθάνει ραγδαία µεγάλος όγκος δεδοµένων (πολλά GB από τις πηγές δεδοµένων)

10 Ρεύµατα δεδοµένων (συνέχεια) Σύστηµα διαχείρισης Σύστηµα διαχείρισης βάσεων δεδοµένων ρευµάτων δεδοµένων «Παθητικός» χώρος αποθήκευσης των δεδοµένων. (pull model) Ακριβή δεδοµένα Τα πρόσφατα δεδοµένα τηρούνται στη µνήµη. Η άφιξή τους ενεργοποιεί τα ερωτήµατα. (push model) Πιθανόν παρωχηµένα δεδοµένα µε ανακρίβειες ή ελλείψεις Ακριβής απάντηση αλλά... όχι σε πραγµατικό χρόνο Απάντηση σε πραγµατικό χρόνο...έστω και προσεγγιστική Η εκτέλεση των προσχεδίων ερωτηµάτων εξαρτάται από τον επεξεργαστή και το φυσικό σχεδιασµό της βάσης δεδοµένων Ο ρυθµός άφιξης των δεδοµένων και τα χαρακτηριστικά τους είναι µεταβαλλόµενα και µη προβλέψιµα

11 Ρεύµατα δεδοµένων (συνέχεια) Μερικά πρωτότυπα συστήµατα Alert (IBM): ενεργοί πίνακες σε συµβατικά Σ Β Amazon/Cougar (Cornell): δίκτυα αισθητήρων Aurora (Brown/MIT): διαγράµµατα ροής δεδοµένων (αισθητήρες) Gigascope (AT&T, Carnegie Mellon): διαχείριση δικτύου υπολογιστών Hancock (AT&T): τηλεφωνικές συνδιαλέξεις NiagaraCQ (OGI/Wisconsin): βάσεις δεδοµένων XML (Internet) OpenCQ (OGI): triggers, σταδιακή συντήρηση όψεων Stream (Stanford): γενικού σκοπού σύστηµα διαχείρισης ρευµάτων Tapestry (Xerox): φιλτράρισµα µηνυµάτων ηλεκτρονικού ταχυδροµείου TelegraphCQ (UC Berkeley): προσαρµοστικότητα τελεστών Tribeca (Bellcore): εποπτεία δικτύου υπολογιστών

12 Συστήµατα ρευµάτων δεδοµένων για κινούµενα αντικείµενα ιάγραµµα της υπόλοιπης παρουσίασης Ρεύµατα δεδοµένων Ερωτήµατα διαρκείας Κινούµενα αντικείµενα Η τροχιά αντικειµένων ως ρεύµα δεδοµένων Γλώσσα ερωταποκρίσεων για ρεύµατα τροχιάς

13 Ερωτήµατα διαρκείας Συνεχής ροή δεδοµένων προς το σύστηµα ιαρκής εκτέλεση ενεργών ερωτηµάτων επί µακρόν Σταδιακός υπολογισµός των αποτελεσµάτων ONLINE Οι απαντήσεις µπορεί να είναι επίσης ρεύµατα δεδοµένων εν είναι σκανδαλιστές (triggers) εν είναι υλοποιηµένες όψεις (materialized views) Μη προβλέψιµα ερωτήµατα (ad hoc queries): υποβάλλονται στο σύστηµα κατά περίσταση, αφού ένα µέρος των στοιχείων του ρεύµατος έχει ήδη παρέλθει (και πιθανόν διαγραφεί!).

14 Χρονικά ορόσηµα Λογική διάταξη (αύξων αριθµός για κάθε πλειάδα) Φυσική διάταξη (χρονόµετρο συστήµατος) Ρητά χρονικά ορόσηµα Εισάγονται από την πηγή των δεδοµένων Περιλαµβάνονται στο σχήµα των πλειάδων ως χαρακτηριστικό Αντιπροσωπεύουν τη χρονική στιγµή του γεγονότος (valid time) «Πρωθύστερες» πλειάδες, λόγω διαφορών στο χρονισµό των πηγών Αναδιάταξη (µε χρήση buffers?) αν τυχόν συµβούν ανωµαλίες στη διάταξη των ερχόµενων πλειάδων Έµµεσα χρονικά ορόσηµα Εισάγονται από το σύστηµα µόλις η πλειάδα εισρεύσει (transaction time) Οµοιογενής χρονική διάταξη όλων των στοιχείων ανεξαρτήτως πηγής Απρόσκοπτη εκτέλεση ερωτηµάτων (λ.χ. µε κυλιόµενα παράθυρα)

15 Παρεµποδιστικοί παράγοντες σε ερωτήµατα διαρκείας Ανεπαρκής ποσότητα µνήµης Ανασχετικοί τελεστές (blocking operators) Ταξινόµηση (sorting) Συνάθροιση (aggregation) Τελεστές διατήρησης κατάστασης (stateful operators) Συνδέσεις ρευµάτων (joins) Τοµή (intersect) Τεχνικές αντιµετώπισης του προβλήµατος: Αξιοποίηση περιορισµών (λ.χ. εµφάνιση των στοιχείων κατά συστάδες ή µε αυστηρώς αύξουσα διάταξη) Εµβόλιµα σηµεία στίξης (punctuations) Παραθυρικές δοµές για επιλογή πλειάδων από ρεύµατα Παράθυρα χρονικού οροσήµου (landmark windows) Κυλιόµενα παράθυρα (sliding windows)

16 Προσεγγιστικές απαντήσεις σε ερωτήµατα Γιατί προσεγγίσεις; Υψηλοί ρυθµοί άφιξης δεδοµένων Πιθανόν µεγάλος όγκος δεδοµένων Πολλαπλά ερωτήµατα διαρκείας Ανάγκη για έγκαιρες απαντήσεις Πεπερασµένοι πόροι του συστήµατος (κυρίως µνήµη) Περιληπτικές δοµές: Η «ουσία» των τρεχόντων περιεχοµένων του ρεύµατος Πρόσβαση σε παλιότερα (µη διαθέσιµα) στοιχεία Μαζική επεξεργασία Περιλήψεις ή συνόψεις δεδοµένων Σκίτσα δεδοµένων Τυχαία δειγµατοληψία Wavelets Ιστογράµµατα

17 Αποβολή φόρτου Κάποιες πλειάδες χάνονται αµέσως µετά την παραγωγή τους. Γιατί να µην διαγραφούν τεχνητά µερικές επιπλέον πριν δοθούν στο σύστηµα προς επεξεργασία; Ελάττωση φόρτου του συστήµατος ιαγραφή εισερχόµενων πλειάδων ΠΡΙΝ δοθούν προς επεξεργασία ιαγραφή παλαιότερων πλειάδων ΜΕΤΑ την επεξεργασία τους ΟΧΙ ανεξέλεγκτη διαγραφή (AURORA), αλλά: Βάσει γράφων ποιότητας υπηρεσιών για τους χρόνους απόκρισης (παράλληλα µε τα ερωτήµατα διαρκείας) Φιλτράροντας πλειάδες ανάλογα µε τη σηµασιολογία (απαλείφοντας τις λιγότερο σηµαντικές για την απάντηση ερωτηµάτων

18 Επεξεργασία ερωτηµάτων Προσχέδιο εκτέλεσης ερωτηµάτων Syn 3 Ρεύµατα εξόδου Q 8 Q 9 Syn 4 Syn 5 Q 5 Q 6 Q 7 π Εφαρµογές υποβάλλουν ερωτήµατα διαρκείας Οι χρήστες θέτουν µη προβλέψιµα ερωτήµατα και ερωτήµατα διαρκείας σ Syn 1 σ Syn 2 Q 1 Q 2 Q 3 Q 4 Ο διαχειριστής εποπτεύει την εκτέλεση ερωτηµάτων και ρυθµίζει κατάλληλα τις παραµέτρους εκτέλεσης Αποθήκη ιστορικών στοιχείων Ρεύµατα εισόδου

19 Γλώσσα ερωταποκρίσεων Γλώσσα για τη διατύπωση των ερωτηµάτων διαρκείας: ηλωτική (SQL στα Cougar, STREAM, TelegraphCQ) ιαδικαστική (διαγράµµατα ροής στο AURORA) Ζητήµατα: Υποστήριξη υποερωτηµάτων Τελεστές συνάθροισης (aggregates) Συνδέσεις (joins) ρευµάτων µε στατικές σχέσεις ιαχείριση πόρων (µνήµη, υπολογισµοί, I/O) Βελτιστοποίηση πολλαπλών ερωτηµάτων Προσαρµοστικότητα στις µεταβαλλόµενες συνθήκες Χρονοπρογραµµατισµός δοσοληψιών Χρονική σήµανση στα αποτελέσµατα

20 Γλώσσες ερωταποκρίσεων Γλώσσα Ερωταποκρίσεων Είσοδος Τελεστές Παραθυρικές δοµές Εφαρµογές ATLaS Ρεύµατα Σχεσιακοί, UDAs? (Επαναληπτική εκτέλεση) Εξόρυξη εδοµένων Cougar Ρεύµατα Σχεσιακοί (κυρίως αθροιστικοί)? (Περιοδική εκτέλεση) ίκτυα Αισθητήρων STREAM CQL Ρεύµατα, σχέσεις Σχεσιακοί, απεικόνισης σχέσεων σε ρεύµατα Κυλιόµενα (προς το παρόν) Γενικού σκοπού TelegraphCQ (StreaQuel) Ρεύµατα, σχέσεις Σχεσιακοί Κυλιόµενα, Χρονικού οροσήµου, Χρονικής ζώνης ίκτυα Αισθητήρων

21 Γλώσσες ερωταποκρίσεων βάσει της SQL Cougar SELECT <attributes, aggregates> FROM <Streamed Sensordata> WHERE <predicates> GROUP BY <attributes> HAVING <predicate> DURATION <time interval> EVERY <time span ε> StreaQuel (TelegraphCQ) SELECT <attributes, aggregates> FROM <Relations> <Streams> WHERE <predicates> GROUP BY <attributes> HAVING <predicate> FOR (t=<initial_value>;<continue_condition(t)>;<change(t)>) {WINDOWIS(<StreamA>, <left_end(t)>, <right_end(t)>); WINDOWIS(<StreamB>, <left_end(t)>, <right_end(t)>);... }

22 λώσσες ερωταποκρίσεων βάσει της SQL (συνέχεια CQL (STREAM) SELECT <attributes, aggregates> FROM <Relations> <Streams> [PARTITION BY <Stream attributes> ROWS <number of rows> {PRECEDING RECENT} RANGE <time> PRECEDING WHERE <filtering predicates>] SAMPLE <percentage sampling rate> WHERE <predicates> GROUP BY <attributes> HAVING <predicates> ATLaS AGGREGATE <aggregate name> (<parameters list>):<return type { TABLE (<field list>) STREAM (<field list>) SOURCE <stream>; INITIALIZE : { <SQL statements> } ITERATE : { <SQL statements> } REVISE : { <SQL statements> } }

23 Συστήµατα ρευµάτων δεδοµένων για κινούµενα αντικείµενα ιάγραµµα της υπόλοιπης παρουσίασης Ρεύµατα δεδοµένων Ερωτήµατα διαρκείας Κινούµενα αντικείµενα Η τροχιά αντικειµένων ως ρεύµα δεδοµένων Γλώσσα ερωταποκρίσεων για ρεύµατα τροχιάς

24 Συστήµατα κινούµενων αντικειµένων Μελέτη ενός χωροχρονικού φαινοµένου: Η κίνηση των αντικειµένων Μεταβολές στο σχήµα και τη θέση αντικειµένων που κινούνται συνεχώς Τί ενδιαφέρει περισσότερο; Η πρόβλεψη των µελλοντικών θέσεων µε παραµετρικές συναρτήσεις αλλά µε πόση ακρίβεια; Η ιστορική εξέλιξη της κίνησης έµφαση στην πληρέστερη καταγραφή της θέσης εκ των υστέρων επεξεργασία των στοιχείων Βάσεις δεδοµένων κινούµενων αντικειµένων

25 Μοντελοποίηση κινούµενων αντικειµένων για λεπτοµερή περιγραφή της κίνησης: αφηρηµένο µοντέλο τύποι δεδοµένων (στοιχειώδεις, χωροχρονικοί) χωροχρονικές λειτουργίες (temporal lifting) για την αναπαράσταση σε υπολογιστές: διακριτό µοντέλο προσέγγιση από πεπερασµένο αριθµό στιγµιοτύπων ανάλογα µε τα ερωτήµατα που θα τεθούν Σύνθεση των δύο µοντέλων: Άλγεβρα κινούµενων αντικειµένων Ανάγκη για δοµές που διευκολύνουν τη διαχείριση τροχιών: είκτες: TB-tree, TPR-tree, STAR-tree, STR-tree, R EXP -tree Κινητικές δοµές δεδοµένων υϊκός µετασχηµατισµός

26 Τροχιά κινούµενων αντικειµένων t t 5 t 4 t 3 y t 2 t 1 t 0 Κίνηση σε τρισδιάστατο σύστηµα αξόνων (x,y,t) Το στίγµα κάθε σηµειακής θέσης συνοδεύεται από χρονικό ορόσηµο Οι ενδιάµεσες θέσεις µπορεί να προκύψουν από παρεµβολή Αβεβαιότητα των στοιχείων της τροχιάς Σφάλµα δειγµατοληψίας Σφάλµα µέτρησης x

27 Ερωτήµατα σε κινούµενα αντικείµενα χωροχρονικού παραθύρου Ερωτήµατα θέσης εγγύτερου γείτονα κλιµακούµενης απόστασης χρονικού τεµαχίου Ερωτήµατα σε κινούµενα αντικείµενα Ερωτήµατα τροχιάς Τοπολογικά ερωτήµατα Ερωτήµατα πλοήγησης εισέρχεται εξέρχεται διασχίζει παρακάµπτει ταχύτητα διανυθείσα απόσταση χρόνος διαδροµής προσανατολισµός περιοχή κάλυψης

28 Συστήµατα ρευµάτων δεδοµένων για κινούµενα αντικείµενα ιάγραµµα της υπόλοιπης παρουσίασης Ρεύµατα δεδοµένων Ερωτήµατα διαρκείας Κινούµενα αντικείµενα Η τροχιά αντικειµένων ως ρεύµα δεδοµένων Γλώσσα ερωταποκρίσεων για ρεύµατα τροχιάς

29 Η τροχιά αντικειµένων ως ρεύµα δεδοµένων Ρεύµατα τροχιάς αντικειµένων: Συχνές ενηµερώσεις της θέσης των αντικειµένων Ενδιαφέρον για την τρέχουσα εξέλιξη της κίνησης Τήρηση περιλήψεων τµηµάτων της τροχιάς στο απώτερο παρελθόν Ερωτήµατα διαρκείας σχετικά µε την τροχιά Απαντήσεις σε πραγµατικό χρόνο ιερεύνηση της αλληλεπίδρασης των αντικειµένων Η τροχιά ως ακολουθία παρατηρήσεων (διαδοχικών στιγµιοτύπων) Ενδιαφέρει η ιστορική εξέλιξη της κίνησης (ΟΧΙ η πρόβλεψη µελλοντικών θέσεων) Χωροχρονικές δοµές δεδοµένων και λειτουργίες Γλώσσα ερωταποκρίσεων

30 Ο χρόνος στο µοντέλο ρεύµατος τροχιάς Μονοτονία της χρονικής διάστασης: ο χρόνος κυλάει µόνο προς τα εµπρός... Βαθµηδόν παρωχηµένες οι πλειάδες που συγκροτούν το ρεύµα της τροχιάς ( αποθήκευση ή διαγραφή...) Η χρονική ένδειξη των πλειάδων αναφέρεται στο χρόνο εγκυρότητας (valid time) Ρητά χρονικά ορόσηµα στο σχήµα των πλειάδων ιακριτική ικανότητα (granularity) των χρονικών οροσήµων: στοιχειώδης µονάδα µέτρησης του χρόνου Χρόνοι λήξης των καταγραφόµενων θέσεων (ΟΧΙ αποβολή φόρτου) Χρονικοί τελεστές (duration, size, ) και χρονικά κατηγορήµατα (OVERLAP, PRECEDE, CONTAIN, INTERSECT, )

31 Ο χώρος στο µοντέλο ρεύµατος τροχιάς Εξετάζονται µόνο κινούµενα σηµειακά αντικείµενα Περιορισµός σε δύο διαστάσεις (x, y), µε πιθανότητα επέκτασης Χωρικές σχέσεις µεταξύ τροχιών Χωρικές σχέσεις τροχιών µε στατικά χωρικά αντικείµενα Βασικοί χωρικοί τύποι δεδοµένων:

32 Ο χώρος στο µοντέλο ρεύµατος τροχιάς (συνέχεια Πρωταρχικά χωρικά κατηγορήµατα: Τοπολογικές σχέσεις Σηµείο q Γραµµή L Περιοχή U Κινούµενο σηµείο p DISJOINT MEET p q DISJOINT MEET p L LEFT, RIGHT DISJOINT MEET p U INSIDE p U ο Σύνθετα κατηγορήµατα ( ENTER, LEAVE, CROSS, BYPASS) προκύπτουν από σύνθεση των πρωταρχικών Χωρικοί τελεστές: µήκος (length) απόσταση (distance) διεύθυνση (direction) προσανατολισµός (heading) Ανοχή σε σφάλµατα κατά την εφαρµογή των χωρικών λειτουργιών

33 Ερωτήµατα διαρκείας σε ρεύµατα τροχιάς Τύποι ερωτηµάτων κίνησης: Στιγµιαία (instantaneous queries) υπολογισµός µόνο για τη χρονική στιγµή υποβολής τους Εξακολουθητικά (persistent queries) µε την ίδια χρονική αφετηρία για κάθε αλλαγή των δεδοµένων Τυπικά ερωτήµατα διαρκείας (continuous queries) διαδοχική περιοδική εκτέλεση στιγµιαίων ερωτηµάτων Επεξεργασία ερωτηµάτων: Ασύµφορος ο διαρκής επαναϋπολογισµός της απάντησης Αρχικός υπολογισµός κι έπειτα σταδιακά αποτελέσµατα όταν συµβαίνουν µεταβολές στην τροχιά Μέθοδος «filter and refinement» για το χωρικό σκέλος Πιθανή επικάλυψη ερωτηµάτων (λ.χ. συνθηκών, πηγών δεδοµένων) Βελτιστοποίηση πολλαπλών ερωτηµάτων

34 υπική θεµελίωση του µοντέλου ρεύµατος τροχιά Ρεύµα δεδοµένων S : απεριόριστος αριθµός στοιχείων s, τ s τα χαρακτηριστικά της πλειάδας τ Τ το χρονικό ορόσηµο Ρεύµα τροχιάς αντικειµένων S : απεριόριστος αριθµός στοιχείων s, p, τ s τα χαρακτηριστικά της πλειάδας p 2 η θέση του κινούµενου αντικειµένου τ Τ το χρονικό ορόσηµο Σχέση R : απεικόνιση από το πεδίο ορισµού του χρόνου Τ προς ένα σύνολο πλειάδων R (τ ): f (Τ ) R Πεδίο ορισµού του χρόνου Τ : διακριτό, διατεταγµένο σύνολο µη αρνητικών τιµών τ Τ Χωροχρονικό ορόσηµο p, τ στο σχήµα των πλειάδων Κίνηση στο δισδιάστατο επίπεδο (x, y) Παράγωγα ρεύµατα έπειτα από εφαρµογή ερωτηµάτων σε ρεύµατα

35 Πρόσθετες χωροχρονικές λειτουργίες Λειτουργίες: διάνυσµα ταχύτητας (velocity): στιγµιαία ταχύτητα + προσανατολισµός ρυθµός µεταβολής: επιτάχυνση ή επιβράδυνση (acceleration) στροφή (turn) Κατασκευαστές τύπων: Point(x,y) Circle(x,y,R) Rectangle(x1,y1,x2,y2) Triangle(x1,y1,x2,y2,x3,y3) Σκίτσα τροχιάς: γενική άποψη της τροχιάς του αντικειµένου επιτάχυνση της εκτέλεσης ερωτηµάτων, αλλά... προσεγγιστικές απαντήσεις

36 Συστήµατα ρευµάτων δεδοµένων για κινούµενα αντικείµενα ιάγραµµα της υπόλοιπης παρουσίασης Ρεύµατα δεδοµένων Ερωτήµατα διαρκείας Κινούµενα αντικείµενα Η τροχιά αντικειµένων ως ρεύµα δεδοµένων Γλώσσα ερωταποκρίσεων για ρεύµατα τροχιάς

37 τόχοι γλώσσας ερωταποκρίσεων για ρεύµατα τροχιάς Αξιοποίηση της σηµασιολογίας του σχεσιακού µοντέλου (SQL) Επέκταση µε τελεστές για την κάλυψη των ερωτηµάτων διαρκείας Υποστήριξη χωροχρονικών λειτουργιών υνατότητα βελτιστοποίησης της εκτέλεσης ερωτηµάτων Εκφραστική σαφήνεια και απλότητα στη διατύπωση ερωτηµάτων - Πώς προέκυψε η γλώσσα ερωταποκρίσεων για ρεύµατα τροχιάς: - Σύνθεση στοιχείων από άλλες γλώσσες... Πρόγραµµα STREAM για ρεύµατα δεδοµένων Πρόγραµµα CHOROCHRONOS για κινούµενα αντικείµενα... αλλά µε προσθήκες και τροποποιήσεις

38 ηµασιολογία ερωτηµάτων διαρκείας για τροχιές οµικά στοιχεία ενός ερωτήµατος διαρκείας για τροχιές κινούµενων σηµειακών αντικειµένων: Σχεσιακή γλώσσα SQL, µε τελεστές ανάλογους εκείνων που ισχύουν για σχέσεις Γλώσσα ορισµού παραθύρων SQL-99, για επιλογή πεπερασµένου αριθµού πλειάδων από ρεύµατα δεδοµένων ή τροχιάς δειγµατοληψία (µε συγκεκριµένο ρυθµό άντλησης στοιχείων) Τελεστές απεικόνισης σχέσεων σε ρεύµατα Istream, Dstream, Rstream Τελεστής σύνοψης ρεύµατος τροχιάς STstream, για την παραγωγή γραµµικού σκίτσου τροχιάς χρήσιµος στη βελτιστοποίηση, ΟΧΙ στη διατύπωση ερωτηµάτων αποκατάσταση της συνέχειας της τροχιάς (λ.χ. παρεµβολή) Χωροχρονικά κατηγορήµατα και τελεστές INSIDE, DISJOINT, MEET,, distance, speed,

39 Γλωσσικές δοµές προσδιορισµού παραθύρων Χρονικά παράθυρα [RANGE T] [RANGE UNBOUNDED], όταν T=, S[NOW], όταν T=1, [SLIDE T], χωρίς επικάλυψη παραθύρων Παράθυρα πλειάδων [ROWS N] Μεριστικά παράθυρα [PARTITION BY A 1, A 2,, A k ROWS N] Παράθυρα χρονικού οροσήµου [AFTER t] [BEFORE t] Παράθυρα χρονικής ζώνης [AFTER t1 AND BEFORE t2], t1 t2 Παράθυρα περιοχής [AREA A]

40 Κυλιόµενα Παράθυρα t i t i + t t i +2 t χρόνος παλαιότερη πλειάδα Πλειάδες που µπορούν να διαγραφούν νεότερη πλειάδα Ρεύµα δεδοµένων Χρονικό παράθυρο µεγέθους t Χρονικό παράθυρο ή παράθυρο πλειάδων Το µέγεθος του παραθύρου παραµένει σταθερό Το πέρας του παραθύρου παρακολουθεί την εξέλιξη του χρόνου Μόνο οι πλειάδες εντός του παραθύρου συµµετέχουν στην επεξεργασία (λ.χ. ερωτήµατα συνάθροισης)

41 Χαρακτηριστικά ερωτήµατα διαρκείας Σενάριο: Στόλος οχηµάτων: Vehicles (vid: string, type: string, pos: point, t: timestamp) Ζώνες: Zones (name: string, sector: region) Σηµεία αναφοράς: Locations (name: string, pos: point) [Ερώτηµα θέσης] «Εντόπισε όλα τα οχήµατα που κινούνται στον εσωτερικό δακτύλιο της Αθήνας». ύο ισοδύναµες εκδοχές: SELECT Rstream(*) FROM Vehicles [NOW] WHERE (pos INSIDE (SELECT sector FROM Zones WHERE name='ring')) (i) SELECT Rstream(*) FROM Vehicles [NOW (ii) AREA <Athens_Ring>]

42 Χαρακτηριστικά ερωτήµατα διαρκείας (συνέχεια) [Ερώτηµα εγγύτερου γείτονα] «Για κάθε κινούµενο όχηµα εντόπισε το κοντινότερό του ανά πάσα χρονική στιγµή»: SELECT Rstream(V1.vID, V2.vID, distance(v1.pos, V2.pos)) FROM Vehicles [PARTITION BY vid ROWS 1] V1, Vehicles [NOW] V2 WHERE V1.vID <> V2.vID AND distance(v1.pos,v2.pos)<= ALL(SELECT distance(v1.pos,v3.pos) FROM Vehicles [NOW] V3 WHERE V3.vID<>V1.vID) [Ερώτηµα πλοήγησης] «Βρες τη µέγιστη στιγµιαία ταχύτητα κίνησης που έχει παρατηρηθεί σε κάθε όχηµα που κάποια στιγµή σήµερα κινήθηκε εντός του δακτυλίου»: WITH Instant_Speed AS (SELECT Istream(vID,(length(Last_value(pos),First_value(pos)) /(Last_value(t),First_value(t))) AS speed) FROM Vehicles [PARTITION BY vid ROWS 2 AREA <Athens_Ring>]) SELECT Rstream(S.vID, MAX(S.speed)) FROM Instant_Speed [AFTER (SYSDATE ' 00:00:00')] S

43 Χαρακτηριστικά ερωτήµατα διαρκείας (συνέχεια) [Ερώτηµα χωροχρονικού παραθύρου] «Ποια οχήµατα παραµένουν σταθµευµένα εντός δακτυλίου κατά τις τελευταίες δύο ώρες;» [Ερώτηµα κινούµενου χωροχρονικού παραθύρου] «Υπολόγισε το πλήθος των οχηµάτων που για τα τελευταία 10 λεπτά βρίσκονταν συνεχώς εντός του τριγώνου που σχηµατίζαν κάθε φορά τα κινούµενα οχήµατα (λ.χ. περιπολικά) µε αριθµούς ΧΧ222, ΥΥ444, ΖΖ888». [Ζεύγη κοντινών κινούµενων αντικειµένων] «Βρες τα ζεύγη οχηµάτων που κινούνται εντός δακτυλίου και απέχουν απόσταση µικρότερη των 500m κατά τα τελευταία 10 λεπτά» [Ερώτηµα εγγύτητας µε κατώφλι] «Για κάθε όχηµα προσδιόρισε το πλήθος των πλησιέστερων οχηµάτων (λ.χ. σε απόσταση µέχρι 300m), αλλά µόνο όταν ένα τουλάχιστον απ αυτά απέχει λιγότερο από 100m».

44 Χαρακτηριστικά ερωτήµατα διαρκείας (συνέχεια) [Πολυσύχναστα σηµεία διέλευσης πολλαπλών τροχιών] «Εντόπισε τα σηµεία αναφοράς όπου κατά τα 10 τελευταία λεπτά ο αριθµός των κινούµενων οχηµάτων εντός απόστασης 200m παραµένει σταθερά πάνω από 50». [Αντικείµενα που διασχίζουν τα όρια µιας περιοχής] «Εντόπισε τα οχήµατα που εισέρχονται στο δακτύλιο έχοντας κινηθεί επί ένα τουλάχιστον λεπτό στην περίµετρό του». [Ερώτηµα µορφής παγόβουνου για τη διανυθείσα απόσταση] «Εντόπισε εκείνα τα οχήµατα των οποίων η διανυθείσα απόσταση κατά την τελευταία ώρα είναι υπερδιπλάσια από τη µέση διανυθείσα απόσταση το ίδιο χρονικό διάστηµα για όλα τα οχήµατα». [ ιανυθείσα απόσταση ανά οµάδες χρονικών περιόδων] «Υπολόγισε την απόσταση που διανύει κάθε όχηµα κάθε 5 λεπτά» [Ερώτηµα κλιµακούµενης εγγύτητας] «Εντόπισε τα ζεύγη των οχηµάτων που κινούνται εντός δακτυλίου τα τελευταία 10 λεπτά και η µεταξύ τους απόσταση ολοένα µικραίνει».

45 Προσοµοίωση ερωτηµάτων σε ρεύµατα τροχιάς Προσοµοίωση σε περιβάλλον Oracle Spatial 8i DBMS Παραγωγή πειραµατικών δεδοµένων βάσει γεωγραφικού ψηφιακού υποβάθρου για το οδικό δίκτυο του Λεκανοπεδίου Αττικής ηµιουργία βέλτιστων διαδροµών για ζεύγη κόµβων οδικού δικτύου (shortest path) Εκτίµηση όγκου δεδοµένων: για 1000 αντικείµενα µε δειγµατοληψία 1 θέση/sec 42 ΜΒ για µία ώρα η µνήµη επαρκεί... ιαφορές στη διατύπωση των ερωτηµάτων και την επεξεργασία δεν υποστηρίζονται ερωτήµατα διαρκείας (φυσικά...) παραλλαγές στη σηµασιολογία των τελεστών (GROUP BY, ORDER BY) υπολογίζονται πρώτα οι συνδέσεις κι έπειτα εφαρµόζονται οι συνθήκες Απόπειρα περίληψης των στοιχείων τροχιάς υλοποιηµένες όψεις (αλλά δεν επιτρέπονται χωρικά στοιχεία...) triggers (πολύ αργή εκτέλεση...) Έλλειψη βελτιστοποίησης χωρικών συναρτήσεων στην Oracle 8i

46 Προοπτικές (ΜΑΪΟΣ 2003) Επεξεργασία ερωτηµάτων Κατανεµηµένη επεξεργασία ερωτηµάτων Βελτιστοποίηση Εφαρµογές µέτρησης επιδόσεων (benchmarks) οµές διαχείρισης Επέκταση στις τρεις χωρικές διαστάσεις Ενηµερώσεις σε παλιότερα στοιχεία της τροχιάς (?) Πολλαπλά ρεύµατα δεδοµένων Υστέρηση, ανάνηψη, απώλεια δεδοµένων... Γραφικό περιβάλλον ερωταποκρίσεων Εξόρυξη δεδοµένων (συστάδες, µοντέλο χωρικής αλληλεπίδρασης) Οµοιότητες µεταξύ ρευµάτων τροχιάς

47 Κατευθύνσεις για περαιτέρω µελέτη Αλγεβρική θεµελίωση µοντέλου για ρεύµατα τροχιάς αντικειµένων Βελτιστοποίηση πολλαπλών ερωτηµάτων Συνόψεις τροχιάς αντικειµένων ή περιλήψεις ρευµάτων τροχιάς Επέκταση πρωτότυπων συστηµάτων διαχείρισης ρευµάτων για κινούµενα αντικείµενα

48 Αλγεβρική θεµελίωση Ο χρόνος Τ : ισοµορφικός του Ο δισδιάστατος χώρος P : ισοµορφικός του 2. Ρεύµα δεδοµένων: απεικόνιση S: Τ 2 Χωρικό ρεύµα δεδοµένων: απεικόνιση S:Τ Χ P 2 Τότε πώς µπορεί να οριστεί το Ρεύµα τροχιάς αντικειµένων; It s the velocity, stupid! Τυπικοί τελεστές: σχεσιακοί, παραθυρικοί, συναθροιστικο χωρικοί, χωροχρονικοί, συνόψεις

49 Βελτιστοποίηση πολλαπλών ερωτηµάτων Αξιοποίηση οµοιοτήτων σε πολλά ερωτήµατα (αναφορές πηγών, χαρακτηριστικά ή συνθήκες επιλογής). Οµαδοποίηση παρόµοιων (υπο)ερωτηµάτων Απόπειρα ταύτισης κάθε νέου ερωτήµατος σε κάποια υπάρχουσα οµάδα (µε παραµετροποίηση) υναµικό περιβάλλον εκτέλεσης Προώθηση αποτελεσµάτων προς τους χρήστες Χωρικά στοιχεία: οµαδοποίηση κατά περιοχές; αναγνώριση συστάδων; (ίσως υπάρχει σκέδαση των στοιχείων!) απόδοση προτεραιοτήτων στην εκτέλεση των οµάδων; βάσει του πλήθους των στοιχείων ή µε κριτήριο τον αριθµό των σχετικών ερωτηµάτων (throughput);

50 οµές για προσεγγιστικές απαντήσεις Σύνοψη του τρέχοντος στιγµιοτύπου του ρεύµατος (προσεγγιστικές απαντήσεις για το ΠΑΡΟΝ) Τήρηση ενός σκίτσου της τροχιάς (προσεγγιστικές απαντήσεις για το ΠΑΡΕΛΘΟΝ) Ποιος ο χρονικός ορίζοντας των περιλήψεων; Ι ΕΑ: Κλιµακούµενη ανάλυση του σκίτσου τροχιάς (multiple resolution or aging granularity) Στο χώρο ή στο χρόνο; οµές σύνοψης; Μάλλον Wavelets?

51 Πειραµατική µελέτη πρωτότυπων συστηµάτων TelegraphCQ v.0.2 Επιτυχής εγκατάσταση;! PostgreSQL AURORA ΙΑΘΕΣΙΜΟ source snapshot JAVA STREAM ΑΝΑΜΕΝΕΤΑΙ ΠΡΟΣΕΧΩΣ Web-based interface

52 Συστήµατα ρευµάτων δεδοµένων για κινούµενα αντικείµενα Σας ευχαριστώ!