ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ - ΤΜΗΥΠ ΒΑΣΕΙΣ ΔΕΔΟΜΕΝΩΝ ΙI

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ - ΤΜΗΥΠ ΒΑΣΕΙΣ ΔΕΔΟΜΕΝΩΝ ΙI Β. Μεγαλοοικονόμου Μέθοδοι Προσπέλασης Χωρικών Δεδομένων ΙΙ Spatial Access Methods (SAMs) II (παρουσίαση βασισμένη εν μέρη σε σημειώσεις των Silberchatz, Korth και Sudarshan και του C. Faloutsos)

2 Γενική επισκόπηση Δεικτοδότηση πολυμέσων spatial access methods πρόβλημα dfn k-d trees point quadtrees MX-quadtrees z-ordering R-trees

3 Spatial Access Methods - πρόβλημα Δοθείσας μίας συλλογής γεωμετρικών σχημάτων (σημεία, γραμμές, πολύγωνα...) οργανώστε τα στο δίσκο, ώστε να απαντηθούν spatial ερωτήματα(όπως;)

4 Spatial Access Methods - πρόβλημα Δοθείσας μίας συλλογής γεωμετρικών σχημάτων (σημεία, γραμμές, πολύγωνα...) οργανώστε τα στο δίσκο, ώστε να απαντήσετε range queries k-nn queries spatial joins ( όλα τα ζεύγη ερωτ.)

5 SAMs Λεπτομερές διάγραμμα spatial access methods problem dfn k-d trees point quadtrees MX-quadtrees z-ordering R-trees

6 SAMs - Λεπτομερές διάγραμμα R-trees κύρια ιδέα, δομή αρχείων (αλγόριθμοι: εισαγωγή/split) (διαγραφή) (αναζήτηση: εύρος, nn, spatial joins) ανάλυση απόδοσης παραλλαγές (packed; hilbert;...)

7 R-trees z-ordering: σπάει τις περιοχές σε κομμάτια -> εξάλειψη διπλοτυπιών πώς μπορούμε να το αποφύγουμε; Ιδέα: Minimum Bounding Rectangles

8 R-trees [Guttman 84] Κεντρική ιδέα: επιτρέπει στους γονείς να επικαλύπτουν! => εγγυημένη 50% αξιοποίηση => ευκολότεροι αλγόριθμοι εισαγωγής/split. (χειρίζεται μόνο Minimum Bounding Rectangles - MBRs)

9 R-trees πχ., με fanout 4: ομαδοποίησε κοντινά ορθογώνια στους γονείς MBRs. Κάθε ομάδα -> σελίδα δίσκου B A C D E F G J H I

10 R-trees πχ., με fanout 4: P1 A B P2 C D E P3 G F P4 J H I A B C D E H I J F G

11 R-trees πχ., με fanout 4: P1 A B P2 C D E P3 G F P4 J H I A B C D E P1 P2 P3 P4 H I J F G

12 R-trees - οργάνωση κόμβων {(MBR; obj-ptr)} για φύλλα P1 P2 P3 P4 x-low; x-high y-low; y-high... obj ptr... A B C

13 R-trees - οργάνωση κόμβων {(MBR; node-ptr)} για μη-φύλλα x-low; x-high node y-low; y-high ptr P1 P2 P3 P4 A B C

14 R-trees - αναζήτηση εύρους; P1 A B P2 C D E P3 G F P4 J H I A B C D E P1 P2 P3 P4 H I J F G

15 R-trees - αναζήτηση εύρους; P1 A B P2 C D E P3 G F P4 J H I A B C D E P1 P2 P3 P4 H I J F G

16 R-trees - αναζήτηση εύρους Παρατηρήσεις: Κάθε κόμβος γονέας καλύπτει πλήρως τα παιδιά του ένα MBR παιδί μπορεί να καλύπτετε από περισσότερους από έναν πατέρα αποθηκεύεται κάτω από ΜΟΝΟ ΕΝΑΝ από αυτούς. (π.χ., δεν χρειάζεται εξάληψη διπλοτύπων) ένα σημειακό ερώτημα μπορεί να ακολουθεί πολλές διακλαδώσεις. όλα δουλεύουν για κάθε διάσταση

17 SAMs - Λεπτομερές διάγραμμα R-trees κύρια ιδέα, δομή αρχείων (αλγόριθμοι: εισαγωγή/split) (διαγραφή) (αναζήτηση: εύρος, nn, spatial joins) ανάλυση απόδοσης παραλλαγές (packed; hilbert;...)

18 R-trees - εισαγωγή πχ., ορθογώνιο X P1 A B P2 C D X E P3 G F P4 J H I A B C D E P1 P2 P3 P4 H I J F G

19 R-trees - εισαγωγή πχ., ορθογώνιο X P1 A B P2 C D X E P3 G F P4 J H I A B C D E P1 P2 P3 P4 H I J X F G

20 R-trees - εισαγωγή πχ., ορθογώνιο Υ P1 A B Y P2 C D E P3 G F P4 J H I A B C D E P1 P2 P3 P4 H I J F G

21 R-trees - εισαγωγή πχ., ορθογώνιο Υ : επέκτεινε τον κατάλληλο γονέα. P1 P3 I A C G B F H Y D E P4 J P2 P1 P2 P3 P4 A B C H I J D E Y F G

22 R-trees - εισαγωγή πχ., ορθογώνιο Υ : επέκτεινε τον κατάλληλο γονέα. Ε: πώς μετράμε την καταλληλότητα?

23 R-trees - εισαγωγή πχ., ορθογώνιο Y : επέκτεινε τον κατάλληλο γονέα. Ε: πώς μετράμε την καταλληλότητα? A: αυξάνοντας σε περιοχή (όγκο) (λεπτομερές: αργότερα, βλέπε ανάλυση απόδοσης ) Ε: τιγίνεταιανδενυπάρχειχώρος. Πώς να διαχωριστεί;

24 R-trees - εισαγωγή πχ., ορθογώνιο W P1 K A C B P2 D W E P3 G F P4 J H I A B C D E P1 P2 P3 P4 K H I J F G

25 R-trees - εισαγωγή P1 πχ., ορθογώνιο W επικεντρώστε στο P1 - Πώς να διαχωριστεί; K A C W B

26 R-trees - εισαγωγή P1 B πχ., ορθογώνιο W - επικεντρώστε στο P1 - Πώς να διαχωριστεί; A K C W (A1: plane sweep, Μέχρι το 50% του ορθογωνίου) A2: linear split A3: quadratic split A4: exponential split

27 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή R seed2 seed1

28 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή Ε: πώς μετράμε την εγγύτητα?

29 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή Ε: πώς μετράμε την εγγύτητα? A: αυξάνοντας τη περιοχή (ένταση)

30 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή R seed2 seed1

31 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή R seed2 seed1

32 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή έξυπνη ιδέα: προ-διατάξτε τα ορθογώνια σύμφωνα με delta της εγγύτητα(πχ., προγραμματίστε πρώτα τις ευκολότερες επιλογές!)

33 R-trees - εισαγωγή - ψευτοκώδικας επιλέξτε σε ποιον πατέρα θα εισάγετε το νέο ορθογώνιο ( πλησιέστερο πατέρα) αν υπερχειλίσει, διαχωρίστε σε δύο, χρησιμοποιώντας (έστω) τον quadratic split αλγόριθμο Διαδώστε το διαχωρισμό προς τα πάνω, αν χρειάζεται ενημερώστε τους MBRs των επηρεαζόμενων πατέρων.

34 R-trees - εισαγωγή - παρατηρήσεις υπάρχουν πολύ περισσότεροι αλγόριθμοι διαχωρισμού

35 SAMs - Λεπτομερές διάγραμμα R-trees κύρια ιδέα, δομή αρχείων (αλγόριθμοι: εισαγωγή/split) (διαγραφή) (αναζήτηση: εύρος, nn, spatial joins) ανάλυση απόδοσης παραλλαγές (packed; hilbert;...)

36 R-trees - διαγραφή διαγραφή ορθογωνίου αν υπερχειλίσει ;;

37 R-trees - διαγραφή διαγραφή ορθογωνίου αν υπερχειλίσει προσωρινά διαγράψτε όλα τους συγγενείς (!) διαγράψτε τον πατρικό κόμβο και επανα-εισάγετε τους

38 SAMs - Λεπτομερές διάγραμμα R-trees κύρια ιδέα, δομή αρχείων (αλγόριθμοι: εισαγωγή/split) (διαγραφή) (αναζήτηση: εύρος, nn, spatial joins) ανάλυση απόδοσης παραλλαγές (packed; hilbert;...)

39 R-trees - range αναζήτηση ψευτοκώδικας: ελέγξτε τη ρίζα για κάθε κλαδί, αν το MBR τέμνει το ορθογώνιο του ερωτήματος εφάρμοσε αναζήτηση-εύρους (ή τύπωσε το, αν είναι φύλλο)

40 R-trees - nn αναζήτηση q P1 A B P2 C D E P3 G F P4 J H I

41 R-trees - nn αναζήτηση Ε: Πώς; (βρες τον πλησιέστερο γείτονα, εκλέπτυνε...) q P1 B A P2 C D E P3 F G P4 J H I

42 R-trees - nn αναζήτηση A1: depth-first αναζήτηση, στη συνέχεια, αναζήτηση εύρους q P1 B A P2 C D E P3 F G P4 J H I

43 R-trees - nn αναζήτηση A1: depth-first αναζήτηση, στη συνέχεια, αναζήτηση εύρους q P1 B A P2 C D E P3 F G P4 J H I

44 R-trees - nn αναζήτηση A1: depth-first αναζήτηση, στη συνέχεια, αναζήτηση εύρους q P1 B A P2 C D E P3 F G P4 J H I

45 R-trees - nn αναζήτηση A2: [Roussopoulos+, sigmod95]: ουρές προτεραιότητας, με υποσχόμενα MBRs και την βέλτιστη και χείριστη απόσταση κεντρική ιδέα:

46 R-trees - nn αναζήτηση θεωρήστε μόνο τα P2 και P4, χάριν παραδείγματος q P1 A B P2 C D E P3 G F P4 J H I

47 R-trees - nn αναζήτηση χείριστο του P2 βέλτιστο του P4 => P4 είναι άχρηστο H για 1-nn q P2 D E P4 J

48 R-trees - nn αναζήτηση ποιο είναι πραγματικά το χείριστο για το P2, πχ; χείριστο του P2 q P2 D E

49 R-trees - nn αναζήτηση ποιο είναι πραγματικά το χείριστο για το P2, πχ; A: το μικρότερο από τα δύο τμήματα! q P2

50 R-trees - nn αναζήτηση παραλλαγές: [Hjaltason & Samet] αυξητικό nn: φτιάξτε μια ουρά προτεραιότητας (priority queue) ερεύνησε αρκετά από το δένδρο, γιαναβεβαιωθείς ότι έχεις το k nn γιαναβρειςτο(k+1)-στό, έλεγξε την ουρά και ερεύνησε λίγο παραπάνω το δένδρο βέλτιστο (αλλά, μπορεί να χρειαστεί πολύ μνήμη)

51 SAMs - Λεπτομερές διάγραμμα R-trees κύρια ιδέα, δομή αρχείων (αλγόριθμοι: εισαγωγή/split) (διαγραφή) (αναζήτηση: εύρος, nn, spatial joins) ανάλυση απόδοσης παραλλαγές (packed; hilbert;...)

52 R-trees - spatial joins Spatial joins: βρες (γρήγορα) όλους τους νομούς που τέμνουν λίμνες

53 R-trees - spatial joins Υποθέστε ότι και τα δύο είναι οργανομένα σε R-trees:

54 R-trees - spatial joins για κάθε πατέρα P1 του δένδρου T1 για κάθε πατέρα P2 του δένδρου T2 αν το MBRs τους τέμνει, επεξεργαστείτε τα αναδρομικά (πχ., ελέγξτε τα παιδιά τους)

55 R-trees - spatial joins Βελτιώσεις - παραλλαγές: - [Seeger+, sigmod 92]: κάνε κάποια προεπεξεργασία, κάνε plane-sweeping για να αποφύγετε N1 * N2 ελέγχους για τομές - [Lo & Ravishankar, sigmod 94]: seeded R-trees (πολλές δημοσιεύσεις πάνω σε spatial joins, χωρίς R-trees: [Koudas+ Sevcik], κτλ.)

56 SAMs - Λεπτομερές διάγραμμα R-trees κύρια ιδέα, δομή αρχείων (αλγόριθμοι: εισαγωγή/split) (διαγραφή) (αναζήτηση: εύρος, nn, spatial joins) ανάλυση απόδοσης παραλλαγές (packed; hilbert;...)

57 R-trees - παραλλαγές Guttman s R-trees ενέπνευσαν περισσότερη δουλειά μπορούμε να κάνουμε καλύτερους διαχωρισμούς; τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); τί συμβαίνει με άλλα συνοριακά σχήματα;

58 R-trees - παραλλαγές Guttman s R-trees ενέπνευσαν περισσότερη δουλειά μπορούμε να κάνουμε καλύτερους διαχωρισμούς; π.χ, defer splits;

59 R-trees - παραλλαγές A: R*-trees [Kriegel+, SIGMOD90] defer splits, επιβάλλοντας επαναεισαγωγές, π.χ.: αντί για διαχωρισμό, προσωρινά διάγραψε μερικές οντότητες, συρρικνώνοντας το περίσσιο MBR, και επανα-εισήγαγε αυτές τις οντότητες Ποιες να επανα-εισάγετε; Πόσες?

60 R-trees - παραλλαγές A: R*-trees [Kriegel+, SIGMOD90] defer splits, επιβάλλοντας επαναεισαγωγές, π.χ.: αντί για διαχωρισμό, προσωρινά διάγραψε μερικές οντότητες, συρρικνώνοντας το περίσσιο MBR, και επανα-εισήγαγε αυτές τις οντότητες Ποιες να επανα-εισάγετε; Πόσες? A: 30%

61 R-trees - παραλλαγές Ε: Άλλοι τρόποι για defer splits;

62 R-trees - παραλλαγές Ε: Άλλοι τρόποι για defer splits; A: Σπρώξτε μερικά κλειδιά προς το πλησιέστεροαδελφόκόμβο (πλησιέστερο = ;;)

63 R-trees - παραλλαγές R*-trees: Επίσης προσπαθήστε να ελαχιστοποιήσετε τη περιοχή ΚΑΙ το περίμετρο, στο διαχωρισμό. Απόδοση: υψηλότερη αξιοποίηση του χώρου, γρηγορότερα από τα απλά R- trees. Μία από τις πιο επιτυχημένες παραλλαγές του R-tree.

64 R-trees - παραλλαγές Guttman s R-trees ενέπνευσαν περισσότερη δουλειά μπορούμε να κάνουμε καλύτερους διαχωρισμούς; τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Hilbert R-trees τί συμβαίνει με άλλα συνοριακά σχήματα;

65 R-trees - παραλλαγές τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Ε: Βέλτιστος τρόπος για στοίβασμα σημείων;

66 R-trees - παραλλαγές τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Ε: Βέλτιστος τρόπος για στοίβασμα σημείων; A1: plane-sweep βέλτιστο για ερωτήματα στο x ; χείριστο για y

67 R-trees - παραλλαγές τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Ε: Βέλτιστος τρόπος για στοίβασμα σημείων; A1: plane-sweep βέλτιστο για ερωτήματα στο x ; χείριστο για y

68 R-trees - παραλλαγές τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Ε: Βέλτιστος τρόπος για στοίβασμα σημείων; A1: plane-sweep βέλτιστο για ερωτήματα στο x ; χείριστο για y Ε: Πώς βελτιώνεται;

69 R-trees - παραλλαγές A: plane-sweep on HILBERT curve!

70 R-trees - παραλλαγές A: plane-sweep on HILBERT curve! Στη πράξη, μπορεί να γίνει δυναμικά (πώς;), επίσης και να χειριστεί εύρη (πώς;) A: [Kamel+, VLDB94]

71 R-trees - παραλλαγές Guttman s R-trees ενέπνευσαν περισσότερη δουλειά μπορούμε να κάνουμε καλύτερους διαχωρισμούς; τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Hilbert R-trees τί συμβαίνει με άλλα συνοριακά σχήματα;

72 R-trees - παραλλαγές τί συμβαίνει με άλλα συνοριακά σχήματα; (και γιατί;) A1: arbitrary-orientation lines (cell-tree, [Guenther] A2: P-trees (πολύγωνα δένδρα) (MB πολύγωνο: 0, 90, 45, 135 μοιρών γραμμές)

73 R-trees - παραλλαγές A3: L-shapes; τρύπες (hb-tree) A4: TV-trees [Lin+, VLDB-Journal 1994] A5: SR-trees [Katayama+, SIGMOD97] (χρησιμοποιείτε στη Informedia)

74 R-trees - συμπεράσματα Δημοφιλής μέθοδος, like multi-d B-trees εγγυημένη αξιοποίηση καλοί χρόνοι αναζήτησης (για μικρές διαστάσεις τουλάχιστον) R*-, Hilbert- and SR-trees: still used Informix ships DataBlade with R-trees

75 Αναφορές Guttman, A. (June 1984). R-Trees: A Dynamic Index Structure for Spatial Searching. Proc. ACM SIGMOD, Boston, Mass. Jagadish, H. V. (May 23-25, 1990). Linear Clustering of Objects with Multiple Attributes. ACM SIGMOD Conf., Atlantic City, NJ. Lin, K.-I., H. V. Jagadish, et al. (Oct. 1994). The TVtree - An Index Structure for High-dimensional Data. VLDB Journal 3:

76 Αναφορές, συνέχεια Pagel, B., H. Six, et al. (May 1993). Towards an Analysis of Range Query Performance. Proc. of ACM SIGACT-SIGMOD-SIGART Symposium on Principles of Database Systems (PODS), Washington, D.C. Robinson, J. T. (1981). The k-d-b-tree: A Search Structure for Large Multidimensional Dynamic Indexes. Proc. ACM SIGMOD. Roussopoulos, N., S. Kelley, et al. (May 1995). Nearest Neighbor Queries. Proc. of ACM-SIGMOD, San Jose, CA.