Βάσεις Δεδομένων ΙΙ Ενότητα 12

Transcript

1 Ανοικτά Ακαδημαϊκά Μαθήματα στο ΤΕΙ Ιονίων Νήσων Βάσεις Δεδομένων ΙΙ Ενότητα 12: Μέθοδοι Προσπέλασης Χωρικών Δεδομένων ΙΙ Το περιεχόμενο του μαθήματος διατίθεται με άδεια Creative Commons εκτός και αν αναφέρεται διαφορετικά Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.

2 ΒΑΣΕΙΣ ΔΕΔΟΜΕΝΩΝ ΙI Μέθοδοι Προσπέλασης Χωρικών Δεδομένων ΙΙ Spatial Access Methods (SAMs) II

3 Γενική επισκόπηση Δεικτοδότηση πολυμέσων spatial access methods πρόβλημα dfn k-d trees point quadtrees MX-quadtrees z-ordering R-trees

4 Spatial Access Methods - πρόβλημα Δοθείσας μίας συλλογής γεωμετρικών σχημάτων (σημεία, γραμμές, πολύγωνα...) οργανώστε τα στο δίσκο, ώστε να απαντηθούν spatial ερωτήματα(όπως;)

5 Spatial Access Methods - πρόβλημα Δοθείσας μίας συλλογής γεωμετρικών σχημάτων (σημεία, γραμμές, πολύγωνα...) οργανώστε τα στο δίσκο, ώστε να απαντήσετε range queries k-nn queries spatial joins ( όλα τα ζεύγη ερωτ.)

6 SAMs - Λεπτομερές διάγραμμα spatial access methods problem dfn k-d trees point quadtrees MX-quadtrees z-ordering R-trees

7 SAMs - Λεπτομερές διάγραμμα R-trees κύρια ιδέα, δομή αρχείων (αλγόριθμοι: εισαγωγή/split) (διαγραφή) (αναζήτηση: εύρος, nn, spatial joins) ανάλυση απόδοσης παραλλαγές (packed; hilbert;...)

8 R-trees z-ordering: σπάει τις περιοχές σε κομμάτια -> εξάλειψη διπλοτυπιών πώς μπορούμε να το αποφύγουμε; Ιδέα: Minimum Bounding Rectangles

9 R-trees [Guttman 84] Κεντρική ιδέα: επιτρέπει στους γονείς να επικαλύπτουν! => εγγυημένη 50% αξιοποίηση => ευκολότεροι αλγόριθμοι εισαγωγής/split. (χειρίζεται μόνο Minimum Bounding Rectangles - MBRs)

10 R-trees πχ., με fanout 4: ομαδοποίησε κοντινά ορθογώνια στους γονείς MBRs. Κάθε ομάδα -> σελίδα δίσκου I A C G F H B E J D

11 R-trees πχ., με fanout 4: P1 P3 I A C B P2D E F G P4 J H A B D C H I J E F G

12 R-trees πχ., με fanout 4: P1 A C B P2D E P3 G F P4 J I H A B D P1P2P3P4 C H I J E F G

13 R-trees - οργάνωση κόμβων {(MBR; obj-ptr)} για φύλλα P1P2P3P4 x-low; x-high y-low; y-high obj ptr A B C

14 R-trees - οργάνωση κόμβων {(MBR; node-ptr)} για μη-φύλλα x-low; x-high y-low; y-high node ptr P1P2P3P4 A B C

15 R-trees - αναζήτηση εύρους; P1 A C B P2D E P3 G F P4 J I H A B D P1P2P3P4 C H I J E F G

16 R-trees - αναζήτηση εύρους; P1 A C B P2D E P3 G F P4 J I H A B D P1P2P3P4 C H I J E F G

17 R-trees - αναζήτηση εύρους Παρατηρήσεις: Κάθε κόμβος γονέας καλύπτει πλήρως τα παιδιά του ένα MBR παιδί μπορεί να καλύπτετε από περισσότερους από έναν πατέρα - αποθηκεύεται κάτω από ΜΟΝΟ ΕΝΑΝ από αυτούς. (π.χ., δεν χρειάζεται εξάληψη διπλοτύπων) ένα σημειακό ερώτημα μπορεί να ακολουθεί πολλές διακλαδώσεις. όλα δουλεύουν για κάθε διάσταση

19 R-trees - εισαγωγή πχ., ορθογώνιο X P1 A C B P2D X E P3 G F P4 J I H A B D P1P2P3P4 C H I J E F G

20 R-trees - εισαγωγή πχ., ορθογώνιο X P1 A C B P2D X E P3 G F P4 J I H A B D P1P2P3P4 C H I J E X F G

21 R-trees - εισαγωγή πχ., ορθογώνιο Υ P1 A C B Y P2D E P3 G F P4 J I H A B D P1P2P3P4 C H I J E F G

22 R-trees - εισαγωγή P1 B πχ., ορθογώνιο Υ : επέκτεινε τον κατάλληλο γονέα. P3 I A C Y P2D E F G P4 J H A B D P1P2P3P4 C H I J E Y F G

23 R-trees - εισαγωγή πχ., ορθογώνιο Υ : επέκτεινε τον κατάλληλο γονέα. Ε: πώς μετράμε την καταλληλότητα?

24 R-trees - εισαγωγή πχ., ορθογώνιο Y : επέκτεινε τον κατάλληλο γονέα. Ε: πώς μετράμε την καταλληλότητα? A: αυξάνοντας σε περιοχή (όγκο) (λεπτομερές: αργότερα, βλέπε ανάλυση απόδοσης ) Ε: τι γίνεται αν δεν υπάρχει χώρος. Πώς να διαχωριστεί;

25 R-trees - εισαγωγή πχ., ορθογώνιο W P1 K A C B P2D W E P3 G F P4 J I H A B D P1P2P3P4 C K H I J E F G

26 R-trees - εισαγωγή P1 B πχ., ορθογώνιο W - επικεντρώστε στο P1 - Πώς να διαχωριστεί; K A C W

27 R-trees - εισαγωγή P1 πχ., ορθογώνιο W - επικεντρώστε στο P1 - Πώς να διαχωριστεί; K (A1: plane sweep, A C Μέχρι το 50% του W ορθογωνίου) B A2: linear split A3: quadratic split A4: exponential split

28 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή R seed2 seed1

29 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή Ε: πώς μετράμε την εγγύτητα?

30 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή Ε: πώς μετράμε την εγγύτητα? A: αυξάνοντας τη περιοχή (ένταση)

33 R-trees - εισαγωγή & split επιλέξτε δύο ορθογώνια ως πηγές αναθέστε κάθε ορθογώνιο R στη πλησιέστερη πηγή έξυπνη ιδέα: προ-διατάξτε τα ορθογώνια σύμφωνα με delta της εγγύτητα(πχ., προγραμματίστε πρώτα τις ευκολότερες επιλογές!)

34 R-trees - εισαγωγή - ψευτοκώδικας επιλέξτε σε ποιον πατέρα θα εισάγετε το νέο ορθογώνιο ( πλησιέστερο πατέρα) αν υπερχειλίσει, διαχωρίστε σε δύο, χρησιμοποιώντας (έστω) τον quadratic split αλγόριθμο Διαδώστε το διαχωρισμό προς τα πάνω, αν χρειάζεται ενημερώστε τους MBRs των επηρεαζόμενων πατέρων.

35 R-trees - εισαγωγή - παρατηρήσεις υπάρχουν πολύ περισσότεροι αλγόριθμοι διαχωρισμού

37 R-trees - διαγραφή διαγραφή ορθογωνίου αν υπερχειλίσει ;;

38 R-trees - διαγραφή διαγραφή ορθογωνίου αν υπερχειλίσει προσωρινά διαγράψτε όλα τους συγγενείς (!) διαγράψτε τον πατρικό κόμβο και επανα-εισάγετε τους

40 R-trees - range αναζήτηση ψευτοκώδικας: ελέγξτε τη ρίζα για κάθε κλαδί, αν το MBR τέμνει το ορθογώνιο του ερωτήματος εφάρμοσε αναζήτηση-εύρους (ή τύπωσε το, αν είναι φύλλο)

41 R-trees - nn αναζήτηση P1 P3 I q A C B P2 D E F G P4 J H

42 R-trees - nn αναζήτηση Ε: Πώς; (βρες τον πλησιέστερο γείτονα, εκλέπτυνε...) P1 P3 I q B A C P2 D E F G P4 J H

43 R-trees - nn αναζήτηση A1: depth-first αναζήτηση, στη συνέχεια, αναζήτηση εύρους P1 P3 I q B A C P2 D E F G P4 J H

46 R-trees - nn αναζήτηση A2: [Roussopoulos+, sigmod95]: ουρές προτεραιότητας, με υποσχόμενα MBRs και την βέλτιστη και χείριστη απόσταση κεντρική ιδέα:

47 R-trees - nn αναζήτηση θεωρήστε μόνο τα P2 και P4, χάριν παραδείγματος P1 P3 I q A C B P2 D E F G P4 J H

48 R-trees - nn αναζήτηση χείριστο του P2 βέλτιστο του P4 => P4 είναι άχρηστο H για 1-nn q P2 D E P4 J

49 R-trees - nn αναζήτηση ποιο είναι πραγματικά το χείριστο για το P2, πχ; χείριστο του P2 q P2 D E

50 R-trees - nn αναζήτηση ποιο είναι πραγματικά το χείριστο για το P2, πχ; A: το μικρότερο από τα δύο τμήματα! q P2

51 R-trees - nn αναζήτηση παραλλαγές: [Hjaltason & Samet] αυξητικό nn: φτιάξτε μια ουρά προτεραιότητας (priority queue) ερεύνησε αρκετά από το δένδρο, για να βεβαιωθείς ότι έχεις το k nn για να βρεις το (k+1)-στό, έλεγξε την ουρά και ερεύνησε λίγο παραπάνω το δένδρο βέλτιστο (αλλά, μπορεί να χρειαστεί πολύ μνήμη)

53 R-trees - spatial joins Spatial joins: βρες (γρήγορα) όλους τους νομούς που τέμνουν λίμνες

54 R-trees - spatial joins Υποθέστε ότι και τα δύο είναι οργανομένα σε R-trees:

55 R-trees - spatial joins για κάθε πατέρα P1 του δένδρου T1 για κάθε πατέρα P2 του δένδρου T2 αν το MBRs τους τέμνει, επεξεργαστείτε τα αναδρομικά (πχ., ελέγξτε τα παιδιά τους)

56 R-trees - spatial joins Βελτιώσεις - παραλλαγές: - [Seeger+, sigmod 92]: κάνε κάποια προεπεξεργασία, κάνε plane-sweeping για να αποφύγετε N1 * N2 ελέγχους για τομές - [Lo & Ravishankar, sigmod 94]: seeded R-trees (πολλές δημοσιεύσεις πάνω σε spatial joins, χωρίς R-trees: [Koudas+ Sevcik], κτλ.)

58 R-trees - παραλλαγές Guttman s R-trees ενέπνευσαν περισσότερη δουλειά μπορούμε να κάνουμε καλύτερους διαχωρισμούς; τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); τί συμβαίνει με άλλα συνοριακά σχήματα;

59 R-trees - παραλλαγές Guttman s R-trees ενέπνευσαν περισσότερη δουλειά μπορούμε να κάνουμε καλύτερους διαχωρισμούς; π.χ, defer splits;

60 R-trees - παραλλαγές A: R*-trees [Kriegel+, SIGMOD90] defer splits, επιβάλλοντας επαναεισαγωγές, π.χ.: αντί για διαχωρισμό, προσωρινά διάγραψε μερικές οντότητες, συρρικνώνοντας το περίσσιο MBR, και επανα-εισήγαγε αυτές τις οντότητες Ποιες να επανα-εισάγετε; Πόσες?

61 R-trees - παραλλαγές A: R*-trees [Kriegel+, SIGMOD90] defer splits, επιβάλλοντας επαναεισαγωγές, π.χ.: αντί για διαχωρισμό, προσωρινά διάγραψε μερικές οντότητες, συρρικνώνοντας το περίσσιο MBR, και επανα-εισήγαγε αυτές τις οντότητες Ποιες να επανα-εισάγετε; Πόσες? A: 30%

62 R-trees - παραλλαγές Ε: Άλλοι τρόποι για defer splits;

63 R-trees - παραλλαγές Ε: Άλλοι τρόποι για defer splits; A: Σπρώξτε μερικά κλειδιά προς το πλησιέστερο αδελφό κόμβο (πλησιέστερο = ;;)

64 R-trees - παραλλαγές R*-trees: Επίσης προσπαθήστε να ελαχιστοποιήσετε τη περιοχή ΚΑΙ το περίμετρο, στο διαχωρισμό. Απόδοση: υψηλότερη αξιοποίηση του χώρου, γρηγορότερα από τα απλά R- trees. Μία από τις πιο επιτυχημένες παραλλαγές του R-tree.

65 R-trees - παραλλαγές Guttman s R-trees ενέπνευσαν περισσότερη δουλειά μπορούμε να κάνουμε καλύτερους διαχωρισμούς; τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Hilbert R-trees τί συμβαίνει με άλλα συνοριακά σχήματα;

66 R-trees - παραλλαγές τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Ε: Βέλτιστος τρόπος για στοίβασμα σημείων;

67 R-trees - παραλλαγές τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Ε: Βέλτιστος τρόπος για στοίβασμα σημείων; A1: plane-sweep βέλτιστο για ερωτήματα στο x ; χείριστο για y

68 R-trees - παραλλαγές τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Ε: Βέλτιστος τρόπος για στοίβασμα σημείων; A1: plane-sweep βέλτιστο για ερωτήματα στο x ; χείριστο για y

69 R-trees - παραλλαγές τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Ε: Βέλτιστος τρόπος για στοίβασμα σημείων; A1: plane-sweep βέλτιστο για ερωτήματα στο x ; χείριστο για y Ε: Πώς βελτιώνεται;

70 R-trees - παραλλαγές A: plane-sweep on HILBERT curve!

71 R-trees - παραλλαγές A: plane-sweep on HILBERT curve! Στη πράξη, μπορεί να γίνει δυναμικά (πώς;), επίσης και να χειριστεί εύρη (πώς;) A: [Kamel+, VLDB94]

72 R-trees - παραλλαγές Guttman s R-trees ενέπνευσαν περισσότερη δουλειά μπορούμε να κάνουμε καλύτερους διαχωρισμούς; τί συμβαίνει με στατικά δεδομένα (χωρίς εισ/διαγ/ενημ); Hilbert R-trees τί συμβαίνει με άλλα συνοριακά σχήματα;

73 R-trees - παραλλαγές τί συμβαίνει με άλλα συνοριακά σχήματα; (και γιατί;) A1: arbitrary-orientation lines (cell-tree, [Guenther] A2: P-trees (πολύγωνα δένδρα) (MB πολύγωνο: 0, 90, 45, 135 μοιρών γραμμές)

74 R-trees - παραλλαγές A3: L-shapes; τρύπες (hb-tree) A4: TV-trees [Lin+, VLDB-Journal 1994] A5: SR-trees [Katayama+, SIGMOD97] (χρησιμοποιείτε στη Informedia)

75 R-trees - συμπεράσματα Δημοφιλής μέθοδος, like multi-d B-trees εγγυημένη αξιοποίηση καλοί χρόνοι αναζήτησης (για μικρές διαστάσεις τουλάχιστον) R*-, Hilbert- and SR-trees: still used Informix ships DataBlade with R-trees

76 Αναφορές Guttman, A. (June 1984). R-Trees: A Dynamic Index Structure for Spatial Searching. Proc. ACM SIGMOD, Boston, Mass. Jagadish, H. V. (May 23-25, 1990). Linear Clustering of Objects with Multiple Attributes. ACM SIGMOD Conf., Atlantic City, NJ. Lin, K.-I., H. V. Jagadish, et al. (Oct. 1994). The TVtree - An Index Structure for High-dimensional Data. VLDB Journal 3:

77 Αναφορές, συνέχεια Pagel, B., H. Six, et al. (May 1993). Towards an Analysis of Range Query Performance. Proc. of ACM SIGACT-SIGMOD-SIGART Symposium on Principles of Database Systems (PODS), Washington, D.C. Robinson, J. T. (1981). The k-d-b-tree: A Search Structure for Large Multidimensional Dynamic Indexes. Proc. ACM SIGMOD. Roussopoulos, N., S. Kelley, et al. (May 1995). Nearest Neighbor Queries. Proc. of ACM-SIGMOD, San Jose, CA.

78 Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό. Οι όροι χρήσης των έργων τρίτων επεξηγούνται στη διαφάνεια «Επεξήγηση όρων χρήσης έργων τρίτων». Τα έργα για τα οποία έχει ζητηθεί άδεια αναφέρονται στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί.

79 Επεξήγηση όρων χρήσης έργων τρίτων διαθέσιμο με άδεια CC-BY διαθέσιμο με άδεια CC-BY-SA διαθέσιμο με άδεια CC-BY-ND διαθέσιμο με άδεια CC-BY-NC διαθέσιμο με άδεια CC-BY-NC-SA διαθέσιμο με άδεια CC-BY-NC-ND διαθέσιμο με άδεια CC0 Public Domain διαθέσιμο ως κοινό κτήμα χωρίς σήμανση Δεν επιτρέπεται η επαναχρησιμοποίηση του έργου, παρά μόνο εάν ζητηθεί εκ νέου άδεια από το δημιουργό. Επιτρέπεται η επαναχρησιμοποίηση του έργου και η δημιουργία παραγώγων αυτού με απλή αναφορά του δημιουργού. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού, και διάθεση του έργου ή του παράγωγου αυτού με την ίδια άδεια. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η δημιουργία παραγώγων του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η εμπορική χρήση του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού και διάθεση του έργου ή του παράγωγου αυτού με την ίδια άδεια. Δεν επιτρέπεται η εμπορική χρήση του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η εμπορική χρήση του έργου και η δημιουργία παραγώγων του. Επιτρέπεται η επαναχρησιμοποίηση του έργου, η δημιουργία παραγώγων αυτού και η εμπορική του χρήση, χωρίς αναφορά του δημιουργού. Επιτρέπεται η επαναχρησιμοποίηση του έργου, η δημιουργία παραγώγων αυτού και η εμπορική του χρήση, χωρίς αναφορά του δημιουργού. Συνήθως δεν επιτρέπεται η επαναχρησιμοποίηση του έργου.

80 Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους.

81 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο ΤΕΙ Ιονίων Νήσων» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.