Βάσεις Δεδομένων ΙΙ Ενότητα 7

Ανοικτά Ακαδημαϊκά Μαθήματα στο ΤΕΙ Ιονίων Νήσων Βάσεις Δεδομένων ΙΙ Ενότητα 7: Δομές Ευρετηρίων Κατακερματισμός Το περιεχόμενο του μαθήματος διατίθεται με άδεια Creative Commons εκτός και αν αναφέρεται διαφορετικά Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.

ΒΑΣΕΙΣ ΔΕΔΟΜΕΝΩΝ ΙI Δομές Ευρετηρίων και Κατακερματισμός Αρχείων II

(Στατικός) Κατακερματισμός Πρόβλημα: Βρες την εγγραφή του ΥΠΑΛΛΗΛΟΥ με ΑΦΜ=123 Ερώτηση: Τι θα γινόταν εάν το κόστος αποθήκευσης στον δίσκο δεν ήταν σημαντικό και ο χρόνος πολύ σημαντικός;

Κατακερματισμός Απάντηση: Εκπληκτική ιδέα: αντιστοίχηση κλειδιού σε διεύθυνση : #0 σελίδα 123; Σταύρου; Αιόλου #123 σελίδα #999,999,999

Κατακερματισμός Καθώς ο χώρος κοστίζει : Χρησιμοποίηση M, αντί για 999,999,999 σχισμές Συνάρτηση Κατακερματισμού: h(key) = slot-id #0 page 123; Σταύρου; Αιόλου #123 page #999,999,999

Κατακερματισμός Τυπικά : Κάθε κάδος κατακερματισμού διατηρεί πολλές εγγραφές : #0 page 123; Σταύρου; Αιόλου #h(123) M

Κατακερματισμός Παρατήρηση: μπορεί να υπάρξουν ομαδοποιημένες (clustering), ή απλές (nonclustering) εκδόσεις: #0 page 123; Σταύρου; Αιόλου #h(123) M

Κατακερματισμός Παρατήρηση: μπορεί να υπάρξουν ομαδοποιημένες (clustering), ή απλές (non-clustering) εκδόσεις: Αρχείο ΥΠΑΛΛΗΛΟΙ #0 page #h(123) 123 234; Αντωνίου; Θράκης 123; Σταύρου; Αιόλου M 345; Πέτρου; Δημοκρατίας

Ευρετηριοποίηση- Περίληψη ISAM και B-trees Κατακερματισμού Συναρτήσεις κατακερματισμού Μέγεθος του πίνακα κατακερματισμού Επίλυση συγκρούσεων Κατακερματισμός vs B-trees Ευρετήρια σε SQL Προχωρημένα θέματα:

Επιλογές σχεδιασμού 1) Φόρμουλα h() ως συνάρτηση κατακερματισμού (hashing function) 2) Μέγεθος πίνακα κατακερματισμού M 3) Μέθοδος Επίλυσης συγκρούσεων (collision resolution method)

Επιλογές σχεδιασμού - Συναρτήσεις Στόχος: Ο ομοιόμορφος διαμοιρασμός των κλειδιών στους κάδους κατακερματισμού Δημοφιλής Επιλογές: Κατακερματισμός με διαίρεση (Division hashing) Κατακερματισμός με πολλαπλασιασμό (Multiplication hashing)

Κατακερματισμός με διαίρεση h(x) = (a*x+b) mod M Π.χ., h(ssn) = (ssn) mod 1,000 Δίνει τα τρία τελευταία ψηφία του ssn M: μέγεθος size του πίνακα κατακερματισμού - Επιλέγουμε επιφυλακτικά, έναν πρώτο αριθμό (Γιατί;)

Κατακερματισμός με διαίρεση Π.χ., M=2; Κατακερματισμό στο πεδίο: αριθμός-διπλώματος οδηγού (driver-license number) dln, του οποίου το τελευταίο ψηφίο είναι το φύλο (0/1 = M/F) Σε μια στρατιωτική μονάδα όπου η πλειοψηφία είναι άνδρες στρατιώτες Έτσι: για να αποφύγουμε περιπτώσεις όπου το Μ και τα κλειδιά έχουν κοινούς διαιρέτες επιλέγουμε Μ πρώτο αριθμό!

Κατακερματισμός με πολλαπλασιασμό h(x) = [ fractional-part-of ( x * φ ) ] * M φ: χρυσή αναλογία (golden ratio) ( 0.618... = ( sqrt(5)-1)/2 ) Γενικά, επιθυμούμε άρρητους αριθμούς Πλεονέκτημα: Το Μ Δεν χρειάζεται να είναι πρώτος αριθμός Αλλά ο φ πρέπει να είναι άρρητος

Άλλες συναρτήσεις κατακερματισμού Κατακερματισμός δευτέρου βαθμού(quadratic hashing) -κακή τεχνική... Συμπέρασμα: χρησιμοποιείστε κατακερματισμό με διαίρεση

Μέγεθος του πίνακα κατακερματισμού Πχ., 50,000 υπάλληλοι, 10 εγγραφές υπαλλήλων ανά σελίδα Ερώτηση: M=?? Σελίδες/κάδοι/σχισμές

Μέγεθος του πίνακα κατακερματισμού Πχ., 50,000 υπάλληλοι, 10 εγγραφές υπαλλήλων ανά σελίδα Ερώτηση: M=?? Σελίδες/κάδοι/σχισμές Απάντηση: Χρησιμοποίηση ~ 90% και M: πρώτος αριθμός Π.χ., στην περίπτωση που εξετάζουμε : M= ο εγγύτερος πρώτος στο 50,000/10/0.9 = 5,555

Επίλυση συγκρούσεων Ερώτηση: Πότε συμβαίνει μία σύγκρουση ; Απάντηση: ;;;

Επίλυση Συγκρούσεων #0 page 123; Σταύρου; Αιόλου #h(123) M

Επίλυση Συγκρούσεων Ερώτηση: Πότε συμβαίνει μία σύγκρουση ; Απάντηση: ;;; Ερώτηση: Γιατί να ανησυχούμε για συγκρούσεις/ υπερχειλίσεις; (θυμηθείτε ότι οι κάδοι είναι ~90% γεμάτοι) Απάντηση: Π.χ. Ένας τραπεζικός λογαριασμός ισορροπεί μεταξύ $0 και $10,000 και μεταξύ $90,000 και 100,000

Επίλυση Συγκρούσεων Ανοιχτή διευθυνσιοδότηση (Open addressing) linear probing (δηλ., ελέγχουμε διαδοχικές θέσεις (κάδους/σχισμές) από την αρχική θέση που προσδιόρισε η συνάρτηση κατακερματισμού μέχρι να βρεθεί ελεύθερη θέση) re-hashing Αλυσιδωτή σύνδεση (separate chaining) (δηλ., χρησιμοποιούμε συνδέσεις πους σελίδες υπερχείλισης)

Επίλυση Συγκρούσεων linear probing: #0 page 123; Σταύρου; Αιόλου #h(123) M

Επίλυση Συγκρούσεων re-hashing #0 page h1() 123; Σταύρου; Αιόλου. #h(123) h2() M

Επίλυση Συγκρούσεων separate chaining 123; Σταύρου; Αιόλου

Επιλογές σχεδιασμού - Συμπεράσματα Συνάρτηση : κατακερματισμός με διαίρεση h(x) = ( a*x+b ) mod M μέγεθος M : ~90% ποσοστό χρησιμοποίησης. Πρώτος αριθμός. Επίλυση συγκρούσεων: Αλυσιδωτή σύνδεση Ευκολότερη υλοποίηση (διαγραφές!); Δεν υπάρχει κίνδυνος υπερχείλησης

Ευρετηριοποίηση - Περίληψη ISAM και B-trees Κατακερματισμός Κατακερματισμός vs B-trees Ευρετήρια Indices in SQL Προχωρημένα θέματα: Δυναμικός κατακερματισμός Ευρετηριοποίηση πολλαπλών γνωρισμάτων (multi-attribute indexing)

Κατακερματισμός vs B-trees: Ο κατακερματισμός προσφέρει: ΤΑΧΥΤΗΤΑ! ( O(1) Χρόνος αναζήτησης ΜΕΣΗΣ περίπτωσης) αλλά τα B-trees προσφέρουν:

Κατακερματισμός vs B-trees: αλλά τα B-trees προσφέρουν: Διάταξη κλειδιών: Ερωτήματα διαστημάτων (range queries) Προσεγγιστικά ερωτήματα (proximity queries) Σειριακή σάρωση (sequential scan) O(log(N)) εγγύηση για αναζήτηση/εισαγωγή/διαγραφή Ομαλή επαύξηση / συρρίκνωση

Κατακερματισμός vs B-trees: Έτσι: Τα B-trees χρησιμοποιούνται στα περισσότερα συστήματα Σημείωση: Οκατακερματισμόςόχι(Γιατί?)

Ευρετηριοποίηση- Περίληψη ISAM και B-trees Κατακερματισμού Κατακερματισμός vs B-trees Ευρετήρια σε SQL Προχωρημένα θέματα:

Ευρετηριοποίηση σε SQL create index <index-name> on <relation-name> (<attribute-list>) create unique index <index-name> on <relation-name> (<attribute-list>) (Στην περίπτωση που το κλειδί αναζήτησης είναι υποψήφιο κλειδί(candidate key) drop index <index-name>

Ευρετηριοποίηση σε SQL Π.χ., create index ssn-index on STUDENT (ssn) ή (Π.χ., στον πίνακα TAKES(ssn,cid, grade)) : create index sc-index on TAKES (ssn, c-id)

Ευρετηριοποίηση - Περιληπτικά ISAM and B-trees Κατακερματιμσός(Hashing) Hashing vs B-trees Ευρετήρια στην SQL Προχωρημένα θέματα: (θεωρητικό ενδιαφέρον) Δυναμικός κατακερματισμός Ευρετηριοποίηση πολλαπλών γνωρισμάτων (multiattribute indexing)

Πρόβλημα με τον στατικό Κατακερματισμό Πρόβλημα: υπερχείλιση ; Πρόβλημα: Υποχείλιση; (ποσοστό μη χρησιμοποίησης (under-utilization))

Λύση: Δυναμικός/ επεκτατός Κατακερματισμός Ιδέα: Συρρίκνωσε / επαύξησε τον πίνακα κατακερματισμού κατ απαίτηση..... Æ Δυναμικός κατακερματισμός Λεπτομέρειες : Πώς θα μεγαλώσει ομαλά σε περίπτωση υπερχείλισης ; Πολλές λύσεις - Μία από αυτές : Επεκτατός κατακερματισμός(extendible hashing)

Επεκτατός Κατακερματισμός (Extendible hashing) #0 page 123; Σταύρου; Αιόλου #h(123) M

Επεκτατός Κατακερματισμός Λύση: Διέσπασε τον κάδο σε δύο κάδους 123; Σταύρου; Αιόλου. #0 page #h(123) M

Επεκτατός Κατακερματισμός Λεπτομερώς: Διατήρησε ευρετήριο, με δείκτες που δείχνουν σε κάδους κατακερματισμού Ερώτηση: Πως θα διαιρέσουμε τα περιεχόμενα ενός κάδου στα δύο; Απάντηση: αντιστοίχησε κάθε κλειδί σε μία μεγάλου μήκους ακολουθία bits. Κράτησε μόνο όσα bits είναι απαραίτητο Τελικά:

Επεκτατός Κατακερματισμός Ευρετήριο 00... 01... 10... 11... 0001... 0111... 10101... 10011... 10110... 1101... 101001...

Επεκτατός Κατακερματισμός Ευρετήριο 00... 01... 10... 11... 0001... 0111... 10101... 10011... 10110... 101001... 1101... Διάσπαση στο τρίτο bit

Επεκτατός Κατακερματισμός Ευρετήριο 00... 01... 10... 11... 0001... 0111... 10011... 10101... 101001... 10110... 1101... Νέα σελίδα / κάδος

Επεκτατός Κατακερματισμός 000... 001... 010... 011... 100... 101... Ευρετήριο (doubled) 0001... 0111... 10011... 10101... 101001... 10110... 1101... Νέα σελίδα / κάδος 110... 111...

Επεκτατός Κατακερματισμός 00... 01... 10... 11... 0001... 0001... 0111... 0111... 10101... 10011... 10011... 10110... 101001... 1101... 1101... 10101... 101001... 10110... 000... 001... 010... 011... 100... 101... 110... 111... ΠΡΙΝ ΜΕΤΑ

Επεκτατός Κατακερματισμός Σύνοψη: Το ευρετήριο (directory) διπλασιάζεται κατ απαίτηση ή μειώνεται στο μισό, σε αρχεία που συρρικνώνονται Απαιτεί πίνακα με 2d διευθύνσεις d: ολικό(global-depth) Κάθε κάδος διατηρεί τοπικό(local-depth) d Προσδιορίζει τον αριθμό των δυαδικών ψηφίων στα οποία βασίζεται η χρήση του κάδου. Κυρίως θεωρητικό ενδιαφέρον - το ίδιο για Γραμμικός κατακερματισμός (linear hashing) του Litwin order preserving τέλειος κατακερματισμός (perfect hashing) (χωρίς συγγρούσεις!)

Ευρετηριοποίηση - Περιληπτικά ISAM and B-trees Κατακερματιμσός(Hashing) Hashing vs B-trees Ευρετήρια στην SQL Προχωρημένα θέματα: (θεωρητικό ενδιαφέρον) Δυναμικός κατακερματισμός Ευρετηριοποίηση πολλαπλών γνωρισμάτων (multiattribute indexing)

Προσπέλαση με βάση πολλαπλά κλειδιά (multiple-key access) Πως θα υποστηρίξουμε ερωτήματα σε πολλαπλά ερωτήματα, όπως grade>=3 and course= 415 Βασικό κίνητρο: Γεωγραφικά συστήματα πληροφοριών (GIS)

Προσπέλαση με βάση πολλαπλά κλειδιά y x

Προσπέλαση με βάση πολλαπλά κλειδιά Τυπικό ερώτημα: Βρες τις πόλεις που βρίσκονται το πολύ σε απόσταση x χιλιομέτρων από την Αθήνα Έτσι επιθυμούμε να αποθηκεύσουμε κοντινές πόλεις στην ίδια σελίδα δίσκου:

Προσπέλαση με βάση πολλαπλά κλειδιά y x

Προσπέλαση με βάση πολλαπλά κλειδιά - R-trees y x

Προσπέλαση με βάση πολλαπλά κλειδιά - R-trees R-trees: πολύ επιτυχή για GIS...σε συνδυασμό με την κατά z-διάταξη (zordering ) Περισσότερες λεπτομέρειες... στο μάθημα Βάσεις Δεδομένων ΙΙ

Ευρετηριοποίηση - Σύνοψη industry workhorse ISAM και B-trees Κατακερματισμός Κατακερματισμός vs B-trees Ευρετήρια στην SQL Προχωρημένα θέματα: Δυναμικός κατακερματισμός Ευρετηριοποίηση πολλαπλών γνωρισμάτων (multi-attribute indexing)

Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό. Οι όροι χρήσης των έργων τρίτων επεξηγούνται στη διαφάνεια «Επεξήγηση όρων χρήσης έργων τρίτων». Τα έργα για τα οποία έχει ζητηθεί άδεια αναφέρονται στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] http://creativecommons.org/licenses/από-nc-sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί.

Επεξήγηση όρων χρήσης έργων τρίτων διαθέσιμο με άδεια CC-BY διαθέσιμο με άδεια CC-BY-SA διαθέσιμο με άδεια CC-BY-ND διαθέσιμο με άδεια CC-BY-NC διαθέσιμο με άδεια CC-BY-NC-SA διαθέσιμο με άδεια CC-BY-NC-ND διαθέσιμο με άδεια CC0 Public Domain διαθέσιμο ως κοινό κτήμα χωρίς σήμανση Δεν επιτρέπεται η επαναχρησιμοποίηση του έργου, παρά μόνο εάν ζητηθεί εκ νέου άδεια από το δημιουργό. Επιτρέπεται η επαναχρησιμοποίηση του έργου και η δημιουργία παραγώγων αυτού με απλή αναφορά του δημιουργού. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού, και διάθεση του έργου ή του παράγωγου αυτού με την ίδια άδεια. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η δημιουργία παραγώγων του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η εμπορική χρήση του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού και διάθεση του έργου ή του παράγωγου αυτού με την ίδια άδεια. Δεν επιτρέπεται η εμπορική χρήση του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η εμπορική χρήση του έργου και η δημιουργία παραγώγων του. Επιτρέπεται η επαναχρησιμοποίηση του έργου, η δημιουργία παραγώγων αυτού και η εμπορική του χρήση, χωρίς αναφορά του δημιουργού. Επιτρέπεται η επαναχρησιμοποίηση του έργου, η δημιουργία παραγώγων αυτού και η εμπορική του χρήση, χωρίς αναφορά του δημιουργού. Συνήθως δεν επιτρέπεται η επαναχρησιμοποίηση του έργου.

Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους.

Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο ΤΕΙ Ιονίων Νήσων» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.