Κεφάλαιο 11. Πρωτεύουσες Οργανώσεις Αρχείων Φυσικός Σχεδιασµός Αποθήκευση Εγγραφών. Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.1

Transcript

1 Κεφάλαιο 11 Πρωτεύουσες Οργανώσεις Αρχείων Φυσικός Σχεδιασµός Αποθήκευση Εγγραφών Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.1

2 ΣΥΝΟΨΗ ΕΝΟΤΗΤΑΣ Επισκόπηση των Μέσων Αποθήκευσης Μαγνητικοί ίσκοι RAID Συστοιχία Ανεξάρτητων ίσκων Τριτογενής Αποθήκευση για τεράστιες Β Πρόσβαση στη Μνήµη Buffer Management Οργάνωση Αρχείων Οργάνωση Εγγραφών σε Αρχεία Λεξικά εδοµένων Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.2

3 Πλήρης ιαδικασία Ανάπτυξης Β Ανεξάρτητα του DBMS Εξαρτώµενο του επιλεγµένου DBMS. Μικρόκοσµος (π.χ., µε Σχεσιακό Μοντέλο) Λογικό Μοντέλο -- Σχήµατα / Όψεις Απαιτήσεις Β Εννοιολογικό Μοντέλο (Σχήµα) Συλλογή Απαιτήσεων και Ανάλυση Εννοιολογικός Σχεδιασµός Βάσης (π.χ., µε E-R Model) E-R ιάγραµµα Λογικός Σχεδιασµός Βάσης Βάση εδοµένων Φυσικός Σχεδιασµός Βάσης Φυσικό Μοντέλο Εσωτερικό Σχήµα Πλήρωση Βάσης Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.3

4 Φυσική Αποθήκευση Ο ιαχειριστής εδοµένων (data manager) είναι το υπόσύστηµα του DBMS υπεύθυνο για τη φυσική βάση δεδοµένων Οι σηµαντικές έννοιες είναι: σύστηµα αρχείων (file system), διαχειριστής ενδιάµεσης µνήµης (buffer manager), δοµές ευρετηρίων (access methods) Κάθε DBMS έχει το δικό του ιαχειριστή εδοµένων, ο οποίος συχνά χρησιµοποιεί ένα κλασσικό σύστηµα αρχείων (όπως παρέχεται σε ένα Λειτουργικό Σύστηµα ενισχυµένο µε πρόσθετους µηχανισµούς Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.4

5 ΤΑΞΙΝΟΜΗΣΕΙΣ ΣΥΣΚΕΥΩΝ ΑΠΟΘΗΚΕΥΣΗΣ Ε ΟΜΕΝΩΝ Ανάλογα µε την ταχύτητα (Speed) πρόσβασης Ανάλογα µε τη χωρητικότητα Ανάλογα µε το κόστος πρόσβασης ανά µονάδα Ανάλογα µε την αξιοπιστία (Reliability) Χάνονται τα δεδοµένα όταν πέφτει το ρεύµα ή το σύστηµα (crash)? Πόσο συχνά χαλάει η συσκευή αποθήκευσης? Ανάλογα µε τη µονιµότητα volatile storage: χάνεται η µνήµη όταν σβήνει ο ΗΥ non-volatile storage:» Παραµένουν τα δεδοµένα.» Περιλαµβάνει δευτερεύουσα και τριτογενή µνήµη, καθώς και υποστηριζόµενη µε µπαταρία κύρια µνήµη Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.5

6 . Επικαιρότητα εδοµένων Κ Ο Σ Τ Ο Σ Ιεραρχία Μνήµης Registers Cache (Κρυφή) Κύρια Μνήµη Μνήµη Flash Άµεση Εξωτερική Μνήµη Near-line (Archive) Μνήµη Έµµεση Προσπέλαση (Off-line) Ηλεκτρονική Αποθήκευση Ασταθής Ηλεκτρονική ή Μαγνητική / Οπτική (block-addressed) Disk Jukeboxes Ή Ροµπότ Ταινιών / RAID ΧΩΡΗΤΙΚΟΤΗΤΑ ΜΝΗΜΗΣ Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.6

7 Συσκευές Αποθήκευσης (α) Cache Η ταχύτερη, πιο µικρή και πιο ακριβή ( ΕΝ ΜΑΣ ΑΠΑΧΟΛΕΙ ΣΤΙΣ Β ) Κύρια Μνήµη (Main memory): Γρήγορη Πρόσβαση (10s έως 100s των nanoseconds; 1 nanosecond = 10 9 seconds) Γενικά πολύ µικρή ή πολύ ακριβή για ΟΛΗ τη Β» Φτάνει µέχρι τα λίγα Gigabytes σήµερα» Κάθε χρόνο, η χωρητικότητα αυξάνει και το κόστος χαµηλώνει (περίπου δύο (2) φορές κάθε 2 µε 3 χρόνια) Volatile Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.7

8 Συσκευές Αποθήκευσης (β) Flash memory (EEPROM -- Electrically Erasable Programmable Read-Only Memory) ε χάνεται όταν πέφτει το ρεύµα Περιορισµοί στις εγγραφές δεδοµένων (µικρός αριθµός σε write/erase cycles, κλπ) Σχεδόν το ίδιο γρήγορα READ µε την κύρια µνήµη Αργά WRITES (λίγα microseconds) Περίπου το ίδιο κόστος µε την κύρια µνήµη Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.8

9 Συσκευές Αποθήκευσης (γ) Μαγνητικός ίσκος (Magnetic-disk) Τα δεδοµένα σε περιστρεφόµενο δίσκο και τα read/write γίνονται µε µαγνητικά µέσα Ο ΤΥΠΙΚΟΣ ΤΡΟΠΟΣ ΑΠΟΘΗΚΕΥΣΗΣ Ε ΟΜΕΝΩΝ ΣΕ Συστήµατα ιαχείρισης Β. Πολύ πιο αργή από την Κύρια Μνήµη direct-access Hard disks και floppy disks Σηµερινή χωρητικότητα έως 100 GB Τα δεδοµένα σώζονται µετά από διακοπές λειτουργίας από όπου και αν προέρχονται Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.9

10 Συσκευές Αποθήκευσης (δ) Οπτική Μνήµη (Optical storage) Σαν το µαγνητικό δίσκο, αλλά τα READ/WRITE γίνονται µε ΟΠΤΙΚΟ τρόπο CD-ROM (640 MB) και DVD (4.7 to 17 GB) Write-one, read-many (WORM) optical disks χρησιµοποιούνται για µόνιµη αποθήκευση (CD-R and DVD-R) Υπάρχουν και εκδόσεις για πολλαπλά WRITE (CD-RW, DVD- RW, και DVD-RAM) Πιο αργά από Μαγνητικούς ίσκους Juke-box συστήµατα, µε µεγάλο αριθµό δίσκων και ένα µηχανισµό για αυτόµατη φόρτωση / εκφόρτωση των δίσκων (για πολύ µεγάλες Β ) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.10

11 Συσκευές Αποθήκευσης (ε) Ταινία Αποθήκευσης (Tape storage) Βασικά για backup sequential-access πολύ αργή Πολύ µεγάλη χωρητικότητα (40 µε 300 GB) Ακριβές Συσκευές για READ / WRITE Tape jukeboxes» Για εκατοντάδες terabytes (1 terabyte = 10 9 bytes) µέχρι και για petabyte (1 petabyte = bytes) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.11

12 Γιατί δεν αποθηκεύονται τα πάντα σε Κύρια Μνήµη? Κοστίζει ακριβά. $300 αγοράζουν 128MB RAM ή 7.5GB δίσκο. Η κύρια µνήµη είναι ευµετάβλητη / ασταθής. Θέλουµε να σώζουµε τα δεδοµένα µεταξύ χρήσεων. (Προφανώς!) Τυπική Ιεραρχία: Κύρια Μνήµη (RAM) για δεδοµένα επίκαιρης χρήσης. ίσκοι για την Βάση εδοµένων (δευτερεύουσα µνήµη). Ταινίες για την αποθήκευση παλαιοτέρων εκδόσεων της Βάσης εδοµένων (µαζική αποθήκευση). Ένα DBMS έχει την παρακάτω Ιεραρχία Μνήµης: Ταινία ίσκος Κύρια Μνήµη Cache (σειριακή) (άµεση) Οι ταινίες είναι για µαζική αποθήκευση, οι ταινίες για την µόνιµη (persistent ) αποθήκευση Β, ενώ η κύρια µνήµη και η cache για επεξεργασία των δοσοληψιών και άλλων DBMS πράξεων Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.12

13 ίσκοι και Αρχεία Το DBMS αποθηκεύει πληροφορίες σε (σκληρούς) δίσκους Αυτό έχει σηµαντικές επιπτώσεις για το Σχεδιασµό των DBMS! ιακρίνονται 2 πολύ σηµαντικές πράξεις READ: µεταφέρει δεδοµένα από το ίσκο στην Κύρια Μνήµη (RAM). WRITE: µεταφέρει δεδοµένα από τη RAM στο ίσκο. Αυτές οι δύο πράξεις είναι υψηλού κόστους (χρονικά), σε σχέση µε πράξεις που γίνονται εντός της Κύριας Μνήµης, άρα θα πρέπει να µελετώνται και να σχεδιάζονται πολύ προσεκτικά! Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.13

14 Μονάδες Φυσικής Αποθήκευσης: ΙΣΚΟΙ ίσκοι αποθήκευσης Τα δεδοµένα αποθηκεύονται ως µαγνητικές περιοχές σε µαγνητικούς δίσκους Τα πακέτα δίσκων έχουν πολλές δίσκους συνδεδεµένους σε ένα κύλινδρο Οι δίσκοι χωρίζονται σε οµόκεντρους κύκλους, που ονοµάζονται άτρακτοι (tracks), µέχρι σε κάθε δίσκο, - η χωρητικότητα των ατράκτων είναι µεταξύ 4 και 50 Kbytes Οι άτρακτοι χωρίζονται σε τοµείς (sectors), σταθερού µεγέθους για συγκεκριµένα συστήµατα αρχείων. Πλήρεις ΤΟΜΕΙΣ µεταφέρονται µεταξύ µνήµης και δίσκου READ και WRITE έχουν κόστος (λόγω των καθυστερήσεων που εισάγουν τα seek time και rotational delay) Ένα ΜΠΛΟΚ / ΣΕΛΙ Α (Block / Page) είναι µια συνεχής σειρά από τοµείς (στο ίδιο αυλάκι / άτρακτο) που για πρακτικούς λόγους αποτελούν την «ιδανικότερη» µονάδα µεταφοράς µεταξύ Κυρίας Μνήµης και ίσκου. Το µέγεθος κυµαίνεται από 512 Byte έως µερικά Kbyte (τυπικά µεγέθη 4096 ή 8192 ή bytes) Μια φυσική διεύθυνση στο ίσκο αποτελείται από: αριθµό επιφανείας, αριθµό ατράκτου (στην ίδια επιφάνεια) & αριθµό block (στην ίδια άτρακτο) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.14

15 Τµήµατα ίσκου Κεφαλή Άξονας Άτρακτοι Μπλοκ Κίνηση Κεφαλής Νοητός Κύλινδρος Ατράκτων Μηχανισµοί Κεφαλής - Κτένι Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.15

16 ίσκος ΑΤΡΑΚΤΟΙ Κάθε άτρακτος περιέχει Τον ίδιο αριθµό εδοµένων ΑΡΧΗ ΑΤΡΑΚΤΟΥ ΜΠΛΟΚ Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.16

17 Μαγνητικοί ίσκοι - Ελεγκτές Disk controller Ενδιάµεσος µεταξύ του υλικού για το Υπολογιστικό Σύστηµα και το ίσκο έχεται υψηλού επιπέδου εντολές για READ / WRITE ενός τοµέα Τυποποιήσεις για Συστήµατα ίσκων IDE, ATA (AT adaptor), SCSI (Small Computer System Interconnect) και πολλές άλλες παραλλαγές Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.17

18 Πρόσβαση σε µια Σελίδα // Μπλοκ ίσκου Χρόνος Προσπέλασης (ανάγνωση / εγγραφή --- read/write) : Χρόνος Εντοπισµού (seek time) - κίνηση κεφαλής πάνω από την άτρακτο Καθυστέρηση Περιστροφής (rotational delay) - αναµονή για να φτάσει το µπλοκ κάτω από τη κεφαλή Χρόνος Μεταφορά (block transfer time) η ουσιαστική κίνηση δεδοµένων από / προς το ίσκο) Seek time και rotational delay είναι οι µεγαλύτερες καθυστερήσεις. Seek time µεταξύ 4 και 10msec Rotational delay µεταξύ 4 και 11msec Transfer rate περίπου 1msec για µια σελίδα 4KB Το κλειδί για µικρότερες καθυστερήσεις είναι: µικρότερες seek / rotation delays! Χρησιµοποιούνται λύσεις Υλικού ή / και Λογισµικού για να επιτευχθεί αυτό Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.18

19 Πρόσβαση σε µια Σελίδα // Μπλοκ ίσκου (2) Mean time to failure (MTTF) Ο µέσος χρόνος που αναµένεται ο ίσκος να λειτουργεί συνεχώς χωρίς πρόβληµα Τυπικά, 3 µε 5 χρόνια Η πιθανότητα αστοχίας ενός νέου δίσκου είναι πολύ µικρή και αντιστοιχεί σε ένα «θεωρητικό» MTTF των 30,000 µε 1,200,000 ώρες για ένα καινούργιο ίσκο» Το MTTF των 1,200,000 ωρών για ένα νέο δίσκο σηµαίνει ότι για κάθε 1000 νέους δίσκους, ένας από αυτούς θα αστοχήσει σε 1200 ώρες MTTF ελαττώνεται καθώς ο ίσκος γηράσκει Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.19

20 Βελτιστοποίηση για Block Access Στην Οργάνωση Αρχείου (File organization), που θα εξετάσουµε αργότερα, βελτιστοποιούµε το χρόνο πρόσβασης µε την κατάλληλη οργάνωση των blocks ώστε να αντιστοιχεί µε το πως θα γίνει η πρόσβαση Π.Χ., Αποθήκευε σχετιζόµενες πληροφορίες στον ίδιο ή σε κοντινό κύλινδρο Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.20

21 RAID RAID: Redundant Arrays of Independent Disks Οργανωτικές τεχνικές διάταξης δίσκων που δίνουν την αίσθηση / όψη ενός και µόνο δίσκου µε» Μεγάλη χωρητικότητα και υψηλή ταχύτητα (πολλοί δίσκοι σε Παράλληλη Χρήση)» Μεγάλη αξιοπιστία (αποθήκευση των δεδοµένων µε επαναληπτικότητα έτσι ώστε να γίνεται εύκολα η ανάκαµψη των δεδοµένων) Η πιθανότητα να αστοχήσει ένας δίσκος σε ένα σύνολο πολλών δίσκων είναι πολύ µεγαλύτερη από το να αστοχήσει ένας συγκεκριµένος. Π.Χ, σε ένα σύστηµα µε 100 δίσκους, αν ο κάθε ένας έχει MTTF των 100,000 ωρών (περίπου 11 ετών), το σύστηµα θα έχει MTTF των 1000 ωρών (περίπου 41 ηµέρες) Αλλαγή Ονοµασίας Αρχικά, το I στο RAID διαβαζόταν «inexpensive» Σήµερα το Ι διαβάζεται «independent» Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.21

22 Μεγαλύτερη αξιοπιστία µε επαναληπτικότητα Redundancy (Επαναληπτικότητα) Mirroring (shadowing) Ένας λογικός ίσκος αποτελείται από 2 φυσικούς ίσκους. Κάθε write γίνεται και στους 2 ίσκους» Reads µπορεί να γίνουν από οποιονδήποτε Αν ο ένας δίσκος αστοχεί, τα δεδοµένα είναι ακόµη διαθέσιµα» Μικρή πιθανότητα να χαλάσουν και οι δύο ίσκοι ταυτόχρονα Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.22

23 Μεγαλύτερη απόδοση µε µε Παραλληλισµό ύο βασικοί στόχοι του Παραλληλισµού σε ένα σύστηµα δίσκων: 1. Κατανοµή φόρτου για πολλές µικρές αιτήσεις έτσι ώστε να αυξηθεί ο ρυθµός υλοποίησης (throughput) 2. Παραλληλισµός µεγάλων αιτήσεων για να µειωθεί ο χρόνος απόκρισης (response time) Τα δεδοµένα διαχωρίζονται (striping data) σε πολλαπλούς δίσκους. Bit-level striping ιαχωρισµός των bits του κάθε byte σε πολλαπλούς δίσκους (δε χρησιµοποιείται συχνά) Block-level striping µε n ίσκους, το block i του αρχείου πηγαίνει στο ίσκο (i mod n) + 1 Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.23

24 ΕΠΙΠΕ Α RAID RAID Level 0: Block striping; non-redundant. Όταν µας νοιάζει η ταχύτητα και δεν ενδιαφερόµαστε αν χάσουµε δεδοµένα. RAID Level 1: Mirrored disks with block striping Η καλύτερη οργάνωση για LOG αρχεία και για ταχύτητα στα WRITE Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.24

25 ΕΠΙΠΕ Α RAID RAID Level 2: Memory-Style Error-Correcting-Codes (bit striping) RAID Level 3: Bit-Interleaved Parity Καλό για έλεγχο λαθών σε περίπτωση αστοχίας Κάνει ότι κάνει και το Level 2, αλλά µε χαµηλότερο κόστος Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.25

26 ΕΠΙΠΕ Α RAID RAID Level 4: Block-Interleaved Parity; Σαφώς καλύτερο από το Level 3 Μερικά προβλήµατα µε bottlenecks Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.26

27 ΕΠΙΠΕ Α RAID ; RAID Level 5: Block-Interleaved Distributed Parity Η καλύτερη διάταξη για Β RAID Level 6: P+Q Redundancy scheme Καλύτερη αξιοπιστία από το προηγούµενο αλλά µε µεγάλο επιπλέον κόστος (σπάνια χρησιµοποιείται) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.27

28 Επιλογή του RAID Level Σήµερα γίνεται µεταξύ του 1 και 5 επιπέδου µόνο (τα άλλα είναι σαφώς υποδεέστερα ή υπερ-καλύπτονται από τα 1 και 5) Level 1 καλύτερο για WRITEs Level 1 χειρότερο σε κόστος αποθήκευσης Το Level 5 προτιµάται για εφαρµογές µε µικρό αριθµό ενηµερώσεων και µεγάλο αριθµό δεδοµένων Το Level 1 προτιµάται για όλες τις άλλες εφαρµογές Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.28

29 ιαχείριση ίσκου Το χαµηλότερου επιπέδου λογισµικό του DBMS είναι αυτό που διαχειρίζεται τους ίσκους Λογισµικό σε υψηλότερα επίπεδα ΚΑΛΟΥΝ αυτό το επίπεδο για: Την κράτηση / αποδέσµευση µιας σελίδας Read / Write µιας σελίδας Αν η κλήση είναι για µια ακολουθία σελίδων, τότε η αίτηση πρέπει να ικανοποιείται µε σελίδες που βρίσκονται σε σειριακή ακολουθία στο ίσκο. Τα υψηλότερα επίπεδα δεν ΧΡΕΙΑΖΕΤΑΙ να γνωρίζουν ΠΩΣ αυτό επιτυγχάνεται ούτε ΠΩΣ γίνεται η διαχείριση της ελεύθερης µνήµης Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.29

30 ΑΡΧΕΙΑ --- ΒΑΣΙΚΟΙ ΟΡΙΣΜΟΙ Μια εγγραφή είναι µια συλλογή από σχετιζόµενες τιµές ή στοιχεία (items) Ένα αρχείο είναι µια ακολουθία από εγγραφές που αποθηκεύεται σε µια ακολουθία σταθερού µεγέθους από Μπλοκ (blocks - pages) στον ίσκο Κάθε αρχείο έχει file descriptor (file header- επικεφαλίδα) µε πληροφορίες για το αρχείο (ονόµατα πεδίων, δοµές δεδοµένων..) Ο blocking factor για ένα αρχείο είναι ο Μέσος αριθµός εγγραφών που αποθηκεύονται σε ένα µπλοκ. Κάθε µπλοκ έχει όνοµα ταυτόσηµο µε τη ιεύθυνσή του Οι Εγγραφές σε αρχείο ονοµάζονται unspanned (καµία εγγραφή δεν περνά σε δύο µπλοκ) ή spanned (διαπερνούν µπλοκ) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.30

31 ΣύστηµαΑρχείων (File System) ΣΥΣΤΗΜΑ ΑΡΧΕΙΩΝ: Ο ρόλος του είναι η ιαχείριση Αρχείων σε ένα ίσκο: Create ένα αρχείο Insert µια σελίδα Modify µια σελίδα Delete µια σελίδα Retrieve µια σελίδα Reorganize ένα αρχείο Terminate access ένα αρχείο, κλπ. Το Σύστηµα Αρχείων είναι υπεύθυνο για τη: Μετάφραση από το όνοµα του Αρχείου στη ιεύθυνση Μνήµης του Αρχείου Μετάφραση από την τιµή του ΚΛΕΙ ΙΟΥ στη ιεύθυνση Σελίδας (που βρίσκεται η εγγραφή µε αυτό το κλειδί) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.31

32 ιαχείριση Μνήµης.. SET-ORIENTED DBMS Εφαρµογή Προγράµµατα οσοληψιών Database Access Methods ιαχείριση Πλειάδων Associative Access TUPLE- ORIENTED Logging and Recovery ιαχείριση Εγγραφών Κύρια Άµεση Εξωτερική Near line Εξωτερική Manages Buffer Manager BLOCK-ORIENTED Manages File Manager Manages Archive Manager ιαχείριση Ενδιάµεσης Μνήµης ιαχείριση Αρχείων Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.32

33 ιαχείριση Ενδιάµεσης Μνήµης Ο Buffer (ενδιάµεση µνήµη) είναι τµήµα της κύριας µνήµης που κρατιέται για την αποθήκευση σελίδων (pages) που µεταφέρονται από / σε ίσκους Ο ιαχειριστής Ενδιάµεσης Μνήµης είναι το υποσύστηµα που είναι υπεύθυνο για τη διάθεση του χώρου buffer (µε πλήρη διαφάνεια για τον χρήστη) Τυπικές Πράξεις του Buffer Μάνατζερ Όταν ο Χρήστης ζητά µια Σελίδα: ελέγχει αν η σελίδα είναι ήδη στη Μνήµη, Αν είναι, τότε επιστρέφει τη ιεύθυνσή της στο Χρήστη Αν δεν είναι, τότε την φέρνει από το ίσκο στο buffer, πιθανά µε αντικατάσταση µιας άλλης σελίδας (αν δεν υπάρχει χώρος), και επιστρέφει τη ιεύθυνσή της στο Χρήστη Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.33

34 ιαχείριση Ενδιάµεσης Μνήµης σε DBMS Αιτήσεις Σελίδων από υψηλότερα επίπεδα BUFFER POOL Σελίδα ίσκου Ελεύθερος Χώρος ΚΥΡΙΑ ΜΝΗΜΗ ΙΣΚΟΣ Β ΗΕπιλογή χώρου γίνεται µε ειδική στρατηγική Τα δεδοµένα πρέπει να είναι στη RAM για λειτουργία του DBMS! Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.34

35 Όταν αιτείται µια Σελίδα Αν η Σελίδα δεν είναι ήδη στην Πισίνα (Pool) σελίδων του Buffer: ιάλεξε χώρο για αντικατάσταση Αν ο χώρος είναι «πειραγµένος» (dirty),» Write τη Σελίδα που είναι εκεί στο δίσκο Read την αιτούµενη σελίδα στον επιλεγέντα χώρο (που άδειασε) Καρφίτσωσε (Pin) τη σελίδα και επέστρεψε τη ιεύθυνσή της. Αν µπορούµε να προβλέψουµε τις αιτήσεις (π.χ., σειριακή εξέταση) των σελίδων, τότε µας συµφέρει να φέρουµε (pre-fetch) πολλές σελίδες µαζί! Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.35

36 Περισσότερα Στοιχεία του Buffer Μάνατζερ Αυτός που αιτείται µια σελίδα πρέπει να την ξε-καρφιτσώσει, και να γνωστοποιήσει αν η σελίδα πρόκειται να αλλάξει dirty bit χρησιµοποιείται για αυτό (πείραγµα) Τη σελίδα µπορεί να τη ζητήσουµε πολλές φορές, ένα pin count χρησιµοποιείται. Μια σελίδα είναι υποψήφια για αντικατάσταση όταν το pin count = 0. Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.36

37 Πολιτική Αντικατάστασης Σελίδων Η ιαχείριση του Ενδιάµεσου Χώρου απαιτεί µια πολιτική / στρατηγική αντικατάστασης σελίδων Least-recently-used (LRU), Ρολόι, Toss-Immediate, MRU, κλπ. Η πολιτική επηρεάζει τον αριθµό τωνi/o που γίνονται Sequential flooding: Μια κακή περίπτωση που παρουσιάζεται σε LRU + επαναλαµβανόµενες σειριακές εξετάσεις. # buffer frames < # pages στο αρχείο σηµαίνει ότι κάθε αίτηση σελίδας επιφέρει ένα I/O. Η MRU πολιτική είναι πολύ καλύτερη σε αυτή την περίπτωση Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.37

38 ιαχείριση Buffer (2) Ο buffer µάνατζερ έχει την ίδια λειτουργία µε έναν virtual memory µάνατζερ (στα Λειτουργικά Συστήµατα). Αλλά, είναι συνήθως πολύ πιο πολύπλοκος, µια και έχει φτιαχτεί ειδικά για DBMS και κατά συνέπεια πρέπει να προβλέψει καλύτερα τις ιδιαιτερότητες αυτών ιαφοροποιήσεις µε τον virtual manager: replacement strategy. Οι τυπικές στρατηγικές σε Λειτουργικά Συστήµατα (π.χ.., LRU) δεν είναι πάντα κατάλληλες για DBMS (MRU είναι συνήθως καλύτερες) pinned εγγραφές. Το DBMS πολλές φορές ζητά µερικές σελίδες να καρφιτσωθούν και να παραµένουν συνέχεια στην ενδιάµεση µνήµη (buffer), ενδεικτικά, για το Data Dictionary forced output σελίδων. Το DBMS πολλές φορές (π.χ.., για recovery) διώχνει σελίδες από το Buffer (εκτός πολιτικής που ακολουθείται, π.χ., MRU) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.38

39 ιαχείριση Buffer (3) Ο Buffer Μάνατζερ κρατά για κάθε Σελίδα στο Buffer: Σε ποια Σελίδα ίσκου αποθηκεύεται Αν έχει αλλάξει ή όχι (dirty page) Ποια πολιτική αντικατάστασης ισχύει Υπάρχουν εναλλακτικές οµές για το Buffer: Ο ίδιος Buffer για όλες τις Σχέσεις (Αρχεία) ιαφορετικός Buffer για κάθε Σχέση Ενδιάµεσα Σχήµατα Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.39

40 οµές Ευρετηρίων (Access Methods) Οι οµές Ευρετηρίων είναι υπεύθυνες για τα παρακάτω: Τοποθέτηση εγγραφών (πλειάδων) µέσα σε Σελίδες (Μπλοκ) Υποστήριξη πρόσβασης σε εγγραφές (βάσει ιεύθυνσης και βάσει Τιµής.) µε Πρωτεύουσες οµές Αρχείου. Ουσιαστικά, για την µετατροπή αναφορών για εγγραφές σε φυσικά Μπλοκ (όπου αποθηκεύονται οι εγγραφές) που είναι σε ίσκους. Υποστήριξη ευτερευόντων (auxiliary) δοµών αρχείου για πιο αποδοτική αναφορά / πρόσβαση σε εγγραφές (βάσει τιµών γνωρισµάτων των εγγραφών που δεν είναι κλειδιά) Στη συνέχεια, θα εξετάσουµε τη φυσική οργάνωση των εγγραφών και των Μπλοκ, καθώς και τις πρωτεύουσες οργανώσεις / δοµές αρχείων Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.40

41 ιαχείριση Αρχείων ΦΥΣΙΚΗ ΟΡΓΑΝΩΣΗ ΤΩΝ ΕΓΓΡΑΦΩΝ ΣΕ ΙΣΚΟ Θέµατα: Οργάνωση Πεδίων εντός Εγγραφών Οργάνωση Εγγραφών εντός Μπλοκ Ποιες Εγγραφές πάνε σε ποια Μπλοκ (Σηµαντικό!) Πεδία εντός εγγραφών Σταθερού Μεγέθους (σειριακά) F 1 F 2 F 3 F 4 F 5 L 1 L 2 L 3 L 4 L 5 B : ιεύθυνση Βάσης Η διεύθυνση F i i-1 B + Ó L k = 1 k είναι: Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.41

42 Πεδία εντός Εγγραφών (1) Σταθερού Μεγέθους (σε σωρό µε δείκτες) F 5 F 3 F 1 F Τα πεδία δεν αποθηκεύονται (απαραίτητα) σειριακά --- Υπάρχει ακριβώς ένας δείκτης στην επικεφαλίδα για κάθε πεδίο (ανεξάρτητα αν είναι παρόν ή όχι) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.42

43 Πεδία εντός Εγγραφών (2) Μη-σταθερού µεγέθους πεδία ξεχωρίζονται µε ειδικά σύµβολα F 1 F 2 F 3 F 4 F 5 $ $ $ $ εναλλακτικά, Μη-σταθερού µεγέθους πεδία ξεχωρίζονται από τα µήκη των F 1 F 2 F 3 F 4 F 5 L 1 L 2 L 3 L 4 L 5 Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.43

44 Εγγραφές εντός Μπλοκ Εγγραφές εντός Μπλοκ (α) Αποθήκευση εγγραφών σειριακά στο Μπλοκ (fixed packed) B N Μια εγγραφή βρίσκεται µε απλό υπολογισµό: L R i = B + (i-1)*l Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.44

45 Εγγραφές εντός Μπλοκ (2) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.45

46 Εγγραφές εντός Μπλοκ (3) Η παραπάνω οργάνωση είναι ανελαστική και δηµιουργεί πολλά προβλήµατα * Οι εγγραφές επεκτείνονται από Μπλοκ σε Μπλοκ (πολύ συχνά) Block Boundary * Οι Εισαγωγές και οι διαγραφές των εγγραφών καθίστανται ακριβές (χρονοβόρες) N... ιέγραψε αυτή την εγγραφή Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.46

47 Εγγραφές εντός Μπλοκ (4) FREE LISTS (εναλλακτική προσέγγιση) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.47

48 Εγγραφές εντός Μπλοκ (5) (β) Μια επικεφαλίδα Μπλοκ περιέχει τους είκτες σε εγγραφές που είναι µέσα στο Μπλοκ (indexed heap) DESCRIPTOR Next Primary Next Overflow... µεγαλώνει... Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.48

49 Εγγραφές εντός Μπλοκ (6) Μια εγγραφή αναζητείται και βρίσκεται στο ίσκο όταν δοθεί το block number ( ιεύθυνση) του Μπλοκ (µέσα στο οποίο είναι αποθηκευµένη η εγγραφή) και ο είκτης που είναι στην επικεφαλίδα του Μπλοκ Ο συνδυασµός (block number, index) ονοµάζεται RID ( Record Identifier) ή TID (Tuple Identifier) όταν έχουµε το Σχεσιακό Μοντέλο Η Εισαγωγή και ιαγραφή εγγραφών είναι απλές πράξεις (γίνονται µε αλλαγές δεικτών στην επικεφαλίδα) Το Μπλοκ µπορεί να αναδιοργανωθεί χωρίς να επηρεασθούν οι εξωτερικοί δείκτες. ηλαδή, οι εγγραφές διατηρούν το TID ακόµη και αν µεταφέρονται εντός του Μπλοκ. Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.49

50 Τοποθετώντας Εγγραφές στα κατάλληλα Μπλοκ ΟΡΓΑΝΩΣΗ ΑΡΧΕΙΩΝ Επιλέγοντας σε ποιο Μπλοκ αποθηκεύεται µια εγγραφή -- Τυχαία Τοποθέτηση -- Τοποθέτηση βάσει τιµής Κλειδιού (µε ή χωρίς ιάταξη) Τυχαία Τοποθέτηση: Οι εγγραφές τοποθετούνται σε Μπλοκ µε τυχαίο τρόπο, συνήθως, σύµφωνα µε τη σειρά εισαγωγής τους στη Β (η οργάνωση αυτή αποκαλείται ΣΩΡΟΣ (HEAP, PILE) Η πιο απλή στρατηγική οργάνωσης αρχείου Χρησιµοποιεί όσα ακριβώς Μπλοκ χρειάζονται και συνδέει τα Μπλοκ για το ίδιο αρχείο µεταξύ τους εν δίνει ΚΑΜΙΑ βοήθεια για την ανάκληση εγγραφών (σειριακή αναζήτηση) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.50

51 ΟΡΓΑΝΩΣΗ ΑΡΧΕΙΩΝ Γενικά Στοιχεία ΤΡΕΙΣ ΒΑΣΙΚΕΣ ΦΙΛΟΣΟΦΙΕΣ ΓΙΑ ΟΡΓΑΝΩΣΗ ΑΡΧΕΙΩΝ Αρχεία Σωρού (Heap Files): Καλή όταν το αρχείο είναι πολύ µικρό ή όταν θέλουµε όλες τις εγγραφές Ταξινοµηµένα Σειριακά Αρχεία (Sorted Sequential Files): Καλή όταν οι εγγραφές ανακτώνται σε κάποια σειρά ή µε κάποια διακύµανση Αρχεία Κατακερµατισµού (Hashed Files:) Καλή για ανακτήσεις εγγραφών µε κριτήριο την ισότητα µε κάποια τιµή Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.51

52 ΟΡΓΑΝΩΣΗ ΑΡΧΕΙΩΝ Απλό Μοντέλο για Υπολογισµό Κόστους εν λαµβάνουµε υπόψη το κόστος της CPU για απλούστευση B: Ο αριθµός σελίδων / blocks R: Ο αριθµός των εγγραφών ανά σελίδα D: (Μέση) τιµή χρόνου εγγραφής / ανάγνωσης σελίδας Μετρώντας το κόστος των I/O s εµπεριέχει αρκετούς περιορισµούς στην «ακρίβεια» της µέτρησης. Όλες οι προ-υποθέσεις για την παρακάτω ανάλυση είναι µεν απλοϊκές, αλλά σε κάθε περίπτωση, δίνουν µια σωστή εικόνα της τάξης µεγέθους. Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.52

53 ΟΡΓΑΝΩΣΗ ΑΡΧΕΙΩΝ Απλό Μοντέλο για Υπολογισµό Κόστους Scan all recs Heap File Sorted File Hashed File Equality Search Range Search Insert Delete Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.53

54 ΟΡΓΑΝΩΣΗ ΑΡΧΕΙΩΝ Απλό Μοντέλο για Υπολογισµό Κόστους Εισαγωγή / ιαγραφή µιας εγγραφής Heap Files: Επιλογή µε ισότητα στο κλειδί; Ανεύρεση µιας µόνο εγγραφής. Η εισαγωγή γίνεται στο τέλος του αρχείου. Sorted Files: Τα αρχεία αναδιοργανώνονται µετά τις διαγραφές Οι επιλογές γίνονται σε γνωρίσµατα της ταξινόµησης Hashed Files: εν υπάρχουν υπερχειλίσεις, 80% των σελίδων είναι γεµάτες. Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.54

55 ΟΡΓΑΝΩΣΗ ΑΡΧΕΙΩΝ Απλό Μοντέλο για Υπολογισµό Κόστους Heap Sorted Hashed File File File Scan all records BD BD 1.25 BD Equality Search 0.5 BD D log 2 B D Range Search BD D (log 2 B + # of 1.25 BD pages with matches) Insert 2D Search + BD 2D Delete Search + D Search + BD 2D Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.55

56 Μη ιατεταγµένα Αρχεία Σωρού Η απλούστερη δοµή αρχείου όπου οι εγγραφές είναι σε τυχαία σειρά Καθώς το αρχείο µεγαλώνει ή µικραίνει, σελίδες (µπλοκ) στον δίσκο προσδιορίζονται / από-προσδιορίζονται για το αρχείο Για να υποστηριχθούν πράξεις σε επίπεδο εγγραφών, πρέπει να: Είναι γνωστό ποιες σελίδες προσδιορίζονται για το αρχείο Είναι γνωστός ο ελεύθερος χώρος στις σελίδες Είναι γνωστές οι εγγραφές σε µια σελίδα Υπάρχουν πολλοί τρόποι για να επιτευχθούν τα παραπάνω Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.56

57 Αρχείο Σωρού Υλοποιούµενο ως Λίστα Σελίδα Επικεφαλίδα Σελίδα εδοµένων Σελίδα εδοµένων Σελίδα εδοµένων Γεµάτες Σελίδες Σελίδα εδοµένων Σελίδα εδοµένων Σελίδα εδοµένων Σελίδες µε Ελεύθερο Χώρο Κάθε Σελίδα περιέχει 2 ( ΥΟ) είκτες ΚΑΙ εδοµένα Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.57

58 Αρχείο Σωρού µε Κατάλογο Σελίδων Σελίδα Επικεφαλίδα (α) Σελίδα εδοµένων (β) Σελίδα εδοµένων Κατάλογος (ν) Σελίδα εδοµένων Ο ΚΑΤΑΛΟΓΟΣ (ή αρχείο-κατάλογος) είναι µια συλλογή Σελίδων Πολύ µικρότερες απαιτήσεις χώρου από την προηγούµενη υλοποίηση! Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.58

59 ΑΡΧΕΙΑ ΣΩΡΟΥ και ΕΥΡΕΤΗΡΙΑ Ένα Αρχείο Σωρού µας επιτρέπει να κάνουµε ανάκτηση εγγραφών : Με χρήση του TID (προσδιοριστής / κλειδί εγγραφής), ή Με σειριακή εξέταση όλων των εγγραφών Μερικές φορές, θέλουµε την ανάκληση εγγραφών δίνοντας τις τιµές σε ένα ή περισσότερα πεδία / γνωρίσµατα, π.χ., Βρες όλους τους Σπουδαστές στο Τµήµα ΗΜ & ΜΥ Βρες όλους τους Σπουδαστές µε Βαθµό Απολυτηρίου > 9 Τα Ευρετήρια (Indexes) είναι δοµές αρχείων που µας επιτρέπουν να απαντούµε τέτοιες ερωτήσεις πρόσβασης σε εγγραφές βάσει τιµών µε αποδοτικό τρόπο Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.59

60 Οργάνωση Αρχείων Τοποθέτηση βάσει τιµής Κλειδιού µε ιάταξη: Ταξινόµησε το αρχείο στο ΚΛΕΙ Ι και αποθήκευσε τις εγγραφές του (ΣΕΙΡΙΑΚΟ ΑΡΧΕΙΟ) Είναι ειδική περίπτωση της τοποθέτησης βάσει κλειδιού, µε το ιδιαίτερο χαρακτηριστικό ότι δεν υπάρχει ευρετήριο προς υποστήριξη Οι ανακλήσεις γίνονται µε υαδική Αναζήτηση (binary search) Πλεονεκτήµατα:» Ταχύτερη επιλογή - select (σε σχέση µε µη χρήση κλειδιού)» Καλό για ερωτήσεις διακύµανσης (range queries) π.χ., ηλικία µεταξύ 25 και 35» Αποδοτικές Συνενώσεις joins (π.χ., µε µεθόδους merge-scan) Μειονεκτήµατα:» Πιο αργή επιλογή ισότητας (σε σχέση µε άλλες οργανώσεις κλειδιού)» Οι ενηµερώσεις είναι εξαιρετικά ακριβές (και πολύπλοκες) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.60

61 Οργάνωση Αρχείων Τοποθέτηση εγγραφών σε Μπλοκ βάσει τιµής Κλειδιού: Οι εγγραφές τοποθετούνται σε Μπλοκ µε βάσει την τιµή κάποιων πεδίων / γνωρισµάτων που αποτελούν το ΚΛΕΙ Ι. Στην συνέχεια, είναι δυνατόν να ανακληθούν µε πρόσβαση βάσει συσχετισµού (by reference) Η υποστηρικτική δοµή που υλοποιεί την αντιστοίχιση των εγγραφών (που έχουν συγκεκριµένες τιµές στο κλειδί) µε ΜΠΛΟΚ ονοµάζεται ΕΥΡΕΤΗΡΙΟ (INDEX) ιευκολύνει την εκτέλεση ανακλήσεων εγγραφών µια και, σε µεγάλο βαθµό, µόνο οι σχετικές εγγραφές λαµβάνονται υπόψη Οι Ενηµερώσεις (εισαγωγές και διαγραφές) καθίστανται πιο ακριβές, γιατί πρέπει να ενηµερώνεται και το Ευρετήριο Υπάρχουν δύο βασικές οµές Ευρετηρίων (α) HASHING (Κατακερµατισµός) (β) ενδρικές (π.χ., ISAM (Indexed Sequential Access Method) ή B-Trees (Β- έντρα)) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.61

62 Αποθήκευση του Data Dictionary (Λεξικό) Data dictionary (system catalog) κρατά τα µετά-δεδοµένα: δηλαδή, δεδοµένα για τα δεδοµένα, όπως Πληροφορίες για Σχέσεις Ονόµατα των σχέσεων Ονόµατα και τύπους των γνωρισµάτων σε κάθε σχέση Ονόµατα και ορισµούς των όψεων - views Περιορισµούς Ακεραιότητας User and accounting information, including passwords Statistical and descriptive data number of tuples in each relation Physical file organization information How relation is stored (sequential/hash/ ) Physical location of relation» operating system file name or» disk addresses of blocks containing records of the relation Information about indices (Chapter 12) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.62

63 Αποθήκευση του Data Dictionary (συνέχεια) οµήτου Λεξικού: Χρησιµοποιεί εναλλακτικά: Ειδικές οµές εδοµένων προσανατολισµένες για αποδοτική πρόσβαση Ένα σύνολο σχέσεων, µε προσανατολισµό πάλι την απόδοση (συνήθως αποτελεί την προτιµητέα λύση) Ενδεικτικά, Το Λεξικό για µια Βάση εδοµένων: Relation-metadata = (relation-name, number-of-attributes, storage-organization, location) Attribute-metadata = (attribute-name, relation-name, domain-type, position, length) User-metadata = (user-name, encrypted-password, group) Index-metadata = (index-name, relation-name, index-type, index-attributes) View-metadata = (view-name, definition) Ι.Β Πρωτεύουσες Οργανώσεις Αρχείων Σελίδα 3.63