Ο Αντεστραμμένος Κατά ο ος

Transcript

1 6 Ο Αντεστραμμένος Κατά ο ος Περιε όμενα Κεφα αίου 6.1 Εισα ή Η Δομή του Αντεστραμμένου Κατα ό ου Χρήση του Κατα ό ου στην Επεξερ ασία Ερ τημάτ ν Θέματα Υ οποίησης Δημιουρ ία Κατα ό ου Συντήρηση Κατα ό ου Τε νικές Συμπίεσης Κατα ό ου Σύνοψη και Περαιτέρ Με έτη Ασκήσεις

2 118 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος 6.1 Εισα ή Ο αντεστραμμένος κατάλογος (inverted index) είναι η πιο διαδεδομένη μορφή κατα ό ου ια την ορ άν ση τ ν όρ ν μίας συ ο ής ε ράφ ν. Σε προη- ούμενα κεφά αια αναφέραμε συνοπτικά τα ασικά του αρακτηριστικά. Στο κεφά αιο αυτό με ετούμε τη δομή του αντεστραμμένου κατα ό ου σε με α ύτερο ά ος, δίνοντας έμφαση σε τρεις ασικούς άξονες: (α) στους διαφορετικούς τύπους αντεστραμμέν ν κατα ό ν που έ ουν προτα εί στη ι ιο ραφία, ( ) στον τρόπο επεξερ ασίας διαφόρ ν τύπ ν ερ τημάτ ν, και ( ) στη συμπίεση τ ν ιστών εμφάνισης που κατα αμ άνουν συνή ς με ά ο ώρο. Σ ετικά με τον άξονα ( ) α εστιάσουμε στο διανυσματικό μοντέ ο ανάκτησης και α εξετάσουμε ενα ακτικές μορφές επεξερ ασίας ερ τημάτ ν. Η ρήση του αντεστραμμένου κατα ό ου δεν είναι ο μοναδικός τρόπος να ορ- ανώσουμε μία συ ο ή ε ράφ ν. Στη ι ιο ραφία έ ουν προτα εί και ά ες μέ οδοι, οι πιο ν στές από τις οποίες ασίζονται στις υπογραφές (signatures). Ενα ακτικές με όδους κατα ό ν με ετούμε σε ξε ριστό κεφά αιο. Η έμφαση στο κεφά αιο αυτό δίνεται στον αντεστραμμένο κατά ο ο ο οποίος συνή ς είναι πιο αποδοτικός τόσο ς προς το ώρο που κατα αμ άνει όσο και ς προς την τα ύτητα επεξερ ασίας τ ν ερ τημάτ ν. 6.2 Η Δομή του Αντεστραμμένου Κατα ό ου Η ρήση κατα ό ν στο εύει στην αποδοτική επεξερ ασία τ ν ερ τημάτ ν. Η ρήση κατα ό ν αποτε εί το ασικότερο μη ανισμό ε τί σης της απόδοσης ενός Συστήματος Βάσε ν Δεδομέν ν. Για παράδει μα, το Β-δένδρο και ο κατακερματισμός (hashing) είναι δύο από τις σημαντικότερες με όδους κατα ό ν που υποστηρίζονται και επιτρέπουν την αποφυ ή εξέτασης με ά ου τμήματος της άσης ια τον προσδιορισμό της απάντησης σε ένα ερώτημα SQL. Στην περίπτ ση ενός Συστήματος Ανάκτησης Π ηροφορίας ο κατά ο ος είναι απαραίτητος ώστε να αποφευ εί η εξέταση ό ν τ ν ε ράφ ν της συ ο ής ια τον προσδιορισμό τ ν περισσότερο σ ετικών ε ράφ ν ς προς ένα ερώτημα. Η απουσία κατα ό ου συνεπά εται την εξέταση ό ν τ ν ε ράφ ν της συ - ο ής ια τον προσδιορισμό τ ν σ ετικών ε ράφ ν. Είναι προφανές ότι μία τέτοια ύση δεν είναι κα ό ου αποδοτική και επομέν ς η ρήση του κατα ό ου κρίνεται απαραίτητη. Ο αντεστραμμένος κατά ο ος είναι η πιο διαδεδομένη μορφή κατα ό ου, ό της απ ότητας α ά και της πο ύ κα ής συμπεριφοράς ς προς την απόδοση (τα ύτητα επεξερ ασίας) σ ετικά με ενα ακτικές μορφές ορ άν σης. Ο

3 6.2. Η Δομή του Αντεστραμμένου Καταλόγου 119 d 1 : d 2 : d 3 : d 4 : d 5 : d 6 : d 7 : Ο κομήτης του Χά εϋ μας επισκέπτεται περίπου κά ε ε δομήντα έξι ρόνια. Ο κομήτης του Χά εϋ ανακα ύφ ηκε από τον αστρονόμο Έντμοντ Χά εϋ. Ένας κομήτης δια ράφει ε ειπτική τρο ιά. Ο π ανήτης Άρης έ ει δύο φυσικούς δορυφόρους, το Δείμο και το Φό ο. Ο π ανήτης Δίας έ ει εξήντα τρεις ν στούς φυσικούς δορυφόρους. Ο Ή ιος είναι ένας αστέρας. Ο Άρης είναι ένας π ανήτης του η ιακού μας συστήματος. Σχήμα 6.1: Συλλογή εγγράφων. όρος αντεστραμμένος ησιμοποιείται ια να δη ώσει ότι αντί να κρατούμε π ηροφορία σ ετικά με το ποιοί όροι ρίσκονται σε ένα έ ραφο, κατα ράφουμε το σύνο ο τ ν ε ράφ ν που περιέ ουν ένα συ κεκριμένο όρο. Ένας αντεστραμμένος κατά ο ος αποτε είται από δύο ασικά τμήματα: (α) το λεξικό (lexicon) και ( ) τις λίστες εμφανίσεων (posting lists). Σε κά ε όρο αντιστοι εί μία ίστα εμφανίσε ν η οποία κατα ράφει π ηροφορίες σ ετικά με την εμφάνιση του όρου στα έ ραφα. Στην πιο απ ή της μορφή μία ίστα εμφανίσε ν περιέ ει μόνο τους κ δικούς αρι μούς τ ν ε ράφ ν που εμφανίζεται ο όρος. Ωστόσο, σε πο ές περιπτώσεις κατα ρείται και η έση εμφάνισης του όρου στο έ ραφο (positional inverted index). Ο δεύτερος τρόπος επιτρέπει την αποδοτική αναζήτηση φράσε ν α ά απαιτεί περισσότερο ώρο ια την απο ήκευση του κατα ό ου. Επομέν ς, ανά ο α με το επίπεδο επτομέρειας που ρησιμοποιείται ια την κατα ραφή τ ν εμφανίσε ν ενός όρου μπορούν να προκύψουν πο οί διαφορετικοί αντεστραμμένοι κατά ο οι. Τονίζεται στόσο ότι όσο μικρότερο το επίπεδο επτομέρειας τόσο ι ότερος ώρος απαιτείται ια την απο ήκευση του κατα ό ου α ά αυξάνει ο ρόνος επεξερ ασίας ορισμέν ν ερ τημάτ ν. Στο Σ ήμα 6.2 δίνεται η δομή του αντεστραμμένου κατα ό ου ια ό ους τους όρους που εμφανίζονται στη συ ο ή ε ράφ ν του Σ ήματος 6.1. Η κά ε ίστα εμφανίσε ν αποτε είται από έναν ακέραιο αρι μό που δη ώνει τον αρι μό τ ν ε ράφ ν που περιέ ουν τον όρο ακο ου ούμενο από ένα σύνο ο κ δικών ε ράφ ν. Για παράδει μα, η ίστα εμφανίσε ν του όρου κομήτης είναι [4: d 1, d 2, d 3, d 6 που σημαίνει ότι ο όρος εμφανίζεται σε τέσσερα έ ραφα τα οποία είναι τα d 1, d 2, d 3 και d 6. Εφόσον στις ίστες εμφανίσε ν αναφέρεται μόνο ο κ δικός αρι μός του ε ράφου, ο αντεστραμμένος κατά ο ος του Σ ήματος 6.2 αναφέρεται σε επίπεδο ε ράφου. Αντί ετα, ο κατά ο ος του Σ ήματος 6.3 έ ει κα ύτερο επίπεδο επτομέρειας διότι ια κά ε όρο κατα ράφει ό ι μόνο σε ποια έ ραφα ρίσκεται ο όρος α ά και σε ποιες έσεις μέσα στο κά ε έ ραφο. Για

4 120 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος λεξικό ο κοµήτης του Χάλεϋ µας επισκέπτεται περίπου κάθε εβδοµήντα έξι χρόνια ανακαλύφθηκε από τον αστρονόµο Έντµοντ ένας διαγράφει ελλειπτική τροχιά πλανήτης Άρης έχει δύο φυσικούς δορυφόρους το είµο και Φόβο ίας εξήντα τρεις γνωστούς Ήλιος είναι αστέρας ηλιακού συστήµατος λίστες εµφανίσεων [5: d 1, d 2, d 4, d 5, d 6, d 7 [3: d 1, d 2, d 3 [3: d 1, d 2, d 7 [2: d 1, d 2 [2: d 1, d 7 [1: d 1 [1: d 1 [1: d 1 [1: d 1 [1: d 1 [1: d 1 [1: d 2 [1: d 2 [1: d 2 [1: d 2 [1: d 2 [3: d 3, d 6, d 7 [1: d 3 [1: d 3 [1: d 3 [3: d 4, d 5, d 7 [2: d 4, d 7 [3: d 4, d 5 [1: d 4 [2: d 4, d 5 [2: d 4, d 5 [1: d 4 [1: d 4 [1: d 4 [1: d 4 [1: d 5 [1: d 5 [1: d 5 [1: d 5 [1: d 6 [2: d 6, d 7 [1: d 6 [1: d 7 [1: d 7 Σχήμα 6.2: Αντεστραμμένος κατάλογος επιπέδου εγγράφων. παράδει μα, η ίστα εμφανίσε ν του όρου κομήτης είναι [4: (d 1, 2), (d 2, 2), (d 3, 2), (d 6, 2) που σημαίνει ότι ο όρος ρίσκεται στη δεύτερη έση του ε ράφου d 1, στη δεύτερη έση του ε ράφου d 2, στη δεύτερη έση του ε ράφου d 3 και στη δεύτερη έση του ε ράφου d 6. Ενα ακτικά, α μπορούσαμε να κατα ράψουμε τη έση του πρώτου αρακτήρα του κά ε όρου μέσα στο έ ραφο, έτσι ώστε η μετακίνηση στις έσεις που εμφανίζεται ο όρος να ίνεται με με α ύτερη ευκο ία. Είναι προφανές ότι ο δεύτερος κατά ο ος κατα αμ άνει περισσότερο ώρο

5 6.2. Η Δομή του Αντεστραμμένου Καταλόγου 121 λεξικό ο κοµήτης του Χάλεϋ µας επισκέπτεται περίπου κάθε εβδοµήντα έξι χρόνια ανακαλύφθηκε από τον αστρονόµο Έντµοντ ένας διαγράφει ελλειπτική τροχιά πλανήτης Άρης έχει δύο φυσικούς δορυφόρους το είµο και Φόβο ίας εξήντα τρεις γνωστούς Ήλιος είναι αστέρας ηλιακού συστήµατος λίστες εµφανίσεων [5: (d 1, 1), (d 2,1),(d 4, 1), (d 5, 1), (d 7, 1) [3: (d 1, 2), (d 2, 2), (d 3, 2) [3: (d 1, 3), (d 2, 3), (d 7, 6) [2: (d 1, 4), (d 2, 4, 10) [2: (d 1, 5), (d 7, 8) [1: (d 1, 6) [1: (d 1,7) [1: (d 1, 8) [1: (d 1, 9) [1: (d 1, 10) [1: (d 1, 11) [1: (d 2, 5) [1: (d 2, 6) [1: (d 2, 7) [1: (d 2, 8) [1: (d 2, 9) [3: (d 3, 1), (d 6, 4), (d 7, 4) [1: (d 3, 3) [1: (d 3, 4) [1: (d 3, 5) [3: (d 4, 2), (d 5, 2), (d 7, 5) [2: (d 4, 3), (d 7, 2) [2: (d 4, 4), (d 5, 4) [1: (d 4, 5) [2: (d 4, 6), (d 5, 8) [2: (d 4, 7), (d 5, 9) [1: (d 4, 8, 11) [1: (d 4, 9) [1: (d 4, 10) [1: (d 4, 12) [1: (d 5, 3) [1: (d 5, 5) [1: (d 5, 6) [1: (d 5, 7) [1: (d 6, 2) [2: (d 6, 3), (d 7, 3) [1: (d 6, 5) [1: (d 7, 7) [1: (d 7, 9) Σχήμα 6.3: Αντεστραμμένος κατάλογος επιπέδου όρων. απ' ότι ο πρώτος. Υπάρ ουν δύο ό οι ια τους οποίους συμ αίνει αυτό: εκτός από τον κ δικό αρι μό του ε ράφου απο ηκεύεται και η έση του όρου μέσα στο έ ραφο, και σε περίπτ ση που ένας όρος εμφανίζεται περισσότερες φορές σε ένα έ - ραφο κατα ράφονται ό ες οι εμφανίσεις του ( ια παράδει μα, δείτε τη ίστα εμφανίσε ν του όρου Χά εϋ).

6 122 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος Σε μία ιδανική κατάσταση, τόσο το εξικό όσο και οι ίστες εμφανίσε ν ρίσκονται στην κύρια μνήμη. Ωστόσο, μία τέτοια υπό εση δεν είναι ρεα ιστική διότι οι ίστες εμφάνισης κατα αμ άνουν σημαντικό ώρο [2, 6, 16 και επομέν ς συνή ς απο ηκεύονται στη δευτερεύουσα μνήμη. Για παράδει μα, ια τη συ - ο ή ε ράφ ν NewsWire [16 συνο ικού με έ ους 1 GBytes, το μέ ε ος του αντεστραμμένου κατα ό ου κατα αμ άνει περίπου 430 MBytes, περίπου δη αδή το 40% του συνο ικού με έ ους της συ ο ής. Αντί ετα, το εξικό κατα αμ- άνει σημαντικά ι ότερο ώρο και είναι εφικτή η μόνιμη απο ήκευσή του στην κύρια μνήμη του συστήματος. Σύμφ να με το νόμο του Heap [10 εάν έ ουμε μία συ ο ή ε ράφ ν με συνο ικά n έξεις, τότε ο αρι μός τ ν μοναδικών όρ ν V (μέ ε ος εξικού) δίνεται από τον τύπο V = K n β, όπου η στα ερά K αμ άνει τιμές μεταξύ 10 και 100 ενώ η στα ερά β αμ άνει ετικές τιμές μικρότερες της μονάδας. Πειραματικές μετρήσεις με συ ο ές ε ράφ ν από το TREC-2 [1, 2 έ ουν δείξει ότι η τιμή του β είναι μεταξύ 0.4 kai 0.6. Φυσικά, οι τιμές τ ν στα ερών K και β εξαρτώνται άμεσα από τη συ ο ή ε ράφ ν. Με άση τις παραπάν παρατηρήσεις, έ ει διεξα εί σημαντική έρευνα στο ώρο με στό ο τη μεί ση του ώρου που κατα αμ άνει ο αντεστραμμένος κατά ο ος και κυρί ς οι ίστες εμφανίσε ν. Μία από τις τε νικές που έ ουν προτα εί είναι η συμπίεση τ ν ιστών, που εξετάζεται αρ ότερα στο κεφά αιο αυτό. 6.3 Χρήση του Κατα ό ου στην Επεξερ ασία Ερ τημάτ ν Κατά τη με έτη του Λο ικού μοντέ ου ανάκτησης (Κεφά αιο 3) αναφερ ήκαμε σε τρόπους επεξερ ασίας ερ τημάτ ν ρησιμοποιώντας τον αντεστραμμένο κατά ο ο. Εδώ α προ ρήσουμε σε με α ύτερο ά ος και α με ετήσουμε με- όδους επεξερ ασίας ερ τημάτ ν ια την περίπτ ση του Διανυσματικού μοντέ- ου ανάκτησης που παρουσιάζει ιδιαίτερο ενδιαφέρον ό της με ά ης αποδο- ής του. Τονίζεται ότι α αντιμετ πίσουμε αρκετές δυσκο ίες κα ώς με άση το Διανυσματικό μοντέ ο τα έ ραφα α πρέπει να α μο ο η ούν ς προς τη σ ετικότητά τους με το εκάστοτε ερώτημα. Θε ρούμε ότι ο α μός ομοιότητας μεταξύ q και d δίνεται από το ασικό τύπο της συνάρτησης συνημιτόνου ρησιμοποιώντας συ κεκριμένους σ ηματισμούς ια τον προσδιορισμό τ ν ποσοτήτ ν που δίνονται στους Πίνακες 4.3 έ ς 4.7 του Κεφα αίου 4. Θε ρούμε οιπόν ότι ο α μός ομοιότητας υπο ο ίζεται ς εξής:

7 6.3. Χρήση του Καταλόγου στην Επεξεργασία Ερωτημάτων 123 S(q, d) = 1 L q L d ) (1 + ln(f t,d )) ln (1 + Nnt t T q,d (6.1) όπου N το π ή ος τ ν ε ράφ ν της συ ο ής, L q = q, L d = d, n t είναι το π ή ος τ ν ε ράφ ν που περιέ ουν τον όρο t, T q,d το σύνο ο τ ν κοινών όρ ν του q και d, και f t,d η συ νότητα εμφάνισης του όρου t στο έ ραφο d. Μία απ ή προσέ ιση ια τον προσδιορισμό τ ν σ ετικών ς προς το ερώτημα q ε ράφ ν είναι να ε ρήσουμε ότι στην απάντηση ανήκουν ό α τα έ - ραφα που εμφανίζουν α μό ομοιότητας με α ύτερο από το μηδέν. Αυτό εμπεριέ ει τον κίνδυνο το π ή ος τ ν ε ράφ ν της απάντησης να είναι υπερ ο ικά με ά ο, οπότε η δια είριση της απάντησης από το ρήστη ίνεται δυσκο ότερη. Ένας ά ος τρόπος προσδιορισμού της απάντησης είναι να ε ρήσουμε ότι μας ενδιαφέρουν τα k έ ραφα που εμφανίζουν το με α ύτερο α μό ομοιότητας. Με τον τρόπο αυτό πετυ αίνουμε ι ότερα έ ραφα στην απάντηση και επομέν ς μικρότερη κατανά ση πόρ ν ια την επεξερ ασία του ερ τήματος. Όταν εντοπιστούν τα k έ ραφα με το με α ύτερο α μό η διαδικασία επεξερ ασίας τερματίζεται. Αν υπο έσουμε ότι δεν έ ουμε στη διά εσή μας κάποιον κατά ο ο, τότε ο μοναδικός τρόπος επεξερ ασίας του ερ τήματος είναι η ακο ου ιακή εξέταση ό ν τ ν ε ράφ ν, ο υπο ο ισμός της ομοιότητας με το ερώτημα και η απο ήκευση τ ν k με α ύτερ ν τιμών που έ ουν υπο ο ιστεί (εξαντ ητική μέ οδος). Όταν εξαντ η ούν τα έ ραφα, επιστρέφονται στο ρήστη τα k έ ραφα που έ ουν το με α ύτερο α μό ομοιότητας. Είναι προφανές, ότι το κόστος επεξερ ασίας στην περίπτ ση αυτή α είναι πο ύ σημαντικό και μά ον απα ορευτικό ια την ρήση του συστήματος, ειδικά όταν το π ή ος τ ν ε ράφ ν της συ ο ής είναι με ά ο. Επιπ έον, η απουσία κατα ό ου σημαίνει ότι δεν υπάρ ει τρόπος να διαπιστώσουμε αν ένας όρος έμφανίζεται σε ένα έ ραφο αν δε σαρώσουμε το έ ραφο από την αρ ή ς το τέ ος. Στο Σ ήμα 6.4 δίνεται ο εξαντ ητικός α όρι μος υπο ο ισμού τ ν k ε - ράφ ν με το με α ύτερο α μό ομοιότητας ς προς το ερώτημα q. Σε κά ε έ ραφο d αντιστοι εί η μετα ητή score d που κατα ράφει τον τρέ οντα α μό του ε ράφου. Η τιμή score d αυξάνεται όταν συναντήσουμε στο έ ραφο έναν όρο που υπάρ ει στο ερώτημα. Ένας απ ός τρόπος κατα ραφής τ ν τιμών score d είναι με τη ρήση ενός μονοδιάστατου πίνακα. Ο απ ός αυτός α όρι μος επεξερ ασίας μπορεί να ρησιμοποιη εί μόνο σε μικρές συ ο ές ε ράφ ν διότι το κόστος επεξερ ασίας αυξάνεται σημαντικά. Στη συνέ εια α με ετήσουμε την επεξερ ασία ενός ερ τήματος q με στό ο

8 124 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος Α όρι μος Top-k-exhaustive (D, q, k) D: συ ο ή ε ράφ ν q: ερώτημα k: π ή ος ε ράφ ν της απάντησης 1. ια κά ε όρο t T q υπο ο ισμός της ποσότητας idf t = ln(1 + N/n t ) 2. ια κά ε έ ραφο d D 2.1. αρ ικοποίηση score d = ια κά ε όρο t T q υπο ο ισμός της ποσότητας tf t,d = 1 + ln(f t,d ) ενημέρ ση score d = score d + tf t,d idf t 2.3. υπο ο ισμός της ποσότητας L d 2.4. ενημέρ ση score d = score d /L d 3. επιστροφή τ ν k ε ράφ ν με τη με α ύτερη τιμή score d Σχήμα 6.4: Εξαντλητικός αλγόριθμος υπολογισμού των k ομοιοτέρων εγγράφων. τον προσδιορισμό τ ν k ε ράφ ν της συ ο ής με το με α ύτερο α μό ομοιότητας με το ερώτημα ρησιμοποιώτας τον αντεστραμμένο κατά ο ο. Η αξία του κατα ό ου έ κειται στο ε ονός ότι τμήματα της συ ο ής που δεν είναι δυνατό να συμμετέ ουν στην απάντηση δεν εξετάζονται, με αποτέ εσμα να εξοικονομείται πο ύτιμος ρόνος. Αρ ικά πρέπει να ε αι ούμε ότι ο αντεστραμμένος κατά ο ος περιέ ει ό ες τις απαραίτητες π ηροφορίες ια τον υπο ο ισμό της ομοιότητας μεταξύ ενός ερ τήματος q και ενός ε ράφου d j. Εστιάζουμε στον αντεστραμμένο κατά ο ο επιπέδου ε ράφ ν, διότι δε μας ενδιαφέρουν οι ακρι- είς έσεις τ ν όρ ν στα έ ραφα. Ωστόσο, ο κατά ο ος του Σ ήματος 6.2 δεν μπορεί να ρησιμοποιη εί απευ είας διότι δεν περιέ ει ό ες τις απαραίτητες π ηροφορίες ια τον υπο ο ισμό του α μού ομοιότητας μεταξύ q και d. Πιο συ κεκριμένα, ενώ η ποσότητα n t είναι δια έσιμη ια κά ε όρο t, η συ νότητα εμφάνισης τ ν όρ ν στα έ ραφα δεν κατα ράφεται. Με την κατα ραφή της συ- νότητας εμφάνισης προκύπτει ο κατά ο ος του Σ ήματος 6.5. Παρατηρήστε τη διαφορά από τον κατά ο ο του Σ ήματος 6.3 όπου μας ενδιαφέρει η έση της κά ε εμφάνισης ενός όρου σε ένα έ ραφο. Αντι έτ ς, στο Σ ήμα 6.5 κατα ράφεται ια κά ε έ ραφο το π ή ος τ ν εμφανίσε ν ενός όρου στο έ ραφο (η ποσότητα f t,d ). Με άση τη συνάρτηση υπο ο ισμού της ομοιότητας 6.1 οι ποσότητες L q και L d πρέπει να είναι ν στές. Η τιμή L q υπο ο ίζεται ια κά ε νέο ερώτημα ενώ η τιμή L d υπο ο ίζεται μία φορά ια κά ε έ ραφο (κατά την εισα- ή του ε ράφου στη συ ο ή) και απο ηκεύεται. Σε περίπτ ση ενημέρ σης

9 6.3. Χρήση του Καταλόγου στην Επεξεργασία Ερωτημάτων 125 του περιε ομένου του ε ράφου, ανανεώνεται και η τιμή L d. Στο Σ ήμα 6.6 οι τιμές L d εμφανίζονται με τη μορφή ενός μονοδιάστατου πίνακα (διανύσματος) του οποίου η j-οστή έση αντιστοι εί στην τιμή L dj. Εφόσον ό ες οι π ηροφορίες ια τον υπο ο ισμό του α μού ομοιότητας είναι δια έσιμες, α πρέπει να προσδιοριστεί και ο τρόπος επεξερ ασίας του ερ τήματος με τη ρήση του κατα ό ου. Μία πρώτη παρατήρηση είναι ότι δε ρειάζεται να ρησιμοποιη εί ο όρος L q ια τον υπο ο ισμό της ομοιότητας κα ώς έ ει την ίδια επίδραση σε ό α τα έ ραφα. Μία δεύτερη παρατήρηση είναι ότι δε ρειάζεται να επεξερ αστούμε ό α τα έ ραφα της συ ο ής, α ά μόνο τα έ ραφα που περιέ ουν όρους κοινούς με το ερώτημα. Από τις ίστες εμφανίσε ν είναι ν στό το υποσύνο ο τ ν ε ράφ ν που περιέ ουν ένα συ κεκριμένο όρο. Κά ε φορά που συναντούμε ένα έ ραφο που περιέ ει έναν όρο του ερ τήματος, ο όρος αυτός συνεισφέρει στην τιμή της συνάρτησης ομοιότητας. Αρκεί επομέν ς να α ροίσουμε τις συνεισφορές ό ν τ ν όρ ν του ερ τήματος ια τα έ ραφα που περιέ ουν έστ και έναν εκ τ ν όρ ν του ερ τήματος. Η υ οποίηση αυτής της με όδου απαιτεί την ύπαρξη ενός συνό ου από συσσωρευτές (accumulators). Σε κά ε έ ραφο d που περιέ ει έστ και έναν όρο του ερ τήματος αντιστοι- εί ένας συσσ ρευτής Σ d που αρ ικοποιείται με μηδέν. Στη συνέ εια, όταν το έ ραφο d συναντη εί στη ίστα εμφανίσε ν ενός όρου t που υπάρ ει στο ερώτημα, υπο ο ίζεται η συνεισφορά του όρου αυτού και το αποτέ εσμα προστί εται στο συσσ ρευτή. Όταν εξαντ η ούν οι όροι του ερ τήματος, από τις τιμές τ ν συσσ ρευτών επι έ ονται οι k με α ύτερες που αντιστοι ούν στα k έ ραφα με την υψη ότερη α μο ο ία. Είναι προφανές ότι έ ραφα που δεν περιέ ουν κανέναν εκ τ ν όρ ν του ερ τήματος α μο ο ούνται με μηδέν και επομέν ς α νοούνται. Ο νέος α όρι μος επεξερ ασίας που ρησιμοποιεί τον αντεστραμμένο κατά- ο ο δίνεται στο Σ ήμα 6.7, ενώ μία πιο παραστατική επεξή ηση της διαδικασίας επεξερ ασίας παρουσιάζεται στο Σ ήμα 6.8. Παράδει μα 6.1 Ας εξετάσουμε τον τρόπο εύρεσης τ ν k=2 ομοιότερ ν ε ράφ ν με άση τον α όρι μο του Σ ήματος 6.7 ια τον αντεστραμμένο κατά ο ο του Σ ήματος 6.5. Θα ε ρήσουμε ότι το ερώτημα q αποτε είται από τους όρους t 1 = κόμητης και t 2 = Χά εϋ. Αρ ικά α επεξερ αστούμε τον όρο κομήτης και στη συνέ εια τον όρο Χά εϋ. Από τη ίστα εμφανίσε ν του όρου κομήτης παρατηρούμε ότι ο όρος ρίσκεται σε τέσσερα έ ραφα. Επομέν ς, μπορούμε να υπο ο ίσουμε την ποσότητα idf του όρου που είναι idf t1 = ln(1 + N/n t1 ) = ln(2.75) = Δημιουρ ούνται τέσσερις νέοι συσσ ρευτές ια τα έ ραφα που περιέ ουν τον όρο αυτό, δη αδή d 1, d 2, d 3 και d 6. Οι τιμές τ ν συσσ ρευτών έ ουν ς εξής:

10 126 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος λεξικό ο κοµήτης του Χάλεϋ µας επισκέπτεται περίπου κάθε εβδοµήντα έξι χρόνια ανακαλύφθηκε από τον αστρονόµο Έντµοντ ένας διαγράφει ελλειπτική τροχιά πλανήτης Άρης έχει δύο φυσικούς δορυφόρους το είµο και Φόβο ίας εξήντα τρεις γνωστούς Ήλιος είναι αστέρας ηλιακού συστήµατος λίστες εµφανίσεων [5:(d 1, 1), (d 2,1),(d 4, 1), (d 5, 1), (d 7, 1) [3:(d 1, 1), (d 2, 1), (d 3, 1) [3:(d 1, 1), (d 2, 1), (d 7, 1) [2:(d 1, 1), (d 2, 2) [2:(d 1, 1), (d 7, 1) [1:(d 1, 1) [1:(d 1,1) [1:(d 1, 1) [1:(d 1, 1) [1:(d 1, 1) [1:(d 1, 1) [1:(d 2, 1) [1:(d 2, 1) [1:(d 2, 1) [1:(d 2, 1) [1:(d 2, 1) [3:(d 3, 1), (d 6, 1), (d 7, 1) [1:(d 3, 1) [1:(d 3, 1) [1:(d 3, 1) [3:(d 4, 1), (d 5, 1), (d 7, 1) [2:(d 4, 1), (d 7, 1) [2:(d 4, 1), (d 5, 1) [1:(d 4, 1) [2:(d 4, 1), (d 5, 1) [2:(d 4, 1), (d 5, 1) [1:(d 4, 2) [1:(d 4, 1) [1:(d 4, 1) [1:(d 4, 1) [1:(d 5, 1) [1:(d 5, 1) [1:(d 5, 1) [1:(d 5, 1) [1:(d 6, 1) [2:(d 6, 3), (d 7, 3) [1:(d 6, 1) [1:(d 7, 1) [1:(d 7, 1) Σχήμα 6.5: Αντεστραμμένος κατάλογος επιπέδου εγγράφων με συχνότητες εμφάνισης. d 1 d 2 d 3 d 4 d 5 d 6 d Σχήμα 6.6: Οι τιμές L d.

11 6.3. Χρήση του Καταλόγου στην Επεξεργασία Ερωτημάτων 127 Α όρι μος Top-k-inverted (D, q, k) D: συ ο ή ε ράφ ν q: ερώτημα k: π ή ος ε ράφ ν της απάντησης 1. αρ ικοποίηση Σ = (σύνο ο σ σσ ρευτών) 2. ια κά ε όρο t T q 2.1. αναζήτηση του t στο εξικό 2.2. ανά ν ση της τιμής n t 2.3. υπο ο ισμός της ποσότητας idf t = ln(1 + N/n t ) 2.4. ια κά ε ζεύ ος (d,f t,d ) της ίστας εμφανίσε ν του t αν δεν υπάρ ει ο συσσ ρευτής Σ d τότε δημιουρ είται υπο ο ισμός της ποσότητας tf t,d = 1 + ln(f t,d ) ενημέρ ση του συσσ ρευτή Σ d = Σ d + tf t,d idf t 3. ια κά ε συσσ ρευτή Σ d ενημέρ ση Σ d = Σ d /L d 4. επι ο ή τ ν k με α ύτερ ν συσσ σρευτών και επιστροφή τ ν αποτε εσμάτ ν Σχήμα 6.7: Αλγόριθμος υπολογισμού των k ομοιοτέρων εγγράφων με χρήση αντεστραμμένου καταλόγου. Σ d1 = tf t1,d 1 idf t1 = και ομοί ς Σ d2 = 1.011, Σ d3 = 1.011, Σ d6 = Στη συνέ εια εξετάζουμε τον όρο Χά εϋ ο οποίος εμφανίζεται σε δύο έ ραφα τα d 1 και d 2. Επειδή ήδη υπάρ ουν οι συσσ ρευτές ια τα έ ραφα αυτά, δε ρειάζεται να δημιουρ ήσουμε νέους. Ωστόσο, α πρέπει να ενημερ ούν οι τιμές τ ν συσσ ρευτών. Ο όρος Χά ευ εμφανίζεται σε δύο έ ραφα, οπότε n t2 = 2 και επομέν ς idf t2 = Οι μόνοι συσσ ρευτές που πρέπει να ενημερ ούν είναι οι Σ d1 και Σ d2. Άρα έ ουμε, Σ d1 = Σ d1 + T F t2,d 1 idf t2 = = και Σ d2 = Σ d2 + tf t2,d 2 idf t2 = = Στη συνέ εια διαιρούμε τον κά ε συσσ ρευτή με την τιμή L d και έ ουμε τις τε ικές τιμές: Σ d1 = 2.515/2.646 = 0.95, Σ d2 = 3.557/3.296 = 1.079, Σ d3 = 1.011/2.236 = και Σ d6 = 1.011/3.141 = Είναι προφανές ότι οι συσσ ρευτές με τις δύο με α ύτερες τιμές είναι οι Σ d2 και Σ d1 και επομέν ς τα δύο περισσότερο σ ετικά έ ραφα ς προς το ερώτημα είναι τα d 2 και d 1. Σε αντί εση με τον εξαντ ητικό α όρι μο, που εξετάζει ό α τα έ ραφα της συ - ο ής, ο α όρι μος που ρησιμοποιεί αντεστραμμένο κατά ο ο ρειάστηκε να εξετάσει μόνο τέσσερα από τα επτά έ ραφα ια να εντοπίσει τα δύο πιο σ ετικά ς προς το ερώτημα. Επιπ έον, ό ες οι π ηροφορίες ια τον υπο ο ισμό του α μού ομοιότητας ρίσκονται στη δομή του αντεστραμμένου κατα ό ου επομέν ς δεν απαιτείται η ρήση τε νικών αναζήτησης τ ν όρ ν μέσα στα έ ραφα.

12 128 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος λεξικό λίστες εµφανίσεων όρος t 1 ερώτηµα όρος t 2 άθροιση συνεισφοράς όρος t 3 συσσωρευτές διαίρεση βάρη εγγράφων υπολογισµός βαθµοί οµοιότητας επιλογή top-k έγγραφα Σχήμα 6.8: Η διαδικασία επεξεργασίας ερωτήματος top-k. 6.4 Θέματα Υ οποίησης Στη συνέ εια εξετάζουμε μερικά ζητήματα υ οποίησης του αντεστραμμένου κατα ό ου τα οποία πρέπει να αντιμετ πιστούν με στό ο την αύξηση της απόδοσης του κατα ό ου τόσο σε έματα κατασκευής και συντήρησης όσο και σε έματα που αφορούν στον απαιτούμενο ώρο ια την απο ήκευσή του Δημιουρ ία Κατα ό ου Έ ς τώρα, ε ρήσαμε δεδομένη την ύπαρξη του κατα ό ου και με ετήσαμε με όδους επεξερ ασίας ερ τημάτ ν. Ωστόσο, η δημιουρ ία του κατα ό ου αποτε εί ενδιαφέρον πρό ημα που απαιτεί αποδοτική ύση. Εδώ α εξετάσουμε την περίπτ ση της δημιουρ ίας του αντεστραμμένου κατα ό ου ια μία δεδομένη

13 6.4. Θέματα Υλοποίησης 129 Α όρι μος BuildInvertedIndex-InMemory (D) D: συ ο ή ε ράφ ν 1. πρώτη ανά ν ση της συ ο ής D, όπου ιά κά ε όρο t 1.1. υπο ο ίζεται το π ή ος τ ν ε ράφ ν που τον περιέ ουν (n t ) 1.2. υπο ο ίζεται ένα άν όριο (u t ) ια το μήκος της ίστας εμφανίσε ν 2. δεσμεύεται στη μνήμη ώρος με έ ους u t 3. ια κά ε t δημιουρ είται ένα δείκτης p t που δεί νει στη ίστα εμφανίσε ν 4. δεύτερη ανά ν ση της συ ο ής D 4.1. ια κά ε όρο t και κά ε έ ραφο d υπο ο ίζεται η συ νότητα εμφάνισης f t,d απο ηκεύεται ο κ δικός του ε ράφου και ο αρι μός f t,d στη έση p t απο ηκεύονται οι έσεις του όρου t στο έ ραφο d μετακινείται ο δείκτης p t μία έση δεξιά 5. ανά ν ση του κατα ό ου, συμπίεση και απο ήκευση στο δίσκο Σχήμα 6.9: Αλγόριθμος αντιστροφής στην κύρια μνήμη. συ ο ή ε ράφ ν. Η διαδικασία αυτή κα είται και αντιστροφή (inversion) της συ ο ής. Η αντιστροφή ρησιμοποιείται σε περιπτώσεις όπου τα περισσότερα έ ραφα της συ ο ής είναι ν στά. Περαιτέρ α α ές στον κατά ο ο είναι εφικτές ρησιμοποιώντας τις ειτουρ ίες συντήρησης (εισα ή νέου ε ράφου, δια ραφή υπάρ οντος ε ράφου). Η πρώτη τε νική αντιστροφής που α με ετήσουμε ασίζεται αποκ ειστικά στην κύρια μνήμη (RAM) του συστήματος. Επομέν ς, ια πο ύ με ά ες συ - ο ές ε ράφ ν, αυτή η μέ οδος αντιστροφής μπορεί να είναι προ ηματική στην περίπτ ση που η κύρια μνήμη δεν είναι αρκετή ια την απο ήκευση του εξικού και τ ν ιστών εμφανίσε ν τ ν όρ ν. Ο α όρι μος αντιστροφής στην κύρια μνήμη δια άζει δύο φορές τη συ ο ή τ ν ε ράφ ν D. Κατά την πρώτη ανά ν ση υπο ο ίζονται οι συ νότητες εμφάνισης τ ν όρ ν στα έ ραφα, ενώ κατά το δεύτερο πέρασμα τοπο ετούνται οι δείκτες τ ν ιστών εμφανίσε ν στις κατά η ες έσεις, ρησιμοποιώντας τη δυνατότητα της τυ αίας προσπέ ασης που προσφέρει η κύρια μνήμη. Τα ασικά ήματα του α ορί μου δίνονται στο Σ ήμα 6.9. Τονίζεται, ότι σε περίπτ ση που δεν απαιτείται η κατα ώρηση τ ν έσε ν του κά ε όρου στα έ ραφα, τότε μπορούμε να παρα είψουμε το ήμα , δημιουρ ώντας έτσι έναν αντεστραμμένο κατά ο ο επιπέδου ε ράφου (ένας κατά ο ος αυτής της μορφής παρουσιάζεται στο Σ ήμα 6.5). Τα δύο ασικά προ ήματα της προη ούμενης με όδου είναι τα ακό ου α:

14 130 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος Α όρι μος BuildInvertedIndex-Sorting (D) D: συ ο ή ε ράφ ν 1. ια κά ε έ ραφο d D 1.1. ια κά ε όρο t d εύρεση της ποσότητας f t,d 1.2. δημιουρ ία της ε ραφής (t, d, f t,d ) 2. ια κά ε τμήμα του ενδιάμεσου αρ είου 2.1. ανά ν ση του τμήματος στην κύρια μνήμη 2.2. ταξινόμηση του τμήματος 2.3. ε ραφή του ταξινομημένου τμήματος στο δίσκο 3. συ ώνευση τ ν ταξινομημέν ν τμημάτ ν 4. ανά ν ση του ταξινομημένου αρ είου και σταδιακή κατασκευή του κατα ό ου Σχήμα 6.10: Αλγόριθμος αντιστροφής με ταξινόμηση. (α) απαιτούνται δύο ανα νώσεις της συ ο ής ε ράφ ν, ενώ α πρέπει να αναζητούμε κά ε φορά τους όρους στα έ ραφα και ( ) ια με ά ες συ ο ές ε ράφ ν το μέ ε ος του κατα ό ου ενδέ εται να δημιουρ ήσει προ ήματα επάρκειας μνήμης. Τα προ ήματα της αντιστροφής εξ' ο οκ ήρου στην κύρια μνήμη μπορούν να επι υ ούν ρησιμοποιώντας ενα ακτικές με όδους αντιστροφής. Μία από τις με όδους αυτές στηρίζεται στην ταξινόμηση. Σύμφ να με τη μέ οδο αυτή, πρα ματοποιείται μία μόνο ανά ν ση της συ ο ής, κατά την οποία δημιουρ είται ένα ενδιάμεσο αρ είο στο δίσκο που περιέ ει ε ραφές της μορφής (t, d, f t,d ). Αρ ικά, το αρ είο είναι ταξινομημένο ς προς τους κ δικούς τ ν ε ράφ ν, αφού επεξερ αζόμαστε τα αρ εία σειριακά. Στη συνέ εια, το ενδιάμεσο αρ είο ταξινομείται ς προς τους όρους και ια κά ε όρο t υπο ο ίζεται το π ή ος τ ν ε ράφ ν n t που τον περιέ ουν. Η ταξινόμηση μπορεί να πρα ματοποιη εί ρησιμοποιώντας τη μέ οδο ταξινόμησης με συ ώνευση. Το ενδιάμεσο αρ είο ρίζεται σε τμήματα, στη συνέ εια κά ε τμήμα ταξινομείται στην κύρια μνήμη και τέ ος ε ράφεται στο δίσκο. Ακο ου εί η διαδικασία της συ ώνευσης, αποτέ εσμα της οποίας είναι το ταξινομημένο ενδιάμεσο αρ είο. Τέ ος, κατασκευάζεται ο αντεστραμμένος κατά ο ος. Με προσεκτικό σ εδιασμό, η μέ- οδος αυτή μπορεί να ειτουρ ήσει ρίς να δημιουρ η εί έμα επάρκειας της κύριας μνήμης. Η τρίτη μέ οδος που εξετάζεται στηρίζεται στη συ ώνευση. Πρα ματοποιείται και πά ι μία μόνο ανά ν ση της συ ο ής ε ράφ ν, κατά την οποία δημιουρ είται ο αντεστραμμένος κατά ο ος στην κύρια μνήμη. Όταν η ε εύ- ερη εξαντ η εί, τότε το τμήμα του κατα ό ου που έ ει δημιουρ η εί μαζί με

15 6.4. Θέματα Υλοποίησης 131 Α όρι μος BuildInvertedIndex-Merging (D) D: συ ο ή ε ράφ ν 1. μέ ρι να εξαντ η εί η ε εύ ερη μνήμη 1.1. ανά ν ση του επόμενου ε ράφου d D 1.2. ενημέρ ση του κατα ό ου ια τους όρους t d 2. ε ραφή του τμήματος του κατα ό ου στο δίσκο 3. αν υπάρ ουν και ά α αρ εία, επανά ηψη από το ήμα συ ώνευση τ ν τμημάτ ν κατα ό ου που έ ουν δημιουρ η εί Σχήμα 6.11: Αλγόριθμος αντιστροφής με συγχώνευση. το τμήμα του εξικού απο ηκεύονται στο δίσκο, ενώ δια ράφονται τα δεδομένα από την κύρια μνήμη. Επανα αμ άνεται η ίδια διαδικασία μέ ρι να ο οκ ηρ εί η ανά ν ση και η επεξερ ασία της συ ο ής. Στη συνέ εια, τα τμήματα που έ ουν απο ηκευ εί στο δίσκο συ νεύονται ώστε να παρα εί ο τε ικός συνο- ικός αντεστραμμένος κατά ο ος. Σύμφ να με πειραματικές με έτες, η μέ οδος της αντιστροφής με συ ώνευση είναι πο ύ αποδοτική ακόμη και ια με ά ες συ ο ές ε ράφ ν. Βέ αια, με τη ρήση τε νικών συμπίεσης μπορούμε να πετύ ουμε ακόμη κα ύτερα αποτε έσματα τόσο ς προς το ώρο που απαιτείται ια την απο ήκευση του κατα ό ου όσο και ς προς τον απαιτούμενο ρόνο κατασκευής Συντήρηση Κατα ό ου Στις προη ούμενες παρα ράφους με ετή ηκε το πρό ημα της κατασκευής ενός αντεστραμμένου κατα ό ου ια μία δεδομένη συ ο ή ε ράφ ν. Εάν δεν υπάρ ουν α α ές στη συ ο ή (δεν εισά ονται ούτε δια ράφονται έ ραφα) τότε η μέ οδος της αντιστροφής εκτε είται μία μόνο φορά. Ωστόσο, σε πο ές περιπτώσεις επι ά εται η υποστήριξη της ενημέρ σης του κατα ό ου ό της εισα ής νέ ν ε ράφ ν (ή της δια ραφής πα αιών). Είναι προφανές, ότι σε μία τέτοια περίπτ ση α πρέπει ο κατά ο ος να τροποποιη εί ώστε να ανταποκρίνεται π ήρ ς στη συ ο ή ε ράφ ν. Δυστυ ώς, η άμεση ενημέρ ση του κατα ό ου με στό ο την προσ ήκη ενός νέου ε ράφου είναι αρκετά ρονο όρα, ιδιαίτερα ια πο ύ με ά α έ ραφα. Για το ό ο αυτό, έ ουν προτα εί ενα ακτικές μέ- οδοι ενημέρ σης του κατα ό ου με σκοπό τη μεί ση του κόστους ενημέρ σης. Οι ασικότερες από αυτές είναι:

16 132 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος Αναδόμηση καταλόγου. Σύμφ να με την τε νική αυτή, συ έ ονται νέα έ ραφα προς εισα ή και στη συνέ εια πρα ματοποιείται μία εκ νέου δημιουρ ία του κατα ό ου, ενώ ο προη ούμενος κατά ο ος δια ράφεται. Ενημέρωση με συγχώνευση. Για τα νέα έ ραφα δημιουρ είται ένας προσ ρινός κατά ο ος που διατηρείται στην κύρια μνήμη του συστήματος. Όταν εξαντ η εί ο ε εύ ερος ώρος στη μνήμη, τότε εφαρμόζεται η τε νική της συ ώνευσης κατά την οποία συ νεύονται τα περιε όμενα του υπάρ οντος κατα ό ου που ρίσκονται στο δίσκο με τα περιε όμενα του προσ ρινού κατα ό ου της κύριας μνήμης. Σταδιακή ενημέρωση. Σύμφ να με τη μέ οδο αυτή, ο κατά ο ος ενημερώνεται σταδιακά ια κά ε όρο όταν αυτό είναι εφικτό. Για την ενημέρ ση της ίστας εμφανίσε ν ενός όρου t η ίστα δια άζεται από το δίσκο στην κύρια μνήμη, ενημερώνεται και στη συνέ εια απο ηκεύεται πά ι στο δίσκο. Η ειτουρ ία αυτή πρέπει να κα υστερεί όσο ίνεται περισσότερο ώστε να αποφεύ εται κατά το δυνατόν η πο απ ή ανά ν ση και απο ήκευση της ίδιας ίστας. Ένας εύκο ος τρόπος να ίνει αυτό είναι να συ έ ονται τα δεδομένα στην κύρια μνήμη, και όταν το μέ ε ος τ ν δεδομέν ν ξεπεράσει κάποιο όριο τότε να πρα ματοποιείται η ενημέρ ση τ ν ιστών εμφάνισης. Ενα ακτικά, μία ίστα μπορεί να ενημερ εί όταν απαιτη εί η ανά ν σή της κατά τη διαδικασία επεξερ ασίας κάποιου ερ τήματος. Οι τε νικές αυτές είναι ι ότερο αποδοτικές σε σ έση με την ενημέρ ση με συ ώνευση. Για μετρίου με έ ους συ ο ές ε ράφ ν η μέ οδος της ενημέρ σης με συ ώνευση έ ει την κα ύτερη απόδοση. Η μέ οδος της σταδιακής ενημέρ σης αρακτηρίζεται από δυσκο ία στην αποκατάσταση του κατα ό ου μετά από κάποιο σφά μα διότι α πρέπει να ν ρίζουμε ποιες ίστες έ ουν μετα η εί και ποιες ό ι. Απαιτείται δη αδή μία μορφή αρ είου ημερο ο ίου. Η μέ οδος της αναδόμησης αρακτηρίζεται από απ ότητα, διότι δεν απαιτεί κάποια εξειδικευμένη διαδικασία ενημέρ σης. Το κόστος της αναδόμησης ια συ ο ές που δεν αρακηρίζονται από συ νή μετα ο ή τ ν ε ράφ ν αναμένεται να είναι είναι με α ύτερο σε σ έση με αυτό τ ν ά ν με όδ ν. Ωστόσο, σε περιπτώσεις όπου οι α α ές είναι συ νές και μπορεί να αφορούν ακόμη και την προσ ήκη ή μετα ο ή ε ράφου σε οποιοδήποτε σημείο του ε ράφου (φαινόμενο που συναντούμε πο ύ συ νά σε έ ραφα του πα κόσμιου ιστού) η επι ο ή της αναδόμησης είναι συνή ς η μόνη αποδοτική ύση.

17 6.4. Θέματα Υλοποίησης Τε νικές Συμπίεσης Κατα ό ου Έ ει ήδη αναφερ εί ότι το μέ ε ος που κατα αμ άνουν οι ίστες εμφανίσε ν ενός αντεστραμμένου κατα ό ου είναι πο ύ σημαντικό και πο ές φορές ξεπερνά το μέ ε ος της συ ο ής ε ράφ ν. Για τη μεί ση του ώρου της δομής ρησιμοποιούνται τεχνικές συμπίεσης (compression techniques). Με τη συμπίεση της δομής πετυ αίνουμε δύο σημαντικούς στό ους: (α) εξοικονομείται πο ύτιμος ώρος στην κύρια μνήμη και ( ) μειώνεται ο αρι μός τ ν προσπε άσε ν στη δευτερεύουσα μνήμη. Στη συνέ εια εξετάζονται μερικές από τις με όδους συμπίεσης που έ ουν προτα εί στη ι ιο ραφία, εστιάζοντας ια ό ους απ ότητας στον αντεστραμμένο κατά ο ο επιπέδου ε ράφ ν. Υπεν υμίζεται ότι μία ίστα εμφανίσε ν έ ει τη μορφή n t ; d i1, d i2,..., d int, όπου n t είναι το π ή ος τ ν ε ράφ ν που περιέ ουν τον όρο t και d ij είναι ο κ δικός αρι μός ενός ε ράφου. Συνή ς, οι κ δικοί τ ν ε ράφ ν σε μία ίστα εμφανίσε ν απο ηκεύονται κατά αύξουσα διάταξη. Άρα, η ίστα τ ν ε - ράφ ν μπορεί να αναπαραστα εί με μία ακολουθία διαφορών (gap sequence). Αυτό σημαίνει ότι αντί να απο ηκευτούν απευ είας οι κ δικοί τ ν ε ράφ ν, απο ηκεύεται ο κ δικός του πρώτου και στη συνέ εια οι διαφορές μεταξύ συνε- όμεν ν κ δικών. Η ακο ου ία διαφορών μπορεί να συμπιεστεί πιο εύκο α από την αρ ική ίστα εμφανίσε ν. Παράδει μα 6.2 Έστ ότι η ίστα εμφανίσε ν ενός όρου έ ει τη μορφή 7; 134, 45, 130, 20, 10, 100, 120. Αν ταξινομήσουμε τη ίστα παίρνουμε 7; 10, 20, 45, 100, 120, 130, 134. Για την αναπαράσταση της ίστας με ρήση διαφορών διατηρείται ο πρώτος κ δικός ε ράφου (10) και στη συνέ εια παρατί ενται μόνο οι διαφορές τ ν κ δικών από τον προη ούμενο. Εφόσον οι κ δικοί τ ν ε ράφ ν είναι σε αύξουσα διάταξη, αφαιρώντας τον τρέ οντα κ δικό από τον προη ούμενο προκύπτει ένας ετικός ακέραιος αρι μός. Η ίστα διαφορών είναι η 7; 10, 10, 25, 55, 20, 10, 4. Είναι προφανές ότι αναμένονται μικρές διαφορές κ δικών ια όρους που εμφανίζονται σε πο ά έ ραφα, ενώ αναμένονται με α ύτερες διαφορές ια όρους που δεν είναι συ νοί. Αυτή η παρατήρηση οδη εί στην ιδέα να ρησιμοποιη ούν κωδικοί μεταβλητού μήκους, οι οποίοι δίνουν ί α δυαδικά ψηφία σε συ νά εμφανιζόμενους αρι μούς και περισσότερα δυαδικά ψηφία στην αντί ετη περίπτ ση. Ένας τρόπος κ δικοποίησης είναι ο μοναδιαίος κώδικας (unary code) άσει του οποίου ένας ακέραιος αρι μός x κ δικοποιείται ρησιμοποιώντας x-1 δυαδικά ψηφία με τιμή 1 και ένα επιπ έον με τιμή 0. Για παράδει μα, ο αρι μός 5 κ δικο-

18 134 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος ποιείται ς Δύο ά ες μέ οδοι κ δικοποίησης προτά ηκαν το 1975 από τον Elias [5. Η πρώτη μέ οδος κα είται Elias-γ και αναπαριστά έναν ακέραιο αρι μό x με τη σύν εση δύο διαφορετικών τμημάτ ν. Το πρώτο τμήμα είναι ο μοναδιαίος κώδικας του αρι μού 1+ log x και το δεύτερο τμήμα είναι ένας κ δικός που αποτε είται από log x δυαδικά ψηφία και αναπαριστά στο δυαδικό σύστημα τον αρι μό x-2 log x. Η δεύτερη μέ οδος που προτά ηκε από τον Elias κα είται Elias-δ και έ ει μία σημαντική διαφορά. Το πρώτο τμήμα του κώδικα είναι ο αρι μός τ ν δυαδικών ψηφί ν που υπάρ ουν στον κώδικα Elias-γ του αρι μού x. Το δεύτερο τμήμα παρά εται όπ ς και προη ουμέν ς. Παράδει μα 6.3 Έστ ότι πρέπει να υπο ο ιστούν οι κώδικες Elias-γ και Elias-δ ια τον ακέραιο αρι μό x=7. Για τον κώδικα Elias-γ απαιτείται ο μοναδιαίος κ δικός του αρι μού 1+ log x = 1+2 = 3 που απαρτίζει το πρώτο τμήμα του κ δικού. Ο μοναδιαίος κ δικός ια το 3 είναι ο 110. Το δεύτερο τμήμα αποτε είται από τον αρι μό x- 2 log x = = 3 ο οποίος στο δυαδικό σύστημα είναι ο 11. Επομέν ς, ο κ δικός Elias-γ του αρι μού 7 είναι ο Το πρώτο τμήμα του κ δικού Elias-δ είναι ο αρι μός τ ν δυαδικών ψηφί ν που έ ει ο αντίστοι ος κ δικός Elias-γ. Σύμφ να με τα προη ούμενα, ο αρι μός τ ν ψηφί ν αυτών είναι 5, επομέν ς το πρώτο τμήμα του κ δικού Elias-δ α είναι το 101. Το δεύτερο τμήμα του κ δικού είναι ίδιο με αυτό του Elias-γ. Άρα τε ικά έ ουμε ότι ο κ δικός Elias-δ του ακεραίου x=7 είναι ο Ένας ά ος τρόπος κ δικοποίησης προτά ηκε από τον Golomb [10 και ρησιμοποιεί την ε μετρική κατανομή. Πιο συ κεκριμένα, η πι ανοτητα η διαφορά δύο κ δικών ε ράφ ν να είναι x δίνεται από τον ακό ου ο τύπο, όπου p είναι η πι ανότητα εμφάνισης ενός όρου σε ένα έ ραφο. P (x) = (1 p) x 1 p Στην ουσία ο παραπάν τύπος αναφέρει ότι έ ουμε x-1 συνε όμενες αποτυ ίες και μία επιτυ ία. Αφού η πι ανότητα μίας αποτυ ίας είναι 1-p, η πι ανότητα να έ ουμε x-1 συνε όμενες αποτυ ίες είναι (1 p) x 1. Για τον προσδιορισμό της πι ανότητας α πρέπει να είναι ν στή η τιμή p. Αν N είναι το π ή ος τ ν ε ράφ ν της συ ο ής και M το π ή ος τ ν μοναδικών όρ ν που ρησιμοποιούνται ια την αναπαράσταση τ ν ε ράφ ν, τότε η ποσότητα p που δη ώνει την πι ανότητα ένα τυ αίο έ ραφο να περιέ ει έναν τυ αίο όρο προσδιορίζεται ς εξής:

19 6.4. Θέματα Υλοποίησης 135 p = π ή ος δεικτών κατα ό ου N M (6.2) Η μέ οδος Golomb ρησιμοποιεί την παράμετρο b ια να δημιουρ ήσει τους κ δικούς. Εάν b=1 τότε η μέ οδος Golomb ταυτίζεται με την κ δικοποίηση μοναδιαίου κ δικού. Η κ δικοποίηση ενός ακεραίου x πρα ματοποιείται με τον προσδιορισμό δύο ποσοτήτ ν, του πη ίκου (quotient) που συμ ο ίζεται με q και του υπο οίπου (remainder) που συμ ο ίζεται με r. Οι δύο αυτές ποσότητες προσδιορίζονται ς εξής: x 1 q = b r = x 1 q b Ο κώδικας Golomb απαρτίζεται από τον αρι μό q + 1 στη μορφή μοναδιαίου κ δικού ακο ου ούμενο από τον αρι μό r στη δυαδική αναπαράσταση. Ο αρι μός r απαιτεί log b δυαδικά ψηφία ια την αναπαράστασή του σε περίπτ ση που r < 2 log b 1 ή log b δυαδικά ψηφία διαφορετικά. Παράδει μα 6.4 Στο παράδει μα αυτό εξετάζεται ο τρόπος προσδιορισμού του κ δικού Golomb ια τον ακέραιο x=7 ρησιμοποιώντας διαφορετικές τιμές ια την παράμετρο b (3, 4 ή 5). Για διευκό υνση στην παρουσίαση α υπο έσουμε ότι η μέ οδος Golomb είναι μία συνάρτηση που αμ άνει δύο παραμέτρους, τον αρι μό x που έ ουμε να κ δικοποιήσουμε και την τιμή ια την παράμετρο b. Η συνάρτηση συμ ο ίζεται με Golomb(x,b). Έστ ότι b=3. Με άση τον τύπο προσδιορισμού της ποσότητας q έ ουμε q = (7 1)/3 = 2. Επομέν ς, ο αρι μός q+1 είναι ο 3. Επομέν ς, το πρώτο τμήμα του κ δικού Golomb α αποτε είται από τον αρι μό 3 σε μορφή μοναδιαίου κ δικού, δη αδή 110. Στην περίπτ ση αυτή έ ουμε r=0, οπότε το υπό οιπο α αποτε είται από ένα δυαδικό ψηφία ίσο με 0. Άρα, Golomb(7,3)=1100. Για την περίπτ ση b=4 έ ουμε q = (7 1)/4 = 1, άρα το πρώτο τμήμα του Golomb(7,4) α είναι ο αρι μός 1+1 = 2 στη μορφή μοναδιαίου κ δικού, δη αδή 10. Για το υπό οιπο έ ουμε r = = 2. Η αναπαράσταση του αρι μού 2 στο δυαδικό σύστημα είναι 10. Επομέν ς, Golomb(7,4) = Τέ ος, αν b=5 με παρόμοιους υπο ο ισμούς κατα ή ουμε ότι Golomb(7,5) = Σύμφ να με τους Gallager και Van Voorhis [8 η κ δικοποίηση Golomb

20 136 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος κατασκευάζει έ τιστους κ δικούς ια την ε μετρική κατανομή ρίς να υπάρ- ουν κοινά προ έματα (prefix-free) εάν η παράμετρος b επι ε εί ώστε να ικανοποιεί την παρακάτ ανισότητα: (1 p) b + (1 p) b+1 1 < (1 p) b 1 + (1 p) b (6.3) Με επί υση της παραπάν σ έσης ια την περίπτ ση της ισότητας προκύπτει η ακό ου η σ έση που συνδέει τα p και b: b = log(2 p) log(1 p) Θε ρώντας ότι η ποσότητα p είναι πο ύ μικρότερη της μονάδας (κάτι που μπορεί να φανεί από την εξίσ ση 6.2), προκύπτει ο ακό ου ος προσε ιστικός τύπος ια την παράμετρο b: b 0.69 N M π ή ος δεικτών κατα ό ου Έ ς τώρα ε ρήσαμε ότι η μέ οδος Golomb ειτουρ εί με τον ίδιο τρόπο ια κά ε ίστα εμφανίσε ν. Ωστόσο, μπορεί να επιτευ εί κα ύτερη απόδοση στη συμπίεση του αντεστραμμένου κατα ό ου εάν η κά ε ίστα εμφανίσε ν συμπιεστεί ξε ριστά, με διαφορετικές τιμές παραμέτρ ν. Αυτό είναι απο ύτ ς ο ικό, σκεπτόμενοι ότι το π ή ος τ ν ε ράφ ν όπου εμφανίζεται ένας όρος είναι διαφορετικό. Για κά ε όρο t απαιτείται η νώση της ποσότητας n t που συμ ο ίζει το π ή ος τ ν ε ράφ ν που περιέ ουν τον όρο t. Αν εστιάζουμε στη ίστα εμφανίσε ν ενός όρου t, τότε προφανώς το π ή ος τ ν όρ ν είναι 1 ενώ αντικα ιστούμε το π ή ος τ ν δεικτών του κατα ό ου με το π ή ος τ ν δεικτών της ίστας τού όρου t. Αν συμ ο ίσουμε με b t την τιμή της παραμέτρου b ια τη ίστα εμφανίσε ν του όρου t τότε έ ουμε: b t 0.69 N n t (6.4) 6.5 Σύνοψη και Περαιτέρ Με έτη Ο αντεστραμμένος κατά ο ος αποτε εί την πιο διαδεδομένη μέ οδο ορ άν σης μίας συ ο ής ε ράφ ν. Αποτε είται από δύο ασικά τμήματα, το εξικό

21 6.5. Σύνοψη και Περαιτέρω Μελέτη 137 όρ ν και τις ίστες εμφανίσε ν. Στην απ ούστερη μορφή της, κά ε ίστα εμφανίσε ν κατα ράφει τους κ δικούς τ ν ε ράφ ν που περιέ ουν τον όρο. Ωστόσο, στις ίστες εμφανίσε ν μπορούν να κατα ραφούν και ά ες π ηροφορορίες όπ ς το π ή ος τ ν εμφανίσε ν του όρου σε ένα έ ραφο ή το π ή ος τ ν ε ράφ ν που περιέ ουν έναν όρο. Με τη ρήση του αντεστραμμένου κατα ό ου είναι δυνατή η αποδοτική επεξερ ασία ερ τημάτ ν ρίς να απαιτείται η εξέταση του συνό ου τ ν ε ράφ ν της συ ο ής. Η επεξερ ασία εστιάζει στα έ ραφα που περιέ ουν όρους που υπάρ ουν στο ερώτημα και στη συνέ εια σταδιακά ενημερώνει το α μό ομοιότητας του κά ε ε ράφου με το ερώτημα. Στο κεφά αιο αυτό, δό ηκε έμφαση στην επεξερ ασία ερ τημάτ ν σύμφ να με το διανυσματικό μοντέ ο ανάκτησης. Η κατασκευή του αντεστραμμένου κατα ό ου είναι μία πο ύ σημαντική διαδικασία. Εάν δίνεται μία συ ο ή ε ράφ ν, η κατασκευή του κατα ό ου προϋπο- έτει τον προσδιορισμό τ ν ε ράφ ν που περιέ ουν τον κά ε όρο. Σε περίπτ ση που το μέ ε ος της συ ο ής είναι μικρό, ενδέ εται ο κατά ο ος να μπορεί να απο ηκευτεί ο όκ ηρος στην κύρια μνήμη. Στην περίπτ ση αυτή μπορεί να ρησιμοποιη εί η μέ οδος αντιστροφής στην κύρια μνήμη. Διαφορετικά, α πρέπει η αντιστροφή να πρα ματοποιη εί με τη οή εια της δευτερεύουσας μνήμης. Ένα ά ο σημαντικό έμα που συζητή ηκε είναι η συμπίεση του κατα ό ου. Η συμπίεση οδη εί σε μικρότερο μέ ε ος επομέν ς απαιτείται ι ότερος ώρος ια την απο ήκευσή του, με αποτέ εσμα να μειώνεται το κόστος προσπέ ασης στη δευτερεύουσα μνήμη. Με ετή ηκαν μερικές τε νικές συμπίεσης που ασίζονται σε κ δικούς μετα ητού μήκους. Από αυτές, η μέ οδος Golomb δίνει τα κα ύτερα αποτε έσματα σύμφ να με πειραματικές με έτες. Λό της πο ύ κα ής απόδοσης του αντεστραμμένου κατα ό ου, έ ει με ετη εί διεξοδικά στη ι ιο ραφία. Ο ενδιαφερόμενος ανα νώστης που έ ει να εμ α ύνει περισσότερο μπορεί να συμ ου ευτεί το άρ ρο τ ν Zobel και Moffat [16 που ανα ύει τα ασικά έματα ύρ από τον αντεστραμμένο κατά ο ο, κα- ώς επίσης και τα ι ία [3, 9, 17 που περι ράφουν τον κατά ο ο με πο ύ με ά η επτομέρεια. Ένα πο ύ ενδιαφέρον άρ ρο σ ετικά με τις απ ουστεύσεις που μπορούμε να εφαρμόσουμε στη συνάρτηση προσδιορισμού της ομοιότητας ια να πετύ ουμε αποδοτικότερη επεξερ ασία είναι το [11. Σ ετικά με τα έματα συμπίεσης του κατα ό ου, παραπέμπουμε τον ανα νώστη στο άρ ρο [14 όπου περι ράφονται διάφορες μέ οδοι συμπίεσης, και στα άρ ρα [4, 13 όπου περι ράφονται μέ οδοι προεπεξερ ασίας τ ν κ δικών τ ν ε ράφ ν με στό ο την κα ύτερη συμπίεση του κατα ό ου. Επίσης, στο άρ ρο [12 με ετάται η συμπίεση κατα ό ν που αναφέρουν και τις έσεις τ ν όρ ν μέσα στα έ ραφα.

22 138 Κεφάλαιο 6. Ο Αντεστραμμένος Κατάλογος 6.6 Ασκήσεις 6.1 Να περι ράψετε συνοπτικά τη δομή του αντεστραμμένου κατα ό ου. 6.2 Να δώσετε τα διαφορετικά ήδη αντεστραμμένου κατα ό ου. 6.3 Να περι ράψετε συνοπτικά τη διαδικασία προσδιορισμού τ ν k ομοιότερ ν ε ράφ ν με ρήση του αντεστραμμένου κατα ό ου. 6.4 Ποιους τρόπους κατασκευής ενός αντεστραμμένου κατα ό ου ν ρίζετε; Να περι ράψετε συνοπτικά τον κα ένα. 6.5 Π ς μπορούμε να υποστηρίξουμε εισα ές νέ ν ε ράφ ν σε έναν αντεστραμμένο κατά ο ο; 6.6 Ποια τα π εονεκτήματα της συμπίεσης του κατα ό ου; 6.7 Ποιες με όδους συμπίεσης αντεστραμμένου κατα ό ου ν ρίζετε; 6.8 Αν α άξει η σειρά επεξερ ασίας τ ν ε ράφ ν τότε α α άξει και η μορφή του αντεστραμμένου κατα ό ου. Συμφ νείτε με την πρόταση αυτή; Να δικαιο ο ήσετε την απάντησή σας. 6.9 Να κατασκευάσετε ένα πρό ραμμα δημιουρ ίας αντεστραμμένου κατα ό- ου επιπέδου ε ράφ ν με τη ρήση αντιστροφής στην κύρια μνήμη, ια τη συ ο ή ε ράφ ν ISI Χρησιμοποιώντας τον κατά ο ο που κατασκευάσατε στην Άσκηση Α1 να υποστηρίξετε τη ειτουρ ία επεξερ ασίας ερ τημάτ ν ρησιμοποιώντας ς συνάρτηση α μο ό ησης τον τύπο 6.1. Σ ο ιάστε την επίδοση της με όδου σε σ έση με την εξαντ ητική επεξερ ασία τ ν ε ράφ ν Να περι ράψετε την κατασκευή του αντεστραμμένου κατα ό ου ρησιμοποιώντας τη μέ οδο αντιστροφής με ταξινόμηση, δίνοντας ένα παράδει μα Για τους ακέραιους αρι μούς 10, 11, 12, 13, 14 και 15 να παρα έσετε τους μοναδιαίους κ δικούς, τους κ δικούς Elias-γ και Elias-δ Δίνεται η ίστα εμφανίσε ν 2, 5, 8, 14, 16, 18, 22, 44, 66, 80. Γν ρίζουμε επίσης ότι ο συνο ικός αρι μός τ ν ε ράφ ν είναι N=25. Να προσδιορίσετε τη έ τιση τιμή ια την παράμετρο b και να κ δικοποιήσετε τη ίστα εμφάνισης με τη μέ οδο Golomb.

23 6.6. Ασκήσεις Χρησιμοποιώντας τη συ ο ή CACM, να κατασκευάσετε έναν αντεστραμμένο κατά ο ο επιπέδου ε ράφ ν στην κύρια μνήμη και να κατα ράψετε το ώρο που κατα αμ άνουν οι ίστες εμφανίσε ν. Στη συνέ εια, να εφαρμόσετε τις με όδους συμπίεσης Elias-γ, Elias-δ και Golomb. Για τη μέ οδο Golomb να ε ρήσετε τις περιπτώσεις όπου (α) η παράμετρος b είναι κοινή ια ό ες τις ίστες εμφανίσε ν και ( ) η τιμή της παραμέτρου διαφέρει. Να συ κρι εί το μέ ε ος του αρ ικού κατα ό ου με αυτό του συμπιεσμένου και να σ ο ιαστούν τα αποτε έσματα.

24

25 Βι ιο ραφία [1 I. Araujo, G. Navarro, and N. Ziviani. Large text searching allowing errors. In Proceedings of the 4th Workshop on String Processing (WSP), pages 2-20, Valparaiso, Chile, [2 R. Baeza-Yates and G. Navarro. Block addressing indices for approximate text retrieval. In Proceedings of the 6th International Conference on Information and Knowledge Management (CIKM), pages 1-8, Las Vegas, Nevada, USA, [3 R. Baeza-Yates and B. Ribeiro-Neto. Modern Information Retrieval. Addison Wesley, [4 G. Blandford, D.and Blellock. Index compression through document reordering. In Proceedings of the IEEE Data Compression Conference, pages , Snowbird, UT, [5 P. Elias. Universal codeword sets and representations of the integers. IEEE Transactions on Information Theory, 21: , [6 C. Faloutsos and H.V. Jagadish. Hybrid index organizations for text databases. In Proceedings of the 3rd International Conference on Extending Database Technology (EDBT), pages , Vienna, Austria, [7 W.B. Frakes and Baeza-Yates (eds). Information Retrieval: Data Structures and Algorithms. Prentice Hall, Englewood Cliffs, NJ, [8 R.G. Gallager and D.C. Van Voorhis. Optimal source codes for geometrically distributed integer alphabets. IEEE Transactions on Information Theory, 21(2): , [9 S.W. Golomb. Run length encoding. IEEE Transactions on Information Theory, 12(3): ,

26 142 Βιβλιογραφία [10 J. Heaps. Information Retrieval, Computational and Theoretical Aspects. Academic Press, [11 D.L. Lee, Chuang H., and Seamons K. Document ranking and the vectorspace model. IEEE Software, 14(2):67-75, [12 F. Scholer, H.E. Williams, J. Yiannis, and J. Zobel. Compression of inverted indexes for fast query evaluation. In Proceedings of the 25th Annual International ACM SIGIR Conference, pages , Tampere, Finland, [13 W.-Y. Shieh, T.-F. Chen, J.J.-J. Shann, and C.-P. Chung. Inverted file compression through document identifier reassignment. Information Processing and Management, 39(1): , [14 A. Trotman. Compressing inverted files. Information Retrieval, 6:5-19, [15 I.H Witten, A. Moffat, and T.C. Bell. Managing Gigabytes: Compressing and Indexing Documents and Images. Morgan Kaufmann, [16 J. Zobel and A. Moffat. Inverted files for text search engines. ACM Computing Surveys, 38(2), 2006.