Βάσεις Δεδομένων ΙΙ Ενότητα 8

Transcript

1 Ανοικτά Ακαδημαϊκά Μαθήματα στο ΤΕΙ Ιονίων Νήσων Βάσεις Δεδομένων ΙΙ Ενότητα 8: Βάσεις δεδομένων κειμένου Το περιεχόμενο του μαθήματος διατίθεται με άδεια Creative Commons εκτός και αν αναφέρεται διαφορετικά Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.

2 Βάσεις Δεδομένων ΙΙ Βάσεις Δεδομένων Κειμένου

3 Πρόβλημα- Κίνητρο Π.χ., να βρεθούν έγγραφα τα οποία περιέχουν τις λέξεις data και retrieval Εφαρμογές: Ιστός Δικηγορικά γραφεία και γραφεία ευρεσιτεχνειών Ψηφιακές βιβλιοθήκες Φιλτράρισμα πληροφορίας

4 Πρόβλημα- Κίνητρο Τύποι ερωτημάτων: Λογικοί ( data AND retrieval AND NOT...)

5 Πρόβλημα- Κίνητρο Τύποι ερωτημάτων: Λογικοί ( data AND retrieval AND NOT...) Επιπλέον χαρακτηριστικά ( data ADJACENT retrieval ) Ερωτήματα λέξεων κλειδιών ( data, retrieval ) Πώς γίνεται η αναζήτηση σε μία μεγάλη συλλογή κειμένων;

6 Σάρωση πλήρους κειμένου Κατασκευή ενός FSA, Σάρρωση c a t

7 Σάρωση πλήρους κειμένου Για έναν όρο: (απλά: O(N*M)) ABRACADABRA CAB κείμενο πρότυπο

8 Σάρωση πλήρους κειμένου Για έναν όρο: (απλά: O(N*M)) Knuth Morris & Pratt ( 77) Κατασκευή μικρού FSA, επίσκεψη κάθε γράμματος του κειμένου μόνο μία φορά, με προσεκτική ολίσθηση περισσοτέρων από ένα βημάτων ABRACADABRA CAB κείμενο πρότυπο

9 Σάρωση πλήρους κειμένου ABRACADABRA CAB κείμενο πρότυπο CAB CAB CAB

10 Σάρωση πλήρους κειμένου Για έναν όρο : (απλός τρόπος: O(N*M)) Knuth Morris & Pratt ( 77) Boyer & Moore ( 77) Προεπεξεργασία προτύπου, ξεκινά από δεξιά προς τα αριστερά και προσπερνά! ABRACADABRA κείμενο CAB πρότυπο

11 Σάρωση πλήρους κειμένου ABRACADABRA CAB κείμενο πρότυπο CAB CAB CAB

12 Σάρωση πλήρους κειμένου ABRACADABRA OMINOUS OMINOUS κείμενο πρότυπο Boyer+Moore: γρηγορότερος, στην πράξη Sunday ( 90): κάποιες βελτιώσεις

13 Σάρωση πλήρους κειμένου Για πολλαπλούς όρους (w/o don t care characters): Aho+Corasic ( 75) πάλι, κατασκεύασε ένα απλό FSA σε O(M) χρόνο Πιθανοτικοί αλγόριθμοι: fingerprints (Karp + Rabin 87) Προσεγγιστικό ταίριασμα: agrep [Wu+Manber, Baeza-Yates+, 92]

14 Σάρωση πλήρους κειμένου Προσεγγιστικό ταίριασμα- Απόσταση μετασχηματισμού συμβολοσειράς (string editing distance): d( survey, surgery ) = 2 = ελάχιστος # ενθέσεων, διαγραφών, αντικαταστάσεων για τον μετασχηματισμό της πρώτης συμβολοσειράς στην δεύτερη SURVEY SURGERY

15 Σάρωση πλήρους κειμένου string editing distance - Πως υπολογίζεται; A:

16 Σάρωση πλήρους κειμένου string editing distance - Πως υπολογίζεται; A: Δυναμικός προγραμματισμός cost( i, j ) = το κόστος ταιριάσματος του προθέματος μήκους i της πρώτης συμβολοσειράς s με το πρόθεμα μήκους j της δεύτερης συμβολοσειράς t

17 Σάρωση πλήρους κειμένου if s[i] = t[j] then cost( i, j ) = cost(i-1, j-1) else cost(i, j ) = min ( 1 + cost(i, j-1) // deletion 1 + cost(i-1, j-1) // substitution 1 + cost(i-1, j) // insertion )

18 Σάρωση πλήρους κειμένου Πολυπλοκότητα: O(M*N) (όταν χρησιμοποιείται πίνακας για την απομνημόνευση των επιμέρους αποτελεσμάτων)

19 Σάρωση πλήρους κειμένου Συμπεράσματα: Η σάρωση πλήρους κειμένου δεν χρειάζεται επιπλέον χώρο, αλλά είναι αργή για μεγάλα σύνολα δεδομένων

20 Κείμενο - Δομή διάλεξης Κείμενο Πρόβλημα Σάρωση πλήρους κειμένου Αναστροφή Αρχεία υπογραφών Ομαδοποίηση Φιλτράρισμα πληροφορίας και LSI

21 Κείμενο- Αναστροφή

22 Κείμενο- Αναστροφή Q: επιπλέον χρήση χώρου;

23 Κείμενο- Αναστροφή A: κυρίως, λίστες εναπόθεσης

24 Κείμενο- Αναστροφή Πώς γίνεται η οργάνωση λεξικού; stemming - Ν/Ο; Είσοδοι;

25 Κείμενο- Αναστροφή Πώς γίνεται η οργάνωση λεξικού; B-tree, hashing, TRIEs, PATRICIA trees,... stemming - Ν/Ο; Είσοδοι

26 Κείμενο- Αναστροφή Νέα θέματα: Παραλληλισμός[Tomasic+,93] Είσοδοι [Tomasic+94], [Brown+] zipf διανομές Προσεγγιστική αναζήτηση ( glimpse [Wu+])

27 Κείμενο- Αναστροφή postings list - more Zipf distr.: eg., rank-frequency plot of Bible log(freq) freq ~ 1 / (rank * ln(1.78v)) log(rank)

28 Κείμενο- Αναστροφή postings lists Cutting+Pedersen (κράτησε τα πρώτα 4 in B-tree leaves) Πως γίνεται η δέσμευση χώρου: [Faloutsos+92] Γεωμετρική πρόοδος Συμπίεση (Elias codes) [Zobel+] - μόλις 2% επιπλέον!

29 Συμπεράσματα Συμπεράσματα: χρειάζεται επιπλέον χώρος (2%-300%), αλλά έχουμε καλύτερη ταχύτητα

30 Κείμενο - Δομή διάλεξης Κείμενο Πρόβλημα Σάρωση πλήρους κειμένου Αναστροφή Αρχεία υπογραφής Ομαδοποίηση Φιλτράρισμα πληροφορίας και LSI

31 Αρχεία υπογραφής Ιδέα: quick & dirty filter

32 Αρχεία υπογραφής Ιδέα: «γρήγορο και βρώμικο» φιλτράρισμα Έπειτα, σάρωσε ακολουθιακά το αρχείο υπογραφής και εντόπισε τις «ενδείξεις σφάλματος» Πλεονέκτημα: εύκολες ενθέσεις Μειονέκτημα: αναζήτηση σε Ο(Ν) (με μικρή σταθερά) Q: Πώς γίνετε η εξαγωγή υπογραφών;

33 Αρχεία υπογραφής A: κωδικοποίηση υπέρθεσης!! [Mooers49],... m (=4 bits/word) ~ (=4 bits παίρνουν την τιμή 1 Και τα υπόλοιπα παραμένουν 0 ) F (=12 bits sign. size) Τα πρότυπα των bits σχηματίζουν την υπογραφή του κειμένου

34 Αρχεία υπογραφής A: κωδικοποίηση υπέρθεσης!! [Mooers49],... data Ταίριασμα

35 Αρχεία υπογραφής A: κωδικοποίηση υπέρθεσης!! [Mooers49],... Αποτυχία retrieval

36 Αρχεία υπογραφής A: κωδικοποίηση υπέρθεσης!! [Mooers49],... nucleotic Ένδειξη σφάλματος ( false drop )

37 Αρχεία υπογραφής A: Κωδικοποίηση υπέρθεσης!! [Mooers49],... ΝΑΙ είναι ΙΣΩΣ ΟΧΙ είναι ΟΧΙ

38 Αρχεία υπογραφής Q1: Πώς επιλέγονται τα F και m; Q2: Για ποιο λόγο καλείται false drop ; Q3: Άλλες εφαρμογές των αρχείων υπογραφής;

39 Αρχεία υπογραφής Q1: Πώς επιλέγονται τα F και m; m (=4 bits/word) F (=12 bits sign. size)

40 Αρχεία υπογραφής Q1: Πώς επιλέγονται τα F και m; A: Έτσι ώστε η υπογραφή κειμένου να είναι 50% πλήρης m (=4 bits/word) F (=12 bits sign. size)

41 Αρχεία υπογραφής Q1: Πώς επιλέγονται τα F και m; Q2: Για ποιο λόγο καλείται false drop ; Q3: Άλλες εφαρμογές των αρχείων υπογραφής;

42 Αρχεία υπογραφής Q2: Για ποιο λόγο καλείται false drop ; Παλιά, αλλά ενδιαφέρουσα ιστορία [1949] Πώς γίνεται η αναζήτηση βιβλίων (με την λέξη τίτλου, και/ή τον συγγραφέα, και/ή την λέξη κλειδί) Σε χρόνο O(1); Χωρίς υπολογιστές

43 Αρχεία υπογραφής Λύση: Edge-notched cards Κάθε λέξη τίτλου αντιστοιχίζεται σε m αριθμούς (πώς;) Και οι αντίστοιχες τρύπες αποκόπτονται:

44 Αρχεία υπογραφής Λύση: Edge-notched cards data data -> #1, #39

45 Αρχεία υπογραφής Ψάξε, π.χ., για data : ενεργοποίησε την βελόνα #1, #39 και ανακάτεψε τον σωρό των καρτών! data data -> #1, #39

46 Αρχεία υπογραφής Γνωστή επίσης ως zatocoding, Zator

47 Αρχεία υπογραφής Q1: Πώς επιλέγονται τα F και m; Q2: Για ποιο λόγο καλείται false drop ; Q3: Άλλες εφαρμογές των αρχείων υπογραφής;

48 Αρχεία υπογραφής Q3: Άλλες εφαρμογές των αρχείων υπογραφής; A: Ο,τιδήποτε έχει να κάνει με membership testing : Ανήκει η λέξη data στο σύνολο λέξεων του κειμένου;

49 Αρχεία υπογραφής UNIX s early spell system [McIlroy] Bloom-joins in System R* [Mackert+] & active disks [Riedel99] Διαφορετικά αρχεία [Severance+Lohman]

50 Αρχεία υπογραφής- Συμπερασματα Εύκολες ενθέσεις, πιο αργά από αναστροφή Εξαιρετική η ιδέα του quick and dirty φίλτρου: απομακρύνεται γρήγορα η πλειοψηφία των άσχετων στοιχείων και γίνεται εστίαση στα υπόλοιπα

51 Αναφορές Aho, A. V. and M. J. Corasick (June 1975). "Fast Pattern Matching: An Aid to Bibliographic Search." CACM 18(6): Boyer, R. S. and J. S. Moore (Oct. 1977). "A Fast String Searching Algorithm." CACM 20(10): Brown, E. W., J. P. Callan, et al. (March 1994). Supporting Full-Text Information Retrieval with a Persistent Object Store. Proc. of EDBT conference, Cambridge, U.K., Springer Verlag.

52 Αναφορές Faloutsos, C. and H. V. Jagadish (Aug , 1992). On B-tree Indices for Skewed Distributions. 18th VLDB Conference, Vancouver, British Columbia. Karp, R. M. and M. O. Rabin (March 1987). "Efficient Randomized Pattern-Matching Algorithms." IBM Journal of Research and Development 31(2): Knuth, D. E., J. H. Morris, et al. (June 1977). "Fast Pattern Matching in Strings." SIAM J. Comput 6(2):

53 Αναφορές Mackert, L. M. and G. M. Lohman (August 1986). R* Optimizer Validation and Performance Evaluation for Distributed Queries. Proc. of 12th Int. Conf. on Very Large Data Bases (VLDB), Kyoto, Japan. Manber, U. and S. Wu (1994). GLIMPSE: A Tool to Search Through Entire File Systems. Proc. of USENIX Techn. Conf. McIlroy, M. D. (Jan. 1982). "Development of a Spelling List." IEEE Trans. on Communications COM- 30(1):

54 Αναφορές Mooers, C. (1949). Application of Random Codes to the Gathering of Statistical Information Bulletin 31. Cambridge, Mass, Zator Co. Pedersen, D. C. a. J. (1990). Optimizations for dynamic inverted index maintenance. ACM SIGIR. Riedel, E. (1999). Active Disks: Remote Execution for Network Attached Storage. ECE, CMU. Pittsburgh, PA.

55 Αναφορές Severance, D. G. and G. M. Lohman (Sept. 1976). "Differential Files: Their Application to the Maintenance of Large Databases." ACM TODS 1(3): Tomasic, A. and H. Garcia-Molina (1993). Performance of Inverted Indices in Distributed Text Document Retrieval Systems. PDIS. Tomasic, A., H. Garcia-Molina, et al. (May 24-27, 1994). Incremental Updates of Inverted Lists for Text Document Retrieval. ACM SIGMOD, Minneapolis, MN.

56 Αναφορές Wu, S. and U. Manber (1992). "AGREP- A Fast Approximate Pattern-Matching Tool.". Zobel, J., A. Moffat, et al. (Aug , 1992). An Efficient Indexing Technique for Full-Text Database Systems. VLDB, Vancouver, B.C., Canada.

57 Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό. Οι όροι χρήσης των έργων τρίτων επεξηγούνται στη διαφάνεια «Επεξήγηση όρων χρήσης έργων τρίτων». Τα έργα για τα οποία έχει ζητηθεί άδεια αναφέρονται στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί.

58 Επεξήγηση όρων χρήσης έργων τρίτων διαθέσιμο με άδεια CC-BY διαθέσιμο με άδεια CC-BY-SA διαθέσιμο με άδεια CC-BY-ND διαθέσιμο με άδεια CC-BY-NC διαθέσιμο με άδεια CC-BY-NC-SA διαθέσιμο με άδεια CC-BY-NC-ND διαθέσιμο με άδεια CC0 Public Domain διαθέσιμο ως κοινό κτήμα χωρίς σήμανση Δεν επιτρέπεται η επαναχρησιμοποίηση του έργου, παρά μόνο εάν ζητηθεί εκ νέου άδεια από το δημιουργό. Επιτρέπεται η επαναχρησιμοποίηση του έργου και η δημιουργία παραγώγων αυτού με απλή αναφορά του δημιουργού. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού, και διάθεση του έργου ή του παράγωγου αυτού με την ίδια άδεια. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η δημιουργία παραγώγων του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η εμπορική χρήση του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού και διάθεση του έργου ή του παράγωγου αυτού με την ίδια άδεια. Δεν επιτρέπεται η εμπορική χρήση του έργου. Επιτρέπεται η επαναχρησιμοποίηση του έργου με αναφορά του δημιουργού. Δεν επιτρέπεται η εμπορική χρήση του έργου και η δημιουργία παραγώγων του. Επιτρέπεται η επαναχρησιμοποίηση του έργου, η δημιουργία παραγώγων αυτού και η εμπορική του χρήση, χωρίς αναφορά του δημιουργού. Επιτρέπεται η επαναχρησιμοποίηση του έργου, η δημιουργία παραγώγων αυτού και η εμπορική του χρήση, χωρίς αναφορά του δημιουργού. Συνήθως δεν επιτρέπεται η επαναχρησιμοποίηση του έργου.

59 Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους.

60 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο ΤΕΙ Ιονίων Νήσων» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.