Ε νικό Μετσό ιο Πο υτε νείο Σ ο ή Η εκτρο ό ν Μη ανικών και Μη ανικών Υπο ο ιστών Τομέας Τε νο ο ίας Π ηροφορικής και Υπο ο ιστών. Διπ ματική Ερ ασία

Transcript

1 Ε νικό Μετσό ιο Πο υτε νείο Σ ο ή Η εκτρο ό ν Μη ανικών και Μη ανικών Υπο ο ιστών Τομέας Τε νο ο ίας Π ηροφορικής και Υπο ο ιστών Υ οποίηση κατασκευής δέντρου επι εμάτ ν σε Hadoop Mapreduce Διπ ματική Ερ ασία του ΑΛΕΞΑΝΔΡΟΥ ΚΩΝΣΤΑΝΤΙΝΑΚΗ - ΚΑΡΜΗ Επι έπ ν: Τιμο έ ν Σε ής Κα η ητής Ε.Μ.Π. Ερ αστήριο Συστημάτ ν Βάσε ν Γνώσε ν και Δεδομέν ν Α ήνα, Ιού ιος 2010

2

3 Ε νικό Μετσό ιο Πο υτε νείο Σ ο ή Η εκτρο ό ν Μη ανικών και Μη ανικών Υπο ο ιστών Τομέας Τε νο ο ίας Π ηροφορικής και Υπο ο ιστών Ερ αστήριο Συστημάτ ν Βάσε ν Γνώσε ν και Δεδομέν ν Υ οποίηση κατασκευής δέντρου επι εμάτ ν σε Hadoop Mapreduce Διπ ματική Ερ ασία του ΑΛΕΞΑΝΔΡΟΥ ΚΩΝΣΤΑΝΤΙΝΑΚΗ - ΚΑΡΜΗ Επι έπ ν: Τιμο έ ν Σε ής Κα η ητής Ε.Μ.Π. Ε κρί ηκε από την τριμε ή εξεταστική επιτροπή τη 12η Ιου ίου Τιμο έ ν Σε ής Νεκτάριος Κοζύρης Δημήτριος Φ τάκης Κα η ητής Ε.Μ.Π. Κα η ητής Ε.Μ.Π. Κα η ητής Ε.Μ.Π. Α ήνα, Ιού ιος 2010

4 ... Α έξανδρος Κ νσταντινάκης - Κάρμης Διπ ματού ος Η εκτρο ό ος Μη ανικός και Μη ανικός Υπο ο ιστών Ε.Μ.Π All rights reserved

5 Ε νικό Μετσό ιο Πο υτε νείο Σ ο ή Η εκτρο ό ν Μη ανικών και Μη ανικών Υπο ο ιστών Τομέας Τε νο ο ίας Π ηροφορικής και Υπο ο ιστών Ερ αστήριο Συστημάτ ν Βάσε ν Γνώσε ν και Δεδομέν ν Copyright All rights reserved Α έξανδρος Κ νσταντινάκης - Κάρμης, Ιού ιος 2010 Με επιφύ αξη παντός δικαιώματος. Απα ορεύεται η αντι ραφή, απο ήκευση και διανομή της παρούσας ερ ασίας, εξ ο οκ ήρου ή τμήματος αυτής, ια εμπορικό σκοπό. Επιτρέπεται η ανατύπ ση, απο ήκευση και διανομή ια σκοπό μη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπό εση να αναφέρεται η πη ή προέ ευσης και να διατηρείται το παρόν μήνυμα. Ερ τήματα που αφορούν τη ρήση της ερ ασίας ια κερδοσκοπικό σκοπό πρέπει να απευ ύνονται προς τον συ ραφέα.

6

7 Περί ηψη Τα δέντρα επι εμάτ ν ρησιμοποιούνται ς ευρετήρια ια ακο ου ίες ιο ο ικών δεδομέν ν. Η ρήση τους είναι απαραίτητη σε α ορί μους αναζήτησης που ρησιμοποιούνται στη ιο ο- ία. Τα τε ευταία ρόνια ο ό κος τ ν ιο ο ικών δεδομέν ν αυξάνεται συνε ώς ό τ ν εξε ίξε ν της επιστήμης. Στο π αίσιο της διπ ματικής με ετή ηκαν οι κυριότεροι α όρι μοι ια κατασκευή δέντρ ν επι εμάτ ν στη μνήμη, στον σκ ηρό δίσκο και σε παρά η ους υπο ο ιστές. Έπειτα, υ οποιή ηκαν α όρι μοι παρά η ης κατασκευής δέντρ ν επι εμάτ ν με ρήση της τε νο ο ίας Hadoop MapReduce έ οντας ς άση τη μέ οδο Trellis, της πιο αποτε εσματικής τε νικής κατασκευής δέντρ ν επι εμάτ ν στο σκ ηρό δίσκο. Τέ ος πρα ματοποιή ηκαν μετρήσεις, οι οποίες δεί νουν τη συμπεριφορά τ ν α ορί μ ν σε παρά η η εκτέ εση. Λέξεις Κ ειδιά DNA, ευρετήρια ια ακο ου ίες, ιο ο ικά δεδομένα, δέντρα επι εμάτ ν, κύρια μνήμη, Hadoop MapReduce 1

8

9 Abstract Suffix trees are a form of index widely used for sequences of biological data. Their use is crucial for search algorithms used in biology. In recent years science has produced growing numbers of biological data. The aim of this diploma thesis was to study the main algorithms for constructing suffix trees in memory, in the hard drive and in parallel systems. Secondly, to implement algorithms for parallel construction of suffix trees using Hadoop MapReduce and based on the technique of Trellis, the most efficient suffix tree construction method in the hard drive today. Finally, experiments were conducted to evaluate the behaviour of these algorithms in parallel execution. Keywords DNA, sequence index, biological data, suffix trees, main memory, Hadoop MapReduce 3

10

11 Περιε όμενα Περί ηψη 1 Abstract 3 Περιε όμενα 6 Κατά ο ος σ ημάτ ν 8 Κατά ο ος πινάκ ν 9 1 Εισα ή Αντικείμενο της διπ ματικής ερ ασίας Συνεισφορά Ορ άν ση Υπό α ρο Βιο ο ικά Δεδομένα και Α όρι μοι Ταιριάσματος Δομές δεδομέν ν και α όρι μοι προσε ιστικού ταιριάσματος Προσε ιστικά ταιριάσματα με ρήση δέντρ ν επι εμάτ ν Η δια ρονική εξέ ιξη τ ν τε νο ο ιών δέντρ ν επι εμάτ ν Κατασκευή δέντρ ν επι εμάτ ν στη μνήμη Κατασκευή δέντρ ν επι εμάτ ν στο δίσκο Παρά η η κατασκευή δέντρ ν επι εμάτ ν Το περι ά ον MapReduce Εισα ή Hadoop HDFS Hadoop MapReduce Προ ραμματιστικό Μοντέ ο Επίπεδο Ροής Δεδομέν ν Ο α όρι μος Trellis Εισα ή Στάδιο Δημιουρ ίας Προ εμάτ ν

12 6 Περιεχόμενα 3.3 Στάδιο διαμερισμού εισόδου Στάδιο συ ώνευσης δέντρ ν Στάδιο ανάκτησης συνδέσμ ν επι έματος Επιπ έον στοι εία και πο υπ οκότητα Επι ο ή του κατά η ου κατ φ ιού Ανά υση υπο ο ιστικής πο υπ οκότητας Υ οποίηση Με όδου Trellis στο Περι ά ον MapReduce Εισα ή Δημιουρ ία προ εμάτ ν Κατασκευή Υποδέντρ ν Επι εμάτ ν Απ οϊκή Προσέ ιση Ukkonen Ukkonen από ι ιο ήκη προ ραμμάτ ν Συ ώνευση τ ν υποδέντρ ν σε δέντρα Πειραματική Αξιο ό ηση Εισα ή Κατασκευή προ εμάτ ν Κατασκευή προ εματικών δέντρ ν Συμπεριφορά τ ν α ορί μ ν ια διαφορετικά με έ η εισόδου Συμπεριφορά τ ν α ορί μ ν ια διαφορετικά με έ η cluster Συμπεράσματα Επί ο ος και με οντικές ερ ασίες Σύνοψη και συμπεράσματα Με οντικές Ερ ασίες Βι ιο ραφία 84

13 Κατά ο ος σ ημάτ ν 2.1 Η συμ ο οσειρά BANANA, τα επι έματα της σε αντιστοί ιση με τις έσεις που εμφανίζονται και το αντίστοι ο δένδρο επι εμάτ ν (1)Το πεπ ε μένο δέντρο επι εμάτ ν ια το PAPUA$. (2)Μετά τη δια ραφή του $. (3)Μετά τη δια ραφή τ ν ακμών με άδεια συμ ο οσειρά. (4)Το πρα ματικό δέντρο επι εμάτ ν το δέντρο επι εμάτ ν ια τα επι έματα του BANANA$. Οι διακεκομμένες ραμμές είναι οι σύνδεσμοι επι έματος Η τε νική skip and count σε πεπ ε μένο δέντρο της συμ ο οσειράς mississippi το τε ικό πεπ ε μένο δέντρο επι εμάτ ν ια το BANANA η αρ ιτεκτονική του Hadoop. Με ευκό σημειώνονται οι διερ ασίες master και με κρι οι διερ ασίες slave η ροή δεδομέν ν σε ένα τυπικό MapReduce πρό ραμμα (α) το προ εματικό δέντρο επι εμάτ ν του BANANA$ ια το πρό εμα AN.( ) το αντίστοι ο προ εματικό υποδέντρο ια το κομμάτι BAN Οι δύο περιπτώσεις συ ώνευσης στο Trellis Η φάση map του προ ράμματος, η είσοδος ρίζεται σε κομμάτια και από το κά ε κομμάτι παρά ονται υποδέντρα, ένα ια κά ε πρό εμα Η φάση reduce του προ ράμματος, τα υποδέντρα με το ίδιο πρό εμα ενώνονται σε προ εματικά δέντρα Με σημειώνεται το σημείο που ρίζεται το κείμενο σε κομμάτια. Ε έ οντας ια προ έματα μήκους 4, παρατηρούμε ότι πρέπει να δια άσουμε και 3 αρακτήρες από το επόμενο κομμάτι ια το τε ευταίο προς έ ε ο πρό εμα που σημειώνεται Οι κ άσεις που απαρτίζουν τα δέντρα επι εμάτ ν Ο απ οϊκός α όρι μος ια την κατασκευή προ εματικών υποδέντρ ν κατασκευάζει απευ είας το υποδέντρο σκανάροντας ό ο το κομμάτι ια κά ε πρό εμα Ο α όρι μος του Ukkonen απαιτεί την κατασκευή ο όκ ηρου του δέντρου επι εμάτ ν του κομματιού και την εξα ή τ ν προ εματικών υποδέντρ ν από αυτό Η κεντρική κ άση της υ οποίησης της ι ιο ήκης biojava

14 8 Κατάλογος σχημάτων 4.8 Παράδει μα ια τις δύο περιπτώσεις της συ ώνευσης Η αποτε εσματικότητα της συνάρτησης combine στο στάδιο κατασκευής προ- εμάτ ν Το π ή ος τ ν προ εμάτ ν ια τις εισόδους που ρησιμοποιή ηκαν Αρ ική κα υστέρηση ρίς συμπίεση της ακο ου ίας εισόδου και με συμπίεση Ο ό κος τ ν ενδιάμεσ ν δεδομέν ν Ο ικός ρόνος ια τον απ ό α ορί μο ια μικρές εισόδους Ο ικός ρόνος ια τον α ορί μο Ukkonen ια μικρές εισόδους Σύ κριση απ ού α ορί μου και α ορί μου Ukkonen στη φάση map ια μικρές εισόδους Σύ κριση απ ού α ορί μου και α ορί μου Ukkonen στη φάση reduce ια μικρές εισόδους Σύ κριση απ ού α ορί μου και α ορί μου Ukkonen ς προς τον συνο ικό ρόνο ια με ά ες εισόδους Σύ κριση απ ού α ορί μου και α ορί μου Ukkonen ς προς το ρόνο της φάσης map ια με ά ες εισόδους Η συμπεριφορά του Trellis ια με ά ες εισόδους Η συμπεριφορά του απ ού α ορί μου Η συμπεριφορά του α ορί μου του Ukkonen

15 Κατά ο ος πινάκ ν 2.1 τα επι έματα της συμ ο οσειράς ΒΑΝΑΝΑ οι πράξεις μετασ ηματισμού της έξης μεσιτών στη έξη αμέσ ς ο πίνακας δυναμικού προ ραμματισμού ια τις έξεις writers και vintner ο πίνακας δυναμικού προ ραμματισμού ια τις έξεις writers και vintner με τους απαραίτητους δείκτες Το μήκος και ο αρι μός προ εμάτ ν που ξεπερνούν σε συ νότητα το κατώφ ι t = 10 6 ια το αν ρώπινο ονιδί μα Τα μη ανήματα του cluster που ρησιμοποιή ηκε ια τις μετρήσεις

16

17 Κεφά αιο 1 Εισα ή 1.1 Αντικείμενο της διπ ματικής ερ ασίας Το 2000 αποκ δικοποιή ηκε ια πρώτη φορά το ονιδί μα του αν ρώπου. Η επιστημονική αυτή επιτυ ία σήμανε την αρ ή μιας νέας επο ής, με τον κ άδο της ιο ο ίας να υπόσ εται ότι το μέ ον της αν ρ πότητας ρίσκεται στην κατανόηση της ειτουρ ίας του αν ρώπινου DNA. Εξε ίξεις στην επιστήμη κατέστησαν δυνατό να δια αστεί και να απο ηκευτεί σε υπο ο ιστές με ά ος ό κος ιο ο ικών δεδομέν ν υπό τη μορφή ακο ου ιών. Η ανά κη ια στατιστική ανά υση και αποδοτική επεξερ ασία αυτών τ ν δεδομέν ν έννησε τον κ άδο της Υπο ο ιστικής Βιο ο ίας. Οι α όρι μοι ια ιο ο ικά δεδομένα εκτε ούνται πο ύ αποδοτικότερα όταν ίνεται ρήση ευρετηρίου. Το σημαντικότερο από τα ευρετήρια που έ ουν προτα εί είναι το δέντρο επι εμάτ ν (suffix tree). Κα ώς το προς ευρετηριοποίηση ιο ο ικό υ ικό ίνεται ο οένα και περισσότερο, ξεπερνώντας την ρητικότητα της κεντρικής μνήμης τ ν υπο ο ιστών, δημιουρ ή ηκε η ανά κη αποδοτικής κατασκευής τ ν δέντρ ν επι εμάτ ν στον σκ ηρό δίσκο. Στο π αίσιο αυτής της διπ ματικής ερ ασίας με ετώνται οι α όρι μοι κατασκευής δέντρ ν επι εμάτ ν στη μνήμη, στον σκ ηρό δίσκο και παρά η α. Ακόμα, ίνεται μια προσπά εια παρα η οποίησης του αποδοτικότερου από τους α ορί μους κατασκευής στον σκ ηρό δίσκο μέσ του Hadoop MapReduce. Το Hadoop MapReduce είναι μια πρόσφατη τε νο ο ία που επι ειρεί να καταστήσει προσιτή τόσο την ανάπτυξη παρά η ν εφαρμο ών, όσο και την εκτέ εσή τους σε cluster απ ών υπο ο ιστών. 1.2 Συνεισφορά Αρ ικά με ετή ηκαν α όρι μοι κατασκευής δέντρ ν επι εμάτ ν. Ιδιαίτερο άρος δό ηκε στη με έτη του α όρι μου του Ukkonen που κατασκευάζει σε ραμμικό ρόνο και ώρο το δέντρο επι εμάτ ν μιας συμ ο οσειράς, δια άζοντας την από αριστερά προς τα δεξιά. Ο α όρι μος του Ukkonen κατασκευάζει το δέντρο σε n φάσεις. Κά ε φάση περι αμ άνει μια σειρά επεκτάσε ν τ ν ακμών του υπάρ οντος δέντρου έτσι ώστε να προστε εί ο n-οστός αρακτήρα. Μια σειρά έξυπν ν παρατηρήσε ν, όπ ς η ρήση συνδέσμ ν επι έματος, επιτα ύνουν την εξεύρεση τ ν ακμών που ρειάζονται επέκταση σε κά ε φάση, προσδίδοντας 11

18 12 Κεφάλαιο 1. Εισαγωγή ραμμικότητα στον α όρι μο. Όμ ς ο α όρι μος του Ukkonen αποτυ άνει ια με ά ες εισόδους, κα ώς το δέντρο επι εμάτ ν ρειάζεται ώρο πο απ άσιο της ακο ου ίας που περι ράφει, με αποτέ εσμα να ξεπερνά σε μέ ε ος την ρητικότητα της κύριας μνήμης τ ν υπο ο ιστών. Έτσι στη συνέ εια με ετή ηκαν οι τε νικές που έ ουν προτα εί ια αντιμετώπιση αυτού του προ ήματος και κατασκευάζουν το δέντρο επι εμάτ ν στον σκ ηρό δίσκο. Η αποδοτικότερη αυτών τ ν τε νικών ονομάζεται Trellis. Η προσέ ιση του Trellis είναι να Χ ρίσει την είσοδο σε κομμάτια στα ερού με έ ους, κατασκευάζοντας ια το κά ε ένα το αντίστοι ο δέντρο επι εμάτ ν ρησιμοποιώντας τον α όρι μο του Ukkonen. Στη συνέ εια κατακερματίζει το κά ε δέντρο σε προ εματικά υποδέντρα με άση προ έματα μετα ητού μήκους που έ ει προϋπο ο ίσει. Στο τέ ος συ νεύει τα υποδέντρα που φέρουν το ίδιο αρ ικό πρό εμα και δίνει ς έξοδο προ εματικά δέντρα που περιέ ουν συνο ικά την ίδια π ηροφορία με το π ήρες επι εματικό δέντρο, ρίς όμ ς το κα ένα ξε ριστά να ξεπερνά σε απαιτήσεις την κεντρική μνήμη του υπο ο ιστή. Τα προ έματα μετα ητού μήκους υπο ο ίζονται έτσι ώστε το κα ένα να έ ει συ νότητα ι ότερη από ένα κατώφ ι t στο αρ είο εισόδου. Ο ίδιος αρι μός ρησιμοποιείται ς μήκος κομματιού ια το ρισμό της εισόδου. Το κατώφ ι είναι αρι μός υπο ο ισμένος έτσι ώστε ένα δέντρο επι εμάτ ν με t φύ α να ράει σε ένα δοσμένο μέ ε ος κεντρικής μνήμης. Έτσι το Trellis διασφα ίζει ότι ό ες οι ερ ασίες συμ αίνουν αποδοτικά στη μνήμη. Όπ ς διαπιστώνουμε από την παραπάν περι ραφή, η επεξερ ασία οποιουδήποτε κομματιού της ακο ου ίας εισόδου είναι ανεξάρτητη από την επεξερ ασία τ ν υπό οιπ ν. Επίσης, η συ ώνευση τ ν υποδέντρ ν με το ίδιο πρό εμα είναι ανεξάρτητη από ό α τα ά α υποδέντρα. Έτσι φαίνεται ότι η διαδικασία μπορεί να παρα η- οποιη εί, ανα έτοντας τις επιμέρους ανεξάρτητες ερ ασίες σε διαφορετικούς υπο ο ιστές. Η με έτη συνε ίστηκε με το Hadoop MapReduce που ρησιμοποιή ηκε ια την υ οποίηση του προ ράμματος. Το Hadoop MapReduce είναι μια νέα τε νο ο ία που απ οποιεί την κατασκευή και εκτέ εση παρά η ν προ ραμμάτ ν. Πρόκειται ια ένα framework ραμμένο σε Java το οποίο υποστηρίζει εφαρμο ές παρά η ης επεξερ ασίας με ά ου ό κου δεδομέν ν και είναι ε εύ ερη υ οποίηση του Google MapReduce. Το Hadoop προσφέρει ένα επίπεδο αφαίρεσης στη διαδικασία ανάπτυξης παρά η ν προ ραμμάτ ν, ανα αμ άνοντας να δια ειριστεί το διαμοιρασμό τ ν δεδομέν ν, την συ κέντρ ση τ ν αποτε εσμάτ ν, τις πι ανές αποτυ ίες κόμ ν και ά α έματα που κανονικά α ρειαζόταν ο προ ραμματιστής να υ οποιήσει. Ο προ ραμματιστής αρκεί να ράψει πρό ραμμα σε Java ρησιμοποιώντας ι ιο ήκες του Hadoop και υ οποιώντας τον α όρι μο του σύμφ να με τη ο ική τ ν συναρτήσε ν Map και Reduce, έτσι ώστε να εκμετα ευτεί την παρά η η επεξερ ασία που προσφέρει το cluster. Συ κεκριμένα ένα πρό ραμμα MapReduce αποτε είται από δύο συναρτήσεις την map και την reduce. Η κά ε μία εκτε είται παρά η α από το cluster, α ά οι δύο φάσεις εκτε ούνται σειριακά μεταξύ τους, με τα αποτε έσματα της map να αποτε ούν είσοδο στη reduce. Η συνάρτηση map πρέπει να είναι έτσι προ ραμματισμένη ώστε να δέ εται ένα κομμάτι της εισόδου και να δίνει ς έξοδο ζευ άρια (κ ειδί, τιμή). Οι έξοδοι ό ν τ ν κόμ ν του cluster ια τη συνάρτηση map ομαδοποιούνται με άση το κ ειδί και ίνεται μία κ ήση της συνάρτησης reduce ια κά ε μοναδικό κ ειδί, δίνοντας ς είσοδο ό ες τις τιμές που ρίσκονται σε ζευ άρι με το συ κεκριμένο κ ειδί. Τα αποτε έσματα απο ηκεύονται στο

19 1.2 Συνεισφορά 13 δίσκο και αποτε ούν την τε ικό αποτέ εσμα. Στη συνέ εια υ οποιή ηκε παρά η ο πρό ραμμα κατασκευής δέντρ ν επι εμάτ ν ασισμένο στην κεντρική ιδέα του Trellis και στο προ ραμματιστικό μοντέ ο του MapReduce. Ανα υτικά, η τε νική του Trellis υ οποιή ηκε κατά MapReduce με δύο ερ ασίες που εκτε- ούνται σειριακά μεταξύ τους. Η πρώτη υπο ο ίζει τα προ έματα μετα ητού μήκους, ρίζοντας την είσοδο σε κομμάτια και μετρώντας σε κά ε κομμάτι τη συ νότητα μιας ίστας προ εμάτ ν. Στη συνέ εια στη φάση reduce, α ροίζονται οι συ νότητες του κά ε προ έματος έτσι ώστε να ρε εί η συ νότητά του συνο ικά στην είσοδο. Τα προ έματα που έ ουν συ νότητα ι ότερη από το κατώφ ι κρατιούνται ς τε ικά, ενώ τα υπό οιπα επιμηκύνονται κατά ένα αρακτήρα μία φορά ια κά ε ράμμα του α φά ητου και αποτε ούν είσοδο στην επόμενη επανά ηψη της ερ ασίας. Κατόπιν υ οποιή ηκαν τα στάδια κατασκευής προ εματικών υποδέντρ ν και συ ώνευσης τους σε προ εματικά δέντρα του Trellis. Τα στάδια αυτά προ ραμματίστηκαν σε μια ερ ασία MapReduce, με τη συνάρτηση map να δέ εται ς είσοδο ένα κομμάτι της εισόδου, να κατασκευάζει ια αυτό το κομμάτι τα προ εματικά υποδέντρα και να δίνει έξοδο ζευ άρια (πρό εμα, προ εματικό υποδέντρο). Το Hadoop ομαδοποιεί τα ζευ- άρια κατά πρό εμα και η συνάρτηση reduce ανα αμ άνει να συ νεύσει ό α τα υποδέντρα που μοιράζονται το ίδιο πρό εμα. Αξίζει να σημει εί ότι ια τη συνάρτηση map υ οποιή ηκαν 3 εκδο ές με άση διαφορετικούς α ορί μους. Συ κεκριμένα υ οποιή ηκε ένας απ ός α όρι μος που σαρώνει μια φορά το κείμενο ια κά ε πρό εμα και κατασκευάζει απευ είας το προ εματικό υποδέντρο. Επίσης υ οποιή ηκε ο α όρι μος Ukkonen σε Java και αποτέ- εσε άση ια μια δεύτερη εκδο ή. Τέ ος μια υ οποίηση του α ορί μου του Ukkonen από ι ιο ήκη της java με α ορί μους ιο ο ικών δεδομέν ν ρησιμοποιή ηκε σε μια τρίτη εκδο ή του προ ράμματος. Στις εκδόσεις που ρησιμοποιή ηκε ο α όρι μος του Ukkonen, η τε νική κατασκευής τ ν προ εματικών υποδέντρ ν συνίσταται στην κατασκευή ο όκ ηρου το δέντρου επι εμάτ ν ια το κομμάτι που είναι είσοδος στη map και στη συνέ εια στην εξα ή τ ν προ εματικών υποδέντρ ν μέσ μιας διαδικασίας ακρι ούς ταιριάσματος του κά ε προ έματος στο δέντρο και εξα ή του υποδέντρου που ορίζεται από το τε ικό σημείο τ ν συ κρίσε ν. Το π εονέκτημα του απ ού, μη ραμμικού α ορί μου είναι ότι κατασκευάζοντας απευ είας τα προ εματικά υποδέντρα έ ει μικρότερες απαιτήσεις σε μνήμη και άρα η ακο ου ία εισόδου μπορεί να ριστεί σε ι ότερα κομμάτια και να ίνει κα ύτερη ρήση ενός μικρού cluster με ταυτό ρονη μεί ση του αρι μού τ ν ενδιάμεσ ν ε ραφών. Αντί ετα, ο ραμμικός α όρι μος του Ukkonen απαιτεί τεμα ισμό της εισόδου σε μικρά κομμάτια, αρακτηριστικό που μας ανα κάζει να δημιουρ ήσουμε πο ές μικρές ερ ασίες με την ακό ου η αύξηση και στον αρι μό τ ν ενδιάμεσ ν ε ραφών. Η διαδικασία συ ώνευσης επι ειρεί να προσ έσει ό ες τις ακμές ό ν τ ν υποδέντρ ν που είναι είσοδος στη συνάρτηση reduce σε ένα κύριο προ εματικό δέντρο που είναι και η τε ική έξοδος της συνάρτησης. Η πειραματική αξιο ό ηση στό ευσε στη σύ κριση της απόδοσης τ ν παραπάν εκδο ών τόσο ια αυξανόμενου με έ ους ακο ου ίες εισόδου όσο και ια αυξανόμενο π ή ος υπο ο- ιστών στο cluster. Η παρα η οποίηση αυτού του α ορί μου α έπρεπε να δώσει απο οητευτικά αποτε έσματα ό της ανά κης παρουσίας ο όκ ηρ ν τ ν ακο ου ί ν εισόδου σε κά ε κόμ ο του cluster ια τη διαδικασία της συ ώνευσης. Η ανά κη του α ορί μου ια

20 14 Κεφάλαιο 1. Εισαγωγή μεταφορά πο ών δεδομέν ν είναι ένας σημαντικός παρά οντας κα υστέρησης, δεν δρα όμ ς αναστα τικά στο να ε τι ούν τα αρακτηριστικά της εκτέ εσης σε σ έση με το Trellis. Συνο ικά οι μετρήσεις μας δεί νουν ότι με ρήση ενός μικρού cluster 10 υπο ο ιστών η διαδικασία ευρετηριοποίησης παρουσιάζει αύξηση απόδοσης, και κυρί ς έ ει τη δυνατότητα να ευρετηριοποιήσει αποδοτικά με α ύτερες ακο ου ίες από ότι το Trellis. Συνοπτικά, η συνειφορά της διπ ματικής αφορά στα παρακάτ έματα:α Με έτη τε νικών αποδοτικής κατασκευής δέντρ ν επι εμάτ ν Υ οποίηση προ ράμματος παρά η ης κατασκευής δέντρ ν επι εμάτ ν Πειραματική αξιο ό ηση υ οποιήσε ν 1.3 Ορ άν ση Το κείμενο της διπ ματικής αποτε είται από 6 κεφά αια. Το παρόν κεφά αιο είναι το πρώτο και σε αυτό ίνεται αναφορά στο αντικείμενο της διπ ματικής, στη συνεισφορά της ερ ασίας στον τομέα έρευνας που αφορά το αντικείμενο και στον τρόπο ορ άν σης του υπό- οιπου κειμένου. Στο δεύτερο κεφά αιο επι ειρείται η παρο ή του απαραίτητου υπο ά ρου που ρειάζεται ο ανα νώστης ια να κατανοήσει το σύνο ο της ερ ασίας. Συ κεκριμένα, παρουσιάζονται αρ ικά κάποιες ασικές έννοιες τις ιο ο ίας. Στη συνέ εια παρουσιάζονται διάφορα ευρετήρια και α όρι μοι προσε ιστικού ταιριάσματος που έ ουν προτα εί ια τα ιο ο ικά δεδομένα, με έμφαση στα δέντρα επι εμάτ ν και τους α ορί μους προσε ιστικού ταιριάσματος που τα ρησιμοποιούν. Έπειτα ανα ύονται διάφοροι α όρι μοι κατασκευής δέντρ ν επι εμάτ ν που δρουν στη μνήμη, στον σκ ηρό δίσκο και σε παρά η α συστήματα. Τέ ος, ο ανα νώστης εισά εται στην τε νο ο ία Hadoop MapReduce. Στο τρίτο κεφά αιο ίνεται ανά υση του α ορί μου Trellis, του αποδοτικότερου α ορί μου κατασκευής δέντρ ν επι εμάτ ν στον σκ ηρό δίσκο. Στο τέταρτο κεφά αιο παρουσιάζεται η συνεισφορά της ερ ασίας αυτής σε επίπεδο υ οποιήσε ν. Συ κεκριμένα, παρουσιάζεται αρ ικά ο τρόπος με τον οποίο η ασική ιδέα του Trellis προσαρμόζεται στο προ ραμματιστικό μοντέ ο του MapReduce. Στη συνέ εια παρουσιάζεται η υ οποίηση ια το στάδιο κατασκευής προ εμάτ ν, οι διαφορετικές υ οποιήσεις ια το στάδιο κατασκευής προ εματικών υποδέντρ ν και η υ οποίηση του σταδίου συ ώνευσης υποδέντρ ν σε δέντρα. Στο πέμπτο κεφά αιο παρουσιάζονται οι μετρήσεις που έ ιναν ια τις παραπάν υ οποιήσεις με σκοπό την κατανόηση της συμπεριφοράς τους σε πρα ματικές συν ήκες και με ά ες εισόδους. Ακο ου ούν στο έκτο κεφά αιο μια σύνοψη τ ν συμπερασμάτ ν της διπ ματικής και προτάσεις ια με οντικές ερ ασίες. Στο τέ ος ρίσκεται η ι ιο ραφία.

21 Κεφά αιο 2 Υπό α ρο Σε αυτό το εισα ικό κεφά αιο α ασ ο η ούμε αρ ικά με την έννοια τ ν ιο ο ικών δεδομέν ν και τις τε νο ο ίες που έ ουν αναπτυ εί ια να έ ουμε αποδοτική αναζήτηση μέσα σε αυτά. Στη συνέ εια α αναφερ ούμε στην ιστορική εξέ ιξη τ ν με όδ ν κατασκευής ενός συ κεκριμένου είδους ευρετηρίου ιο ο ικών δεδομέν ν που έ ει αποδει εί π ς επιτα ύνει ιδιαίτερα τη διαδικασία αναζήτησης. Τέ ος, α παρουσιαστεί η τε νο ο ία Hadoop MapReduce που μας επιτρέπει να κατασκευάζουμε και να εκτε ούμε παρά η α προ ράμματα. 2.1 Βιο ο ικά Δεδομένα και Α όρι μοι Ταιριάσματος Η κ ηρονομικότητα τ ν αρακτηριστικών αν ρώπ ν και ζώ ν α ά και η ποικι ομορφία μεταξύ ατόμ ν του ιδίου είδους ήταν πάντα ν στή στον άν ρ πο. Έτσι νώριζε ότι αν διασταυρώσει τα πιο παρα ικά του ζώα, τότε ο όκ ηρη η επόμενη ενιά α είναι πιο παρα ική ή ότι άμοι μεταξύ με ών της ίδιας οικο ένειας α δώσουν ασ ενικά παιδιά. Ο μη ανισμός που κρύ εται πίσ από την κ ηρονομικότητα αρακτηριστικών δεν είναι ά ος από το ενετικό υ ικό. Το DNA εί ε ανακα υφ εί από τον 19ο αιώνα, όμ ς η δομή του έ ινε κατανοητή το 1953 από τους Watson και Crick. Σύμφ να με την ερ ασία τους, το DNA αποτε είται από δύο α υσίδες συμπ ηρ ματικές μεταξύ τους. Η κά ε α υσίδα αποτε- είται από μονάδες που ονομάζονται νουκ εοτίδια. Τα νουκ εοτίδια είναι αζ τού ες άσεις και διακρίνονται 4 είδη: αδενίνη (Α), υμίνη (T), κυτοσίνη (C) και ουανίνη (G). Οι άσεις απαντώνται σε συμπ ηρ ματικά ζευ άρια που ρίσκονται αντικριστά στις ίδιες έσεις τ ν δύο α υσίδ ν. Έτσι η αδενίνη (A) ρίσκεται πάντα απέναντι από τη υμίνη (T) και η κυτοσίνη (C) απέναντι από τη ουανίνη (G). Το DNA είναι υπεύ υνο και ια την παρα ή του σημαντικότερου συστατικού ενός κυττάρου, τ ν πρ τεϊνών. Αντίστοι α με το DNA, οι πρ τεΐνες αποτε ούνται και αυτές από 20 διαφορετικές διακριτές μονάδες που ονομάζονται αμινοξέα. Η με έτη του ενετικού υ ικού δίνει αποτε έσματα στην ιατρική και τη ιο ο- ία, οη ώντας στη με έτη της εξέ ιξης τ ν ορ ανισμών και την αντιμετώπιση ενετικών ασ ενειών. Τα συμπεράσματα στα οποία εί αν κατα ήξει οι πρό ονοί μας σήμερα συστηματοποιούνται, ενώ διαρκώς ανακα ύπτονται και νέα μυστικά του ενετικού κώδικα. Για να 15

22 16 Κεφάλαιο 2. Υπόβαθρο ίνουν ό α αυτά δυνατά, είναι απαραίτητο να ίνονται αναζητήσεις στα ιο ο ικά δεδομένα με αποτέ εσμα ομο ο ίες μεταξύ ενετικού υ ικού, δη αδή ομοιότητες στη δομή και ειτουρ- ία δύο ιομορί ν που προέρ ονται από διαφορετικό άτομο. Για παράδει μα μπορεί έτσι να με ετη εί ποιο ονίδιο πέρασε από δύο υ ιείς ονείς στο παιδί τους, με αποτέ εσμα το παιδί να κ ηρονομήσει κάποια σο αρή ενετική ασ ένεια. Η επιστήμη της π ηροφορικής είναι οη- ός στη διαδικασία αυτή. Τόσο το DNA, όσο και οι πρ τεΐνες μπορούν να αναπαραστα ούν ς συμ ο οσειρές. Η αναζήτηση ομο ο ιών μπορεί να ίνει με τη ρήση κάποιου α ορί μου ταιριάσματος ακο ου ιών. Ο ό κος τ ν ιο ο ικών δεδομέν ν είναι τέτοιος που έ εσε νέες απαιτήσεις σε ήδη ν στές τε νο ο ίες της επιστήμης της π ηροφορικής. Όπ ς α δούμε, η ανά κη ια αποδοτικές σε ρόνο αναζητήσεις σε με ά ο ό κο ιο ο ικών δεδομέν ν οδή ησε στην ανάπτυξη νέ ν δομών ευρετηρί ν και τε νικών ταιριάσματος ακο ου ιών, εξειδικευμέν ν στα ιο ο ικά δεδομένα Δομές δεδομέν ν και α όρι μοι προσε ιστικού ταιριάσματος Στην ενότητα αυτή παρουσιάζονται δομές δεδομέν ν που έ ουν προτα εί ια ρήση ς ευρετήρια συμ ο οσειρών, κα ώς επίσης και τε νικές που εφαρμόζονται από α ορί μους ια προσε ιστικό ταίριασμα συμ ο οσειρών και ρησιμοποιούν τα παραπάν ευρετήρια. Περισσότερες επτομέρειες μπορούν να ρε ούν στο [2]. Τε νικές προσε ιστικού ταιριάσματος Οι α όρι μοι που εφαρμόζονται στις παραπάν δομές αφορούν κυρί ς την αναζήτηση μικρών ακο ου ιών ιο ο ικών δεδομέν ν (πρότυπα) πάν στην με ά η ακο ου ία που περι ράφεται από το ευρετήριο. Η αναζήτηση αυτή μπορεί να αφορά είτε την ακρι ή ταύτιση του προτύπου (exact matching), είτε την προσε ιστική ταύτισή του (approximate matching). Η ακρι ής ταύτιση προτύπου συνίσταται στην εύρεση ό ν τ ν έσε ν της ακο ου ίας που εμφανίζεται ένα πρότυπο. Ήδη αναφέρ ηκε η μέ οδος με την οποία ίνεται ακρι ής ταύτιση προτύπου σε δέντρα επι εμάτ ν. Η προσε ιστική ταύτιση επι ειρεί να ρει υποακο ου ίες της ακο ου ίας εισόδου που να μοιάζουν αρκετά με το πρότυπο. Συ κεκριμένα, η προσε ιστική ταύτιση ε ρεί μια υποακο ου ία ταυτόσημη με το πρότυπο όταν μεταξύ τους υπάρ ουν το πο ύ k ά η. Λά ος ορίζεται η εισα ή, δια ραφή ή αντικατάσταση αρακτήρα. Υπάρ ουν παρα α ές στους α ορί μους προσε ιστικής ταύτισης, ανά ο α αν ε ρείται ότι τα ά η ρίσκονται στο πρότυπο ή στην ακο ου ία. Ό οι οι α όρι μοι προσε ιστικής αναζήτησης ακο ου ούν συ κεκριμένες τε νικές. Αυτές οι τε νικές είναι οι εξής: Τε νική παρα ής ειτονιάς (neighborhood generation): Η τε νική αυτή παρά ει ό ες τις συμ ο οσειρές που έ ουν k ά η σε σ έση με την δοσμένη και ψά νει ια αυτές μέσα στο κείμενο ρησιμοποιώντας ευρετήριο. Συ κεκριμένα παρά ει ια ένα πρότυπο το σύνο ο τ ν ενα ακτικών μορφών που μπορεί να αποκτήσει όταν ίνουν k α α ές (εισα ές, δια ραφές και αντικαταστάσεις) στους αρακτήρες του. Στη συνέ εια ψά νει κά ε μία ενα ακτική με ακρι ές ταίριασμα στη δομή δεδομέν ν. Το σύνο ο τ ν συμ ο οσειρών

23 2.1 Βιολογικά Δεδομένα και Αλγόριθμοι Ταιριάσματος 17 που ταιριάζει με ένα πρότυπο με μέ ιστο αρι μό α ών k είναι πεπερασμένο και η κά ε συμ- ο οσειρά που ανήκει στο σύνο ο έ ει μήκος μέ ρι m+k, όπου m το μήκος του προτύπου. Φυσικά το μέ ε ος της k- ειτονιάς με α ώνει εκ ετικά με πο υπ οκότητα O(m kk ). Ο α - όρι μος αυτός δου εύει κα ά ια μικρά m και k, δη αδή μικρό μήκος προτύπου και ί α ά η. Σε αντί ετη περίπτ ση πρέπει να ε ε ούν πο ές ενα ακτικές. Ο τύπος δεδομέν ν που προτείνεται ια αυτό τον α όρι μο είναι είτε το δέντρο επι εμάτ ν, είτε ο πίνακας επι- εμάτ ν. Σε αυτούς και μόνο τους τύπους δεδομέν ν μπορούμε να ψάξουμε ια οποιαδήποτε υποσυμ ο οσειρά της ακο ου ίας εισόδου. Τε νική διαμοιρασμού σε ακρι ή ταιριάσματα (partitioning into exact searching): Η τε νική αυτή επι έ ει υποσυμ ο οσειρές του προτύπου που ε ρεί π ς δεν έ ουν ά η, ψά νει ια αυτές στο ευρετήριο και συ κρίνει την υπό οιπη συμ ο οσειρά του προτύπου με τη υπό οιπη ευρε είσα ια να μετρήσει το συνο ικό αρι μό α ών. Τα ά η σε αυτόν τον α όρι μο μπορεί να ρίσκονται τόσο στο πρότυπο όσο και στο κείμενο. Συ κεκριμένα η ασική ιδέα αυτού του α ορί μου είναι ότι κά ε συμ ο οσειρά με k ά η μπορεί να ριστεί σε k+1 τμήματα και τότε του ά ιστον μία υποσυμ ο οσειρά δεν α περιέ ει ά η. Ο α όρι μος ψά νει στο ευρετήριο ό α τα κομμάτια στα οποία έ ει ριστεί η συμ ο οσειρά, και στη συνέ εια ε έ ει τα μονοπάτια στα οποία εμφανίζονται σε σ έση με το πρότυπο. O εντοπισμός τ ν υποσυμ ο οσειρών μέσα στο κείμενο ίνεται με ευρετήριο, ενώ η σύ κριση τ ν ε ρούμεν ν ς αν ασμέν ν κομματιών με on-line α όρι μο. Όταν ε ρούμε ότι τα ά η ρίσκονται στο πρότυπο, τότε το ρίζουμε σε k+s κομμάτια. Είναι σί ουρο ότι s κομμάτια δεν α περιέ ουν ά η σε οποιαδήποτε παρα α ή του προτύπου εμφανίζεται στο κείμενο. Οι συμ ο οσειρές του κειμένου που εμφανίζουν και τα s κομμάτια ε έ ονται περαιτέρ. Δεν είναι ξεκά αρο αν το s συμφέρει να είναι με ά ο ή μικρό. Στην περίπτ ση που είναι με ά ο, τα κομμάτια που πρέπει να αναζητη ούν είναι μικρά και παρά ουν πο ά αποτε έσματα, επι αρύνοντας τη δεύτερη φάση του α ορί μου. Αν είναι μικρό, το φι τράρισμα είναι πο ύ αυστηρό και άνουμε αποτε έσματα. Η δομή δεδομέν ν που ε ρείται η κατα η ότερη ια ευρετήριο είναι τα Q-samples, τα οποία όμ ς δεν είναι ρήσιμα αν το ποσοστό α ών είναι με ά ο. Θε ρώντας ότι τα ά η συμ αίνουν στο κείμενο και δεδομένου ότι ρησιμοποιούμε Q-grams ή Q-samples ια την απο ήκευση του ευρετηρίου, τότε εξά ουμε από το κείμενο ανά στα ερό διάστημα αρακτήρ ν h, ένα δεί μα με μέ ε ος q αρακτήρες. Στη διάρκεια της αναζήτησης τα m-q+1 Q-grams εξά ονται και ίνεται αναζήτηση τους στο ευρετήριο. Όταν κάποιο ταιριάζει, η περιο ή ε έ εται ια σ στό αποτέ εσμα. Το q πρέπει να είναι μικρό, ώστε να μην έ ουμε πο ύ με ά ο σύνο ο από q-samples, α ά ταυτό ρονα αρκετά με ά ο ια να έ ουμε ί α σ ετικά στοι εία ια επι ε αί ση. Υ ριδική τε νική (intermediate partitioning): Η τε νική αυτή δια έ ει έναν μέσο δρόμο μεταξύ τ ν προη ούμεν ν δύο, επι έ οντας υποσυμ ο οσειρές που πρέπει να εμφανίζονται αυτούσιες και παρά οντας την υπό οιπη συμ ο οσειρά με παρα ή ειτονιάς. Και ια αυτόν τον α όρι μο υπάρ ουν εκδο ές τόσο ια ά ος στο πρότυπο όσο και ια ά ος στο κείμενο. Αρ ικά, όπ ς στο διαμοιρασμό σε ακρι ή ταιριάσματα, φι τράρει το ευρετήριο ια να ρει υποσυμ ο οσειρές οι οποίες να περιέ ουν περιέ ουν ά η. Στις υποσυμ ο οσειρές αυτές εφαρμόζει την τε νική της παρα ής ειτονιάς. Δεν υπάρ ει ν στή υ οποίηση

24 18 Κεφάλαιο 2. Υπόβαθρο του α ορί μου αυτού με δέντρο επι εμάτ ν, α ά α τον ανα ύσουμε επι ραμματικά ια την π ηρότητα του κειμένου. Η κεντρική ιδέα είναι ότι αν μια συμ ο οσειρά Α έ ει το πο ύ k ά η σε σ έση με μια συμ ο οσειρά Β, τότε υπάρ ει υποσυμ ο οσειρά της Α που να εμφανίζεται με το πο ύ k ά η μέσα στο Β. Αν ε ρήσουμε ότι τα ά η ρίσκονται στο πρότυπο, τότε το ρίζουμε σε j κομμάτια, όπ ς στο διαμοιρασμό σε ακρι ή ταιριάσματα, και μέσ του ευρετηρίου με διαδικασία ίδια με αυτή της παρα ής ειτονιάς ρίσκουμε τα σημεία του κειμένου στα οποία εμφανίζονται τα κομμάτια αυτά, παρουσιάζοντας το πο ύ k/j ά η. Στις έσεις που αποτε ούν το αποτέ εσμα του πρώτου ήματος, ε έ ουμε την υπό οιπη συμ ο οσειρά με on-line α όρι μο. Η επι ο ή του j είναι ιδιαίτερα κρίσιμη. Για j=1 ο α όρι μος εξομοιώνεται με τον παρα ή ειτονιάς, ενώ ια j=k+1 εξομοιώνεται με τον α όρι μο διαμοιρασμού σε ακρι ή ταιριάσματα. Όσο με α ύτερο είναι το j, τόσο μειώνεται το κόστος εύρεσης τ ν υποσυμ ο οσειρών του προτύπου μέσα στο ευρετήριο, α ά αυξάνεται το κόστος. Αν ε ρήσουμε ότι τα ά η περιέ ονται στο κείμενο, τότε αυτό α αποτε είται από j Q-samples. Σύμφ να με το ήμμα που αναφέρ ηκε παραπάν πρέπει να υπάρ ει του ά ιστον ένα Q-sample που να παρουσιάζεται στο πρότυπο έ οντας το πο ύ k/j ά η. Αυτή η μέ οδος ψά νει κά ε block Q i στο ευρετήριο τ ν Q-samples, αναζητώντας το μικρότερο αρι μό α ών ια κά ε ταίριασμα του q-sample μέσα στο Q i. Αν μια ομάδα από q-samples ρε εί και τα ά η είναι το πο ύ k, τότε ε έ εται με on-line α όρι μο. Όπ ς α ίνει προφανές από το επόμενο κεφά αιο, δεν μπορούν να ρησιμοποιη ούν ό ες οι δομές δεδομέν ν με ό ους τους α ορί μους. Στη συνέ εια α παρουσιάσουμε τις διάφορες δομές δεδομέν ν και στη συνέ εια α επικεντρ ούμε σε α ορί μους προσε ιστικού ταιριάσματος πάν σε δένδρα επι εμάτ ν. Για α ορί μους σε ά ες δομές μπορούν να ρε ούν περισσότερες π ηροφορίες στο [2]. Δομές δεδομέν ν Οι δομές δεδομέν ν που ρησιμοποιούνται στην ευρετηριοποίηση ιο ο ικών δεδομέν ν παρουσιάζουν διαφοροποίηση ς προς τις δυνατότητες τους και το ώρο που ρειάζονται ια την απο ήκευσή τους. Μέσα από τη με έτη μας έ ινε φανερό ότι οι διάφορες προσε - ίσεις προσπα ούν να προσφέρουν είτε μικρούς ρόνους αναζήτησης, είτε μικρές απαιτήσεις ώρου. Γενικά, οι δομές που δίνουν μικρότερους ρόνους κατά την αναζήτηση, απαιτούν με α ύτερο ώρο στη μνήμη. Έτσι τα δέντρα επι εμάτ ν(suffix Trees) απαιτούν τον περισσότερο ώρο, α ά δίνουν την δυνατότητα ρή ορης αναζήτησης ια οποιαδήποτε έξη μέσα στο κείμενο. Οι πίνακες επι εμάτ ν (Suffix Arrays) έ ουν τις ίδιες δυνατότητες αναζήτησης, απαιτούν ι ότερο ώρο ια την απο ήκευσή τους, α ά είναι και πιο αρ οί. Τα Q-Grams επιτρέπουν την αναζήτηση μόνο υποσυμ ο οσειρών που είναι με α ύτερες από q αρακτήρες. Τέ ος τα Q-Samples επιτρέπουν τα ίδια με τα προη ούμενα, α ά ια ορισμένες μόνο υποσυμ ο οσειρές. Πριν προ ρήσουμε στην παρουσίαση τ ν δύο πρώτ ν δομών αξίζει να ορίσουμε την έννοια του επι έματος. Ως επί εμα (suffix) ορίζεται η υποσυμ ο οσειρά (substring) μιας συμ ο οσειράς (string) που έ ει αρ ή κάποιο αρακτήρα της συμ ο οσειράς και πέρας τον τε ευταίο αρακτήρα της. Έτσι ια την συμ ο οσειρά BANANA το σύνο ο

25 2.1 Βιολογικά Δεδομένα και Αλγόριθμοι Ταιριάσματος 19 τ ν επι εμάτ ν φαίνεται στον πίνακα 2.1. BANANA ANANA NANA ANA NA A Πίνακας 2.1: τα επι έματα της συμ ο οσειράς ΒΑΝΑΝΑ Δέντρο Επι εμάτ ν: Το δέντρο επι εμάτ ν (suffix tree) είναι μια δενδρική δομή δεδομέν ν στην οποία απο ηκεύεται το ευρετήριο μίας συμ ο οσειράς. Στα κ αδιά του δέντρου αναπτύσσονται ό α τα επι έματα της συμ ο οσειράς εισόδου και στα φύ α του οι έσεις του πρώτου αρακτήρα του κά ε επι έματος. Ένα παράδει μα με το δέντρο επι εμάτ ν ια τη συμ ο οσειρά BANANA εικονίζεται στο σ ήμα 2.1. Σ ήμα 2.1: Η συμ ο οσειρά BANANA, τα επι έματα της σε αντιστοί ιση με τις έσεις που εμφανίζονται και το αντίστοι ο δένδρο επι εμάτ ν Στο σ ήμα παρατηρούμε κάποιες από τις ιδιότητες τ ν δέντρ ν επι εμάτ ν: 1. Ένα δέντρο επι εμάτ ν που περι ράφει μια συμ ο οσειρά με μήκος m έ ει m φύ α. 2. Κά ε εσ τερικός κόμ ος, εκτός από τη ρίζα, έ ει του ά ιστον 2 παιδιά. 3. Κά ε ακμή φέρει μη κενή υποσυμ ο οσειρά που ανήκει στη συμ ο οσειρά που περι- ράφεται από το ευρετήριο.

26 20 Κεφάλαιο 2. Υπόβαθρο 4. Ακμές που ξεκινούν από τον ίδιο κόμ ο δεν μπορούν να έ ουν ίδιο αρ ικό αρακτήρα. 5. Η συρραφή τ ν υποσυμ ο οσειρών τ ν ακμών που ορίζουν ένα μονοπάτι από τη ρίζα του δέντρου σε ένα φύ ο μας δίνει ένα έ κυρο επί εμα και η τιμή του φύ ου την έση του επι έματος μέσα στην συμ ο οσειρά. 6. Η παρουσία ενός αρακτήρα που δεν ανήκει στο α φά ητο της συμ ο οσειράς (εδώ το $) είναι απαραίτητη ια να διασφα ίσει ότι κανένα επί εμα δεν είναι πρό εμα (prefix) ά ου, κα ώς και τον κανόνα 1 ια τον ίσο αρι μό αρακτήρ ν και φύ ν στη συμ- ο οσειρά και το δέντρο. Η παραδοσιακή ρήση του δέντρου επι εμάτ ν είναι ια ρή ορη αναζήτηση ια ακρι- είς ( ρίς ά η) εμφανίσεις μιας μικρής συμ ο οσειράς μέσα στη συμ ο οσειρά πάν στην οποία έ ει οικοδομη εί το δέντρο. Η διαδικασία συνίσταται στο να ακο ου ήσουμε τις ακμές του δέντρου από τη ρίζα προς τα φύ α. Το π εονέκτημα αυτής της δομής είναι ότι ο ρόνος αναζήτησης είναι ίσος με τον ρόνο που ρειαζόμαστε ια να επισκεφ ούμε τους αντίστοι ους κόμ ους. Είναι εμφανές ότι η πο υπ οκότητα της αναζήτησης είναι O(m) όπου m το μήκος της υποσυμ ο οσειράς που αναζητούμε. Αυτό είναι το ασικό π εονέκτημα της ρήσης του δένδρου επι εμάτ ν σε μια τέτοια αναζήτηση, κα ώς ο ρόνος που απαιτείται ια την αναζήτηση μιας μικρής υποσυμ ο οσειράς είναι ανεξάρτητος από το πόσο με ά η είναι η συμ ο οσειρά τ ν δεδομέν ν. Τα ασικά μειονεκτήματα του δένδρου επι εμάτ ν είναι δύο. Πρώτον, το μέ ε ος του δένδρου είναι πο ύ με ά ο: στην κα ύτερη περίπτ ση ένα δένδρο επι εμάτ ν μπορεί να είναι περίπου 9 φορές με α ύτερο από μέ ε ος τ ν αρ ικών δεδομέν ν. Δεύτερον, η φάση κατασκευής του είναι ιδιαίτερα ρονο όρα και μά ιστα εμπ έκει τυ αίες προσπε άσεις πάν στα δεδομένα κάτι το οποίο μειώνει ακόμα περισσότερο την απόδοση. Πίνακας Επι εμάτ ν: Ο Πίνακας Επι εμάτ ν (Suffix Array) είναι μια διαφορετική εκδο ή του δέντρου επι εμάτ ν, με ι ότερες απαιτήσεις ώρου, περίπου 4 φορές περισσότερες από το αρ ικό κείμενο. Αντίστοι α μας δίνει και με α ύτερους ρόνους αναζήτησης. Για να το δημιουρ ήσουμε, αρκεί να επισκεφτούμε τα φύ α του δέντρου επι εμάτ ν από αριστερά προς τα δεξιά και να κατα ράψουμε τον αρι μό του φύ ου. Έτσι ο πίνακας επι εμάτ ν είναι ένας μονοδιάστατος πίνακας από αυτούς τους αρι μούς. Αξίζει πάντ ς να σημει εί ότι έ ει αποδει εί [1] πώς με την προσ ήκη πο ύ μικρής π ηροφορίας, οποιοσδήποτε α όρι μος ια δέντρα επι εμάτ ν μπορεί να μεταφερ εί με την ίδια ρονική πο υπ οκότητα σε πίνακες επι εμάτ ν. Q-gram: Το Q-gram έ ει ακόμα ι ότερες δυνατότητες, με αντίστοι ο κέρδος σε ώρο. Αυτός ο τύπος δεδομέν ν περιορίζει το μήκος τ ν προτύπ ν που μπορούμε να αναζητήσουμε στο ευρετήριο, με μέ ιστο έστ q. Το ευρετήριο αυτό απο ηκεύει ια ό ες τις διαφορετικές υποσυμ ο οσειρές με μήκος q τις έσεις που εμφανίζονται στο κείμενο. Q-sample: Το Q-sample μειώνει ακόμα περισσότερο τις απαιτήσεις σε ώρο απο ηκεύοντας μόνο κάποια Q-grams από ό α όσα έ ει το κείμενο.

27 2.2 Προσεγγιστικά ταιριάσματα με χρήση δέντρων επιθεμάτων Προσε ιστικά ταιριάσματα με ρήση δέντρ ν επι- εμάτ ν Σε αυτό το κεφά αιο α επικεντρ ούμε στους α ορί μους προσε ιστικού ταιριάσματος προτύπου που είναι εξειδικευμένοι ια τη δομή τ ν δέντρ ν επι εμάτ ν. Αρ ικά α ορίσουμε την έννοια του προσε ιστικού ταιριάσματος και στη συνέ εια α ανα ύσουμε 3 α ορί μους που ρησιμοποιούν την παραπάν έννοια ια να κάνουν προσε ιστικά ταιριάσματα με ρήση δέντρου επι εμάτ ν. Το προσε ιστικό ταίριασμα αποδεικνύεται στην πράξη πο ύ πιο ρήσιμο από το ακρι ές. Αυτό ισ ύει ιδιαίτερα ια το πεδίο τ ν ιο ο ικών δεδομέν ν, αφού το ενετικό υ ικό υφίσταται α α ές τόσο κατά τη διάρκεια ζ ής ενός ορ ανισμού όσο και από ενιά σε ενιά. Έ ει αποδει εί ότι μικρές α α ές στο ενετικό υ ικό έ ουν ς συνέπεια με ά ες α α ές στις ειτουρ ίες ενός ορ ανισμού. Έτσι είναι φανερό ότι όταν αναζητούμε π ηροφορίες σε ιο ο ικό υ ικό δεν μπορούμε να ορίσουμε το πρότυπο με μα ηματική ακρί- εια, α ά αναμένουμε και αποτε έσματα που έ ουν υποστεί α α ές. Μια ενική εικόνα ια τους α ορί μους που α ανα ύσουμε δίνεται από το [12]. Πριν προ ρήσουμε στην ανά υση τ ν τε νικών ια προσε ιστικό ταίριασμα σε δέντρα επι εμάτ ν, πρέπει πρώτα να τυποποιήσουμε το α μό στον οποίο διαφέρουν μεταξύ τους δύο ακο ου ίες. Η πιο απ ή τυποποίηση εστιάζει στο να ρε εί το π ή ος τ ν συντακτικών πράξε ν που είναι απαραίτητες ια να ίνουν ίδιες οι δύο ακο ου ίες. Το π ή ος αυτό ονομάζεται συντακτική απόσταση (edit distance) τ ν 2 ακο ου ιών. Οι επιτρεπτές συντακτικές πράξεις είναι εισα ή ή δια ραφή αρακτήρα στην πρώτη ακο ου ία και η αντικατάσταση ενός αρακτήρα της δεύτερης ακο ου ίας με αρακτήρα της πρώτης. Ένα παράδει μα φαίνεται στον πίνακα 2.2. Πράξη I M M M D D M R Ακο ου ία 1 - μ ε σ ι τ ώ ν Ακο ου ία 2 α μ έ σ - - ς Πίνακας 2.2: οι πράξεις μετασ ηματισμού της έξης μεσιτών στη έξη αμέσ ς Η ακο ου ία με α φά ητο I, D, M, R που περι ράφει το μετασ ηματισμό μιας ακο- ου ίας σε μία δεύτερη ονομάζεται συντακτικό μετα ραφής (edit transcript) ή απ ούστερα, μετα ραφή. Ο υπο ο ισμός της συντακτικής απόστασης ρίσκεται στην καρδιά της προσε - ιστικής αναζήτησης ενός προτύπου. Θα δούμε πώς μπορούμε με ρήση δυναμικού προ ραμματισμού να υπο ο ίσουμε τη συντακτική απόσταση δύο ακο ου ιών. Η προσέ ιση αυτή μπορεί να μετατραπεί και σε α όρι μο προσε ιστικής αναζήτησης. Εδώ υπο έτουμε ότι δεν δια έτουμε κάποιο ευρετήριο ια τις ακο ου ίες. Υπο ο ισμός συντακτικής απόστασης: Έστ ακο ου ίες S1, S2 με S1 = m και S2 = n. Θα συμ ο ίζουμε με D(i, j) τη συντακτική απόσταση τ ν προ εμάτ ν S1[1...i] και S2[1...j]. Όπ ς αφήνει να εννοη εί η ρήση του όρου δυναμικός προ ραμματισμός, μπορούμε να υπο ο ίσουμε τη συντακτική απόσταση τ ν δύο αυτών προ εμάτ ν αναδρομικά, υπο ο ίζοντας τη συντακτική απόσταση μικρότερ ν προ εμάτ ν. Αν η ακο ου ία S1 έ ει m

28 22 Κεφάλαιο 2. Υπόβαθρο ράμματα και ακο ου ία S2 έ ει n ράμματα, τότε η συντακτική απόσταση τους α συμ ο ίζεται με D(m, n). Για να υπο ο ίσουμε το τε ευταίο, αρκεί με δυναμικό προ ραμματισμό να υπο ο ιστούν τα D(i, j) ια ό α τα δυνατά i και j. Η προσέ ιση του δυναμικού προ ραμματισμού απαιτεί τρία ήματα: 1. την αναδρομική σ έση (recursive relation) 2. τον υπο ο ισμό πίνακα (tabular computation) 3. την προς τα πίσ αναζήτηση (trackback) Η αναδρομική σ έση συνδέει την τιμή της D(i, j) με τιμές του D ια i <i, j <j. Οι δείκτες αυτοί είναι ετικοί και η αναδρομή α εξαντ η εί ια αρ ικές συν ήκες οι οποίες ορίζονται D(i, 0) = i και D(0, j) = j. Η πρώτη αρ ική συν ήκη είναι σ στή, ιατί ια να μετασ ηματίσουμε i αρακτήρες της πρώτης ακο ου ίας σε 0 αρακτήρες της δεύτερης, αρκεί να δια ραφούν ό οι με ρήση i δια ραφών. Η δεύτερη αρ ική συν ήκη είναι επίσης σ στή ιατί απαιτούνται j εισα ές στην αρ ικά κενή πρώτη ακο ου ία ώστε αυτή να ίνει ίδια με j αρακτήρες της δεύτερης ακο ου ίας. Μπορούμε τώρα να ορίσουμε την αναδρομική σ έση ς εξής: D(i, j) = min[d(i 1, j) + 1, D(i, j 1), D(i 1, j 1) + t(i, j)] όπου t(i,j) μια συνάρτηση που ισούται με το 1 αν S1(i) S2(j) και 0 όταν S1(i) = S2(j). Αφού ορίστηκε η αναδρομική συνάρτηση, στη συνέ εια πρέπει να ρε εί τε νική ια αποδοτικό υπο ο ισμό του D(m,n). Μια απ οϊκή προσέ ιση α ήταν η ρήση του αναδρομικού ορισμού. Όμ ς αυτή η προσέ ιση δεν είναι αποδοτική ιατί ο αρι μός τ ν αναδρομικών κ ήσε ν αυξάνει εκ ετικά με την αύξηση τ ν m, n. Μά ιστα υπάρ ουν (m + 1) (n + 1) συνδυασμοί τ ν i, j, άρα υπάρ ουν (m+1) (n+1) αναδρομικές κ ήσεις που είναι δυνατόν να ίνουν και το π ή ος ίνεται δυσανά ο α με ά ο. Παρατηρούμε ότι η μέ οδος υπο ο ισμού από πάν προς τα κάτ δεν είναι αποδοτική. Η αντίστροφη πορεία υπο ο ισμού, από κάτ προς τα πάν, είναι πο ύ κα ύτερη. Σε αυτή την προσέ ιση υπο ο ίζεται πρώτα η τιμή της D(i,j) ια τις μικρότερες δυνατές τιμές τ ν i, j. Κατόπιν υπο ο ίζεται το D(i,j) αυξάνοντας τις τιμές τ ν i, j. Ο υπο ο ισμός ίνεται με τη ρήση πίνακα δυναμικού προ ραμματισμού με έ ους (m + 1) (n + 1). Ένας πίνακας δυναμικού προ ραμματισμού ια τις συμ ο οσειρές writers και vintner φαίνεται στον πίνακα 2.3. Τα στοι εία που αντιστοι ούν στην ραμμή και τη στή η 0 είναι οι αρ ικές συν ήκες της αναδρομικής σ έσης. Τα υπό οιπα m n στοι- εία του πίνακα μπορούν να υπο ο ιστούν αυξάνοντας αρ ικά το i (μία σειρά τη φορά) και μετά αυξάνοντας το j (ό ες οι στή ες με τη σειρά ια αυτή τη σειρά). Ο υπο ο ισμός τ ν στοι εί ν του πίνακα μπορεί να ίνει σε στα ερό ρόνο. Η συμπ ήρ ση του πίνακα απαιτεί (m + 1) (n + 1) πράξεις. Άρα η συντακτική απόσταση δύο ακο ου ιών μήκους m και n απαιτεί ρόνο O(mn). Κατόπιν α πρέπει να εξά ουμε το έ τιστο συντακτικό μετα ραφής. Ο ευκο ότερος τρόπος είναι να δημιουρ ήσουμε κατά η ους δείκτες κατά τη συμπ ήρ ση του πίνακα. Συ κεκριμένα, όταν υπο ο ίζεται η τιμή του στοι είου (i,j), έτουμε ένα δείκτη από το στοι είο (i,j) σε ένα δεύτερο στοι είο. Το δεύτερο αυτό στοι είο είναι το: 1. (i,j-1), αν D(i,j) = D(i,j-1)+1

29 2.2 Προσεγγιστικά ταιριάσματα με χρήση δέντρων επιθεμάτων (i-1,j), αν D(i,j) = D(i-1,j)+1 3. (i-1,j-1), αν D(i,j) = D(i-1,j-1) + t(i,j) Ο κανόνας αυτός ισ ύει ια ό α τα στοι εία του πίνακα, ακόμα και ια όσα ρίσκονται στη ραμμή ή τη στή η 0. Τα στοι εία της ραμμής 0 δεί νουν το στοι είο αριστερά τους, ενώ τα στοι εία της στή ης 0 το στοι είο πάν τους. Τα υπό οιπα στοι εία του πίνακα έ ουν συνή ς πάν από έναν δείκτες. Για να ανακτήσουμε το έ τιστο συντακτικό μετα ραφής με ρήση τ ν δεικτών αυτών αρκεί να ακο ου ήσουμε ένα από τα μονοπάτια που συνδέουν το στοι είο (m,n) με το (0,0). Η ερμηνεία τ ν ημάτ ν μας από το (i,j) είναι η εξής: κίνηση προς το (i,j-1) αντιστοι εί με εισα ή (I) του αρακτήρα S2(j) στο S1, κίνηση προς το (i-1,j) αντιστοι εί με δια ραφή (D) του αρακτήρα S1(i) από το S1 και τέ ος κίνηση προς το (i-1,j- 1) αντιστοι εί σε αντικατάσταση του S1(i) από το S2(j), αν S1(i) S2(j) ή ταύτιση τ ν δύο αρακτήρ ν αν S1(i)=S2(j). Αν υπάρ ουν παραπάν από ένας δείκτες, τότε μπορούμε να επι έξουμε οποιονδήποτε από αυτούς ια να κινη ούμε. Αφού κά ε φορά μετακινούμαστε 1 στή η ή 1 ραμμή ή 1 στή η και μία ραμμή σε έναν πίνακα m ραμμών και n στη ών, το μονοπάτι α απαιτήσει το πο ύ m+n ήματα, άρα σε ρόνο O(m+n). Ένα παράδει μα πίνακα δυναμικού προ ραμματισμού με συμπ ηρ μένους τους δείκτες φαίνεται στον πίνακα 2.4. Η παραπάν μέ οδος ανακτά ό ες τις έ τιστες δυνατές μετα ραφές. Στη συνέ εια α ανα ύσουμε πώς ο παραπάν α όρι μος σε συνδυασμό με δέντρο επι εμάτ ν έ ει οδη ήσει σε 3 διαφορετικούς α ορί μους τύπου παρα ή ειτονιάς. Α όρι μος Jokinen & Ukkonen: Μια πρώτη προσπά εια ια ανάπτυξη τε νικών ια προσε ιστικό ταίριασμα σε δέντρο επι εμάτ ν έ ινε από τους Jokinen και Ukkonen το 1991 [20]. Στην ερ ασία τους ρησιμοποιούν τη τε νική δυναμικού προ ραμματισμού που περι ράψαμε παραπάν. Επιπρόσ ετα, ορίζουν το συντομότερο επί εμα L(i,j), όπου i και j η αρ ική και τε ική έση του επι έματος μέσα στο κείμενο T. Η συντακτική απόσταση του L(i,j) από το πρότυπο P μπορεί να υπο ο ιστεί μέσ δυναμικού προ ραμματισμού και τε ικά το D(i,j) ισούται με την συντακτική απόσταση τ ν P[1...i] και T[j...j], όπου j = j - L(i,j) + 1. Ο α όρι μος ρησιμοποιεί δέντρο επι εμάτ ν που ονομάζει SA(T). Επιπ έον ρησιμοποιεί D(i,j) w r i t e r s v i n t * n 5 5 e 6 6 r 7 7 Πίνακας 2.3: ο πίνακας δυναμικού προ ραμματισμού ια τις έξεις writers και vintner

30 24 Κεφάλαιο 2. Υπόβαθρο πίνακα m+1 κε ιών παρόμοια με τις δομές D και L ο οποίος δρα οη ητικά στην π ηροφορία του δέντρου επι εμάτ ν. Η στή η που αναπαριστά τη συντακτική απόσταση στην κατάσταση r αναφέρεται ς dcol(r) και η στή η που αναπαριστά το μήκος τ ν ακο ου ιών αναφέρεται ς lcol(r). Χρησιμοποιώντας αυτούς τους ορισμούς προ ρούν σε μια μέ οδο δυναμικού προ ραμματισμού που ρίσκει τα προσε ιστικά ταιριάσματα του προτύπου P στο κείμενο T μέσ του δέντρου επι εμάτ ν SA(T). Η μέ οδός τους δου εύει με τα εξής ήματα: 1. Διάσ ιση του ρήσιμου υποδέντρου U(P,k) του SA(T), αρ ίζοντας από τη ρίζα του δέντρου και ρησιμοποιώντας α α μένο τον α όρι μο του Dijkstra ια το ε ά ιστο μονοπάτι. 2. Όταν η διάσ ιση μπει στην κατάσταση r με μια μετακίνηση του τύπου goto(s,a)=r, τότε ίνεται επεξερ ασία τ ν dcol(r) και lcol(r) μέσ δυναμικού προ ραμματισμού από το a, dcol(s), rcol(s). 3. Αν το dcol(r)(m) k, τότε σημεί σε ό ες τις καταστάσεις που είναι ειτονικές της κατάστασης r και δεν είναι ήδη σημει μένες. Δώσε ς αποτέ εσμα το ά ος του q, όπου q ειτονική κατάσταση του r που δεν σημειώ ηκε. Ανα υτικότερα, έστ d(i,x) η ε ά ιστη συντακτική απόσταση μεταξύ οποιουδήποτε επι- έματος του x και του προτύπου p. Έστ επίσης l(i,x) το μήκος του μικρότερου τέτοιου επι έματος. Η διάσ ιση του δέντρου αρ ίζει από τη ρίζα. Αρ ικά τα dcol και lcol μπορούν να δεί νουν οποιοδήποτε i. Η διάσ ιση του δέντρου ίνεται με τέτοιο τροπο ώστε ό α τα προσε ιστικά ταιριάσματα του P να ρε ούν ρίς περιττές κινήσεις. Αυτό είναι εφικτό αν κά ε δείκτης (goto) του SA(T) δεν ίνεται διάσ ιση παραπάν από μία φορά. Αφού υπάρ- ουν O(n) μετακινήσεις και κά ε μετακίνηση ρειάζεται O(m) ρόνο, ρειαζόμαστε συνο ικά O(mn) ια τη συνο ική διάσ ιση. Ας ορίσουμε τώρα το ρήσιμο υποδέντρο U(P,k). Έστ (x) το μήκος του με α ύτερου επι έματος ψ της συμ ο οσειράς x. Προφανώς (x) = l(i,x). Το ρήσιμο υποδέντρο U(P,k) του SA(T) είναι ο υπο ράφος που περιέ ει ό ες τις ρήσιμες καταστάσεις και τους δείκτες μετακίνησης τ ν καταστάσε ν αυτών. D(i,j) w r i t e r s v i n t n e r Πίνακας 2.4: ο πίνακας δυναμικού προ ραμματισμού ια τις έξεις writers και vintner με τους απαραίτητους δείκτες

31 2.3 Η διαχρονική εξέλιξη των τεχνολογιών δέντρων επιθεμάτων 25 Α όρι μος Ukkonen: Σε μετέπειτα ερ ασία του Ukkonen [18] αναπτύσσεται ακόμα μία μέ οδος ια δυναμικό προ ραμματισμό πάν σε δέντρα επι εμάτ ν με την τε νική της παρα ής ειτονιάς. Ο πιο φυσικός τρόπος ια να εφαρμοστεί η τε νική του δυναμικού προ ραμματισμού σε ένα δέντρο επι εμάτ ν είναι να ίνει μια διάσ ισή του κατά ά ος που α ρει ό ες τις υποσυμ ο οσειρές P του κειμένου με συντακτική απόσταση μέ ρι k από το P. Η αναζήτηση είναι εύκο η ιατί απ ά ρειάζεται να ε ε εί ένα μονοπάτι μέ ρι να συμ ούν περισσότερα από k ά η και το μονοπάτι να είναι ψευδές ή μέ ρι να φτάσουμε σε φύ ο οπότε το μονοπάτι είναι στοι είο του P. Η ερ ασία του Ukkonen ε τιώνει την πο υπ οκότητα του α ορί μου αυτού στη ειρότερη περίπτ ση από Θ(mn) σε Ο(n). Η ασική ιδέα είναι ότι το κείμενο μπορεί περιέ ει πο ές επανα ήψεις τ ν ίδι ν αρακτήρ ν. Θέτει οιπόν ένα όριο k και ε έ ει τα κε ιά του πίνακα δυναμικού προ ραμματισμού αρακτηρίζοντας ς απαραίτητα μόνο τα κε ιά με τιμή k. Κα εί ακόμα ιώσιμο k-προσε ιστικό πρό εμα το πρό εμα από το οποίο εξαρτάται μια στή η του πίνακα. Έτσι ίδιοι αρακτήρες τις εισόδου α έ ουν ίδια ιώσιμα k-προσε ιστικά προ έματα. Για να αποφύ ει να εξετάσει κάποια στή η της οποίας το ιώσιμο πρό εμα έ ει ήδη εξεταστεί, κρατάει πίνακες-στή ες στο δέντρο επι εμάτ ν. Έτσι μια στή η με ιώσιμο πρό εμα Q απο ηκεύεται μαζί με το μονοπάτι του δέντρου από τη ρίζα μέ ρι να φτάσουμε αυτό το πρό εμα. Η διάσ ιση του δέντρου επι εμάτ ν αποφεύ ει να εξετάσει το ιώσιμο πρό εμα κάποιου αρακτήρα, αν το έ ει ήδη ε έ ξει. Α όρι μος Cobbs: Η πιο πρόσφατη προσέ ιση επι ειρή ηκε από τον Cobbs [5]. Κύρια έννοια στην ερ ασία αυτή έ ει το ιώσιμο επί εμα V(i,j) που ορίζεται ς το πρό εμα που προέκυψε από την κανονικοποιημένη διάσ ιση του πίνακα δυναμικού προ ραμματισμού ια το D(i,j). Όπ ς είδαμε στην ανά υση της με όδου δυναμικού προ ραμματισμού, ια ένα ζευ άρι τιμών (i,j) μπορεί να υπάρ ουν πο ά μονοπάτια ε ά ιστου κόστους ια να φτάσουμε στην πρώτη ραμμή. Ο α όρι μος του Cobbs επι έ ει να μετακινείται στον πίνακα, προτιμώντας κινήσεις προς τα πάν, μετά δια ώνια και τέ ος οριζόντια. Το αποτέ εσμα είναι ένα κανονικοποιημένο μοναδικό μονοπάτι από το (i,j). Το μονοπάτι αυτό είναι έ τιστο, και ορίζει το ιώσιμο επί εμα V(i,j). Ο α όρι μος δρα κατόπιν σε m ύρους ια την κατασκευή τ ν ιώσιμ ν προ εμάτ ν. Στον i-οστό ύρο κατασκευάζει το V i από το V i 1. Αρ ικά το V i είναι κενό. Κατασκευάζουμε υποψήφια μέ η ια το V i κάνοντας επεκτάσεις στα μέ η του V i 1 τόσο οριζόντια όσο και κά ετα. Όταν ένα υποψήφιο πρό εμα p δημιουρ η εί, ε έ εται η κανονικότητα του και προστί εται στο V i. Η διαδικασία συνε ίζεται μέ ρι να μην υπάρ ουν ά α υποψήφια προ έματα. Όταν παρα ούν τα προ έματα ια το τε ικό V m, τότε κα ένα από αυτά αναζητείται με προτεραιότητα ά ους στο δέντρο επι εμάτ ν T. 2.3 Η δια ρονική εξέ ιξη τ ν τε νο ο ιών δέντρ ν επι- εμάτ ν Όπ ς είναι φανερό από τα παραπάν, τα δέντρα επι εμάτ ν είναι μια δομή που εξυπηρετεί ιδιαίτερα ια τις ειτουρ ίες που επιζητούμε από ένα ευρετήριο ακο ου ιακών ιο ο ικών δεδομέν ν. Σε αυτό το κεφά αιο α με ετήσουμε τις διάφορες α ορι μικές προσε ίσεις και προ ράμματα που έ ουν αναπτυ εί ια την κατασκευή δέντρ ν επι εμάτ ν. Αρ ικά τα δέντρα