ΔΙΑΤΜΗΜΑΤΙΚΟ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ ΕΠΙΣΤΗΜΩΝ ΖΩΗΣ»

Transcript

1 ΔΙΑΤΜΗΜΑΤΙΚΟ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ «ΠΛΗΡΟΦΟΡΙΚΗ ΕΠΙΣΤΗΜΩΝ ΖΩΗΣ» Σχεδιασμός και υλοποίηση μεθοδολογίας υπολογιστικής νοημοσύνης για την ταξινόμηση δεδομένων πολλών κλάσεων και ετικετών και εφαρμογή της στο πρόβλημα της ταυτοποίησης και ταξινόμησης ακολουθιών μη κωδικών μορίων RNA Σταυρίδης Μιχάλης Επιβλέπων Καθηγητής: Γ. Σακελλαρόπουλος Πάτρα 2018

2 2

3 Επιβλέπων : Γεώργιος Σακελλαρόπουλος, Αναπληρωτής Καθηγητής, Τμήμα Ιατρικής Τριμελής Εξεταστική Επιτροπή : Γεώργιος Σακελλαρόπουλος, Αναπληρωτής Καθηγητής, Τμήμα Ιατρικής. Κωνσταντίνος Σταθόπουλος, Καθηγητής, Τμήμα Ιατρικής. Σεφερίνα Μαυρουδή, Καθηγήτρια Εφαρμογών, ΤΕΙ Πάτρας. 3

4 4

5 Ευχαριστίες Η παρούσα εργασία αποτελεί διπλωματική εργασία στα πλαίσια του Διατμηματικού Προγράμματος Μεταπτυχιακών Σπουδών "Πληροφορική Επιστημών Ζωής" που συνδιοργανώνεται από τα τμήματα Ιατρικής, Βιολογίας, Φυσικής, Φαρμακευτικής και Μηχανικών Η/Υ και Πληροφορικής του Πανεπιστημίου Πατρών. Πριν την παρουσίαση της παρούσας διπλωματικής εργασίας, αισθάνομαι την υποχρέωση να ευχαριστήσω τους ανθρώπους που συνεργάστηκα μαζί τους και έπαιξαν πολύ σημαντικό ρόλο στην πραγματοποίησή της. Αρχικά θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή της διπλωματικής μου εργασίας, Αναπληρωτή Καθηγητή του τμήματος Ιατρικής Πατρών, Γεώργιο Σακελλαρόπουλο, για την πολύτιμη καθοδήγηση του και την εμπιστοσύνη και εκτίμηση που μου έδειξε. Στη συνέχεια θα ήθελα να ευχαριστήσω ιδιαίτερα τον κυριο Κωνσταντίνο Θεοφιλάτο, Διδάκτορα Τμήματος Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιου Πατρών για την πολύτιμη καθοδήγηση και στήριξη του σε όλο αυτό το έργο, όλους αυτούς τους μήνες. Τις ευχαριστίες μου εκφράζω και στην κυρία Σεφερίνα Μαυρουδή, Καθηγήτρια Εφαρμογών, ΤΕΙ Πάτρας, καθώς επίσης και στην υποψήφια διδάκτωρ του Τμήματος Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήμιου Πατρών Αίγλη Κορφιάτη για τις πολύτιμες συμβουλές και στήριξη που μου παρείχαν κατά τη διάρκεια εκπόνησης της παρούσας διπλωματικής εργασίας. Τέλος, θέλω να ευχαριστήσω θερμά την μητέρα μου Αγγελική, καθώς και τις αδερφές μου Αρετή και Σοφία, για την συμπαράσταση τους αυτά τα δύο χρόνια του μεταπτυχιακού, που δεν σταμάτησαν στιγμή να πιστεύουν σε εμένα και να με υποστηρίζουν ηθικά. 5

6 6

7 Περιεχόμενα Περίληψη... 9 Abstract Κεφάλαιο 1: Εισαγωγή DNA RNA Και Μη Κώδικές Περιοχές DNA Λειτουργίες των μη κωδικών περιοχών και η σημαντικότητα τους Μηχανική Μάθηση Το Πρόβλημα Ταξινόμησης Μη Κωδικών Περιοχών DNA Κεφάλαιο 2: Υπάρχουσες Βάσεις Δεδομένων και Εργαλεία Ανάλυσης Μικρών Mη Kωδικών Mορίων RNA Βάσεις Δεδομένων Υπολογισμός Χαρακτηριστικών Περιγραφή Χαρακτηριστικών Κεφάλαιο 3: Υπάρχουσες Μεθοδολογίες Πρόβλεψης Περιγραφή Μεθόδων t-rna μοντέλα πρόβλεψης mirna μοντέλα πρόβλεψης rrna μοντέλα πρόβλεψης snorna μοντέλα πρόβλεψης Κεφάλαιο 4: Προτεινόμενη προσέγγιση πρόβλεψης Random Forest ταξινομητής Δέντρα Απόφασης Τυχαία Δάση Γενετικοί Αλγόριθμοι Επιλογή χαρακτηριστικών Μετρα Αξιολόγησης Της Διαδικασίας Της Μάθησης Βασισμένα στα παραδείγματα Βασισμένα στις ετικέτες GARF μεθοδολογία ταξινόμησης και πρόβλεψης Διαχείριση ελλιπών τιμών από τον GARF Κεφάλαιο 5: Αποτελέσματα Κεφάλαιο 6: Συμπεράσματα Μελλοντική Εργασία Παράρτημα 1 :Παραπομπές Βιβλιογραφία

8 8

9 Περίληψη Το 1965 έγινε η πρώτη ανακάλυψή των μη κωδικών περιοχών RNA που μέχρι σήμερα αποτελεί καίριο σημείο στον κόσμο της βιολογίας [1]. Ο λόγος είναι πως μέχρι πρότινος οι μη κώδικές περιοχές θεωρούνταν από τους επιστήμονες περιοχές που δεν είχαν κάποια σημαντική επίδραση σε θέματα λειτουργιών και αυτός είναι ο λόγος που τις ονόμαζαν junk RNA. Η αλλαγή ήρθε όταν τα μικρά κώδικά μόρια RNA (ncrna) έδειξαν πως παίζουν σημαντικό ρόλο στη ρύθμιση της έκφρασης των γονιδίων όπως επίσης και σε σημαντικές κυτταρικές λειτουργίες [2][3][4]. Με το πέρασμα των χρόνων ο αριθμός των κατηγοριών συνεχώς και μεγαλώνει και σε αυτήν την αύξηση του αριθμού σημαντικός παράγοντας είναι οι σύγχρονες τεχνικές αλληλούχησης υψηλής απόδοσης (high throughput sequencing). Ενδεικτικά, κάποιες γνωστές κατηγορίες μικρών ncrnas είναι τα snornas, micrornas, sirnas, snrnas, exrnas, pirnas [5]. Πρόσφατα ανακαλύφθηκε και μια κατηγορία σημαντικών στη ρύθμιση ncrnas, τα trna-derived fragments (trfs) τα οποία είναι παράγωγα του trna [6]. Εξαιτίας του μικρού μεγέθους των ncrnas, ο πειραματικός τους εντοπισμός αποτελεί εξαιρετικά δύσκολη διαδικασία και αυτός ήταν ο λόγος που έχουν αναπτυχθεί στον χώρο της βιοπληροφορικής αρκετές μέθοδοι Υπολογιστικής Νοημοσύνης και αλγόριθμοι οι οποίοι μπορούν να εντοπίσουν πιθανά ncrna [7]. Μέχρι στιγμής έχουν χρησιμοποιηθεί σαν μέθοδοι ταξινόμησης Μηχανές Διανυσμάτων Υποστήριξης (Support Vector Machines), Μπεΰζιανά δίκτυα (Bayesian Networks) και άλλες πιθανοκρατικές μέθοδοι όπως τα Hidden Markov μοντέλα. Πέρα από τα προβλήματα απόδοσης αρκετών από αυτές τις μεθόδους και τον εντοπισμό πολλών ψευδώς αληθών (false positive) μορίων σαν ncrnas, οι περισσότερες μπορούν να ταξινομούν τα μόρια σε ένα μικρό αριθμό από τις γνωστές κατηγορίες [8]. Επίσης, κάποιες ακολουθίες RNA μπορεί να δρουν ως διαφορετικά ncrnas κάθε φορά, π.χ. mature mirnas και trfs, mirnas και mature mirnas και trfs και trnas. Στην παρούσα διπλωματική εργασία προτείνουμε μια νέα μεθοδολογία υπολογιστικής νοημοσύνης, με στόχο την ταξινόμηση των μη-κωδικών μορίων RNA στις διάφορες κατηγορίες τους βάσει της πληροφορίας που μπορεί να εξαχθεί από την ακολουθία τους, τις θερμοδυναμικές τους ιδιότητες, κλπ. Η μεθοδολογία αυτή θα υποστηρίζει την ταξινόμηση σε μεγάλο αριθμό από τις 9

10 γνωστές κατηγορίες ncrnas και ταυτόχρονα θα επιτρέπει μια ακολουθία να μπορεί να ανήκει σε παραπάνω από μία κατηγορίες. Η προτεινόμενη μεθοδολογία αποτελεί υβριδική μεθοδολογία που συνδυάζει έναν ευρετικό αλγόριθμο πολυκριτηριακής βελτιστοποίησης [9] για την επιλογή χαρακτηριστικών και βελτιστοποίηση παραμέτρων με την μεθοδολογία ταξινόμησης τυχαίων δασών. Τα τυχαία δάση επιλέχθηκαν καθώς θεωρούνται από τις ακριβέστερες μεθόδους ταξινόμησης και εμφανίζουν αυξημένη ικανότητα γενίκευσης [10]. Στα πλαίσια της παρούσας εργασίας δε θα χρησιμοποιηθεί η κλασική μέθοδος των τυχαίων δασών, αλλά θα δοκιμαστούν διάφορες παραλλαγές της έτσι ώστε εντοπιστεί η κατάλληλη για τον χειρισμό δεδομένων πολλαπλών κλάσεων και ετικετών. Για την αξιολόγηση της παραχθείσας μεθόδου, θα πραγματοποιηθούν πειράματα σε δεδομένα ncrnas που θα συλλεχθούν από την βάση δεδομένων Rfam [11] ενώ ο υπολογισμός των χαρακτηριστικών για κάθε μία ακολουθία ncrnas θα πραγματοποιηθεί με το εργαλείο InSyBio ncrnaseq [12]. 10

11 Abstract The first non-coding RNA characterized in 1965 and until now is considered an important breakthrough in the field of biology. The importance of this breakthrough is due to the way in which they are dealing with them as junk RNA from the majority of scientific community. The importance of this change came when the micro non-coding RNAs showed the direct influence in the regulation mechanisms of gene expression as well as the importance of cell functions [2][3][4]. With the passage of time the number of non-coding RNA categories is growing and the major factor of this growth is the new developments in the field of modern sequencing techniques (high throughput sequencing). Indicatively some of the most popular categories of these noncoding RNAs are the snornas, micrornas, sirnas, snrnas, exrnas, pirnas [5]. Recently, a new category has been discovered, trna-derived fragments (trfs) which are products of trna [6] and they have shown important signs in the regulation of ncrnas. Because of their small size ( bases) the identification of their existence is still a difficult procedure and it was and it was one of the important reasons for the development of new bioinformatics tools which are based on computational intelligence as well as in techniques from mathematical, statistical fields which are precise and this is the main reason why we prefer using computational tools from the conventional experimental methods [7]. Some of the computational methods are the Bayesian networks, Support Vector Machines (SVM), Hidden Makov models. It is of great importance to mention that in the last few years more and more machine learning techniques are preferred due to their simplicity in such a way which helps us to fully understand the results of these procedures. Despite the fact that these techniques are preferred to conventional methods, the results may differ accordingly to the problem and more precisely to the kind of dataset we have to deal with in each case. In non-coding RNA datasets, some of these methods have shown that they can handle the false positive ncrnas and their success to classify most of the experiments known as ncrnas [8]. Furthermore, in the past a few years ago the way of interpreting the classification of ncrnas was simpleminded because the scientific community claimed for many years that 11

12 every ncrna can be classified in only one category. Now the most efficient methods can handle the multilabeling existence of ncrnas, for example a mature micro RNA can have same the same properties and functions as a snorna and for this reason we tried to capture this multifunctionality in the present thesis with the development of GARF algorithm for which we will refer to later on. In the present thesis, a new hybrid computational intelligence methodology is proposed whose target is to classify non-coding RNA molecules in many categories with different features as a result of sequencing analysis. Some of these features are thermodynamic properties, the per-base nucleotides, etc. The proposed methodology can classify all the known ncrnas molecules and in a parallel way it will allow a sequence to be classified to more than one category. The proposed methodology is considered a hybrid methodology that combines a heuristic multicriterial optimization algorithm [9] for the selection of characteristics and optimization of the parameters based on random forests technique which is an ensemble learning method for classification. The Random forests approach method was chosen as it has been considered one of the most accurate machine learning methods for every kind of datasets and they have shown a unique characteristic of generalization [10]. It is important to add that in the present thesis we will not make usage of the original version of Random Forest but we will try to capture the full potential of this algorithm with every parameter optimization with a final purpose the best handling of our biological multilabeled dataset. For the validation of our methodology, we will use a majority of experiments in ncrnas sequences which will be collected from databases such as Rfam [11] In addition we will use the InSybio ncrnaseq tool [12] for the feature extraction in every sequence of ncrna molecules. 12

13 Κεφάλαιο 1: Εισαγωγή 1.1 DNA RNA Και Μη Κώδικές Περιοχές DNA Ένα πρόβλημα που πάντα απασχολούσε την ανθρωπότητα είναι η προέλευση της ζωής και αποτελούσε από παλιά μέχρι και σήμερα ζήτημα έρευνας σε πολλούς κλάδους των επιστημών ζωής αλλά και των πιο θεωρητικών φιλοσοφικών πεδίων. Οι Crick και Watson ήταν οι πρώτοι που οδήγησαν να διατυπωθεί το κεντρικό δόγμα της Βιολογίας, σύμφωνα με το οποίο το DNA αποτελεί τον αποθηκευτικό χώρο της γενετικής πληροφορίας η οποία ρέει με κατεύθυνση από το DNA προς το RNA. Το RNA είναι υπεύθυνο για την αποκωδικοποίηση της πληροφορίας και οδηγεί στην πρωτεϊνοσύνθεση. Η διατύπωση αποτελεί το βασικό δόγμα της βιολογίας [13]. Το δόγμα της βιολογίας υπέστει αλλαγή όταν ανακαλύφθηκαν οι RNAιοί όπου το γενετικό τους υλικό δεν είναι DNA, όπως συμβαίνει με την πλειοψηφία των οργανισμών, αλλά RNA. Μια δεύτερη τροποποίηση θα επέλθει αφού την τελευταία δεκαετία το ερευνητικό έργο των επιστημόνων έδειξε ότι πολλά τμήματα DNA δεν κωδικοποιούν πρωτεΐνες αλλά RNA. Ουσιαστικά σε αυτά τα τμήματα DNA υπάρχει πληροφορία η οποία δεν χρησιμοποιείται για την δημιουργία πρωτεϊνών αλλά μορίων RNA τα οποία ονομάστηκαν micrornas ή mrnas. [14] Τα microrna είναι μέλη της μεγάλης οικογένειας των μη κωδικών RNA που δεν μεταφράζονται σε πρωτεΐνη αλλά παίζουν καίριο ρόλο σε ρυθμιστικές λειτουργίες στο κύτταρο. Το πιο γνωστό μη κωδικόποιητικό RNA είναι το μεταφορικό (trna) καθώς και το ριβοσωμικό RNA (rrna) τα οποία παίζουν σημαντικό ρόλο στην μετάφραση. Την τελευταία δεκαετία έχουν ανακαλυφθεί πολλοί νέοι τύποι μη κωδικοποιητικών RNA και οι επιστήμονες έχουν επικεντρωθεί πλέον στον χαρακτηρισμό του ρόλου αυτών των μικρών RNA. Κάποιες γνωστές κατηγορίες μικρών ncrnas είναι τα snornas, micrornas, sirnas, snrnas, exrnas, pirnas (εικόνα 1) [5]. Πρόσφατα ανακαλύφθηκε και μια νέα κατηγορία σημαντικών στη ρύθμιση ncrnas, τα trna-derived fragments (trfs) τα οποία είναι παράγωγα του trna [6]. Εξαιτίας του μικρού μεγέθους των ncrnas, ο πειραματικός τους εντοπισμός αποτελεί εξαιρετικά δύσκολη διαδικασία και αυτός ήταν ο λόγος που έχουν αναπτυχθεί στον χώρο της βιοπληροφορικής αρκετές μέθοδοι Υπολογιστικής 13

14 Νοημοσύνης και αλγόριθμοι οι οποίοι μπορούν να εντοπίσουν πιθανά ncrna [7]. Εικόνα 1.Κατηγορίες ncrnas [15] 1.2 Λειτουργίες των μη κωδικών περιοχών και η σημαντικότητα τους Θα μπορούσε να πει κανείς πως η πιο σημαντική λειτουργία των μη κωδικών περιοχών μεταξύ άλλων είναι ο έλεγχος των γονιδίων. Ερευνητές σε όλων τον κόσμο έχουν επικεντρωθεί στην μελέτη για την αποκρυπτογράφηση των μηχανισμών ελέγχου αυτών των γονιδίων όπως επίσης και στην χαρτογράφηση των αγνώστων μη κωδικών περιοχών του γονιδιώματος. Οι περιοχές αυτές θεωρείται ότι αποθηκεύουν τον ρυθμιστικό κώδικα, ο οποίος δίνει οδηγίες για την κωδικοποίηση άλλου είδους πρωτεϊνών, των οποίων ο ρόλος είναι να δίνουν ζωή στο γονιδίωμα. Αυτές οι πρωτεΐνες καλούνται DNA προσδένουσες ή ρυθμιστικές πρωτεΐνες και ευθύνονται για τις διάφορες διεργασίες του κυττάρου, όπως, για παράδειγμα, για την ανάπτυξη και την εξειδίκευση των διαφορετικών τύπων κυττάρου. Ουσιαστικά 14

15 ο ρόλος τους είναι τόσο σημαντικός όπου χωρίς αυτές θα ήταν δύσκολο έως ανέφικτο τα γονίδια να επιτελέσουν τις λειτουργίες τους διότι δεν θα είχαν την «γνώση» για το ποιος είναι ο ρόλος τους αλλά και η εργασία που χρειάζεται να επιτελέσουν ακριβώς. Η σημαντικότητα έγκειται στο ότι αυτές οι πρωτεΐνες αναλαμβάνουν να ενεργοποιούν τα γονίδια, ώστε αυτά να αρχίσουν να παράγουν τα προϊόντα τους, στο σωστό κύτταρο καθώς και την στιγμή που πρέπει. Αξίζει να σημειωθεί πως προστατεύουν το γονιδίωμα των κυττάρων από το ξένο DNA όπως επίσης ελέγχουν τη σύνθεση του DNA. Τα περισσότερα μη κώδικά RNA λειτουργούν μαζί με πρωτεΐνες ενώ στο ριβόζωμα και στους ριβοδιακόπτες το RNA είναι υπεύθυνο για τη βιολογική τους δράση. Από την βιβλιογραφία μπορούμε να δούμε πως πολλά είδη ncrnas εκδηλώνουν τη δράση τους όταν κατά την σύνδεση τους με άλλα νουκλεϊκά οξέα, δράση η οποία γίνεται επιλεκτικά. Στον άνθρωπο, το ποσοστό των αλληλουχιών που κωδικοποιούν πρωτεΐνες αποτελεί το 1.5% του γονιδιώματος του. Άμα συνυπολογίσουμε τις παρεμβαλόμενες αλληλουχίες τα ιντρόνια(introns) μαζί με τα γονίδια που κωδικοποιούν πρωτεΐνες καθώς και τις 5 και 3 αμετάφραστες περιοχές, το ποσοστό αυξάνεται περίπου στο 28%. Το ποσοστό που υπολείπεται περιλαμβάνει επαναλαμβανόμενες αλληλουχίες τις οποίες όπως προαναφέρθηκε οι επιστήμονες τις είχαν ονομάσει junk DNA, παρόλα αυτά σύμφωνα με το πρόγραμμα Encyclopedia of DNA Elements(ENCODE) περίπου το 80% του γονιδιώματος συμμετέχει σε βιοχημικές διαδικασίες. Παρ όλο που γνωρίζαμε ότι υπήρχαν αυτές οι πρωτεΐνες καθώς επίσης και για την ύπαρξη ενός δεύτερου κώδικα, του ρυθμιστικού, δεν ήταν εφικτό να εντοπίσουμε την ακριβή του θέση μέσα στο γονιδίωμα [16]. Σήμερα αυτή η δυσκολία έχει ξεπεραστεί και σε αυτό συνέβαλαν σημαντικά τεχνολογίες και τεχνικές από τον τομέα της βιοπληροφορικής, όπως είναι οι τεχνολογίες υψηλής απόδοσης (high throughput) σε συνδυασμό με τα εξελιγμένα εργαλεία που έχουν αναπτυχθεί όλα αυτά τα χρόνια από επιστήμονες της επιστήμης των υπολογιστών αλλά και της βιολογίας. Αυτές οι τεχνολογίες αποτέλεσαν την βάση για την εξερεύνηση πολλών non-coding RNAs.Τα διάφορα είδη ncrnas μπορούν να χαρακτηριστούν ανάλογα με τα διάφορα χαρακτηριστικά τους, όπως είναι οι μοριακές, θερμοδυναμικές τους ιδιότητες. 15

16 Εικόνα 2. Σύνθεση διαφόρων κλάσεων μη κωδικών RNA[17] Ενδεικτικά τα μικρά παρεμβαλλόμενα RNA μόρια (small interference RNAs, sirnas) που έχουν εντοπιστεί σε ζώα, φυτά και μύκητες συμμετέχουν στη γονιδιακή ρύθμιση. Επίσης στα φυτά και στα ζώα παίζουν σημαντικό ρόλο στην καταπολέμηση των ιών. Σύμφωνα με έρευνες που έχουν πραγματοποιηθεί φαίνεται πως συμμετέχει σημαντικά στην σταθερότητα του γονιδιώματος καθώς και στην οργάνωση της χρωματίνης (Kawamura et al. 2008, van Wolfswinkel and Ketting 2010). Τα sirnas διακρίνονται σύμφωνα με κάποιες παραμέτρους όπως είναι οι πρωτεΐνες που συμμετέχουν στην βιογένεση τους, το μέγεθος τους, την μορφή της γονιδιακής ρύθμισης αλλά και τους παράγοντες που πυροδοτούν το σχηματισμό τους [18]. Ο εντοπισμός και η μελέτη αυτών των RNA μορίων συγκεντρώνει σημαντικό ερευνητικό ενδιαφέρον, ενώ ο μηχανισμός της σίγασης της γονιδιακής έκφρασης και η συνεισφορά του σε θεραπευτικές διαδικασίες σε πλήθος ασθενειών είναι αντικείμενο μελέτης της επιστημονική κοινότητας. Πρόσφατα ανακαλύφθηκε μία νέα κατηγορία μη κωδικών μορίων RNA που ονομάζεται piwi-interacting RNA (pirna), το όνομά τους προέρχεται από την πρόσδεση τους στις Piwi πρωτεΐνες, που αποτελούν μέλος της οικογένειας 16

17 των Ago πρωτεϊνών [19]. Ερευνητές εντόπισαν αυτά τα μικρά μόρια RNA στους όρχεις ποντικών και αποδείχθηκε πως συμμετέχουν άμεσα στην σπερματογένεση. Υπό μελέτη είναι ακόμα τα στάδια βιογένεσης τους, αλλά κάποια πρόωρα αποτελέσματα έδειξαν να υπάρχει διαχωρισμός από αυτή των micro- και sirnas. Επιπλέον μελέτες φαίνεται πως επικεντρώνονται και στην κατανόηση του μηχανισμού δράσης τους [20] Τέλος μία από τις πρόσφατες ανακαλύψεις είναι τα μεγάλα μη κωδικοποιούντα RNA μόρια (long non-coding RNAs, lncrnas), με μέγεθος μεγαλύτερο από 200 βάσεις τα οποία συνδέονται άμεσα με την γενετική αστάθεια και τις επιγενετικές αλλαγές ενώ πρόσφατα μελέτες έδειξαν την εμπλοκή τους στον καρκίνο [21]. Μελλοντικά οι ερευνητές στοχεύουν να αξιοποιήσουν τα μοτίβα αλλαγής της έκφρασης αυτής της ομάδας RNA με στόχο την μελέτη διαφόρων μορφών καρκίνου όπως επίσης και σε άλλες ασθένειες με απώτερο σκοπό την εύρεση πιθανών βιολογικών δεικτών [22]. 1.3 Μηχανική Μάθηση Η Μηχανική Μάθηση αποτελεί έναν κλάδο της Τεχνητής Νοημοσύνης που ορίζεται ως οι υπολογιστικές προσεγγίσεις που χρησιμοποιούν εμπειρία για να βελτιώσουν την απόδοση ενός συστήματος ή να πραγματοποιήσουν ακριβείς προβλέψεις [23]. Η έννοια της εμπειρίας αναφέρεται στην γνώση που έχουμε εξάγει μέσω πειραμάτων που έχουν πραγματοποιηθεί στο παρελθόν και την οποία χρησιμοποιούν τα συστήματα μηχανικής μάθησης σε προβλεπτικές μεθοδολογίες. Τα δεδομένα αυτά μπορεί να χρησιμοποιηθούν με την μορφή συνόλων εκπαίδευσης. Τα σύνολα εκπαίδευσης είναι δεδομένα που έχουν υποστεί προεπεξεργασία και για τα οποία υπάρχει ήδη γνωστή αντιστοίχιση των δειγμάτων στις υπό μελέτη κλάσεις. Αξίζει να σημειωθεί πως η ποιότητα αλλά και το μέγεθος του συνόλου των δεδομένων αποτελεί σημαντικό παράγοντα για την σωστή διεξαγωγή του πειράματος αλλά και την διασφάλιση της ποιότητας των προβλέψεων του συστήματος μάθησης. Η Μηχανική Μάθηση περιλαμβάνει την υλοποίηση αποδοτικών αλγορίθμων οι οποίοι στοχεύουν στην παραγωγή ακριβών προβλέψεων. Όπως και σε άλλα πεδία της επιστήμης των υπολογιστών, η χρονική και χωρική πολυπλοκότητα των υλοποιημένων αλγόριθμων αποτελούν δυο κρίσιμα μέτρα 17

18 της ποιότητας των αλγόριθμων. Στη Μηχανική Μάθηση απαιτείται επιπλέον η έννοια της πολυπλοκότητας δείγματος, καθώς και η αξιολόγηση του μεγέθους του δείγματος που χρειάζεται ο αλγόριθμος για να μάθει μια οικογένεια κλάσεων. Η αποτελεσματικότητα ενός αλγόριθμου μάθησης εξαρτάται από την πολυπλοκότητα καθώς επίσης και από το μέγεθος του συνόλου των δειγμάτων εκπαίδευσης. Από τα παραπάνω μπορούμε να συμπεράνουμε πως υπάρχει άμεση συσχέτιση της επιστήμης των υπολογιστών με αυτήν της ανάλυσης των δεδομένων, των μαθηματικών μέσω πιθανολογικών μοντέλων και τεχνικών βελτιστοποίησης όπως επίσης και της στατιστικής αφού πολλές τεχνικές που χρησιμοποιούνται στην μηχανική μάθηση έχουν επιρροές από αυτές τις επιστήμες [23] Το Πρόβλημα Ταξινόμησης Μη Κωδικών Περιοχών DNA Όπως προαναφέρθηκε, η αποδοτική πρόβλεψη των μη κωδικών περιοχών DNA είναι μια δύσκολη διαδικασία λόγω του μικρού τους μεγέθους για τεχνικές πρόβλεψης πειραματικών διαδικασιών. Το μέγεθος των ncrna αποτελούσε εξαρχής έναν ανασταλτικό παράγοντα για μεγάλης κλίμακας πειράματα. Επιπλέον παράγοντες που κάνουν ακόμα πιο δύσκολο το έργο εντοπισμού τέτοιων μικρών μορίων είναι το κόστος αλλά και η διάρκεια εξαγωγής τέτοιων πειραμάτων. Στο παρελθόν επιχειρήθηκαν διάφορες προσεγγίσεις όπως είναι η κλωνοποίηση, αλλά αποδείχθηκαν ανεπαρκή λόγω ότι τα συγκεκριμένα γονίδια εκφράζονται με έναν «ιδιαίτερο» τρόπο και η έκφραση τους ποικίλει από πολύ χαμηλή έως και πολύ υψηλή και σε διάφορους κυτταρικούς τύπους [24]. Για τους λόγους που αναφέρθηκαν έχουν προταθεί αρκετές υπολογιστικές μέθοδοι που ανήκουν στην οικογένεια της μηχανικής μάθησης και της τεχνητής νοημοσύνης. Η ανάγκη για νέες και πιο εξελιγμένες μεθόδους έγινε μεγαλύτερη καθώς οι συμβατικές υπολογιστικές μέθοδοι πρόβλεψης γονιδίων που βασίζονται στην στατιστική ανάλυση δε βρίσκουν εφαρμογή στα ncrnas [25]. Επιπλέον ένας άλλος λόγος για την ανάπτυξη «ισχυρών» υπολογιστικών τεχνικών πρόβλεψης ncrna σχετίζεται με την ανάπτυξη της NGS τεχνολογίας [26]. Αυτό γιατί η χρήση της στην ανάλυση γονιδιωμάτων απαιτεί και 18

19 εκτεταμένες υπολογιστικές αναλύσεις προκειμένου να ταυτοποιηθούν οι διάφορες κατηγορίες μικρών μορίων. Με αυτόν τον τρόπο καθίσταται εφικτή η καταγραφή των ncrna γονιδίων στις διάφορες κατηγορίες [27]. Πιο συγκεκριμένα στις μεθόδους πρόβλεψης ncrna γονιδίων ένας πρώτος διαχωρισμός μπορεί να γίνει ανάμεσα σε μεθόδους σύγκρισης και μη συγκριτικές μεθόδους [28]. Η λογική πίσω από τις μεθόδους σύγκρισης είναι η χρήση υπάρχουσας γνώσης που προήλθε από πειραματικές διαδικασίες. Συγκεκριμένα συγκρίνονται τα διάφορα χαρακτηριστικά με αυτά των ταυτοποιημένων ncrna και τελικό αποτέλεσμα είναι η ταξινόμηση της υπό μελέτης αλληλουχίας σε μία από τις ήδη υπάρχουσες. Εντούτοις, το μεγαλύτερο μειονέκτημα αυτής της προσέγγισης είναι η χαμηλή ευαισθησία στο να αναγνωρίζουν νέα ncrna γονίδια. Αξίζει να σημειωθεί πως στην κατηγορία των νέων γονιδίων μικρού μήκους ανήκει και η πιθανή γνώση ένα γονίδιο να ανήκει σε περισσότερες από μία κατηγορίες. Συμπερασματικά οι μέθοδοι αυτοί δεν είναι κατάλληλες για την εξαγωγή γνώσης αλλά για πιθανές συγκρίσεις μοντέλων ταυτοποίησης [29]. Αντίθετα οι μη συγκριτικές μέθοδοι στηρίζονται στην φιλοσοφία της όσο το δυνατό καλύτερης «αναπαράστασης» των χαρακτηριστικών που έχουν ταξινομηθεί με κάποιες κλάσεις. Για την αναπαράσταση χρησιμοποιούν μεγάλη ποικιλία χαρακτηριστικών καθώς επίσης από πλευράς υπολογιστικών μεθόδων έχουν χρησιμοποιηθεί αρκετές τεχνικές και συνδυασμός αυτών για την δημιουργία έμπιστων συστημάτων μηχανικής μάθησης. Οι μέθοδοι της κατηγορίας αυτής φανερώνουν πολύ υψηλότερες μετρικές απόδοσης από τις προηγούμενες αλλά πάσχουν από το πρόβλημα των λεγόμενων pseudo microrna. Με τον όρο αυτό αναφερόμαστε σε ακολουθίες που στην πραγματικότητα δεν αποτελούν ncrna αλλά χαρακτηρίζονται ως τέτοια. Ενδεικτικά, περίπου 11 εκατομμύρια μόρια με δομή hairpin έχουν χαρακτηριστεί ως mirna ενώ στην πραγματικότητα τα mirna είναι πολύ λιγότερα. Συμπερασματικά η απόδοση των μη συγκριτικών μοντέλων εξαρτάται έμμεσα από την δυνατότητα να ξεχωρίζουν τις διαφορές ανάμεσα στα πραγματικά και τα μη hairpins [30]. Στα επόμενα κεφάλαια, θα αναλύσουμε κάποιες από τις πιο σημαντικές μεθόδους στον χώρο της μηχανικής μάθησης και πως χρησιμοποιούνται στις διάφορες προσεγγίσεις. 19

20 20

21 Κεφάλαιο 2: Υπάρχουσες Βάσεις Δεδομένων και Εργαλεία Ανάλυσης Μικρών Μη Κωδικών Μορίων RNA 2.1 Βάσεις Δεδομένων Rfam Η Rfam είναι μία βάση δεδομένων αποθήκευσης συλλογών RNA αλληλουχιών δομημένων σε οικογένειες αρχείων που περιλαμβάνουν καταχωρήσεις όλων των ειδών. Τα είδη των δεδομένων που περιλαμβάνονται είναι δομικά αλλά και μη κώδικά μόρια RNA. Κάθε οικογένεια αντιπροσωπεύεται από πολλαπλές συστοιχίες αλληλουχιών (multiple sequence alignments) [25]. Η συγκεκριμένη βάση χρησιμοποιείται ευρέως από μεθοδολογίες τεχνικών Υπολογιστικής Νοημοσύνης και αποτελεί μία από τις πιο γνωστές βάσεις δεδομένων με ταυτοποιημένες καταχωρήσεις αλληλουχιών RNA. Ενδεικτικά κάποιες από τις μεγάλες οικογένειες μορίων RNA που μπορούμε να βρούμε στην Rfam είναι τα trna, snrna, rrna καθώς επίσης και άλλες περιοχές του DNA όπως είναι τα ιντρόνια [31]. Επιπρόσθετα θα μπορούσε κανείς να μελετήσει και να συλλέξει πληροφορίες σχετικά με την περιγραφή του γονιδίου, για την περιοχή που εντοπίζεται αλλά και πιο λεπτομερείς πληροφορίες όπως είναι ο στόχος δράσης του μορίου και η δευτεροταγής δομή του. Η εικόνα που ακολουθεί αποτελεί στιγμιότυπο χρήσης της rfam. Εικόνα 3.Βάση δεδομένων Rfam [33] 21

22 Πέρα από τις πληροφορίες που μας παρέχει η βάση, αξίζει να σημειωθεί ότι δίνεται η δυνατότητα εξειδικευμένης αναζήτησης για εστιασμένη ανάκτηση πληροφορίας καθώς επίσης τα αποτελέσματα κάθε αναζήτησης είναι ταξινομημένα με κριτήριο την κατηγορία στην οποία ανήκει η αλληλουχία ή η οικογένεια αλληλουχιών. Στην συνέχεια θα αναφερθεί πως υπάρχει διαθέσιμο στον χρήση και η FTP (File Transfer Protocol) [34] έκδοση της βάσης δίνοντας την δυνατότητα στον χρήση να συλλέξει συλλογές αλληλουχιών σε μορφή fasta κάνοντας χρήση βιβλιοθηκών στην python αλλά και σε άλλες γλώσσες προγραμματισμού [35]. Η Rfam ανανεώνεται συχνά και η τωρινή ενεργή έκδοση της βάσης είναι η Rfam 12.2, επομένως με το πέρασμα των χρόνων έχει όλο και περισσότερες ακολουθίες. Την περίοδο εγγραφής της παρούσας εργασίας η Rfam περιείχε πάνω από 2500 οικογένειες αλληλουχιών. mirbase Όπως και η Rfam έτσι και η mirbase αποτελεί μία από τις πιο σημαντικές και ευρέως γνωστή βάση δεδομένων στον χώρο της βιοπληροφορικής καθώς παρέχει πληροφορίες σχετικές με τα mirna [36]. Πιο συγκεκριμένα στην mirbase αποθηκεύονται mirna ακολουθίες, πληροφορίες σχετικά με την περιγραφή του γονιδίου όπως είναι η δομή φουρκέτας (stem loop) και αναφορές σχετικά με την μελέτη κάθε δομής, δίνοντας έτσι την δυνατότητα στο ερευνητή να μπορέσει να βρει πληροφορίες που σχετίζονται με το περιεχόμενο της ακολουθίας καθώς επίσης και την συσχέτιση του μορίου mirna με πιθανούς mrna στόχους. Εικόνα 4.Εγγραφή στην mirbase [36] 22

23 Σε συνέχεια των παραπάνω, να υπογραμμίσουμε πως η mirbase είναι με τέτοιον τρόπο δομημένη που παρέχει μία εύκολη περιήγηση όπως επίσης και ανάκτηση πληροφοριών διατεταγμένα με κριτήρια τα οποία δίνεται η δυνατότητα στο χρήστη να ρυθμίσει, όπως είναι η κατηγορία της ακολουθίας και ο οργανισμός στον οποίο ανήκει. Η μορφή με την οποία είναι αποθηκευμένες οι ακολουθίες είναι η fasta 1 μορφή. Η εγκυρότητα της βάσης στηρίζεται στο γεγονός ότι τα δεδομένα υπόκεινται σε επιτηρήσεις και η βάση ανανεώνεται και αναπτύσσεται παράλληλα με την έρευνα στον κλάδο της Βιολογίας. RefSeq Η RefSeq της οποίας το όνομα προέρχεται από το Reference Sequence αποτελεί μία μεγάλη βάση δεδομένων η οποία συγκεντρώνει δεδομένα του NCBI [37]. Από το όνομα της μπορούμε να συμπεράνουμε πως οι πληροφορίες που μας παρέχει χρησιμοποιούνται ως αναφορά σε γονιδιώματα. Συγκεκριμένα αποθηκεύονται ακολουθίες οι οποίες αναφέρονται σε γονιδιώματα όπως επίσης πρωτεΐνες και μετάγραφα των ανθρώπων και των πιο κοντινών στον άνθρωπο οργανισμών που είναι τα ποντίκια. Συμπερασματικά η βάση δεν αποθηκεύει αποκλειστικά ένα είδος αλληλουχιών αλλά διαφόρων τύπων σε αντίθεση με τις RefSeq και Rf. Εικόνα 5.Πληροφορίες που παρέχονται σε μία εγγραφή της RefSeq[38] 23

24 2.2 Υπολογισμός Χαρακτηριστικών Στην παρούσα διπλωματική γίνεται χρήση του εργαλείου InSyBio ncrnaseq το οποίο αποτελεί προϊόν της ηλεκτρονικής πλατφόρμας που ονομάζεται InSyBio (Intelligent Systems Biology) [39]. Το συγκεκριμένο εργαλείο μας παρείχε την δυνατότητα ανάλυσης αλληλουχιών όλων των RNA δεδομένων που έχουμε συλλέξει και μέσω εξειδικευμένων εργαλείων βιοπληροφορικής αναλύσαμε το σύνολο τον δεδομένων [40]. Πιο συγκεκριμένα σε μοντέλα προβλέψεις απαιτείται κάθε εγγραφή να χαρακτηρίζεται από ένα σύνολο χαρακτηριστικών. Στην περίπτωση των RNA δεδομένων και μέσω του εργαλείου της InSyBio είχαμε την δυνατότητα να υπολογίσουμε συνολικά 58 χαρακτηριστικά που αφορούν την ανάλυση RNA αλληλουχιών για το πρόβλημα της πρόβλεψης mirna στόχων, το σύνολο των οποίων αποτελεί τα πιο σημαντικά όπως περιγράφεται και στην βιβλιογραφία. Ενδεικτικά οι κατηγορίες των χαρακτηριστικών είναι τα δομικά χαρακτηριστικά, θερμοδυναμικές ιδιότητες, δομικά χαρακτηριστικά καθώς επίσης και ιδιότητες των μοτίβων σχέσης μεταξύ mirna και mrna. Εικόνα 6.Περιβάλλον εργαλείου ncrna InSyBio [39] 24

25 2.2.1 Περιγραφή Χαρακτηριστικών Στο παρόν υποκεφάλαιο θα πραγματοποιηθεί μία ενδεικτική περιγραφή των κατηγοριών των πιο σημαντικών χαρακτηριστικών που έχουν αναδειχθεί από την βιβλιογραφία και θα χρησιμοποιηθούν στην παρούσα διπλωματική εργασία. Χαρακτηριστικά που σχετίζονται με την αλληλουχία Σε αυτήν την κατηγορία χαρακτηριστικών υπολογίζεται η ποσοστιαία εμφάνιση ορισμένων νουκλεοτιδίων στο μόριο του RNA. Ο λόγος που θέλουμε να μελετήσουμε πόσο συχνά εμφανίζεται ένα αμινοξύ ή ένα ζευγάρι αμινοξέων είναι ότι συγκεκριμένα μόρια RNA περιέχουν συγκεκριμένη διάταξη αμινοξέων όπως είναι τα ζεύγη GC και GU καθώς οι δεσμοί που δημιουργούνται μεταξύ τους είναι υδρογόνου και παίζουν σημαντικό ρόλο στον σχηματισμό της δομής του μορίου στον χώρο που διαφέρει σε κάθε μόριο RNA. Εικόνα 7.Συσχέτιση αμινοξέων με την διάταξη του μορίου στον χώρο[41] Θερμοδυναμικά Χαρακτηριστικά Τα χαρακτηριστικά αυτής της κατηγορίας παίζουν σημαντικό ρόλο στην εκτίμηση της δευτεροταγούς δομής του RNA μορίου καθώς επίσης και της ελάχιστης ελεύθερης ενέργειας. Σε αυτό το σημείο να αναφέρουμε πως η ελεύθερη ενέργεια του Gibbs ορίστηκε λόγω ότι υπήρχε ανάγκη διατύπωσης ασφαλών κριτηρίων για τις αυθόρμητες αντιδράσεις και έτσι ο θεωρητικός φυσικός Gibbs όρισε το μέγεθος της ελεύθερης ενέργειας G [38]. Ενδεικτικά σε αυτήν την κατηγορία ανήκουν τα χαρακτηριστικά της εικόνας 8 25

26 Εικόνα 8. Θερμοδυναμικά Χαρακτηριστικά[41-43] Unafold θερμοδυναμικά χαρακτηριστικά Στην συγκεκριμένη κατηγορία χαρακτηριστικών ανήκουν χαρακτηριστικά της εντροπίας και της ενθαλπίας τα οποία αποτελούν θερμοδυναμικά μεγέθη. Συγκεκριμένα η ενθαλπία εκφράζει το ποσό θερμότητας που υπάρχει σε ένα σύστημα ενώ η θερμοδυναμική εντροπία αποτελεί απόρροια του δεύτερου θερμοδυναμικού νόμου και στην συγκεκριμένη περίπτωση εκφράζει πως σε οποιαδήποτε διεργασία μέρος της διαθέσιμης ενέργειας χρησιμοποιείται στην αναδιάταξη χημικών ενώσεων [44-45]. Να σημειωθεί πως και τα δύο μεγέθη στο τελικό στάδιο υπολογισμού μετατρέπονται σε κανονικοποιημένη μορφή ως προς το μήκος. Τέλος ένα ακόμη χαρακτηριστικό αυτής της κατηγορίας είναι η θερμοκρασία τήξης (Tm) ή μετάβασης όπως χρησιμοποιείται σε πολλές περιπτώσεις και εκφράζει την θερμότητα που πρέπει να δοθεί στο σύστημα για να πραγματοποιηθεί από-υβριδισμός 2 των ολιγονουκλεοτιδίων [41]. Χαρακτηριστικά ζευγών βάσεων Τα χαρακτηριστικά αυτά αποτελούν βασικό κριτήριο διακριτοποίησης των διάφορων δομών των RNA μορίων αφού εντοπίζονται τα πιο σημαντικά ζεύγη βάσεων που χαρακτηρίζουν τις δομές αυτών των μορίων καθώς εμφανίζονται πιο συχνά στην ακολουθία. Σε αυτήν κατηγορία χαρακτηριστικών ανήκουν και τα χαρακτηριστικά μοτίβα stem και loops εικόνα 9. 26

27 Εικόνα 9. a) Παράδειγμα stem δομής και b) loop δομής[46] Ενδεικτικά τα χαρακτηριστικά αυτής της κατηγορίας παρουσιάζονται στην εικόνα 10. Εικόνα 10. Χαρακτηριστικά ζευγών βάσεων[7] Στατιστικά Χαρακτηριστικά Αυτά τα χαρακτηριστικά χρησιμοποιούνται για να μπορέσουμε να έχουμε μία εικόνα της θερμοδυναμικής μεταβολής του συστήματος που είναι αποτέλεσμα τυχαίων ακολουθιών που η σύνταξη τους δίνει το ίδιο περιεχόμενο νουκλεοτίδιων [47]. 27

28 Νέα Χαρακτηριστικά Από Πρόσφατες Έρευνες 1) Μήκος ακολουθίας: Παρατηρείται χρήση του χαρακτηριστικού στην πρόβλεψη μορίων 2) Η αναλογία εμφάνισης των G σε σχέση με τα C αποτελεί σημαντικό δείκτη ταυτοποίησης διαφορετικών κατηγοριών μορίων RNA [43] 3) Η αναλογία εμφάνισης ζευγών βάσεων a. BP συγκριτικά με GC b. BP συγκριτικά με GU c. BP συγκριτικά με AU 4) Μέση απόσταση από την κεντροειδή δομή (centroid). Η κεντροειδής δομή είναι αυτή με την ελάχιστη μέση απόσταση από όλες τις άλλες δομές που μπορεί να λάβει το μόριο RNA. To χαρακτηριστικό αυτό δείχνει την σταθερότητα ή μη της δομής του κάθε RNA 5) Συχνότητα εμφάνισης της ένωσης A U, που αποτελεί σημαντικό στοιχείο για τον χαρακτηρισμό της δομής των RNA μορίων 6) Minimum Free energy index 5, αποτελεί έναν δείκτη όπως είδαμε και προηγουμένως, η διαφορά του συγκεκριμένου δείκτη συγκριτικά με τους προηγούμενους δείκτες έγκειται στο γεγονός ότι συμπεριλαμβάνεται και η γνώση της συχνότητας εμφάνισης της ένωσης A U MFEI 5 = dg / %(Α+U) Η φυσική υπόσταση του δείκτη έγκειται στο γεγονός ότι με αυτόν τον τρόπο μπορούμε να γνωρίζουμε την κατανομή της ενέργειας ανάμεσα στους δεσμούς των Α και U. 7) Positional Entropy dps : Εκφράζει τον αριθμό των διαθέσιμων θέσεων για κάθε μόριο στο σύστημα. Από αυτό μπορούμε να καταλάβουμε πως για να οριστεί το μέγεθος dps απαιτείται η γνώση της πιθανότητας των μορίων να βρίσκονται σε μία δεδομένη κατάσταση. Συγκεκριμένα αυτό το χαρακτηριστικό εκφράζει την πιθανή διάταξη των μορίων όπου στο παρόν πρόβλημα τα μόρια είναι οι βάσεις (base pair probabilities) pij. 28

29 Η πρόταση που διατυπώθηκε στην έρευνα [45] εκφράζει αυτό το μέγεθος ως [7]: N Ε(n i ) = (p ij + log 1 p ij ) j=0 Από τα παραπάνω καταλήγουμε στο συμπέρασμα πως μέχρι στιγμής έχουμε πολύ σημαντικά χαρακτηριστικά για τα οποία έχει αποδειχθεί η σημαντικότητα τους στον χαρακτηρισμό RNA μορίων και μελλοντικά η γνώση που θα αποκτήσουμε για πιθανά νέα χαρακτηριστικά να μας τροφοδοτήσει για την ανάπτυξη νέων εργαλείων τα οποία θα παίζουν τον κυριότερο ρόλο στην πιθανώς απολύτως πετυχημένη διακριτική ικανότητα των εργαλείων στο έργο για την πρόβλεψη νέων μορίων. 29

30 Κεφάλαιο 3: Υπάρχουσες Μεθοδολογίες Πρόβλεψης Όπως προαναφέρθηκε, η πολυπλοκότητα και οι απαιτήσεις που προκύπτουν για την αποδοτική πρόβλεψη των μη κωδικών μορίων RNA κατέστησαν αναγκαία την έρευνα στoυς τομείς της μηχανικής μάθησης και της τεχνίτης νοημοσύνης [49]. Μέσω της έρευνας στους τομείς της επιστήμης των υπολογιστών ο τομέας της βιοπληροφορικής κατάφερε να αξιοποιήσει την βιολογική γνώση ξεπερνώντας τις δυσκολίες που ήταν υπεύθυνες για την καθυστέρηση της ανάλυσης των βιολογικών δεδομένων. Πλέον η έρευνα πραγματοποιείται διεπιστημονικά αξιοποιώντας τις δυνατότητες που μας παρέχει η επεξεργαστική ισχύ ενός υπολογιστή και ταυτόχρονα πραγματοποιείται επίβλεψη των αποτελεσμάτων από επιστήμονες οι οποίοι έχουν την γνώση των βιολογικών αναγκών αλλά και των δυνατοτήτων που τους παρέχει η τεχνητή νοημοσύνη [50]. Πιο συγκεκριμένα θα μπορούσαμε να απεικονίσουμε τους ρυθμούς ανάπτυξης της γνώσης του ανθρώπου στον κλάδο της βιολογίας μέσω μίας καμπύλης όπου αρχικά η εύρεση νέας γνώσης ήταν εκθετική αλλά στην συνέχεια παρατηρήθηκε μία ελάττωση της κλίσης της καμπύλης. Αυτό οφείλεται στο γεγονός ότι όταν οι ανάγκες των προβλημάτων που είχαν να αντιμετωπίσουν οι βιολόγοι ήταν να αναλύσουν γονίδια με μήκος ανάλογο των microrna τότε οι τεχνικές ανάλυσης μεγάλης κλίμακας δεν ήταν αποδοτικές και πέρα από το μήκος των γονιδίων, το κόστος και η διάρκεια τέτοιων πειραμάτων ήταν κατασταλτικοί παράγοντες. Στα παραπάνω αξίζει να προσθέσουμε πως ακόμα και να ήταν εφικτό να ξεπεραστούν οι όσες δυσκολίες αναφέραμε, δεν θα ήταν εφικτή η μελέτη των μηχανισμών δράσης των γονιδίων λόγω του σύνθετου μηχανισμού τους [51]. Για τους παραπάνω λόγους τα τελευταία χρόνια η έρευνα έχει επικεντρωθεί στην δημιουργία υπολογιστικών προσεγγίσεων με στόχο την επίλυση όλων των παραπάνω. 30

31 Εικόνα 11. Ένα παράδειγμα της διαδικασία πρόβλεψης μη κωδικών και κωδικών μορίων RNA[49] 3.1 Περιγραφή Μεθόδων Σε αυτό το κεφάλαιο θα αναφερθούμε στις μεθόδους που υπάρχουν στην βιβλιογραφία και συγκεκριμένα θα αναφερθούμε σε κάθε κατηγορία μη κωδικών RNA μορίων t-rna μοντέλα πρόβλεψης Σε αυτήν την κατηγορία μορίων οι περισσότερες προσεγγίσεις αλγόριθμων πρόβλεψης χρησιμοποιούν την δευτεροταγή δομή των μορίων αυτών, λόγω ότι χαρακτηρίζονται ως υψηλά συντηρημένες δομές [52]. Επιπλέον σε αυτήν την κατηγορία γονιδίων έχουν χρησιμοποιηθεί και στοχαστικά μοντέλα πρόβλεψης για την ταυτοποίηση των trna λόγω της υψηλής τους ευαισθησίας που έχουν υποδείξει [53][54]. Παρ όλο που αυτού του είδους οι ταξινομητές υποδεικνύουν υψηλή ευαισθησία, θεωρούνται πως είναι υπολογιστικά απαιτητικοί λόγω του όγκου των υπολογισμών που απαιτείται να πραγματοποιηθούν. Συγκεκριμένα ο όγκος των πράξεων αλλά και η δυσκολία αυτών αυξάνει τον χρόνο εκτέλεσης των πράξεων στην τρίτη δύναμη του ολικού μήκους της κάθε trna αλληλουχίας. 31

32 Μέχρι σήμερα έχουν αναπτυχθεί διάφορα προγράμματα για τα οποία θα αναφέρουμε κάποια βασικά τους στοιχεία. ARWEN Ο ARWEN αποτελεί έναν χειριστικό αλγόριθμο ο οποίος αναζητά δομές hairpin με 5 έως 6 ζεύγη βάσεων σε stem loops και 6 έως 8 ζεύγη βάσεων σε base loop. Αυτά τα ζεύγη βάσεων μπορεί να αποτελούν υποψήφια τμήματα C άκρου σε μία δομή trna. Για κάθε πιθανό C άκρο ο αλγόριθμος ελέγχει αν η δομή με κατεύθυνση το 5 άκρο αποτελεί δομή D άκρου η οποία χαρακτηρίζεται από 2 έως 5 ζεύγη βάσεων για stem δομές και 3 έως 17 βάσεις για loop καθώς επίσης εξετάζεται και η δομή με κατεύθυνση το 3 άκρο για πιθανή ύπαρξη Τ δομής η οποία χαρακτηρίζεται από 2 έως 7 ζεύγη βάσεων για stem δομές και 3 έως 31 για loop. Στην συνέχεια γίνεται έλεγχος και των δύο άκρων (5, 3 ) για να εξεταστεί αν υπάρχουν αλληλεπιδράσεις βάσεων που αυτό θα μπορούσε να μας υποδείξει την ύπαρξη μίας δομής Α που συνήθως αποτελείται από 5 έως 8 ζεύγη βάσεων. Τέλος ο Arwen προσπαθεί να συνδυάσει όλες τις παραπάνω δομές με τελικό στόχο τον σχηματισμό του trna γονιδίου το οποίο να αποτελείται από 3 εκ των 4 δομών που αναφέρθηκαν [55]. Εικόνα 12. Δομές trna [56] 32

33 trnascan-se Ο trnascan-se χρησιμοποιεί 2 προγράμματα αναγνώρισης trna μορίων ως φίλτρα για την αναγνώριση πιθανών μορίων, τα οποία στην συνέχεια αναλύονται από μοντέλα συσχέτισης και με αυτόν τον τρόπο συνδυάζει την ικανότητα εξειδίκευσης που υποδεικνύουν τα μοντέλα συνδιακύμανσης σε συνδυασμό με την ταχύτητα των αλγόριθμων που χρησιμοποιούνται ως φίλτρα [57]. Στην ίδια κατηγορία αλγόριθμων ανήκει και ο ARAGORN [58] με παρόμοια απόδοση αποτελεσμάτων με τον trnascan-se. Συγκεντρωτικά οι παραπάνω αλγόριθμοι στην βάση λειτουργίας τους ακολουθούν παρόμοιες διαδικασίες αλλά ξεχωρίζουν τα αποτελέσματα του ARWEN ο οποίος σύμφωνα με την βιβλιογραφία πετυχαίνει περίπου 99%. Αξίζει να σημειωθεί ότι, παρ όλο που μέσα στο ποσοστό αυτό μπορεί να ανήκουν και false positive διαπιστώσεις, στην συνέχεια της διαδικασίας μέσω ανάλυσης που πραγματοποιείται, αφαιρούνται mirna μοντέλα πρόβλεψης Στην αρχή του κεφαλαίου διατυπώσαμε τους λόγους για τους οποίους είχε παρατηρηθεί κάποιας μορφής αδράνεια στο παρελθόν, στην μελέτη των μη κωδικών μορίων RNA. Σήμερα έχουμε καταφέρει να ξεπεράσουμε τις όποιες δυσκολίες και να αναπτύξουμε τεχνολογίες ικανές να ικανοποιήσουν τις ανάγκες για εκτεταμένη ανάλυση του γονιδιώματος, όπως είναι η Next Generation Sequencing 3 τεχνολογία η οποία σε συνδυασμό με τις τεχνικές υπολογιστικής ανάλυσης μας παρέχει την δυνατότητα να ταυτοποιήσουμε και να αναλύσουμε τις διάφορες κατηγορίες «μικρών ρυθμιστικών μορίων». Στο κεφάλαιο αυτό θα αναφερθούμε σε δύο μεγάλες οικογένειες προσεγγίσεων και θα διατυπώσουμε ποια είναι τα κύρια χαρακτηριστικά που τις διαχωρίζουν. Συγκριτικές μέθοδοι πρόβλεψης ακολουθιών Η λογική στην οποία στηρίζονται αυτού του είδους οι μέθοδοι είναι ο εντοπισμός φουρκέτας που αποτελεί βασική δομή πρόδρομων μορίων και σύμφωνα με την βιβλιογραφία συσχετίζεται άμεσα με φυλογενετική συντήρηση ανάμεσα σε γονιδιώματα κοντινών φυλογενετικά οργανισμών [41]. Η συσχέτιση που παρουσιάζουν και χρησιμοποιείται από τις συγκριτικές 33

34 μεθόδους, έχει επαληθευτεί και πειραματικά προκειμένου να υπάρχει κάποιας μορφής αναφορά για την αξιολόγηση των αποτελεσμάτων. Όλες οι προσεγγίσεις οι οποίες ανήκουν στην κατηγορία των συγκριτικών μεθόδων έχουν ένα μειονέκτημα το οποίο πολλές φορές αποτελεί κατασταλτικό παράγοντα για την επιλογή τους. Όπως αναφέραμε αυτές οι μέθοδοι στηρίζονται σε έρευνες που έχουν αποδείξει πειραματικά την κατηγορία μίας πιθανής δομής του γονιδιώματος, αυτό συνεπάγεται πως έχουν χαμηλή ευαισθησία στην αναγνώριση και θετική αξιολόγηση νέων πρόδρομων mirna [60]. MiRScan [24] [61] Η πρώτη μέθοδος που θα αναφερθούμε είναι αποτέλεσμα έρευνας μιας ομάδας ερευνητών στο MIT και στηρίζεται στην αρχή που χαρακτηρίζει όλες τις συγκριτικές μεθόδους που είναι οι συντηρημένες περιοχές (stem loops) των πρόδρομων mirna. Η MiRScan χρησιμοποιεί αυτά τα συντηρημένα στελέχη για τα οποία έχει αποδειχθεί η συντηρημένη τους κατάσταση πειραματικά και παίρνοντας ως είσοδο 21 νουκλεοτίδια από την περιοχή των stem loops, αποδίδει ένα σκορ ομοιότητας συγκριτικά με ό,τι χρησιμοποιείται ως αναφορά. Τα χαρακτηριστικά που ελέγχονται είναι τα παρακάτω [41]: i. Ζεύγη βάσεων σε συγκεκριμένα σημεία του mirna ii. Ακολουθία συντήρησης iii. Συμμετρία ή ασυμμετρία των εσωτερικών βρόγχων και των εξογκωμάτων Τα αποτελέσματα της μεθόδου ήταν χαμηλά (~70%), ποσοστό που είναι σχεδόν απαγορευτικό για βιολογικά δεδομένα αλλά και γενικά στην κατηγορία των προσεγγίσεων της υπολογιστικής νοημοσύνης δε θεωρείται αξιόπιστο αποτέλεσμα. mirseeker [60] Η mirseeker αποτελεί μία μεθοδολογία της οποίας ως αρχικός στόχος χρήσης είχε τεθεί η ανάλυση των Drosophila melanogaster γονιδίων. Λόγω ομοιότητας της δομής των συντηρημένων ακολουθιών με τα γονίδια microrna, χρησιμοποιείται πλέον και για την ταυτοποίηση microrna γονιδίων και με καλύτερα αποτελέσματα της τάξεως 75% σε σύγκριση με την προηγούμενη 34

35 μέθοδο, όπως επίσης αξίζει να αναφέρουμε πως αναγνώρισε 48 νέα υποψήφια microrna. Η αρχή λειτουργίας της mirseeker [41][62]: i. Αναγνώριση συντηρημένων ακολουθιών της Drosophila melanogaster ii. Αξιολόγηση των συντηρημένων περιοχών stem loops με κριτήριο αξιολόγησης την ελεύθερη ενέργεια iii. Αξιολόγηση των συντηρημένων περιοχών ως προς την απόκλιση τους συγκριτικά με ό,τι χρησιμοποιείται ως αναφορά findmirna [60] Η μέθοδος findmirna αποτελεί μία μεθοδολογία της οποίας αρχικά χρησιμοποιήθηκε ως μέθοδος πρόβλεψης για τα γονίδια Arabidopsis thaliana. Η συγκεκριμένη μέθοδος στηρίχτηκε στο γεγονός πως συγκριτικά οι διάφορες κατηγορίες pre-microrna φανερώνουν αποκλίσεις σύμφωνα με την βιβλιογραφία [64]. Η findmirna χαρακτηρίζεται ως εξειδικευμένη μέθοδος διότι στοχεύει στον εντοπισμό νουκλεοτιδίων σε περιοχές που εμφανίζουν δομή φουρκέτας ανάμεσα σε ιντρόνια, όπως επίσης και σε άλλα κομμάτια μεταγράφων και τα συγκρίνει με αυτά της αναφοράς. DIANA-microH [65] Το πρόγραμμα DIANA-microH αποτελεί μία σημαντική προσέγγιση για πρόβλεψη mirna μορίων διότι αξιοποιεί την πλέον αποδοτική μεθοδολογία πρόβλεψης στον τομέα της τεχνητής νοημοσύνης που είναι οι μηχανές διανυσμάτων υποστήριξης SVM. Αξίζει να σημειωθεί πως τα χαρακτηριστικά που λαμβάνει υπόψιν διαφέρουν από τις παραπάνω μεθοδολογίες που αναφέραμε. Πιο συγκεκριμένα πέρα από τα δομικά χαρακτηριστικά και τις συντηρημένες περιοχές που είδαμε και σε προηγούμενες προσεγγίσεις να χρησιμοποιούνται, η συγκεκριμένη προσέγγιση χρησιμοποιεί χαρακτηριστικά σχετικά με τα σημεία όπου ριβονουκλεικά ένζυμα Drosha και Dicer κόβουν το μόριο. Από τα όσα αναφέραμε είναι εύκολο να συμπεράνουμε πως η απόδοση της μεθόδου διαφέρει θετικά από όλες τις παραπάνω με ποσοστό σωστών προβλέψεων 98,6%. 35

36 Εικόνα 13. Δράση των ενζύμων Drosha και Dicer [66] MIRcheck [71] Η MIRcheck μεθοδολογία αποτελεί μία συγκριτική προσέγγιση όπως και οι παραπάνω. Αρχικά χρησιμοποιήθηκε για την μελέτη της Arabidopsis Thaliana και του ρυζιού και κατάφερε να εντοπίσει 19 νέους στόχους. Μετά την επαλήθευση η ομάδα του Bartel [72] κατάφερε μέσω του προγράμματος να δείξει ότι τα microrna επιδρούν άμεσα σε γονίδια που σχετίζονται με την ρύθμιση της ανάπτυξης του φυτού όπως είναι οι μεταγραφικοί παράγοντες. MiRAlign [73] Η τελευταία από τις μεθόδους που θα αναφέρουμε υλοποιήθηκε το 2007 και στοχεύει στην πρόβλεψη microrna γονιδίων σε ζωικούς οργανισμούς. Τα βασικά χαρακτηριστικά στα οποία βασίστηκε η λειτουργία της μεθόδου είναι [45] : i. Δομικά και ακολουθιακά χαρακτηριστικά microrna μορίων ii. Στηρίζεται στην αναζήτηση ομολογίας που την επιτρέπει να εντοπίσει και νέα μόρια mirna 36

37 Συνοψίζοντας να αναφέρουμε πως όλες οι μέθοδοι που ανήκουν στην οικογένεια των συγκριτικών μεθόδων χαρακτηρίζονται από κάποια χαρακτηριστικά τα οποία εξάγονται από τον τρόπο που προσεγγίζουν το πρόβλημα της πρόβλεψης mirna. Τα χαρακτηριστικά αυτά είναι τα παρακάτω: a. Όλες οι μέθοδοι είναι ικανές να αναγνωρίσουν σημαντικό μέρος των mirna b. Όσο οι έρευνες εντείνονται και επικεντρώνονται στον εντοπισμό νέων δομών τόσο πιο αποδοτικοί θα γίνονται οι παραπάνω μέθοδοι c. Χαρακτηρίζονται από έλλειψη γενίκευσης αφού στηρίζονται σε μη γενικευμένους κανόνες και κριτήρια με αποτέλεσμα να παρουσιάζουν υψηλή εξειδίκευση Το τελευταίο των χαρακτηριστικών των παραπάνω προσεγγίσεων αποτελεί κατασταλτικό παράγοντα για την επιλογή τους σε έρευνες που στόχο έχουν την εύρεση νέων μορίων, αντιθέτως για έρευνες επαλήθευσης και ελέγχου προτιμώνται αφού στηρίζονται σε αναφορές πειραματικά αποδεδειγμένες. Μη Συγκριτικές μέθοδοι πρόβλεψης ακολουθιών Σε αυτήν την κατηγορία μεθόδων πρόβλεψης ανήκουν κυρίως τεχνικές προερχόμενες από την επιστήμη των υπολογιστών και κυρίως της μηχανικής μάθησης και της τεχνητής νοημοσύνης. Συγκεκριμένα έχουν αναπτυχθεί προσεγγίσεις βασισμένες σε γνωστά μοντέλα της μηχανικής μάθησης όπως είναι τα μοντέλα Markov, μηχανές διανυσμάτων υποστήριξης (SVM) [74], υβριδικές τεχνικές που συνδυάζουν διάφορες τεχνικές για να μπορέσουν να προσεγγίσουν προβλήματα που παρουσιάζουν υψηλή πολυπλοκότητα καθώς επίσης προσεγγίσεις που η φιλοσοφία τους προέρχεται από την γενετική εξέλιξη όπως είναι ο γενετικός προγραμματισμός. Οι παραπάνω προσεγγίσεις καθώς επίσης και άλλα μοντέλα από την οικογένεια της μηχανικής μάθησης πετυχαίνουν καλύτερα αποτελέσματα διότι δεν χρησιμοποιούν κάποιας μορφής αναφορά αλλά προσπαθούν να εκπαιδευτούν από τα ίδια τα δεδομένα και τις πληροφορίες που μπορεί να δώσει η συμπεριφορά τους. Κατανοώντας τα παραπάνω συμπεραίνουμε πως για να μπορέσει ένα μοντέλο να γενικευτεί 37

38 για να καταφέρει αποτελεσματικά να προβλέψει ένα αποτέλεσμα, θα πρέπει να παρέχονται ισάξια κατανεμημένη η πληροφορία και ταυτόχρονα να είναι και σε μεγάλο όγκο, διαφορετικά παρατηρείται ανισορροπία δεδομενων(imbalance problem) [77]. Στην συνέχεια θα αναφερθούμε στα πιο βασικά χαρακτηριστικά ορισμένων από τα μοντέλα που έχουν προταθεί μέχρι σήμερα: mipred- micropred [78] [80] Η mipred είναι η πρώτη από τις μεθόδους που ανήκουν στις μεθόδους που προσπαθεί να πρόβλεψη μία δομή χωρίς δομικά ή θερμοδυναμικής φύσεως χαρακτηριστικά. Συγκεκριμένα κάνει χρήση των μηχανών διανυσμάτων υποστήριξης (SVM) χρησιμοποιώντας για συνάρτηση πυρήνα την RBF. Δεν είναι αντικείμενο της παρούσας εργασίας η ανάλυση της προσέγγισης αλλά σύμφωνα με την βιβλιογραφία, αποτελεί μία προσέγγιση υψηλής απόδοσης για βιολογικά και όχι μόνο δεδομένα [79]. Η micropred αποτελεί εξέλιξη της mipred και συγκεκριμένα παρ όλο που ακολουθεί την ίδια προσέγγιση μέσω των μηχανών διανυσμάτων υποστήριξης, τα χαρακτηριστικά που χρησιμοποιεί είναι 48 ενώ η προηγούμενη μέθοδος χρησιμοποιούσε μόνο 29 για την πρόβλεψη μορίων. Επιπλέον η micropred προσέγγιση κάνει χρήση τεχνικών για την αντιμετώπιση του imbalance προβλήματος που αναφέραμε στην αρχή του κεφαλαίου καθώς επίσης και τεχνικές filtering για την επιλογή των χαρακτηριστικών και ταυτόχρονα την μείωση της διαστατικότητας [81]. ProMiR [82] Η ProMiR αποτελεί μία πιθανοκρατική προσέγγιση αφού ως ταξινομητή χρησιμοποιεί το hidden markov μοντέλο. Τα χαρακτηριστικά που χρησιμοποιεί με στόχο την πρόβλεψη μορίων mirna αλλά και άλλων ειδών είναι δομικά και αλληλουχίες στοχεύοντας στην συγκριση ομολογίας πρόδρομων microrna. 38

39 CSHMM [83] Μία ακόμη μέθοδος HMM είναι η CSHMM η οποία προσεγγίζει το πρόβλημα πρόβλεψης μορίων mirna χρησιμοποιώντας ακολουθίες από human mirna. Στην συνέχεια προσπαθεί να προβλέψει την δευτεροταγή δομή του mirna και τέλος συγκρίνει το αποτέλεσμα που εξήχθη με τα ήδη υπάρχοντα γνωστά μόρια mirna πετυχαίνοντας υψηλές αποδόσεις εξειδίκευσης περίπου 97% rrna μοντέλα πρόβλεψης Σε αυτήν την κατηγορία μοντέλων δεν υπάρχουν πολλά εργαλεία που να προβλέπουν δομές rrna μορίων και αυτός είναι ο λόγος που μέχρι και σήμερα χρησιμοποιείται το BLAST για στοίχιση της προς μελέτης αλληλουχίας με αλληλουχίες της αναφοράς. Στην κατηγορία του blast υπάρχει και η πλατφόρμα SILVA [72] η οποία μας παρέχει δυνατότητα στοίχισης πιθανών αλληλουχιών με στόχο την ταυτοποίηση με ήδη υπάρχουσες αλληλουχίες. Πρόσφατες προσπάθειες για την αναπτυξη εργαλείων πρόβλεψης rrna μορίων ανέδειξαν τα παρακάτω εργαλέια : i. RNAmmer [73] ii. Meta-RNA [74] Τα παραπάνω δύο μοντέλα πρόβλεψης στηρίζονται σε hidden Markov μοντέλα και πραγματοποιούν διαφορετική προσέγγιση και επιλογή παραμέτρων. Ενδεικτικά η Meta-RNA προσέγγιση χρησιμοποιεί τα παρακάτω χαρακτηριστικά : 1. Gap-Open Penalty Αποτελεί έναν περιοριστικό παράγοντα κατά την διαδικασια στοίχησης νουκλεοτίδιων. Ουσιαστικά τα «Gaps» προέρχονται είτε από μεταλλάξεις είτε από διαγραφές νουκλεοτίδιων, με αυτόν τον τρόπο μπορούμε να ελέγξουμε ανάλογα με τα δεδομένα που έχουμε στην διάθεση μας, την διαδικασία της στοίχισης με σκοπό όσο το δυνατόν καλύτερο αποτέλεσμα. 2. Score-Threshold Αποτελεί ένα όριο συσχέτισης των βάσεων πάνω από το οποίο θα δέχεται ο αλγόριθμος την στοίχιση ως έγκυρη 39

40 3. Energy_threshold Αποτελεί την ελάχιστη ελεύθερη ενέργεια κάτω από την οποία δεν γίνονται δεκτά τα αποτελέσματα για στοίχιση 4. length_5p_for_weighting Πρόκειται για μία παράμετρο που χρησιμοποεί ο αλγόριθμος προκειμένου να διαχωρίσει την σημαντική περιοχή του γονιδιώματος πάνω στην οποία θα στηριχτεί για να κάνει την πρόβλεψη. Μετά την ολοκλήρωση της πρόβλεψης αυτή η περιοχή δεν συμπεριλάμβάνεται στην αλληλουχία όπου αυτό γίνεται διότι συνήθως δεν περιέχει κάποια διακριτική πληροφορία για να μας βοηθήσει. 5. Temperature Πρόκειται για την ελάχιστη θερμοκρασία που απαιτείται σε ένα σύστημα, η οποία συσχετίζεται και με τον υπολογισμό της ελεύθερης ενέργειας. 6. alignment_len_threshold Aποτελεί το μικρότερο δυνατό μήκος για τον υπολογισμό στοίχισης Ενώ η RNAmmer στοχεύει στις παρακάτω περιοχές του rrna για την πρόβλεψη : 1) 5/8S rrna 2) 16/18S rrna 3) 23/28S rrna 4) Αν καμία από τις παραπάνω επιλογές δεν επιλεχτεί ως κριτήριο τότε ο RNAmmer αλγόριθμος ψάχνει σε όλες τις παραπάνω 40

41 3.1.4 snorna μοντέλα πρόβλεψης Πριν αναφερθούμε στα μοντέλα που υπάρχουν σήμερα για την πρόβλεψη snorna να αναφέρουμε πως τα μοντέλα πρόβλεψης snornas διαχωρίζονται στις παρακάτω κατηγορίες ανάλογα με το τμήμα που στοχεύουν για να πραγματοποιήσουν την πρόβλεψη: 1. C/D box 2. H/ACA box 3. Composite H/ACA and C/D box 4. Orphan snornas: snornas χωρίς γνωστούς RNA στόχους Ενδεικτικά η C/D box όπως φαίνεται και στην εικόνα 14 είναι μία συντηρημένη περιοχή που χαρακτηρίζει τα snorna και αποτελείται από το C συντηρημένο μοτίβο αλληλουχίας (RUGAUGA) και το D (CUGA) Εικόνα 14.snoRNA U73 C/D box μοτίβο από την Rfam[75] Στην συνέχεια το H/ACA box αποτελεί μοτίβο των snornas το οποίο αποτελείται από δύο hairpins και δύο μονόκλωνες περιοχές και αυτή η διάταξη καλείται hairpin-hinge-hairpin-tail δομή. Επιπλέον τα H/ACA snornas αποτελούνται από συντηρημένες περιοχές μοτίβων γνωστές ως Η box(ananna) και ένα μοτίβο το ACA box(aca). 41

42 Εικόνα 15. Παράδειγμα του H/ACA box snorna[75] Η επόμενη κατηγορία καλείται περιγραφικά ως Composite H/ACA and C/D box και αποτελεί έναν σπάνιο συνδυασμό των δύο παραπάνω με την επίσημη ονομασία να είναι snorna U85 και εμπλέκετε και στην μεθυλίωση αλλά και την ψευδοουριδυλιώση ενός μικρού μορίου RNA (snrna) U5 [76] Ενδεικτικά στις παραπάνω κατηγορίες αντιστοιχούν οι παρακάτω αλγόριθμοι, οι οποίοι στοχεύουν στον εντοπισμό του κάθε μοτίβου όπως φαίνεται και στην εικόνα 16. Εικόνα 16.Αλγόριθμοι πρόβλεψης snorna [9] 42

43 Κεφάλαιο 4: Προτεινόμενη προσέγγιση πρόβλεψης Στα πλαίσια της παρούσας εργασίας, υλοποιήθηκε μια καινοτόμα υβριδική μεθοδολογία ταξινόμησης εμπνευσμένη από την μέθοδο Ensemble GASVR [9] προσέγγισης στον τομέα της ταξινόμησης μη κωδικών περιοχών RNA. Συγκεκριμένα η μέχρι πρότινος μεθοδολογία ταξινομούσε τις μη κωδικές περιοχές RNA στις διάφορες κατηγορίες ncrna κάνοντας χρήση των γενετικών αλγόριθμων (GA) σε συνδυασμό με τις μηχανές διανυσμάτων υποστήριξης (SVM). Η προσέγγιση αυτή είχε έναν περιορισμό στον οποίο στηρίχτηκε η πρόταση της παρούσας εργασίας. Πιο συγκεκριμένα η ταξινόμηση γινόταν με δυαδικό τρόπο επιλογής (binary) μη επιτρέποντας τα μόρια των μη κωδικών περιοχών να ανήκουν σε περισσότερες της μίας κατηγορίες. Για την αποδοτικότερη πρόβλεψη ncrna προτάθηκε η χρήση των γενετικών αλγόριθμων οι οποίοι θα χρησιμοποιηθούν για την εύρεση του βέλτιστου υποσυνόλου χαρακτηριστικών εισόδου αλλά και των παραμέτρων του ταξινομητή ο οποίος θα είναι τα τυχαία δάση (random forest) που αποτελεί συλλογή δέντρων αποφάσεων ταξινομητών [85]. 4.1 Random Forest ταξινομητής Στο κεφάλαιο αυτό θα παρουσιάσουμε κάποιες βασικές έννοιες που αποτελούν πυλώνες για τους αλγόριθμους της μηχανικής μάθησης που χρησιμοποιούνται για προβλήματα ταξινόμησης. Συγκεκριμένα θα εστιάσουμε στην ανάλυση των σημαντικότερων στοιχείων που διέπουν τους αλγόριθμους τυχαίων δασών καθώς επίσης και τους ταξινομητές στους οποίους στηρίζονται τα τυχαία δάση που είναι τα δέντρα απόφασης [85] Δέντρα Απόφασης Τα δέντρα απόφασης αποτελούν έναν από τους πιο δημοφιλείς ταξινομητές στον χώρο της μηχανικής μάθησης και ένας από τους λόγος για τον οποίο πολλοί επιστήμονες επιλέγουν αυτήν την προσέγγιση για την επίλυση διαφόρων προβλημάτων είναι η ευκολία κατανόησης των αποτελεσμάτων [86]. Στην συνέχεια θα προσπαθήσουμε να διατυπώσουμε τα βασικότερα στάδια που αποτελούν την αρχή λειτουργίας των δέντρων απόφασης: 1. Έστω Κ το σύνολο δειγμάτων εκπαίδευσης(training set) 43

44 2. Γίνεται τυχαία επιλογή ενός χαρακτηριστικού και σύμφωνα με κάποιες μετρικές επιλέγετε ως κόμβος διαχωρισμού του συνόλου ή του υποσυνόλου ανάλογα σε ποιο στάδιο ανάπτυξης βρίσκεται το δέντρο. Κάθε δεσμός που δημιουργείται μετά από τον κύριο(root node) κόμβο αντιπροσωπεύει συγκεκριμένες τιμές για κάθε χαρακτηριστικό που επιλέχθηκε ως αντιπρόσωπος του εκάστοτε κόμβου [87]. Entropy-Information Gain Παραπάνω αναφέραμε ότι χρησιμοποιούνται κάποιες μετρικές επιλογής χαρακτηριστικού που χρησιμοποιεί εσωτερικά ο αλγόριθμος. Συγκεκριμένα η εντροπία αποτελεί μία τέτοια μετρική η οποία θα μπορούσε να περιγραφεί ως η απεικόνιση της ανομοιογένειας των δειγμάτων, ανάλογα με τη διασπορά των παραδειγμάτων ως προς την κλάση στην οποία ανήκουν. Entropy(S) = p i log 2 p i c i=1 Εξίσωση 1. Τύπος εντροπίας [85] Όπου pi είναι το ποσοστό των δειγμάτων που ανήκουν στην i κλάση. Τέλος υπολογίζεται το κέρδος πληροφορίας (Information Gain) το οποίο εκφράζει τη μείωση της εντροπίας έπειτα από τον διαχωρισμό σε υποσύνολα των δειγμάτων Κ IG(S, A) = E(S) E(S, A) Εξίσωση 2. Τύπος κέρδους πληροφορίας(ig)[85] Όπου E(S) η εντροπία του κόμβου που γίνεται η διχοτόμηση και E(S,A) η μέση εντροπία που προέκυψε από την διχοτόμηση του κύριου κόμβου (parent node) σε περισσότερες του ενός κόμβου(child nodes). 44

45 Εικόνα 17. Παράδειγμα αναπαράστασης δέντρου απόφασης [86] Gini Index Μια ακόμη μετρική που χρησιμοποιείται ως κριτήριο διαχωρισμού του dataset είναι ο δείκτης gini (Gini Index). Χρησιμοποιώντας ως κριτήριο διαχωρισμού τον δείκτη gini στοχεύουμε στην επίτευξη του υψηλότερου ποσοστού ομοιογένειας(highest measure of purity) [94] του πληθυσμού που προέκυψε μετά τον διαχωρισμό με ιδανική τιμή ομοιογένειας το 1 όπου δηλώνει ότι ο πληθυσμός αποτελείται από ίδιας κατηγορίας παραδείγματα. Για να υπολογιστεί η ομοιογένεια γίνεται χρήση του παρακάτω τύπου: GINI(t) = 1 Σ[p(j t)] 2 Εξίσωση 3.Υπολογισμός ομοιογένειας με p(j t) Παρακάτω στην εικόνα 21 παρατηρούμε ένα σύνολο μαθητών που προσπαθούμε να τους ταξινομήσουμε σχετικά με το αν παίζουν κρίκετ ή όχι. Παρουσιάζονται τα δύο χαρακτηριστικά σύμφωνα με τα οποία επιλέγεται να γίνει ο διαχωρισμός του συνόλου τα οποία είναι το φύλο και η τάξη στην οποία φοιτούν οι μαθητές. 45

46 Εικόνα 18. Εύρεση μεγαλύτερου ποσοστού ομοιογένειας [95] Αν υπολογίσουμε τον δείκτη ομοιογένειας σύμφωνα με το φύλο βλέπουμε πως το αποτέλεσμα που προκύπτει (weighted gini) είναι 0.59 σε σχέση με τον διαχωρισμό ως προς την κλάση όπου είναι Συμπερασματικά το κατάλληλο χαρακτηριστικό για τον διαχωρισμό του συνόλου με στόχο το αν παίζουν κρίκετ είναι το φύλο Τυχαία Δάση Τα τυχαία δάση(random forests) αποτελούν έμπνευση του Leo Breiman [9] και ουσιαστικά δομούνται από μία συλλογή από δέντρα απόφασης. Στην συνέχεια της ενότητας θα αναφέρουμε τον τρόπο λειτουργίας καθώς επίσης και τους λόγους που υπερτερούν συγκριτικά με τα μεμονωμένα δέντρα απόφασης. Όπως μπορούμε να συμπεράνουμε από τα παραπάνω, τα τυχαία δάση αποτελούν μία συνδυαστική προσέγγιση για προβλήματα κατηγοριοποίησης που χρησιμοποιούν τα δέντρα απόφασης ως ταξινομητές. Τα δέντρα του δάσους δεν υπόκεινται σε κλάδεμα 4 και αναπτύσσονται στο μέγιστο. Bagging και bootstrap μέθοδος [88][89] Προηγουμένως αναφέραμε πως η ανάπτυξη των δέντρων απόφασης γίνεται χωρίς να πραγματοποιείται κλάδεμα(pruning) και ο λόγος είναι ότι στα τυχαία δάση γίνεται η χρήση των bagging και bootstrap μεθόδων που βελτιστοποιούν την απόδοση των αλγόριθμων όπως θα δούμε στην συνέχεια. Πιο συγκεκριμένα τα τυχαία δάση αποτελούν μία μέθοδο bagging αφού η λογική πίσω από αυτήν την μεθοδολογία είναι ο συνδυασμός μεγάλου αριθμού κατηγοριοποιητών για την ταξινόμηση των δειγμάτων του προβλήματος. Η συγκεκριμένη προσέγγιση των τυχαίων δασών χρησιμοποιεί παράλληλα και μία μέθοδο τυχαίας δειγματοληψίας που καλείται bootstrap. Η λογική πίσω 46

47 από αυτήν την προσέγγιση είναι η επιλογή τυχαίων στοιχείων από το σύνολο του δείγματος με επανατοποθέτηση, για την εκπαίδευση του μοντέλου πρόβλεψης. Τα σετ εκπαίδευσης που δημιουργούνται, παράγονται τυχαία από την κατανομή του προβλήματος. Στην πραγματικότητα έχουμε μόνο ένα σύνολο εκπαίδευσης και η δειγματοληψία bootstrapping το διασπά, επιλέγοντας ομοιόμορφα και με αντικατάσταση Q τυχαία σύνολα εκπαίδευσης Κi και όσα σύνολα δεν επιλέγονται χρησιμοποιούνται ως σύνολα προς δοκιμασία (test set, out of bag data) [89] που συνήθως αποτελούν το 1/3 του συνολικού όγκου των δεδομένων και χρησιμοποιούνται για τον έλεγχο της απόδοσης της προσέγγισης. Κ = {Κ1, Κ2,.. Κn} όπου Κi R n i = 1,,n Όπου Κ είναι το αρχικό σύνολο δειγμάτων. Εικόνα 19. Αναπαράσταση δομής τυχαίων δασών. Step 1) Δημιουργία πολλαπλών συνόλων εκπαίδευσης. Step 2) Κατασκευή δέντρων απόφασης με τυχαία επιλογή χαρακτηριστικών [91] 47

48 Φάση Εκπαίδευσης Random Forest Στην φάση της εκπαίδευσης του τυχαίου δάσους, αρχικοποιούμε τις παραμέτρους που χρειάζεται να οριστούν, όπως είναι το σύνολο των δέντρων απόφασης που θα εκπαιδευτούν, το κριτήριο για τον διαχωρισμό των δειγμάτων και στην συνέχεια επιλέγεται ένας τυχαίος αριθμός μεταβλητών. Οι μεταβλητές ελέγχονται σύμφωνα με το κριτήριο που έχουμε ορίσει ως παράμετρο διαχωρισμού και το χαρακτηριστικό που δίνει καλύτερο αποτέλεσμα επιλέγεται ως κόμβος(node). Αυτή η διαδικασία συνεχίζεται μέχρι την ανάπτυξη του δάσους στο μέγιστο βαθμό όπου σταματάει σύμφωνα με κάποιο κριτήριο που έχει ορίσει ο χρήστης. Φάση Ταξινόμησης Random Forest Σε αυτό το στάδιο κάθε out-of-bag (oob) δείγμα, το τρέχουμε στο δάσος και συγκεκριμένα σε κάθε δέντρο που ανήκει το κάθε oob δείγμα. Στην συνέχεια γίνεται ταξινόμηση του κάθε oob παραδείγματος σε μία ή πολλές κλάσεις ανάλογα με την φύση του προβλήματος. Τέλος κάνοντας χρήση της μεθόδου majority-vote, η κλάση με τις περισσότερες ψήφους από τα δέντρα απόφασης θεωρείται ως πρόβλεψη της ταξινόμησης(predicted class) και το σύνολο των προβλέψεων συγκρίνεται με τις πραγματικές κλάσεις στις οποίες ανήκουν τα παραδείγματα για να μπορέσει να υπολογιστεί μία μετρική απόδοσης που καλείται OOB ERROR ESTIMATE [90]. Για να γίνει πιο κατανοητό θα αναφέρουμε ένα παράδειγμα. Θεωρούμε πως έχουμε ένα σύνολο δεδομένων με 10 παραδείγματα και ο αριθμός των δέντρων που επιλέγουμε να έχει ο random forest ταξινομητής είναι 100. Έστω ότι 30 από 100 δέντρα απόφασης έχουν 3 out-of-bag παραδείγματα από τα 10. Κάθε ένα από τα 3 out-of-bag παραδείγματα χρησιμοποιείται ως είσοδος σε όλα τα δέντρα που αποτελεί out-of-bag case, στην συνέχεια αυτά τα δέντρα ταξινομούν κάθε ένα από τα oob παραδείγματα σε μία κλάση και επιλέγεται η επικρατέστερη για κάθε μία από τις 3 περιπτώσεις. Τέλος εξετάζεται πόσες από τις oob ταξινομήσεις συνέπεσαν με την πραγματική κλάση και το ποσοστό που προκύπτει αποτελεί το out-of-bag error. 48

49 4.2 Γενετικοί Αλγόριθμοι Σε αυτό το κεφάλαιο θα ασχοληθούμε με τους γενετικούς αλγόριθμους που είναι εμπνευσμένοι από τον χώρο της της βιολογίας, καθώς χρησιμοποιούν την ιδέα της γενετικής εξέλιξης, με σκοπό την επίλυση πολύπλοκων προβλημάτων στον χώρο της Βιοπληροφορικής. Η εμφάνιση τους έγινε κατά τον 19 ο [92] από ομάδα ερευνητών που προσπάθησαν να προσομοιώσουν πολύπλοκα βιολογικά συστήματα. Η ιδέα πίσω από την προσέγγιση των γενετικών αλγόριθμων είναι η εύρεση της καταλληλότερης λύσης ενός προβλήματος και συγκεκριμένα η φράση που θα μπορούσε να περιγράψει καλύτερα αυτήν την φιλοσοφία πίσω από αυτού του είδους τους αλγόριθμους είναι η «επιβίωση του καταλληλότερου». Όπως αναφέρθηκε οι ρίζες αυτής της προσέγγισης προέρχονται από τον χώρο της βιολογίας και αυτός είναι ο λόγος για τον οποίο όλη η ορολογία που χρησιμοποιείται για την περιγραφή της διαδικασίας είναι η ίδια με την ορολογία που περιγράφει την διαδικασία της γενετικής εξέλιξης στην βιολογία. Πιο συγκεκριμένα οι γενετικοί αλγόριθμοι αναφέρονται στην έννοια του πληθυσμού ο οποίος αποτελείται από άτομα (individuals) και αυτά τα άτομα αποτελούν τις πιθανές λύσεις του προβλήματος το οποίο εξετάζουμε. Να αναφέρουμε πως αυτά τα άτομα αποτελούν τα αντίστοιχα χρωμοσώματα στον χώρο της βιολογίας τα οποία περιέχουν διατεταγμένα ακολουθίες γονιδίων. Η αναζήτηση της καταλληλότερης λύσης στηρίζεται στην αξιολόγηση του φαινοτύπου που αποτελεί την αποκωδικοποίηση των χρωμοσωμάτων. Αυτό γίνεται με την αξιολόγηση κάθε ατόμου/χρωμοσώματος χρησιμοποιώντας συναρτήσεις καταλληλόλητας που καλούνται να εντοπίσουν αυτό το χρωμόσωμα που θα προσφέρει την καλύτερη δυνατή λύση. Στην συνέχεια θα αναφερθούμε στα πιο βασικά στοιχεία του αλγόριθμου. Αρχή Λειτουργίας Γενετικών Αλγόριθμων Οι γενετικοί αλγόριθμοι σε αντίθεση με άλλες προσεγγίσεις της μηχανικής μάθησης δεν επικεντρώνεται σε μέρος του πληθυσμού με δειγματοληψίες, αλλά πραγματοποιεί μία εκτεταμένη αναζήτηση της λύσης προς όλες της κατευθύνσεις χωρίς να επικεντρώνεται σε ένα τμήμα των δεδομένων. Ουσιαστικά αυτό που θα μπορούσε κανείς να διακρίνει είναι ότι οι ΓΑ αρχικά έχουν ένα σύνολο λύσεων/χρωμοσώματα και αυτά αποτελούν τον πληθυσμό 49

50 προς μελέτη. Στην συνέχεια γίνεται τυχαία επιλογή χρωμοσωμάτων για την δημιουργία του επόμενου πληθυσμού ή γενιάς. Όσο προχωράει η διαδικασία πραγματοποιείται εσωτερικός διαχωρισμός σε κάθε γενιά πιθανών λύσεων μεταξύ αυτών που είναι επιθυμητές και των μη επιθυμητών, οι οποίες απομακρύνονται. Αυτός ο διαχωρισμός πραγματοποιείται με βασικό κριτήριο την βελτιστοποίηση της συνάρτησης καταλληλότητας (fitness function) που αναφέραμε και προηγουμένως. Παρακάτω θα αναφερθούμε αναλυτικά στα στάδια της διαδικασίας που απεικονίζονται γραφικά κατά την διάρκεια εκτέλεσης του ΓΑ στην εικόνα 21. Εικόνα 20. Αρχή λειτουργίας Γενετικών Αλγόριθμων[93] i. Αρχικοποίηση (Initialization) : Η αρχικοποίηση αποτελεί το πρώτο στάδιο της διαδικασίας και αφορά την δημιουργία του αρχικού πληθυσμού. ii. Αξιολόγηση Πληθυσμού: Έπειτα ακολουθεί η πρώτη αξιολόγηση του πληθυσμού χρησιμοποιώντας συναρτήσεις αξιολόγησης/καταλληλότητας(fitness functions) iii. Επιλογή (Selection): Έχοντας υπολογίσει τις συναρτήσεις καταλληλότητας, γίνεται επιλογή των καταλληλότερων ατόμων/χρωμοσωμάτων για την αντικατάσταση των λιγότερο κατάλληλων ατόμων. 50

51 iv. Τροποποίηση (Modification) : Σε αυτό το στάδιο πραγματοποιείται η δημιουργία νέων απογόνων και η διαδικασία περιγράφεται από δύο βασικά βήματα: a. Διασταύρωση (Crossover): Αποτελεί το στάδιο κατά το οποίο δύο χρωμοσώματα από το σύνολο που επιλέχτηκαν συνδυάζονται για να σχηματίσουν δύο νέους απογόνους οι οποίοι στην συνέχεια θα αποτελούν την νέα γενιά υπό μελέτη. b. Μετάλλαξη (Mutation) : Σε αυτό το στάδιο επεμβαίνει ο αλγόριθμος και πραγματοποιεί τυχαία αλλαγή ενός ή περισσοτέρων στοιχείων ενός χρωμοσώματος με στόχο τον εντοπισμό του ιδανικού συνόλου χρωμοσωμάτων που θα αποδώσουν καλύτερα στην συνάρτηση καταλληλότητας για την επίλυση του προβλήματος. v. Αξιολόγηση του πληθυσμού που προέκυψε με στόχο την εύρεση των καταλληλότερων ατόμων για την δημιουργία του νέου πληθυσμού. vi. Κριτήρια τερματισμού διαδικασίας: Αυτό ουσιαστικά αποτελεί το τελευταίο στάδιο της διαδικασίας αφού όταν εκπληρωθεί κάποιο ή κάποια από τα κριτήρια τερματισμού, σταματάει η διαδικασία. Ενδεικτικά κάποια από τα κριτήρια τερματισμού θα μπορούσαν να είναι η βελτίωση της καμπύλης καταλληλότητας, όπου θέτεται ένα όριο που αφορά την βελτίωση της συνάρτησης που πρέπει να υπερβαίνεται από τον υπό μελέτη πληθυσμό, όπως επίσης ένα κριτήριο τερματισμού αποτελεί και το πλήθος αποτιμήσεων της συνάρτησης, όπου όταν υπερβεί έναν αριθμό υπολογισμών τότε παύει να πραγματοποιείται η διαδικασία. 4.3 Επιλογή χαρακτηριστικών Η διαδικασία εύρεσης των κατάλληλων χαρακτηριστικών τα οποία θα μας οδηγήσουν σε πιο ασφαλή αποτελέσματα καλείται πρόβλημα βελτιστοποίησης και αφορά την αναζήτηση ενός πιθανός βέλτιστου 51

52 υποσυνόλου χαρακτηριστικών σύμφωνα με τα κριτήρια που ορίζονται κάθε φορά. Για τις ανάγκες της παρούσας διπλωματικής εργασίας έγινε χρήση των γενετικών αλγόριθμων οι οποίοι στηρίζονται σε τυχαιοποιημένες αναζητήσεις με τελικό αποτέλεσμα την εύρεση των πιο σημαντικών χαρακτηριστικών [96]. Οι λύσεις των γενετικών αλγόριθμων δεν είναι απολύτως τυχαιοποιημένες αφού όπως είναι γνωστό οι ΓΑ βασίζονται και στην βελτιστοποίηση των αποτελεσμάτων των λύσεων. Πιο συγκεκριμένα η διαδικασία που ακολουθείται κατά την χρήση ΓΑ μπορεί να διαχωριστεί σε φάσεις που θα αποτυπωθούν στην συνέχεια. Αρχικά να σημειώσουμε πως αυτές οι φάσεις καλούνται γενιές και σε κάθε μία τα υποψήφια χαρακτηριστικά αξιολογούνται βάση μίας συνάρτησής αξιολόγησης (evaluation function), στην συνέχεια ακολουθεί επιλογή των καλύτερων λύσεων για να ακολουθήσει στην συνέχεια η αναπαραγωγή και τέλος η μετάλλαξη. Η αναπαραγωγή ή αλλιώς διασταύρωση αποτελεί την διαδικασία διασταύρωσης χαρακτηριστικών από διαφορετικά υποσύνολα με σκοπό την δημιουργία νέων υποσυνόλων. Ακολουθεί η σύζευξη των νέων υποσυνόλων στον πληθυσμό και όλη η παραπάνω διαδικασία επαναλαμβάνεται έως ότου καλυφθούν τα κριτήρια τερματισμού. Η αξιολόγηση των γενετικών αλγόριθμων στηρίζεται στην αποτελεσματικότητα και την ικανότητα τους να εντοπίσουν τα ολικά βέλτιστα αποτελέσματα χωρίς να εγκλωβίζονται σε τοπικά βέλτιστα με υψηλή ταχύτητα σύγκλισης. Η υψηλή ταχύτητα δεν είναι άμεσος στόχος λόγω ότι στο παρελθόν έχει αποδειχθεί πως όσες μεθοδολογίες στηρίζονταν στην γρήγορη αποτύπωση αποτελέσματος συνήθως αποτύγχαναν να εντοπίσουν τις βέλτιστες λύσεις του προβλήματος εύρεσης των κατάλληλων χαρακτηριστικών. Συνοπτικά οι Γενετικοί Αλγόριθμοι ικανοποιούν τα παρακάτω: o Ταυτόχρονη αναζήτηση διαφόρων σημείων του χώρου o Η διασταύρωση και οι μεταλλάξεις πετυχαίνουν τον εντοπισμό ολικών βέλτιστων αποτελεσμάτων o Άμεσα τροποποιήσιμη - συμβατή διαδικασία με όλες τις υπάρχουσες μεθόδους στον κλάδο της μηχανικής μάθησης (SVM, RANDOM FORESTS κλπ.) 52

53 Ως αρνητικά της εφαρμογής των ΓΑ για την εύρεση των ιδανικών χαρακτηριστικών, θα μπορούσε κανείς να πει πως είναι η ανάγκη υψηλών υπολογιστικών πόρων αφού όπως αναφέραμε και παραπάνω δεν αποτελούν μία οικονομική γρήγορη διαδικασία και αυτό συμπεραίνεται και από το γεγονός ότι η αναζήτηση γίνεται σε όλο το σύνολο των χαρακτηριστικών. 4.4 Μετρα Αξιολόγησης Της Διαδικασίας Της Μάθησης Στην παρούσα ενότητα θα αποτυπώσουμε τεχνικές αξιολόγησης μεθόδων που υποστηρίζουν δεδομένα που δέχονται περισσότερες της μίας ετικέτας. Προκειμένου να περιγραφούν οι μετρικές αξιολόγησης θα πρέπει να ομαδοποιήσουμε τις υπάρχουσες τεχνικές σε δύο μεγάλες κατηγορίες. Στην πρώτη ανήκουν μετρικές οι οποίες υπολογίζονται χρησιμοποιώντας τις μέσες διαφορές ανάμεσα στις προβλέψεις ενός ταξινομητή σε σχέση με το πραγματικό σύνολο (example based). Η άλλη κατηγορία την οποία θα παρουσιάσουμε και στην συνέχεια προσπαθεί να αξιολογήσει κάθε μία ετικέτα ξεχωριστά και στην συνέχεια υπολογίζεται ο μέσος όρος εμφάνισης κάθε ετικέτας, έτσι ώστε να υπερισχύσει η ετικέτα με τις περισσότερες εμφανίσεις(label based) [99] Βασισμένα στα παραδείγματα Το μέτρο hamming Loss χρησιμοποιείται συχνά σε προβλήματα ταξινόμησης παραδειγμάτων πολλαπλών ετικετών και μετράει την συχνότητα λάθους ενός ταξινομητή να αποτυπώσει την σωστή ετικέτα για κάθε ζεύγος παραδείγματοςπραγματικής ετικέτας [99]. Αν θέσουμε ως L τον αριθμό των ετικετών, N τον αριθμό των παραδειγμάτων και Yi,Y i οι πραγματικές ετικέτες και οι προβλεπόμενες αντίστοιχα. Στην συνέχεια ακολουθεί ο τύπος υπολογισμού. Hamming Loss = 1 N Y N L i=1 iδ Y I Όπου Δ η συμμετρική διαφορά μεταξύ των Yi,Y i(xor πράξη) 53

54 Το μέτρο της ακρίβειας(classification Accuracy) ορίζεται: Όπου το I όταν ισούται με 1 σημαίνει πως ο όρος ικανοποιείται διαφορετικά ισούται με 0. Σαν μέτρο είναι το πιο διαδεδομένα για την αξιολόγηση των περισσότερων προσεγγίσεων αλλά υπάρχουν και άλλες μετρικές που θεωρείται πως συμπληρώνουν την αξιοπιστία της ακρίβειας. Τα ακόλουθα μέτρα προέρχονται από τους Godbole και Sarawagi [100] και εκφράζουν την ικανότητα του αλγόριθμου να ανακτήσει την πληροφορία αλλά και να αξιολογήσει την ακρίβεια αυτής της ανάκτησης. 1. Precision = 1 m Y i Z i m i=1 2. Recall = 1 m Y i Z i m m i=1 3. F 1 = 1 m 2 Y i Z i Y i i=1 Z i + Y i Z i Βασισμένα στις ετικέτες Σε αυτή την κατηγορία μπορούμε να χρησιμοποιήσουμε όλα τα μέτρα που χρησιμοποιούνται για δυαδική ταξινόμηση όπως είναι η ακρίβεια(accuracy), ακρίβεια ανάκλησης(precision) και ανάκληση(recall). Ο υπολογισμός των παραπάνω επιτυγχάνεται χρησιμοποιώντας δύο μεθόδους υπολογισμού του μέσου όρου που καλούνται micro και macro averaging [100]. Οι δύο μέθοδοι που αναφέραμε συνήθως χρησιμοποιούνται για τον υπολογισμό του μέσου όρου της ακρίβειας της ανάκλησης καθώς και του αρμονικού μέσου τους(fmeasure). Παρακάτω θα αποτυπώσουμε τους τύπους έκφρασης των micro και macro λογικών οι οποίες στηρίζονται στον αριθμό των true positives(tp), false positives(fp), true negatives(tn) και false negatives(fn). 54

55 q B macro averaging = 1 q Β(TP λ, FP λ, TN λ, FN λ ) λ=1 q q q q B micro averaging = B( TP λ, FP λ, TN λ, TN λ ) λ=1 λ=1 λ=1 λ=1 Να σημειώσουμε πως τα παραπάνω μέτρα παρουσιάζουν ίδιο αποτέλεσμα σε μέτρα όπως είναι το accuracy ενώ για τα recall και precision το αποτέλεσμα διαφέρει. 4.5 GARF μεθοδολογία ταξινόμησης και πρόβλεψης Στην παρούσα διπλωματική αξιοποιήσαμε την αποδοτικότητα των ΓΑ για τον εντοπισμό των κατάλληλων χαρακτηριστικών από ένα σύνολο χαρακτηριστικών σε συνδυασμό με έναν ensemble ταξινομητή τα Random- Forest που ουσιαστικά αποτελεί ένα σύνολο δέντρων απόφασης ταξινομητών. Παραπάνω αναφέραμε ότι οι ΓΑ δεν καταφέρνουν την βελτιστοποίηση που περιγράψαμε βασισμένοι μόνο στην τυχαιότητα αλλά κυρίως στην βελτιστοποίηση μίας συνάρτησης απόδοσης σε συνδυασμό με τον προσδιορισμό των απαραίτητων παραμέτρων του RF ταξινομητή. Συγκεκριμένα χρειάστηκε να ρυθμιστούν οι παράμετροι εντροπία και αριθμός δέντρων του δάσους(number of estimators), ο ελάχιστος αριθμός δειγμάτων για πραγματοποίηση διάσπασης ενός κεντρικού κόμβου (minimum samples split) και ο αριθμός χαρακτηριστικών που θα χρησιμοποιεί κάθε δέντρο για να πραγματοποιήσει τον διαχωρισμό των δεδομένων (maximum features per split). Όπως περιγράψαμε παραπάνω χρησιμοποιήσαμε έναν προσαρμοζόμενο γενετικό αλγόριθμο(adaptive GA) και κάνοντας χρήση των υποσυνόλων χρωμοσώματα που δημιουργούνται αποτελούν τα γονίδια χαρακτηριστικών που στοχεύουν στην εύρεση του καλύτερου υποσυνόλου χαρακτηριστικών καθώς επίσης και τα γονίδια παραμέτρων με στόχο την εύρεση των βέλτιστων τιμών αυτών των παραμέτρων. Ο έλεγχος κάθε προτεινόμενης βελτιστοποίησης πραγματοποιείται με βάση την επιλογή ρουλέτας (roulette wheel selection) [97] η οποία αποτελεί μία 55

56 μέθοδο απόδοσης μιας τιμής καταλληλόλητας κάθε ατόμου, με στόχο την εύρεση του ατόμου με την υψηλότερη απόδοση-κατάταξη, όπου θα έχει και την υψηλότερη πιθανότητα να επιλεγεί στην επόμενη γενιά. Η πιθανότητα υπολογίζεται βάση του τύπου [97]: p = 2 rank individuals (individuals+1) Να σημειωθεί πως στην παρούσα διπλωματική έγινε χρήση των παρακάτω σταθερών: Πληθυσμός(population size) :50 Γενεές (Generations) : 200 Πιθανότητα διασταύρωσης (two_points_crossover_probability) : 0.8 Πιθανότητα διασταύρωσης (arithmetic_crossover_probability) : 0.45 Πιθανότητα μετάλλαξης (mutation probability) : 0.05 Γκαουσιανή πιθανότητα μετάλλαξης (gaussian_mutation_variance_proportion) : 0.1 Παραπάνω διατυπώσαμε τις τιμές των παραμέτρων που χρησιμοποιήσαμε με σκοπό να αποδοθεί όσο το δυνατόν καλύτερα η εύρεση των κατάλληλων ατόμων. Συγκεκριμένα ως τελεστή διασταύρωσης χρησιμοποιήσαμε την τεχνική δύο-σημείων διασταύρωση για την αναπαραγωγή νέων απογόνων, οι γονείς από τους οποίους προκύπτουν οι νέοι απόγονοι σε συνδυασμό με τα σημεία διασταύρωσης προκύπτουν από την ανταλλαγή μεταξύ των σημείων διασταύρωσης των γονέων. Ο τελεστής της διασταύρωσης αποτελεί την πιθανότητα διασταύρωσης όπου στον παρόν πρόβλημα επιλέξαμε να είναι 0.8. Στόχος κάθε αποτελέσματος διασταύρωσης είναι η όσο το δυνατόν γίνεται καλύτερη απόδοση των καλύτερων χρωμοσωμάτων που εξήχθησαν από τους γονείς. Παραπάνω αναφέρθηκε η ικανότητα των ΓΑ να μην εγκλωβίζονται σε τοπικά ακρότατα. Σε αυτό συμβάλει ο τελεστής μετάλλαξης ο οποίος επιτυγχάνει να αποδώσει την ικανότητα στους ΓΑ να εξερευνούν αποτελεσματικά το σύνολο του χώρου αναζήτησης, ενώ στις τελευταίες γενεές η διερεύνηση πραγματοποιείται σε τοπικό επίπεδο μιας και έχουν επιβιώσει οι καταλληλότερες γενεές. Αυτό επιτυγχάνεται με την δυναμική αλλαγή του 56

57 τελεστή ο οποίος αρχικά ξεκινά με ένα υψηλό ποσοστό μετάλλαξης και στην συνέχεια μειώνεται όσο ο αλγόριθμος πλησιάζει στην επιθυμητή λύση. Ο τρόπος με τον οποίο επιτυγχάνεται η δυναμική αλλαγή του συντελεστή περιγράφεται από την παρακάτω σχέση: mutation_rate(gen) = 0.2 gen 0.2 1/pop_size max _gen Όπου mutation_rate ο ρυθμός μετάλλαξης κάθε γενεάς, gen η γενεά που εξετάζεται, pop_size είναι το μέγεθος του πληθυσμού και max_gen αποτελεί την μέγιστη γενεά που ορίζεται σύμφωνα με τα κριτήρια που έχουμε ορίσει. Όπως αναφέρθηκε αυτός ο συντελεστής επιδρά άμεσα στην ικανότητα των ΓΑ να εντοπίζουν τα ολικά μέγιστα, αυτό επιτυγχάνεται με τον ενσωματωμένο έλεγχο που γίνεται στην παραπάνω έκφραση, όπου υπολογίζει την ομοιότητα κάθε γενεάς με το καλύτερο άτομο που έχει προκύψει. Αν αυτή η διαφορά ξεπερνάει το 0.9 (μεταξύ του 0-1) τότε η πιθανότητα να πραγματοποιηθεί μετάλλαξη στην υπό εξέταση γενεά αυξάνεται κατά 0.2 1/pop_size. max _gen 57

58 DATASET Feature Selection Divide Dataset Into Training and Test Sets(Using 10-fold Cross Validation) No Training Set Test Set RF classifier Evaluation of fitness Stopping criteria Yes Best solution Εικόνα 21. Διάγραμμα προτεινόμενης μεθόδου GARF[9] 58