Ε νικό Μετσό ιο Πο υτε νείο Σ ο ή Χημικών Μη ανικών. Με έτη και σ εδιασμός με όδ ν Εξόρυξης Δεδομέν ν και εφαρμο ές σε προ ήματα Μετα ο ομικής

Transcript

1 Ε νικό Μετσό ιο Πο υτε νείο Σ ο ή Χημικών Μη ανικών Διπλωματική Εργασία Με έτη και σ εδιασμός με όδ ν Εξόρυξης Δεδομέν ν και εφαρμο ές σε προ ήματα Μετα ο ομικής Γεράσιμος Α. Χουρδάκης Επι έπ ν : Αν. Κα η ητής ΕΜΠ Σαρίμ εης Χαρά αμπος Φε ρουάριος 2014

2 (η σελίδα αυτή αφέθηκε σκόπιμα λευκή)

3 Ε νικό Μετσό ιο Πο υτε νείο Σ ο ή Χημικών Μη ανικών Διπλωματική Εργασία Με έτη και σ εδιασμός με όδ ν Εξόρυξης Δεδομέν ν και εφαρμο ές σε προ ήματα Μετα ο ομικής Γεράσιμος Α. Χουρδάκης Επι έπ ν : Αν. Κα η ητής ΕΜΠ Σαρίμ εης Χαρά αμπος Ε κρί ηκε από την τριμε ή εξεταστική επιτροπή την 19η Φε ρουαρίου 2014 Αν. Κα η ητής ΕΜΠ Σαρίμ εης Χαρά αμπος Κα η ητής ΕΜΠ Κυρανούδης Χρήστος Κα η ητής ΕΚΠΑ Μικρός Εμμανουή

4 Γεράσιμος Α. Χουρδάκης Διπ ματού ος Χημικός Μη ανικός Ε.Μ.Π. Χουρδάκης, Γεράσιμος Α. Μελέτη και σχεδιασμός μεθόδων Εξόρυξης Δεδομένων και εφαρμογές σε προβλήματα Μεταβολομικής Διπ ματική ερ ασία, Σ ο ή Χημικών Μη ανικών ΕΜΠ Τομέας II: Ανά υσης, Σ εδιασμού και Ανάπτυξης Διερ ασιών και Συστημάτ ν Επι έπ ν: Αν. Κα η ητής ΕΜΠ Σαρίμ εης Χαρά αμπος DDC : Data Mining σε. xvi + 117, cm Copyright 2014 Γεράσιμος Α. Χουρδάκης Με επιφύ αξη μερικών δικαι μάτ ν. Some rights reserved. cba Το έρ ο αυτό διέπεται από την άδεια Creative Commons Attribution-ShareAlike 3.0 Greece License (Αναφορά Δημιουρ ού - Παρόμοια Διανομή Ε άδα). Προκειμένου να δείτε ένα αντί ραφο αυτής της άδειας, επισκεφτείτε τη διεύ υνση: Οι απόψεις και τα συμπεράσματα που περιέ ονται σε αυτό το έ ραφο εκφράζουν τους συ ραφείς και δεν πρέπει να ερμηνευτεί ότι αντιπροσ πεύουν τις επίσημες έσεις του Ε νικού Μετσο ίου Πο υτε νείου. Μπορείτε να ρείτε την ερ ασία αυτή σε η εκτρονική μορφή στην Κεντρική Βι ιο ήκη του Ε νικού Μετσο ίου Πο υτε νείου και σε έντυπη μορφή στο Ανα ν στήριο της Σ ο ής Χημικών Μη ανικών. Επικοιν νία: makishourdakis@gmail.com

5 Περί ηψη H διπ ματική αυτή ερ ασία εστίασε στην επιστημονική περιο ή της Εξόρυξης Δεδομέν ν, με ενδε ε ή με έτη τ ν δια έσιμ ν α ορί μ ν, ανάπτυξη α όρι μου επι ο ής μετα- ητών και εφαρμο ές σε προ ήματα Μετα ο ομικής. Συ κεκριμένα, μια σειρά με όδ ν μη ανικής μά ησης εφαρμόστηκαν σε δύο αρκετά διαφορετικά σύνο α δεδομέν ν, με στό ο την ταξινόμηση α νώστ ν δει μάτ ν σε προκα ορισμένες κ άσεις. Το πρώτο προέρ εται από δημοσιευμένη ερ ασία σ ετικά με την πρό εψη της μετε ειρητικής οξείας νεφρικής ά ης (AKI). Περιέ ει 106 φάσματα NMR από αν ρώπινα ούρα, με 701 αρακτηριστικά και 2 κ άσεις. Εξετάστηκαν αρ ικά α όρι μοι ταξινόμησης στο ο ισμικό εξόρυξης δεδομέν ν WEKA και έπειτα εξή ησαν συναινετικά μοντέ α με άση τα αποτε έσματα από τα προη ούμενα μοντέ α, δημιουρ ώντας κατά η ο ο ιστικό φύ ο. Το δεύτερο σύνο ο δεδομέν ν παρα ρή ηκε από το Τμήμα Φαρμακευτικής του Ε νικού Καποδιστριακού Πανεπιστημίου Α ηνών, και αφορά την επίδραση της ο ευρ παΐνης στην ρόνια καρδιακή ανεπάρκεια που προκα εί η ορή ηση αδριαμυκίνης. Περιέ ει 40 φάσματα NMR από εκ υ- ίσματα ιστών επιμύ ν, με 38 αρακτηριστικά και 6 κ άσεις. Αρ ικά ρησιμοποιή ηκε το εξειδικευμένο ο ισμικό μετα ο ομικής ανά υσης MetaboAnalyst ια τη διερεύνηση της ικανότητας δια ρισμού τ ν δεδομέν ν με συμ ατικές με όδους. Στη συνέ εια, εξετάστηκαν α όρι μοι ταξινόμησης στη WEKA κα ώς και συναινετικά μοντέ α που προέκυψαν ρησιμοποιώντας τα δια έσιμα σε αυτήν ερ α εία. Τέ ος, αναπτύ ηκε ένας α όρι μος επι- ο ής μετα ητών με ενετική έρευνα και εκπαίδευση μοντέ ν με μια υ οποίηση μη ανών διανυσμάτ ν υποστήριξης (Support Vector Machines, SVM). Τα αποτε έσματα της διπ ματικής ερ ασίας, έδειξαν ότι οι μέ οδοι μη ανικής μά ησης μπορούν να δώσουν ύσεις σε προ ήματα ανά υσης δεδομέν ν Μετα ο ομικής, με την ανάπτυξη μοντέ ν με α ύτερης ακρί ειας σε σ έση με αυτά που παρά ονται από συμ ατικές στατιστικές με όδους. Λέξεις-κ ειδιά Εξόρυξη Δεδομέν ν, Μετα ο ομική, Μετα ονομική, Μη ανική Μά ηση, Support Vector Machines, SVM, Επι ο ή μετα ητών, Γενετική Έρευνα, WEKA, MetaboAnalyst iii

6 iv

7 Abstract This diploma thesis focused on the scientific area of Data Mining, with in-depth study of the available algorithms, on the development of a variable selection algorithm and on applications to Metabolomics. Namely, a series of machine learning methods was applied to two very different datasets, in order to classify unknown samples to pre-set classes. The first one comes from a published work about predicting Acute Kidney Injury (AKI). It contains 106 human urine NMR spectra, with 701 attributes and 2 classes. At first, classification algorithms of the data mining software WEKA were used. Then, consensus models were built using the results of the previous models, creating a suitable spreadsheet. The second dataset was given from the faculty of Pharmacy of the University of Athens and concerns the effect of the Oleuropein to chronic doxorubicin-induced cardiomyopathy. It contains 40 NMR spectra of rat tissue extracts, with 38 attributes and 6 classes. At first, the Metabolomics-specific software MetaboAnalyst was used to investigate the ability to separate the data with conventional methods. Then, WEKA classification algorithms were examined, as well as consensus modelling using its tools. Finally, a variable selection algorithm was developed using genetic search and a support vector machines (SVM) implementation. The results of this diploma thesis showed that the machine learning methods can provide solutions to Metabolomics data analysis problems, by building models of higher accuracy than those built from conventional statistical methods. Keywords Data Mining, Metabolomics, Metabonomics, Machine Learning, Support Vector Machines, SVM, Variable Selection, Genetic Search, WEKA, MetaboAnalyst v

8 vi

9 Περιε όμενα Κατά ο ος σ ημάτ ν Κατά ο ος πινάκ ν Πρό ο ος και ευ αριστίες xi xiii xv 1 Εισα ή 1 2 Μετα ο ομική Βασικές αρ ές Ανα υτικές μέ οδοι Φασματομετρία Πυρηνικού Μα νητικού Συντονισμού Προεπεξερ ασία δεδομέν ν Ανά υση δεδομέν ν Μέ οδοι προ ο ής Δια ράμματα τύπου heatmap Συσταδοποίηση Έ ε ος απόδοσης: καμπύ ες ROC Επι ο ή μετα ο ιτών Εξερευνώντας τα μετα ο ικά μονοπάτια Προκ ήσεις Εξόρυξη δεδομέν ν Δομή δεδομέν ν Προεπεξερ ασία Κα αρισμός δεδομέν ν Μεί ση εξεταζόμεν ν δεδομέν ν Δομή εξα όμενης π ηροφορίας Α όρι μοι μά ησης Απ οί κανόνες Στατιστική μοντε οποίηση Δέντρα αποφάσε ν Κανόνες κά υψης vii

10 Περιε όμενα Γραμμικά μοντέ α Μά ηση ασισμένη σε παραδεί ματα Συσταδοποίηση Νευρ νικά Δίκτυα Μη ανές Διανυσμάτ ν Υποστήριξης (SVM) Συναινετική μά ηση Έ ε ος παρα όμενου μοντέ ου Επι ο ή μετα ητών Γενετικοί α όρι μοι Επι ο ή μετα ητών με ενετική έρευνα Ενδεικτικές εφαρμο ές Λο ισμικό MetaboAnalyst WEKA LibSVM Κώδικας επι ο ής μετα ητών Βασικό script GeneticLibSVM Συναρτήσεις Πο απ ές επανεκκινήσεις και κατα ραφή Έ ε ος της ακρί ειας ια διαφορετικό π ή ος μετα ητών Πρό ημα 1: AKI Δεδομένα Ανά υση με μεμον μένους α ορί μους Ανά υση με συνδυασμό α ορί μ ν Συζήτηση Πρό ημα 2: DXR Δεδομένα Ανά υση με το MetaboAnalyst Ανά υση με τη WEKA Α όρι μοι ρίς συνδυασμό Συνδυασμός α ορί μ ν Σταδιακός δια ρισμός κ άσε ν Επι ο ή μετα ητών Συζήτηση Δια ράμματα PCA/PLS-DA/Heatmap Α όρι μος Random Forest - MetaboAnalyst Α όρι μοι στη WEKA Επι ο ή Μετα ητών viii

11 Περιε όμενα 7 Συμπεράσματα - Προτάσεις ια με οντική έρευνα Συμπεράσματα Προτάσεις ια με οντική έρευνα Παράρτημα 97 Αʹ Λο ισμικό 99 Βʹ Κώδικες 101 Βʹ.1 Βασικό script GeneticLibSVM Βʹ.2 Συνάρτηση svmtrainandscore Βʹ.3 Συνάρτηση ruletteconstruct Βʹ.4 Συνάρτηση ruletteselect Βʹ.5 Συνάρτηση reproduce Βʹ.6 Script πο απ ών επανα ήψε ν loggeneticlibsvm Βʹ.7 Script δοκιμής επι ε μέν ν μετα ητών Βʹ.8 Μετα ητές Γʹ Σημειώσεις επί της ι ιο ραφίας 111 Βι ιο ραφία 114 ix

12 Περιε όμενα x

13 Κατά ο ος σ ημάτ ν 2.1 Αποτε έσματα αναζήτησης ια "Metabolomics" Διάταξη NMR Φάσμα 1 H NMR της αι ανό ης Εφαρμο ή της με όδου PCA και απεικόνιση από 3D σε 2D Παράδει μα καμπύ ης ROC Παράδει μα δέντρου απόφασης Παράδει μα δομής μοντέ ου μά ησης ασισμένης σε παραδεί ματα Δομή ενός feedforward νευρ νικού δικτύου Παράδει μα δια ρισμού με SVM MetaboAnalyst - Αρ ική σε ίδα MetaboAnalyst - Προεπεξερ ασία δεδομέν ν MetaboAnalyst - Μετα ο ικά μονοπάτια WEKA Explorer - Καρτέ α Preprocess WEKA Explorer - Καρτέ α Classify WEKA Explorer - Καρτέ α Select Attributes WEKA Explorer - Καρτέ α Visualize Τα δεδομένα πριν και μετά την εφαρμο ή Pareto Scaling Correlation heatmap PCA ια τα 5 κυριότερα Principal Components PCA: 2D score plot ια τα Principal Components 1 και PCA: 2D score plot ια τα Principal Components 2 και PLS-DA ια τα 5 κυριότερα συστατικά PLS-DA: 2D score plot ια τα Components 3 και PLS-DA: 2D score plot ια τα Components 5 και PLS-DA: Variable Importance in Projection score (component 1) Heatmap Random Forest - Variable Importance Random Forest - classification xi

14 Κατά ο ος σ ημάτ ν xii

15 Κατά ο ος πινάκ ν 3.1 Αυ αίρετα δεδομένα ια την παρουσίαση τ ν στατιστικών μοντέ ν Κατανομή τιμών κά ε μετα ητής στις κ άσεις τ ν αυ αίρετ ν δεδομέν ν Αντιστοι ία παραμέτρ ν WLSVM - LibSVM Επιτυ ία α ορί μ ν ια το σύνο ο και επιτυ ία ς προς τις κ άσεις JRip: Confusion Matrix Consensus: Confusion Matrix Κατανομή δει μάτ ν σε κ άσεις Random Forest: Confusion Matrix (Metaboanalyst) Επιτυ ία α ορί μ ν ια το σύνο ο και επιτυ ία ς προς τις κ άσεις LibSVM: Confusion Matrix IBk: Confusion Matrix PART: Confusion Matrix Logistic: Confusion Matrix J48: Confusion Matrix SMO: Confusion Matrix MultilayerPerceptron: Confusion Matrix RandomForest (500 trees): Confusion Matrix (WEKA) Vote (Logistic, LWL-BayesNet, J48): Confusion Matrix Επιτυ ία α ορί μ ν ( ρίς την κ άση dxr+oleu1) Επι ε μένα αρακτηριστικά (attributes) LibSVM με 12 attributes: Confusion Matrix (WEKA) LibSVM με 2 attributes: Confusion Matrix (WEKA) Βʹ.1 Μετα ητές στον κώδικα ενετικής έρευνας xiii

16 Κατά ο ος πινάκ ν xiv

17 Πρό ο ος και ευ αριστίες Η διπ ματική ερ ασία που κρατάτε στα έρια σας είναι η πρώτη προσπά εια παντρέμματος της εξόρυξης δεδομέν ν και της μη ανικής μά ησης με την μετα ο ομική ια την ερ αστηριακή μονάδα Αυτόματης Ρύ μισης και Π ηροφορικής της Σ ο ής Χημικών Μη ανικών ΕΜΠ. Ως τέτοια, δεν μπορεί παρά να είναι ανα ν ριστική, εξετάζοντας ένα εύρος δυνατοτήτ ν παρά εστιάζοντας και εμ α ύνοντας σε πο ύ συ κεκριμένα σημεία. Ε πίζ, στόσο, ότι καταφέραμε να εντοπίσουμε και να σας παρουσιάσουμε τις ασικότερες δυνατότητες που προσφέρει ο σ ετικά νέος αυτός επιστημονικός ώρος. Κα ώς η διε νής κοινότητα στρέφεται ο οένα περισσότερο προς τη μετα ο ομική, αντι αμ άνεται το άνοι μα συνόρ ν που μπορούν να της προσφέρουν οι τε ευταίες εξε ίξεις στη μη ανική μά ηση. Το ερ αστήριό μας, έ οντας από καιρό εφαρμόσει ή δημιουρ ήσει α ορί μους μη ανικής μά ησης σε ά ους τομείς και, έ οντας πρόσ αση σε φοιτητές με ενικότερες νώσεις ημικής μη ανικής, πιστεύ π ς μπορεί να ακο ου ήσει μια ιδιαίτερα αξιό ο η πορεία σε αυτόν τον τομέα. Ε πίζ η ερ ασία αυτή να καταφέρει να κα οδη ήσει τους συμφοιτητές μου που ίσ ς δια έξουν να ασ ο η ούν με αντίστοι α έματα σε δικές τους ερ ασίες. Θα ή ε α να ευ αριστήσ α ύτατα τον επι έποντά μου, αναπ ηρ τή κα η ητή Χ. Σαρίμ εη ια την αστείρευτη υπομονή και την άψο η συνερ ασία μας από την π ευρά του. Μαζί με αυτόν ευ αριστώ και τους διδάκτορες Φ. Δο άνη και Π. Σ πασάκη ια την κα οδή ησή τους στα κρίσιμα πρώτα ήματα. Για την ευ ενική προσφορά τ ν δεδομέν ν, τον ρόνο και την όρεξη που διέ εσε σε σ ετικές συζητήσεις ευ αριστώ τον κα η ητή του τμήματος Φαρμακευτικής ΕΚΠΑ, Εμμ. Μικρό, με τον οποίο εύ ομαι να συνε ιστεί η συνερ ασία. Κ είνοντας αυτόν τον 5ετή κύκ ο τ ν προπτυ ιακών μου σπουδών, α ή ε α να υμη ώ μερικούς αν ρώπους που με διαμόρφ σαν. Καταρ άς τους συνταξιού ους π έον κα η ητές Ι. Πα υ ό και Κ. Σπυρόπου ο που μου έδ σαν μια καταπ ηκτική ευκαιρία να ασ ο η ώ α ύτερα με τον προ ραμματισμό, κα ώς και τον κα η ητή Α. Μπουντου ή και ό ο το προσ πικό του Υπο ο ιστικού Κέντρου ια την καρποφόρα συνερ ασία μας ό α αυτά τα ρόνια. Πο ύ σημαντική ήταν και η επιρροή του έκτορα Α. Καραντώνη ο οποίος ν ρίζει ότι τον ευ αριστώ α ύτατα. Κινδυνεύοντας να αδικήσ πο ούς αξιο ο ότατους αν ρώπους με τη μη αναφορά τους, το ι ότερο που μπορώ να κάν είναι να ευ αριστήσ τους φί ους, τους συμφοιτητές και τους, με ή ρίς τον τυπικό τίτ ο, δασκά ους μου. Ε πίζ οι ε πίδες της οικο ένειας και τ ν στενών μου φί ν να μην πή αν αμένες. Τους ευ αριστώ πο ύ ια την υπομονή, τη στήριξη και την όρεξη που μου έδιναν κά ε στι μή αυτά τα πέντε ρόνια. xv

18 Στον αδερφό μου, Μανώλη, με ευχές για μια λαμπρή πορεία. xvi

19 Κεφά αιο 1 Εισα ή Για να κατανοήσουμε τον μη ανισμό πίσ από κάποιο φαινόμενο που παρατηρούμε, συνή ς διατυπώνουμε κάποιες υπο έσεις και διεξά ουμε τα κατά η α πειράματα ώστε να επι ε αιώσουμε ή να απορρίψουμε την ευστά ειά τους. Η διατύπ ση όμ ς κα ών υπο έσε ν δεν είναι πάντα εύκο η, ενώ πο ές φορές τα πειράματα είναι ιδιαίτερα δύσκο α, με πο ύ υψη ό κόστος. Ειδικότερα όταν αντικείμενο πειραμάτ ν είναι ο ορ ανισμός αν ρώπ ν ή πειραματοζώ ν, οι υπο έσεις που δοκιμάζονται επι ά εται να έ ουν κάποια σημαντική πι ανότητα ευστά ειας. Σε αυτήν την περίπτ ση, τα συστήματα που ζητούμε να κατανοήσουμε είναι από τη φύση τους περίπ οκα, περιέ ουν όμ ς πάρα πο ές κρυμμένες π ηροφορίες. Σκοπός του ερευνητή είναι να καταφέρει να συνδυάσει τα δια έσιμα δεδομένα με τον κατά η ο τρόπο έτσι ώστε να προκύψει ένα αντιπροσ πευτικό μοντέ ο που να εξη εί με ικανοποιητική ακρί εια τα φαινόμενα που παρατηρεί. Ο αν ρώπινος ε κέφα ος μπορεί και ανα ν ρίζει πρότυπα που υπάρ ουν σε σ ετικά μικρά σύνο α δεδομέν ν, στόσο πο ά σύ ρονα προ ήματα παρέ ουν τεράστιο ό κο δεδομέν ν, τα οποία δεν μπορεί να τα δια ειριστεί με προφανή τρόπο ια την εξόρυξη της επι υμητής π ηροφορίας. Η υπο ο- ιστική διαδικασία της ανα νώρισης προτύπ ν σε (με ά α) σύνο α δεδομέν ν ονομάζεται εξόρυξη δεδομέν ν (data mining) και είναι ένας κόμ ος όπου συναντιούνται πο οί διαφορετικοί κ άδοι επιστημών, με ασικότερους την μη ανική μά ηση (machine learning) και την στατιστική. Η μη ανική μά ηση εστιάζει στους τρόπους μά ησης. Είναι ένα δυνατό ε ρητικό ερ α είο. Η εξόρυξη δεδομέν ν στόσο δεν ενδιαφέρεται τόσο πο ύ ια την ε ρητική περι ραφή της μά ησης, όσο ια την πρακτική ανα νώριση δομικών προτύπ ν σε συ κεκριμένα δεδομένα και τη δυνατότητα εξα ής προ έψε ν από αυτά. [1] Τε νικές εξόρυξης δεδομέν ν έ ουν υιο ετη εί με επιτυ ία ια εξή ηση φαινομέν ν, ενδεικτικά, στους εξής τομείς [1]: στην συμπεριφορά ψηφοφόρ ν και τε ικά στην πρό εψη εκ ο ικού αποτε έσματος, με άση ιστορικά, ε ραφικά, οικονομικά κ.α. στοι εία. στην συμπεριφορά κατανα τών σύμφ να με το ιστορικό α ορών τους. στη ήψη αποφάσε ν σ ετικά με ορή ηση δανεί ν, προ έποντας την πι ανότητα επιστροφής του δανείου από συ κεκριμένο πε άτη. 1

20 Κεφά αιο 1. Εισα ή σε μη ανισμούς ασ ενειών και δράσης φαρμάκ ν, όπ ς και στη διά ν ση ασ ενειών ρησιμοποιώντας μετα ο ομικά δεδομένα. στην πρόρρηση τοξικότητας μορί ν με άση δομικά αρακτηριστικά τους. στην ανα νώριση προτύπ ν σε εικόνες, όπ ς π.. αν ρώπινα πρόσ πα από κάμερες. στην πρόρρηση φορτίου σε η εκτρικά δίκτυα, σύμφ να με ιστορικά δεδομένα. στον πα κόσμιο ιστό, ια την κατάταξη ιστοσε ίδ ν σύμφ να με την δημοτικότητά τους και την κα ύτερη αναζήτηση σε αυτές. Στην ερ ασία αυτή α εστιάσουμε στην εξόρυξη δεδομέν ν μετα ο ομικής. Τα δεδομένα αυτά προέρ ονται ενικώς από ανα ύσεις προϊόντ ν μετα ο ισμού (αίμα, ούρα, εκ υ ίσματα ιστών κ.α.) με τε νικές που αποδίδουν π ήρη φάσματα μετα ο ιτών, όπ ς η φασματομετρία πυρηνικού μα νητικού συντονισμού (NMR) ή η φασματομετρία μάζας (MS), συνή ς συνδυαζόμενη με υ ρή ρ ματο ραφία (LC/MS). [2] Συνή ης εικόνα ενός συνό ου δεδομέν ν μετα ο ομικής είναι ένας πίνακας δυο διαστάσε ν, του οποίου κά ε ραμμή αναπαριστά ένα διαφορετικό άτομο, ενώ οι στή ες φι οξενούν τιμές π.. συ κεντρώσε ν ια διαφορετικές ουσίες-μετα ο ίτες ή εμ αδά διαφορετικών κορυφών ενός φάσματος. Υπάρ ει επίσης μια επιπ έον στή η, μέσ της οποίας αντιστοι ίζεται κά ε άτομο σε μια κ άση (π.. υ ιές ή ασ ενές ). Χρησιμοποιώντας αυτά τα δεδομένα έ ουμε π ήρη εικόνα της κατάστασης στην οποία ρίσκονται τα κύτταρα που με ετάμε. Ανα ύοντας, αντι έτ ς, το ονιδί μα ενός αν ρώπου μπορούμε μόνο να προσδιορίσουμε τα αρακτηριστικά που έ ει αποκτήσει κατά τη έννησή του. Δεν έ ουμε όμ ς καμία π ηροφορία ια το τι τροφή έ ει κατανα ώσει ή από ποιες ασ ένειες πάσ ει. Ένα κύτταρο παρά ει διαφορετικά προϊόντα μετα ο ισμού σε διαφορετικές συν ήκες ζ ής. Έτσι, ν ρίζοντας τις ουσίες που παρά ει και συνδυάζοντας τα μετα ο ικά προφί πο ών κυττάρ ν του ίδιου είδουςκ άσης και κυττάρ ν ά ν ειδών-κ άσε ν, μπορούμε να συμπεράνουμε τις συν ήκες που οδή ησαν στην παρα ή τ ν συ κεκριμέν ν μετα ο ιτών. Επεκτείνοντας, μπορούμε να εξά ουμε ένα ενικότερο μοντέ ο συμπεριφοράς, το οποίο α μπορεί να αποφασίζει ια την τ ρινή, με οντική ή παρε ούσα (ανά ο α με το πρό ημα) κατάσταση του κυττάρου (ή ενός ο όκ ηρου ορ ανισμού) με σημαντική στατιστική πι ανότητα. Και ό α αυτά ρίς να ρειάζεται η νώμη κάποιου ειδικού ιατρού. Μά ιστα, οι αποφάσεις μπορεί να ασίζονται σε μικρές α α ές του μετα ο ισμού, οι οποίες δεν α έδιναν ευανά ν στα συμπτώματα, κα ώς και σε πο ύ μικρά δεί ματα π.. ιο ο ικών υ ρών. Βασικά ερ α εία της μετα ο ομικής είναι (μεταξύ ά ν) οι μέ οδοι διεξα ής τ ν σ ετικών πειραμάτ ν, οι μέ οδοι ημικής ανά υσης τ ν δει μάτ ν και οι μέ οδοι επεξερ ασίας και ανά υσης τ ν δεδομέν ν με στό ο την εξόρυξη νέ ν π ηροφοριών. Στην παρούσα ερ ασία το ενδιαφέρον επικεντρώ ηκε αποκ ειστικά στο τε ευταίο κομμάτι. Εξετάστηκαν δεδομένα ια δυο προ ήματα. Το πρώτο πρό ημα αντ ή ηκε από τη ι ιο ραφία [3,4] και αφορά αν ρώπους που εμφάνιζαν μετε ειρητική οξεία ά η του ήπατος (Acute Kidney Injury - AKI). Το δεύτερο πρό ημα αφορά σε επίμυες (ποντίκια) στα οποία ορη ούνταν το αντικαρκινικό φάρμακο αδριαμυκίνη (Doxorubicin - DXR), το οποίο όμ ς οδη εί σταδιακά σε καρδιακή ανεπάρκεια. Εξετάζεται σε αυτήν την περίπτ ση αν η ορή ηση ο ευρ παΐνης, 2

21 του ασικού συστατικού τ ν φύ ν της ε ιάς, συμπ ηρ ματικά με την DXR, επαναφέρει τα καρδιακά κύτταρα σε φυσιο ο ικές συν ήκες. Τα δεδομένα αυτά παρασ έ ηκαν ευ ενικά από τον Τομέα Φαρμακευτικής Χημείας του Τμήματος Φαρμακευτικής του Ε νικού Καποδιστριακού Πανεπιστημίου Α ηνών (κα η ητής Εμμ. Μικρός). Στο πρό ημα έ ει ήδη ίνει σημαντική με έτη [5, 6], στόσο παραμένουν ανοι τά ερ τήματα, στα οποία ευε πιστούμε να συνεισφέρει η παρούσα ερ ασία. Κύριος στό ος και στα δυο προ ήματα από την π ευρά μας ήταν η σύ κριση με όδ ν εξόρυξης δεδομέν ν και, κυρί ς, διαφορετικών α ορί μ ν μη ανικής μά ησης. Κύριο ερώτημα ήταν το πόσο κα ά αποτε έσματα προ έψε ν μπορούμε να παρά ουμε με κά ε α όρι μο σε κά ε πρό ημα. Όπ ς α δούμε, τα δυο προ ήματα παρουσιάζουν σημαντικές δομικές διαφορές ς προς το π ή ος τ ν δεδομέν ν, κα ώς και ς προς το π ή ος και τη σ έση τ ν κ άσε ν. Οι διαφορές αυτές οδη ούν και σε σημαντική διαφορά στην ενικότερη επιτυ ία προ έψε ν. Η ανά υση τ ν δεδομέν ν ασίστηκε κυρί ς σε έτοιμα πακέτα ο ισμικού. Μά ιστα, ό α ήταν ε εύ ερα προσ άσιμα και ανοι τού κώδικα. Συνοπτικά, ρησιμοποιήσαμε: την online συ ο ή ερ α εί ν MetaboAnalyst, η οποία είναι εξειδικευμένη ια δεδομένα μετα ο ομικής. [7, 8] τη σουίτα WEKA, η οποία περιέ ει ερ α εία data mining ενικής ρήσης. [9] την υ οποίηση LibSVM ια Support Vector Classification, τόσο αυτόνομη, όσο και ς πρόσ ετη στη σουίτα WEKA. [10, 11] κώδικα σε Octave (συμ ατός με MATLAB ) που αναπτύ ηκε στα π αίσια της ερ ασίας ια επι ο ή μετα ητών με άση έναν ενετικό α όρι μο και τον οποίο μπορείτε να δείτε στο παράρτημα Βʹ. Λό του μικρού ό κου τ ν δεδομέν ν δεν ρειάστηκε κάποιο ισ υρό υπο ο ιστικό σύστημα. Ό ες οι ανα ύσεις έ ιναν σε σύ ρονο προσ πικό Η/Υ σε πο ύ μικρό ρόνο. Χρησιμοποιή ηκε ειτουρ ικό σύστημα Linux 64bit, στόσο ό α τα προ ράμματα που αναφέρ ηκαν είναι δια έσιμα ια ό ες τις ασικές π ατφόρμες. Ανα υτικότερες π ηροφορίες δίνονται στο παράρτημα Αʹ. Επι ο ή μας ήταν η ερ ασία αυτή να δομη εί με τρόπο που να είναι κατανοητός σε επιστήμονες που δεν έ ουν εμπειρία στη μετα ο ομική και τη μη ανική μά ηση και ευ όμαστε να είναι ένας κα ός οδη ός στα πρώτα ήματα όσ ν αποφασίσουν να ασ ο η ούν. Θε ρούμε όμ ς ταυτό ρονα, ότι η ερ ασία αυτή παρουσιάζει ερ α εία και με όδους που μπορούν να προκα έσουν το ενδιαφέρον και πιο έμπειρ ν ερευνητών στις περιο ές της μετα ο ομικής και της μη ανικής μά ησης. 3

22 Κεφά αιο 1. Εισα ή 4

23 Κεφά αιο 2 Μετα ο ομική 2.1 Βασικές αρ ές Η επιστημονική κοινότητα ασ ο είται πο ύ έντονα τα τε ευταία ρόνια με την τρι ο ία τ ν omics, όπ ς αρακτηρίζει την τριάδα Genomics, Proteomics και Metabolomics το εισα ικό review του περιοδικού Nature Reviews: Molecular Cell Biology. [2] Ο όρος Genomics αναφέρεται σε ανά υση δεδομέν ν που προέρ ονται από DNA και mrna. Ο όρος Proteomics αναφέρεται σε ανά υση δεδομέν ν που προέρ ονται από πρ τεΐνες. Ο όρος Metabolomics αναφέρεται σε ανά υση δεδομέν ν που προέρ ονται από προϊόντα μετα ο ισμού κυττάρ ν (μετα ο ίτες). Συ νά ο όρος συναντάται και ς μετα ονομική. Ωστόσο δεν υπάρ ει ιδιαίτερα σαφής δια ρισμός μεταξύ τ ν δυο όρ ν. Είναι κυρί ς έμα σύμ ασης και συ νά ρησιμοποιούνται ς συνώνυμοι. Στο εξής α ρησιμοποιούμε τον όρο μετα ο ομική και ια τις δυο περιπτώσεις. Ο όρος μετα ο ομική κα ιερώ ηκε πρ ταρ ικά από τον J. Nicholson ς ο ποσοτικός προσδιορισμός της δυναμικής, πο υπαραμετρικής, μετα ο ικής απόκρισης τ ν ζ ντανών συστημάτ ν σε πα οφυσιο ο ικά ( ρεπτικά, ξενο ιοτικά, ειρουρ ικά ή τοξικά) ερε ίσματα ή ενετικές α οιώσεις [12] Παρουσιάζοντας τον όρο ι ότερο αυστηρά, α έ αμε ότι αναφέρεται στην ανά υση πο ών μετα ο ιτών ταυτό ρονα με κατά η ες τε νικές και την στατιστική ανά υση τ ν παρα όμεν ν δεδομέν ν. [5] Στο σ ήμα 2.1 φαίνεται η ρονική κατανομή στα αποτε έσματα αναζήτησης μέσ της μη ανής ScienceDirect. Οι δυο όροι συναντώνται ια πρώτη φορά στην αρ ή της προη ούμενης δεκαετίας και από τότε η εξέ ιξη είναι ρα δαία. Ένα ονίδιο ή μια πρ τεΐνη δεν μπορεί να κα ορίσει την κατάσταση στην οποία ρίσκεται ένα κύτταρο και, κατ' επέκταση, ένας ορ ανισμός. Αφ' ενός μεν, υπόκεινται σε ανεξέ ε κτες τροποποιήσεις. Αφ' ετέρου, περιέ ουν μόνο την π ηροφορία που έ ει αποκτήσει το κύτταρο από την προη ούμενη ενιά ή άμεσα παρά α αυτής. Οι διαταρα ές στα ιο ημικά-μετα ο ικά μονοπάτια, οι οποίες μπορεί να προκα ούνται π.. από μια ασ ένεια, εμφανίζονται στα προϊόντα μετα ο ισμού. Έτσι, αν κάποια ασ ένεια επεμ αίνει σε κάποιο μετα ο ικό μονοπάτι, μπορούμε να ανι νεύσουμε τους μετα ο ίτες που επηρεάζονται, να μά ουμε στη συνέ εια σε ποια μετα ο ικά μονοπάτια συμμετέ ουν και να σ εδιάσουμε ένα κατά η ο φάρμακο. Αυτό δεν είναι τόσο απ ό. Κά ε ορ ανισμός έ ει το δικό του 5

24 Κεφά αιο 2. Μετα ο ομική Σ ήμα 2.1: Αποτε έσματα αναζήτησης ια τους όρους "Metabolomics" και "Metabonomics" (περιοδικά, ι ία και έρ α αναφοράς) στη μη ανή ScienceDirect. Τα πρώτα άρ ρα εμφανίζονται το Για το 2013, τα αποτε έσματα ια Metabolomics ανέρ ονται σε μετα ο ικό προφί, το οποίο επηρεάζεται και από το ονιδί μά του. Πρέπει οιπόν να ίνει κατά η η πο υπαραμετρική ανά υση ώστε να ρε ούν μόνο οι συ κεκριμένοι αυτοί μετα ο ίτες οι οποίοι επηρεάζονται περισσότερο από τη διαταρα ή που με ετάμε. Τα μετα ο ομικά πειράματα αρακτηρίζονται συνή ς ς στο ευμένα (targeted) ή μη στο ευμένα (untargeted). [2] Στα στο ευμένα πειράματα, εστιάζουμε το ενδιαφέρον μας σε συ κεκριμένα μετα ο ικά μονοπάτια και μετα ο ίτες που έ ουμε από πριν επι έξει. Στα μη στο ευμένα πειράματα, ανα ύουμε ό ο το δυνατό φάσμα μετα ο ιτών και παρατηρούμε, ρίς προκατά ηψη, τους μετα ο ίτες που φαίνεται να σ ετίζονται με το πείραμά μας. Με αυτή τη μέ οδο, πο ές φορές έρ ονται στην επιφάνεια νέοι, ά ν στοι μέ ρι πριν, μετα ο ίτες. Ανά ο α με την ανα υτική μέ οδο που ρησιμοποιείται, τα δεδομένα από μη στο ευμένα πειράματα μπορούν να έ ουν μέ ε ος της τάξης gigabytes ανά δεί μα. Μη στο ευμένα πειράματα ρησιμοποιούνται κυρί ς όταν έ ουμε να ε έ ξουμε ιο ημικές υπο έσεις, όταν έ ουμε να κατανοήσουμε α ύτερα ένα ιο ημικό μονοπάτι ή την εξάρτηση μιας ασ ένειας από συ κεκριμένες ουσίες. Τα μη στο ευμένα πειράματα στόσο, μπορούν να παρέ ουν πο- ύτιμες π ηροφορίες σε συστήματα ια τα οποία δεν έ ουμε ιδιαίτερα σαφή νώση. Δη αδή τα στο ευμένα πειράματα εκπορεύονται από υπο έσεις, ενώ τα μη στο ευμένα πειράματα δημιουρ ούν υπο έσεις. 2.2 Ανα υτικές μέ οδοι Στη μετα ο ομική ρησιμοποιούνται κυρί ς η φασματομετρία πυρηνικού μα νητικού συντονισμού (Nuclear Magnetic Resonance - NMR, σ ήμα 2.2) και η φασματομετρία μάζας (Mass Spectrometry - MS), συνδυαζόμενη με την υ ρή ρ ματο ραφία (Liquid Chromatography - LC). H συνδυασμένη τε νική (LC/MS) μπορεί να παρά ει δεδομένα εξαιρε- 6

25 2.2. Ανα υτικές μέ οδοι τικά υψη ής ανά υσης, και μπορεί να εντοπίσει τους περισσότερους μετα ο ίτες. Και οι δύο μέ οδοι προτιμούνται ια την ακρί εια, την επανα ηψιμότητα και την αναπαρα ισιμότητα που προσφέρουν σε ποσοτικούς προσδιορισμούς, κα ώς και ια το με ά ο εύρος ουσιών που μπορούν να ανι νεύσουν ταυτό ρονα, σε ε ά ιστο ρόνο και με πο ύ μικρή ποσότητα δεί ματος. Σαφέστατα, μπορούν να ρησιμοποιη ούν και ά ες κ ασσικές τε νικές, όπ ς η φασματομετρία υπεριώδους-ορατού (UV-Vis) ή η φασματομετρία ιονισμού φ ό ας ια τη μέτρηση μετα ο ιτών. [2] Δεί ματα που ανα ύονται συνή ς είναι ιο ο ικά υ ρά (π άσμα αίματος, ούρα) ή εκ υ ίσματα ιστών. Είναι πο ύ ασικό το κά ε δεί μα να μπορεί να συ κρι εί ς προς τη σύστασή του με τα υπό οιπα με ακρί εια. Γι' αυτό το ό ο, εκτός από την υψη ή ακρί εια που πρέπει να παρέ ει η ρησιμοποιούμενη ανα υτική τε νική, πρέπει να δο εί πο ύ με ά η προσο ή στην προετοιμασία τ ν δει μάτ ν. Ό α πρέπει να έ ουν υποστεί την κατά η η αραί ση ώστε να είναι συ κρίσιμα. Για παράδει μα, δεί ματα ούρ ν μπορεί να παρουσιάζουν με ά ες διακυμάνσεις στις μετρούμενες συ κεντρώσεις ό διαφορετικής πρόσ ηψης υ ρών πριν τη δει ματο ηψία. Σε αυτήν την περίπτ ση ρησιμοποιείται η συ κέντρ ση κάποιου συστατικού που ε ρείται ότι είναι κοινή και στα ερή ια τη διόρ ση (π.. κρεατινίνη ια δεί ματα ούρ ν). [13] Επίσης πρέπει να ε έ εται αν ά ες συν ήκες, όπ ς π.. το ph επηρεάζουν τη μέ οδο. Σε αυτήν την ερ ασία, α ασ ο η ούμε αποκ ειστικά με την φασματομετρία Πυρηνικού Μα νητικού Συντονισμού (NMR) ς ανα υτική τε νική ια πειράματα μετα ο ομικής. Σ ήμα 2.2: Διάταξη NMR. (Πηγή: public domain) Φασματομετρία Πυρηνικού Μα νητικού Συντονισμού Για να κατανοήσουμε ένα διά ραμμα NMR, πρέπει πρώτα να κατανοήσουμε την αρ ή ειτουρ ίας της NMR. Οι πυρήνες ατόμ ν με περιττό μαζικό αρι μό (π.. το υδρο όνο 1 H ή το ισότοπο του άν ρακα 13 C), ς φορτισμένα και κινούμενα σ ματίδια, έ ουν την ικανότητα να συντονίζονται από ένα μα νητικό πεδίο και οι άξονές τους να στρέφονται παρά η α ή αντιπαρά η α ς προς αυτό. [14,15] Ο παρά η ος και ο αντιπαρά η ος προσανατο ισμός αντιστοι ούν σε διαφορετικές ενερ ειακές στά μες, με τον παρά η ο προσανατο ισμό να ευνοείται. Οι στά μες αυτές απέ ουν τόσο περισσότερο, όσο ισ υρότερο είναι το μα νητικό πεδίο που επι ά εται. Εάν, ταυτό ρονα με το μα νητικό πεδίο, εφαρμόσουμε κατά η ο πεδίο ραδιοσυ νοτήτ ν, μπορούμε να ήσουμε τους πυρήνες να μετα ούν στην υψη ότερη ενερ ειακή στά μη (και, στη συνέ εια, να επανεκπέμψουν την αντίστοι η ακτινο ο ία). Δεν απαιτούν ό οι οι πυρήνες, στόσο, την ίδια ενέρ εια ια αυτή τη μετά αση. Κατά την εφαρμο ή του μα νητικού πεδίου, τα η εκτρόνια που υπάρ ουν στην ευρύτερη περιο ή του ατόμου, τόσο τα δικά του όσο και ειτονικών ατόμ ν, δημιουρ ούν ένα αντί ετης φοράς μα νητικό πεδίο. Το αποτέ εσμα είναι να εξουδετερώνεται μέρος του μα νητικού πεδίου που επι ά εται και άρα ο πυρήνας να ρίσκεται σε ένα τοπικό, αμη ότερης ισ ύος μα νη- 7

26 Κεφά αιο 2. Μετα ο ομική τικό πεδίο, και άρα να απαιτεί μικρότερη ενέρ εια. Το φαινόμενο αυτό κα είται προστασία του πυρήνα. Στο σ ήμα 2.3 φαίνεται ένα απ ό διά ραμμα NMR πρ τονίου (υδρο όνου), το οποίο αντιστοι εί στην αι ανό η. Ο κατακόρυφος άξονας αντιστοι εί στην ένταση της ακτινο- ο ίας που απορροφάται (δη αδή στην ενερ ειακή διαφορά τ ν δυο καταστάσε ν). Αν δεν υπήρ ε το φαινόμενο της προστασίας, α εί αμε ένα σημείο έντασης στον άξονα, αφού απ ώς α α ροίζονταν οι απαιτούμενες ενέρ ειες ια ό ους τους πυρήνες. Λό όμ ς της προστασίας τ ν πυρήν ν, κά ε πυρήνας συντονίζεται στην (στα ερή) επι α όμενη συ- νότητα ια διαφορετική ισ ύ του επι α όμενου μα νητικού πεδίου. Ο οριζόντιος άξονας οιπόν αναπαριστά την ισ ύ, ή ακρι έστερα, τη συ νότητα του επι α όμενου μα νητικού πεδίου. Στο μηδέν της κ ίμακας ρίσκεται η κορυφή ενός προτύπου (δεν απεικονίζεται εδώ), συνή ς του τετραμέ υ οσι ανίου (TMS). Στα αριστερά του άξονα, η συ νότητα του μα- νητικού πεδίου μειώνεται κατά το απεικονιζόμενο ποσοστό (1 ppm = 1 εκατομμυριοστό). Τα δια ράμματα αυτά δεν εξαρτώνται από τη μέ ιστη συ νότητα της διάταξης. Έτσι, μια κορυφή που ρίσκεται στη ημική μετατόπιση π.. δ=1 ppm σε μια διάταξη 300 MHz, α ρίσκεται στην ίδια έση και σε μια διάταξη 60 MHz. Αυτό είναι σημαντικό ια την αναπαρα ισιμότητα τ ν μετρήσε ν. Συνή ς δεν απαιτείται κάποια ιδιαίτερη προετοιμασία του δεί ματος ια ανά υση. Αν ρειαστεί δια ύτης, τότε ρησιμοποιείται κατά προτίμηση κάποιος που να είναι αόρατος στο NMR, όπ ς το δευτερι μένο ροφόρμιο. Σ ήμα 2.3: Φάσμα 1 H NMR της αι ανό ης. Διακρίνονται οι κορυφές που αντιστοι ούν στα διαφορετικά υδρο όνα του μορίου. Ο κατακόρυφος άξονας αντιστοι εί στην ένταση της ακτινο ο ίας που απορροφάται και ο οριζόντιος άξονας στην ημική μετατόπιση. (Πηγή: T.vanschaik, wikimedia commons - άδεια CC BY-SA) 8

27 2.3. Προεπεξερ ασία δεδομέν ν Κά ε κορυφή αντιστοι εί σε μια ομάδα ισοδύναμ ν πυρήν ν. Π.. η ομάδα CH 3 της αι ανό ης α δώσει μια κοινή κορυφή. Η κορυφή αυτή μπορεί να είναι πο απ ή, κάτι που εξη είται από το φαινόμενο σ άση spin-spin ή επτή υφή. [14, 15] Ένα μόριο τε ικά, αναπαρίσταται από πο ές κορυφές. Το διά ραμμα ίνεται συν ετότερο όταν ανα ύουμε ταυτό ρονα πο ές ουσίες. Δεν έπουμε άμεσα συ κεκριμένα μόρια, α ά αρακτηριστικές ομάδες μορί ν. Μπορούμε στόσο να εστιάσουμε το ενδιαφέρον μας σε κορυφές που να αρακτηρίζουν ξεκά αρα ένα και μόνο μόριο. Βα μονομώντας διαφορετικά δια ράμματα με ένα πρότυπο (π.. TMS), μπορούμε π έον να έ ουμε συ κρίσιμες εικόνες τόσο της ποιοτικής, όσο και της ποσοτικής σύστασης διαφορετικών δει μάτ ν. 2.3 Προεπεξερ ασία δεδομέν ν Τα φάσματα NMR που προκύπτουν έ ουν τεράστιο ό κο δεδομέν ν, ό της υψη ής τους ανά υσης. Για τη δια είρισή τους συνή ς μειώνουμε την ανά υση, έτσι ώστε να έ ουμε διακριτές περιο ές εύρους π ppm. Μπορούμε από αυτές τις περιο ές να εξαιρέσουμε τμήματα του δια ράμματος που ν ρίζουμε ότι δεν παρέ ουν σημαντική π ηροφορία ή που ν ρίζουμε ότι α δημιουρ ήσουν πρό ημα στην υπό οιπη ανά υση. Παραδεί ματος άριν, αν ρησιμοποιήσουμε έναν δια ύτη ορατό στο NMR, τότε αυτός α απεικονίζεται ς μια πο ύ υψη ή κορυφή στο διά ραμμα. Αυτή η κορυφή α προκα εί συμπίεση τ ν υπο οίπ ν κατά την οπτική παρατήρηση και αρι μητικά προ ήματα κατά την επεξερ ασία με Η/Υ. Σε μη στο ευμένα πειράματα ρησιμοποιούμε όσο το δυνατόν υψη ότερη ανά υση και με α ύτερο εύρος του φάσματος. Ενδιαφέρον α εί ε μά ιστα η έρευνα ια π ηροφορία που άνεται μέσα στο όρυ ο. Ορισμένες φορές, μπορεί ο κρίσιμος μετα ο ίτης που αναζητούμε, να εμφανίζει μια κορυφή τόσο μικρή που δύσκο α να ξε ρίζει οπτικά από τον όρυ ο. [16] Όταν μια κορυφή είναι πο ύ κοντά στο όριο ανί νευσης, τότε πρέπει να αντιμετ πίζεται σαν το εμ αδό της να είναι ά ν στο (missing value). Οι ά ν στες τιμές είναι κάτι ιδιαίτερα ανεπι ύμητο, αν και υπάρ ουν τε νικές που μπορούν να αντιμετ πίσουν τέτοιες περιπτώσεις, π.. αντικα ιστώντας με την μέση τιμή ια αυτήν την κορυφή-μετα ητή. [13, 16] Σε στο ευμένα πειράματα απομονώνουμε συ κεκριμένες κορυφές ενδιαφέροντος. Οι κορυφές αυτές πρέπει να ν ρίζουμε ότι είναι αρακτηριστικές μονά α ια τις ουσίες που έ ουμε να παρακο ου ήσουμε. Στην περίπτ ση που εξετάζουμε ο όκ ηρο το φάσμα, οι παρατηρούμενες μετα ητές ή αρακτηριστικά (attributes) που εξετάζουμε μπορεί να είναι εκατοντάδες έ ς ι ιάδες. Εξετάζοντας μόνο συ κεκριμένους μετα ο ίτες, οι μετα ητές περιορίζονται συνή ς σε μερικές δεκάδες. Στην ενότητα 3.7 α δούμε πώς οι μετα ητές αυτές μπορούν να μει ούν ακόμα περισσότερο. Πριν τα δεδομένα ανα υ ούν περαιτέρ, είναι κα ό να μετασ ηματιστούν, έτσι ώστε να είναι εύκο ες οι συ κρίσεις μεταξύ τους. Μά ιστα, οι στατιστικές τε νικές προϋπο έτουν ότι τα δεδομένα υπακούν σε κάποια κατανομή. Σε αυτήν την περίπτ ση, πρέπει να υμόμαστε ότι τυ όν νέα δεδομένα δεν είναι π έον άμεσα συ κρίσιμα. Εκτός από την προεπεξερ ασία ς προς τα διαφορετικά δεί ματα, α πρέπει να ίνει και ένας μετασ ηματισμός στους μετα ο ίτες, έτσι ώστε ουσίες με ενικώς πο ύ υψη ές συ κεντρώσεις να μην επι- ά ονται σε ουσίες με μικρότερες. Συνή ς εφαρμόζεται η κ ασσική κανονικοποίηση (μέσος όρος μηδέν και τυπική απόκ ιση ίσα με τη μονάδα) ή κάποια ά η τε νική (π.. 9

28 Κεφά αιο 2. Μετα ο ομική Pareto scaling, Range scaling κ.α.). [13] Προσο ή ρειάζεται επίσης στην ανί νευση και αντιμετώπιση ακραί ν δει μάτ ν (outliers). 2.4 Ανά υση δεδομέν ν Στις ερ ασίες μετα ο ομικής ρησιμοποιούνται συνή ς μέ οδοι πο υπαραμετρικής στατιστικής ανά υσης ια την επεξερ ασία τ ν δεδομέν ν. Στην ενότητα αυτή α παρουσιάσουμε ορισμένες με όδους προ ο ής σε ώρους ι ότερ ν διαστάσε ν, όπ ς η Ανά υση Κυρίαρ ν Συνιστ σών (Principal Components Analysis - PCA). Θα εξη ήσουμε επίσης τα δια ράμματα τύπου heatmap που συναντούνται συ νά στη ι ιο ραφία. Και οι δυο τε νικές έ ουν στό ο τον εντοπισμό συστάδ ν στα δεδομένα. Θα δούμε επίσης τις καμπύ ες τύπου ROC (Receiver Operating Characteristic) που ρησιμοποιούνται ια τη μέτρηση της ποιότητας δια ρισμού ενός συστήματος δυο κ άσε ν, κα ώς μετα ά εται η τιμή ενός κατ φ ίου. Αυτές οι μέ οδοι συναντώνται συ νά στις ερ ασίες μετα ο ομικής και ια αυτόν τον ό ο παρουσιάζονται σε αυτό το σημείο. Με ά ες, ό ι και τόσο συνή εις με όδους εξόρυξης δεδομέν ν στη μετα ο ομική, α ασ ο η ούμε στο επόμενο κεφά αιο Μέ οδοι προ ο ής Τα δεδομένα μετα ο ομικής περιέ ουν συνή ς δεκάδες έ ς ι ιάδες μετα ητές. Δεν είναι εύκο ο να φανταστούμε δεδομένα σε πο υδιάστατους ώρους, πόσο μά ον να τα ορ ανώσουμε σε ομάδες. Για το ό ο αυτό ρησιμοποιούνται μέ οδοι που προ ά ουν τα δεδομένα σε ώρους δύο ή τριών διαστάσε ν. Οι νέες μετα ητές-διαστάσεις που δημιουρ- ούνται έ ουν διαφορετικό νόημα από τις προη ούμενες, το οποίο ίσ ς να είναι ευκο ότερα αντι ηπτό ή ίσ ς αυτό να έ ει τε ικά σημασία. Για παράδει μα, αν σε ένα σύνο ο δεδομέν ν έ ουμε δυο διαστάσεις ημερομηνίας (π.. ημερομηνία έννησης και ημερομηνία ανάτου), μπορούμε να τις προ ά ουμε σε μια διάσταση, αυτήν της η ικίας, η οποία ίσ ς στο πρό- ημα που με ετάμε να σημαίνει πο ύ περισσότερα πρά ματα από ότι δυο ημερομηνίες. Ο μετασ ηματισμός εδώ είναι προφανής: αφαιρούμε την ημερομηνία έννησης από την ημερομηνία ανάτου, με τον κατά η ο τρόπο. Αντιστοί ς, ο ό ος δυο μετα ητών, όπ ς το άρος ς προς το ύψος, μπορεί να είναι πιο ρήσιμος από ότι οι δυο μετα ητές ξε ριστά. Συνή εις τέτοιοι μετασ ηματισμοί παρά ονται με ραμμικό συνδυασμό τ ν μετα ητών. Η συνη έστερα ρησιμοποιούμενη, ίσ ς, μέ οδος στις ερ ασίες μετα ο ομικής είναι η Ανά υση Κυρίαρ ν Συνιστ σών (PCA). [1] Παρατηρήστε το σ ήμα 2.4. Τα δεδομένα απεικονίζονται αρ ικά σε ένα ορ ο ώνιο σύστημα τριών αξόν ν. Με τη μέ οδο PCA, παρά ουμε τόσους νέους άξονες, όσοι και οι αρ ικοί, διατηρώντας την ορ ο νιότητα του συστήματος. Η α α ή του προσανατο ισμού δεν α άζει τα δεδομένα ή τη διασπορά τους, παρά μόνο τον τρόπο απεικόνισης. Το ίδιο αποτέ εσμα α εί αμε αν απ ώς περιστρέφαμε το σ ήμα στον ώρο. Οι νέοι άξονες δημιουρ ούνται ς εξής: 1. Ο πρώτος άξονας επι έ εται στην διεύ υνση όπου παρατηρείται η μέ ιστη διασπορά στα δεδομένα. Στο σ ήμα 2.4 φαίνεται ξεκά αρα ότι η μέ ιστη διασπορά ρίσκεται 10

29 2.4. Ανά υση δεδομέν ν Σ ήμα 2.4: Εφαρμο ή της με όδου PCA και απεικόνιση από 3D σε 2D ια παράδει μα δεδομέν ν. Μετά την εφαρμο ή, είναι ευδιάκριτες οι διαφορετικές ομάδες. (Πηγή: Matthias Scholz PhD. Thesis - άδεια CC BY) στη διεύ υνση του άξονα PC1. Ο άξονας αυτός προκύπτει ς ραμμικός συνδυασμός τ ν αρ ικών αξόν ν, όπ ς και οι επόμενοι. 2. Ο δεύτερος άξονας επι έ εται υπο ρε τικά κά ετος στον πρώτο, προς την κατεύ- υνση όπου με ιστοποιείται και πά ι η διασπορά. Αυτός είναι ο PC2. 3. Ο τρίτος άξονας (δεν απεικονίζεται) επι έ εται κά ετος στους προη ούμενους, προς την κατεύ υνση μέ ιστης διασποράς. Στη συ κεκριμένη περίπτ ση είναι ο τε ευταίος, αφού το αρ ικό σύστημα ήταν 3D, και α τον συμ ο ίζαμε PC3. Η συνο ική διασπορά ια το σύστημα τ ν τριών νέ ν αξόν ν είναι ίδια με τη συνο ική διασπορά ια το σύστημα τ ν τριών αρ ικών αξόν ν. Μπορούμε όμ ς, κρατώντας μονά α τους δυο πρώτους άξονες, να παραστήσουμε ένα με ά ο μέρος της διασποράς. Ας το δούμε διαφορετικά: το συ κεκριμένο 3D σ ήμα μπορούμε να πούμε ότι μοιάζει σε επίπεδο σ ήμα, με κάποιες μικρές αν μα ίες στην επιφάνειά του. Κατά άση όμ ς, μοιάζει να είναι ένα επίπεδο σ ήμα, το οποίο α μπορούσε να περι ραφεί αρκετά κα ά από τους δυο πρώτους άξονες. Έτσι, περιστρέφοντας κατά η α το σ ήμα, έ ουμε ένα διά ραμμα δύο διαστάσε ν που περιέ ει σ εδόν ανα οί τη (στην συ κεκριμένη περίπτ ση), την π ηροφορία που δίνει και το αντίστοι ο διά ραμμα τριών διαστάσε ν. Όμ ς στο 2D σ ήμα, είναι ευδιάκριτες οι διαφορετικές ομάδες τ ν δεδομέν ν. Η τε νική αυτή μπορεί να εφαρμοστεί ώστε πάρα πο ές μετα ητές να αντιστοι η- ούν τε ικά σε μόνο 2 ή 3 και να είναι ευκο ότερη η παρατήρηση και η επεξερ ασία τους. Κατά την PCA προκύπτουν τόσες συνιστώσες ή συστατικά όσοι και οι κύριοι άξονες. Από ένα σημείο και μετά, στόσο, μειώνεται πο ύ η πρόσ ετη συνεισφορά στη συνο ική διασπορά, με αποτέ εσμα να μην ε τιώνεται αισ ητά η περι ραφή (ενώ ταυτό ρονα αυξάνεται η περιπ οκότητα του συστήματος). Μά ιστα, μπορεί οι πρόσ ετες μετα ητές να 11

30 Κεφά αιο 2. Μετα ο ομική περι ράφουν απ ώς τον όρυ ο του συστήματος. Για το ό ο αυτό, ασιζόμαστε μονά α σε ορισμένο π ή ος από τις πρώτες συνιστώσες, τις οποίες και ονομάζουμε κύριες συνιστώσες (principal components). Με σ ετικά παρόμοιο τρόπο ειτουρ εί και η πα ινδρόμηση μερικών ε α ίστ ν τετρα- ών ν (Partial Least Squares regression - PLS). [1] Βασική διαφορά είναι ότι, εκτός από το να προσπα εί να κα ύψει τη μέ ιστη διακύμανση, προσπα εί να ρει άξονες που να συσ ετίζονται κατά το δυνατόν με κάποια κ άση. Στη ασική εκδο ή της, η μέ οδος αναφέρεται σε αρι μητικές κ άσεις. Όπ ς υποδη ώνει και το όνομά της, προορίζεται ια πα ινδρόμηση και ό ι ια κατη οριοποίηση. Για κατη ορικές κ άσεις (δη αδή διακριτές ομάδες και ό ι ένα σύνο ο τιμών) ρησιμοποιείται ευρέ ς η παρα α ή PLS Discriminant Analysis (PLS- DA). Η μέ οδος αυτή μπορεί επίσης να κατατάσει τις (αρ ικές) μετα ητές σύμφ να με τη σημαντικότητά τους στο νέο σύστημα απεικόνισης. Αφού παραστήσουμε το σύστημα σε ι ότερες διαστάσεις, παρατηρούμε αν σ ηματίζονται διακριτές ομάδες. Στο σημείο αυτό μπορούμε να παραστήσουμε στα σημεία τ ν δεδομέν ν και την κ άση τους, αν είναι κ ινικά ν στή. Ο δια ρισμός του σ ήματος 2.4 π ησιάζει μια ιδανική κατάσταση. Στην πράξη, συναντάμε αρκετές φορές ξένες προσμίξεις σε ομάδες σημεί ν. Με α ορι μικό τρόπο μπορούμε να σ ηματίσουμε δια ριστικές ραμμές που να περικ είουν ό α τα πι ανά σημεία κά ε κ άσης με ένα α μό ε αιότητας. Στη συνέ εια, μπορούμε να υπο ο ίσουμε ένα μέτρο επιτυ ίας του δια ρισμού. Π.. α μπορούσαμε να υπο ο ίσουμε πόσα σημεία από κά ε κ άση ρέ ηκαν μόνο στη σ στή περιο ή (δη αδή αντιστοι ή ηκαν στη σ στή κατη ορία), ς προς το σύνο ο τ ν σημεί ν που ανήκουν σε αυτήν την κ άση. Α ροίζοντας τα επιμέρους κ άσματα μπορούμε να παράξουμε ένα μέτρο επιτυ ίας. Το συ κεκριμένο μέτρο στόσο δεν έει πάντοτε ό η την α ή εια: αν έ ουμε ένα σύνο ο ατόμ ν που μόνο το 5% είναι ασ ενή, μπορούμε, αντιστοι ίζοντας ό α τα σημεία στην υ ιή ομάδα, να έ ουμε 95% επιτυ ία στον δια ρισμό! Για το ό ο αυτό είναι δόκιμο να αμ άνουμε υπ' όψιν και ά α κριτήρια, όπ ς α δούμε παρακάτ Δια ράμματα τύπου heatmap Ορισμένες φορές είναι ρήσιμο να αναπαραστήσουμε τον πίνακα τ ν δεδομέν ν με κάποια ρ ματική κ ίμακα. Αφού ομαδοποιήσουμε τις ραμμές του πίνακα που αντιστοι ούν σε δεί ματα της ίδιας ( ν στής) κ άσης, ρ ματίζουμε κά ε κε ί του πίνακα σύμφ να με την τιμή του σε σ έση με τα υπό οιπα κε ιά της ίδιας στή ης. Παρατηρώντας το συνο ικό διά ραμμα, ενδε ομέν ς να μπορούμε να διακρίνουμε ουσίες με αρκετά διαφορετικές συ κεντρώσεις ια διαφορετικές ομάδες. Ένα αρακτηριστικό παράδει μα φαίνεται στο άρ ρο τ ν Zacharias et al. [3] που εξετάζει το πρό ημα που α με ετήσουμε στο κεφά αιο 5. Στο ίδιο διά ραμμα ενδέ εται να παρουσιάζονται μεμον μένες ραμμές με έντονα διαφορετικές τιμές ια πο ές στή ες. Ένα δεί μα που έ ει δώσει μια τέτοια ραμμή είναι πι ανώς παραπ ανητικό (outlier). Είναι οιπόν μια μέ οδος που μπορεί να δώσει ρήσιμες πρώτες π ηροφορίες και να κα οδη ήσει τις επόμενες κινήσεις μας. Συ νά τα δια ράμματα αυτά συνοδεύονται και από δυο ιεραρ ικά δέντρα. Το ένα από αυτά κατατάσσει τους διάφορους μετα ο ίτες ( ενικότερα, τις παρατηρούμενες μετα ητές) σε επίπεδα μεταξύ τους συσ έτισης. Δυο μετα ο ίτες που συνδέονται άμεσα, μέσα από 12

31 2.4. Ανά υση δεδομέν ν έναν και μόνο κόμ ο, παρουσιάζουν με ά η συσ έτιση μεταξύ τους. Αυτοί, με τη σειρά τους, είναι ι ότερο συσ ετισμένοι με τους μετα ο ίτες με τους οποίους συνδέονται μέσα από δυο κόμ ους του δενδροδια ράμματος και ούτ κα ' εξής. Αντίστοι η π ηροφορία μπορεί να αντ η εί μέσ του correlation heatmap (δεν πρέπει να συ έονται). Το ά ο δενδοδιά ραμμα κατατάσσει τα διάφορα δεί ματα σε συστάδες. Έτσι, δυο δεί ματα που συνδέονται μέσ ενός κόμ ου ρίσκονται πιο κοντά μεταξύ τους από ότι δυο δεί ματα που συνδέονται μέσ περισσότερ ν κόμ ν Συσταδοποίηση Τι σημαίνει όμ ς ότι δυο δεί ματα ρίσκονται κοντά ή μακριά σε έναν πο υδιάστατο ώρο; Δυο σημεία σε ένα επίπεδο απέ ουν, ς ν στόν, όσο η τετρα νική ρίζα του α ροίσματος τ ν τετρα ών ν τ ν διαφορών τ ν αντίστοι ν συντετα μέν ν τους. Η Ευκ είδια αυτή απόσταση επεκτείνεται εύκο α σε περισσότερες διαστάσεις, προσ έτοντας απ ώς τους αντίστοι ους όρους τετρα ών ν διαφοράς συντετα μέν ν: d(i, j) = (x i1 x j1 ) 2 + (x i2 x j2 ) (x ik x jk ) 2 (2.1) όπου k η μέ ιστη διάσταση του ώρου. [1] Υπάρ ουν και ά ου είδους αποστάσεις, όπ ς η απόσταση οικοδομικού τετρα ώνου (city block distance ή Manhattan distance) ή η απόσταση Mahalanobis. Συ νά οι εκφράσεις αυτές αναφέρονται ς μετρικές απόστασης ή μετρικές ομοιότητας. Η απόσταση μεταξύ δυο δει μάτ ν ενδιαφέρει στην συσταδοποίηση (clustering) τ ν δεδομέν ν. Δυο δεί ματα που ρίσκονται κοντά μεταξύ τους έ ουν με α ύτερη πι ανότητα να ρε ούν στην ίδια συστάδα. Η συσταδοποίηση όμ ς είναι μια διαδικασία που μπορεί να ίνει από πάν προς τα κάτ είτε από κάτ προς τα πάν. Μπορούμε να ξεκινήσουμε δη αδή με μια συστάδα που να περι αμ άνει ό α τα δεί ματα και να αρ ίσουμε να δημιουρ ούμε μικρότερες υπο-συστάδες ρίζοντας ομάδες που φαίνονται να είναι διακριτές μεταξύ τους. Μπορούμε επίσης να ξεκινήσουμε με (τυ αία κατανεμημένα) κέντρα συστάδ ν και να αντιστοι ίζουμε κά ε δεί μα στην κοντινότερη ια αυτό συστάδα. Κά ε φορά που προτί εται ένα δεί μα σε μια συστάδα, το κέντρο της μπορεί να μετατοπίζεται και τε ικά να έ ουμε συ νεύσεις στοι άδ ν. Περισσότερα ια τους διάφορους α ορί μους συσταδοποίησης α δούμε στο επόμενο κεφά αιο Έ ε ος απόδοσης: καμπύ ες ROC Συ νά δια ρίζουμε δύο ομάδες σύμφ να με την τιμή ενός κριτηρίου. Το κριτήριο αυτό μπορεί να είναι η συ κέντρ ση ενός μετα ο ίτη ή ένα ά ο κριτήριο που να συνδυάζει περισσότερους μετα ο ίτες. Στην ιδανική περίπτ ση που οι δύο ομάδες είναι εμφανώς δια- ρισμένες μεταξύ τους, μια κατά η η τιμή ια αυτό το κριτήριο μπορεί να δώσει τέ ειο δια ρισμό. Ωστόσο, όπ ς είπαμε, συ νά οι ομάδες έ ουν μια κοινή διεπιφάνεια. Η επι- ο ή της έ τιστης τιμής τότε δεν είναι προφανής. Βε τιώνοντας την πρό εψη ια τη μια ομάδα, ειροτερεύουμε την πρό εψη ια την ά η ομάδα. Όπ ς στον δια ρισμό δυο 13

32 Κεφά αιο 2. Μετα ο ομική Σ ήμα 2.5: Παράδει μα καμπύ ης ROC. Μετακινώντας το κατώφ ι πάν από το οποίο τα άτομα αντιστοι ίζονται στην κ άση "Positives" α άζει η επιτυ ία πρό εψης και τ ν δυο κ άσε ν. (Πηγή: wikimedia commons - άδεια CC BY) υ ρών διαφορετικής πυκνότητας σε μια δια ριστική άνη: ια να αυξήσουμε την κα αρότητα του ενός, ανα καστικά μειώνουμε την κα αρότητα του ά ου. Αν υπάρ ει κάποιο εξ τερικά ορισμένο κριτήριο, όπ ς π.. η σ στή κατη οριοποίηση ό ν τ ν ασ ενών ατόμ ν, ή π.. το 99% αυτών, η ύση είναι προφανής. Αν στόσο έ ουμε να έσουμε ένα όριο-κατώφ ι που να δια ρίζει έ τιστα τα δεδομένα μας, τότε μπορούμε να ρησιμοποιήσουμε τις καμπύ ες ROC (Receiver Operating Characteristic). Ο όρος προέρ εται από την ανα νώριση σημάτ ν, όπου αρακτηρίζει την αντα α ή σημάτ ν ς προς την σ στή ή εσφα μένη απόκριση του δέκτη σε συν ήκες ορύ ου. Οι καμπύ ες αυτές έ ουν τη μορφή του σ ήματος 2.5. Για ί α δεδομένα, όπ ς συνή ς έ ουμε στη μετα ο ομική, οι καμπύ ες αυτές είναι κ ιμακ τές. Στο εξής α ε ρούμε ότι η κ άση "Positive" αντιστοι εί σε ασ ενή άτομα, ενώ η κ άση "Negative" σε υ ιή. Στον κατακόρυφο άξονα απεικονίζεται το ποσοστό τ ν ασ ενών που κατη οριοποιή ηκαν σ στά ς ασ ενείς (True Positives - TP). Στον οριζόντιο άξονα απεικονίζεται το ποσοστό τ ν υ ιών που κατη οριοποιή ηκαν αν ασμένα ς ασ ενείς (False Positives - FP). Όπ ς α περιμέναμε, ια να αυξήσουμε το κ άσμα τ ν ασ ενών που κατη οριοποιούνται σ στά, α πρέπει να ανε ούμε μια αύξηση και στο κ άσμα τ ν υ ιών ατόμ ν ια τα οποία έ ουμε αν ασμένο συνα ερμό. Δυο ρήσιμα με έ η που μπορούμε να ορίσουμε είναι η ευαισ ησία (sensitivity-sn) και η ευστο ία (specificity-sp) [13]: 14

33 2.4. Ανά υση δεδομέν ν Sn = TP TP + FN (2.2) TN Sp = (2.3) TN + FP Οι καμπύ ες ROC συ νά εμφανίζονται έ οντας στον κατακόρυφο άξονα την ευαισ ησία, Sn και στον οριζόντιο άξονα τον όρο 1 Sp. Για να κατασκευάσουμε μια τέτοια καμπύ η: 1. Ταξινομούμε τα δια έσιμα άτομα, σύμφ να με την τιμή που δίνουν ια το κριτήριο που εξετάζουμε. Αν αυτό είναι η συ κέντρ ση ενός μετα ο ίτη, κατατάσσουμε τα άτομα σύμφ να με τη συ κέντρ ση που εμφανίζουν ια αυτόν τον μετα ο ίτη. 2. Έστ ότι αρακτηρίζουμε ς ασ ενή-positives τα άτομα που έ ουν συ κέντρ ση ίση ή με α ύτερη από το κατώφ ι που έτουμε. Δοκιμάζουμε το κατώφ ι στη συ κέντρ ση που αντιστοι εί σε κά ε σημείο. 3. Για κά ε τιμή κατ φ ίου (ή αντίστοι ο σημείο) υπο ο ίζουμε τα αντίστοι α κ άσματα TP και FP και τα απεικονίζουμε με σημεία στο διά ραμμα. 4. Ενώνουμε τα σημεία αυτά με ευ ύ ραμμα τμήματα. Ο παράδεισος του ερευνητή που ψά νει ένα κα ό μοντέ ο δια ρισμού ρίσκεται στην άν αριστερή νία του δια ράμματος. Στο ιδανικό σημείο (0,1) α εί αμε εντοπίσει σ στά ό α τα ασ ενή άτομα, ρίς να έ ουμε κάνει ά ος σε κανένα υ ιές. Έτσι, επι έ ουμε ς τιμή κατ φ ίου, την τιμή που αντιστοι εί στο σημείο της καμπύ ης ROC που ρίσκεται πιο κοντά στην άν αριστερή νία του δια ράμματος. Για να έ ει νόημα ένα μοντέ ο, πρέπει η καμπύ η του να ρίσκεται στην περιο ή πάν από την δια ώνιο του δια ράμματος. Αν η καμπύ η ρίσκεται πάν στην δια ώνιο, αυτό σημαίνει ότι το μοντέ ο συμπεριφέρεται τυ αία. Ως μέτρο της απόδοσης ενός μοντέ ου ρησιμοποιούμε το εμ αδό της περιο ής κάτ από την καμπύ η ROC (Area Under Curve - AUC), το οποίο έ ουμε να είναι όσο το δυνατόν κοντά στη μονάδα. Αυτό όμ ς δεν είναι από υτο, κυρί ς όταν έ ουμε να συ κρίνουμε δυο διαφορετικά μοντέ α. Για παράδει μα, ενδέ εται οι καμπύ ες τ ν δυο μοντέ ν να ενα άσσονται ς προς το ποια ρίσκεται υψη ότερα σε επιμέρους περιο ές του δια- ράμματος, α ά να έ ουν ενικώς το ίδιο AUC. Σε αυτήν την περίπτ ση ρησιμοποιείται μόνο το εμ αδό της περιο ής ενδιαφέροντος (partial AUC). Ανα ό ς οιπόν με το αν επι υμούμε υψη ότερη ευαισ ησία ή υψη ότερη ευστο ία, συ κρίνουμε το εμ αδό στην αντίστοι η περιο ή του δια ράμματος. Τέ ος, με ά η σημασία έ ει το ε ονός ότι το μέτρο αυτό δεν δίνει παραπ ανητικά αποτε έσματα όταν υπάρ ει ανισοκατανομή στις κ άσεις. [13] Επι ο ή μετα ο ιτών Αναφέραμε ήδη τρόπους μεί σης τ ν μετα ητών του συστήματος. Χρησιμοποιήσαμε νέες μετα ητές, οι οποίες προέρ ονταν από συνδυασμό τ ν αρ ικών. Στην πράξη στόσο, 15

34 Κεφά αιο 2. Μετα ο ομική ρειαζόμαστε απ ά μοντέ α, τα οποία να μπορούν να εφαρμοστούν κ ινικά. Μοντέ α που να ασίζονται σε ε ά ιστους μετα ο ίτες, α ά και να δίνουν κα ές προ έψεις. Αν έ ουμε ήδη κατατάξει τους δια έσιμους μετα ο ίτες-μετα ητές ς προς κάποια σειρά σημαντικότητας (. μέ οδο PLS-DA), μπορούμε να εφαρμόσουμε την εξής μέ οδο (feature filtering): [13] 1. Επι έ ουμε διαδο ικά 1 N μετα ο ίτες, σύμφ να με τη σειρά κατάταξής τους. 2. Κατασκευάζουμε ένα νέο μοντέ ο ρησιμοποιώντας μόνο τις τρέ ουσες μετα ητές. 3. Ε έ ουμε την επιτυ ία του μοντέ ου (π.. με καμπύ ες ROC). 4. Αν έ ει επιτευ εί η επι υμητή επιτυ ία σταματάμε, διαφορετικά προσ έτουμε επιπ έον μετα ητές από τη ίστα και επανα αμ άνουμε τη διαδικασία. Παρότι ο α όρι μος αυτός είναι αρκετά απ ός στη σύ ηψή του, απαιτεί κα ή νώση του α ορί μου που ρησιμοποιείται ια τη μοντε οποίηση, ενώ ενδέ εται να απαιτεί τροποποίηση της ίστας με τη σημαντικότητα τ ν μετα ο ιτών. Επίσης, δεν υπάρ ει καμία ε ρητική ε ύηση ότι το έ τιστο υποσύνο ο α περι αμ άνει τις κορυφαίες μετα ητές της ίστας. Στην ενότητα 3.7 α παρουσιάσουμε και ά ες με όδους επι ο ής μετα ητών Εξερευνώντας τα μετα ο ικά μονοπάτια Η δημιουρ ία μοντέ ν που ασίζονται σε ί ους μετα ο ίτες δεν έ ει σκοπιμότητα μονά α μα ηματική ή κ ινική. Ας μην ξε νάμε ότι σκοπός της μετα ο ομικής δεν είναι μόνο να φτιάξει ένα μαύρο κουτί που να προ έπει επιτυ ώς ασ ένειες ή ά α φαινόμενα. Σκοπός είναι και αυτή η μα ηματική περι ραφή του σύν ετου ιο ο ικού συστήματος που με ετάμε να δώσει π ηροφορίες που α κα οδη ήσουν την επιστημονική κοινότητα στην α ύτερη κατανόηση τ ν ιο ημικών διερ ασιών. Έτσι, κατα ή οντας σε ένα κατά το δυνατόν μικρό, κομψό μοντέ ο μπορούμε να κατανοήσουμε και τον τρόπο ειτουρ ίας του. Μέσα από αυτήν την οδό μπορεί να ίνει ένα μετα ο ομικό μοντέ ο αποδεκτό από τους κ ινικούς επιστήμονες. Επίσης, μέσα από αυτήν την οδό μπορούν να σ εδιαστούν κατά η α φάρμακα ια τις ασ ένειες που ενδε ομέν ς με ετώνται. Πακέτα ο ισμικού μετα ο ομικής, όπ ς το MetaboAnalyst, μπορούν να ανα ύσουν τα ιο ημικά μονοπάτια που συνδέονται με τους μετα ο ίτες που επι έ ηκαν και να οη ήσουν στην εξα ή ρήσιμ ν συμπερασμάτ ν. 2.5 Προκ ήσεις Ο τομέας της μετα ο ομικής συ κεντρώνει επιστήμονες πο ών διαφορετικών κ άδ ν. Πειραματιστές, κ ινικοί επιστήμονες, φαρμακοποιοί, ιο ημικοί, στατιστικοί, π ηροφορικοί και πο οί ά οι. Βασική πρόκ ηση είναι να δημιουρ η ούν κοινοί κώδικες επικοιν νίας και κοινές, ενικώς αποδεκτές, πρακτικές σε ότι αφορά την έρευνα και τις δημοσιεύσεις. Για παράδει μα, στο εισα ικό, ε εύ ερης πρόσ ασης άρ ρο τ ν Xia, Broadhurst et al. [13] επισημαίνονται μερικά συ νά προ ήματα και δίνονται ορισμένοι κανόνες ορ ής πρακτικής ς προς την παρα ή και τη δημοσίευση σ ετικών ερευνών. 16

35 2.5. Προκ ήσεις Με ά η είναι η ευκαιρία επίσης, οι διαφορετικοί κ άδοι να ενσ ματώσουν και να μεταδώσουν τις νώσεις που τους διαφοροποιούν, πάν σε κοινά προ ήματα. Για παράδει μα, κάτι που υποδεικνύεται και από το πνεύμα της ερ ασίας αυτής, είναι μια κα ή ευκαιρία οι ερ αστηριακοί επιστήμονες να επ φε η ούν από την ποικι ία ιδεών που μπορεί να προσφέρει η εξόρυξη δεδομέν ν και, ειδικότερα, η μη ανική μά ηση στην ανά υση τ ν δεδομέν ν που προκύπτουν. Είναι πρόκ ηση η δημιουρ ία μοντέ ν με με α ύτερη επιτυ ία, ι ότερες μετα ητές και υψη ότερη ευρ στία, με μικρότερες υπο ο ιστικές απαιτήσεις. Θα ήταν ευ άριστη εξέ ιξη αν κάποια μέρα ασ ενείς μπορούσαν να ρησιμοποιούν μικρές φορητές συσκευές που α κάνουν έ καιρες δια νώσεις και α ασίζονται αποκ ειστικά σε μετα ο ομικά μοντέ α. Ά η μια πρόκ ηση είναι η δια είριση τ ν ν στών και (κυρί ς) τ ν ά ν στ ν μετα- ο ιτών. Αντί ετα με το ονιδί μα, το μετα ό μα του αν ρώπου δεν έ ει αρτο ραφη εί π ήρ ς ακόμη. Ειδικότερα στα μη στο ευμένα πειράματα προκύπτουν πο ύ συ νά ά ν στες κορυφές οι οποίες φαίνεται να είναι από τα κρίσιμα κομμάτια του εκάστοτε πάζ. Χρειάζεται οιπόν να ίνει αρκετή πειραματική δου ειά σε αυτήν την κατεύ υνση. Οι αντίστοι ες άσεις δεδομέν ν πρέπει να εμπ ουτιστούν, ενώ είναι σημαντικό η κοινότητα να δημοσιεύει κατά το δυνατόν τα δεδομένα που δια έτει, ώστε να είναι δυνατή η σε ά ος ανά υση κά ε προ ήματος, α ά και να μπορούν να ίνονται συ κρίσεις μεταξύ αντίστοι- ν προ ημάτ ν. Για παράδει μα, συ κρίνοντας διαφορετικές μορφές μιας ασ ένειας, τις οποίες με ετούν διαφορετικά ερ αστήρια, μπορεί να στραφεί το ενδιαφέρον προς ορισμένους μετα ο ίτες και να απα ειφ ούν μετα ο ίτες που εμφανώς δεν σ ετίζονται με το ευρύτερο πρό ημα. Η τε νική αυτή ονομάζεται "μέτα-ανά υση". [2] Η με α ύτερη πάντ ς πρόκ ηση, ίσ ς είναι να δημιουρ η ούν μοντέ α τόσο αξιόπιστα, που να ρησιμοποιη ούν ευρέ ς από την ιατρική κοινότητα. Αυτή τη στι μή, η μόνη ίσ ς εκτεταμένη κ ινική εφαρμο ή ρίσκεται στον έ ε ο τ ν νεο νών ια έμφυτα προ ήματα μετα ο ισμού. [13] 17

36 Κεφά αιο 2. Μετα ο ομική 18

37 Κεφά αιο 3 Εξόρυξη δεδομέν ν Στο προη ούμενο κεφά αιο είδαμε την τρέ ουσα κατάσταση στη μετα ο ομική, η οποία αποτε εί μονά α ένα από τα πάρα πο ά πεδία εφαρμο ής της εξόρυξης δεδομέν ν. Παρουσιάσαμε μερικά από τα ασικότερα ερ α εία ανά υσης δεδομέν ν που ρησιμοποιούνται από τη διε νή κοινότητα, παρα είποντας όμ ς να αναφερ ούμε σε με όδους μη ανικής μά- ησης. Τώρα, έ οντας αποκτήσει μια εικόνα της εφαρμο ής που α με ετήσουμε, μπορούμε να δούμε με ποιους τρόπους μπορούμε να μπούμε α ύτερα στα δεδομένα, δημιουρ ώντας συν ετότερα μοντέ α με υψη ότερο α μό επιτυ ίας στις προ έψεις. Η μη ανική μά ηση αναφέρεται στις τε νικές που επιτρέπουν στους Η/Υ να μα αίνουν από δεδομένα, ρίς όμ ς να έ ουν προ ραμματιστεί συ κεκριμένα ια αυτά. Δεν αναφερόμαστε σε εφαρμο ή ε ρητικών μοντέ ν, α ά στην α ορι μική κατασκευή μοντέ ν, σύμφ να με τα πρότυπα που ανι νεύονται στα δεδομένα. Έτσι, μπορούμε να ρησιμοποιήσουμε ένα σύνο ο δεδομέν ν ια να εκπαιδεύσουμε ένα μοντέ ο που να περι ράφει κα ά αυτό το σύνο ο α ά και να ανταποκρίνεται επιτυ ώς σε εξ τερικά δεδομένα ε έ - ου. Με την έννοια της κα ής περι ραφής, εννοούμε την απόδοση σ στών τιμών σε κάποια μετα ητή τ ν δεδομέν ν την οποία ονομάζουμε κ άση. Στη συνέ εια, μπορούμε να ρησιμοποιήσουμε το μοντέ ο ια να αντιστοι ίσουμε νέα δεί ματα στην αντιπροσ πευτικότερη ια κά ε δεί μα κ άση. Σε αυτό το κεφά αιο α δούμε τα διάφορα στάδια της εξόρυξης δεδομέν ν. Θα εξετάσουμε πώς δομούνται τα μοντέ α που προέρ ονται από ορισμένους αρακτηριστικούς α ορί μους μη ανικής μά ησης και α δούμε πώς δημιουρ ούνται και πώς μπορούμε να συνδυάσουμε παραπάν από ένα μοντέ α ή α ορί μους ια τη δημιουρ ία κα ύτερ ν μοντέ ν. Θα δούμε επίσης πώς ε έ ουμε ένα μοντέ ο ς προς την επιτυ ία του και πώς μπορούμε να μειώσουμε την πο υπ οκότητά του. Τέ ος, α αναφέρουμε μερικούς τομείς εφαρμο ής τε νικών εξόρυξης δεδομέν ν. 3.1 Δομή δεδομέν ν Ανά ο α με την εφαρμο ή, μετα ά εται το π ή ος και η δομή τ ν δεδομέν ν, κα ώς και οι δυσκο ίες. Τα προ ήματα μετα ο ομικής είναι συνή ς μικρής έ ς μεσαίας κ ίμακας. Οι μετα ητές που μετρώνται είναι συνή ς μερικές δεκάδες ή εκατοντάδες, ενώ τα δεί - 19

38 Κεφά αιο 3. Εξόρυξη δεδομέν ν ματα δυστυ ώς σπάνια είναι της τάξης τ ν εκατοντάδ ν. Σε προ ήματα σ ετικά με τον πα κόσμιο ιστό, τα δεί ματα μπορεί να είναι πο ύ πάν από ι ιάδες και συ νά ανα ύονται σε υπερυπο ο ιστικά συστήματα. Στην υπό οιπη ερ ασία α εστιάζουμε το ενδιαφέρον μας μόνο στη μετα ο ομική. Το πρό ημα που α με ετήσουμε στο κεφά αιο 5 εμπεριέ ει 106 δεί ματα (instances) και 701 μετα ητές (attributes). Τα δεί ματα ρίζονται σε δυο κ άσεις, ονομοιόμορφα κατανεμημένες (72 υ ιείς άν ρ ποι και 34 ασ ενείς). Οι μετα ητές αντιστοι ούν σε μικρά, συνε όμενα, κομμάτια φασμάτ ν NMR (spectral bins). Το πρό ημα που α με ετήσουμε στο κεφά αιο 6 εμπεριέ ει 40 δεί ματα και 38 μετα ητές. Τα δεί ματα είναι ρισμένα σε 6 κ άσεις, σ ετικά ομοιόμορφα κατανεμημένες ( επίμυες). Οι μετα ητές αντιστοι ούν σε αρακτηριστικές κορυφές NMR συ κεκριμέν ν μετα ο ιτών. Σε κανένα από τα δύο προ ήματα δεν υπήρ ε πρό ημα με ά ν στες τιμές. Και στις δύο περιπτώσεις, τα δεδομένα φι οξενούνται σε έναν απ ό πίνακα δύο διαστάσε ν, όσο με ά ες και αν είναι αυτές. Σε πιο περίπ οκα προ ήματα εξόρυξης δεδομέν ν μπορεί να απαιτούνται ειδικά σ εδιασμένες άσεις δεδομέν ν, κάτι που δεν α μας απασ ο ήσει στη συ κεκριμένη διπ ματική ερ ασία. Αρ ικά, τα δεδομένα πρέπει να συ κεντρ ούν σε έναν πίνακα κατά η ης μορφής. Συνη ίζεται τα δεί ματα να κατα ρούνται σε ραμμές και οι μετα ητές του συστήματος σε στή ες, με την πρώτη ραμμή του πίνακα να περιέ ει τους αντίστοι ους τίτ ους. Ένας π ήρης πίνακας δεδομέν ν πρέπει να περιέ ει την ταυτότητα, την κ άση και τις τιμές τ ν μετα ητών ια κά ε δεί μα. Η σειρά μπορεί να διαφέρει ανά ο α με το ο ισμικό που ρησιμοποιούμε, στόσο τέτοιες α α ές μπορούν εύκο α να ίνουν. Η ταυτότητα του δεί ματος ενδέ εται να πρέπει να δια ραφεί πριν την τροφοδότηση σε κάποιο ο ισμικό, στόσο τα δεδομένα α πρέπει να δημοσιεύονται μαζί με τις ταυτότητες τ ν δει μάτ ν. Θα πρέπει επίσης να δημοσιεύεται η επεξερ ασία στην οποία έ ουν υπο η εί τα δεί ματα πριν κατα ρη ούν στον πίνακα. Κα ό είναι τα δεί ματα να είναι άμεσα συ κρίσιμα, π.. να έ ουν ήδη ίνει οι κατά η ες διορ ώσεις σύμφ να με τυ όν αραιώσεις κτ. Το κά ε τι πρέπει να περι ράφεται με σαφήνεια και, αν οι μετα ητές του συστήματος είναι μετα- ο ίτες, τα ονόματα αυτών πρέπει να κατα ράφονται σύμφ να με κάποιο κοινώς αποδεκτό πρότυπο. Επίσης, απαιτείται κα ή ορ άν ση ς προς τα αρ εία που ρησιμοποιούνται. Ένα ά ος σε αυτό το στάδιο μπορεί να σημαίνει στην κα ύτερη περίπτ ση επανά ηψη μέρους ή ο όκ ηρης της ανά υσης αρ ότερα. 3.2 Προεπεξερ ασία Πριν προ ρήσουμε στην ανά υση τ ν δεδομέν ν μπορούμε να κάνουμε κάποια προεπεξερ- ασία σε αυτά. Μια κα ή προεπεξερ ασία μπορεί να οδη ήσει σε πο ύ κα ύτερα μοντέ α στη συνέ εια. Αντι έτ ς, μια κακή (ή κα ό ου) προεπεξερ ασία μπορεί να οδη ήσει σε προ ηματικά και μη αποδεκτά μοντέ α. Αρ ικά, τα δεδομένα πρέπει να συμπ ηρ ούν όπου υπάρ ουν ά ν στες τιμές. Έπειτα, πρέπει να κα αριστούν από προ ηματικά, παραπ ανητικά δεί ματα (outliers), από ακραίες τιμές (extreme values) και από όρυ ο. Στη συνέ εια, πρέπει ό ες οι μετα ητές να κ ιμακ ούν σε ένα εύρος τιμών ώστε να διευκο- ύνονται οι υπο ο ισμοί και οι συ κρίσεις. Σε ορισμένες περιπτώσεις, μπορεί να ίνει και 20

39 3.2. Προεπεξερ ασία αναπαράσταση σε κάποιο ώρο ι ότερ ν μετα ητών, όπ ς αναφέραμε στην ενότητα ή, με ά ους τρόπους, να μει ούν τα προς ανά υση δεδομένα ια τα ύτερη επεξερ ασία Κα αρισμός δεδομέν ν Είναι πι ανό να συναντήσουμε ε ιπή δεδομένα ό τε νικών δυσκο ιών ή ά ν ό ν. Εάν σε κάποια δεί ματα υπάρ ουν ά ν στες τιμές, τότε αυτές μπορούν να αντικαταστα ούν με τον μέσο όρο τ ν αντίστοι ν μετα ητών ια ό α τα δεί ματα ή ια τα δεί ματα της ίδιας κ άσης (αν αυτή είναι ν στή). Μπορούν επίσης να αντικαταστα ούν με την πιο πι ανή τιμή, σύμφ να με κάποια πα ινδρόμηση. Είναι επίσης πι ανό να υπάρ ουν παραπ ανητικά ή ακραία δεί ματα στα δεδομένα. Αυτά μπορούν να εντοπιστούν μέσ κάποιας τε νικής πα ινδρόμησης ή με ρισμό συστάδ ν. Δεδομένα που ρίσκονται μακριά από τις δημιουρ ούμενες συστάδες ε ρούνται outliers. Αυτά ενικώς αφαιρούνται ή α ιώς διορ ώνονται και ρησιμοποιούνται. Δεί ματα με ακραίες τιμές μπορεί να μην είναι outliers, α ά να δημιουρ ούν εμπόδια στη δημιουρ ία κα ών μοντέ ν. Σε αυτήν την περίπτ ση τα αφαιρούμε, κα ορίζουμε τα όρια μέσα στα οποία έ ει εκπαιδευτεί το μοντέ ο και το εφαρμόζουμε μόνο σε δεί ματα που ανήκουν μέσα σε αυτά τα όρια. Η περιο ή μέσα στην οποία μπορούμε να ρησιμοποιήσουμε ένα μοντέ ο έ εται Domain of Applicability και υπο ο ίζεται με με οδο ο ίες που δεν α εξετάσουμε, στόσο αναπτύσσονται εκτενώς στη ι ιο ραφία. [17, 18] Στην περίπτ ση που παρουσιάζεται όρυ ος (τυ αία σφά ματα) στα δεδομένα, μπορούν να εφαρμοστούν μέ οδοι εξομά υνσης (smoothing). Γενικώς, δια ρίζουμε τα δεδομένα σε μικρές ομάδες, σύμφ να με τις τιμές ια κάποια μετα ητή η οποία παρουσιάζει όρυ ο. Οι ομάδες αυτές μπορεί να είναι ίσου π άτους (δη αδή να περι αμ άνουν ένα εύρος τιμών, ακατά η ος τρόπος ια ασύμμετρα δεδομένα) ή ίσου ά ους (δη αδή να περι αμ άνουν ένα π ή ος δει μάτ ν). Σε κά ε ομάδα ίνεται εξομά υνση σύμφ να με τον μέσο όρο, τη διάμεσο ή τα όρια τιμών ια αυτήν. [19] Μεί ση εξεταζόμεν ν δεδομέν ν Σε ένα πρό ημα εξόρυξης δεδομέν ν, ενδέ εται το π ή ος τ ν μετα ητών και τ ν δει μάτ ν να είναι τόσο υψη ό που να δυσκο εύει ή να κα υστερεί την ανά υση. Στην ενότητα παρουσιάσαμε με όδους, όπ ς την PCA, ια αντιστοί ιση πο ών μετα ητών σε ι ότερες. Είδαμε επίσης ότι μέ οδοι όπ ς η PLS-DA κατατάσσουν τις μετα ητές ς προς τη σημαντικότητά τους. Μετα ητές που συνεισφέρουν ε ά ιστα στη διακύμανση τ ν δεδομέν ν α μπορούσαν να εξεταστούν ς προς την απα οιφή τους. Για τη μεί ση του ό κου τ ν δεδομέν ν μπορεί να ίνει κατά η η δει ματο ηψία, από ό ες τις κ άσεις που εμφανίζονται (αν είναι ν στές). Η δει ματο ηψία μπορεί να ίνει με ή ρίς επαναπό εση (replacement). Αυτό κα ορίζει τη δυνατότητα του δεί ματος να επι ε εί παραπάν από μια φορές. Μπορούμε επίσης να ορ ανώσουμε κοντινά σημεία σε μικρές συστάδες, δου εύοντας στη συνέ εια μόνο με κάποιο αντιπροσ πευτικό σημείο (π.. το κεντροειδές). Συνε είς μετα ητές μπορούν να διακριτοποιη ούν. Ακόμη, εάν τα δεδομένα που ρησιμοποιούμε εμπεριέ ουν κείμενο, εικόνα ή ή ο, μπορούμε να εφαρμόσουμε και τε νικές συμπίεσης. 21

40 Κεφά αιο 3. Εξόρυξη δεδομέν ν 3.3 Δομή εξα όμενης π ηροφορίας Τα μοντέ α μπορεί να έ ουν, μεταξύ ά ν, μια από τις εξής μορφές: [1] Πίνακες Πρακτικά ένας τέτοιος πίνακας έ ει την ίδια μορφή με τον πίνακα που φι οξενεί τα ίδια τα δεδομένα και δεν προσφέρει ιδιαίτερες π ηροφορίες. Εάν ένα δεί μα έ ει τις ίδιες τιμές με κάποια κατα ώριση του πίνακα, τότε α έ ει και την ίδια κ άση. Πίνακες τέτοιας μορφής είναι κατά η οι και ια αρι μητικές κ άσεις. Σε αυτή την περίπτ ση κα ούνται πίνακες πα ινδρόμησης. Η ουσιαστικότερη διαφορά που μπορεί να έ ει ένας πίνακας ενός μοντέ ου από τον αρ ικό είναι να αναπαριστά τα δεδομένα με ι ότερες μετα ητές, π.. μόνο όσες φαίνεται να επηρεάζουν τις κ άσεις. Γραμμικά (ή μη) μοντέ α Για αρι μητικές κ άσεις, μπορούμε να ορίσουμε κάποιο ραμμικό μοντέ ο πα ινδρόμησης, όπ ς μια ευ εία ε α ίστ ν τετρα ών ν ή, σε έναν πο υδιάστατο ώρο, έναν ραμμικό συνδυασμό τ ν μετα ητών που να προσαρμόζεται στην κατανομή τ ν δεδομέν ν. Επίσης, μπορούμε να ορίσουμε ευ είες που να δια ρίζουν δυο ομάδες δεδομέν ν. Κατ' επέκταση, αντί ια ευ είες, μπορούμε να ορίσουμε μη ραμμικά μοντέ α, ενώ δια ρισμός περισσότερ ν κ άσε ν μπορεί να ίνει με συνδυασμό περισσότερ ν της μιας δια ριστικών ραμμών. Δέντρα αποφάσε ν Τα δέντρα αποφάσε ν έ ουν τη μορφή του σ ήματος 3.1. Σε αυτό το δέντρο ε έ εται η κατα η ότητα τ ν καιρικών συν ηκών ια ένα παι- νίδι (απροσδιόριστο ποιο). Στους κόμ ους ενός δέντρου ίνεται έ ε ος της τιμής κάποιας μετα ητής (ή κάποιας συνάρτησης τ ν μετα ητών). Για κατη ορικές μετα- ητές, συνή ς ακο ου ούν τόσοι κ άδοι όσες και οι πι ανές τιμές της μετα ητής. Για αρι μητικές μετα ητές ίνεται έ ε ος ς προς κάποια στα ερά ή ς προς κάποια ά η μετα ητή. Μια μετα ητή μπορεί να ε έ εται σε πο ά σημεία του δέντρου. Τα "φύ α" του δέντρου οδη ούν στην τιμή της κ άσης που προ έπεται από αυτό. Δέντρα ρησιμοποιούνται κυρί ς ια κατη ορικές κ άσεις, ρίς να αποκ είεται και η ρήση ια αρι μητικές. Κανόνες Ένα μοντέ ο κανόν ν περιέ ει διαδο ικούς ε έ ους συν ηκών, οι οποίοι μπορεί να περιέ ουν τους συνη ισμένους ο ικούς τε εστές. Παρότι εκφράζουν με διαφορετικό τρόπο την ίδια π ηροφορία με τα δέντρα, ορισμένες φορές μπορούν να την περι ράψουν σε ι ότερο ώρο, μπορούν να προστε ούν ευκο ότερα νέοι έ ε οι συν ηκών και κ δικοποιούνται ευκο ότερα. Κανόνες μπορούν να ρησιμοποιούνται ό ι μόνο ια την πρό εψη της κ άσης, α ά ια τον συμπερασμό της τιμής οποιασδήποτε από τις μετα ητές που συμμετέ ουν (association rules). Τέ ος, στη συνοπτικότητα τ ν περι ραφών συμ ά ει και η δυνατότητα ρήσης κανόν ν με εξαιρέσεις. Μά ηση ασισμένη σε παραδεί ματα Ορισμένοι α όρι μοι δεν δίνουν ένα ο οκ ηρ μένο μοντέ ο το οποίο να απαντά από μόνο του ια την κ άση ενός νέου δεί ματος. Αντι έτ ς, ανα ά ουν την κυρί ς διαδικασία της μά ησης ια τη στι μή που το νέο αυτό δεδομένο α τε εί υπό έ ε ο. Τέτοιοι α όρι μοι δίνουν ς έξοδο αρακτηριστικά σημεία τ ν δεδομέν ν. Η ιδέα είναι ότι, όταν πρέπει να ε ε εί ένα 22

41 3.3. Δομή εξα όμενης π ηροφορίας νέο δεδομένο, τότε α αναζητη εί το κοντινότερο (ή ένα π ή ος από κοντινότερα) σε αυτό ν στό σημείο και α του αποδο εί η ίδια (ή επικρατέστερη) κ άση. Σε αυτή την περίπτ ση ρησιμοποιούμε έναν α όρι μο εύρεσης του κοντινότερου είτονα, ή τ ν k κοντινότερ ν ειτόν ν. Δεν είναι πάντοτε απαραίτητο να δίνονται ό α τα ν στά σημεία. Κάποιες περιο ές όπου συ κεντρώνονται πο ά σημεία της ίδιας κ άσης μπορούν να αναπαραστα ούν από μερικά από τα σημεία της περιο ής. Μια ά η προσέ ιση είναι να ορίσουμε δια ριστικές ραμμές ανάμεσα σε περιο ές ομοειδών σημεί ν, σύμφ να με τον α όρι μο του κοντινότερου είτονα. Σε αυτή την περίπτ ση, ρειάζεται να αναφερ ούν μόνο τα σημεία με άση τα οποία ορίζεται μια τέτοια δια ριστική ραμμή. Τέ ος, μπορούμε να φτιάξουμε ομάδες συ κεκριμένης ε μετρίας που να περιέ ουν μόνο σημεία μίας κ άσης. Π.. πο ά ορ ο ώνια σε έναν ώρο δύο μετα ητών, τα οποία ισοδυναμούν με μια σύζευξη κανόν ν ια τις δυο μετα ητές. Οι δυο ιδέες παρουσιάζονται στο σ ήμα 3.2. Τέτοιες περιο ές μπορεί να ρίσκονται και η μια μέσα στην ά η, με σαφή όμ ς διάκριση. Η εσ τερική περιο ή αποτε εί εξαίρεση ια αυτήν που την περι ά ει. Είναι σημαντικό να μην α - η επικα ύπτονται οι περιο ές, ώστε να είναι σί ουρο ότι ένα σημείο εμπίπτει πάντα μόνο σε μία περιο ή. Έτσι αντιμετ πίζεται το πρό ημα που μπορεί να παρουσιάσουν οι κανόνες: ια ένα σημείο να ισ ύουν ταυτό ρονα δυο διαφορετικοί κανόνες. Συσταδοποίηση Μπορούμε να ρίσουμε τα δεδομένα που δια έτουμε σε συστάδες. Αυτό μπορεί να ίνει είτε φτιά νοντας υπερεπίπεδα στον πο υδιάστατο ώρο τ ν μετα ητών του συστήματος, είτε φτιά νοντας κ ειστά σ ήματα (π ε ειψοειδή). Μια συστάδα περιέ ει σημεία τα οποία ρίσκονται ενικώς πιο κοντά μεταξύ τους από ότι με ά α σημεία. Οι συστάδες μπορεί να α η οκα ύπτονται και κάποια σημεία μπορεί να ανήκουν σε πάν από μια συστάδες. Τέ ος, μπορούμε να δημιουρ ήσουμε συστάδες μέσα σε ά ες συστάδες (ιεραρ ική συσταδοποίηση). Μπορούμε έτσι να έ ουμε πο ές μικρές ή ι ότερες α ά με α ύτερες στοι άδες. 23

42 Κεφά αιο 3. Εξόρυξη δεδομέν ν Σ ήμα 3.1: Παράδει μα δέντρου απόφασης, που προκύπτει από την εφαρμο ή του α ορί μου J48 στα δεδομένα με την ταυτότητα "weather data" του ι ίου τ ν Witten et al. [1] Στο δέντρο παρουσιάζονται τα στάδια ήψης απόφασης σ ετικά με την εύνοια τ ν καιρικών συν ηκών ια ένα παι νίδι (απροσδιόριστο ποιο). Σ ήμα 3.2: Παράδει μα δομής μοντέ ου μά ησης ασισμένης σε παραδεί ματα. Στο αριστερό σ ήμα διακρίνεται η δια ριστική ραμμή που προκύπτει με τον α όρι μο κοντινότερου είτονα. Στο δεξιό σ ήμα διακρίνονται οι ορ ο ώνιες περιο ές με σημεία της ίδιας κ άσης. Τα δυο σ ήματα είναι προσε ιστικά. 24

43 3.4. Α όρι μοι μά ησης 3.4 Α όρι μοι μά ησης Είδαμε πώς παριστάνεται ενικώς η νώση που εξορύσσεται από δεδομένα. Διακρίναμε διάφορες κατη ορίες. Στον ίδιο δια ρισμό α ασιστούμε και ια την παρουσίαση τ ν τρόπ ν με τους οποίους μπορεί να δημιουρ η εί αυτή η νώση. [1] Απ οί κανόνες Πο ά συστήματα στην πράξη υπακούουν σε πο ύ απ ούς κανόνες. Έτσι, α όρι μοι που παρά ουν απ ούς κανόνες δίνουν μερικές φορές πο ύ κα ά αποτε έσματα, παρά την απ ότητά τους. Παράδει μα αυτής της κατη ορίας είναι ο α όρι μος 1R (1-rule). Ο α όρι μος αυτός δημιουρ εί ένα δέντρο απόφασης με έναν μόνο κόμ ο, ς εξής: Για κά ε μετα ητή του συστήματος ε έ ονται ό ες οι πι ανές τιμές ( ια αρι μητικές μετα ητές μπορεί να ίνει διαμερισμός). Σε κά ε τιμή αντιστοι ίζεται η πιο συ νή ( ια αυτήν την τιμή) κ άση. Στη συνέ εια ε έ εται κά ε μετα ητή ς προς την επιτυ ία που δίνει, αν ρησιμοποιη- εί ς μοναδικός κόμ ος στο δέντρο και επι έ εται η μετα ητή που δίνει την υψη ότερη επιτυ ία (. τον α όρι μο 1). Α όρι μος 1 Α όρι μος 1R [1] ια κά ε μετα ητή επανά α ε ια κά ε τιμή της μετα ητής επανά α ε Δημιούρ ησε έναν κανόνα ς εξής: μέτρησε πόσες φορές εμφανίζεται κά ε κ άση ρες την πιο συ νά εμφανιζόμενη κ άση αντιστοί ισε αυτήν την κ άση σε αυτήν την τιμή της μετα ητής Υπο ό ισε το σφά μα τ ν κανόν ν Επέ εξε τους κανόνες με το μικρότερο σφά μα Στατιστική μοντε οποίηση Αντί να ρησιμοποιήσουμε μόνο μια μετα ητή του συστήματος, μπορούμε να τις ρησιμοποιήσουμε ό ες και να ε ρήσουμε ότι η κά ε μία συνεισφέρει εξίσου και ανεξάρτητα στην τε ική απόφαση. Προς άριν της παρουσίασης, ε ρούμε το (αυ αίρετο) σύνο ο δεδομέν ν που περι ράφεται στον πίνακα 3.1. Στον πίνακα 3.2 υπο ο ίζουμε την κατανομή τ ν τιμών κά ε μετα ητής στις δύο κ άσεις. Έστ τώρα ότι εξετάζουμε ένα νέο σημείο, το οποίο έ ει τις εξής τιμές: (A3,B1,C2,D1). Τότε, οι πι ανότητες ια κά ε κ άση υπο ο ίζονται ς εξής: Πι ανότητα κ άσης P = (2/3 1/3 1/2 3/4) 3/6 = (3.1) Πι ανότητα κ άσης Ν = (1/3 2/3 1/2 1/4) 3/6 = (3.2) 25

44 Κεφά αιο 3. Εξόρυξη δεδομέν ν Η πι ανότητα της κ άσης P είναι υψη ότερη αυτής της κ άσης N, έτσι το μοντέ ο αντιστοι ίζει την κ άση P στο υπό εξέταση δεί μα. Αν κανονικοποιήσουμε αυτές τις τιμές έτσι ώστε να έ ουν ά ροισμα ίσο με τη μονάδα, είναι: Πι ανότητα κ άσης P = Πι ανότητα κ άσης Ν = = 75% (3.3) = 25% (3.4) Η μέ οδος αυτή ασίζεται στο εώρημα (ή τύπο) του Bayes, το οποίο εκφράζει την πι ανότητα μιας υπό εσης H δεδομένου ενός ε ονότος Ε: Pr[H E] = Pr[E H] Pr[H] Pr[E] (3.5) Στην περίπτ σή μας έ ουμε τέσσερα ε ονότα, ε ρούμενα ανεξάρτητα, τα οποία α ονομάσουμε E 1 έ ς E 4 και αντιστοι ούν στην απόδοση μιας συ κεκριμένης τιμής ια τις τέσσερις μετα ητές του υπο ετικού συστήματος. Αφού τα ε ονότα ε ρούνται ανεξάρτητα, μπορούμε να πο απ ασιάσουμε τις πι ανότητές τους. Η υπό εση που εξετάζουμε είναι να ανήκει το δεί μα μας στην κ άση P. Έτσι: Pr[P E] = Pr[E 1 P] Pr[E 2 P] Pr[E 3 P] Pr[E 4 P] Pr[P] Pr[E] (3.6) Λό της αφε ούς υπό εσης ανεξαρτησίας τ ν δεδομέν ν, η μέ οδος ονομάζεται Naïve Bayes. Όπ ς εύκο α παρατηρούμε, α υπάρξει πρό ημα εάν το υπό εξέταση δεί μα περι αμ- άνει π.. την τιμή A1, ια την οποία η πι ανότητα εμφάνισης της κ άσης P είναι μηδενική. Στον πίνακα 3.2 έπουμε ότι η μετα ητή A, η οποία έ ει 3 πι ανές τιμές, έ ει κατανομή (A1,A2,A3)=(0/3, 1/3, 2/3). Μπορούμε να διορ ώσουμε αυτό το πρό ημα προσ έτοντας έναν αρι μό στους αρι μητές και τον τριπ άσιό του (στη συ κεκριμένη περίπτ ση, ό τριών τιμών) στους παρονομαστές. Εάν προσ έσουμε τη μονάδα (Laplace estimator) έ ουμε: (A1,A2,A3)=(1/6, 2/6, 3/6). Ά ν στες τιμές δεν αποτε ούν πρό ημα ια τη μέ οδο. Αν έ ουμε αρι μητικές παραμέτρους, ε ρούμε ότι ακο ου ούν κάποια ν στή (συνή ς κανονική) κατανομή. Στον αντίστοι ο του πίνακα 3.2, στις αρι μητικές μετα ητές, παρα έτουμε απ ώς τις τιμές. Αντί ια τη συ νότητα εμφάνισης κά ε τιμής, ρησιμοποιούμε τον μέσο όρο και την τυπική απόκ ιση της μετα ητής. Η συνέ εια ανα ύεται στη ι ιο ραφία. [1] Δέντρα αποφάσε ν Ένα δέντρο κατασκευάζεται επι έ οντας κατά σειρά κατά η ους κόμ ους ε έ ου ια κά ε κ άδο. Ξεκινώντας από τον κορυφαίο κόμ ο, δημιουρ ούμε τόσους κ άδους όσες και οι πι ανές τιμές της αντίστοι ης κατη ορικής μετα ητής, ή όσα τα διαστήματα που επι υμούμε, ια αρι μητικές μετα ητές. Κά ε κ άδος δια ρίζεται περαιτέρ αν ρειαστεί. Το κρίσιμο ερώτημα είναι ποιες μετα ητές α επι έξουμε να τοπο ετήσουμε σε κά ε κόμ ο 26

45 3.4. Α όρι μοι μά ησης Πίνακας 3.1: Αυ αίρετα δεδομένα ια την παρουσίαση τ ν στατιστικών μοντέ ν. Μετα ητή A Μετα ητή B Μετα ητή C Μετα ητή D Κ άση A1 Β1 C1 D1 N A1 B1 C1 D2 N A2 B1 C1 D1 P A3 B2 C1 D1 P A3 B3 C2 D1 P A3 B3 C2 D2 N Πίνακας 3.2: Κατανομή τιμών κά ε μετα ητής στις κ άσεις τ ν αυ αίρετ ν δεδομέν ν. Και οι δύο κ άσεις εμφανίζονται με συ νότητα 3/6. Μετ.A P N Μετ.B P N Μετ.C P N Μετ.D P N A1 0 2 Β1 1 2 C1 2 2 D1 3 1 A2 1 0 Β2 1 0 C2 1 1 D2 0 2 A3 2 1 Β3 1 1 A1 0/2 2/2 Β1 1/3 2/3 C1 2/4 2/4 D1 3/4 1/4 A2 1/1 0/1 Β2 1/1 0/1 C2 1/2 1/2 D2 0/2 2/2 A3 2/3 1/3 Β3 1/2 1/2 ε έ ου. Η τακτική που ακο ου ούμε είναι να τοπο ετούμε στον εκάστοτε κόμ ο τη μετα ητή η οποία α προσφέρει το με α ύτερο κέρδος π ηροφορίας. Τι σημαίνει όμ ς αυτό; Η π ηροφορία είναι μια ποσότητα η οποία: 1. Έ ει μηδενική τιμή όταν εμφανίζεται μόνο μία κ άση. 2. Με ιστοποιείται όταν υπάρ ει ομοιόμορφη κατανομή κ άσε ν. 3. Μπορεί να υπο ο ιστεί σε διαδο ικά στάδια, όπ ς α δούμε αμέσ ς παρακάτ. Έστ ότι έ ουμε σε έναν κ άδο ενός δέντρου π.. 9 δεί ματα και έστ ότι υπάρ ουν 3 διαφορετικές κ άσεις. Έστ ότι 2 δεί ματα ανήκουν στην πρώτη κ άση, 3 στην δεύτερη, 4 στην τρίτη, δη αδή η κατανομή είναι [2, 3, 4]. Η π ηροφορία που υπο ο ίζεται με άση αυτήν την κατανομή συμ ο ίζεται info([2, 3, 4]). Ωστόσο, μπορεί να υπο ο ιστεί π και ς εξής: info([2, 3, 4]) = info([2, 7]) + 7 info([3, 4]) (3.7) 9 δη αδή μπορούμε να υπο ο ίσουμε ξε ριστά την π ηροφορία της κατανομής ανήκει στην πρώτη κ άση ή ανήκει σε κάποια ά η κ άση και ξε ριστά την π ηροφορία της κατανομής ανήκει στην δεύτερη κ άση ή ανήκει στην τρίτη κ άση και να τις συνδυάσουμε ώστε να υπο ο ίσουμε την π ηροφορία της π ήρους κατανομής. Η π ηροφορία μπορεί να αντιστοι η εί σε εντροπία σε αυτήν την περίπτ ση ς εξής: 27

46 Κεφά αιο 3. Εξόρυξη δεδομέν ν info([2, 3, 4]) = entropy 2 9, 3 9, 4 (3.8) 9 όπου π.. 2/9 το κ άσμα τ ν δει μάτ ν που ανήκουν στην πρώτη κ άση, ς προς το σύνο ο. Χρησιμοποιώντας αυτά τα κ άσματα (p 1, p 2,, p n ) υπο ο ίζουμε την εντροπία ς εξής: entropy(p 1, p 2,, p n ) = p 1 log 2 p 1 p 2 log 2 p 2 p n log 2 p n (3.9) Όταν ρησιμοποιούνται ο άρι μοι με άση 2 (όπ ς στην εξίσ ση 3.9), τότε η εντροπία προκύπτει σε "bits". Σε όρους εντροπίας, ο υπο ο ισμός σε δύο στάδια που παρουσιάστηκε παραπάν μπορεί να ραφεί ς εξής: q entropy(p, q, r) = entropy(p, q + r) + (q + r) entropy q + r, r (3.10) q + r όπου p + q + r = 1. Με αυτόν τον τρόπο υπο ο ίζουμε την εντροπία (και στη συνέ εια την π ηροφορία) που δίνει κά ε κ άδος ενός κόμ ου. Στη συνέ εια αμ άνουμε τον στα μισμένο μέσο όρο ια ό ους τους κ άδους ενός κόμ ου. Την ίδια διαδικασία επανα αμ άνουμε ια κά ε μετα ητή που διεκδικεί τον συ κεκριμένο κόμ ο, κα ώς και ια τον κ άδο που οδη εί σε αυτόν. Στη συνέ εια υπο ο ίζουμε το κέρδος π ηροφορίας ια κά ε μετα ητή, αφαιρώντας την π ηροφορία που αντιστοι εί στην μετα ητή από την π ηροφορία που αντιστοι εί στον κ άδο στον οποίο α συνδε εί. Η μετα ητή που επι έ εται ια τον κόμ ο είναι αυτή που προσφέρει το με α ύτερο κέρδος π ηροφορίας Κανόνες κά υψης Τα δέντρα αποφάσε ν μπορούν να μετατραπούν άμεσα στα αντίστοι α σύνο α κανόν ν. Αυτή η προσέ ιση στόσο δεν παρά ει πάντα κα ούς κανόνες. Για την κατασκευή ενός δέντρου, τα δεδομένα ρίζονται σύμφ να με τις μετα ητές σε μικρότερες κ άσεις. Οι κανόνες κά υψης κατασκευάζονται ξεκινώντας από τις επιμέρους κ άσεις, προσπα ώντας να κα ύψουν ό α τα στοι εία μιας κ άσης, ρίς να κα ύπτουν στοι εία ά ν κ άσε ν. Το τε ευταίο στοι είο δεν είναι και τόσο ακρι ές. Στην πράξη, επιτρέπονται μικρές προσμίξεις από ά ες κ άσεις, έτσι ώστε να διατηρη εί απ ό το σύνο ο τ ν κανόν ν και να αποφευ εί η υπερπροσαρμο ή (overfitting). Ωστόσο, αυτό εξαρτάται και από το πόσο κα ά έ ουμε να περι ράψουμε μια συ κεκριμένη κ άση. Συνε ίζοντας τη σύ κριση με τα δέντρα, παρότι μοιάζουν με αυτά, οι κανόνες συ νά οδη ούν σε πιο σύντομες περι ραφές. Επίσης, σε προ ήματα με πο ές κ άσεις, ενώ τα δέντρα εξετάζουν συνε ώς ό ες τις κ άσεις, κά ε κανόνας ασ ο είται με μόνο μία κ άση, α νοώντας τις υπό οιπες. Ένας κανόνας κά υψης έ ει τη μορφή: Εάν συν ήκη1 [ΚΑΙ συν ήκη2 ΚΑΙ... ΚΑΙ συν ήκην] τότε κ άση Για παράδει μα, έστ ότι κατασκευάζουμε ένα μοντέ ο που ξε ρίζει είδη φρούτ ν. Τότε, ένας κανόνας ια να περι ράφει το είδος καρπούζι α μπορούσε να είναι: 28

47 3.4. Α όρι μοι μά ησης Εάν άρος > 1kg ΚΑΙ ρώμα = πράσινο τότε είδος = καρπούζι Ένας τέτοιος κανόνας μπορεί να κατασκευαστεί ς εξής: Αρ ικά ψά νουμε μια συν ήκη που να κα ύπτει όσο το δυνατόν περισσότερα δεί ματα της εξεταζόμενης κ άσης. Δη αδή ψά νουμε έναν κανόνα της μορφής: Εάν? τότε είδος = καρπούζι. Ε έ ουμε ό ες τις πι ανές συν ήκες ς προς την επιτυ ία τους. Π.. τέτοιες συν ήκες α μπορούσαν να είναι εύση = υκιά ή άρος > 1kg. Φανταζόμαστε ότι, στο υπο ετικό αυτό σύνο ο, ο πρώτος κανόνας μπορεί να ισ ύει π.. σε 16 δεί ματα, από τα οποία στο είδος καρπούζι να ανήκουν μόνο 4 από αυτά. Αντι έτ ς, φανταζόμαστε ότι ο δεύτερος κανόνας α ισ ύει π.. σε 7 δεί ματα, από τα οποία στο είδος καρπούζι α ανήκουν τα 5. Ο δεύτερος κανόνας οιπόν περι ράφει κα ύτερα το σύνο ο, όμ ς και πά ι υπάρ ουν κάποια ξένα δεί ματα που εσφα μένα έ ουν αντιστοι η εί σε αυτήν την κ άση. Πριν προ ρήσουμε στο επόμενο ήμα, δια ράφουμε τα σ στά κατη οριοποιημένα δεί ματα από τα δεδομένα. Αναζητούμε στη συνέ εια μια δεύτερη συν ήκη, η οποία α δίνει από μόνη της την υψη ότερη επιτυ ία σε σ έση με τις υπό οιπες υποψήφιες. Έστ ότι η συν ήκη αυτή υποδεικνύει το πράσινο ρώμα και ότι ο συνο ικός κανόνας είναι τέ ειος, δη αδή δεν ισ ύει ια κανένα ά ο είδος-κ άση. Αυτή είναι η ενδεικτική πορεία. Μερικές σημειώσεις: εάν δεν έ ουν κατη οριοποιη εί κάποια δεί ματα της κ άσης, φτιά νουμε επιπ έον κανόνες. Εάν έ ουμε να επι έξουμε ανάμεσα σε δυο συν ήκες που δίνουν την ίδια επιτυ ία, επι έ ουμε τυ αία. Εάν η επιτυ ία ια δυο κανόνες είναι π.. "1/2" και "3/6", τότε επι έ ουμε τον δεύτερο κανόνα, ό με α- ύτερης κα υπτικότητας (3 δεί ματα αντί ια 1). Τέ ος, εάν το επι υμούμε, μπορούμε να ορίσουμε μια κ άση ς "προεπι ε μένη". Για αυτήν τότε δεν ρειάζεται να κατασκευάσουμε κανόνα αυτής της μορφής. Εάν ένα δεί μα δεν ρε εί στα όρια εφαρμο ής κάποιου κανόνα, τότε α αντιστοι η εί στην προεπι ε μένη κ άση. Η μέ οδος που περι ράψαμε κα είται μέ οδος PRISM (. α όρι μο 2). Α όρι μος 2 Μέ οδος PRISM ια κατασκευή κανόν ν κά υψης [1] ια κά ε κ άση C επανά α ε Αρ ικοποίησε το σύνο ο E ώστε να περι αμ άνει ό α τα δεδομένα. όσο το E περιέ ει δεί ματα της κ άσης C επανά α ε Δημιούρ ησε έναν κανόνα R με κενό αριστερό μέ ος, ο οποίος να προ έπει την κ άση C. όσο ο R είναι τέ ειος (ή δεν υπάρ ουν ά ες μετα ητές) επανά α ε ια κά ε μετ. A που δεν αναφέρεται στον R, και κά ε τιμή v επανά α ε Εξέτασε την προσ ήκη της A = v στο αριστερό μέ ος του R. Επέ εξε τα A και v ώστε να με ιστοποιούν την ακρί εια p/total. (σε τυ όν δι ήμματα διά εξε τη συν ήκη με το με α ύτερο p) Πρόσ εσε τη συν ήκη A = v στον R. Αφαίρεσε από το E τα δεί ματα που κα ύπτονται από τον R. Η μέ οδος μπορεί να ε τι εί ε έ οντας, ια κά ε κανόνα, αν μπορεί να δημιουρ η εί ένας κα ύτερος αφαιρώντας κάποιες συν ήκες. Πρά ματι, αυτό σε ορισμένες περιπτώσεις οδη εί σε απ ούστερους κανόνες με ταυτό ρονα υψη ότερη ακρί εια. Η διαδικασία αυτή 29

48 Κεφά αιο 3. Εξόρυξη δεδομέν ν ονομάζεται incremental reduced-error pruning. Αφού ο οκ ηρ εί η δημιουρ ία ενός συνό ου κανόν ν ια μία κ άση, αυτό μπορεί να ε τιστοποιη εί συνο ικά. Για κά ε κανόνα παρά ονται δύο νέοι κανόνες: ένας συν ετότερος (με προσ ήκη συν ηκών στον αρ ικό) και ένας νέος, ο οποίος παρά εται από το μηδέν. Στη συνέ εια, ο αρ ικός κανόνας αντικα ίσταται από αυτόν (εκ τ ν δύο) που έ ει το μικρότερο μήκος περι ραφής (descriptive length). Η διαδικασία αυτή ονομάζεται RIPPER (repeated incremental pruning to produce error reduction) και υ οποιείται στη WEKA με το όνομα JRip Γραμμικά μοντέ α Τα ραμμικά μοντέ α, παρά την απ ότητα της ραμμικότητάς τους, πο ές φορές σε πρα ματικά προ ήματα αποδίδουν αρκετά ικανοποιητικά. Με τέτοια μοντέ α μπορούμε να κάνουμε είτε πα ινδρόμηση (regression) είτε ταξινόμηση (classification). Η πα ινδρόμηση είναι ήδη αρκετά ν στή και δεν α ασ ο η ούμε περισσότερο από το να αναφέρουμε π ς ζητούμενος είναι ο προσδιορισμός τ ν αρών w 1, w 2,, w k στη σ έση: x = w 0 + w 1 α 1 + w 2 α w k α k (3.11) όπου x είναι η κ άση και α 1, α 2,, α k οι μετα ητές του συστήματος. Ο προσδιορισμός αυτός μπορεί να ίνει ε α ιστοποιώντας την απόσταση μεταξύ προ επόμεν ν και πρα ματικών κ άσε ν. Μπορούμε να επεκτείνουμε την ίδια ιδέα στην ταξινόμηση, ρίζοντας τα σημεία τ ν δεδομέν ν με μια ευ εία (ή επίπεδο, ή υπερεπίπεδο). Γενικώς, κάνουμε ραμμική πα ινδρόμηση ια κά ε κ άση, με άση μια συνάρτηση συμμετο ής (membership function). Σε πρώτη προσέ ιση, η συνάρτηση αυτή μπορεί να δίνει τιμή 1 αν ένα δεί μα ανήκει στην υπό εξέταση κ άση, ή τιμή 0 α ιώς. Σε αυτήν την περίπτ ση, δημιουρ ούμε μια ραμμική σ έση ια κά ε κ άση. Όταν εξετάζουμε ένα νέο δεί μα, υπο ο ίζουμε την τιμή κά ε σ έσης ια αυτό και το ταξινομούμε στην κ άση ια την οποία υπο ο ίζεται υψη ότερη τιμή. Αυτή η μέ οδος έ εται ραμμική πα ινδρόμηση πο απ ών αποκρίσε ν (multiresponse linear regression) και συ νά αποδίδει ικανοποιητικά. Ο ορισμός της συνάρτησης συμμετο ής με αυτόν τον τρόπο είναι αρκετά απ οϊκός και παρουσιάζει κάποια προ ήματα. Οι ραμμικές σ έσεις που προκύπτουν μπορούν να παρά- ουν τιμές συμμετο ής έξ από το διάστημα [0, 1], οπότε δεν προκύπτουν κα ώς ορισμένες πι ανότητες. Επίσης, η πα ινδρόμηση μερικών ε α ίστ ν τετρα ών ν προϋπο έτει ότι τα σφά ματα είναι στατιστικά ανεξάρτητα και ότι ανήκουν σε κανονική κατανομή με την ίδια τυπική απόκ ιση. Στην περίπτ σή μας στόσο αυτό δεν μπορεί να εφαρμοστεί, αφού το σφά μα ια κά ε σημείο α είναι ή 0 ή 1. [1] Για να αντιμετ πιστούν τέτοια προ ήματα, ρησιμοποιείται μια παρα α ή της με- όδου, η ο ιστική πα ινδρόμηση (Logistic Regression). Η συνάρτηση συμμετο ής που ρησιμοποιεί αμ άνει υπ' όψιν της ότι όσο πιο μακριά από τη δια ριστική ραμμή ρίσκεται ένα σημείο, τόσο υψη ότερη πι ανότητα έ ει να ανήκει στην αντίστοι η κ άση. Η πι ανότητα αυτή αναπαρίσταται από μια ο ιστική συνάρτηση (με τη νώριμη σι μοειδή καμπύ η). Θε ρούμε ότι κά ε σημείο αμ άνει μια ετικέτα l, η οποία σ ετίζεται με την κ άση του. Η l μπορεί να πάρει τιμές +1 ή 1. Η πι ανότητα ια l = +1 μπορεί να εκφραστεί 30

49 3.4. Α όρι μοι μά ησης ς εξής: P[l = +1 x] = exp( (ax + by + c)) Θε ρώντας ότι τα σημεία είναι ανεξάρτητα, μπορούμε να ράψουμε: N i=1 P[l i x i ] = N i= exp( l i (ax i + by i + c)) (3.12) (3.13) Η σ έση 3.13 δίνει την πι ανότητα τ ν δεδομέν ν (data likelihood). Επι υμούμε να προσε ίζει κατά το δυνατόν τη μονάδα. Έτσι, ια να ρούμε τις παραμέτρους a,b,c της ραμμής, επι ύουμε το αντίστοι ο πρό ημα με ιστοποίησης. Συνή ς, δεν ρησιμοποιούμε τη σ έση 3.13, α ά τη μετασ ηματισμένη σ έση 3.14: log N i=1 P[l i x i ] = N i=1 log(1 + exp( l i (ax i + by i + c))) (3.14) ή, πο απ ασιάζοντας με 1 ώστε να μετατρέψουμε το πρό ημα με ιστοποίησης σε πρό- ημα ε α ιστοποίησης, τη σ έση 3.15, όπου L η συνάρτηση απώ ειας (loss function) ή συνάρτηση κόστους (cost function): L = N i=1 log(1 + exp( l i (ax i + by i + c))) (3.15) Τε ικά, ο προσδιορισμός της δια ριστικής ευ είας (ή επιπέδου ή υπερεπιπέδου) μετασ ηματίζεται στην επί υση του προ ήματος ε α ιστοποίησης που περι ράφεται από τη σ έση 3.15, με μετα ητές τις παραμέτρους της καμπύ ης. [20] Μά ηση ασισμένη σε παραδεί ματα Στη μά ηση που ασίζεται σε παραδεί ματα, είδαμε ότι η κυρί ς διαδικασία της μά ησης ίνεται τη στι μή που ρειάζεται να αποφαν ούμε ια την κ άση ενός νέου δεί ματος. Η ενική μέ οδος υπα ορεύει να ρούμε το κοντινότερο ια το εξεταζόμενο δεί μα, σημείο τ ν δεδομέν ν και να του αποδώσουμε την ίδια κ άση. Η απόσταση ορίζεται είτε ς η συνη ισμένη ευκ είδεια απόσταση, είτε ς η απόσταση οικοδομικών τετρα ών ν (cityblock) είτε με ά ους, κατα η ότερους κατά περίπτ ση, τρόπους. Σημαντικό σε αυτή τη μέ οδο είναι οι διάφορες μετα ητές τ ν δεδομέν ν να έ ουν κανονικοποιη εί. Διαφορετικά, μετα ητές με ενικώς υψη ότερες τιμές α συνεισφέρουν περισσότερο στην απόσταση, ρίς όμ ς αυτό να σ ετίζεται με τη σημαντικότητά τους. Έτσι, κά ε μετα ητή v i, με μέ ιστη και ε ά ιστη τιμή στα δια έσιμα δεδομένα max v i και min v i αντιστοι ίζεται σε μια κανονικοποιημένη a i, η οποία παίρνει τιμές στο διάστημα [0, 1], σύμφ να με τη σ έση: a i = v i min v i max v i min v i (3.16) 31

50 Κεφά αιο 3. Εξόρυξη δεδομέν ν Εάν ε έ ξουμε ό α τα δια έσιμα σημεία ια να ρούμε το κοντινότερο, τότε ο ρόνος που απαιτείται εξαρτάται ραμμικά από το π ή ος τ ν δεδομέν ν (πο υπ οκότητα O(N)). Η διαδικασία μπορεί να συντομευ εί σημαντικά, δομώντας κατά η α τα δεδομένα. Για ένα σύστημα k διαστάσε ν μπορούμε να φτιάξουμε ένα kd-tree ς εξής: Δια έ ουμε τον άξονα κατά τον οποίο υπάρ ει η με α ύτερη διασπορά τ ν δεδομέν ν. Σε αυτόν τον άξονα, επι- έ ουμε ένα σημείο τ ν δεδομέν ν που να ρίσκεται στη διάμεσο ή κοντά στη μέση τιμή. Δημιουρ ούμε ένα δια ριστικό υπερεπίπεδο κά ετο σε αυτόν τον άξονα, στο οποίο ανήκει το επι ε μένο σημείο. Έτσι, έ ουμε έναν κόμ ο, από τον οποίο εξέρ ονται ένας κ άδος ια κά ε υποπεριο ή. Ο κόμ ος συμ ο ίζεται από το σημείο και τον άξονα ς προς τον οποίο ίνεται ο δια ρισμός. Στη συνέ εια, κά ε υποπεριο ή ρίζεται περαιτέρ, κατά προτίμηση έτσι ώστε να σ ηματίζονται υπερτετρά να. Επισημαίνεται ότι τα δέντρα που κατασκευάζονται σε αυτήν την περίπτ ση δεν εμπεριέ ουν την π ηροφορία της κ άσης ια κά ε σημείο και έτσι είναι διαφορετικά από τα δέντρα αποφάσε ν που ανα ύσαμε προη ουμέν ς. Έ οντας δομήσει έτσι τα δεδομένα, η αναζήτηση του κοντινότερου είτονα περιορίζεται σε κάποιες μόνο υποπεριο ές. Αρ ικά, εντοπίζουμε την υποπεριο ή στην οποία ανήκει το σημείο που εξετάζουμε, κα ώς και ένα δεδομένο σημείο που ρίσκεται σε αυτήν την περιο ή. Αν υπάρ ει κοντινότερος είτονας, τότε αυτός α ρίσκεται στο εσ τερικό ενός κύκ ου ( ια δυο διαστάσεις) με κέντρο το εξεταζόμενο σημείο και ακτίνα την απόστασή του από το δεδομένο σημείο που ρίσκεται στην ίδια περιο ή. Ο κύκ ος α τέμνει κάποιες ειτονικές περιο ές. Οι περιο ές αυτές μπορούν να αναζητη ούν εύκο α ακο ου ώντας το δέντρο από την περιο ή που ανήκει το εξεταζόμενο σημείο, προς τη ρίζα του. Έτσι, ρειάζεται να ε έ ξουμε μόνο τις περιο ές η δια ριστική ραμμή τ ν οποί ν τέμνει τον κύκ ο, ενώ μπορούμε να αποκ είσουμε ο όκ ηρους κ άδους του δέντρου. Αυτό είναι αρκετά εύκο ο από τη στι μή που οι δια ριστικές ραμμές είναι κά ετες στους άξονες. Η πο υπ οκότητα αυτού του συστήματος είναι O(log 2 N), αν το δέντρο είναι ισορροπημένο (well balanced). Εκτός από τη μεί ση του υπο ο ιστικού ρόνου, σημαντικό π εονέκτημα αυτής της δομής δεδομέν ν είναι ότι μπορούν εύκο α να προστε ούν νέα δεδομένα στον δει ματο ώρο: εντοπίζουμε την υποπεριο ή στην οποία ανήκει το σημείο, το τοπο ετούμε σε αυτήν και, αν δεν είναι το μοναδικό, ορίζουμε μια νέα δια ριστική ραμμή. Ένα πρό ημα που παρατηρείται σε αυτή τη μέ οδο είναι η περιο ή έρευνας που ορίζεται (δη αδή ο κύκ ος που αναφέραμε στην περίπτ ση 2D προ ημάτ ν) να επικα ύπτεται με με ά ο π ή ος περιο ών. Στις δύο διαστάσεις, μπορούμε να φανταστούμε τον κύκ ο να τέμνει πο ές ειτονικές περιο ές α ά να εμπεριέ ει μόνο τις νίες τους. Για να αντιμετ πιστεί αυτό το πρό ημα, το οποίο αυξάνει τον υπο ο ιστικό ρόνο, ρησιμοποιείται μια παρα α ή της με όδου kd-tree, η μέ οδος "ball tree". Σύμφ να με αυτήν, δεν ορίζονται ορ ο ώνιες περιο ές, α ά κυκ ικές περιο ές (υπερσφαίρες) που δια ρίζουν σταδιακά το σύνο ο τ ν δεδομέν ν σε ειτονικά. [1] Συσταδοποίηση Η συσταδοποίηση στο εύει στο δια ρισμό τ ν δεδομέν ν σε ομάδες, ρίς να ν ρίζουμε την κ άση τους. Η ευρύτερη κατη ορία με όδ ν που δεν ρησιμοποιούν την κ άση ια το δια ρισμό ονομάζεται μη κα οδη ούμενη μά ηση (unsupervised learning). Ο ρισμός 32

51 3.4. Α όρι μοι μά ησης σε ομάδες-συστάδες (clusters) μπορεί να ίνει με διάφορους τρόπους. Ένας τρόπος είναι να ορίσουμε εξ' αρ ής ένα π ή ος συστάδ ν και να αντιστοι ίσουμε κά ε δεί μα στην κοντινότερή του συστάδα. Ένας ά ος τρόπος είναι να ξεκινήσουμε ρίζοντας δύο ομάδες και στη συνέ εια να τις αναπτύξουμε περαιτέρ (ιεραρ ική συσταδοποίηση). Η κ ασσική μέ οδος συσταδοποίησης έ εται "k-means". Σύμφ να με αυτήν, ορίζουμε εξαρ ής ότι α ρίσουμε k διαφορετικές ομάδες. Στη συνέ εια, επι έ ουμε k αρ ικά σημεία (seeds) τα οποία ε ρούμε ς κέντρα τ ν συστάδ ν. Αντιστοι ίζουμε κά ε δεί μα στη συστάδα που ορίζεται από το κοντινότερο στο δεί μα κέντρο. Έπειτα, υπο ο ίζουμε το κεντροειδές ή το μέσο (mean) τ ν σημεί ν της ίδια συστάδας και επανα αμ άνουμε τη διαδικασία, ρησιμοποιώντας τώρα ς κέντρο κά ε συστάδας το κεντροειδές της. Επανα αμ άνουμε έ ς ότου να επι έ ονται τα ίδια σημεία σε κά ε συστάδα ή α ιώς να μην μετακινούνται ά ο τα κέντρα τ ν συστάδ ν. Η ύση που υπο ο ίζεται με αυτή τη μέ οδο δεν είναι το πα κόσμιο άριστο, α ά μονά α ένα τοπικό. Α άζοντας ε αφρώς την αρ ική τοπο έτηση τ ν σημεί ν μπορεί να ά ουμε αρκετά διαφορετική τε ική ύση. Έτσι, συ νά επανα αμ άνουμε τη διαδικασία αρκετές φορές, με διαφορετικά αρ ικά σημεία, και επι έ ουμε την κα ύτερη ύση. Για να κάνουμε μια πιο εύστο η επι ο ή τ ν αρ ικών σημεί ν, μπορούμε να ρησιμοποιήσουμε την παρα α ή "k-means++". Σύμφ να με αυτήν, το πρώτο αρ ικό σημείο επι έ εται τυ αία. Το δεύτερο επι έ εται με πι ανότητα ανά ο η της απόστασής του από το πρώτο. Το τρίτο με πι ανότητα ανά ο η της απόστασής του από τα ά α δύο και ούτ κα ' εξής. Έτσι, μπορούμε να έ ουμε και τα ύτερη σύ κ ιση. Για μεί ση του απαιτούμενου ρόνου μπορούμε και εδώ να εφαρμόσουμε τις με όδους kd-tree και ball tree που είδαμε στη μά ηση που ασίζεται σε παραδεί ματα. Τέ ος, ασικό ερώτημα είναι το πόσες συστάδες πρέπει να ορίσουμε σε ένα συ κεκριμένο πρό ημα. Για να αποφαν ούμε, μπορούμε να ξεκινήσουμε με δύο με ά ες συστάδες (k = 2) δημιουρ ώντας περισσότερες και κρίνοντας αν κά ε συστάδα αν αξίζει να αναπτυ εί περαιτέρ. [1] Νευρ νικά Δίκτυα Τα τε νητά νευρ νικά δίκτυα (Artificial Neural Networks) είναι εμπνευσμένα από τη δομή τ ν νευρών ν ιο ο ικών ορ ανισμών. Ένας νευρώνας αμ άνει ένα σήμα εισόδου και αποκρίνεται σε αυτό δίνοντας ένα σήμα εξόδου, π πο απ ασιάζοντας το σήμα εισόδου με μια στα ερά. Πο οί νευρώνες συνδυάζονται και μαζί δίνουν ένα σήμα εξόδου το οποίο εξαρτάται από ό ες τις εισόδους. Μια απ ή α ά πο ύ διαδεδομένη μορφή νευρ νικού δικτύου, της κατη ορίας feedforward (δη αδή δεν παρουσιάζει κ ειστούς ρό ους στη δομή του) είναι το Multilayer Perceptron. Στο σ ήμα 3.3 φαίνεται η ενική δομή ενός τέτοιου δικτύου με ένα κρυφό επίπεδο. Για να κατασκευαστεί ένα τέτοιο δίκτυο πρέπει να κα οριστούν η δομή και οι συντε εστές- άρη τ ν νευρών ν. Ένας απ ός νευρώνας ειτουρ εί όπ ς ένας ραμμικός classifier, άρα δημιουρ εί ένα δια ριστικό υπερεπίπεδο. Πο απ ασιάζει την είσοδο με έναν συντε εστή- άρος και προσ έτει μια στα ερά, η οποία κα είται bias. Η είσοδος μπορεί να είναι τιμές πο ών παραμέτρ ν, οπότε ο πο απ ασιασμός ίνεται με ένα διάνυσμα αρών. Το διάνυσμα αυτό προσδιορίζεται ς εξής: σε κά ε ήμα ε έ ονται ό α τα σημεία τ ν δεδομέν ν. Όταν ρε εί ένα σημείο που να μην ταξινομείται σ στά, τότε ό α τα άρη ενημερώνονται ώστε 33

52 Κεφά αιο 3. Εξόρυξη δεδομέν ν Σ ήμα 3.3: Δομή ενός feedforward νευρ νικού δικτύου, όπ ς το Multilayer Perceptron. (Πηγή: Wikimedia Commons - άδεια CC BY-SA) να ταξινομείται σ στά αυτό το σημείο. Πιο συ κεκριμένα, αν έ ουμε ένα πρό ημα δύο κ άσε ν και ε ρήσουμε μια από αυτές ς κύρια, τότε: αν το σημείο που δεν ταξινομείται σ στά ανήκει στην κύρια κ άση, τότε στο διάνυσμα τ ν παραμέτρ ν (συντε εστών αρύτητας) προσ έτουμε το διάνυσμα τ ν συντετα μέν ν του σημείου, διαφορετικά το αφαιρούμε. Ο α όρι μος αυτός ονομάζεται α όρι μος perceptron (. α όρι μο 3). Μια παρόμοια μέ οδος, ια δεδομένα με δυαδικές μετα ητές, είναι η μέ οδος Winnow. [1] Α όρι μος 3 Α όρι μος Perceptron ια την εκπαίδευση ενός νευρώνα [1] Θέσε ό ους τους συντε εστές αρύτητας ίσους με το μηδέν. επανά α ε ια κά ε δεί μα Ι στα δεδομένα εκπαίδευσης επανά α ε εάν το I δεν ταξινομείται σ στά από το perceptron τότε εάν το I ανήκει στην κύρια κ άση τότε πρόσ εσέ το στο διάνυσμα συντε εστών αρύτητας. α ιώς αφαίρεσέ το από το διάνυσμα συντε εστών αρύτητας. μέ ρι ό α τα δεί ματα στα δεδομένα εκπαίδευσης να ταξινομη ούν σ στά Ένα νευρ νικό δίκτυο αποτε είται από πο ούς νευρώνες και μπορεί να αντιμετ πίσει μη ραμμικά προ ήματα. Κά ε νευρώνας του επιπέδου εισόδου αμ άνει ένα σήμα εισόδου (τις τιμές τ ν παραμέτρ ν-συντετα μέν ν που αντιστοι ούν σε κά ε σημείο) και δίνει ένα σήμα εξόδου. Οι νευρώνες κά ε κρυφού επιπέδου αμ άνουν σήματα μόνο από τους νευρώνες εισόδου ή τους νευρώνες του προη ούμενου κρυφού επιπέδου και ό ι από το περι ά ον, στόσο ειτουρ ούν με τον ίδιο τρόπο. Οι νευρώνες του επιπέδου εξόδου δίνουν ς έξοδο το τε ικό σήμα (ένα ή περισσότερα). Κά ε νευρώνας αμ άνει ς είσοδο τον ραμμικό συνδυασμό τ ν σημάτ ν εξόδου τ ν προη ούμεν ν νευρών ν. Το συνο ικό 34

53 3.4. Α όρι μοι μά ησης σήμα εισόδου ρησιμοποιείται ς όρισμα στη συνάρτηση ενερ οποίησης του νευρώνα, η οποία παρά ει την έξοδο ή ενερ οποίησή του. Σε μια πρώτη προσέ ιση, μια συνάρτηση ενερ οποίησης είναι πρακτικά μια ηματική συνάρτηση που δίνει μοναδιαία έξοδο πάν από ένα κατώφ ι ή μηδενική α ιώς. Ωστόσο, επειδή είναι ρήσιμο οι συναρτήσεις ενερ οποίησης να είναι παρα ίσιμες, στη έση τ ν ηματικών συναρτήσε ν ρησιμοποιούνται σι μοειδείς συναρτήσεις με παρόμοια μορφή. Για τον υπο ο ισμό τ ν αρών κά ε νευρώνα εφαρμόζεται συνή ς μια διαδικασία που ονομάζεται "πίσ διάδοση" (back propagation). Ο α όρι μος αυτός ασίζεται στην ιδέα ότι το σφά μα εξόδου κά ε νευρώνα προκύπτει από τα σφά ματα τ ν νευρών ν που τον τροφοδοτούν και άρα μπορούμε να το μοιράσουμε σε αυτούς (. τον α όρι μο 4). Α όρι μος 4 Back-propagation ια εκπαίδευση νευρ νικών δικτύ ν [21] Δεδομένα: σύνο ο εκπαίδευσης με διάνυσμα εισόδου x και διάνυσμα εξόδου y, ένα δίκτυο με L επίπεδα, άρη W j,i και συνάρτηση ενερ οποίησης κά ε κόμ ου g. επανά α ε ια κά ε δεί μα e στα δεδομένα εκπαίδευσης επανά α ε ια κά ε κόμ ο j στο επίπεδο εισόδου επανά α ε a j x j [e] ια l = 2 έ ς L επανά α ε in i j W j,i a j a i g(in i ) ια κά ε κόμ ο i στο επίπεδο εξόδου επανά α ε Δ i g (in i ) (y i [e] a i ) ια l = L 1 έ ς 1 επανά α ε ια κά ε κόμ ο j στο επίπεδο l επανά α ε Δ j g (in j ) i W j,i Δ i ια κά ε κόμ ο i στο επίπεδο l + 1 επανά α ε W j,i W j,i + α a j Δ i μέ ρι να ικανοποιη εί κάποιο κριτήριο τερματισμού. Ένα νευρ νικό δίκτυο είναι τε ικά μια περίπ οκη μη ραμμική συνάρτηση, η οποία δημιουρ είται από σύν εση τ ν συναρτήσε ν ενερ οποίησης τ ν κόμ ν. Στα δίκτυα που παρουσιάσαμε τα σήματα τροφοδοτούνται μονά α προς τα εμπρός, ξεκινώντας από το επίπεδο εισόδου. Δεν εμφανίζεται σε κανένα σημείο ανατροφοδότηση ή είσοδος σε ενδιάμεσο σημείο. Υπάρ ουν ακόμα και ά ες δομές νευρ νικών δικτύ ν [21], όπ ς και πο οί ά οι α όρι μοι εκπαίδευσης νευρ νικών δικτύ ν, μεταξύ τ ν οποί ν και α όρι μοι που έ ουν αναπτυ εί από τη μονάδα Αυτόματης Ρύ μισης και Π ηροφορικής της Σ ο ής Χημικών Μη ανικών ΕΜΠ [22, 23]. 35

54 Κεφά αιο 3. Εξόρυξη δεδομέν ν Σ ήμα 3.4: Παράδει μα δια ρισμού με SVM (2D, 2 κ άσεις, ραμμικώς δια ριζόμενα δεδομένα)(πηγή: Wikimedia commons - άδεια public domain) Μη ανές Διανυσμάτ ν Υποστήριξης (SVM) Οι α όρι μοι τύπου Support Vector Machines (SVM) είναι μια σ ετικά πρόσφατη προσέ - ιση, που δίνει μερικές φορές κα ύτερα αποτε έσματα από ά ους, πα αιότερους α ορί μους. Η κεντρική ιδέα είναι η δημιουρ ία μιας δια ριστικής ευ είας ραμμής ( ενικότερα υπερεπιπέδου) η οποία να έ ει τη με α ύτερη δυνατή απόσταση από τις προς δια ρισμό κ άσεις. Στην απ ούστερη περίπτ ση, έ ουμε δύο κ άσεις και τα δεί ματα αυτών είναι τε εί ς ραμμικώς δια ριζόμενα. Δη αδή έ ουμε δύο ευδιάκριτες ομάδες σημεί ν που μπορούν να ριστούν με π.. μια ευ εία ραμμή (σε 2D προ ήματα). Επεκτείνοντας, μπορούμε να ορίσουμε μια ανο ή σε σφά ματα, ώστε αν ενικώς τα δεί ματα είναι ραμμικώς δια ριζόμενα, α ά κάποια σημεία ταξινομούνται αν ασμένα, να είναι δυνατή η ρήση ραμμικών με όδ ν, αποδε όμενοι όμ ς ένα μικρό σφά μα. Σημαντική επέκταση αυτών τ ν α ορί μ ν είναι η αντιμετώπιση μη- ραμμικώς δια ριζομέν ν κ άσε ν, μέσ αντιστοί ισης του ώρου τ ν δει μάτ ν (π 2D) σε έναν ώρο περισσότερ ν διαστάσε ν, όπου είναι δυνατός ο ραμμικός δια ρισμός. Η υπό εση ια δύο κ άσεις μπορεί να ικανοποιη εί και ια προ ήματα περισσότερ ν κ άσε ν, με κατά η ους τρόπους, ενώ μπορούν να ίνουν και κατά η ες μετατροπές ια επιτυ ή αντιμετώπιση προ ημάτ ν με έντονα μη ισοπ η είς κ άσεις. Μια πο ύ κα ή εισα ή στους α ορί μους SVM ίνεται στο review του Ovidiu Ivanciuc [24]. Ας δούμε πρώτα την περίπτ ση που έ ουμε δύο ραμμικώς δια ριζόμενες κ άσεις, τις οποίες συμ ο ίζουμε με +1 και -1. Ένα παράδει μα φαίνεται στο σ ήμα 3.4. Για να προσδιορίσουμε το δια ριστικό υπερεπίπεδο, αρκεί να υπο ο ίσουμε τους συντε- εστές της εξίσ σης που το εκφράζει: {x S w x + b = 0}, w S, b R (3.17) δη αδή τους συντε εστές w τ ν διαστάσε ν x και τον στα ερό όρο b. Η κ άση ενός 36

55 3.4. Α όρι μοι μά ησης σημείου συμπεραίνεται από την "π ευρά" του υπερεπιπέδου στην οποία αυτό ρίσκεται. Έτσι, εδώ η κ άση ενός νέου σημείου x k α είναι: class(x k ) = {+1 εάν w x + b > 0 ή 1 εάν w x + b < 0} (3.18) Το δια ριστικό που έ ουμε να κατασκευάσουμε πρέπει να είναι τέτοιο ώστε να ισ ύουν ταυτό ρονα: w x i + b > +1 εάν y i = +1 (3.19) ή, κομψότερα: w x i + b < 1 εάν y i = 1 (3.20) y i (w x i + b) 1 0 (3.21) Η απόσταση ενός σημείου x από το δια ριστικό υπερεπίπεδο (το οποίο ορίζεται από τα w και b) είναι: w x + b d(x; w, b) = (3.22) w ενώ η απόσταση του δια ριστικού από την αρ ή τ ν αξόν ν είναι: d = b w (3.23) Για τα υπερεπίπεδα-ευ είες στα οποία ισ ύουν ακρι ώς οι ισότητες, όπου συναντάμε τα πρώτα σημεία κά ε κ άσης, οι αποστάσεις από την αρ ή τ ν αξόν ν είναι: d 1 = 1 b w και d +1 = + 1 b w (3.24) έτσι, η απόσταση μεταξύ τ ν δύο αυτών υπερεπιπέδ ν-ευ ειών είναι 2/ w Η απόσταση αυτή κα είται περι ώριο (margin). Τε ικά, το πρό ημα κατασκευής ενός υπερεπιπέδου με τη μέ ιστη απόσταση από τα δεδομένα μεταφράζεται στη με ιστοποίηση του περι ρίου, ή α ιώς στην ε α ιστοποίηση του w. Στο ίδιο αποτέ εσμα οδη εί επίσης η ε α ιστοποίηση του w 2 /2. Τε ικά, το πρό ημα ε τιστοποίησης που πρέπει να επι υ εί είναι το: ε α ιστοποίησε την f (x) = w 2 2 με τους περιορισμούς g i (x) = y i (w x i + b) 1 0, i = 1,, m (3.25) Σε πρα ματικά προ ήματα, συνή ς δεν παρατηρείται τέ ειος ραμμικός δια ρισμός. Δη αδή, ενώ φαίνεται κατά κύριο ό ο τα δεδομένα να δια ρίζονται από π.. μια ευ εία ραμμή, κάποια σημεία κατα ή ουν στη ά ος π ευρά, ια κά ε δυνατή ευ εία. Σε τέτοιες περιπτώσεις, ο παραπάν α όρι μος δεν μπορεί να δώσει ύση, μπορεί όμ ς να τροποποιη εί, ώστε να δημιουρ η εί η δια ριστική ευ εία που α δίνει το ε ά ιστο δυνατό σφά μα ταξινόμησης. Για να αντιμετ πιστεί το πρό ημα, εισά εται μια μετα ητή ποινής, η οποία συμ ο- ίζεται με ξ. Η μετα ητή αυτή παίρνει μηδενική τιμή ια σημεία τα οποία ταξινομούνται σ στά και τιμή η οποία αυξάνεται κα ώς αυξάνει η απόσταση από το δια ριστικό, ια τα σημεία που δεν ταξινομούνται σ στά: 37

56 Κεφά αιο 3. Εξόρυξη δεδομέν ν ξ i (w, b) = 0 αν y i(w x i + b) +1 1 y i (w x i + b) αν y i (w x i + b) +1 Σε αυτήν την περίπτ ση, οι περιορισμοί του προ ήματος διαμορφώνονται ς εξής: (3.26) ή α ιώς: w x i + b +1 ξ i αν y i = +1 w x i + b 1 + ξ i αν y i = 1 ξ i 0, i (3.27) y i(w x i + b) +1 ξ i, ξ i 0, i = 1,, m i = 1,, m (3.28) Παρατηρείται το εξής: από τη μια, πρέπει να με ιστοποιη εί το εύρος, κα ώς αυτό υπα ορεύει η αρ ή της με όδου. Από την ά η, πρέπει να ε α ιστοποιη εί το σφά μα ταξινόμησης, το οποίο α είναι τόσο με α ύτερο, όσο με α ύτερο είναι το εύρος. Για να αντιμετ πιστεί αυτό, προσ έτουμε έναν όρο ποινής στην αντικειμενική συνάρτηση, η οποία τε ικά ίνεται: w C m i=1 k ξ i (3.29) όπου C είναι μια παράμετρος που κα ορίζει το μέ ε ος της ποινής και μπορεί να είναι διαφορετική ια κά ε κ άση. Συνή ς προτιμάται η μορφή με k = 1, ό απ οποιήσε ν που προκύπτουν στην επί υση του προ ήματος ε τιστοποίησης. Έτσι, το προς επί υση πρό ημα διαμορφώνεται ς εξής: ε α ιστοποίησε την w C m i=1 ξ i με τους περιορισμούς y i(w x i + b) +1 ξ i, ξ i 0, i = 1,, m i = 1,, m (3.30) Σε ορισμένες περιπτώσεις, τα δεδομένα δεν μπορούν να περι ραφούν ικανοποιητικά από έναν απ ό ραμμικό δια ρισμό. Όμ ς, με κατά η ο μετασ ηματισμό σε ένα ώρο υψη ότερης διάστασης, μπορούν να ίνουν ραμμικώς δια ριζόμενα. Ένας τέτοιος μετασ ηματισμός ράφεται: x = (x 1, x 2,, x n ) φ(x) = (φ 1 (x), φ 2 (x),, φ h (x)) (3.31) και το μετασ ηματισμένο σύνο ο δεδομέν ν είναι: φ(t) = {(φ(x 1 ), y 1 ), (φ(x 2 ), y 2 ),, (φ(x m ), y m )} (3.32) Για να συμπεράνουμε την κ άση ενός σημείου x k ρησιμοποιούμε, αντί ια το ίδιο το σημείο, την απεικόνισή του στον νέο ώρο: 38

57 3.4. Α όρι μοι μά ησης class(x k ) = sign[w φ(x k ) + b] = sign m i=1 λ i y i φ(x i ) φ(x k ) + b (3.33) όπου λ i είναι πο απ ασιαστές Lagrange που ρησιμοποιούνται (όπ ς και στη ραμμική μέ οδο) ια την επί υση του προ ήματος ε τιστοποίησης. Παρατηρούμε ότι ια να συμπεράνουμε την κ άση, είναι απαραίτητο να υπο ο ίσουμε το εσ τερικό ινόμενο φ(x i ) φ(x k ) ια ό α τα διανύσματα υποστήριξης x i. Ένα ειδικό είδος συναρτήσε ν, οι οποίες κα ούνται kernels, επιτρέπουν τον υπο ο ισμό αυτού του εσ τερικού ινομένου στον αρ ικό ώρο ( αμη ότερης διάστασης). Για παράδει μα, έστ ο αρ ικός ώρος 2 διαστάσε ν x = (x 1, x 2 ) και ο εξής μετασ ηματισμός σε έναν ώρο 6 διαστάσε ν: φ(x) = 1, 2x 1, 2x 2, x 1 2, x 2 2, 2x 1 x 2 (3.34) το εσ τερικό ινόμενο μεταξύ δύο σημεί ν στον με α ύτερης διάστασης ώρο μπορεί να υπο ο ιστεί ρησιμοποιώντας μονά α τα σημεία στον αρ ικό ώρο, ς εξής: K(x i, x j ) = φ(x i ) φ(x j ) = (1 + x i x j ) 2 (3.35) Το παραπάν είναι ένα πο υ νυμικό kernel 2ου α μού. Υπάρ ουν και ά α είδη kernel functions. Η πιο απ ή μορφή, η οποία ρησιμοποιείται μονά α ια τον έ ε ο της μη- ραμμικότητας και τη σύ κριση με ά α kernels είναι η τετρα νική: K(x i, x j ) = x i x j (3.36) Η ενικότερη μορφή τ ν πο υ νυμικών kernels ( α μού d) είναι: K(x i, x j ) = (1 + x i x j ) d (3.37) Παρότι τα πο υ νυμικά kernels είναι απ ά και αρκετά αποτε εσματικά, υπάρ ει ο κίνδυνος του overfitting ια υψη ές τιμές του α μού d. Πο ύ συνη ισμένα είναι επίσης τα Radial Basis Function kernels, κυρί ς στην καουσιανή τους μορφή: K(x i, x j ) = exp x i x j 2 2σ 2 = exp γ x i x j 2 (3.38) Η παράμετρος σ (ή, αντιστοί ς, η γ) κα ορίζει το σ ήμα του δια ριστικού υπερεπιπέδου και επηρεάζει το π ή ος τ ν σημεί ν που ρησιμοποιούνται ς διανύσματα υποστήριξης. Το έ τιστο ια την τιμή της στην πράξη κα ορίζεται με μια διαδικασία cross-validation. Μια παρόμοια μορφή RBF kernel είναι η εκ ετική, που διαφέρει μόνο στην απουσία του εκ έτη στον αρι μητή. Συνη ισμένος τύπος είναι επίσης τα σι μοειδή kernels: K(x i, x j ) = tanh(ax i x j + b) (3.39) Τε ικά, το πρό ημα τ ν μη- ραμμικώς δια ριζόμεν ν δεδομέν ν, αντιμετ πίζεται ομοί ς με την απ ούστερη περίπτ ση όπου υπάρ ει ραμμικός δια ρισμός, αντικα ιστώντας τα 39

58 Κεφά αιο 3. Εξόρυξη δεδομέν ν σημεία x με τα μετασ ηματισμένα φ(x) και το εσ τερικό ινόμενο φ(x i ) φ(x j ) με μια συνάρτηση kernel K(x i, x j ). Μια ά η προσέ ιση τ ν α ορί μ ν SVM είναι η ν-svm. Εδώ, η παράμετρος ποινής C (η οποία μπορεί να ά ει τιμές στο [0, + )) αντικα ίσταται από μια παράμετρο ν, η οποία αμ άνει τιμές στο διάστημα [0, 1]. Η παράμετρος αυτή κα ορίζει το κ άσμα τ ν σημεί ν του δει ματο ώρου τα οποία είναι διανύσματα υποστήριξης και ρίσκονται στη ά ος π ευρά του δια ριστικού υπερεπιπέδου. Το πρό ημα ε τιστοποίησης που προκύπτει ια το ν- SVM είναι: ε α ιστοποίησε την w 2 2 νρ m i=1 ξ i με τους περιορισμούς y i(w x i + b) ρ ξ i, ξ i 0, i = 1,, m i = 1,, m (3.40) Εάν ένας ν-svm classifier οδη εί σε ρ > 0, τότε ένας C-SVM classifier με C = 1/mρ έ ει την ίδια συνάρτηση απόφασης. Σε ό η την ανά υση παρουσιάστηκαν προ ήματα δύο κ άσε ν. Εάν οι κ άσεις είναι περισσότερες, τότε το πρό ημα μπορεί να αντιμετ πιστεί σ εδόν άμεσα με τους α ορί μους δύο κ άσε ν. Μια προσέ ιση ια ένα k-κ άσε ν πρό ημα είναι να εξετάσουμε k τ π ή ος μοντέ α, όπου σε κά ε ένα εξετάζουμε τα σημεία της μιας κ άσης, ς προς τα σημεία ό ν τ ν υπο οίπ ν κ άσε ν μαζί. Μια ά η προσέ ιση είναι να εξετάσουμε κά ε κ άση ς προς κά ε μια ά η κ άση ξε ριστά και να αποδώσουμε στο προς εξέταση δεί μα την πιο συ νή τιμή κ άσης. Στη ι ιο ραφία συναντάει κανείς και περισσότερο εξε ι μένες με όδους [24]. 3.5 Συναινετική μά ηση Οι σημαντικές αποφάσεις συ νά δεν αφήνονται στην κρίση ενός αν ρώπου, α ά αμ άνονται από κάποια επιτροπή. Ας φανταστούμε ένα δύσκο ο ιατρικό περιστατικό και μια ομάδα ιατρών η οποία έ ει ανα ά ει να το εξετάσει. Οι ιατροί που συμμετέ ουν στην ομάδα μπορεί να έ ουν, ο κα ένας μόνος του, διαφορετικό ποσοστό επιτυ ημέν ν αποφάσε ν. Ενδε ομέν ς μά ιστα ο κά ε ιατρός να αντιμετ πίζει κα ύτερα συ κεκριμένες περιπτώσεις. Στό ος της ομάδας είναι να συνδυάσει τις διαφορετικές δια νώσεις ώστε να αποφαν εί όσο το δυνατόν κα ύτερα ια την περίπτ ση. Αντιστοί ς στη μη ανική μά ηση, μπορούμε να συνδυάσουμε διαφορετικά μοντέ α ώστε να δημιουρ ήσουμε ένα κα ύτερο μοντέ ο. Τα μοντέ α που α ρησιμοποιήσουμε μπορεί να προέρ ονται από διαφορετικούς α ορί μους μά ησης ή από τον ίδιο, ρησιμοποιώντας διαφορετικά σύνο α εκπαίδευσης. Σε προ ήματα ταξινόμησης, η κ άση μπορεί να προκύπτει από ψηφοφορία μεταξύ τ ν μοντέ ν και κά ε μοντέ ο μπορεί να συμμετέ ει ισότιμα ή με κάποια αρύτητα στην τε ική απόφαση. Αντιστοί ς, σε προ ήματα πα ινδρόμησης, μπορεί να ε ρη εί ς έξοδος η μέση τιμή (στα μισμένη ή μη) τ ν εξόδ ν κά ε μοντέ ου. Τε ικά, συνδυάζοντας μοντέ α με αμη ότερη επιτυ ία σε σ έση με κάποιο ά ο, μπορούμε να επιτύ ουμε υψη ότερη επιτυ ία από αυτό, κάτι που παρατηρή ηκε και κατά την επεξερ ασία του Προ ήματος 1. 40

59 3.6. Έ ε ος παρα όμενου μοντέ ου Συνή εις μέ οδοι που ρησιμοποιούνται είναι οι bagging, boosting και stacking. Στη μέ οδο bagging, συνδυάζονται μοντέ α ίδιου τύπου και το αποτέ εσμα προκύπτει από απ ή ψηφοφορία. Στη μέ οδο boosting, συνδυάζονται πά ι μοντέ α ίδιου τύπου, α ά το τε ικό αποτέ εσμα προκύπτει από στα μισμένη ψηφοφορία: κά ε μοντέ ο αμ άνει έναν συντε εστή αρύτητας σ ετικό με την επιτυ ία του. Στη μέ οδο stacking, συνδυάζονται μοντέ α διαφορετικού είδους (δη αδή μοντέ α που έ ουν προκύψει από διαφορετικούς α ορί μους). Το τε ικό αποτέ εσμα προκύπτει πά ι από ψηφοφορία, στόσο ρειάζεται τα διαφορετικά μοντέ α να έ ουν αντίστοι ους α μούς επιτυ ίας. Για τη ρήση συντε εστών αρύτητας, η μέ οδος επεκτείνεται, προσπα ώντας να κατανοήσει ποιοι α όρι μοι είναι οι πιο αξιόπιστοι. [1] 3.6 Έ ε ος παρα όμενου μοντέ ου Αφού εκπαιδευτεί ένα μοντέ ο, πρέπει να μετρη εί η ικανότητά του να περι ράφει σ στά το υπό εξέταση σύστημα, δη αδή η ικανότητά του να ενικεύει τη νώση που αποκτά από τα δεδομένα εκπαίδευσης. Δεν μπορούμε όμ ς να αξιο ο ήσουμε ένα μοντέ ο ρησιμοποιώντας ς κριτήριο την επιτυ ία πρό εψης της κ άσης τ ν δεδομέν ν πάν στα οποία έ ει εκπαιδευτεί, κα ώς αυτό δεν δίνει καμία π ηροφορία ς προς το πώς α συμπεριφερ εί το μοντέ ο εκεί που τε ικά ρειάζεται, δη αδή στο να αποφαν εί ια νέα, ά ν στα δεί ματα (συνή ς ένα κ άσμα τ ν συνο ικών δεδομέν ν, το οποίο δεν ρησιμοποιείται στη φάση της εκπαίδευσης). Με ένα περίπ οκο μοντέ ο, μπορούμε να επιτύ ουμε 100% επιτυ ία στα δεδομένα εκπαίδευσης, ρίς όμ ς αυτό το μοντέ ο να έ ει καμία αξία ενίκευσης. Ας σκεφτούμε τι α ινόταν αν σε π.. 5 σ εδόν συνευ ειακά σημεία στον R 2 προσαρμόζαμε ένα πο υώνυμο 6ου α μού. Παρότι α επιτυ άναμε 100% επιτυ ία ια τα 5 σημεία μας, νέα σημεία δεν α προ έπονταν σ στά. Ο κίνδυνος της υπερπροσαρμο ής (overfitting) είναι υπαρκτός, στόσο υπάρ ει τρόπος να αντιμετ πιστεί. Συνή ς, το σύνο ο δεδομέν ν ρίζεται σε N ισοπ η ή υποσύνο α, με τυ αίο τρόπο. Η διαδικασία εκπαίδευσης και αξιο ό ησης διανύει N επανα ήψεις και ονομάζεται N-fold cross-validation. Σε κά ε επανά ηψη, ένα από τα υποσύνο α (διαφορετικό κά ε φορά) ρησιμοποιείται μονά α ια την αξιο ό ηση, ενώ τα υπό οιπα N 1 ια την εκπαίδευση και σταδιακά σ ηματίζονται τα συ κεντρ τικά αποτε έσματα με τις προ έψεις ια κά ε σημείο. Συ νά ρησιμοποιείται 10-fold cross-validation. Η διαδικασία αυτή μειώνει αρκετά τον κίνδυνο υπερπροσαρμο ής και αξιοποιεί ό α τα δια- έσιμα δεδομένα, τα οποία σε ορισμένα προ ήματα μπορεί να είναι ί α. Αν στην παράμετρο N δ σουμε τιμή ίση με το π ή ος τ ν δια έσιμ ν δεδομέν ν, τότε έ ουμε τη μέ οδο Leave-One-Out Cross-Validation. Kά ε σημείο δοκιμάζεται σε ένα μοντέ ο που έ ει δημιουρ η εί ρησιμοποιώντας σ εδόν ό α τα δια έσιμα δεδομένα ( στόσο αυτό απαιτεί την εκπαίδευση N μοντέ ν). Αυτή είναι επίσης μια ντετερμινιστική διαδικασία, κα ώς δεν υπεισέρ εται τυ αιότητα στον τρόπο με τον οποίο δημιουρ ούνται τα υποσύνο α. Μια ακόμα διαδικασία είναι η Bootstrap, με την οποία τα δεδομένα στα οποία ίνεται η εκπαίδευση επι έ ονται με επαναπό εση, δη αδή είναι πι ανό κάποια δεδομένα να ρησιμοποιη ούν πάν από μία φορές. [1] Ανεξάρτητα από τον τρόπο ρισμού τ ν δεδομέν ν, ένα σημαντικό έμα είναι και το 41

60 Κεφά αιο 3. Εξόρυξη δεδομέν ν μέτρο με το οποίο ίνεται η αξιο ό ηση. Όπ ς αναφέραμε και στην ενότητα 2.4.4, σε ένα σύνο ο δεδομέν ν με ανομοιόμορφη κατανομή κ άσε ν, όπου π το 95% τ ν δει μάτ ν ανήκει στην κ άση Α και το 5% στην κ άση Β, ένας κανόνας που κατατάσσει ό α τα δεί ματα στην κ άση Α α έ ει 95% συνο ική ακρί εια, α ά προφανώς δε α έ ει καμία ρησιμότητα. Για αυτόν τον ό ο είναι σημαντικό να εξετάζουμε και την ικανότητα ενός μοντέ ου να προ έπει κά ε κ άση ξε ριστά. Αυτό μπορεί να ίνει παρατηρώντας τον "confusion matrix" που προκύπτει κατά τον έ ε ο ενός μοντέ ου. Πο ά παραδεί ματα εμφανίζονται στην ανά υση τ ν προ ημάτ ν (. π τον πίνακα 6.2 στην σε ίδα 80). Κά ε ραμμή του πίνακα αντιστοι εί σε μια από τις ν στές κ άσεις. Κά ε στή η αντιστοι εί σε μια από τις προ επόμενες κ άσεις. Τα στοι εία a i,j του πίνακα αντιστοι ούν στο π ή ος τ ν σημεί ν της i κ άσης που έ ουν αποδο εί στην κ άση j. Ένα κα ό μοντέ ο πρέπει να δίνει υψη ές τιμές στα στοι εία της δια νίου και μικρές στα υπό οιπα. Ένας κανόνας που κατατάσσει ό α τα στοι εία σε μία κ άση, όπ ς στο τε ευταίο παράδει μα, α έ ει τιμές μόνο σε μία στή η του πίνακα. Έ οντας δια έσιμο τον confusion matrix είναι δυνατός ο υπο ο ισμός οποιουδήποτε επι υμητού ά ου μέτρου αξιο ό ησης όπ ς η ευστο ία (specificity) και η ευαισ ησία (sensitivity) που αναφέραμε στην ενότητα Επι ο ή μετα ητών Σε ορισμένα προ ήματα μπορεί να έ ουμε στη διά εσή μας ένα με ά ο π ή ος μετρούμεν ν μετα ητών, ρίς συνή ς πο ές από αυτές να παρέ ουν σημαντική π ηροφορία και ρίς πάντα να έ ουμε αντιστοί ς με ά ο π ή ος δεδομέν ν-δει μάτ ν. Παρότι μπορούμε να κατασκευάσουμε μοντέ α ρησιμοποιώντας ό ες τις μετα ητές, είναι κα ό να ρησιμοποιήσουμε τις ε ά ιστες δυνατές. Ενσ ματώνοντας μετα ητές που δεν σ ετίζονται με την έξοδο, προσ έτουμε περισσότερο όρυ ο στα δεδομένα και δυσ αιρένουμε την εύρεση τ ν πρα ματικών συσ ετίσε ν μεταξύ εισόδου και εξόδου. Επίσης παρά ουμε πο υπ οκότερα μοντέ α, κάτι που μπορεί να οδη ήσει σε αναξιοπιστία (. υπερπροσαρμο ή) και αύξηση τ ν παραμέτρ ν που πρέπει να προσδιοριστούν. Ακόμα, αυξάνει την πι ανότητα εμφάνισης α η οσυσ ετιζόμεν ν μετα ητών εισόδου. Στό ος οιπόν είναι να μειώσουμε τις μετα ητές που ρησιμοποιούμε σε ένα μοντέ ο. Αυτό συνή ς αντιμετ πίζεται ς ένα πρό ημα ε τιστοποίησης με στό ο την ε α ιστοποίηση του σφά ματος, μετα ά οντας το π ή ος τ ν μετα ητών. Ένα πρό ημα επι ο ής μετα ητών αποτε είται από τα εξής συστατικά: 1. έναν α όρι μο έρευνας 2. μια αντικειμενική συνάρτηση 3. έναν α όρι μο μοντε οποίησης της συσ έτισης μεταξύ τ ν μετα ητών εισόδου και εξόδου Συνη ισμένοι α όρι μοι έρευνας σε προ ήματα επι ο ής μετα ητών είναι οι Γενετικοί Α όρι μοι και η Προσομοι μένη Ανόπτηση (δεν α ασ ο η ούμε). Στό ος του προ ήματος επι ο ής μετα ητών είναι τόσο η μεί ση τ ν μετα ητών (απ ότητα) όσο και η 42

61 3.7. Επι ο ή μετα ητών μεί ση του σφά ματος (ακρί εια). Οι δύο συ νά αντικρουόμενοι στό οι μπορεί να αντιμετ πιστούν μαζί σε μία αντικειμενική συνάρτηση ή ς ξε ριστά προ ήματα. Τέ ος, ο α όρι μος μοντε οποίησης που α ρησιμοποιη εί πρέπει να είναι ακρι ής α ά και ρή- ορος, αφού α εφαρμοστεί πο ές φορές. [22] Στο Πρό ημα 2 εφαρμόζουμε μια διαδικασία επι ο ής μετα ητών όπου ρησιμοποιούμε έναν Γενετικό Α όρι μο ια να υπο ο ίσουμε τα κα ύτερα μοντέ α 1 μετα ητής, 2 μετα ητών,, N μετα ητών και τε ικά επι έ ουμε κάποιο που να δίνει ικανοποιητικά μικρό π ή ος μετα ητών ταυτό ρονα με ικανοποιητικά υψη ή ακρί εια. Αυτή η μέ οδος ονομάζεται Subset Selection και ανήκει σε μια οικο ένεια με όδ ν που ονομάζεται "wrapper method" η οποία έ ει τις εξής παρα α ές: [13] Forward Selection Ξεκινώντας ρίς καμία μετα ητή, προσ έτουμε σε κά ε ήμα τη μετα ητή που ε τιώνει περισσότερο την επιτυ ία του μοντέ ου. Backward Elimination Ξεκινώντας με ό ες τις δια έσιμες μετα ητές, αφαιρούμε σε κά ε ήμα τη μετα ητή που μειώνει ι ότερο την επιτυ ία του μοντέ ου. Stepwise Selection Συνδυασμός τ ν δυο παραπάν. Ξεκινώντας ρίς καμία μετα ητή, προσ έτουμε σε κά ε ήμα τη μετα ητή που ε τιώνει περισσότερο την επιτυ ία του μοντέ ου. Μετά από κά ε προσ ήκη, ε έ ονται οι μετα ητές που έ ουν επι ε εί και αφαιρούνται όσες δεν συνεισφέρουν π έον σημαντικά στην επιτυ ία του μοντέ ου. Subset Selection Σταδιακά δημιουρ είται το κα ύτερο μοντέ ο μιας μετα ητής, το κα- ύτερο μοντέ ο δύο μετα ητών, κτ, μέ ρι τη δημιουρ ία του κα ύτερου μοντέ ου N μετα ητών. Οι μετα ητές ε έ ονται είτε αμ άνοντας ό ους τους πι ανούς συνδυασμούς, είτε ρησιμοποιώντας κάποια ευρετική μέ οδο Γενετικοί α όρι μοι Στη φύση παρατηρείται εξέ ιξη τ ν ειδών, κατά την οποία επικρατούν ορ ανισμοί με αρακτηριστικά που ευνοούν την επι ί σή τους. Η αναπαρα ή με δύο ονείς οδη εί σε απο όνους που φέρουν αρακτηριστικά και τ ν δύο. Άτομα που έ ουν κα ύτερα αρακτηριστικά έ ουν υψη ότερη πι ανότητα να επι ιώσουν και να δώσουν απο όνους. Μά ιστα, ένας ορ ανισμός με κα ύτερα αρακτηριστικά α δώσει και περισσότερους απο όνους. Ταυτό ρονα, ένα μικρό κομμάτι του ενετικού υ ικού μετα άσσεται μέσα στον ρόνο με τυ αίο τρόπο, οδη ώντας ορισμένες φορές στην εμφάνιση νέ ν αρακτηριστικών. Τε ικά, τα κα ά αρακτηριστικά, δη αδή αυτά που δίνουν στους ορ ανισμούς την ικανότητα να επι ιώνουν και να δίνουν απο όνους, διατηρούνται από ενιά σε ενιά και τε ικά επικρατούν. Αντιστοί ς ειτουρ εί η Γενετική Έρευνα. Ξεκινώντας με έναν π η υσμό διαφορετικών ύσε ν, δημιουρ ούνται με εξε ικτικό τρόπο νέες ύσεις, εφαρμόζοντας τις ίδιες ιδέες της επι ο ής, της διασταύρ σης και της μετά αξης. Οι ύσεις αναπαρίστανται ς διανύσματα που κα ούνται ρ μοσώματα και κά ε στοι είο του διανύσματος αμ άνει μια δυαδική, ακέραια ή συνε ή τιμή, ανά ο α με το πρό ημα. Π.., στο πρό ημα επι ο ής 43

62 Κεφά αιο 3. Εξόρυξη δεδομέν ν αντικειμέν ν, κά ε στοι είο έ ει τιμή 0 ή 1, που αντιπροσ πεύει το αν το αντίστοι ο αντικείμενο α επι ε εί ή ό ι. Από την ά η, στο πρό ημα του περιοδεύοντος π ητή, κά ε στοι είο έ ει μια ακέραια τιμή που δεί νει μια πό η, ενώ ό ο το ρ μόσ μα δεί νει τη σειρά τ ν πό ε ν. Ο α όρι μος 5 αποτε εί μια τυπική περίπτ ση ενετικού α ορί μου. [25] Α όρι μος 5 Γενικό σ ήμα ενός Γενετικού Α ορί μου [25] Δημιούρ ησε έναν αρ ικό π η υσμό ύσε ν Υπο ό ισε την κατα η ότητα κά ε ατόμου από τον π η υσμό αυτό επανά α ε επανά α ε Επέ εξε δύο άτομα από τον π η υσμό ια αναπαρα ή Συνδύασε τους εννήτορες ια την παρα ή δύο απο όν ν Υπο ό ισε την κατα η ότητα τ ν απο όν ν Εισή α ε τους απο όνους στο νέο π η υσμό ύσε ν μέ ρι να συμπ ηρ εί μια π ήρης ύση μέ ρι να ικανοποιη εί κάποιο κριτήριο τερματισμού Η διαδικασία της επι ο ής ασίζεται σε μια συνάρτηση κατα η ότητας. Αυτή μπορεί να είναι π.. το κόστος ή το όφε ος κά ε ύσης και δεί νει την ικανότητα επι ί σης του φαινότυπου που προκύπτει από το αντίστοι ο ρ μόσ μα. Μια συνάρτηση κατα η ότητας πρέπει να είναι ομα ή και απ ή, έτσι ώστε ρ μοσώματα παρόμοιας κατα η ότητας να είναι παρόμοια. Αφού σ ηματιστεί ένας π η υσμός και αξιο ο η ούν τα ρ μοσώματα, η επι ο ή μπορεί να ίνει με δύο τρόπους. Ο πρώτος τρόπος είναι σύμφ να με την κατα η ότητα κά ε ρ μοσώματος. Για παράδει μα, στη μέ οδο επι ο ής τρο ού ρου έτας, κά ε ένα από τα n άτομα (με κατα η ότητα f i ) απεικονίζεται ς ένα ευ ύ ραμμο τμήμα μήκους f i / n j=1 f j και ό α τα ευ ύ ραμμα τμήματα τοπο ετούνται δίπ α-δίπ α, σ ηματίζονται ένα διάστημα [0, 1]. Για να επι ε εί ένα ρ μόσ μα, παρά εται ένας τυ αίος αρι μός στο διάστημα [0, 1] και επι έ εται αυτό στο διάστημα του οποίου ρίσκεται ο αρι μός. Έτσι, τα κατα η ότερα επι έ ονται πο ές φορές, ενώ τα ι ότερο κατά η α μπορεί να μην επι ε ούν και καμία φορά. Με παρόμοιο τρόπο ειτουρ εί και η πα κόσμια στο- αστική δει ματο ηψία, με τη διαφορά ότι, μετά την κατασκευή του τρο ού, η επι ο ή δεν ίνεται με τυ αίους αρι μούς, α ά με συ κεκριμένους, οι οποίοι αντιστοι ούν στα άκρα επι υμητού π ή ους υποδιαστημάτ ν του [0, 1]. Ο δεύτερος τρόπος επι ο ής είναι η άμεση (ή έμμεση) επαναποτύπ ση της κατα η ότητας. Η μέ οδος αυτή έ ει στό ο τη μερο ηπτική επι ο ή εννητόρ ν και μπορεί να ίνει π.. με πρόσ εση ή αφαίρεση από τη συνάρτηση κατα η ότητας ενός στα ερού αρι μού, με αποτέ εσμα την κ ιμάκ ση της κατα η ότητας, έτσι ώστε να ευνοούνται περισσότερο οι υψη ότερες ή οι αμη ότερες τιμές αυτής. Ακόμα, υπάρ ει η μέ οδος της (πι ανοτικής) επι ο ής πρ τα ήματος. Σε αυτήν, επι έ ονται τυ αία κάποια άτομα και επι έ εται το κατα η ότερο, ενώ η διαδικασία επανα αμ άνεται μέ ρι να επι ε εί το επι υμητό π ή ος εννητόρ ν. Στην πι ανοτική εκδο ή της με όδου, το κατα η ότερο δεν είναι σί ουρο ότι α επι ε εί, α ά υπεισέρ εται σε αυτό μια πι ανότητα. Αφού επι ε ούν οι εννήτορες, πρέπει να συνδυαστούν ώστε να δώσουν απο όνους. 44

63 3.7. Επι ο ή μετα ητών Στο ενικό σ ήμα, δύο εννήτορες δίνουν ισάρι μους απο όνους [25], στόσο είναι διαδεδομένη και μια διαδικασία σύμφ να με την οποία δύο εννήτορες δίνουν μόνο έναν από- ονο [21]. Η διασταύρ ση τ ν εννητόρ ν ίνεται ς εξής: επι έ εται τυ αία ένα σημείο στο οποίο τα δύο ρ μοσώματα κό ονται (ίδιο και ια τα δύο). Έτσι προκύπτουν δύο τμήματα κεφα ής και δύο τμήματα ουράς. Ο πρώτος από ονος προκύπτει από την κεφα ή του Α εννήτορα και την ουρά του Β, ενώ ο δεύτερος από την κεφα ή του Β και την ουρά του Α. Αν το σημείο κοπής ρε εί στο πρώτο ή στο τε ευταίο ονίδιο, τότε απ ώς τα ρ μοσώματα μεταφέρονται στην επόμενη ενιά. Στη συνέ εια, ακο ου εί η μετά αξη τ ν απο όν ν. Κά ε ονίδιο α άζει τιμή σύμφ να με μια μικρή ανεξάρτητη πι ανότητα και αυτό οη άει τον α όρι μο να ξεφύ ει από τοπικά ακρότατα. Οι ενετικοί α όρι μοι τερματίζονται συνή ς μετά από ένα προκα ορισμένο π ή ος ενεών ή εάν τα ονίδια έ ουν συ κ ίνει, δη αδή εάν παρουσιαστούν στον π η υσμό μόνο παρόμοια ρ μοσώματα. Σε πιο εξε ι μένους ενετικούς α ορί μους, ενετικό υ ικό μπορεί να αντα α εί ή να τροποποιη εί και με ά ους τρόπους. Μια εώρηση αντιμετ πίζει τα ρ μοσώματα ς κ ειστούς ρό ους και κό ει το κα ένα σε πάν από ένα σημεία (τε εστής αντα α ής υ ικού πο ών σημεί ν). Μια ά η εώρηση παρά ει απο όνους το κά ε ονίδιο τ ν οποί ν αντιμετ πίζεται ανεξάρτητα και προέρ εται από τον έναν ή τον ά ο εννήτορα. Ακόμη, μπορεί να επι η εί καρυ τυπική εξέ ιξη, δη αδή να α άξει η διάταξη τ ν ονιδί ν, π αντιστρέφοντας ένα κομμάτι του ονιδίου. Στη φύση στόσο, η καρυ τυπική εξέ ιξη είναι αρκετά πιο σπάνια από την ενοτυπική. Σε ορισμένα προ ήματα επίσης μπορεί να ε ρη εί ότι παρουσιάζονται εξαρτήσεις ανάμεσα στα ονίδια. Έτσι, μια α α ή σε ένα ονίδιο μπορεί να δίνει πάντα την ίδια α α ή στην κατα η ότητα του ρ μοσώματος, ή η α α ή αυτή μπορεί να εξαρτάται από τις τιμές ά ν ονιδί ν (επίσταση). [25] Επι ο ή μετα ητών με ενετική έρευνα Οι ενετικοί α όρι μοι μπορούν να ρησιμοποιη ούν, μεταξύ ά ν, και σε προ ήματα επι ο ής μετα ητών. Στην περίπτ ση αυτή, κά ε έση- ονίδιο αντιστοι εί σε μία από τις μετα ητές. Τα ονίδια αμ άνουν δυαδικές τιμές (0 ή 1), αναπαριστώντας τη συμπερί ηψη ή μη της αντίστοι ης μετα ητής στο μοντέ ο. Κά ε ρ μόσ μα πο απ ασιάζεται στοι- είο προς στοι είο με το διάνυσμα τ ν μετα ητών και έτσι προκύπτει το διάνυσμα τ ν επι ε μέν ν μετα ητών, το οποίο τροφοδοτείται στον α όρι μο μη ανικής μά ησης της επι ο ής μας. Όταν ο ενετικός α όρι μος συ κ ίνει ή τερματιστεί, η κυρίαρ η τιμή κά ε ονιδίου μας υποδεικνύει τη ρήση ή μη της εκάστοτε μετα ητής. Στην ερ ασία αυτή εφαρμόστηκε η εξής σκέψη: οι ενετικοί α όρι μοι δεν κατα ή ουν πάντα στην ίδια ύση, συνεπώς απαιτείται να εκτε εστούν πο ές φορές. Στις ύσεις που προκύπτουν, κάποιες μετα ητές τείνουν να εμφανίζονται πιο συ νά από ά ες. Κατατάσσονται έτσι ό ες οι μετα ητές σύμφ να με την συ νότητα επι ο ής τους. Στη συνέ εια, ξεκινώντας από την πιο συ νά εμφανιζόμενη μετα ητή, προσ έτουμε διαδο ικά μετα ητές στο μοντέ ο, κατα ράφοντας την ακρί ειά του. Έτσι έ ουμε τε ικά στη διά εσή μας έναν πίνακα ακρί ειας σε σ έση με το π ή ος τ ν μετα ητών, ιδιαίτερα ρήσιμο ια να επι έξουμε ένα ικανοποιητικά απ ό και ταυτό ρονα ακρι ές μοντέ ο. 45

64 Κεφά αιο 3. Εξόρυξη δεδομέν ν 3.8 Ενδεικτικές εφαρμο ές Η εξόρυξη δεδομέν ν ρίσκει π ειάδα ά ν εφαρμο ών πέρα από τη μετα ο ομική, όπ ς στο marketing (ανά υση ζήτησης και κα ύτερη προώ ηση), στην αξιο ό ηση δανεί ν ( α μπορέσει ο υποψήφιος δανειζόμενος να επιστρέψει το δάνειο;), στην πρόρρηση ιδιοτήτ ν ημικών ουσιών (τι συμπεριφορά εί αν ά ες ουσίες με συ ενική δομή;), στην ανα νώριση εικόν ν (ποια είναι τα αρακτηριστικά που ταυτοποιούν π.. μια πετρε αιοκη ίδα σε μια δορυφορική εικόνα ή ένα πρόσ πο σε μια φ το ραφία;), στην πρό εψη φόρτου σε η εκτρικά ή ά α δίκτυα, και α ού. Πο ύ με ά ο ενδιαφέρον παρουσιάζεται τα τε ευταία ρόνια και στην εφαρμο ή με όδ ν εξόρυξης δεδομέν ν σε διαδικτυακές εφαρμο ές. Χαρακτηριστικό παράδει μα είναι οι μη ανές αναζήτησης που μαντεύουν τι σκέφτεται ο ρήστης και προ α αίνουν τις επι υμίες του, όπ ς και τα φί τρα ανεπι ύμητης α η ο ραφίας. Συ νά π έον, εταιρείες που έ ουν να δημιουρ ήσουν ή να ε τιώσουν διαδικτυακές εφαρμο ές ζητάνε π έον επιστήμονες και μη ανικούς που να έ ουν νώσεις μη ανικής μά ησης και εξόρυξης δεδομέν ν. 46

65 Κεφά αιο 4 Λο ισμικό Για την ανά υση τ ν δεδομέν ν μας ρησιμοποιή ηκαν κυρί ς ήδη δια έσιμα πακέτα ο- ισμικού. Το ερ αστήριο που μας παρα ώρησε τα δεδομένα του δεύτερου προ ήματος ρησιμοποιεί ήδη τη σουίτα online ερ α εί ν MetaboAnalyst, η οποία εξειδικεύεται σε προ- ήματα ανά υσης μετα ο ομικών δεδομέν ν. Η σουίτα WEKA είναι ενικότερης ρήσης και παρέ ει με ά η ποικι ία διαφορετικών α ορί μ ν. Επι έ ηκε ακρι ώς ό αυτής της ποικι ίας, ώστε να είναι δυνατή η σύ κριση πο ών διαφορετικών με όδ ν μά ησης. Συνεισέφερε επίσης στην επι ο ή το ε ονός ότι εί ε ρησιμοποιη εί ξανά στο παρε όν από το ερ αστήριό μας, κα ώς και το ότι είναι ε εύ ερο ο ισμικό. Τόσο ς κομμάτι της WEKA όσο και ς αυτόνομο ερ α είο ρησιμοποιή ηκε και η υ οποίηση μη ανών διανυσμάτ ν υποστήριξης LibSVM, ό τ ν κα ών αποτε εσμάτ ν που συναντώνται στη ι ιο ραφία και της εύκο ης σύνδεσής της με τη WEKA. Τέ ος, αναπτύ ηκε κώδικας GNU Octave/MATLAB ο οποίος υ οποιεί έναν ενετικό α όρι μο, ρησιμοποιώντας τη LibSVM ια την παρα ή μοντέ ν. 4.1 MetaboAnalyst Το metaboanalyst.ca αποτε εί μια συ ο ή ερ α εί ν ια την ανά υση μετα ο ομικών δεδομέν ν. Οποιοσδήποτε μπορεί να συνδε εί σε αυτό και να υπο ά ει δεδομένα προς ανά- υση. Δεν απαιτείται κάποιου είδους ε ραφή και τα δεδομένα παραμένουν ιδι τικά, ενώ μπορεί κανείς (ενα ακτικά) να κατε άσει τα απαραίτητα αρ εία κώδικα και να το ρησιμοποιήσει τοπικά. Δημιουρ ή ηκε από τον Jeff Xia (University of Alberta), ρησιμοποιώντας κυρί ς Java και R, ενώ ρηματοδοτείται από το "The Metabolomics Innovation Centre (TMIC)" του Καναδά. Στην ιστοσε ίδα του MetaboAnalyst υπάρ ει εκτενής ι ιο ραφία σ ετικά με τη ρήση και τις δυνατότητές του. [7, 8, 13] Στο σ ήμα 4.1 φαίνεται η αρ ική σε ίδα του MetaboAnalyst. Διακρίνεται η φόρμα όπου μπορεί κανείς να υπο ά ει τα δικά του δεδομένα ή να ρησιμοποιήσει κάποια που παρέ ονται ς παραδεί ματα. Στα αριστερά διακρίνεται το μενού με τα στάδια ανά υσης. Τα δεδομένα μπορεί να αντιστοι ούν σε συ κεντρώσεις ουσιών ή φάσματα NMR/MS. Δέ εται απ ά αρ εία CSV όπου η πρώτη στή η αντιστοι εί στην ταυτότητα τ ν δει μάτ ν (με τίτ ο Sample), η δεύτερη στην κ άση (Label) και οι υπό οιπες στις υπό ανά υση ουσίες (στην 47

66 Κεφά αιο 4. Λο ισμικό Σ ήμα 4.1: Η αρ ική σε ίδα του MetaboAnalyst

67 4.1. MetaboAnalyst Σ ήμα 4.2: MetaboAnalyst - Επι ο ές προεπεξερ ασίας τ ν δεδομέν ν. περίπτ ση συ κεντρώσε ν). Αμέσ ς μετά την υπο ο ή τ ν δεδομέν ν ακο ου εί έ ε ος τ ν δεδομέν ν ς προς κάποια ασικά δομικά αρακτηριστικά (μορφή, ά ν στες τιμές, διαστάσεις και π ή ος κ άσε ν,...) ενώ δίνεται η δυνατότητα εκτίμησης α νώστ ν τιμών. Για την προεπεξερ ασία τ ν δεδομέν ν παρέ ονται μέ οδοι κανονικοποίησης ς προς το ά ροισμα ή τη διάμεσό τους, ή σύμφ να με ένα δεί μα ή συστατικό αναφοράς. Επιτρέπονται επίσης διορ ώσεις ια κά ε δεί μα ξε ριστά. Θα πρέπει να προσε εί εάν έ ει ίνει ήδη κάποια αντίστοι η προεπεξερ ασία. Παρέ ονται επίσης μέ οδοι μετασ ηματισμού ( ο- αρι μικός, κυ ική ρίζα) κα ώς και μέ οδοι scaling (Autoscaling, Pareto Scaling, Range Scaling). Μετά την εφαρμο ή, ακο ου εί ραφική επισκόπηση του αποτε έσματος της προεπεξερ ασίας, όπου φαίνεται (δει ματο ηπτικά), η κατανομή τιμών στα διάφορα αρακτηριστικά-συστατικά (. σ ήμα 6.1). Στην κυρί ς στατιστική επεξερ ασία, παρέ ονται οι εξής δυνατότητες: 49

68 Κεφά αιο 4. Λο ισμικό Μονοπαραμετρική ανά υση Fold Change Analysis, t-tests, Volcano plot (μόνο ια δύο κ άσεις) One-way Analysis of Variance (ANOVA) Correlation Analysis & Pattern Searching Πο υπαραμετρική ανά υση Principal Component Analysis (PCA) Partial Least Squares - Discriminant Analysis (PLS-DA) Ανα νώριση σημαντικών αρακτηριστικών Significance Analysis of Microarray (and Metabolites) (SAM) Empirical Bayesian Analysis of Microarray (and Metabolites) (EBAM) Ανά υση συστάδ ν Hierarchical Clustering - Dendrogram & Heatmap Partitional Clustering - K-Means & Self Organizing Map (SOM) Ταξινόμηση και επι ο ή αρακτηριστικών Random Forest Support Vector Machine (SVM) (μόνο ια δύο κ άσεις) Οι μέ οδοι PCA και PLS-DA δίνουν άμεση εικόνα ια την ποιότητα του δια ρισμού μεταξύ τ ν κ άσε ν και είναι από τα ασικότερα δια ράμματα που παρουσιάζονται σε σ ετικές ερ ασίες. Εδώ ο ρήστης μπορεί να επι έξει το π ή ος τ ν principal components με τα οποία έ ει να ερ αστεί, να τα προ ά ει ό α μαζί σε ένα άρτη και στη συνέ εια να εστιάσει σε 2D ή 3D δια ράμματα. Παραδεί ματα τέτοι ν δια ραμμάτ ν φαίνονται στα σ ήματα 6.3 έ ς 6.8 (σε. 74). Τα δια ράμματα τύπου Heatmap, στην ανά υση συστάδ ν, είναι επίσης ένας κ ασσικός τρόπος ια την εποπτική ανί νευση τυ όν δια ρισμών, ο οποίος σε ορισμένα προ ήματα δίνει ξεκά αρα αποτε έσματα [3]. Ένα παράδει μα Heatmap ια τα δεδομένα του Προ ήματος 2 μπορείτε να ρείτε στη σε ίδα 78. Από α ορί μους μη εποπτευόμενης μά ησης παρέ ονται ε ά ιστες επι ο ές (Random Forest και SVM, μόνο ια δύο κ άσεις). Η υ οποίηση του α ορί μου Random Forest παρέ ει έναν confusion matrix κα ώς και μια κατάταξη τ ν μετα ητών ( αρακτηριστικών) του συστήματος ς προς τη σημασία τους στην ακρί εια του μοντέ ου, κα ώς και με ποιες κ άσεις αυτές συνδέονται περισσότερο. Ακόμα, παρέ ει ένα διά ραμμα από το οποίο μπορούν να ανι νευ ούν πι ανά outliers. Το MetaboAnalyst δεν απευ ύνεται τόσο σε ερευνητές που ενδιαφέρονται ια τις με- όδους ανά υσης και μά ησης, α ά περισσότερο σε επιστήμονες ιο ο ικών, φαρμακευτικών και ιατρικών πεδί ν. Παρότι δεν δίνει τη δυνατότητα σημαντικής παρέμ ασης στα 50

69 4.2. WEKA Σ ήμα 4.3: MetaboAnalyst - Μετα ο ικά μονοπάτια. Οι επι ε μένοι στα δεξιά μετα ο ίτες εμφανίζονται σε κόκκινο π αίσιο στο σ ήμα. Πατώντας σε κά ε στάδιο, ο ρήστης μπορεί να ά ει περισσότερες π ηροφορίες. ερ α εία, απ οποιεί σημαντικά τις ανα ύσεις δεδομέν ν που ρησιμοποιούνται συ νά στη Μετα ο ομική. Η αξία του στόσο ενισ ύεται από επιπ έον δυνατότητες που παρέ ει στην ανά υση μετα ο ικών μονοπατιών. Παρά ει εντυπ σιακά διαδραστικά σ ήματα, μέσα στα οποία μπορεί κανείς να εντοπίσει μετα ο ίτες που παρουσιάζουν ενδιαφέρον στο υπό εξέταση πρό ημα, να δει σε ποια σημεία εμφανίζονται, και να ανακα ύψει συσ ετίσεις με ά ους μετα ο ίτες και μονοπάτια. Ένα παράδει μα φαίνεται στο σ ήμα 4.3. Αφού ο οκ ηρ εί η ανά υση, ο ρήστης μπορεί να κατε άσει ό α τα δια ράμματα που έ ουν παρα εί στην επι υμητή ανά υση, κα ώς και ά α οη ητικά αρ εία. Βασικότερο ό ν είναι μια αυτόματη αναφορά, η οποία παρουσιάζει συνοπτικά τις με όδους, τις παραμέτρους και τα αποτε έσματα. 4.2 WEKA Η WEKA παρέ ει μια με ά η συ ο ή α ορί μ ν εξόρυξης δεδομέν ν, τόσο στο κομμάτι της προεπεξερ ασίας, όσο και στο κυρί ς κομμάτι της μη ανικής μά ησης. Αναπτύσσεται 51

70 Κεφά αιο 4. Λο ισμικό σε Java από το Machine Learning Group του University of Waikato και είναι δια έσιμη ε εύ ερα ια ό ες τις ασικές π ατφόρμες [9]. Το πο ύ κατατοπιστικό ι ίο "Data Mining: Practical Machine Learning Tools and Techniques" τ ν Witten κ.α. [1] εξη εί ό ες τις με όδους που παρέ ονται στη WEKA και αποτε εί έναν πο ύ κα ό οδη ό ρήσης της. Τα δεδομένα μπορούν να τροφοδοτη ούν σε δύο μορφές αρ εί ν. Η ασική είναι η μορφή ARFF. Ένα τέτοιο αρ είο περιέ ει, εκτός από τα δεδομένα, π ηροφορίες ια τις μετα ητές του συστήματος. Ένα απόσπασμα από το αρ είο δεδομέν ν του Προ ήματος 1, σε μορφή ARFF patient {AKI_8_24_01_110722,AKI_8_24_03_110722,... kidney_state {'Biopsy kidney normal','acute Kidney AKI_8_24_01_110722,'Biopsy kidney normal', , ,... AKI_8_24_03_110722,'Biopsy kidney normal', , , Η δίνει ένα όνομα στα δεδομένα και ενσ ματώνει π ηροφορίες ια τυ όν προεπεξερ ασία τ ν δει μάτ ν που έ ει ίνει με τη WEKA (δεν φαίνεται στο παράδει μα). Ως κ άση ε ρείται αυτομάτ ς η τε ευταία μετα ητή (παρότι αυτό μπορεί να τροποποιη εί), οπότε μια αναδιάταξη τ ν μετα ητών στο στάδιο της προεπεξερ ασίας α ήταν πρακτική και μια τέτοια επέμ αση α ανα ραφόταν σε αυτήν την ραμμή. Οι κα ορίζουν το όνομα και το είδος τ ν τιμών κά ε μετα ητής, οι οποίες μπορεί να είναι κατη ορικές, αρι μητικές ή ημερομηνίας-ώρας (κατά ISO 8601). Στην περίπτ ση κατη ορικών μετα ητών, πρέπει να κα οριστούν οι επιτρεπτές τιμές, όπ ς στο παράδει μα. Στη συνέ εια ακο ου εί η και από κάτ οι τιμές τ ν μετα ητών ια κά ε δεί μα σε ξε ριστή ραμμή, ρισμένες με κόμμα. Ά ν στες τιμές αντικα ίστανται με?. Εκτός από ARFF, η WEKA μπορεί να ειριστεί και αρ εία CSV, δίνοντας τη δυνατότητα μετατροπής τους σε μορφή ARFF. [1] Το ασικό περι ά ον της WEKA είναι ο Explorer. Μέσ αυτού είναι προσ άσιμες ό ες οι μέ οδοι που παρέ ονται. Ο ρήστης έ ει επίσης τη δυνατότητα ειρισμού μέσ τριών ακόμα ενα ακτικών. Το περι ά ον Experimenter επιτρέπει δοκιμές με ά ης κ ίμακας, με μαζικές δοκιμές διαφορετικών α ορί μ ν, παραμέτρ ν και δεδομέν ν. Το περι ά ον Knowledge Flow δίνει τη δυνατότητα ειρισμού τ ν με όδ ν υπό μορφή δια ράμματος ροής, υμίζοντας πακέτα επεξερ ασίας σημάτ ν. Τέ ος, είναι δυνατή η ρήση της WEKA και σε περι ά ον εντο ών (CLI). Ο Explorer δια έτει τις εξής καρτέ ες: Preprocess ια την προεπεξερ ασία τ ν δεδομέν ν. 52

71 4.2. WEKA Σ ήμα 4.4: WEKA Explorer - Καρτέ α Preprocess. Στη δεξιά στή η ρίσκονται οι μετα- ητές του συστήματος και στα αριστερά το ιστό ραμμα της επι ε μένης στα δεδομένα, σε σ έση και με την κ άση τους. Classify ια εποπτευόμενη μά ηση. Cluster ια μη εποπτευόμενη μά ηση. Associate ια την μά ηση κανόν ν συσ έτισης. Select attributes ια την επι ο ή μετα ητών. Visualize ια την αναπαράσταση τ ν δεδομέν ν. Στο σ ήμα 4.4 διακρίνεται η καρτέ α της προεπεξερ ασίας, ια τα δεδομένα του Προ- ήματος 2. Ενδεικτικά, παρέ ονται ειτουρ ίες όπ ς δια ραφή ή διόρ ση δεδομέν ν, επισκόπηση της κατανομής τους σε ιστό ραμμα και εφαρμο ή διαφόρ ν εποπτευόμεν ν ή μη φί τρ ν (κανονικοποίηση, PCA, δει ματο ηψία, αντιμετώπιση α νώστ ν ή ακραί ν τιμών και πο ά ακόμα). Για παράδει μα, η ταυτότητα τ ν δει μάτ ν μπορεί να επηρεάσει τους α ορί μους μά ησης, οπότε είναι κα ό να αφαιρε εί. Αυτό μπορεί να ίνει επι έ οντας τη σ ετική μετα ητή στην αριστερή ίστα και πατώντας Remove. Επι έ οντας κάποια μετα ητή μπορούμε επίσης να δούμε την κατανομή της στα δεί ματα, σε σ έση με την κ άση τους. Σε κάποια (συνή ς μικρά) συστήματα, αυτό μπορεί να οδη ήσει σε απ ούς κανόνες δια ρισμού τ ν κ άσε ν. Η εφαρμο ή ενός φί τρου μπορεί να ίνει επι έ οντάς το από το κουμπί Choose, ρυ μίζοντάς το πατώντας πάν στη ραμμή με το όνομα και τις παραμέτρους του και πατώντας Apply. 53

72 Κεφά αιο 4. Λο ισμικό Σ ήμα 4.5: WEKA Explorer - Καρτέ α Classify. Αποτε έσματα ε έ ου ενός SVM μοντέ ου ια τα δεδομένα του Προ ήματος 2. Η καρτέ α Classify φαίνεται στο σ ήμα 4.5 και είναι αυτή που μας απασ ό ησε περισσότερο στα π αίσια αυτής της ερ ασίας. Στην κορυφή της ο όνης επι έ εται ο α όρι μος μά ησης και ρυ μίζεται πατώντας στη ραμμή στην οποία εμφανίζεται το όνομα και οι παράμετροί του. Μια αρκετά π ήρη ίστα τ ν παρε όμεν ν α ορί μ ν μπορείτε να ρείτε στον πίνακα 6.3 της σε ίδας 82. Παρέ ονται ακόμα meta-learners ια συ ο ική μά ηση, όπ ς voting, bagging, stacking, boost και ά οι. Από κάτ, στην αριστερή στή η, επι έ ουμε τη μέ οδο ε έ ου του μοντέ ου και ακρι ώς από κάτ τη μετα ητή η οποία αντιστοι εί στην κ άση. Πατώντας το start ξεκινάει η διαδικασία εκπαίδευσης και ε έ ου και εμφανίζονται σταδιακά τα αποτε έσματα σε μορφή κειμένου στα δεξιά. Στο μενού More options μπορούμε να τροποποιήσουμε τις π ηροφορίες που εμφανίζονται, όπ ς π.. να προσ έσουμε στα αποτε έσματα τις προ έψεις ια κά ε δεί μα σε κά ε υποσύνο ο ε έ ου. Οι ρόνοι εκτέ εσης ια το προ ήματα που εξετάσαμε κυμαίνονται από κ άσματα του δευτερο έπτου έ ς ί α δευτερό επτα σε σύ ρονο προσ πικό Η/Υ. Την ίδια μορφή έ ει και η καρτέ α Cluster που επιτρέπει το ρισμό τ ν δεδομέν ν σε στοι άδες, παρα είποντας μετα ητές όπ ς η κ άση κά ε δεί ματος. Παρόμοια α ά απ ούστερη μορφή έ ει και η καρτέ α Associate ια την εξα ή κανόν ν συσ έτισης μεταξύ τ ν μετα ητών, ρίς να παρέ ονται ερ α εία ε έ ου αυτών τ ν κανόν ν. Η καρτέ α Select Attributes που φαίνεται στο σ ήμα 4.6 δίνει τη δυνατότητα ια την επι ο ή μετα ητών με διάφορες με όδους αξιο ό ησης και έρευνας. Τέ ος, η καρτέ α Visualize δίνει τη δυνατότητα δισδιάστατης απεικόνισης τ ν δεδομέν ν σε δια ράμματα όπ ς αυτό του σ ήματος 4.7 ια εποπτική παρατήρηση τ ν δεδομέν ν. 54

73 4.2. WEKA Σ ήμα 4.6: WEKA Explorer - Καρτέ α Select Attributes. Επι ο ή μετα ητών ια τα δεδομένα του Προ ήματος 2. Σ ήμα 4.7: WEKA Explorer - Καρτέ α Visualize. 2D αναπαράσταση τ ν δεδομέν ν του Προ ήματος 2 ια δύο από τις επι ε μένες μετα ητές. 55

74 Κεφά αιο 4. Λο ισμικό 4.3 LibSVM Η LibSVM [10] είναι μια υ οποίηση α ορί μ ν Μη ανών Διανυσμάτ ν Υποστήριξης (. ενότητα 3.4.9), τόσο ια ταξινόμηση (α όρι μοι C-SVC, nu-svc), ια πα ινδρόμηση (epsilon-svr, nu-svr) και ια πρό εψη κατανομής (one-class SVM). Πο ύ σημαντικό αρακτηριστικό της σε σ έση με ά ες υ οποιήσεις είναι ότι μπορεί να δια ειριστεί προ- ήματα πο ών κ άσε ν. Αναπτύσσεται σε C/C++ από τους Chih-Chung Chang και Chih-Jen Lin και διατί εται ε εύ ερα ια ό ες τις ασικές π ατφόρμες. Μπορεί να ειτουρ- ήσει αυτόνομα, σε συνερ ασία με Octave/MATLAB, με WEKA κα ώς και με Java, R, Python, Ruby, SciLab και πο ά ά α περι ά οντα. Στη WEKA μπορεί να ενσ ματ εί ρησιμοποιώντας τον wrapper τ ν EL-Manzalawy κ.α. [11]. Η διαδικασία απ οποιείται αν ρησιμοποιη εί η έκδοση 3.8 της WEKA (αυτή τη στι μή ρίσκεται υπό ανάπτυξη και συναντάται ς ) η οποία δια έτει package manager. Από το ασικό παρά υρο της WEKA (gui chooser): Tools > Package manager > LibSVM > Install. Στη συνέ εια μπορεί να ρε εί ανάμεσα στους ά ους α ορί μους, στην κατη ορία functions. Για Octave/MATLAB παρέ ονται ε ενώς αρ εία μορφής.mex τα οποία μπορούν να μετα τιστούν με την εντο ή make octave σε Octave ή με την εντο ή make σε MATLAB, αφού πρώτα έ ει επι ε εί το directory που περιέ ει τα.mex αρ εία. Σε MATLAB σε Windows ενδέ εται να πρέπει πρώτα να επι ε εί ένας mex compiler. Αυτό μπορεί να ίνει με την εντο ή mex -setup. Περισσότερες π ηροφορίες ια την ε κατάσταση μπορούν να αντ η ούν από το README αρ είο στον υποφάκε ο matlab της LibSVM. Τα αρ εία που ρησιμοποιούνται από τη LibSVM πρέπει να περιέ ουν τα δεδομένα στην εξής μορφή: <label> <index1>:<value1> <index2>:<value2>... όπου label είναι ένας ακέραιος που υποδεικνύει την κ άση του δεί ματος, <index> ο δείκτης της κά ε μετα ητής και <value> η τιμή της. Η μορφή του αρ είου δεδομέν ν μπορεί να ε ε εί με το παρε όμενο ερ α είο checkdata.py. Παρέ ονται τρία ασικά προ ράμματα, τα svm-scale, svm-train και svm-predict. To svm-scale ανα αμ άνει την κ ιμάκ ση τ ν δεδομέν ν στο επι υμητό εύρος (προεπι- ε μένο είναι το [ 1, 1]), επιστρέφει ένα αρ είο της ίδιας μορφής, με τα τροποποιημένα δεδομένα και (στην έκδοση 3.17) κα είται ς εξής: svm-scale [options] data_filename με επι ο ές: -l lower : x scaling lower limit (default -1) -u upper : x scaling upper limit (default +1) -y y_lower y_upper : y scaling limits (default: no y scaling) 56

75 4.3. LibSVM -s save_filename : save scaling parameters to save_filename -r restore_filename : restore scaling parameters from restore_filename Το svm-train ανα αμ άνει την εκπαίδευση ενός μοντέ ου SVM (προαιρετικά με crossvalidation), κα είται ς εξής: svm-train [options] training_set_file [model_file] -s svm_type : set type of SVM (default 0) 0 -- C-SVC (multi-class classification) 1 -- nu-svc (multi-class classification) 2 -- one-class SVM 3 -- epsilon-svr (regression) 4 -- nu-svr (regression) -t kernel_type : set type of kernel function (default 2) 0 -- linear: u'*v 1 -- polynomial: (gamma*u'*v + coef0)^degree 2 -- radial basis function: exp(-gamma* u-v ^2) 3 -- sigmoid: tanh(gamma*u'*v + coef0) 4 -- precomputed kernel (kernel values in training_set_file) -d degree : degree in kernel function (default 3) -g gamma : gamma in kernel function (default 1/num_features) -r coef0 : coef0 in kernel function (default 0) -c cost : the parameter C of C-SVC, epsilon-svr, and nu-svr (default 1) -n nu : the parameter nu of nu-svc, one-class SVM, and nu-svr (default 0.5) -p epsilon : the epsilon in loss function of epsilon-svr (default 0.1) -m cachesize : cache memory size in MB (default 100) -e epsilon : tolerance of termination criterion (default 0.001) -h shrinking : whether to use the shrinking heuristics, 0 or 1 (default 1) -b probability_estimates : whether to train a SVC or SVR model for probability estimates, 0 or 1 (default 0) -wi weight : the parameter C of class i to weight*c, for C-SVC (default 1) -v n: n-fold cross validation mode -q : quiet mode (no outputs) και επιστρέφει ένα αρ είο με το παρα όμενο μοντέ ο και την ακρί εια του μοντέ ου με cross validation, εάν έ ει οριστεί η παράμετρος -v. Το svm-predict ε έ ει ένα μοντέ ο με ένα σύνο ο ε έ ου και επιστρέφει ένα αρ είο με τις προ έψεις ια κά ε δεί μα. Κα είται ς εξής: 57

76 Κεφά αιο 4. Λο ισμικό svm-predict [options] test_file model_file output_file με μοναδική επι ο ή την: -b probability_estimates: whether to predict probability estimates, 0 or 1 (default 0); for one-class SVM only 0 is supported Στη WEKA, οι παράμετροι που ρησιμοποιούνται συνδέονται με τις παραμέτρους της svm-train και της svm-predict όπ ς φαίνεται στον πίνακα 4.1. Η διαδικασία του cross validation σε αυτή την περίπτ ση δια ειρίζεται από την WEKA. Πίνακας 4.1: Αντιστοι ία παραμέτρ ν WLSVM - LibSVM WLSVM -S -K -D -G -R -N -M -C -E -P -H -B LibSVM -s -t -d -g -r -n -m -c -e -p -h 0 -b Στο Octave/MATLAB, παρέ ονται οι εξής συναρτήσεις: libsvmread, libsvmwrite, svmtrain, svmpredict. H libsvmread δια άζει ένα αρ είο της μορφής που περι ράψαμε και αντιστοι ίζει τα δεδομένα σε δύο πίνακες: ένα διάνυσμα ια τις κ άσεις τ ν δει μάτ ν και έναν δισδιάστατο πίνακα ια τις τιμές τ ν μετα ητών τους. Κα είται ς εξής: [label_vector, instance_matrix] = libsvmread('data.txt'); Η libsvmwrite δημιουρ εί ένα τέτοιο αρ είο: libsvmwrite('data.txt', label_vector, instance_matrix) Η svmtrain κα είται ς εξής: model = svmtrain(training_label_vector, training_instance_matrix [, 'libsvm_options']); όπου libsvm_options ένα character string ίδιας μορφής με τις επι ο ές του αυτόνομου προ ράμματος svm-train. Εάν ρησιμοποιη εί cross validation, τότε αυτή επιστρέφει απ ώς μια τιμή: την ακρί εια του μοντέ ου. Διαφορετικά, επιστρέφει ένα μοντέ ο το οποίο μπορεί να ρησιμοποιη εί σε με οντικές προ έψεις. Αντιστοί ς, η svmpredict μπορεί να κ η εί με τους εξής τρόπους: [predicted_label, accuracy, decision_values/prob_estimates] = svmpredict(testing_label_vector, testing_instance_matrix, model [, 'libsvm_options']); [predicted_label] = svmpredict(testing_label_vector, testing_instance_matrix, model [, 'libsvm_options']); 58

77 4.4. Κώδικας επι ο ής μετα ητών Εκτός από τα αρ εία README που συνοδεύουν τη LibSVM, στην ιστοσε ίδα της υπάρ ει ένας πο ύ ρήσιμος εισα ικός οδη ός ρήσης με παραδεί ματα, συνη ισμένα ά η και ειδικές περιπτώσεις [26]. Υπάρ ουν επίσης αρκετά δημοσιευμένα datasets ια δοκιμή. 4.4 Κώδικας επι ο ής μετα ητών Για την μεί ση τ ν μετα ητών του συστήματος αναπτύ ηκε ένας κώδικας σε GNU Octave (συμ ατός με MATLAB) που υ οποιεί έναν ενετικό α όρι μο, ρησιμοποιώντας την LibSVM ια την εκπαίδευση SVM μοντέ ν. Μπορείτε να τον ρείτε στο παράρτημα Βʹ. Το κεντρικό script, στο οποίο φαίνεται η δομή του ενετικού α ορί μου, είναι το GeneticLibSVM. Οι διαδικασίες της μά ησης, της επι ο ής ρ μοσ μάτ ν και του συνδυασμού τους έ ουν υ οποιη εί ς ξε ριστές συναρτήσεις ώστε να είναι ευκο ότερα τροποποιήσιμες. Ο όκ ηρος ο α όρι μος επανα αμ άνεται πο ές φορές με το script loggeneticlibsvm Βασικό script GeneticLibSVM Ως είσοδοι απαιτούνται: Το σύνο ο τ ν (μετασ ηματισμέν ν με την svm-scale) δεδομέν ν με ninst δεί ματα και nattr μετα ητές, το οποίο απο ηκεύεται στο διάνυσμα Labels και στον πίνακα Instances. Το character string με τις παραμέτρους της svmtrain, το οποίο απο ηκεύεται στη μετα ητή svmconfig. Οι παράμετροι του ενετικού α ορί μου: π ή ος τ ν ρ μοσ μάτ ν στον π η υσμό (nchrom), μέ ιστο π ή ος ενεών το οποίο ρησιμοποιείται ς κριτήριο τερματισμού (maxgenerations), πι ανότητα μετά αξης κά ε ονιδίου (mutprob) και πι ανότητα εμφάνισης της τιμής 1 ια κά ε ονίδιο του αρ ικού π η υσμού (initgeneprob). Αφού κα αριστεί το workspace από μετα ητές προη ούμεν ν επανα ήψε ν του α ορί μου, δημιουρ είται ένας τυ αίος αρ ικός π η υσμός (πίνακας Chromosomes). Σε ό ες τις ενεές το π ή ος τους διατηρείται στα ερό. Αφού δημιουρ η εί ο αρ ικός π η υσμός, κά ε ρ μόσ μα πο απ ασιάζεται στοι είο-στοι είο με κά ε ραμμή του πίνακα δει μάτ ν και δημιουρ είται ο πίνακας LocalInstances, ο οποίος διαφέρει από τον ενικό πίνακα τ ν δει μάτ ν ς προς το ότι έ ει μηδενικές στή ες στις μετα ητές που δεν έ ουν επι ε εί από το υπό εξέταση ρ μόσ μα. Με αυτόν εκπαιδεύεται ένα SVM μοντέ ο και η ακρί ειά του κατα ρείται στην δεύτερη στή η του πίνακα ChromScore, στη ραμμή που αντιστοι- εί στο ρ μόσ μα από το οποίο προή ε. Η πρώτη στή η φι οξενεί τις ταυτότητες τ ν ρ μοσ μάτ ν. Αφού σ ηματιστεί και ε ε εί ο αρ ικός π η υσμός, ξεκινάει ο κύριος ρό ος του α ορί μου, ο οποίος τερματίζεται όταν συμπ ηρ ούν maxgenerations επανα ήψεις. Αρ- ικά, με τη συνάρτηση ruletteconstruct κατασκευάζεται ο τρο ός ρου έτας ια την 59

78 Κεφά αιο 4. Λο ισμικό επι ο ή τ ν ρ μοσ μάτ ν προς αναπαρα ή. Πρέπει να επι ε ούν συνο ικά nchrom ρ μοσώματα, δύο κά ε φορά, τα οποία α δώσουν ισάρι μους απο όνους. Το π ή ος τ ν απο όν ν που έ ουν παρα εί από την τρέ ουσα ενιά κατα ρείται στην μετα ητή counter. Στη συνέ εια, επι έ ονται δύο ρ μοσώματα (τα i1 και i2) με την συνάρτηση ruletteselect. Επι έ εται ένα τυ αίο σημείο κοπής (point) και τα ρ μοσώματα αναπαρά ονται με την συνάρτηση reproduce. Μετά την αναπαρα ή, αμ άνει ώρα η μετά - αξη τ ν ρ μοσ μάτ ν. Κά ε ονίδιο κά ε ενός από τους δύο απο όνους α άζει τιμή (από 0 σε 1 ή το αντίστροφο) με πι ανότητα nmut. Οι από ονοι ε έ ονται ια την ακρί εια του μοντέ ου που δίνουν και αυτή απο ηκεύεται στον πίνακα newchromscore. Η πρώτη στή η του περιέ ει την ταυτότητα κά ε ρ μοσώματος και η δεύτερη την ακρί εια του μοντέ ου που προκύπτει από αυτό. Οι από ονοι μπαίνουν έπειτα στον πίνακα της νέας ενιάς (newgeneration) είτε αρ ικοποιώντας τον (αν είναι οι πρώτοι από ονοι που παρά ονται) είτε επεκτείνοντάς τον. Μετά την ο οκ ήρ ση της παρα ής μιας νέας ενιάς, η νέα ενιά ίνεται τρέ ουσα και η προη ούμενη άνεται. Όταν παρα ούν maxgenerations ενεές ο κύριος ρό ος σταματάει και επιστρέφονται ο τρέ ν π η υσμός ρ μοσ μάτ ν με τα αντίστοι α scores. Στη συνέ εια, υπο ο ίζονται οι επικρατούσες τιμές τ ν ονιδί ν και δημιουρ είται ένα ρ μόσ μα με αυτές (genome). Με αυτό δημιουρ είται ένα μοντέ ο και η ακρί εια αυτού απο ηκεύεται στη μετα ητή genomescore. Το script επιστρέφει επίσης το π ή ος τ ν μετα ητών που έ ουν επι ε εί στη μετα ητή numattributesused Συναρτήσεις Το GeneticLibSVM script ρησιμοποιεί τις εξής συναρτήσεις: svmtrainandscore ια την εκπαίδευση και επα ή ευση του μοντέ ου. Στην υ οποίηση αυτή απ ώς κα είται η συνάρτηση svmtrain με τα ίδια ορίσματα, στόσο μπορεί εύκο α να τροποποιη εί. ruletteconstruct ια την κατασκευή του τρο ού ρου έτας, δη αδή την αντιστοί ιση τ ν ρ μοσ μάτ ν σε διαδο ικά υποδιαστήματα του [0, 1], σύμφ να με την ακρί εια τ ν μοντέ ν που παρά ουν. ruletteselect ια την επι ο ή ρ μοσ μάτ ν δεδομένου ενός τρο ού ρου έτας. reproduce ια τη σταυρ τή αναπαρα ή τ ν ρ μοσ μάτ ν. Η ruletteconstruct δέ εται ς μοναδικό όρισμα τον πίνακα ChromScore με την ακρί- εια (score) του μοντέ ου που παρά ει κά ε ρ μόσ μα. Στη συνέ εια υπο ο ίζει το ά ροισμα τ ν scores (ScoreSum) και διαιρεί το κα ένα με το ά ροισμά τους, δημιουρ ώντας έτσι τον πίνακα ChromScoreNorm, ο οποίος στη έση του κά ε score έ ει το κ ασματικό score. Οι ραμμές αυτού του πίνακα αναδιατάσσονται κατά φ ίνουσα σειρά ακρί ειας. Έπειτα, α ροίζονται σταδιακά τα scores και ια κά ε i ρ μόσ μα του πίνακα ChromScoreNorm υπο ο ίζεται το σ ρευτικό (accumulated) score ια τα ρ μοσώματα 1 έ ς i. 60

79 4.4. Κώδικας επι ο ής μετα ητών Η ruletteselect δέ εται ς όρισμα την έξοδο της ruletteconstruct. Παρά ει έναν τυ αίο αρι μό R και επι έ ει το πρώτο ρ μόσ μα το οποίο έ ει σ ρευτικό score πάν από R, επιστρέφοντας την ταυτότητά του στη scalar μετα ητή selectedchrom. Η reproduce δέ εται ς ορίσματα το σημείο κοπής τ ν ρ μοσ μάτ ν (point), τις ταυτότητες τ ν δύο ρ μοσ μάτ ν που α αναπαρα ούν (i1 και i2) και τον πίνακα με τον τρέ οντα π η υσμό ρ μοσ μάτ ν (Chromosomes). Επιστρέφει έναν 2 nattr πίνακα με τους δύο απο όνους που προέκυψαν από την διασταύρ ση Πο απ ές επανεκκινήσεις και κατα ραφή Ένας ενετικός α όρι μος δεν παρά ει πάντα ακρι ώς την ίδια ύση, ό της τυ αιότητας που υπεισέρ εται στην κατασκευή του αρ ικού π η υσμού και στην επι ο ή τ ν ρ μοσ μάτ ν. Για το ό ο αυτό, συνή ς εκτε είται πο ές φορές, ξεκινώντας από διαφορετικό κά ε φορά π η υσμό, ώστε να ε ε εί η σύ κ ισή του. Η διαδικασία αυτή ίνεται με το script loggeneticlibsvm, το οποίο δέ εται ς είσοδο μονά α το επι υμητό π ή ος επανεκκινήσε ν (μετα ητή logbuffer). Το ασικό script εκτε είται logbuffer φορές και κατα ράφονται οι μετα ητές genome, genomescore, numattributesused. Στη συνέ εια, υπο ο ίζεται πόσο συ νά εμφανίζεται το κά ε ονίδιο, δη αδή πόσες φορές από τις logbuffer εμφάνισε την τιμή 1. Οι συ νότητες αυτές απο ηκεύονται στον πίνακα loggenomefreq, η πρώτη στή η του οποίου φι οξενεί τη έση-ταυτότητα κά ε μετα ητής και η δεύτερη στή η τη συ νότητα εμφάνισής της. Οι ραμμές του πίνακα αναδιατάσσονται κατά φ ίνουσα σειρά συ νότητας. Το script κατα ραφής εμφανίζει αποτε έσματα ια το π ή ος τ ν μετα ητών που επι έ ηκαν σε κά ε εκτέ εση του α ορί μου, το μέσο π ή ος αυτών, το genome ια κά ε εκτέ εση, το score του, ένα μέσο score κα ώς και τον πίνακα με τις συ νότητες επι ο ής τ ν μετα ητών Έ ε ος της ακρί ειας ια διαφορετικό π ή ος μετα ητών Το script loggeneticlibsvm παρή α ε έναν πίνακα με τις μετα ητές του συστήματος, διατα μένες κατά φ ίνουσα συ νότητα εμφάνισης. Μπορούμε να υπο έσουμε ότι όσο συ- νότερα επι έ εται μια μετα ητή, τόσο με α ύτερη σημασία α έ ει ια την κατασκευή κα ών μοντέ ν. Σε ένα πρό ημα επι ο ής μετα ητών στό ος είναι, εκτός από την κατασκευή ενός μοντέ ου με υψη ή ακρί εια, η επι ο ή τ ν ε ά ιστ ν δυνατών μετα ητών. Το script testscript ξεκινάει με μόνο την πιο συ νά εμφανιζόμενη μετα ητή και σταδιακά τίζει και ε έ ει μοντέ α με τις 2, τις 3, έ ς τις maxtestattr μετα ητές. Στη συνέ εια, εμφανίζονται τα αποτε έσματα κά ε δοκιμής και ο ρήστης μπορεί να επι έξει το συνδυασμό π ή ους μετα ητών και ακρί ειας που τον ικανοποιεί περισσότερο. Αξίζει να σημει εί ότι μπορεί να παρατηρη εί ο ικό μέ ιστο ακρί ειας σε ενδιάμεση τιμή π ή ους μετα ητών, κάτι που ενισ ύει τα κίνητρα ια την επι ο ή ενός μοντέ ου με ι ότερες από τις δια έσιμες μετα ητές. 61

80 Κεφά αιο 4. Λο ισμικό 62

81 Κεφά αιο 5 Πρό ημα 1: AKI Το πρώτο πρό ημα που εξετάζεται προέρ εται από δημοσιευμένη ερ ασία τ ν Zacharias et al. (2012) [3]. Η φυσική εικόνα του προ ήματος είναι η εξής: έπειτα από ειρουρ ικές επεμ άσεις στην καρδιά, ενδέ εται να προκ η εί οξεία νεφρική ά η (Acute Kidney Injury) σε ορισμένους ασ ενείς. Θα ήταν ιδιαίτερα σημαντικό αν μπορούσαμε να προ ά ουμε την σο αρή αυτή παρενέρ εια στα πρώτα της στάδια, ώστε να αντιμετ πιστεί κατά η α και από ότι φαίνεται στη σ ετική ερ ασία, η Μετα ο ομική μπορεί να οη ήσει ιδιαίτερα σε αυτό, κα ώς εντοπίζονται ξεκά αρες α α ές στον μετα ο ισμό τ ν ατόμ ν που τε ικά παρουσιάζουν AKI. 5.1 Δεδομένα Στην σ ετική ερ ασία ανα ύ ηκαν με NMR δεί ματα ούρ ν από 106 αν ρώπους, από τους οποίους οι 34 εμφάνισαν AKI (στο εξής α αναφέρονται ς ασ ενείς ) και οι 72 παρέμειναν υ ιείς. Δεί ματα ούρ ν ε ήφ ησαν την ημέρα πριν από την επέμ αση, κα ώς και 4 και 24 ώρες μετά από αυτήν. Στην περίπτ σή μας α ασ ο η ούμε με τα δεί ματα 24 ώρες μετά την επέμ αση, τα οποία αναφέρεται ότι έδ σαν την κα ύτερη συνο ική επιτυ ία. Τα δεί ματα που ε ήφ ησαν 4 ώρες μετά εί αν πο ύ υψη ές συ κεντρώσεις σε πρόσ ετες ουσίες που ρησιμοποιή ηκαν κατά τη διάρκεια της επέμ ασης και έδιναν αμη ότερη επιτυ ία στις προ έψεις. Τα δεδομένα είναι ε εύ ερα δια έσιμα στη άση δεδομέν ν MetaboLights [4] και αποτε ούνται από κανονικοποιημένες τιμές (Quantile Normalization) 701 αρακτηριστικών (περιο ές του φάσματος NMR) ια τους 106 ασ ενείς. Επιπ έον, το σ ετικό αρ είο περιέ ει τον κ δικό κά ε δεί ματος και την κ άση του (Biopsy kidney normal ή Acute Kidney Injury). Στη δημοσιευμένη ερ ασία, έ ινε ταξινόμηση με SVM και ια τα δεί ματα 24h μετά την επέμ αση επετεύ η συνο ική επιτυ ία 76%. 5.2 Ανά υση με μεμον μένους α ορί μους Το αρ είο δεδομέν ν μετατράπηκε από την παρε όμενη μορφή στην κατά η η μορφή arff που δέ εται η WEKA. Τα δεδομένα ανακατεύ ηκαν και επειδή, όπ ς παρατηρή ηκε αρ ό- 63

82 Κεφά αιο 5. Πρό ημα 1: AKI τερα, ορισμένοι α όρι μοι επηρεάζονται από την ταυτότητα κά ε δεί ματος, αυτή αφαιρέ- ηκε. Στη συνέ εια, εξετάστηκαν ό οι οι δια έσιμοι α όρι μοι ταξινόμησης, έπειτα από προσεκτική επι ο ή τ ν παραμέτρ ν του κα ενός ώστε να με ιστοποιείται η συνο ική επιτυ ία. Σε περιπτώσεις που ια διαφορετικές παραμέτρους μπορούσε να επιτευ εί σ εδόν η ίδια συνο ική επιτυ ία με διαφορετική κατανομή επιτυ ίας στις κ άσεις, επι έ ηκε το σύνο ο παραμέτρ ν που προέ επε κα ύτερα την κ άση AKI. Σε κά ε περίπτ ση ρησιμοποιή ηκε 10-fold Cross Validation. Οι ρόνοι εκτέ εσης κυμαίνονταν από κ άσματα του δευτερο έπτου έ ς μερικά δευτερό επτα ή ε ά ιστα επτά ια τους περισσότερους α ορί μους. Ο α όρι μος MultilayerPerceptron, ια τις υψη ότερες τιμές της παραμέτρου επο ών N ρειάστηκε ρόνο της τάξης δεκάδ ν επτών. Σημειώνεται ότι, μεταξύ ά ν ό της ρήσης cross-validation, η εκπαίδευση α μπορούσε να επιτα υν εί σημαντικά εάν οι απαραίτητες μέ οδοι υ οποιούνταν έτσι ώστε να εκμετα εύονται δια έσιμες υποδομές παρά η ης επεξερ ασίας. Τα αποτε έσματα προ έψε ν ια τα μοντέ α που εκπαιδεύτηκαν φαίνονται συ κεντρ τικά στον πίνακα 5.1. Λό του ότι στο πρό ημα εμφανίζονται μονά α δύο κ άσεις και του ότι κανένας από τους α ορί μους δεν αφήνει μη ταξινομημένα δεδομένα, είναι εύκο ο να παρα ούν ό οι οι confusion matrices μονά α από αυτόν τον πίνακα. Ένα παράδει μα φαίνεται στον πίνακα 5.2. Στον πίνακα αυτόν, όπ ς και σε ό ους τους confusion matrices που εμφανίζονται σε αυτήν την ερ ασία, οι ραμμές αντιστοι ούν στις πρα ματικές κ άσεις και οι στή ες στις προ επόμενες κ άσεις. Έτσι, στον πίνακα δεί ματα της κ άσης normal έ ουν αποδο εί σ στά σε αυτήν, ενώ 7 δεν ανα ν ρίστηκαν σ στά ς normal α ά αποδό ηκαν εσφα μένα στην κ άση AKI. Το ά ροισμα τ ν στοι εί ν της ραμμής πρέπει να ισούται με το σύνο ο τ ν δεδομέν ν της κ άσης ια τα οποία έ ινε ταξινόμηση. Σε ειδικές περιπτώσεις, δεδομένα ια τα οποία ένα μοντέ ο δεν μπορεί να αποφαν εί με ε αιότητα, μπορεί συνειδητά να αφε ούν αταξινόμητα, κάτι που ε τιώνει την ακρί εια του μοντέ ου, α ά δεν δίνει απαντήσεις ια ορισμένα δεί ματα. Ένας τέτοιος πίνακας δια άζεται και κατά στή ες: π.. συνο ικά στην κ άση AKI αποδό ηκαν 26+7=33 δεί ματα. Από αυτά όμ ς μόνο τα 26 ανήκουν όντ ς σε αυτήν. Άρα, η απόφαση ότι ένα νέο δεί μα ανήκει στην κ άση AKI α έ ει πι ανότητα 26/33=79% να είναι σ στή. 64

83 5.2. Ανά υση με μεμον μένους α ορί μους Πίνακας 5.1: Επιτυ ία α ορί μ ν ια το σύνο ο και επιτυ ία ς προς τις κ άσεις. a:biopsy kidney normal, b:acute Kidney Injury Α όρι μος-μοντέ ο Επιτυ ία a(72) a(%) b(34) b(%) Bayes BayesNet 75.5% 56 78% 24 71% NaiveBayes 74.5% 55 76% 24 71% NaiveBayesUpdateable 68.9% 55 76% 18 53% Functions LibSVM 80.2% 63 88% 22 65% Logistic 80.2% 61 85% 24 71% MultilayerPerceptron (N=20) 71.7% 55 76% 21 62% MultilayerPerceptron (N=100) 75.5% 58 81% 22 65% MultilayerPerceptron (N=500) 76.4% 59 82% 22 65% SGD 80.2% 61 85% 24 71% SimpleLogistic 80.2% 63 88% 22 65% SMO 77.4% 59 82% 23 68% VotedPerceptron 77.4% 61 85% 21 62% Lazy Ibk 71.7% 61 85% 15 44% Kstar 67.9% % 0 0% LWL (DecisionStump) 78.3% 53 74% 30 88% Rules DecisionTable 81.1% 65 90% 21 62% JRip 85.8% 65 90% 26 76% OneR 66.0% 53 74% 17 50% PART 78.3% 62 86% 21 62% ZeroR 67.9% % 0 0% Trees DecisionStump 79.2% 53 74% 31 91% J % 63 88% 23 68% LMT 79.2% 62 86% 22 65% RandomForest 77.4% 64 89% 18 53% RandomTree 72.6% 67 93% 10 29% REPTree 80.2% 58 81% 27 79% Α όρι μος-μοντέ ο Επιτυ ία a(72) a(%) b(34) b(%) Πίνακας 5.2: JRip: Confusion Matrix a b a: Biopsy kidney normal = b: Acute Kidney Injury 34-26= Επιτυ ία 85.8% 65

84 Κεφά αιο 5. Πρό ημα 1: AKI 5.3 Ανά υση με συνδυασμό α ορί μ ν Έ οντας στη διά εσή μας μια εικόνα ια τη ενική συμπεριφορά τ ν διαφόρ ν α ορί μ ν στο συ κεκριμένο πρό ημα, μπορούμε να τους συνδυάσουμε, με στό ο τε ικά να ά ουμε κα ύτερα αποτε έσματα. Παρότι είναι δια έσιμοι πο οί meta-classifiers στη WEKA που μπορούν να συνδυάσουν α ορί μους με διάφορους τρόπους (. ενότητα 6.3.2), στο πρό- ημα αυτό η διαδικασία του συμψηφισμού τ ν αποτε εσμάτ ν τ ν α ορί μ ν έ ινε σε κατά η ο ο ιστικό φύ ο το οποίο δημιουρ ή ηκε στα π αίσια της ερ ασίας. Έπειτα από την εκτέ εση ενός α ορί μου, τα αποτε έσματα που εμφανίζονται στη WEKA απο ηκεύονται σε ένα αρ είο κειμένου, το οποίο μορφοποιείται κατά η α και στη συνέ εια εισά εται ς νέο φύ ο στο LibreOffice Calc. Από τα αποτε έσματα ενδιαφέρουν μονά α οι προ έψεις ανά δεί μα. Μπορεί να έ ουμε αφαιρέσει τις ταυτότητες τ ν δει μάτ ν, στόσο έ ει ε ε εί, ρησιμοποιώντας ο όκ ηρα τα δεδομένα, ότι ο ρισμός τ ν δεδομέν ν κατά το cross-validation ίνεται κά ε φορά με τον ίδιο ακρι ώς τρόπο. Στα αποτε έσματα ενδιαφέρει επίσης να εμφανίζεται η πι ανότητα ια κά ε κ άση (αν υπο ο ίζεται), κάτι που μπορεί να ενερ οποιη εί ς εξής: More options... > Output predictions > [plain text] > (κ ικ στο [plain text]) > outputdistribution. Αφού εισα ούν τα αποτε έσματα τ ν επι υμητών μοντέ ν στο ι ίο ερ ασίας, επι- έ εται ποια από αυτά α ρησιμοποιη ούν, α άζοντας μια δυαδική τιμή ια το κα ένα. Στη συνέ εια υπο ο ίζεται ο μέσος όρος της πι ανότητας. Οι δύο κ άσεις έ ουν οριστεί ς 0 (normal) και 1 (AKI). Αν ο μέσος όρος είναι υψη ότερος από ένα κατώφ ι (π.. 60%), τότε αντιστοι ίζεται στην κ άση 1. Αν είναι αμη ότερος από ένα ά ο κατώφ ι (π.. 40%), τότε αντιστοι ίζεται στην κ άση 0. Αν ρίσκεται ενδιάμεσα, τότε δεν αμ άνεται καμία απόφαση. Αυτό μπορεί να αποφευ εί έτοντας τα δύο κατώφ ια ίσα με 50%. Τα ά η στις προ έψεις α ροίζονται και υπο ο ίζεται η συνο ική επιτυ ία. Χρησιμοποιώντας τα παρε όμενα ερ α εία ε τιστοποίησης (solver) μπορούμε να εντοπίσουμε τον συνδυασμό μοντέ ν που με ιστοποιεί τη συνο ική ακρί εια α άζοντας τις αντίστοι ες δυαδικές μετα ητές. Μερικά ενδιαφέροντα παραδεί ματα, με τιμή 50% και ια τα δύο κατώφ ια: με DecisionStump + REPTree + SMO αμ άνουμε 84.0% (υψη ότερη) με REPTree + LibSVM αμ άνουμε 84.9% (υψη ότερη) με REPTree + SMO αμ άνουμε 77.4% (ίση με του SMO) με DecisionStump + JRip + REPTree + LibSVM αμ άνουμε 86.8% (υψη ότερη) με DecisionStump + JRip + REPTree + SMO αμ άνουμε 87.7% (υψη ότερη) Όπ ς φαίνεται από τα παραδεί ματα, μπορούμε να επιτύ ουμε αρκετά υψη ότερη ακρί εια με ένα συ ο ικό μοντέ ο σε σ έση με την ακρί εια που επιτυ άνει κά ε ένα από τα συμμετέ οντα μοντέ α. Παρατηρήστε επίσης ότι η προσ ήκη του ίδιου α ορί μου δεν αυξάνει πάντοτε την ακρί εια. Ο confusion matrix ια το τε ευταίο παράδει μα φαίνεται στον πίνακα

85 5.4. Συζήτηση Πίνακας 5.3: Consensus: Confusion Matrix. Συνδυάζονται τα μοντέ α που προέκυψαν από τους DecisionStump, JRip, REPTree και SMO. a b a: Biopsy kidney normal b: Acute Kidney Injury Επιτυ ία 87.7% 5.4 Συζήτηση Όπ ς φαίνεται στον πίνακα 5.1 σε αυτό το πρό ημα υπάρ ει έντονος αντα νισμός ια τη έση του κα ύτερου α ορί μου. Επισημαίνεται ότι τα νούμερα που παρουσιάζονται αφορούν το συ κεκριμένο μοντέ ο που παρά ηκε με συ κεκριμένες παραμέτρους από έναν α όρι μο και εφαρμόζεται σε αυτό το σύνο ο δεδομέν ν με 10-fold cross-validation. Δεν α πρέπει να ερμηνευτεί ς ενικό μέτρο αξιο ό ησης τ ν α ορί μ ν. Αυτό ίνεται εύκο α αντι ηπτό συ κρίνοντας τα αποτε έσματα με αυτά που φαίνονται στον πίνακα 6.3 (σε. 82) ια το Πρό ημα 2, όπου τα κατα η ότερα μοντέ α προκύπτουν από διαφορετικούς α ορί μους από ότι εδώ. Επίσης, είναι πι ανό ορισμένοι α όρι μοι να μπορούν να δώσουν μοντέ α με υψη ότερη ακρί εια από αυτή που παρουσιάζεται εδώ, αν κανείς εμ α ύνει περισσότερο σε αυτούς. Ως προς τη συνο ική ακρί εια, κα ύτερα μοντέ α ια αυτό το πρό ημα φαίνεται να δίνει ο α όρι μος JRip. Μά ιστα, δίνει και την υψη ότερη ακρί εια στην πρό εψη της κ άσης normal, μαζί με τον α όρι μο DecisionTable (και οι δύο στην κατη ορία Rules). Σημειώστε π ς τα μοντέ α τ ν α ορί μ ν που εμφανίζονται με π ά ιες υφές παρουσιάζουν ένα σημαντικό πρό ημα: δεν προ έπουν κα ό ου, ή προ έπουν ε ά ιστα, τη μία από τις δύο κ άσεις, ενώ προ έπουν φαινομενικά πο ύ κα ά την ά η. Αν στεκόμασταν στη συνο ική ακρί εια ή στην ακρί εια της κ άσης που προ έπεται κα ύτερα α άζαμε αν ασμένα συμπεράσματα. Τα μοντέ α αυτά φαίνεται να επηρεάζονται κυρί ς από την κατανομή τ ν κ άσε ν, δίνοντας εύκο ες αποφάσεις με υψη ή συνο ική ακρί εια, οι οποίες όμ ς δεν έ ουν κάποια αξία. Μά ιστα, ο α όρι μος ZeroR ασίζεται ακρι ώς στην π ειοψηφούσα κ άση. Με ά ο ενδιαφέρον παρουσιάζει επίσης ο α όρι μος DecisionStump κα ώς δίνει ( ρίς καμία παράμετρο) την κα ύτερη ακρί εια ια την κ άση AKI, δίνοντας ταυτό ρονα κα ές τιμές ια την ακρί εια της κ άσης normal και ια την συνο ική ακρί εια. Σε αυτό το πρό ημα τα δεδομένα είναι αρκετά και οι δια έσιμες μετα ητές πο ύ περισσότερες. Επίσης, όπ ς φαίνεται και οπτικά στα φάσματα NMR [3], υπάρ ουν σημαντικές διαφορές ανάμεσα στις δύο κ άσεις. Επομέν ς, μπορούν να δια ριστούν ρίς να ρειάζεται να εκπαιδευτούν ιδιαίτερα περίπ οκα μοντέ α. Εξ' ά ου, τα απ ούστερα μοντέ α τείνουν πο ές φορές να συμπεριφέρονται κα ύτερα στην πράξη, όταν και τα συστήματα που με ετώνται είναι σ ετικά απ ά. Παρότι στο (αρκετά πιο περίπ οκο) Πρό ημα 2 α δούμε ότι ο α όρι μος LibSVM παρά ει με διαφορά κα ύτερα μοντέ α από τους υπό οιπους α ορί μους, οι οποίοι δεν αποδίδουν τόσο κα ά όσο εδώ, στη συ κεκριμένη περίπτ ση ρίσκεται αρκετά ψη ά α ά ό ι στην πρώτη έση. Ειδικά ς προς την κ άση AKI, συμπεριφέρεται με παρόμοιο τρόπο με τους υπό οιπους. Παρό α αυτά, ό οι οι α όρι μοι της 67

86 Κεφά αιο 5. Πρό ημα 1: AKI κατη ορίας Functions δίνουν αρκετά κα ά αποτε έσματα, ρίς να παρουσιάζουν ακραία συμπεριφορά όπ ς π ο RandomTree. Δεν πρέπει στόσο να εστιάζουμε μονά α σε ένα ή δύο κα ύτερα μοντέ α. Όπ ς είδαμε, μπορούμε συνδυάζοντας μοντέ α να δημιουρ ήσουμε ένα συναινετικό μοντέ ο με ακρί εια υψη ότερη από αυτή κά ε μοντέ ου που συμμετέ ει ή και υψη ότερη από ά α μοντέ α τα οποία δεν συμμετέ ουν. Αυτό είναι σημαντικό, μεταξύ ά ν, κα ώς ενδέ εται ένα σύνο ο από απ ούστερα μοντέ α να εκπαιδεύεται πο ύ πιο ρή ορα από ένα πιο περίπ οκο μοντέ ο με υψη ότερη ακρί εια. 68

87 Κεφά αιο 6 Πρό ημα 2: DXR Το δεύτερο πρό ημα που εξετάζεται προέρ εται από υπό με έτη δεδομένα της Φαρμακευτικής Σ ο ής του Ε νικού Καποδιστριακού Πανεπιστημίου Α ηνών, της ερευνητικής ομάδας του κα η ητή Εμμ. Μικρού, τα οποία μας παρα ρή ηκαν ευ ενικά. Η φυσική εικόνα του προ ήματος είναι η εξής: η αδριαμυκίνη (DXR) ε ρείται ένα από τα πιο αποτε- εσματικά αντινεοπ ασματικά φάρμακα εναντίον πο ών μορφών καρκίνου όπ ς ευ αιμία, σάρκ μα, ό κος του μαστού, τ ν πνευμών ν και τ ν ο ηκών. Η ορή ησή της όμ ς επιφέρει αρκετές παρενέρ ειες, όπ ς μυε οτοξικότητα, ναυτία, εμετό, διάρροια, α πεκία και, το κυριότερο, καρδιοτοξικότητα. Στη σ ετική διατρι ή του κ. Κ. Ι αννίδη [5], στην οποία με ετώνται τα ίδια δεδομένα, εξετάζεται αν η συ ορή ηση ο ευρ παΐνης (συστατικό τ ν φύ ν της ε ιάς) μπορεί να αναστεί ει την καρδιοτοξικότητα που επιφέρει η αδριαμυκίνη, ενώ ενδιαφέρει επίσης και η επίδραση της ο ευρ παΐνης σε υ ιή άτομα. 6.1 Δεδομένα Τα δεδομένα μετα ο ομικής που εξετάζονται αποτε ούν φάσματα πυρηνικού μα νητικού συντονισμού (NMR) υδρο όνου από εκ υ ίσματα ιστού καρδιάς 40 επιμύ ν οι οποίοι ρίζονται σε 6 ν στές κ άσεις. Η κατανομή τ ν ατόμ ν-δει μάτ ν σε κ άσεις παρουσιάζεται στον πίνακα 6.1. Για κά ε άτομο διατί ενται εμ αδά 38 κορυφών NMR και η κ άση στην οποία αυτό ανήκει. Το σύνο ο τ ν δεδομέν ν προέρ εται από κα αρισμό εκτενέστερου συνό ου, από το οποίο έ ουν αφαιρε εί τα ακραία δεί ματα (outliers) και έ ουν προσαρμοστεί οι τιμές τ ν εμ αδών σύμφ να με την κορυφή του ρησιμοποιούμενου προτύπου (TSP). Για την ανά υση ρησιμοποιή ηκαν τα κα αρισμένα δεδομένα, όπ ς δό ηκαν από το Τμήμα Φαρμακευτικής. Η κ άση control περιέ ει άτομα στα οποία δεν έ ει ορη η εί καμία δραστική ουσία. Η κ άση dxr περιέ ει άτομα που έ ουν ά ει αδριαμυκίνη (DXR). Οι κ άσεις oleu1 και oleu2 περιέ ουν άτομα που έ ουν ά ει ο ευρ παΐνη σε δυο διαφορετικές δόσεις ( αμη ότερη και υψη ότερη, αντιστοί ς, με σ έση 1:2). Οι κ άσεις dxr+oleu1 και dxr+oleu2 περιέ ουν άτομα που έ ουν ά ει συνδυασμό τ ν αντίστοι ν δραστικών ουσιών. Το ασικό ερώτημα είναι αν οι διαφορετικές κ άσεις δια ρίζονται μεταξύ τους. Στην προσέ ισή μας, στό ος είναι η διάκριση τ ν ατόμ ν που ανήκουν στις 6 κ άσεις με στό ο την αντιστοί ιση νέ ν, 69

88 Κεφά αιο 6. Πρό ημα 2: DXR Πίνακας 6.1: Κατανομή δει μάτ ν σε κ άσεις Κ άση Π ή ος ατόμ ν control 6 dxr 6 dxr+oleu1 11 dxr+oleu2 6 oleu1 5 oleu2 6 Σύνο ο 40 ά ν στ ν ατόμ ν-δει μάτ ν στις αντιπροσ πευτικότερες ια αυτά κ άσεις. 6.2 Ανά υση με το MetaboAnalyst Για μια πρώτη επεξερ ασία τ ν δεδομέν ν ρησιμοποιή ηκε το online ερ α είο Metaboanalyst [7,8] και εξετάστηκε, με διάφορους τρόπους, η δυνατότητα δια ρισμού τ ν δεδομέν ν σε ομάδες. Ως τύπος δεδομέν ν επι έ ηκε Concentrations, τα δεδομένα κ ιμακώ ηκαν με την τε νική Pareto Scaling, ενώ δεν εφαρμόστηκε κανονικοποίηση. Το αποτέ εσμα φαίνεται στο σ ήμα 6.1. Δεν υπήρ αν ά ν στες τιμές. Υπεν υμίζεται ότι τα δεδομένα που ρησιμοποιούνται έ ουν ήδη υποστεί κα αρισμό από outliers και από - ια ά ους ό ουςπρο ηματικά δεί ματα. Ακο ού ησε στατιστική επεξερ ασία (μεταξύ ά ν ανά υση συσ έτισης, PCA, PLS- DA). Στο σ ήμα 6.2 φαίνεται η ιεραρ ική εξάρτηση τ ν διαφόρ ν ουσιών. Ως μετρική απόστασης έ ει ρησιμοποιη εί το Pearson r. Η Ανά υση Κυρίαρ ν Συνιστ σών (Principal Components Analysis - PCA) ια τα 5 κυριότερα συστατικά-κ ειδιά φαίνεται στο σ ήμα 6.3. Δεν φαίνεται να επιτυ άνεται κάποιος αξιοσημεί τος δια ρισμός ια καμία κ άση. Ενδεικτικά, παρατί ενται με ε υμένα τα 2D δια ράμματα ια κάποια Principal Components. Αντίστοι η εικόνα παρουσιάζεται και στα υπό οιπα δια ράμματα. Αντίστοι η εικόνα παρουσιάζεται και με την ανά υση μερικών ε α ίστ ν τετρα ών ν (Partial Least Squares - Discriminant Analysis ή PLS-DA). Η συνοπτική εικόνα φαίνεται στο σ ήμα 6.6. Ενδεικτικά, δίνονται τα 2D score plots ια τα συστατικά 3-1 (σ ήμα 6.7) και 5-4 (σ ήμα 6.8). Εκτός από έναν σ ετικό δια ρισμό τ ν κ άσε ν control και oleu2 δεν διακρίνεται κάποιος ά ος ικανοποιητικός δια ρισμός. Στο σ ήμα 6.9 παρουσιάζεται ενδεικτικά η κατάταξη τ ν 15 κυριότερ ν μετα ο ιτών ια την PLS-DA (component 1). Στο σ ήμα 6.10 παρουσιάζεται ένα heatmap όπου απεικονίζονται πι ανές διαφοροποιήσεις συ κεντρώσε ν τ ν μετα ο ιτών ια τις διαφορετικές κ άσεις. Δεν διακρίνονται σαφείς δια ριστικές ραμμές μεταξύ τ ν διαφορετικών κ άσε ν. Η απόσταση υπο ο ίστηκε κατά Pearson και ρησιμοποιή ηκε ο α όρι μος συσταδοποίησης (clustering) Ward. Αντίστοι α με το σ ήμα 6.9, στο σ ήμα 6.11 φαίνεται μια κατάταξη τ ν μετα ο ιτών ς προς τη σημασία τους ια ταξινόμηση με τον παρε όμενο α όρι μο Random Forest. 70

89 6.2. Ανά υση με το MetaboAnalyst Στο σ ήμα 6.12 φαίνεται η απόδοση του α ορί μου Random Forest ια την ταξινόμηση τ ν δεδομέν ν. Είναι ξεκά αρη η διαφορά στην επιτυ ία της ταξινόμησης ς προς την κ άση dxr+oleu1 και ς προς την κ άση oleu2 σε σ έση με τις υπό οιπες και η αδυναμία πρό εψης της κ άσης oleu1. Αυτό φαίνεται και στον σ ετικό πίνακα - confusion matrix (πίνακας 6.2). Συνο ικά, η επιτυ ία του μοντέ ου ανέρ εται στο 47.5% (True Positives ς προς το σύνο ο). 71

90 Κεφά αιο 6. Πρό ημα 2: DXR Σ ήμα 6.1: Τα δεδομένα πριν και μετά την εφαρμο ή Pareto Scaling 72

91 6.2. Ανά υση με το MetaboAnalyst Σ ήμα 6.2: Correlation heatmap 73

92 Κεφά αιο 6. Πρό ημα 2: DXR Σ ήμα 6.3: PCA ια τα 5 κυριότερα Principal Components 74

93 6.2. Ανά υση με το MetaboAnalyst Σ ήμα 6.4: PCA: 2D score plot ια τα Principal Components 1 και 2 (διάστημα εμπιστοσύνης 95%) - Δεν διακρίνεται κάποιος ικανοποιητικός δια ρισμός κ άσε ν. Η συ ορή ηση ο ευρ παΐνης μαζί με την αδριαμυκίνη φαίνεται να μετακινεί τα σημεία αριστερότερα. Σ ήμα 6.5: PCA: 2D score plot ια τα Principal Components 2 και 3 (διάστημα εμπιστοσύνης 95%) - Δεν διακρίνεται κάποιος ικανοποιητικός δια ρισμός κ άσε ν. Η συ ορή ηση ο ευρ παΐνης μαζί με την αδριαμυκίνη φαίνεται να μετακινεί τα σημεία προς μια κεντρική περιο ή όπου μοιάζουν να συ κεντρώνονται τα μη-dxr σημεία. 75

94 Κεφά αιο 6. Πρό ημα 2: DXR Σ ήμα 6.6: PLS-DA ια τα 5 κυριότερα συστατικά 76

95 6.2. Ανά υση με το MetaboAnalyst Σ ήμα 6.7: PLS-DA: 2D score plot ια τα Components 3 και 1 (διάστημα εμπιστοσύνης 95%) - Δεν διακρίνεται κάποιος ικανοποιητικός δια ρισμός. Σ ήμα 6.8: PLS-DA: 2D score plot ια τα Components 5 και 4 (διάστημα εμπιστοσύνης 95%) - Δεν διακρίνεται κάποιος ικανοποιητικός δια ρισμός. Η συ ορή ηση ο ευρ παΐνης μαζί με αδριαμυκίνη φαίνεται να μετακινεί τα σημεία προς μια περιο ή μη-dxr σημεί ν. 77

96 Κεφά αιο 6. Πρό ημα 2: DXR Σ ήμα 6.9: PLS-DA: Variable Importance in Projection score (component 1) Σ ήμα 6.10: Concentration Heatmap: Σ ετικές συ κεντρώσεις τ ν μετα ο ιτών στα δεί ματα τ ν διαφορετικών κ άσε ν. 78