ΗΜΕΡΟΜΗΝΙΑ: 25/05/2009 TΕΛΙΚΗ ΕΡΓΑΣΙΑ ΝΙΚΗ ΜΟΣΧΟΥ

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "ΗΜΕΡΟΜΗΝΙΑ: 25/05/2009 TΕΛΙΚΗ ΕΡΓΑΣΙΑ ΝΙΚΗ ΜΟΣΧΟΥ"

Τώβιας Μαλαξός
7 χρόνια πριν
Προβολές:

1 DATA MINING ΗΜΕΡΟΜΗΝΙΑ: 25/05/2009 TΕΛΙΚΗ ΕΡΓΑΣΙΑ ΝΙΚΗ ΜΟΣΧΟΥ

2 1 ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΔΕΔΟΜΕΝΩΝ Αφού δεν γνωρίζουμε κάποιο τρόπο για να επιλέξουμε εκ των προτέρων την πιο κατάλληλη και αποδοτική μέθοδο μάθησης (ή έστω κατηγορία) δεν έχουμε προβεί σε ολικούς μετασχηματισμούς με σκοπό την καλύτερη προσαρμογή των δεδομένων σε κάποια συγκεκριμένη κατηγορία. Έχουμε προβεί όμως σε «σχετική αλλαγή» κάποιων δεδομένων μας έτσι ώστε συνολικά να προσαρμόζονται καλύτερα σε οποιαδήποτε κατηγορία και έχουμε αφαιρέσει τις μεταβλητές αυτές που δεν προσθέτουν σχετικά καμία πληροφορία. Περαιτέρω αλλαγές ή επεξεργασία θα μπορούσαν να γίνουν μόνο εάν είχαμε πληροφορίες για την φύση (είδος) των δεδομένων, κάτι το οποίο είναι βασικό για την οποιαδήποτε ανάλυση Τα καλύτερα αποτελέσματα επιτεύχθηκαν αφαιρώντας τις μεταβλητές 3,34,36,38 και αλλάζοντας τις 2,16 και 25 ΜΕΤΑΒΛΗΤΗ 3 Έχουμε αφαιρέσει την 3 διότι η τιμή της στο 99,7 % (2520/2528) των περιπτώσεων είναι -0, attribute03 Total -0, , , , , , , , ,5634 1

3 2 ΜΕΤΑΒΛΗΤΗ 34 Έχουμε αφαιρέσει την 34 διότι η τιμή της στο 99,996% των περιπτώσεων είναι 0 attribute34 Total ΜΕΤΑΒΛΗΤΗ 36 Έχουμε αφαιρέσει την 36 διότι η τιμή της στο 99,4% των περιπτώσεων είναι 0 attribute36 Total ΜΕΤΑΒΛΗΤΗ 38 Έχουμε αφαιρέσει την 38 διότι η τιμή της είναι παντού 0 attribute38 Total

4 3 ΜΕΤΑΒΛΗΤΗ 2 Έχει αλλαχθεί η μεταβλητή 2, η οποία αρχικά είχε 2436 (96,36% ) instances με την ίδια τιμή και 92 instances με 92 διαφορετικές τιμές. Για τα 92 instances δημιουργήθηκαν 2 νέες κατηγορίες με τους μέσους όρους Average Count of attribute02-0, , , ΜΕΤΑΒΛΗΤΗ 16 Έχει αλλαχθεί η μεταβλητή 16, η οποία αρχικά είχε 2442 (96,59% ) instances με την ίδια τιμή και 86 instances με 86 διαφορετικές τιμές. Για τα 86 instances δημιουργήθηκε μια νέα κατηγορία με το μέσο όρο αυτών Row Labels Count of attribute16-0, , ΜΕΤΑΒΛΗΤΗ 25 Έχει αλλαχθεί η μεταβλητή 25, η οποία αρχικά είχε 2457 (97,19% ) instances με την ίδια τιμή και 71 instances με 71 διαφορετικές τιμές. Για τα τελευταία instances δημιουργήθηκε μια νέα κατηγορία με το μέσο όρο αυτών Row Labels Count of attribute25-0, , ΓΕΝΙΚΟΣ ΚΑΝΟΝΑΣ: Αφαιρούμε τις μεταβλητές αυτές που έχουν την ίδια τιμή στο 99% των περιπτώσεων και πάνω και αλλάζουμε τις τιμές (χρησιμοποιώντας τους μέσους όρους) στις μεταβλητές που έχουν την ίδια τιμή περίπου στο 96% των περιπτώσεων.

5 4 Το τελικό train dataset περιλαμβάνει τις ακόλουθες μεταβλητές: 1,2,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,35, 37,39 Χρησιμοποιήθηκαν όλες οι κατηγορίες ταξινομητών και output (numeric and nominal), αλλά τα καλύτερα αποτελέσματα επιτεύχθηκαν στους meta αλγορίθμους. Θα δώσουμε στη συνέχεια κάποια παραδείγματα αλγορίθμων FUNCTION CLASSIFIERS Multilayer Perceptron Prediction: 0,5391 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % LAZY CLASSIFIERS KStar -B 10 -M a Prediction: 0,8 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error %

6 5 BAYES CLASSIFIERS Bayes Net Prediction: 0,9044 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error 99.80% Root relative squared error % RULES CLASSIFIERS JRip -F 3 -N 1.0 -O 1 -S 0 Prediction: 0,9281 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % TREES CLASSIFIERS ADTree Prediction: 0,947 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error %

7 6 META CLASSIFIERS ΑdaBoostM-RandomForest Prediction: 0,947 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % TREES CLASSIFIERS LADTree -B 00 Prediction: 0,9518 Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Τέλος, τα καλύτερα αποτελέσματα επιτυγχάνονται με τη χρησιμοποίηση του bagging και του REPTree Prediction: 0,9549 Correlation coefficient 0 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error %

8 7 Συνεπώς, εφαρμόζουμε τον συγκεκριμένο αλγόριθμο και στο τελικό test και λαμβάνουμε τα ακόλουθα αποτελέσματα Correlation coefficient 0 Mean absolute error Root mean squared error Relative absolute error % Root relative squared error %

Σχετικά έγγραφα

ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ

ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ Δ.Π.Μ.Σ. ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΕΛΙΚΗ ΕΡΓΑΣΙΑ ΧΟΥΧΟΥΜΗΣ ΙΩΑΝΝΗΣ Το σύνολο των