ΔΠΜΣ: ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΡΟΗ: ΣΤΑΤΙΣΤΙΚΗ-ΠΙΘΑΝΟΤΗΤΕΣ ΜΑΘΗΜΑ: ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΕΛΙΚΗ ΕΡΓΑΣΙΑ ΔΗΜΗΤΡΑ ΤΑΤΣΙΟΥ

Transcript

1 ΔΠΜΣ: ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΡΟΗ: ΣΤΑΤΙΣΤΙΚΗ-ΠΙΘΑΝΟΤΗΤΕΣ ΜΑΘΗΜΑ: ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΤΕΛΙΚΗ ΕΡΓΑΣΙΑ ΔΗΜΗΤΡΑ ΤΑΤΣΙΟΥ

2 ΠΡΟΕΠΙΣΚΟΠΗΣΗ ΚΑΙ ΕΞΕΡΕΥΝΗΣΗ ΤΩΝ ΔΕΔΟΜΕΝΩΝ Τα προς επεξεργασία δεδομένα μπορούν να ταξινομηθούν στα παρακάτω μέρη: Στα δεδομένα εκπαίδευσης, training set που συνίσταται από 2528 υποδείγματα (instances) και 40 αριθμητικά χαρακτηριστικά (numeric attributes) εκ των οποίων το τελευταίο έχει οριστεί ως η μεταβλητή στόχος (output) Στα δεδομένα επαλήθευσης, quiz set που συνίσταται από 1265 υποδείγματα και 39 χαρακτηριστικά Στα δεδομένα εξέτασης, test set που συνίσταται από 1265 υποδείγματα και 39 χαρακτηριστικά Η κατανόηση της μορφής των δεδομένων είναι αρκετά σημαντική ώστε να θεωρηθεί ίσως πιο άμεσης σπουδαιότητας από τα ενδιάμεσα βήματα ενός αλγορίθμου εξόρυξης πληροφορίας. Στο σύνολο δεδομένων εκπαίδευσης του training set μπορούν να χρησιμοποιηθούν αρκετές τεχνοτροπίες προεπεξεργασίας δεδομένων, ώστε να οδηγηθούμε σε μια προεπιλογή χαρακτηριστικών. Ορισμένα απλά εργαλεία οπτικοποίησης αποδείχτηκαν ιδιαίτερα χρήσιμα στην εξερεύνηση των δεδομένων Από τα περιγραφικά χαρακτηριστικά και τα γραφήματα διαπιστώνουμε ότι κάποιες μεταβλητές παρουσιάζουν παρόμοια συμπεριφορά, οπότε έχουν την ίδια συμμετοχή στο τελικό αποτέλεσμα. Παράδειγμα οι μεταβλητές: 18 και 20, 16 και 19, 21 και 27.

3 attr18 attr20 Επίσης σε αρκετές μεταβλητές το μεγαλύτερο ποσοστό υποδειγμάτων εμφανίζει τις τιμές του συγκεντρωμένες σε συγκεκριμένο διάστημα και παρατηρείται μεγάλη απόκλιση στις τιμές από ένα πολύ μικρό πλήθος αυτών, που θα μπορούσαν να θεωρηθούν ως outliers. Επομένως αυτές οι μεταβλητές μπορούν να χαρακτηριστούν ως σταθερές δίχως πληροφοριακή αξία στο data set.

4 Έτσι οι μεταβλητές 34και 36 δεν φαίνεται να επηρεάζουν το αποτέλεσμα καθώς και η 38 μας οδηγεί στο συμπέρασμα ότι δεν έχει καμία αξία στην εξαγωγή συμπερασμάτων. Η attribute 34 παίρνει μόνο σε μία καταχώρηση την τιμή 1 ενώ σε όλες τις υπόλοιπες την τιμή 0 Η attribute 36 έχει σε όλες τις καταχωρήσεις της την τιμή 0 εκτός από 15 που έχει την τιμή 1. Η attribute 38 παίρνει την τιμή 0 σε όλα τα instances ΠΡΟΕΠΙΛΟΓΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ Οι παρατηρήσεις αυτές επαληθεύονται και από τους αλγόριθμους αξιολόγησης και επιλογής χαρακτηριστικών. Ως αξιολογητή χρησιμοποίησα τον CfsSubsetEval με τις εξής μεθόδους αναζήτησης: Best First: 10 μεταβλητές: 6,7,12,13,23,24,27,28,32,35 Genetic Search: 9 μεταβλητές: 6,7,12,19,23,24,27,28,32 Greedy Stepwise: 11 μεταβλητές: 6,7,12,13,23,24,27,28,32,35,36 Παρατήρησα ότι οι μεταβλητές 24,27,28,32 εμφανίζονταν και στις 3 μεθόδους αναζήτησης. Στη συνέχεια εφάρμοσα κάποιους κανόνες ομαδοποίησης και συσχέτισης των χαρακτηριστικών. Πειραματίστηκα αρκετά με προσθαφαίρεση των μεταβλητών και αυξάνοντας κατά διαστήματα το θόρυβο σε κάποιες από αυτές.

5 Στην αρχή με τη βοήθεια του αλγορίθμου M5Rules που βασίζεται σε κανόνες ταξινόμησης εκτιμούσα κατά περίπτωση τα αποτελέσματα βάσει του συντελεστή συσχέτισης και των αντίστοιχων σφαλμάτων. ΕΠΙΛΟΓΗ ΧΑΡΑΚΤΗΡΙΣΤΙΚΩΝ Έτσι κατέληξα στην επιλογή ενός data set με 10 χαρακτηριστικά, τα εξής: attr7,attr8,attr22,attr24,attr27,attr28,attr32,attr33,attr35, output. ΕΦΑΡΜΟΓΗ ΑΛΓΟΡΙΘΜΩΝ ΤΑΞΙΝΟΜΗΣΗΣ Με τη βοήθεια των φίλτρων και με Descretize μετέτρεψα τη μεταβλητή στόχο από numeric σε nominal έτσι ώστε να μπορώ να εφαρμόσω και τους υπόλοιπους από τους αλγόριθμους ταξινόμησης. Εφάρμοσα αρκετούς από τους απλούς αλγορίθμους που υπάρχουν στο Weka και έχοντας ως μέτρο απόδοσης την τιμή του σφάλματος (error rate) που βασίζεται στο ποσοστό της σωστής πρόβλεψης της τάξης των υποδειγμάτων, συμπέρανα ότι οι πιο αξιόλογοι είναι οι LADTree, J48graft, Random Forest, JRip, Ridor, PART. Καλύτερος εξ αυτών ο LADTree Αλγόριθμος 1. LADTree: Correctly Classified Instances % Incorrectly Classified Instances % Kappa Statistic Mean absolute error Root mean squared error Relative absolute error % Στη συνέχεια πειραματίστηκα με τα Μετα-μαθησιακά σχήματα που βασίζονται στην κατασκευή πολλών εμπειρογνωμόνων και στην ανάδειξη της πλειοψηφούσας γνώμης. Έτσι βασίστηκα σε τεχνικές εμφωλίασης (bagging), ενδυνάμωσης (boosting), συσσώρευσης (stacking) και κώδικες διόρθωσης σφαλμάτων (ECOC). Τα αποτελέσματα ήταν καλύτερα. Παραθέτω μερικά:

6 Αλγόριθμος 2. AdaBoostM1 με classifier LADTree: Correctly Classified Instances % Incorrectly Classified Instances % Kappa Statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Αλγόριθμος 3. MultiBoostAB με classifier J48graft: Correctly Classified Instances % Incorrectly Classified Instances % Kappa Statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Αλγόριθμος 4. Vote με classifiers (J48graft, RandomForest, LADTree, Ridor, Jrip, PART): Correctly Classified Instances % Incorrectly Classified Instances % Kappa Statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error %

7 Αλγόριθμος 5. Vote με classifiers (NaiveBayes, BFTree, J48graft, RandomForest, LADTree, Ridor, DTNB, Jrip, PART): Correctly Classified Instances % Incorrectly Classified Instances % Kappa Statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Ωστόσο ενδιαφέρει η πιθανή μελλοντική απόδοση σε νέα παραδείγματα και όχι η απόδοση στα ήδη δεδομένα υποδείγματα εκπαίδευσης. Προκειμένου να αποφευχθεί η υπερπροσαρμογή του μοντέλου και των προβλέψεων στα δεδομένα εκπαίδευσης χρησιμοποιούνται τα δεδομένα επαλήθευσης (quiz set). Το quiz set έχουμε επεξεργαστεί ώστε να είναι συμβατό με το training set. Διατηρήσαμε ακριβώς τις ίδιες μεταβλητές και επιπλέον προσθέσαμε μία πλαστή μεταβλητή nominal ως αντίστοιχη της μεταβλητής στόχου. Εφαρμόζοντας ακριβώς τους ίδιους αλγορίθμους στο νέο quiz set, θέτοντάς το ως supplied test set, έδωσαν αποτελέσματα με success rates: Αλγόριθμος 1: Αλγόριθμος 2: Αλγόριθμος 3: Αλγόριθμος 4: Αλγόριθμος 5: Την καλύτερη πρόβλεψη σύμφωνα με την κατάταξη έχει το σχήμα του Αλγορίθμου 5 Τα αντίστοιχα αποτελέσματα από την εφαρμογή του στο quiz set φαίνονται παρακάτω:

8 === Evaluation on test set === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1265 Οπότε οδηγούμαστε στο συμπέρασμα να χρησιμοποιήσουμε τον αλγόριθμο meta Vote weka.classifiers(naivebayes, BFTree, J48graft, RandomForest, LADTree, Ridor, DTNB, Jrip, PART) που έδωσε το καλύτερο success rate ΕΦΑΡΜΟΓΗ ΤΟΥ ΕΠΙΛΕΓΜΕΝΟΥ ΑΛΓΟΡΙΘΜΟΥ ΣΤΟ test set Λόγω των καλών αποτελεσμάτων που έδωσε ο παραπάνω metaαλγόριθμος και του γεγονότος ότι βασίζεται σε σχήματα κωδικών διόρθωσης σφαλμάτων εξόδου έχοντας μόνο τον ενδοιασμό μήπως οδηγήσει σε overtraining αποφασίζουμε την εφαρμογή του στο test set. Ακολουθούμε την ίδια διαδικασία όπως και με το μετασχηματισμό των δεδομένων του quiz set, έτσι ώστε να δημιουργήσουμε ένα data set παρόμοιο με αυτό του training set. Θέτοντάς το ως supplied test set έχουμε τα παρακάτω αποτελέσματα: === Evaluation on test set === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 1265