Αναγνώριση Προτύπων Εργασία 1η Classification

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Αναγνώριση Προτύπων Εργασία 1η Classification Κιντσάκης Αθανάσιος 6667 Μόσχογλου Στυλιανός Νοεμβρίου, 2012

2 Περιγραφή του προβλήματος Στην εργασία είχαμε να αντιμετωπίσουμε το πρόβλημα του classification (κατηγοριοποίησης), ένα από τα πλέον συνήθη προβλήματα στον χώρο της αναγνώρισης προτύπων, πάνω στο οποίο έχουν εφευρεθεί και εφαρμοστεί πολλές αλγοριθμικές τεχνικές, αρκετές από τις οποίες θα αναλύσουμε ενδελεχώς εν συνεχεία. Μας δόθηκαν 8 διαφορετικά σύνολα δεδομένων (datasets) σε μορφή.arff, από τα οποία και έπρεπε να εξάγουμε την πληροφορία για μία συγκεκριμένη κλάση-χαρακτηριστικό συναρτήσει των υπολοίπων χαρακτηριστικών. Ουσιαστικά, ενώ είχαμε στη διάθεσή μας 21 συνολικά χαρακτηριστικά για κάθε στοιχείο (instance) του dataset, έπρεπε βάσει των εναπομεινάντων 20 να βρούμε ένα βέλτιστο (αλγοριθμικό) πρότυπο για κάθε dataset που θα μας κατηγοριοποιεί σωστά (το δυνατόν) το 1 που περισσεύει. Συγκεκριμένα, τα 8 αυτά datasets περιείχαν αναφορές σφαλμάτων σχετικά με το Ruby On Rails project. Η ταξινόμηση έγινε προκειμένου να κατηγοριοποιηθεί σωστά η κλάση-χαρακτηριστικό bugs. Για κάθε ένα από τα 8 datasets εφαρμόσαμε 5 διαφορετικές οικογένειες αλγορίθμων, με διαφορετικές υλοποιήσεις τους αλλά και διαφορετικές παραμέτρους, όταν εφαρμόστηκε ο ίδιος αλγόριθμος ξανά για το ίδιο dataset. Όλες οι υλοποιήσεις πραγματοποιήθηκαν στο λογισμικό WEKA. Ανάλογα με την οικογένεια αλγορίθμων που χρησιμοποιούσαμε κάθε φορά επιλέγαμε την εκάστοτε έτοιμη υλοποίησή του από το μενού classify. Τα τελικά αποτελέσματα, όπως θα παρατηρήσετε και κάτωθι, έχουν περαστεί σε συγκεντρωτικούς πίνακες με την χρήση του προγράμματος EX- CEL. Δεν κρίθηκε απαραίτητη η χρήση MATLAB, οπότε και δεν υπάρχει κάποιο επιπλέον συνοδευτικό αρχείο κώδικα. Αξίζει να επισημάνουμε επίσης ότι χρειάστηκε να τροποποιηθεί μερικώς το heapsize του WEKA, ώστε να υπάρχει βέλτιστη διαχείριση μνήμης και να μπορούν να εκτελεστούν χωρίς σφάλματα όλα τα προγράμματα. Τέλος, αναφέρουμε συγκεντρωτικά τις οικογένειες αλγορίθμων που εφαρμόσαμε: Bayes o AODE o BayesNet o NaiveBayesSimple o J48 o Nearest Neighbors o IB1 2

3 o IBK o SVO o MultilayerPerceptron Εξερεύνηση και εξόρυξη δεδομένων Πριν προχωρήσουμε στην παράθεση των αποτελεσμάτων, κρίθηκε σκόπιμο να αναφέρουμε μερικές τεχνικές λεπτομέρειες που πραγματοποιήσαμε προκειμένου να έχουμε την τελική μορφή των αποτελεσμάτων. Preprocessing Στο στάδιο της προεπεξεργασίας των δεδομένων, πριν δηλαδή εφαρμόσουμε τους αλγορίθμους για την εύρεση του βέλτιστου προτύπου, εφαρμόσαμε σε όλα τα datasets κανονικοποίηση (normalization). Αφαιρέθηκε από όλα τα σετ το attribute milestone_title καθώς είχε missing values και γενικότερα κρίναμε πως δεν έπαιζε κάποιο καθοριστικό ρόλο Επίσης, στην περίπτωση των πιθανοτικών () και των SVM αλγορίθμων, υπέστησαν discretization τα χαρακτηριστικά updated_at και created_at, ώστε να διασφαλιστεί η απρόσκοπτη εκτέλεσή τους. Ο αλγόριθμος MultilayerPerceptron λόγω της πολύ μεγάλης του πολυπλοκότητας έτρεξε μόνο με τα attributes metrics, wv_patch και wv_have ώστε να δώσει αποτελέσματα σε λογικό χρονικό διάστημα. Τα attributes αυτά κρίθηκαν τα σημαντικότερα και όπως θα δούμε στη συνέχεια τα αποτελέσματα είναι ικανοποιητικά. Εκτέλεση αλγορίθμων Για καθένα από τα 8 datasets ακολουθεί ένας συγκεντρωτικός πίνακας που παρουσιάζει τους αλγορίθμους που Εκτελέστηκαν και τις επιδόσεις τους. Με πράσινο χρώμα είναι ο καλύτερος αλγόριθμος και με μπλε οι αλγόριθμοι που είχαν επιδόσεις αρκετά κοντά σε αυτόν. Ως κριτήριο επιδόσεων χρησιμοποιήσαμε τον τύπο: 0,4*Accuracy + 0,2*Precision + 0,2*Recall + 0,2*F-measure Δώσαμε λίγο παραπάνω βάρος στο Accuracy. Αλλά ακόμα και στην περίπτωση που δίνουμε τον ίδιο συντελεστή σε όλα (0,25) πάλι προέκυπτε ο ίδιος αλγόριθμος ως βέλτιστος. Ακριβώς 3

4 κάτω από τον πίνακα τον αλγορίθμων του κάθε dataset δίνεται ο confusion matrix που προέκυψε από την εκτέλεση του βέλτιστου αλγορίθμου (με πράσινο χρώμα). Αξίζει να σημειωθεί ότι η εξαγωγή των αποτελεσμάτων έγινε μέσω της εντολής save result buffer. Τα μοντέλα δεν τα παραθέτουμε εδώ επειδή είναι ογκωδέστατα. Στον φάκελο results υπάρχουν όλα τα αποτελέσματα (result buffer) από τις εκτελέσεις όλων των αλγορίθμων για όλα τα dataset καθώς και το βέλτιστο μοντέλο. Dataset: Topics5NoRuby.arff Neirest Neighbors AODE 0, ,822 0,825 0,82 0, BayesNet 0, ,819 0,82 0,82 0, NaiveBayesSimple 0, ,821 0,823 0,821 0, J48 C=0.5, M=2 0, ,817 0,819 0,798 0, J48 C=0.5, M=20 0, ,818 0,815 0,767 0, J48 C=0.25, M=2 0, ,831 0,813 0,75 0, I=10, K=0, S=1 0, ,755 0,765 0,756 0,76131 I=20, K=0, S=1 0, ,789 0,801 0,791 0,79651 IB1 0, ,676 0,667 0,671 0, Ibk K=5 0, ,741 0,742 0,733 0, IBk K=10 0, ,785 0,791 0,78 0, IBk K=15 0, ,784 0,792 0,779 0, SMO 0, ,815 0,818 0,815 0, MultilayerPerceptron 0, ,824 0,823 0,799 0, a b c d Classified as a = Race hazard b = Handle leak c = Loss of precision in type conversion d = Access violation 4

5 Dataset: Topics5Ruby.arff Neirest Neighbors AODE 0, ,423 0,471 0,415 0, BayesNet 0, ,441 0,474 0,45 0, NaiveBayesSimple 0, ,439 0,478 0,442 0, J48 C=0.5, M=2 0, ,426 0,424 0,404 0, J48 C=0.5, M=20 0, ,437 0,436 0,413 0, J48 C=0.25, M=2 0, ,428 0,427 0,406 0, I=10, K=0, S=1 0, ,363 0,395 0,365 0, I=20, K=0, S=1 0, ,363 0,397 0,362 0, IB1 0, ,394 0,391 0,393 0, Ibk K=5 0, ,423 0,46 0,429 0, IBk K=10 0, ,413 0,459 0,419 0, IBk K=15 0, ,42 0,466 0,42 0, SMO 0, ,459 0,476 0,463 0, MultilayerPerceptron 0, ,38 0,467 0,41 0, a b c d Classified as a = Race hazard b = Handle leak c = Loss of precision in type conversion d = Access violation 5

6 Dataset: Topics10NoRuby.arff Neirest Neighbors AODE 0, ,712 0,8 0,736 0, BayesNet 0, ,756 0,758 0,757 0, NaiveBayesSimple 0, ,748 0,779 0,761 0, J48 C=0.5, M=2 0, ,668 0,815 0,733 0, J48 C=0.5, M=20 0, ,668 0,815 0,733 0, J48 C=0.25, M=2 0, ,668 0,815 0,733 0, I=10, K=0, S=1 0,7571 0,694 0,757 0,692 0,73144 I=20, K=0, S=1 0, ,715 0,763 0,695 0, IB1 0, ,674 0,67 0,669 0, Ibk K=5 0, ,706 0,754 0,682 0, IBk K=10 0, ,728 0,75 0,661 0, IBk K=15 0, ,758 0,747 0,652 0, SMO 0, ,761 0,803 0,771 0, MultilayerPerceptron 0, ,668 0,815 0,733 0, a b c d Classified as a = Race hazard b = Handle leak c = Buffer overflow d = Off by one error 6

7 Dataset: Topics10Ruby.arff Neirest Neighbors AODE 0, ,655 0,642 0,616 0, BayesNet 0, ,637 0,637 0,637 0, NaiveBayesSimple 0, ,638 0,639 0,636 0, J48 C=0.5, M=2 0, ,755 0,66 0,608 0, J48 C=0.5, M=20 0, ,762 0,66 0,607 0, J48 C=0.25, M=2 0, ,764 0,663 0,61 0, I=10, K=0, S=1 0, ,59 0,6 0,57 0, I=20, K=0, S=1 0, ,59 0,6 0,566 0, IB1 0, ,544 0,548 0,545 0, Ibk K=5 0, ,61 0,612 0,579 0, IBk K=10 0, ,626 0,617 0,572 0, IBk K=15 0, ,63 0,613 0,559 0, SMO 0, ,65 0,653 0,639 0, MultilayerPerceptron 0, ,638 0,64 0,626 0, a b c Classified as a = Loss of precision in type conversion b = Race hazard c = Arithmetic overflow 7

8 Dataset: Topics20NoRuby.arff Neirest Neighbors AODE 0, ,637 0,64 0,526 0, BayesNet 0, ,57 0,594 0,576 0, NaiveBayesSimple 0, ,575 0,617 0,573 0, J48 C=0.5, M=2 0, ,542 0,65 0,578 0, J48 C=0.5, M=20 0, ,605 0,653 0,593 0, J48 C=0.25, M=2 0, ,508 0,651 0,569 0, I=10, K=0, S=1 0, ,53 0,616 0,528 0, I=20, K=0, S=1 0, ,536 0,621 0,524 0, IB1 0, ,523 0,521 0,521 0, Ibk K=5 0, ,557 0,63 0,543 0, IBk K=10 0, ,543 0,633 0,517 0, IBk K=15 0, ,565 0,635 0,509 0, SMO 0, ,594 0,632 0,6 0, MultilayerPerceptron 0, ,542 0,648 0,582 0, a b c d e f Classified as a = Loss of precision in type conversion b = Race hazard c = Memory leak d = Stack overflow e = Infinite loops f = Off by one error 8

9 Dataset: Topics20Ruby.arff Neirest Neighbors AODE 0, ,561 0,561 0,499 0, BayesNet 0, ,488 0,506 0,488 0, NaiveBayesSimple 0, ,519 0,542 0,504 0, J48 C=0.5, M=2 0, ,574 0,571 0,512 0, J48 C=0.5, M=20 0, ,562 0,58 0,509 0,5623 J48 C=0.25, M=2 0, ,563 0,58 0,509 0,5625 I=10, K=0, S=1 0, ,451 0,482 0,446 0, I=20, K=0, S=1 0, ,468 0,497 0,459 0, IB1 0, ,384 0,386 0,384 0, Ibk K=5 0, ,467 0,495 0,427 0, IBk K=10 0, ,472 0,506 0,422 0, IBk K=15 0, ,477 0,51 0,419 0, SMO 0, ,525 0,547 0,512 0, MultilayerPerceptron 0, ,55 0,58 0,511 0,5603 a b c d e Classified as a = Handle leak b = Race hazard c = Uninitialized variable d = Loss of precision in type conversion e = Arithmetic overflow 9

10 Dataset: Topic25NoRuby.arff AODE 0, ,583 0,569 0,524 0, BayesNet 0, ,592 0,6 0,59 0, NaiveBayesSimple 0, ,59 0,601 0,585 0, J48 C=0.5, M=2 0, ,635 0,611 0,595 0, J48 C=0.5, M=20 0, ,605 0,611 0,594 0, J48 C=0.25, M=2 0, ,661 0,62 0,597 0, I=10, K=0, S=1 0, ,529 0,54 0,515 0, I=20, K=0, S=1 0, ,551 0,558 0,529 0, Neirest Neighbors IB1 0, ,418 0,418 0,416 0, Ibk K=5 0, ,52 0,508 0,464 0, IBk K=10 0, ,527 0,508 0,447 0, IBk K=15 0, ,532 0,509 0,437 0, SMO 0, ,603 0,606 0,594 0, MultilayerPerceptron 0, ,616 0,619 0,592 0, a b c d e f g Classified as a = Race hazard b = Exceeding array bounds c = Infinite loops d = Handle leak e = Loss of precision in type conversion f = Off by one error g = Uninitialized variable 10

11 Dataset: Topics25Ruby.arff Neirest Neighbors AODE 0, ,441 0,427 0,404 0, BayesNet 0, ,421 0,415 0,413 0, NaiveBayesSimple 0, ,43 0,427 0,419 0, J48 C=0.5, M=2 0, ,426 0,432 0,411 0, J48 C=0.5, M=20 0, ,424 0,438 0,416 0, J48 C=0.25, M=2 0, ,481 0,447 0,377 0, I=10, K=0, S=1 0, ,369 0,381 0,369 0, I=20, K=0, S=1 0, ,366 0,38 0,366 0, IB1 0, ,337 0,337 0,337 0, Ibk K=5 0, ,383 0,391 0,374 0, IBk K=10 0, ,393 0,399 0,379 0, IBk K=15 0, ,393 0,404 0,381 0, SMO 0, ,416 0,423 0,414 0, MultilayerPerceptron 0, ,457 0,446 0,422 0, a b c d e f Classified as a = Uninitialized variable b = Loss of precision in type conversion c = Arithmetic overflow d = Race hazard e = Handle leak f = Stack overflow 11

12 Παρατηρούμε μεγάλη διαφοροποίηση όσον αφορά τον βέλτιστο αλγόριθμο. Τρείς φορές επιλέχτηκε ο J48, δύο ο SMO, 2 ο MultilayerPerceptron και 1 ο AODE. Οι αλγόριθμοι J48, SMO και MultilayerPerceptron έχουν σταθερά πολύ καλές επιδόσεις. Από κοντά ακολουθούν οι πιθανοτικοί. Οι NearestNeighbors έχουν πάντα χειρότερες επιδόσεις από τους παραπάνω αλλά όχι με πολύ μεγάλη διαφορά. Επίσης προκύπτει το γενικό συμπέρασμα πως για ίσο αριθμό από λέξεις κλειδιά (topics) τα dataset που δεν περιλαμβάνουν τη λέξη κλειδί ruby έχουν πάντα αρκετά καλύτερη απόδοση. Class Imbalance Problem Το παρακάτω διάγραμμα απεικονίζει το Classification του χαρακτηριστικού bugs για το dataset Topic25Ruby. Οι κατηγορίες σφαλμάτων είναι: a - Uninitialized Variable b - Loss of precision in type conversion c - Arithmetic overflow d - Race Hazard e - Handle leak f - Stack overflow 12

13 Η καλύτερη ταξινόμηση όπως φαίνεται και από τους πίνακες παραπάνω έγινε με τον αλγόριθμο J48 -C M 2 και παρακάτω παρουσιάζεται ο confusion matrix. a b c d e f Classified as a b c d e f Accuracy Precision Recall F-Measure 44.70% Όπως παρατηρούμε γενικά το Accuracy είναι αρκετά χαμηλό (44.7%) στο συγκεκριμένο set (ήταν από τα χειρότερα παραδείγματα). Επίσης παρατηρούμε ότι η εμφάνιση των bugs c και f είναι αρκετά μικρότερη σε σχέση με τα υπόλοιπα bugs. Μπορούμε να θεωρήσουμε λοιπόν πως έχουμε να κάνουμε με ένα class imbalance πρόβλημα. Στην πραγματικότητα οι διαφορές στο ρυθμό εμφάνισης πρέπει να είναι αρκετά μεγαλύτερες για να μιλήσουμε για class imbalance ωστόσο το συγκεκριμένο ήταν το πιο κοντινό παράδειγμα στα datasets που δόθηκαν. Ας υποθέσουμε ότι μας ενδιαφέρει οπωσδήποτε να κατηγοριοποιηθούν σωστά τα bugs c και f καθώς θεωρούμε για χάριν κατασκευής του προβλήματος ότι αποτελούν καταστροφικά σφάλματα. Τα bugs c και f όπως φαίνεται στον παραπάνω confusion κατηγοριοποιήθηκαν λανθασμένα εξ ολοκλήρου. Ο τρόπος που θα εργαστούμε για να επιλύσουμε το πρόβλημα της σωστής κατηγοριοποίησης των bugs c και f είναι να ορίσουμε πίνακες κόστους και meta classifiers που να λαμβάνουν υπόψη τους πίνακες αυτούς (CostSensitiveClassifier). Τρέχουμε meta classifier -> CostSensitiveClassifier επιλέγοντας τον αλγόριθμο J48 -C M 2 και λαμβάνοντας υπόψη τον παρακάτω πίνακα κόστους. 13

14 Και προέκυψαν: a b c d e f Classified as a b c d e f Accuracy Precision Recall F-Measure % Επιτύχαμε την εξολοκλήρου σωστή κατηγοριοποίηση του bug c με μικρή μόνο αλλαγή των επιδόσεων του αλγορίθμου προς το χειρότερο. Το κόστος όμως της κίνησης αυτής είναι η εσφαλμένη κατηγοριοποίηση κάποιων bugs της κατηγορίας d και e στην κατηγορία c. Για να αντιμετωπίσουμε τώρα την περίπτωση και του bug τύπου d εκτελούμε πάλι τον αλγόριθμο J48 -C M 2 με τον παρακάτω πίνακα κόστους: Και προκύπτουν: a b c d e f Classified as a b c d e f 14

15 Accuracy Precision Recall F-Measure 31.82% Επιτύχαμε πάλι εξολοκλήρου σωστή κατηγοριοποίηση του bug f σε συνδυασμό με εξολοκλήρου κατηγοριοποίηση του bug c. Αυτή τη φορά έχουμε δραματική πτώση όμως της γενικότερης αξιοπιστίας της ταξινόμησης με μεγάλο αριθμό λάθος κατηγοριοποίησης bugs τύπου a και b στην κατηγορία f. Το παραπάνω παράδειγμα δείχνει πως αντιμετωπίζουμε μια περίπτωση όπου έχει πολύ μεγάλη σημασία για εμάς η αναγνώριση κάποιων τύπων της class attributes που ναι μεν αποτελούν μικρό μέρος του συνόλου αλλά πρέπει οπωσδήποτε να αναγνωριστούν. Στην περίπτωση του bug c το καταφέραμε με μικρό σχετικά κόστος αλλά για τον συνδυασμό αναγνώρισης του c και f οδηγηθήκαμε σε μεγάλο αριθμό misclassifications. Ευχαριστούμε θερμά τον κ. Ανδρέα Συμεωνίδη που ήταν και είναι πάντα διαθέσιμος σε ο- ποιαδήποτε απορία έχουμε. Κιντσάκης Αθανάσιος Μόσχογλου Στυλιανός 15