Τμήμα Μηχανικών Βιοϊατρικής Τεχνολογίας Τ.Ε. ΤΕΙ Αθήνας Αναγνώριση Προτύπων Επιλογή χαρακτηριστικών Ιωάννης Καλατζής, Επίκουρος Καθηγητής ikalatzis@teiath.gr Αθήνα 2017
Επιλογή χαρακτηριστικών Η επιλογή χαρακτηριστικών (feature selection) είναι τμήμα του σταδίου σχεδίασης ενός συστήματος ταξινόμησης και σκοπός του είναι η επιλογή του βέλτιστου πλήθους και συνδυασμού χαρακτηριστικών. Αρχικά, και ειδικά όταν το πλήθος των χαρακτηριστικών είναι μεγάλο, γίνεται ελάττωση χαρακτηριστικών (features reduction), όπου απορρίπτονται χαρακτηριστικά υψηλής συσχέτισης με άλλα καθώς, όταν κάποια χαρακτηριστικά είναι συσχετισμένα, δεν συμβάλουν στη διαχωρισιμότητα μεταξύ των κλάσεων. Στη συνέχεια, γίνεται αξιολόγηση χαρακτηριστικών (features evaluation), όπου αξιολογούνται διάφοροι συνδυασμοί χαρακτηριστικών με χρήση ενός κριτηρίου απόδοσης (διαχωρισιμότητα κλάσεων, ακρίβεια ταξινομητή κλπ), με σκοπό τη μέγιστη ικανότητα γενίκευσης. Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 2
Εξαντλητική Έρευνα (Exhaustive Search): Σύμφωνα με τη μέθοδο αυτή, ερευνώνται αναλυτικά όλοι ανεξαιρέτως οι συνδυασμοί χαρακτηριστικών και επιλέγεται ο συνδυασμός με την υψηλότερη απόδοση και το μικρότερο πλήθος χαρακτηριστικών. Π.χ. για 3 χαρακτηριστικά, ερευνώνται οι συνδυασμοί 1, 2, 3, 12, 13, 23, 123. Πρόκειται για την πιο αξιόπιστη και έγκυρη μέθοδο, που όμως δεν είναι πάντα δυνατόν να εφαρμοστεί, καθώς σε δεδομένα εκπαίδευσης με μεγάλο πλήθος διαστάσεων απαιτεί πολύ υψηλό υπολογιστικό χρόνο. Το πλήθος των δυνατών συνδυασμών n χαρακτηριστικών ανά k ισούται με: n k = n! k! n k! Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 3
Επιλογή χαρακτηριστικών Διαγράμματα διασποράς των δεδομένων 2 κλάσεων για όλους τους συνδυασμούς 4 χαρακτηριστικών (f 1, f 2, f 3, f 4 ) ανά 1, 2 και 3 χαρακτηριστικά. Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 4
Παραδείγματα: 10 2 = 10! 2! 10 2! = 1 2 8 9 10 1 2 1 2 8 = 45 23 11 = 23! 11! 23 11! = 1 2 22 23 1 2 11 1 2 12 = 1.352.078 Το πλήθος όλων των δυνατών συνδυασμών n χαρακτηριστικών ανά k, για όλα τα k=1,2,,n, ισούται με: n k=1 n k n = k=1 n! k! n k! = 2n 1 Π.χ. Για n=23, το πλήθος αυτό είναι 2 23 1 = 8.388.607 Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 5
Διαδοχική Εμπρόσθια Επιλογή (Sequential Forward Selection, SFS): 1. Σύμφωνα με τη μέθοδο αυτή, αρχικά υπολογίζεται η απόδοση του ταξινομητή για κάθε χαρακτηριστικό ξεχωριστά. Π.χ. εξετάζονται τα μεμονωμένα χαρακτηριστικά 1, 2, 3, 4, 2. Στη συνέχεια, υπολογίζεται η απόδοση του ταξινομητή για κάθε ζεύγος χαρακτηριστικών που περιέχει το χαρακτηριστικό που έδωσε την υψηλότερη απόδοση στο προηγούμενο βήμα. Π.χ. αν υψηλότερη απόδοση έδωσε το 2, εξετάζονται τα ζεύγη 21, 23, 24, 3. Η διαδικασία συνεχίζεται υπολογίζοντας την απόδοση του ταξινομητή για κάθε σύνολο χαρακτηριστικών που περιέχει το σύνολο με την υψηλότερη απόδοση κατά το προηγούμενο βήμα, μέχρι εξάντλησης όλων των χαρακτηριστικών. Π.χ. αν υψηλότερη απόδοση έδωσε το 24, εξετάζονται οι τριάδες 241, 243, Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 6
Παράδειγμα SFS για n=5 (χαρακτηριστικά 1,2,3,4,5): Βήμα 1: Εξέταση των 1, 2, 3, 4, 5. Έστω καλύτερο χαρακτηριστικό: 2 Βήμα 2: Εξέταση των 21, 23, 24, 25. Έστω καλύτερος συνδυασμός: 24 Βήμα 3: Εξέταση των 241, 243, 245. Έστω καλύτερος συνδυασμός: 241 Βήμα 4: Εξέταση των 2413, 2415. Έστω καλύτερος συνδυασμός: 2413 Βήμα 5: Εξέταση του συνδυασμού 12345. Πλήθος συνδυασμών: Το πλήθος των συνδυασμών που εξετάζονται με τη μέθοδο αυτή ισούται με: n ½ ( 1) όπου n είναι το συνολικό πλήθος των χαρακτηριστικών και το πλήθος των χαρακτηριστικών στο τελικό βήμα (π.χ. στο προηγούμενο παράδειγμα n=5 και =5). Για =n (μέχρι τέλους), το πλήθος των συνδυασμών ισούται με n(n+1)/2. Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 7
Διαδοχική Οπισθοδρομική Επιλογή (Sequential Backward Selection, SBS): Το σκεπτικό της μεθόδου αυτής είναι το αντίστροφο από της SFS, δηλαδή ξεκινάμε από πολλά χαρακτηριστικά και καταλήγουμε σε λιγότερα. 1. Αρχικά σχηματίζονται τα πρότυπα εκπαίδευσης έτσι ώστε να περιέχουν όλα τα χαρακτηριστικά, και υπολογίζεται η απόδοση του ταξινομητή. 2. Στη συνέχεια, υπολογίζεται η απόδοση με όλους τους συνδυασμούς χαρακτηριστικών με πλήθος κατά ένα λιγότερο από το προηγούμενο βήμα. 3. Αφού επιλεχθεί ο συνδυασμός με την υψηλότερη απόδοση, η προηγούμενη διαδικασία συνεχίζεται μέχρι την εξέταση των χαρακτηριστικών μεμονωμένα. Π.χ. Για 5 χαρακτηριστικά, μπορεί να επιλεγούν διαδοχικά οι εξής συνδυασμοί: 12345 1245 125 25 5 Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 8
Παράδειγμα SBS για n=5 (χαρακτηριστικά 1,2,3,4,5): Βήμα 1: Εξέταση του συνδυασμού 12345. Βήμα 2: Εξέταση των 1234, 1235, 1245, 1345, 2345. Έστω καλύτερος: 1345 Βήμα 3: Εξέταση των 134, 135, 145, 345. Έστω καλύτερος συνδυασμός: 134 Βήμα 4: Εξέταση των 13, 14, 34. Έστω καλύτερος συνδυασμός: 14 Βήμα 5: Εξέταση των 1, 4. Έστω καλύτερο χαρακτηριστικό: 4 Πλήθος συνδυασμών: Το πλήθος των συνδυασμών που εξετάζονται με τη μέθοδο αυτή ισούται με: 1 + ½((n(n+1) ( +1)) όπου n είναι το συνολικό πλήθος των χαρακτηριστικών και το πλήθος των χαρακτηριστικών στο τελικό βήμα (π.χ. στο προηγούμενο παράδειγμα n=5 και =1). Για =1 (μέχρι τέλους), το πλήθος των συνδυασμών ισούται με n(n+1)/2. Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 9
Σύγκριση της Εμπρόσθιας με την Οπισθοδρομική Επιλογή: Πλεονέκτημα και των δύο μεθόδων σε σχέση με την Εξαντλητική Έρευνα είναι η ταχύτητα. Μειονέκτημα και των δύο μεθόδων σε σχέση με την Εξαντλητική Έρευνα είναι ότι παραλείπεται η εξέταση πάρα πολλών συνδυασμών. Μειονέκτημα της Εμπρόσθιας Επιλογής είναι ότι από τη στιγμή που θα επιλεγεί κάποιο χαρακτηριστικό, αυτό συνεχίζει να υπάρχει σε όλους τους επόμενους συνδυασμούς χαρακτηριστικών. Μειονέκτημα της Οπισθοδρομικής Επιλογής είναι ότι από τη στιγμή που θα αποκλειστεί κάποιο χαρακτηριστικό, αυτό δεν εμφανίζεται σε κανένα επόμενο στάδιο. Σχετικά με την Εμπρόσθια και την Οπισθοδρομική Επιλογή: Για μικρά (αν n - > -1, δηλαδή αν το είναι εγγύτερα στο 1 παρά στο n) περισσότερο αποτελεσματική είναι η Εμπρόσθια, ενώ για μεγάλα (δηλαδή αν n - < -1 ) πιο αποτελεσματική είναι η Οπισθοδρομική. Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 10
Κινητή Εμπρόσθια ή Οπισθοδρομική Επιλογή (Sequential Floating Forward/Backward Selection, SFFS/SFBS): Η μέθοδοι αυτές προσπαθούν να αντιμετωπίσουν τα μειονεκτήματα των μεθόδων SFS και SBS, και συγκεκριμένα της υποχρεωτικής διατήρησης ενός χαρακτηριστικού αν επιλεγεί σε ένα στάδιο (SFS), ή την αδυναμίας επανεξέτασης του σε επόμενο στάδιο αν απορριφθεί σε προηγούμενο (SBS). Σύμφωνα με τη μέθοδο SFFS, ξεκινάμε από ένα κενό σύνολο αυξάνοντας σταδιακά το πλήθος των χαρακτηριστικών του επιλεγμένου υποσυνόλου, όπως με την SFS. Όμως, σε κάθε βήμα και πριν προχωρήσουμε στο επόμενο, πηγαίνουμε προς τα πίσω αντικαθιστώντας κάποιο από τα χαρακτηριστικά του επιλεγμένου υποσυνόλου με κάποιο από τα χαρακτηριστικά που δεν συμπεριλαμβάνονται, και αυτό συνεχίζεται για όσο αυξάνεται η τιμή του κριτηρίου απόδοσης που χρησιμοποιούμε. Η μέθοδος SFBS είναι παρόμοια, με τη διαφορά ότι η εκκίνηση γίνεται με όλα τα χαρακτηριστικά, όπως με την SBS, στα οποία σταδιακά ελαττώνονται (επιστρέφοντας όμως σε προηγούμενο στάδιο όσο αυξάνεται το κριτήριο). Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 11
Αναφορές - Βιβλιογραφία 1. S. Theodoridis and K. Koutroumbas, Pattern Recognition, Academic Press, 2nd edition (2003). 2. P. Pudil, J. Novovicova, J. Kittler, Floating search methods in feature selection, Pattern Recognition Lett. 15 (1994) 1119 1125. Επιλογή χαρακτηριστικών - Ι. Καλατζής 2017 12