Μοντέλα Τεχνητής Νοημοσύνης για την Πρόβλεψη Αποτελεσμάτων σε Αγώνες Ποδοσφαίρου.

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ: Μοντέλα Τεχνητής Νοημοσύνης για την Πρόβλεψη Αποτελεσμάτων σε Αγώνες Ποδοσφαίρου. Ιωάννου Δημήτρης Επιβλέπων Καθηγητής: Θεοχάρης Ιωάννης Θεσσαλονίκη, Οκτώβριος 2013

2

3 Περίληψη Η πρόβλεψη γεγονότων μέσω μοντέλων τεχνητής νοημοσύνης εφαρμόζεται ευρέως και είναι σημαντική σε πολλούς τομείς. Οι τεχνικές αναγνώρισης προτύπων για την πρόβλεψη γεγονότων βασίζονται στο ταίριασμα τωρινών καταστάσεων του υπό μελέτη συστήματος με καταστάσεις που παρατηρήθηκαν στο παρελθόν μέσα από ιστορικά δεδομένα για τη δημιουργία προβλέψεων. Στην παρούσα εργασία εφαρμόστηκαν τεχνικές αναγνώρισης προτύπων για τη πρόβλεψη αποτελεσμάτων σε αγώνες ποδοσφαίρου. Δοκιμάστηκαν μοντέλα από δύο διαφορετικές οικογένειες μοντέλων πάνω σε πραγματικά δεδομένα από διάφορες ποδοσφαιρικές διοργανώσεις και αξιολογήθηκαν μέσω της ικανότητάς τους να παράγουν κέρδος εφαρμοζόμενα στην περιοχή του ποδοσφαιρικού στοιχηματισμού. Τα αποτελέσματα που προέκυψαν ήταν αρκετά υποσχόμενα. Abstract Event prediction using artificial intelligence models is widely applied and is important in many domains. Pattern recognition techniques for prediction are based on matching of the current state of the system under study with previously occurring states in historical data for making predictions. In this work, pattern recognition techniques were applied on football results prediction. Models from two different families were tested on real data from various football competitions and were evaluated by their ability to produce profit when applied on the area of football betting. The results that occurred were quite promising.

4

5 Περιεχόμενα Κεφάλαιο 1: Εισαγωγή Περιγραφή του προβλήματος Στόχοι της εργασίας Οργάνωση της εργασίας...11 Κεφάλαιο 2: Επιλογή Χαρακτηριστικών Κέρδος Πληροφορίας και Αναλογία Κέρδους Chi-Squared...16 Κεφάλαιο 3: Ασαφή Συστήματα Εισαγωγή Ασαφή σύνολα και συναρτήσεις συμμετοχής Ασαφείς κανόνες Ασαφή συστήματα συμπερασμού Ασαφή μοντέλα Mamdani Ασαφή μοντέλα Sugeno Ασαφής βάση κανόνων Grid partition Subtractive clustering Ασαφή νευρωνικά δίκτυα...30 Κεφάλαιο 4: Support Vector Machines Γραμμικός διαχωρισμός Πυρήνες Support Vector Regression ε-svr ν-svr Επιλογή παραμέτρων...44 Κεφάλαιο 5: Εισαγωγή στον Ποδοσφαιρικό Στοιχηματισμό Αποδόσεις (Odds) Μονάδες αξιολόγησης...48 Κεφάλαιο 6: Εφαρμογές Δεδομένα και παραδοχές Premier League Αγγλίας Επιλογή των εισόδων Ασαφές μοντέλο Μοντέλο SVR...61

6 6.3 Serie A Ιταλίας Επιλογή των εισόδων Ασαφές μοντέλο Μοντέλο SVR Περισσότερα παραδείγματα...73 Κεφάλαιο 7: Σύνθεση Αποφάσεων Εισαγωγή Premier League Αγγλίας Ασαφή Μοντέλα Μοντέλα SVR Περισσότερα παραδείγματα...91 Κεφάλαιο 8: Συμπεράσματα και Επεκτάσεις Συμπεράσματα Επεκτάσεις Βιβλιογραφία

7 Κεφάλαιο 1 Κεφάλαιο 1 Εισαγωγή Ένα χαρακτηριστικό του ανθρώπου το οποίο έχει μείνει αναλλοίωτο στο πέρασμα των αιώνων παρά τις μεγάλες αλλαγές που ο χρόνος έχει επιφέρει σε αυτόν, είναι η εμμονή του με το μέλλον, και ο ατελείωτος αγώνας για την γνώση αυτού πριν από την ώρα του. Από τα αρχαία χρόνια ακόμη, ο κόσμος ήταν γεμάτος με μαντεία και προφήτες, τα οποία οι ηγέτες της εποχής θα συμβουλεύονταν πριν την λήψη μεγάλων αποφάσεων, όπως η έναρξη ενός πολέμου. Εκείνα τα χρόνια ήταν ένας πόλεμος ενώ σήμερα, για παράδειγμα, μία επένδυση. Τα κίνητρα σε κάθε περίπτωση διαφορετικά, αλλά η ανάγκη για μία κλεφτή ματιά στο μέλλον εξίσου μεγάλη. Στις μέρες μας, ο άνθρωπος έχει αρκετούς λόγους για τους οποίους επιθυμεί να προβλέψει το μέλλον. Κάποιοι από αυτούς είναι η αποφυγή καταστροφικών φαινομένων μέσω της πρόβλεψης καιρικών συνθηκών, σεισμών κλπ, η πρόληψη ενάντια σε ασθένειες με την εκτίμηση της πιθανότητας εμφάνισης τους σε κάποιον ασθενή, η εμφάνιση οικονομικού κέρδους μέσω της πρόβλεψης τιμών χρηματιστηρίου ή της κατάστασης της αγοράς, αλλά και για πολλούς ακόμη λόγους. Είναι όμως πράγματι εφικτό να δούμε το μέλλον; Εκτός κι αν υπάρχει κάποιος μηχανισμός τον οποίο όμως ακόμη ο άνθρωπος δεν είναι καν σε θέση να αντιληφθεί, η ρεαλιστική απάντηση σε αυτό το ερώτημα είναι ένα σκληρό, σαφές και τελεσίδικο όχι. Αυτό που μπορούμε να κάνουμε για το μέλλον, είναι εκτιμήσεις. Όχι μέσω θεϊκής επιφοίτησης ή μυστικιστικών τελετουργικών, αλλά μελετώντας το μόνο χειροπιαστό και αδιαμφισβήτητο δεδομένο που έχουμε στα χέρια μας, και το οποίο δεν είναι άλλο από το 7

8 Εισαγωγή παρελθόν. Τα περισσότερα πραγματικά φαινόμενα είναι αρκετά σύνθετα και πολύπλοκα ώστε να μπορέσουν να μοντελοποιηθούν και να περιγραφούν από έναν απλό μαθηματικό τύπο. Παρ' όλα αυτά, όσο τυχαία και χαώδη κι αν φαίνονται, παρατηρούνται σε αυτά κάποια μοτίβα συμπεριφορών, τα οποία μπορεί να μάθει ένα μοντέλο τεχνητής νοημοσύνης μέσω ενός συνόλου δεδομένων εκπαίδευσης που περιγράφουν συμπεριφορές αιτίου αποτελέσματος, οι οποίες παρατηρήθηκαν κατά το παρελθόν. Πολύ χοντρικά, αυτό που κάνει το μοντέλο είναι να βλέπει μέσω των εισόδων του τι συνθήκες επικρατούν και να ανατρέχει στις γνώσεις που έλαβε μέσω της εκπαίδευσης, ώστε να βρει ποιο ήταν το αποτέλεσμα όταν επικρατούσαν παρόμοιες συνθήκες σε κάποιο σημείο στο παρελθόν. Στην παρούσα εργασία, χρησιμοποιούμε τέτοια μοντέλα ώστε να κάνουμε εκτιμήσεις για το αποτέλεσμα ενός αγώνα ποδοσφαίρου, καθώς και για να δούμε κατά πόσο θα μπορούσε ένα τέτοιο μοντέλο να έχει πρακτική εφαρμογή και να παράξει κέρδος μέσω στοιχηματισμού. Από τη στιγμή της δημιουργίας των αθλημάτων, αναπόφευκτα εμφανίστηκαν και άνθρωποι οι οποίοι ήθελαν να ποντάρουν στα πιθανά αποτελέσματα, στις αρχές περισσότερο σαν διασκέδαση και αργότερα σαν μία προσπάθεια δημιουργίας κέρδους. Το συγκεκριμένο αντικείμενο πλέον έχει μετατραπεί σε ακόμη ένα είδος επενδύσεων/τζόγου με τις δικές του ιδιαιτερότητες, δυσκολίες και ρίσκο. Επίσης, όσο δημοφιλέστερο είναι ένα άθλημα, τόσο περισσότερο κόσμο ελκύει και τόσο μεγαλύτεροι τζίροι δημιουργούνται, οι οποίοι τα τελευταία χρόνια και με την εξάπλωση του διαδικτύου έχουν εκτοξευθεί. Μόνο σε μία εταιρία διαδικτυακού στοιχηματισμού και μόνο για το έτος 2012, το σύνολο των στοιχημάτων που τοποθετήθηκαν σε αυτήν ξεπέρασε τα 14 δισεκατομμύρια ευρώ. Το ποσοστό αυτού του ποσού το οποίο επιστράφηκε στους παίχτες δεν είναι γνωστό, αλλά σίγουρα αποτελεί ένα ελάχιστο κλάσμα του. Επίσης, δεν υπάρχουν ακριβή στοιχεία, αλλά είναι γενικά αποδεκτό πως το ποσοστό των ανθρώπων που βγαίνουν μακροπρόθεσμα κερδισμένοι είναι χωρίς αμφιβολία μονοψήφιο και με μεγάλη πιθανότητα μικρότερο από τα δάχτυλα του ενός ανθρώπινου χεριού. 8

9 Κεφάλαιο Περιγραφή του προβλήματος Στην παρούσα εργασία εμείς θα ασχοληθούμε με το ποδόσφαιρο, το οποίο αν και το λαοφιλέστερο, είναι από τα πλέον δύσκολα αθλήματα για επιτυχείς προβλέψεις, για λόγους που θα αναφέρουμε σύντομα. Οι αγώνες θα προέρχονται από διοργανώσεις πρωταθλημάτων πλήρους σεζόν διαφόρων χωρών και όχι σύντομες διεθνής διοργανώσεις όπως πανευρωπαϊκά ή παγκόσμια πρωταθλήματα. Ένα άλλο θέμα που καλούμαστε να ξεκαθαρίσουμε, είναι το τι θέλουμε να προβλέψουμε σε έναν αγώνα. Θα μπορούσαμε να εστιάσουμε τις προβλέψεις μας σε πάρα πολλά πράγματα, από το ποιο θα είναι το αποτέλεσμα, μέχρι στο πόσα τέρματα θα σημειωθούν συνολικά και από τις δύο ομάδες, ποιο θα είναι το αποτέλεσμα στο ημίχρονο, αν θα σκοράρουν καμία, μία, ή και οι δύο ομάδες και πάρα πολλά ακόμη. Στην παρούσα εργασία, θα επικεντρωθούμε στο πρώτο, δηλαδή στόχος μας είναι να προβλέψουμε σωστά ποιο από τα τρία πιθανά αποτελέσματα (νίκη γηπεδούχου (1), ισοπαλία (Χ) ή νίκη φιλοξενούμενου (2)) θα εμφανιστεί σε έναν αγώνα. Υπάρχουν γενικά δύο μέθοδοι με τις οποίες μπορεί κάποιος να επιχειρήσει να κάνει προβλέψεις. Η πρώτη είναι μέσω της εμπειρίας που αποκτά κανείς παρακολουθώντας από κοντά μία συγκεκριμένη διοργάνωση, βλέποντας τους αγώνες, μελετώντας τα νέα των ομάδων και γενικώς αναζητώντας πληροφορίες που μπορούν να του δώσουν πλεονέκτημα. Μέσω αυτής της εμπειρίας και της συνεχούς ενασχόλησης και έρευνας είναι πλέον σε θέση από μόνος του να κάνει υποκειμενικές εκτιμήσεις για το αποτέλεσμα ενός αγώνα. Η δεύτερη μέθοδος, σε αντίθεση με την πρώτη, δεν περιλαμβάνει ανθρώπινες υποκειμενικές απόψεις, αλλά χρησιμοποιεί κατάλληλα εκπαιδευμένα μοντέλα τεχνητής νοημοσύνης τα οποία δεχόμενα έναν αριθμό εισόδων, παράγουν τις εκτιμήσεις για λογαριασμό του ανθρώπου. Οι δύο αυτές μέθοδοι παρουσιάζουν κάποια πλεονεκτήματα και μειονεκτήματα. Ένα 9

10 Εισαγωγή σημαντικό πλεονέκτημα της πρώτης έναντι της δεύτερης είναι πως μπορούν να ληφθούν υπόψη περισσότερες πληροφορίες που μπορούν να επηρεάσουν το αποτέλεσμα του αγώνα. Το πιο χαρακτηριστικό παράδειγμα είναι οι τραυματισμοί ποδοσφαιριστών, οι οποίοι σαφώς επηρεάζουν την απόδοση μιας ομάδας. Ένας άνθρωπος θα το λάμβανε σοβαρά υπόψη του πριν κάνει την εκτίμησή του. Για να συνέβαινε αυτό και στο τεχνητό μοντέλο, θα έπρεπε αυτή η πληροφορία να περιλαμβάνονταν στα δεδομένα εκπαίδευσης του. Όμως αυτό είναι αδύνατο καθώς δεν υπάρχουν πουθενά τέτοιου είδους δεδομένα. Δεν μπορούμε να ξέρουμε για παράδειγμα, πόσες και πόσο σημαντικές απουσίες είχε μία ομάδα σε έναν συγκεκριμένο αγώνα το Δεκέμβρη του Συνήθως, η μόνη πληροφορία που έχουμε, είναι το τελικό αποτέλεσμα του. Έτσι, τα τεχνητά μοντέλα περιορίζονται από το πλήθος και το είδος των δεδομένων που είναι διαθέσιμα. Το πλεονέκτημά τους έναντι των ανθρώπων, είναι πως μπορούν να κοιτάξουν σε χιλιάδες γραμμές από δεδομένα και να ανακαλύψουν σε αυτά συμπεριφορές και μοτίβα τα οποία είναι αόρατα στο ανθρώπινο μάτι. Προφανώς, εμάς μας ενδιαφέρει αυτή η δεύτερη μέθοδος. Συνεπώς, το μόνο που έχουμε είναι ένα μοντέλο με έναν αριθμό εισόδων, η επιτυχία του οποίου προφανώς εξαρτάται από δύο παραμέτρους: το είδος του μοντέλου και τις εισόδους. Όσον αφορά το είδους του μοντέλου, στην παρούσα εργασία θα ασχοληθούμε με ασαφή νευρωνικά δίκτυα και μοντέλα SVM (support vector machines). Ένα εμπόδιο που καλούμαστε να ξεπεράσουμε είναι οι είσοδοι. Όπως αναφέρθηκε νωρίτερα, το ποδόσφαιρο είναι το πλέον ακατάλληλο άθλημα για αυτοματοποιημένες προβλέψεις καθώς στο συγκεκριμένο άθλημα οι αριθμοί δεν λένε και τόσο συχνά την αλήθεια. Αν δούμε για παράδειγμα μία κάρτα στατιστικών σε έναν αγώνα μπάσκετ θα υπάρχουν σε αυτή καταγεγραμμένα πληθώρα στατιστικών όπως, πόντοι, επιθετικά και αμυντικά φάουλ, επιθετικά και αμυντικά ριμπάουντ, λάθη, κλεψίματα, ποσοστά ευστοχίας σε βολές, δίποντα και τρίποντα, τα οποία παίζουν όλα σημαντικό ρόλο. Για παράδειγμα, ο αριθμός των φάουλ στο μπάσκετ είναι βαρύνουσας σημασίας, σε αντίθεση με το ποδόσφαιρο στο οποίο δεν παίζει απολύτως κανένα ρόλο. 10

11 Κεφάλαιο 1 Στη δική μας περίπτωση, το μόνο το οποίο έχουμε στη διάθεσή μας, είναι αποτελέσματα αγώνων από παλαιότερες χρονιές και σε κάποιες περιπτώσεις τον αριθμό των επιθετικών προσπαθειών που είχε κάθε ομάδα προς την αντίπαλη εστία. Από αυτά και μόνο τα δεδομένα, καλούμαστε να δημιουργήσουμε εκείνα τα οποία θα χρησιμοποιηθούν σαν είσοδοι στα μοντέλα μας. Με τα παραπάνω περιορισμένα δεδομένα θα προσπαθήσουμε να μοντελοποιήσουμε και να προβλέψουμε το τελικό αποτέλεσμα μίας διαδικασίας στην οποία συμμετέχουν ενεργά και την επηρεάζουν άμεσα τουλάχιστον 33 ανθρώπινα όντα (παίκτες, προπονητές και διαιτητές) και μία μπάλα επί 90 λεπτά. Από αυτό και μόνο το γεγονός μπορούμε να καταλάβουμε το μέγεθος της πολυπλοκότητας και της τυχαιότητας της διαδικασίας. 1.2 Στόχοι της εργασίας Σκοπός της εργασίας είναι η μελέτη των αγώνων ποδοσφαίρου σαν ακόμη ένα πρόβλημα αναγνώρισης προτύπων και ταξινόμησης και να δούμε, αν και κατά πόσο είναι δυνατόν μία τόσο σύνθετη και πολύπλοκη διαδικασία να μοντελοποιηθεί χρησιμοποιώντας τα περιορισμένα αριθμητικά δεδομένα που έχουμε στη διάθεσή μας. Έπειτα, επιχειρούμε να εφαρμόσουμε τα μοντέλα που θα δημιουργηθούν σε μία πραγματική εφαρμογή όπως το στοίχημα και να μελετήσουμε την ικανότητα τους για παραγωγή κέρδους από αυτό. 1.3 Οργάνωση της εργασίας Στο πρώτο κεφάλαιο δώσαμε μία πρώτη περιγραφή του προβλήματος, των μεθόδων που θα ακολουθηθούν, καθώς επίσης γίνεται και αναφορά σε κάποιες ιδιαιτερότητες και δυσκολίες που αναμένεται να συναντηθούν. 11

12 Εισαγωγή Στο δεύτερο κεφάλαιο επικεντρωνόμαστε στα δεδομένα και στις εισόδους των μοντέλων, μελετώντας διάφορες μεθόδους αξιολόγησης και επιλογής τους. Το τρίτο κεφάλαιο περιλαμβάνει την πρώτη από τις δύο οικογένειες μοντέλων που θα μελετήσουμε και είναι τα ασαφή μοντέλα. Γίνεται μία σύντομη εισαγωγή στην ασαφή λογική και στη συνέχεια περιγράφουμε το πως αυτή ενσωματώνεται σε νευρωνικά δίκτυα ώστε να δημιουργηθεί ένα ασαφές μοντέλο πρόβλεψης. Στο τέταρτο κεφάλαιο παρουσιάζεται η έτερη οικογένεια μοντέλων που περιλαμβάνει τις support vector machines. Επίσης, γίνεται περιγραφή της διαδικασίας της παλινδρόμησης μέσω SVM (Support Vector Regression), η οποία και είναι αυτή που τελικά θα χρησιμοποιηθεί στις εφαρμογές μας. Στο πέμπτο κεφάλαιο γίνεται μία σύντομη εισαγωγή στο στοίχημα και στα μεγέθη και τις μονάδες αξιολόγησης που χρησιμοποιούνται σε αυτό, οι οποίες θα μας βοηθήσουν στο να κρίνουμε πολύ σωστότερα την απόδοση ενός μοντέλου. Στο έκτο κεφάλαιο περνάμε από την θεωρία στην πράξη και εφαρμόζουμε τα μοντέλα που περιγράφηκαν στα κεφάλαια 3 και 4 σε πραγματικά δεδομένα. Μελετάμε διοργανώσεις διαφόρων χωρών και παρουσιάζουμε τα αποτελέσματα που τα μοντέλα επιτυγχάνουν σε αυτές. Στο έβδομο κεφάλαιο γίνεται αναφορά στην τεχνική του decision fusion, δηλαδή στη χρησιμοποίηση όχι ενός, αλλά μίας ομάδας από ανεξάρτητα μοντέλα που συνεργάζονται μεταξύ τους ώστε να παράγουν καλύτερες προβλέψεις. Τέλος, στο όγδοο και τελευταίο κεφάλαιο παρουσιάζονται συνοπτικά τα σημαντικότερα συμπεράσματα που βγήκαν από τις εφαρμογές μας καθώς και κάποιες ιδέες για πιθανές μελλοντικές επεκτάσεις. 12

13 Κεφάλαιο 2 Κεφάλαιο 2 Επιλογή Χαρακτηριστικών Η επιλογή χαρακτηριστικών μπορεί να οριστεί ως μία διαδικασία η οποία επιλέγει ένα ελάχιστο υποσύνολο Μ χαρακτηριστικών από ένα αρχικό σύνολο Ν χαρακτηριστικών, έτσι ώστε ο χώρος των χαρακτηριστικών (feature space) να ελαττωθεί βέλτιστα σύμφωνα με κάποιο συγκεκριμένο κριτήριο αξιολόγησης. Η επιλογή χαρακτηριστικών είναι ένα θεμελιώδες πρόβλημα σε διάφορες περιοχές, ιδιαίτερα σε προβλήματα πρόβλεψης, ταξινόμησης εγγράφων, βιοπληροφορικής και αναγνώρισης αντικειμένων και μοντελοποίησης περίπλοκων τεχνολογικών διαδικασιών. Σετ δεδομένων με χιλιάδες χαρακτηριστικά είναι σύνηθες φαινόμενο σε τέτοιες εφαρμογές. Όλα τα χαρακτηριστικά μπορεί να είναι χρήσιμα για κάποια προβλήματα, όμως για συγκεκριμένες εφαρμογές, συνήθως μόνο ένα υποσύνολο των χαρακτηριστικών είναι σχετικό. Με άλλα λόγια, η επιλογή χαρακτηριστικών είναι μία διαδικασία για την επιλογή του ελάχιστου πλήθους χαρακτηριστικών τα οποία είναι ικανά να αντιπροσωπεύσουν επαρκώς τα δεδομένα. Κάθε στιγμιότυπο (instance) στα δικά μας δεδομένα αντιπροσωπεύει έναν αγώνα και παρίσταται σαν ένα διάνυσμα της μορφής: X i ={x 1, x 2,..., x L, y i } (2.1) όπου x j με j=1,..., L είναι τα χαρακτηριστικά (features) και y i το αποτέλεσμα του αγώνα. Τα χαρακτηριστικά στη περίπτωση του προβλήματος μας, είναι πραγματικοί αριθμοί 13

14 Επιλογή Χαρακτηριστικών οι οποίοι στην ουσία δείχνουν την κατάσταση στην οποία βρίσκονταν οι δύο ομάδες πριν την τέλεση του συγκεκριμένου αγώνα. Μερικά κλασικά παραδείγματα χαρακτηριστικών είναι: το σύνολο των βαθμών της κάθε ομάδας έως εκείνη τη στιγμή, ο μέσος αριθμός των γκολ που πετυχαίνει ή δέχεται ανά αγώνα, ο μέσος αριθμός τελικών επιθετικών προσπαθειών προς την αντίπαλη εστία και διάφορα άλλα παρόμοια στατιστικά στοιχεία. Τα ερωτήματα που προκύπτουν είναι: πόσα χαρακτηριστικά χρειαζόμαστε και ποια από αυτά είναι περισσότερο χρήσιμα. Για το πρώτο σκέλος δεν υπάρχει σαφής απάντηση, αν και γενικά θέλουμε το πλήθος τους να διατηρείται σε έναν ελάχιστο αριθμό. Ένας προφανής λόγος είναι η μείωση της υπολογιστικής πολυπλοκότητας. Ένας δεύτερος, είναι πως όσο μεγαλύτερος είναι ο λόγος του πλήθους των δεδομένων εκπαίδευσης (Ν) προς το πλήθος των χαρακτηριστικών (L), τόσο μεγαλύτερη είναι η ικανότητα γενίκευσης (generalization) του μοντέλου που προκύπτει, καθώς το μεγάλο πλήθος χαρακτηριστικών συνεπάγεται και μεγάλο πλήθος παραμέτρων του μοντέλου,. Κάτι τέτοιο συνήθως οδηγεί σε φαινόμενα υπερ-εκπαίδευσης, στα οποία το μοντέλο εξειδικεύεται στα δεδομένα εκπαίδευσης και χάνει την ικανότητα γενίκευσης και σωστής ταξινόμησης νέων, άγνωστων δεδομένων. Για την εύρεση των πιο χρήσιμων χαρακτηριστικών υπάρχουν διάφορες μέθοδοι οι οποίες χρησιμοποιούν δείκτες βαθμολόγησης για να αξιολογήσουν τα χαρακτηριστικά αυτά. Η εύρεση του καλύτερου υποσυνόλου χαρακτηριστικών πάντως είναι συνήθως δύσκολη και πολλά προβλήματα επιλογής χαρακτηριστικών ανήκουν στη κατηγορία NPhard. Ποικίλες τεχνικές βαθμολόγησης και επιλογής έχουν προταθεί στη βιβλιογραφία της μηχανικής μάθησης. Ο σκοπός τους είναι να ξεσκαρτάρουν άσχετα ή περιττά χαρακτηριστικά από ένα διάνυσμα χαρακτηριστικών. Στη συνέχεια παρουσιάζουμε κάποιες συνηθισμένες μεθόδους, βασισμένες σε εντροπία και στατιστική. 14

15 Κεφάλαιο Κέρδος Πληροφορίας και Αναλογία Κέρδους Η εντροπία χρησιμοποιείται συχνά στη θεωρία πληροφοριών και χαρακτηρίζει την καθαρότητα μίας τυχαίας συλλογής από παρατηρήσεις. Το μέτρο της εντροπίας θεωρείται ένα μέτρο της έλλειψης προβλεψιμότητας του συστήματος. Η εντροπία του Υ είναι H (Y )= y Y p( y)log 2 ( p( y)) (2.2) όπου p( y) είναι η συνάρτηση πυκνότητας πιθανότητας της τυχαίας μεταβλητής Υ. Αν οι παρατηρούμενες τιμές της Υ στο σετ δεδομένων εκπαίδευσης S είναι διαμερισμένες σύμφωνα με τις τιμές ενός δεύτερου χαρακτηριστικού Χ, και η εντροπία του Υ σε σχέση με τις διαμερίσεις του Χ είναι μικρότερη από την εντροπία του Υ πριν από τον διαχωρισμό, τότε υπάρχει σχέση ανάμεσα στα χαρακτηριστικά Υ και Χ. Η εντροπία του Υ μετά την παρατήρηση του Χ είναι τότε: H (Y X )= x X p(x) y Y όπου p( y x) είναι η υπό συνθήκη πιθανότητα του y δεδομένου του x. p( y x)log 2 ( p( y x)) (2.3) Δεδομένου πως η εντροπία είναι ένα μέτρο της μη-καθαρότητας σε ένα σετ δεδομένων εκπαίδευσης S, μπορούμε να ορίσουμε ένα μέτρο που να αντανακλά την επιπρόσθετη πληροφορία για το Υ η οποία παρέχεται από το Χ και συμβολίζει την ποσότητα κατά την οποία η εντροπία του Υ μειώθηκε. Αυτό το μέγεθος είναι γνωστό ως Κέρδος Πληροφορίας (Information Gain) και δίνεται από τον τύπο: IG=H (Y ) H (Y X )=H ( X ) H ( X Y ) (2.4) Το κέρδος πληροφορίας (IG) είναι ένα συμμετρικό μέγεθος. Η πληροφορία που αποκτάται για το Υ μετά την παρατήρηση του Χ είναι ίση με την πληροφορία που αποκτάται για το Χ μετά την παρατήρηση του Υ. Μία αδυναμία του κριτηρίου του κέρδους πληροφορίας είναι πως είναι μεροληπτικό υπέρ χαρακτηριστικών με μεγαλύτερο πλήθος τιμών ακόμη κι αν δεν παρέχουν περισσότερη πληροφορία. Η αναλογία κέρδους (Gain Ratio) είναι ένα μη συμμετρικό μέγεθος που εισάγεται για να ξεπεραστεί η μεροληπτικότητα του κέρδους πληροφορίας που αναφέρθηκε παραπάνω 15

16 Επιλογή Χαρακτηριστικών και δίνεται από: GR= IG H ( X ) (2.5) Όπως φαίνεται από την εξίσωση αυτή, όταν πρέπει να προβλεφθεί η μεταβλητή Υ, κανονικοποιούμε το κέρδος πληροφορίας διαιρώντας το με την εντροπία του Χ, και το αντίστροφο. Εξαιτίας αυτής της κανονικοποίησης, η αναλογία κέρδους θα βρίσκεται πάντα στο διάστημα [0, 1]. Μία τιμή GR=1 υποδεικνύει πως με την γνώση του Χ, μπορούμε να προβλέψουμε πλήρως το Υ, ενώ το GR=0 σημαίνει πως δεν υπάρχει καμία σχέση ανάμεσα στο Υ και στο Χ. Σε αντίθεση με το IG, το GR ευνοεί μεταβλητές με λιγότερες τιμές. 2.2 Chi-Squared Η επιλογή χαρακτηριστικών μέσω της Chi-Square ( Χ 2 ) δοκιμής είναι μία στατιστική και συχνά χρησιμοποιούμενη μέθοδος. Σε αυτή τη μέθοδο υπολογίζεται η αξία ενός χαρακτηριστικού υπολογίζοντας την στατιστική τιμή του Χ 2 σε σχέση με την κλάση. Αυτό που ουσιαστικά μετράται, είναι η έλλειψη ανεξαρτησίας ανάμεσα στο χαρακτηριστικό και τις κλάσεις. Αυτή η μέθοδος χρησιμοποιεί την στατιστική Χ 2 για να διακριτοποιήσει κατ' επανάληψη αριθμητικά χαρακτηριστικά μέχρις ότου εμφανιστούν κάποιες ασυνέπειες στα δεδομένα και πετυχαίνει επιλογή χαρακτηριστικών μέσω διακριτοποίησης. Η μέθοδος είναι αποτελεσματική στην επιλογή χαρακτηριστικών και τη διακριτοποίηση αριθμητικών και τακτικών αριθμητικών χαρακτηριστικών. Έστω η υπόθεση Η 0 που δηλώνει ότι υπάρχει ανεξαρτησία μεταξύ τους. Η συγκεκριμένη υπόθεση δοκιμάζεται από την εξίσωση του Χ 2 : r X 2 = i=1 c (O ij E ij ) 2 (2.6) j=1 E ij Για αριθμητικά χαρακτηριστικά, πρέπει πρώτα το εύρος τιμών τους να διακριτοποιηθεί σε έναν αριθμό διαστημάτων. Έτσι, στη σχέση (2.6), r είναι το πλήθος των 16

17 Κεφάλαιο 2 διαστημάτων, c το πλήθος των κλάσεων, Ο ij είναι ο αριθμός των δειγμάτων που βρίσκονται στο i διάστημα και στην j κλάση, και Ε ij η αναμενόμενη (θεωρητική) συχνότητα του Ο ij, που ορίζεται ως Ε ij = R i C j N. Όπου R i ο αριθμός των δειγμάτων στο διάστημα i, C j δειγμάτων. ο αριθμός των δειγμάτων στην κλάση j και Ν ο συνολικός αριθμός των Όσο μεγαλύτερη είναι η τιμή του Χ 2, τόσο πιο αδύναμη γίνεται η υπόθεση Η 0 και τόσο σημαντικότερο είναι το υπό εξέταση χαρακτηριστικό. 17

18

19 Κεφάλαιο 3 Κεφάλαιο 3 Ασαφή Συστήματα 3.1 Εισαγωγή Τα ασαφή συστήματα (fuzzy systems) είναι μία προσπάθεια αποτελεσματικής περιγραφής της ασάφειας του πραγματικού κόσμου. Βασικά εργαλεία της θεωρίας αυτής είναι τα ασαφή σύνολα (fuzzy sets) και η ασαφής λογική (fuzzy logic). Στα κλασικά σύνολα, ένα στοιχείο είτε ανήκει είτε δεν ανήκει σε ένα σύνολο. Αντίθετα, στα ασαφή σύνολα ένα στοιχείο συμμετέχει στο σύνολο με ένα βαθμό στο διάστημα [0,1]. Ορισμοί όπως σχεδόν ψηλός ή πολύ γρήγορος μπορούν να διατυπωθούν μαθηματικά και να επεξεργαστούν από υπολογιστές, ώστε να εισαχθεί ένας περισσότερο ανθρώπινος τρόπος σκέψης στον προγραμματισμό τους. Οι βάσεις αυτού του τρόπου σκέψης συναντώνται πολύ πίσω, στην αρχαιοελληνική φιλοσοφία και συγκεκριμένα στον Πλάτωνα, ο οποίος σε αντίθεση με την Αρχή Αποκλειόμενου Μέσου που λέει πως κάθε πρόταση είναι είτε Αληθής είτε Ψευδής, υπέδειξε πως υπάρχει και μία τρίτη περιοχή (πέρα από το Αληθές και το Ψευδές) όπου αυτά τα δύο συγχέονται. 3.2 Ασαφή σύνολα και συναρτήσεις συμμετοχής. Στα κλασικά σύνολα τα όρια είναι σαφή και συγκεκριμένα. Για παράδειγμα το σύνολο Α 19

20 Ασαφή Συστήματα των πραγματικών αριθμών που είναι μεγαλύτεροι από το 1.75 ορίζεται ως: Α={x x>1.75, όπου x ℵ=R} (3.1) Ορίζεται ξεκάθαρα πως όλοι οι αριθμοί μεγαλύτεροι του 1.75 ανήκουν στο σύνολο Α ενώ οι υπόλοιποι όχι. Παρά τη χρησιμότητά τους σε πολλές εφαρμογές, τα κλασικά σύνολα δεν αντανακλούν τη φύση των ανθρώπινων αντιλήψεων και του τρόπου σκέψης του, τα οποία τείνουν να είναι αυθαίρετα και ανακριβή. Για παράδειγμα, στο παραπάνω σύνολο θεωρούμε πως η μεταβλητή x αντιπροσωπεύει το ύψος ενός ανθρώπου και πως το σύνολο Α τους ψηλούς ανθρώπους. Καταλαβαίνουμε αμέσως πως ο συγκεκριμένος τρόπος ορισμού ενός ψηλού ανθρώπου είναι αφύσικος. Η διχοτομική φύση του κλασικού συνόλου θα κατέτασσε κάποιον με ύψος 1.76 σαν ψηλό και κάποιον άλλο με ύψος 1.74 σαν όχι ψηλό κάτι το οποίο δεν έχει λογική. Ένα ασαφές σύνολο, σε αντίθεση με τα κλασικά, είναι ένα σύνολο με ασαφή όρια. Έτσι, η μετάβαση από το ανήκω στο σύνολο στο δεν ανήκω στο σύνολο είναι σταδιακή, και αυτή η ομαλή μετάβαση χαρακτηρίζεται από συναρτήσεις συμμετοχής (membership functions) οι οποίες δίνουν τη δυνατότητα στα ασαφή σύνολα να μοντελοποιούν λεκτικές εκφράσεις όπως το νερό είναι κρύο ή ο άνεμος είναι ισχυρός. Αν ℵ είναι ο χώρος των στοιχείων x, τότε ένα ασαφές σύνολο Α ορίζεται στον ℵ σαν ένα σύνολο διατεταγμένων ζευγών: A={( x, μ Α (x)) x ℵ} (3.2) Το ζεύγος (x, μ Α (x)) λέγεται singleton. Το αριστερό μέρος αντιστοιχεί στο στοιχείο του ℵ και το δεύτερο μέρος δηλώνει τον βαθμό συμμετοχής του x στο ασαφές σύνολο Α, μέσω της συνάρτησης συμμετοχής μ Α (x). Ο βαθμός συμμετοχής βρίσκεται στο διάστημα [0,1]. Το πεδίο ορισμού ℵ μπορεί να είναι είτε συνεχές είτε διακριτό, ενώ οι συναρτήσεις συμμετοχής μπορούν να έχουν διάφορες μορφές, όπως τριγωνική, καμπανοειδή, Γκαουσιανή κ.α. Τα ασαφή σύνολα ορίζονται από τις συναρτήσεις συμμετοχής και περιγράφουν λεκτικές μεταβλητές. Στο Σχ. 3-1 βλέπουμε ένα παράδειγμα με συναρτήσεις συμμετοχής και παρατηρούμε την χαρακτηριστική επικάλυψη που υπάρχει μεταξύ των ασαφών συνόλων. Σε αυτή τη περίπτωση, κάποιος με ύψος 1.74 μέτρα, θα άνηκε περίπου κατά 0.72 στο σύνολο μέτριο ύψος και κατά 0.28 στο ψηλός, ενώ στην περίπτωση 20

21 Κεφάλαιο 3 των κλασικών συνόλων που είδαμε παραπάνω θα περιγραφόταν απλά ως όχι ψηλός. Είναι προφανές πως η ασαφής λογική βρίσκεται πιο κοντά στην πραγματικότητα και στον ανθρώπινο τρόπο σκέψης. Σχ. 3-1: Παράδειγμα συναρτήσεων συμμετοχής. Δύο χρήσιμες πράξεις μεταξύ ασαφών συνόλων είναι η ένωση και η τομή: Η ένωση δύο ασαφών συνόλων Α και Β είναι ένα ασαφές σύνολο C= A B του οποίου η συνάρτηση συμμετοχής προκύπτει ως: μ C (x)=max[ μ A ( x), μ B (x)]= μ A (x) μ B (x), x ℵ (3.3) Η ένωση δύο ασαφών συνόλων σχετίζεται με την λογική πράξη OR μεταξύ των συνόλων. Το C είναι το μικρότερο ασαφές σύνολο που περιέχει και το Α και το Β. Η τομή δύο ασαφών συνόλων είναι ένα ασαφές σύνολο C= A B του οποίου η συνάρτηση συμμετοχής προκύπτει ως: μ C (x)=min[ μ A ( x), μ B ( x)]= μ A ( x) μ B (x), x ℵ (3.4) Η ένωση δύο ασαφών συνόλων σχετίζεται με την λογική πράξη AND μεταξύ των συνόλων. Το C είναι το μεγαλύτερο ασαφές σύνολο που περιέχεται και στο Α και στο Β. Συχνά, για την εκτέλεση της πράξης τομής, αντί του τελεστή min χρησιμοποιείται ο τελεστής του αλγεβρικού γινομένου (τελεστής Larsen). 21

22 Ασαφή Συστήματα 3.3 Ασαφείς κανόνες Ένας ασαφής if-then κανόνας έχει τη μορφή: IF x is A THEN y is B, (3.5) όπου τα A και Β είναι λεκτικές τιμές οι οποίες ορίζονται από ασαφή σύνολα στους χώρους Χ και Υ αντίστοιχα. Το x is A καλείται τμήμα υπόθεσης (premise part) και το y is B τμήμα συμπεράσματος (consequent part). Κάποια απλά παραδείγματα τέτοιων κανόνων είναι: Αν η ντομάτα είναι κόκκινη, τότε είναι ώριμη. Αν η ταχύτητα είναι μεγάλη, τότε ενεργοποίησε λίγο τα φρένα. Αν η διαφορά των βαθμών μεταξύ των δύο ομάδων είναι μεγάλη και θετική, τότε θα κερδίσει η γηπεδούχος. Φυσικά, οι κανόνες συνήθως είναι πιο σύνθετοι και στο τμήμα υπόθεσης περιλαμβάνουν περισσότερες από μία ανεξάρτητες μεταβλητές. Οι κανόνες αυτοί λέγονται κανόνες πολλών εισόδων μίας εξόδου (MISO) και η μορφή τους είναι: IF x 1 is A 1 ΑND... ΑND x n is A n THEN y is B (3.6) Αντί για ΑND προφανώς θα μπορούσαμε να έχουμε OR. Παρόλα αυτά, οι πρώτοι θα μας φανούν περισσότερο χρήσιμοι στην πορεία. 3.4 Ασαφή συστήματα συμπερασμού Ένα ασαφές σύστημα συμπερασμού (fuzzy inference system), είναι ένα σύστημα στο οποίο η απεικόνιση εισόδων εξόδου πραγματώνεται μέσω ασαφών κανόνων της μορφής IF/THEN, οι οποίοι εμπλέκουν τις ασαφείς λεκτικές μεταβλητές εισόδου και εξόδου. Η τυπική δομή ενός ασαφούς συστήματος δίνεται στο Σχ. 3-2 και αποτελείται από: Τον ασαφοποιητή (fuzzifier) που μετατρέπει τα σαφή σήματα σε ασαφείς λεκτικές 22

23 Κεφάλαιο 3 τιμές, δηλαδή σε ασαφή σύνολα. Ουσιαστικά αποτελεί τη διασύνδεση μεταξύ σαφούς και ασαφούς κόσμου. Την ασαφή βάση κανόνων η οποία αποτελείται από IF/THEN κανόνες που δημιουργούνται είτε από ειδικούς (experts), είτε εξάγονται από δεδομένα εκπαίδευσης. Τον μηχανισμό εξαγωγής συμπεράσματος ο οποίος μιμείται τη συλλογιστική διαδικασία του ανθρώπου για να παράξει προσεγγιστικά συμπεράσματα. Τέλος, ο απο-ασαφοποιητής που μετατρέπει τα ασαφή συμπεράσματα σε σαφή σήματα εξόδου. Σχ. 3-2: Μπλοκ διάγραμμα ενός ασαφόυς συστήματος συμπερασμού Ασαφή μοντέλα Mamdani Έστω ότι έχουμε ένα ασαφές μοντέλο του οποίου η ασαφής βάση κανόνων αποτελείται από τους δύο κανόνες: R 1 : IF x is A 1 ΑND yis B 1 THEN zis C 1 (3.7) R 2 : IF xis A 2 ΑND y is B 2 THEN zis C 2 (3.8) Για κάθε κανόνα υπολογίζεται ο βαθμός εκπλήρωσής του, πολλαπλασιάζοντας (ή 23

24 Ασαφή Συστήματα χρησιμοποιώντας οποιονδήποτε άλλο τελεστή AND) το βαθμό συμμετοχής των σαφών εισόδων x,y στα ασαφή σύνολα του κανόνα. Για παράδειγμα, ο βαθμός εκπλήρωσης του πρώτου κανόνα θα είναι μ Α1 ( x) μ B1 ( y). Έπειτα, αθροίζουμε τις εξόδους που προκύπτουν για κάθε κανόνα (OR) και προκύπτει ένα νέο ασαφές σύνολο που είναι και το τελικό ασαφές συμπέρασμα. Για να πάρουμε σαν έξοδο ένα σαφές συμπέρασμα σε μορφή πραγματικής τιμής χρησιμοποιείται ο απο-ασαφοποιητής. Με χρήση του απο-ασαφοποιητή κέντρου βάρους (COA), το τελικό σαφές συμπέρασμα του συστήματος θα είναι: z o = z μ Α (z)dz μ Α (z)dz Η όλη διαδικασία παρουσιάζεται σχηματικά στο Σχ (3.9) Σχ. 3-3: Το ασαφές μοντέλο συμπερασμού Mamdani. 24

25 Κεφάλαιο Ασαφή μοντέλα Sugeno Τα μοντέλα Sugeno (γνωστά και ως ασαφή μοντέλα TSK), προτάθηκαν σε μία προσπάθεια για την ανάπτυξη μίας συστηματικής προσέγγισης για τη δημιουργία ασαφών κανόνων από ένα οποιοδήποτε σετ δεδομένων εισόδου-εξόδου. Τα μοντέλα TSK περιλαμβάνουν ασαφείς κανόνες των οποίων το τμήμα συμπεράσματος περιγράφεται γενικά από αλγεβρικές συναρτήσεις των εισόδων και είναι της μορφής: R (i ) =IF x 1 is A (i) 1 ΑND... ΑND x N is A (i) N THEN y= f (x 1,..., x N ) (3.10) Στην περίπτωση που η συνάρτηση f είναι μία σταθερά τότε έχουμε μοντέλα TSK μηδενικής τάξης (zero order TSK models): R (i ) =IF x 1 is A (i) 1 ΑND... ΑND x N is A (i) N THEN y=w i (3.11) Το Σχ. 3-4 δείχνει τη συλλογιστική διαδικασία ενός πρώτης τάξης ασαφούς μοντέλου TSK. Από τη στιγμή που κάθε κανόνας έχει σαν έξοδο μία πραγματική τιμή, η συνολική έξοδος του μοντέλου προκύπτει από τον σταθμισμένο μέσο όρο, γλιτώνοντας μας έτσι από την χρονοβόρα διαδικασία της απο-ασαφοποίησης. Σχ. 3-4: Το ασαφές μοντέλο TSK 25

26 Ασαφή Συστήματα 3.5 Ασαφής βάση κανόνων Όπως αναφέρθηκε νωρίτερα, η ασαφής βάση κανόνων (fuzzy rule base) είτε διαμορφώνεται από ειδικούς, είτε μέσω δεδομένων εκπαίδευσης. Το να βασιστούμε στην ανθρώπινη γνώση και εμπειρία οδηγεί σε κάποιες δυσκολίες. Πρώτον, η γνώση του ανθρώπου είναι γενικά ελλιπής και σποραδική και όχι συστηματική. Επίσης, δεν υπάρχει κάποιος επίσημος και αποτελεσματικός τρόπος απόκτησης γνώσεων. Οδηγούμαστε λοιπόν στην δεύτερη λύση και στην προσπάθεια αυτοματοποίησης της διαδικασίας μοντελοποίησης μέσω αριθμητικών δεδομένων εκπαίδευσης. Σε πρώτη φάση πρέπει να γίνει αναγνώριση της δομής (structure identification) του μοντέλου κατά την οποία γίνεται προσπάθεια εύρεσης του κατάλληλου αριθμού κανόνων και της σωστής διαμέρισης του χώρου εισόδου-εξόδου Grid partition Στο Σχ. 3-5 φαίνεται ένας τυπικός διαμερισμός του χώρου των εισόδων για ένα σύστημα με δύο εισόδους. Με αυτή τη προσέγγιση οι χώροι των μεταβλητών του τμήματος υπόθεσης διαχωρίζονται a priori σε έναν προκαθορισμένο αριθμό συναρτήσεων συμμετοχής. Η βάση κανόνων τότε εγκαθιδρύεται έτσι, ώστε να καλύπτει πλήρως τον χώρο του τμήματος υπόθεσης χρησιμοποιώντας λογικούς συνδυασμούς των όρων του τμήματος υπόθεσης. Ωστόσο, αυτή η στρατηγική διαμέρισης συναντά προβλήματα όταν έχουμε να κάνουμε με ένα σύστημα με σχετικά μεγάλο αριθμό εισόδων. Για παράδειγμα, ένα ασαφές μοντέλο με 10 εισόδους και 2 συναρτήσεις συμμετοχής για κάθε είσοδο οδηγεί σε 2 10 =1024 IF/THEN κανόνες που είναι απαγορευτικά πολλοί. Αυτό το πρόβλημα, το οποίο είναι γνωστό ως κατάρα της διαστασημότητας (curse of dimensionality), μπορεί να αντιμετωπιστεί με άλλες στρατηγικές διαμέρισης. 26

27 Κεφάλαιο 3 Σχ. 3-5: Παράδειγμα διαμέρισης διδιάστατου χώρου εισόδων με grid partition Subtractive clustering Η ιδέα της ασαφούς ομαδοποίησης (fuzzy clustering) είναι να διαιρέσουμε τον χώρο των δεδομένων σε ασαφής ομάδες (clusters), κάθε μία από τις οποίες θα αντιπροσωπεύει ένα συγκεκριμένο μέρος της συμπεριφοράς του συστήματος. Αφού προβάλουμε αυτές τις ομάδες στον χώρο των εισόδων τα μέρη του τμήματος υπόθεσης των ασαφών κανόνων μπορούν να βρεθούν. Έτσι, κάθε ομάδα αντιστοιχεί σε έναν κανόνα του μοντέλου. Στο Σχ.3-6 φαίνεται ένας τυπικός διαμερισμός του χώρου των εισόδων για ένα σύστημα με δύο εισόδους. Στους αλγορίθμους ασαφούς ομαδοποίησης, οι συναρτήσεις συμμετοχής μπορούν να καθοριστούν με δύο μεθόδους. Στην πρώτη, οι ομάδες προβάλλονται ορθογώνια πάνω στους άξονες των μεταβλητών του τμήματος υπόθεσης, και οι συναρτήσεις συμμετοχής 27

28 Ασαφή Συστήματα Σχ. 3-6: Παράδειγμα διαμέρισης διδιάστατου χώρου εισόδων με fuzzy clustering. τοποθετούνται πάνω σε αυτές τις προβολές. Η δεύτερη μέθοδος χρησιμοποιεί πολυδιάστατες συναρτήσεις συμμετοχής στο τμήμα υπόθεσης, π.χ. οι ομάδες προβάλλονται στον χώρο εισόδων. Με αυτή τη μέθοδο, ο βαθμός συμμετοχής ενός σημείου σε αυτή τη προβαλλόμενη ομάδα υπολογίζεται απ' ευθείας σύμφωνα με την απόστασή του από το κέντρο της. Το Σχ. 3-7 απεικονίζει τη σχηματική αναπαράσταση της τελευταίας μεθόδου, όπου το d i είναι προβαλλόμενο κέντρο της ομάδας και c i το τυχαίο σημείο. Στον αλγόριθμο subtractive clustering θεωρούμε μία συλλογή από n σημεία δεδομένων {x 1,..., x n } (data points) σε έναν χώρο Μ διαστάσεων. Χωρίς βλάβη της γενικότητας, θεωρούμε πως έχουν κανονικοποιηθεί εντός ενός υπερκύβου. Κάθε σημείο είναι υποψήφιο για να αποτελέσει το κέντρο μίας ομάδας κι έτσι ορίζεται ένα μέτρο πυκνότητας σε κάθε σημείο x i όπου r a ως: n D i = j=1 exp( x i x j 2 (r a /2) 2 ) (3.12) μία θετική σταθερά. Έτσι, ένα σημείο δεδομένου θα έχει υψηλή πυκνότητα αν έχει πολλά γειτονικά σημεία. Η ακτίνα r a καθορίζει μία γειτονία, και σημεία που βρίσκονται εκτός αυτής της ακτίνας συνεισφέρουν ελάχιστα στο μέτρο πυκνότητας. 28

29 Κεφάλαιο 3 Σχ. 3-7: Προβολή των ασαφών ομάδων στον χώρο του τμήματος υπόθεσης στην περίπτωση τριδιάστατου χώρου εισόδων-εξόδων. Αφού υπολογιστεί το μέτρο πυκνότητας για κάθε σημείο δεδομένου, αυτό με τη μεγαλύτερη πυκνότητα επιλέγεται σαν το κέντρο της πρώτης ομάδας. Έστω x c 1 το επιλεγμένο σημείο και D c1 το μέτρο της πυκνότητάς του. Έπειτα, το μέτρο πυκνότητας κάθε σημείου υπολογίζεται εκ νέου από τον τύπο: D i = D i D ci exp( x i x c1 2 ) (r b / 2) 2 (3.13) όπου r b θετική σταθερά. Συνεπώς τα σημεία που βρίσκονται κοντά στο πρώτο κέντρο θα έχουν σημαντικά μειωμένο το μέτρο πυκνότητας, όντας έτσι λιγότερο πιθανά να επιλεγούν ως κέντρα ομάδων. Η σταθερά r b καθορίζει μια γειτονιά εντός της οποίας υπάρχουν μετρήσιμες μειώσεις στα μέτρα πυκνότητας των σημείων. Συνήθως είναι μεγαλύτερη από την r a για να αποφευχθεί η δημιουργία κοντινών ομάδων. Γενικά έχουμε r b =r a η, όπου το η ονομάζεται συντελεστής κατάργησης (quash factor) και συνήθως είναι ίσος με 1.5. Αφού το μέτρο πυκνότητας για κάθε σημείο έχει επανυπολογιστεί, επιλέγεται το επόμενο κέντρο ομάδας x c2 και τα μέτρα πυκνότητας των υπόλοιπων σημείων υπολογίζονται ξανά. Η διαδικασία επαναλαμβάνεται έως ότου δημιουργηθεί ένας επαρκής 29

30 Ασαφή Συστήματα αριθμός ομάδων. Όταν εφαρμόζουμε subtractive clustering σε ένα σετ δεδομένων εισόδου-εξόδου, κάθε κέντρο ομάδας αντιπροσωπεύει ένα πρότυπο το οποίο παρουσιάζει συγκεκριμένα χαρακτηριστικά του υπό μοντελοποίηση συστήματος. Τα κέντρα αυτά χρησιμοποιούνται σαν τα κέντρα των τμημάτων υπόθεσης των ασαφών κανόνων σε ένα μηδενικής τάξης μοντέλο TSK. Για παράδειγμα, υποθέτουμε πως το κέντρο της i-στης ομάδας είναι c i σε χώρο Μ διαστάσεων. Το c i μπορεί να διασπαστεί σε δύο διανύσματα p i και q i, όπου p i είναι το διάνυσμα εισόδου και περιέχει τα Ν πρώτα στοιχεία του c i και q i το διάνυσμα εξόδου που περιέχει να Μ-Ν τελευταία στοιχεία του c i. Τότε, για ένα τυχαίο διάνυσμα εισόδου x, ο βαθμός στον οποίο εκπληρώνεται ο ασαφής κανόνας i δίνεται από: μ i =exp( x p i 2 ) (r a /2) 2 (3.14) Με την παραπάνω μέθοδο έχουμε αυτοματοποίηση της διαδικασίας δημιουργίας μίας βάσης κανόνων για ένα σύστημα του οποίου η συμπεριφορά είναι άγνωστη, μέσω ενός συνόλου δεδομένων εισόδου - εξόδου. Επίσης, ξεπερνάμε το πρόβλημα της κατάρας της διαστασημότητας, αφού ο αριθμός των κανόνων δεν εξαρτάται από την διάσταση του υπό εξέταση συστήματος. 3.6 Ασαφή νευρωνικά δίκτυα Η έμπνευση για τα τεχνητά νευρωνικά δίκτυα πηγάζει από την εξέταση του κεντρικού νευρικού συστήματος έμβιων οργανισμών. Στα τεχνητά νευρωνικά δίκτυα, απλοί τεχνητοί κόμβοι γνωστοί ως νευρώνες, συνδέονται μεταξύ τους ώστε να δημιουργήσουν ένα δίκτυο το οποίο μιμείται τα βιολογικά νευρωνικά δίκτυα. Γενικά, ένα ΝΔ είναι ένα δίκτυο που περιέχει απλά επεξεργαστικά στοιχεία, τα οποία όμως σαν σύνολο παρουσιάζουν μία περίπλοκη συμπεριφορά που καθορίζεται από τις παραμέτρους και τις συνδέσεις μεταξύ των στοιχείων αυτών. Δύο βασικά χαρακτηριστικά 30

31 Κεφάλαιο 3 των ΝΔ είναι ότι αποτελούνται από ένα σύνολο προσαρμόσιμων παραμέτρων οι οποίες ρυθμίζονται μέσω ενός αλγόριθμου εκπαίδευσης και πως είναι ικανά να προσεγγίζουν μη γραμμικές συναρτήσεις των εισόδων τους. Μία περίπτωση νευρωνικών δικτύων είναι τα ασαφή νευρωνικά δίκτυα (Fuzzy Neural Networks, FNN). Στο Σχ. 3-8 φαίνεται η δομή ενός ασαφούς νευρωνικού δικτύου το οποίο υλοποιεί ένα μοντέλο παλινδρόμησης (regression model) με κανόνες singleton (zero order TSK). Το δίκτυο αυτό αποτελείται από έξι στρώματα: Στρώμα 1: Περιλαμβάνει τους κόμβους εισόδου, οι οποίοι απλά περνάνε τα σήματα εισόδου στο επόμενο στρώμα. Στρώμα 2: Οι κόμβοι σε αυτό το στρώμα λέγονται λεκτικοί κόμβοι και ενεργούν σαν συναρτήσεις συμμετοχής. Η έξοδος των κόμβων παρέχει τον βαθμό συμμετοχής του i στο σύνολο Α j. Οι παράμετροι του κόμβου αυτού εξαρτώνται από το είδος των x j Σχ. 3-8: Ασαφές νευρωνικό δίκτυο με κανόνες singleton. συναρτήσεων συμμετοχής που χρησιμοποιούμε και καθορίζουν τη θέση και το σχήμα τους. Στρώμα 3: Οι κόμβοι αυτοί λέγονται κόμβοι κανόνες (rule nodes). Ο κόμβος 31

32 Ασαφή Συστήματα πολλαπλασιάζει τα εισερχόμενα σήματα και παρέχει στην έξοδο το γινόμενό τους. Η έξοδος του κόμβου κανόνα παράγει τον βαθμό εκπλήρωσης μ i (x) του κανόνα. Επίσης, οι λεκτικοί κόμβοι που συνδέονται με τον κόμβο κανόνα αποτελούν τις συνιστώσες του κανόνα, αντιστοιχούν δηλαδή στα ασαφή σύνολα του τμήματος υπόθεσής του. Το στρώμα αυτό περιλαμβάνει τόσους κόμβους, όσους και ο αριθμός των κανόνων της βάσης. Στρώμα 4: Στο στρώμα αυτό υπολογίζονται οι κανονικοποιημένοι βαθμοί εκπλήρωσης μ i (x) των κανόνων από την: μ i (x)= n i =1 μ i (x) μ i (x) (3.15) Στρώμα 5: Οι κόμβοι στο στρώμα αυτό υπολογίζουν τη σταθμισμένη συνεισφορά του τμήματος συμπεράσματος κάθε κανόνα μ i (x)w i όπου μ i (x) είναι η έξοδος του στρώματος 4 και w i είναι η τιμή του συμπεράσματος του κανόνα R (i ). Η παράμετρος του κόμβου είναι το w i. Στρώμα 6: Το τελευταίο στρώμα περιλαμβάνει έναν κόμβο ο οποίος αθροίζει όλα τα εισερχόμενα σήματα από το στρώμα 5 και παρέχει την τελική έξοδο του μοντέλου: n y= i=1 μ i ( x)w i (3.16) Τα στρώματα που περιέχουν παραμέτρους ελέγχου είναι τα 2 και 5. Στο δεύτερο περιλαμβάνονται οι παράμετροι των συναρτήσεων συμμετοχής, δηλαδή του τμήματος υπόθεσης και στο πέμπτο εκείνες του τμήματος συμπεράσματος. Αυτές οι παράμετροι πρέπει να προσδιοριστούν με βάση κάποια μέθοδο εκμάθησης έτσι ώστε το μοντέλο να προσεγγίζει την συμπεριφορά του επιθυμητού συστήματος. Αντικείμενο του αλγόριθμου εκπαίδευσης είναι να προσδιορίσει τις παραμέτρους του δικτύου, έστω θ, έτσι ώστε να ελαχιστοποιείται ένα μέτρο σφάλματος Ε(θ). Το Ε(θ) είναι το σφάλμα μεταξύ του ασαφούς μοντέλου και του πραγματικού συστήματος. Θεωρούμε ένα σύνολο δεδομένων αποτελούμενο από Ν ζεύγη εισόδου-εξόδου: όπου x k =( x 1 k...x m k ) και y d k D={( x k, y d k ) k=1...n } (3.17) είναι η επιθυμητή έξοδος για την είσοδο x k. Συνήθως, σαν συνάρτηση σφάλματος θεωρούμε το μέσο τετραγωνικό σφάλμα (Mean 32

33 Κεφάλαιο 3 Squared Error) το οποίο ορίζεται ως εξής: N MSE(θ)= 1 ( y k y k N d ) 2 (3.18) k=1 Η ελαχιστοποίηση της συνάρτησης σφάλματος γίνεται μέσα από μία επαναληπτική διαδικασία πολλών βημάτων. Σε κάθε βήμα οι παράμετροι αναπροσαρμόζονται κατά τη διεύθυνση της αρνητικής κλίσης (negative gradient) της Ε(θ) σε σχέση με τις παραμέτρους. Οι αλγόριθμοι εκμάθησης που βασίζονται σε αυτή την αρχή λέγονται αλγόριθμοι κλίσης (gradient descent algorithms). Ο κανόνας εκμάθησης και αναπροσαρμογής των παραμέτρων για το δείγμα k περιγράφεται ως εξής: θ i (t+1)=θ i (t) η E k θ i i=1,..., p (3.19) Όπου t είναι ο δείκτης της επανάληψης (iteration), θ i (t) η τιμή της παραμέτρου στην επανάληψη t, και η αναπροσαρμογή γίνεται με βάση την Ε k. Ο συντελεστής η είναι ο συντελεστής εκμάθησης ο οποίος καθορίζει την ταχύτητα εκμάθησης. Όσων αφορά τον αλγόριθμό εκπαίδευσης υπάρχουν αρκετές επιλογές, ωστόσο στο παρόν θα χρησιμοποιήσουμε τον υβριδικό αλγόριθμο εκπαίδευσης, ο οποίος χρησιμοποιεί έναν συνδυασμό της μεθόδου κλίσης (back propagation) και της μεθόδου εκτίμησης ελαχίστων τετραγώνων (least squares estimation). Χωρίζουμε το συνολικό σετ παραμέτρων S στα δύο: S 1 : το σετ των παραμέτρων του τμήματος υπόθεσης (μη γραμμικές). S 2 : το σετ των παραμέτρων του τμήματος συμπεράσματος (γραμμικές). ως εξής: Συνοπτικά και σε περιγραφή γλώσσας υψηλού επιπέδου, ο υβριδικός αλγόριθμος έχει Πρόσω πέρασμα: 1. Εισάγεται το διάνυσμα εισόδου. 2. Υπολογίζονται οι έξοδοι των κόμβων σε κάθε στρώμα. 3. Επαναλαμβάνεται η διαδικασία για όλα τα δεδομένα και σχηματίζονται οι πίνακες Α και y. Όπου y οι έξοδοι που υπολόγισε το μοντέλο για κάθε διάνυσμα εισόδου και 33

34 Ασαφή Συστήματα μ 1 ( x A=[ (1) ) μ 2 (x (1) )... μ n (x (1) ) )] μ 1 ( x (2) ) μ 2 (x (2) )... μ n (x (2) ) μ 1 ( x ( N ) ) μ 2 (x (N ) )... μ n (x (N ) 4. Υπολογίζονται οι παράμετροι του S 2 χρησιμοποιώντας τη μέθοδο least squares. 5. Υπολογίζεται το σφάλμα για κάθε ζεύγος δεδομένων εισόδου-εξόδου. Διάδοση προς τα πίσω: 6. Χρησιμοποιείται η μέθοδος back propagation για τον υπολογισμό των παραμέτρων του τμήματος υπόθεσης S Υπολογίζεται το συνολικό σφάλμα και η διαδικασία επαναλαμβάνεται μέχρις ότου αυτό πέσει κάτω από ένα προκαθορισμένο όριο ακριβείας. 34

35 Κεφάλαιο 4 Κεφάλαιο 4 Support Vector Machines Οι Μηχανές Διανυσμάτων Στήριξης (Support Vector Machines, SVMs) είναι μοντέλα επιβλεπόμενης μάθησης που μαζί με σχετικούς αλγόριθμους εκπαίδευσης αναλύουν δεδομένα και αναγνωρίζουν πρότυπα για την επίλυση προβλημάτων ταξινόμησης (classification) και προσέγγισης συναρτήσεων (regression analysis). Ο αλγόριθμος SVM που αναπτύχθηκε από τον Vapnik, βασίζεται στη θεωρία της στατιστικής μάθησης (statistical learning theory). Στο πρόβλημα ταξινόμησης, προσπαθούμε να βρούμε ένα βέλτιστο υπερεπίπεδο που χωρίζει τις δύο κλάσεις, μεγιστοποιώντας το περιθώριο μεταξύ τους, ενώ στην περίπτωση της προσέγγισης συναρτήσεων ο στόχος είναι η κατασκευή ενός υπερεπίπεδου που να κείτεται κοντά σε όσο το δυνατόν περισσότερα σημεία. Και στις δύο περιπτώσεις, καταλήγουμε σε ένα πρόβλημα τετραγωνικού προγραμματισμού. Κάποια πλεονεκτήματα του αλγορίθμου SVM είναι: Δυνατότητα διαχωρισμού μεγάλων σετ δεδομένων, από τη στιγμή που αρκούν μόνο τα λίγα support vectors για να ορίσουν το επίπεδο διαχωρισμού. Δυνατότητα διαχείρισης δεδομένων με πολλές διαστάσεις, αφού η πολυπλοκότητα δεν εξαρτάται από τη διάσταση του χώρου των δεδομένων. Ευελιξία στην επιλογή της συνάρτησης ομοιότητας. Η υπερεκπαίδευση μπορεί να ελεγχθεί με την εφαρμογή της προσέγγισης των χαλαρών ορίων (slack variables). 35

36 Support Vector Machines 4.1 Γραμμικός διαχωρισμός Η πιο απλή περίπτωση διαχωρισμού, είναι ο διαχωρισμός δεδομένων δύο διαστάσεων τα οποία είναι γραμμικώς διαχωρίσιμα. Τότε με απλή γλώσσα το πρόβλημα ορίζεται ως: Βρες μία ευθεία γραμμή η οποία διαχωρίζει τα δεδομένα διαφορετικών κλάσεων. Σχ. 4-1: Πιθανές λύσεις σε πρόβλημα διαχωρισμού δύο διαστάσεων. Όπως φαίνεται και στο Σχ. 4-1, υπάρχουν διάφορες λύσεις στο πρόβλημα και φυσικά, δεν είναι όλες το ίδιο καλές. Μία ευθεία που περνά πολύ κοντά στα δεδομένα κάνει τη λύση ευαίσθητη σε θόρυβο και δεν θα οδηγεί σε καλή γενίκευση. Άρα ψάχνουμε την ευθεία εκείνη που μεγιστοποιεί το περιθώριο (margin) ανάμεσα στα δεδομένα διαφορετικών κλάσεων. Οποιοδήποτε υπερεπίπεδο μπορεί να περιγραφεί ως το σύνολο των σημείων x που ικανοποιούν την: wx b = 0. Εάν τα δεδομένα είναι γραμμικώς διαχωρίσιμα, τότε επιλέγονται δύο υπερεπίπεδα (Σχ. 4-2) που χωρίζουν τα δεδομένα ενώ παράλληλα δεν περιέχεται κανένα σημείο ανάμεσά τους, και προσπαθούμε να μεγιστοποιήσουμε την απόσταση μεταξύ των δύο αυτών επιπέδων τα οποία δίνονται από τις εξισώσεις: wx b = 1 και wx b = -1 (4.1) 36

37 Κεφάλαιο 4 Σχ. 4-2: Βέλτιστη λύση σε πρόβλημα διαχωρισμού δύο διαστάσεων. Τα τρία σκιασμένα σημεία είναι support vectors. όπου το x συμβολίζει τα σημεία που βρίσκονται πιο κοντά στο υπερεπίπεδο διαχωρισμού και ονομάζονται διανύσματα στήριξης (support vectors). Μέσω γεωμετρικών υπολογισμών προκύπτει πως η απόσταση ανάμεσα στα δύο αυτά υπερεπίπεδα είναι 2. Άρα για να μεγιστοποιήσουμε το περιθώριο, θέλουμε να w ελαχιστοποιήσουμε το w. Επίσης, για να εμποδίσουμε την εμφάνιση δεδομένων ανάμεσα στα δύο υπερεπίπεδα πρέπει να ισχύει ο περιορισμός: y i (w x i b) 1, 1 i n. (4.2) Άρα τελικά καταλήγουμε σε ένα πρόβλημα βελτιστοποίησης υπό περιορισμούς το οποίο γράφεται συνοπτικά ως: min (w, b) L(w)= 1 2 w 2 (4.3) υπό τον περιορισμό: y i (w x i +b) 1, i (4.4) όπου το y i αντιπροσωπεύει την κλάση του κάθε δεδομένου (±1). Το παραπάνω είναι ένα κλασικό πρόβλημα βελτιστοποίησης υπό περιορισμούς και λύνεται με χρήση πολλαπλασιαστών Lagrange. Το πρόβλημα ορίζεται ως: 37

38 Support Vector Machines minimize L p = 1 l 2 w 2 i=1 l a i y i ( x i w+b)+ a i (4.5) i =1 ενώ ταυτόχρονα απαιτούμε να μηδενιστούν οι μερικές παράγωγοι της L ως προς τα α i υπό την συνθήκη a i 0. Όπου α i είναι οι πολλαπλασιαστές Lagrange. Παίρνοντας το δυαδικό του παραπάνω προβλήματος έχομε: Μεγιστοποίησε ως προς α i : L D = 1 l 2 w 2 i=1 l a i y i ( x i w+b)+ a i (4.6) i=1 απαιτώντας μηδενισμό των παραγώγων της L ως προς τα w,b υπό τη συνθήκη a i 0. Αυτή η απαίτηση οδηγεί στις σχέσεις: w= a i y i x i i ως εξής: και i a i y i =0 (4.7) Αντικαθιστώντας τις παραπάνω σχέσεις στο δυαδικό πρόβλημα αυτό διαμορφώνεται maximize: L D = i a i 1 2 i, j a i a j y i y j ( x i x j ) (4.8) υπό την συνθήκη a i 0. Σε κάθε δείγμα αντιστοιχίζεται ένας συντελεστής α i, στο άθροισμα όμως συνεισφέρουν μόνο εκείνα στα οποία αντιστοιχεί a i 0. διανύσματα στήριξης (support vectors). Η συνάρτηση απόφασης δίνεται τότε από την: m f (x)=sgn( i =1 y i a i (x x i )+b) Τα δείγματα αυτά αποτελούν τα (4.9) όπου το b υπολογίζεται από την (4.2), λαμβάνοντας υπόψη πως στην περίπτωση των support vectors ισχύει η ισότητα. Σε περίπτωση που τα δεδομένα δεν είναι γραμμικώς διαχωρίσιμα, εισάγονται μεταβλητές χαλαρότητας (slack variables) ξ i 0 έτσι ώστε να επιτρέπεται η λάθος ταξινόμηση κάποιων σημείων. Οι μεταβλητές αυτές μετράνε το σφάλμα ταξινόμησης και όπως φαίνεται και από το Σχ. 4-3 είναι η απόσταση του κάθε σημείου από την περιοχή στην οποία θα έπρεπε να βρίσκεται. Στην περίπτωση αυτή το πρόβλημα ελαχιστοποίησης γίνεται: 38

39 υπό τον περιορισμό: min (w, b) L(w)= w 2 +C i Κεφάλαιο 4 ξ i (4.10) y i (w x i +b) 1 ξ i, i (4.11) Το πρόβλημα είναι ίδιο με την προηγούμενη περίπτωση με μόνη διαφορά πως το C μπαίνει σαν άνω όριο των πολλαπλασιαστών Lagrange. Η παράμετρος C εκφράζει το μέγεθος της χαλάρωσης που επιτρέπουμε. Μεγάλες τιμές για το C δίνουν λύσεις με μικρότερα σφάλματα αλλά και μικρότερο περιθώριο διαχωρισμού, ενώ μικρότερες τιμές οδηγούν σε μεγαλύτερα σφάλματα αλλά και μεγαλύτερο περιθώριο. Ένας κανόνας για τον ορισμό του C, ο οποίος όμως δεν είναι δεσμευτικός, είναι: C=max {y i } min {y i }. (4.12) Σχ. 4-3: Λανθασμένη ταξινόμηση δεδομένων και τα σφάλματά τους. 4.2 Πυρήνες Έστω ότι έχουμε τα δεδομένα: 39

40 Support Vector Machines (x 1, y 1 ),...,(x m, y m ) X {±1} (4.13) όπου ο χώρος Χ είναι ο χώρος από τον οποίο παίρνουμε τις παρατηρήσεις x i, ενώ τα y i ονομάζονται ετικέτες ή στόχοι. Δεδομένου μίας νέας παρατήρησης x X, θέλουμε να προβλέψουμε το αντίστοιχο y {±1}. Με αυτό εννοούμε, ότι επιλέγουμε το y έτσι ώστε το (x,y) να είναι κατά κάποιο τρόπο όμοιο με τα δεδομένα εκπαίδευσης. Για αυτό το σκοπό χρειαζόμαστε ένα μέτρο ομοιότητας στον χώρο Χ : k : X X R, (x, x ' ) k( x, x ' ) όπως μία συνάρτηση, η οποία δεχόμενη δύο παρατηρήσεις x και x', επιστρέφει έναν πραγματικό αριθμό ο οποίος χαρακτηρίζει την ομοιότητά τους. Αυτή η συνάρτηση k ονομάζεται πυρήνας (kernel). Υπάρχουν αρκετές συναρτήσεις που μπορούν να χρησιμοποιηθούν σαν πυρήνες. Δύο από τις πιο συχνά χρησιμοποιούμενες είναι οι πολυωνυμικές: και η συνάρτηση RBF (Radial Basis Function): k (x, x' )=( x x' ) d (4.14) x x ' 2 k (x, x' )=exp( ) (4.15) 2σ 2 Οι πυρήνες χρησιμοποιούνται ώστε να κατασκευαστεί μία απεικόνιση (mapping) των δεδομένων σε έναν χώρο χαρακτηριστικών (feature space) υψηλής διάστασης στον οποίο τα δεδομένα θα είναι γραμμικώς διαχωρίσιμα, όπως φαίνεται στο Σχ Επίσης, η χρήση της συνάρτησης πυρήνα επιτρέπει στους υπολογισμούς να γίνουν στον χώρο των εισόδων (input space) αντί του πιθανότατα υψηλής διάστασης χώρου των χαρακτηριστικών. 40

41 Κεφάλαιο 4 Σχ. 4-4: Απεικόνιση των δεδομένων σε χώρο υψηλότερης διάστασης ώστε να είναι διαχωρίσιμα. Η νέα μορφή της συνάρτησης βελτιστοποίησης είναι: L D = i a i 1 2 i, j a i a j y i y j ( x i x j )k (x i, x j ) (4.16) 4.3 Support Vector Regression ε-svr Για την επέκταση του αλγόριθμου SV στα προβλήματα παλινδρόμησης (regression), κατασκευάζεται ένα ανάλογο του περιθωρίου (margin) στον χώρο των τιμών της εξόδου y, για τους οποίους στην περίπτωση της παλινδρόμησης ισχύει y R. Αυτό επιτυγχάνεται με χρήση της συνάρτησης απωλειών του Vapnik (ε-insensitive loss function) η οποία ορίζεται ως: y f ( x) ε =max {0, y f (x) ε} (4.17) και αγνοεί σφάλματα τα οποία είναι μικρότερα από κάποιο προεπιλεγμένο όριο ε. Ουσιαστικά, όπως φαίνεται και στο Σχ. 4-5, δημιουργείται ένας σωλήνας με ακτίνα ε ο οποίος και εφαρμόζεται πάνω στα δεδομένα. Για τα σημεία εκτός σωλήνα εισάγονται πάλι θετικές μεταβλητές σφάλματος ξ, οι οποίες είναι η απόσταση του σημείου από το σύνορο 41

42 Support Vector Machines του σωλήνα. Η μέθοδος αυτή ονομάζεται ε-svr και προσπαθεί να υπολογίσει μία συνάρτηση γραμμικής παλινδρόμησης της μορφής f (x)=(w x)+b (4.18) Για την εύρεση της βέλτιστης συνάρτησης με ακρίβεια ε, πρέπει να ελαχιστοποιηθεί η m 1 2 w 2 +C y i f ( x i ) ε (4.19) i=1 Σχ. 4-5: ε-svr Διατυπωμένο σαν ένα πρόβλημα βελτιστοποίησης με περιορισμούς γράφεται ως: m minimize: τ (w,ξ,ξ * )= 1 +C 2 w 2 (ξ i +ξ * i ) (4.20) subject to: ((w x i )+b y i ) ε+ξ i (4.21) * y i ((w x i )+b) ε+ξ i (4.22) ξ i,ξ * i 0 (4.23) για όλα τα i=1...m. Η γενίκευση του προβλήματος σε παλινδρόμηση βασισμένη σε πυρήνα εκτελείται σε πλήρη αναλογία με την περίπτωση της ταξινόμησης. Εισάγοντας πολλαπλασιαστές Lagrange, καταλήγουμε στο παρακάτω πρόβλημα βελτιστοποίησης, στο οποίο οι σταθερές C και ε, επιλέγονται a priori: i =1 42