ΚΕΦΑΛΑΙΟ 3 Περιγραφή της Μεθόδου Το αντικείμενο αυτής της εργασίας είναι η χρήση μιας μεθόδου προσέγγισης συναρτήσεων που έχει προταθεί από τον hen-ha huang και ονομάζεται Ασαφώς Σταθμισμένη Παλινδρόμηση Διανυσμάτων Στήριξης με Ασαφή Διαμέριση (Fuzzy Weghted Support Vector Regresson wth a Fuzzy Partton) [9]. Η συγκεκριμένη μέθοδος καταφέρνει να αποδώσει σωστά την τοπική συμπεριφορά του μοντέλου (δηλαδή τη διαφορά στην απόκριση ανάμεσα σε δύο ή παραπάνω εισόδους, οι οποίες διαφέρουν ελάχιστα μεταξύ τους) χάρις στην Ασαφή Ομαδοποίηση που πραγματοποιεί στο χώρο της εισόδου. Έτσι, το αρχικό πρόβλημα χωρίζεται σε πολλά μικρότερα προβλήματα, γεγονός το οποίο έχει σαν αποτέλεσμα την εκτενέστερη μελέτη του συνόλου εκπαίδευσης, καθώς και την ανεξάρτητη επεξεργασία της κάθε ομάδας δειγμάτων με μια ξεχωριστή Μηχανή Διανυσμάτων Στήριξης, τύπου ε-. Από την άλλη μεριά όμως, η εξειδίκευση των μοντέλων ε- σε μία συγκεκριμένη περιοχή (ομάδα) του συνόλου των δειγμάτων εκπαίδευσης μπορεί να έχει σαν αποτέλεσμα την εμφάνιση οριακών φαινομένων. Οριακό φαινόμενο υφίσταται όταν υπάρχουν απότομες και μεγάλες διαφορές στην απόκριση μεταξύ σημείων που ανήκουνε σε γειτονικές ομάδες. Για να εξαλειφθούν τα οριακά φαινόμενα, η προτεινόμενη μέθοδος συνθέτει με το ασαφές μοντέλο Taag-Sugeno-Kang τις αποκρίσεις των επιμέρους ε- για να δημιουργήσει μια ενιαία προσέγγιση του μοντέλου που μελετάμε. Για να επιβεβαιωθούν τα παραπάνω, έχουν γίνει και θα παρουσιαστούν στο επόμενο κεφάλαιο συγκρίσεις της μεθόδου του hen-ha huang με τη μέθοδο της γενικής παλινδρόμησης με μία μηχανή ε- (Global ). Τα πειραματικά αποτελέσματα δείχνουν ότι ο προτεινόμενος αλγόριθμος (Fuzzy Weghted wth a Fuzzy Partton), όχι μόνο μπορεί να έχει πιο ακριβή αποτελέσματα, αλλά απαιτεί και λιγότερο χρόνο για να υπολογίσει την απόκριση του συστήματος από τον Global. Σχήμα 3. α) Σύστημα με άσχημη απόδοση της τοπικής συμπεριφοράς του μοντέλου: Η μπλε γραμμή αποτελείται από το σύνολο εκπαίδευσης, ενώ η μαύρη γραμμή είναι η απόκριση του μοντέλου. β) Σύστημα με οριακά φαινόμενα: Η μπλε γραμμή αποτελείται από το σύνολο εκπαίδευσης, η μαύρη γραμμή είναι η απόκριση της ομάδας, η κόκκινη γραμμή είναι η απόκριση της ομάδας.
Πιο συγκεκριμένα, η προτεινόμενη μέθοδος ακολουθεί τα παρακάτω βήματα:. Το σύνολο εκπαίδευσης χωρίζεται σε υποσύνολα (ομάδες) χρησιμοποιώντας τον αλγόριθμο ασαφούς ομαδοποίησης Fuzzy -Means. Ο αριθμός των δεδομένων που θα περιέχει το κάθε υποσύνολο καθορίζεται αυτόματα από τον FM. Κάθε υποσύνολο χαρακτηρίζεται από το δικό του κέντρο και από το δικό του πλάτος ανά διάσταση εισόδου s. Για παράδειγμα, αν έχουμε δισδιάστατη είσοδο, τότε το 3 είναι το πλάτος του 3 ου 3 είναι το πλάτος του 3 ου υποσυνόλου στη διάστα- υποσυνόλου στη διάσταση-, ενώ το ση-.. Δημιουργούνται τοπικά μοντέλα παλινδρόμησης (Local Regresson Models-LRMs) με χρήση της μεθόδου του ε-. 3. Η τοπικές αποκρίσεις των LRMs χρησιμοποιούνται για τη σύνθεση της γενικής απόκρισης Overall Output της μεθόδου μέσω ενός ασαφώς σταθμισμένου μηχανισμού. Ο μηχανισμός αυτός χρησιμοποιεί τριγωνικές συναρτήσεις συμμετοχής για να σταθμίσει την απόκριση του κάθε LRM, χρησιμοποιώντας το κέντρο και το πλάτος του αντίστοιχου υποσυνόλου. Σχήμα 3. Διάγραμμα της διαδικασίας της προτεινόμενης μεθόδου 3
3. Ασαφής Ομαδοποίηση Αν ανατρέξει κανείς στη βιβλιογραφία, υπάρχουν πολλοί αλγόριθμοι ομαδοποίησης. Αυτός που χρησιμοποιείται πιο συχνά, όπως επίσης και αυτός που θα χρησιμοποιηθεί στη δεδομένη εργασία, είναι ο Fuzzy -Means. Έχουμε λοιπόν αρχικά p δεδομένα εκπαίδευσης της μορφής: x, y,,..., p, με είσοδο q διαστάσεων: x x, x,..., x και μονοδιάστατη έξοδο y q. Αυτά τα δεδομένα πρέπει να ομαδοποιηθούν σε ομάδες, έτσι ώστε να ελαχιστοποιηθεί η συνάρτηση: Όπου: p m, (3.) J u x m m είναι μια σταθερά βάρους, δηλαδή ένας πραγματικός αριθμός μεγαλύτερος του ένα u είναι ο βαθμός συμμετοχής του σημείου x στην ομάδα είναι το κέντρο της ομάδας Η ασαφής ομαδοποίηση διεκπεραιώνεται με επαναληπτικές βελτιστοποιήσεις της 3. σύμφωνα με τα ακόλουθα βήματα:. Επιλέγονται τα στοιχεία που πρέπει να εισαχθούν στον αλγόριθμο, δηλαδή: Ο αριθμός των ομάδων Ο μέγιστος αριθμός επαναλήψεων του αλγορίθμου L Η σταθερά m Το κριτήριο τερματισμού του αλγορίθμου 0. Αρχικοποιούνται τα κέντρα των ομάδων: 0 0 0 0 B,,..., B είναι ο πίνακας που περιέχει τα κέντρα των ομάδων. 4
3. Στην l επανάληψη του αλγορίθμου (όπου l,,3,..., L ), υπολογίζονται οι βαθμοί συμμετοχής ως εξής: u l x x για p και. l u l m l είναι ο βαθμός συμμετοχής του σημείου στην ομάδα. (3.) 4. Υπολογίζονται τα κέντρα των ομάδων: p m l p m l u x l u (3.3) 5. Αν πληρείται το κριτήριο Β Β, τότε ο αλγόριθμος τερματίζει. Διαφορετικά, θέτει l l και εφόσον l l l L, επιστρέφει στο βήμα 3. 3. Δημιουργία Υποσυνόλων Εκπαίδευσης Με τον τερματισμό του αλγορίθμου της ασαφούς ομαδοποίησης έχουμε αντιστοιχίσει σε κάθε δείγμα του συνόλου εκπαίδευσης τιμές u, οι οποίες είναι οι βαθμοί συμμετοχής του σημείου σε καθεμία από της ομάδες. Στόχος μας όμως είναι η παραγωγή υποσυνόλων εκπαίδευσης με συγκεκριμένα όρια. Αυτό το πετυχαίνουμε υπολογίζοντας το πλάτος του κάθε υποσυνόλου σε όλες τις διαστάσεις της εισόδου x, ως εξής: p m s s u x s p m u s,,... q,,..., (3.4) 5
Συνεπώς, έχοντας ακριβή γνώση των κέντρων s και των πλατών, διαχωρίζουμε το αρχικό σύνολο εκπαίδευσης σε υποσύνολα σύμφωνα με τη σχέση: s s s s s x, y x ίy,,..., ps,,..., q,,..., (3.5) όπου η παράμετρος επικάλυψης είναι μία σταθερά. Όπως γίνεται αντιληπτό, η περιοχή επικάλυψης των υποσυνόλων εκπαίδευσης ελέγχεται από την. Αύξηση της τιμής της σημαίνει αύξηση του μεγέθους των υποσυνόλων. Σχήμα 3.3 Η Σχέση των υποσυνόλων με τα,,. Με (+) συμβολίζονται τα σημεία του συνόλου εκπαίδευσης, τα οποία σε αυτή την περίπτωση έχουν δυσδιάστατη είσοδο (q=). Επίσης, έχουμε κάνει ομαδοποίηση για =3 ομάδες, άρα προκύπτουν τρία υποσύνολα εκπαίδευσης. Τα όρια των υποσυνόλων συμβολίζονται με τις συνεχείς γραμμές: Υποσύνολο - Κόκκινο, Υποσύνολο - Πράσινο, Υποσύνολο 3 Μωβ 6
3.3 Τοπικά Μοντέλα Παλινδρόμησης με ε- Στην προηγούμενη ενότητα μελετήσαμε τον τρόπο με τον οποίο μπορούμε να φτιάξουμε υποσύνολα εκπαίδευσης με συγκεκριμένα όρια. Έτσι δημιουργήσαμε μικρότερα και ανεξάρτητα προβλήματα παλινδρόμησης τα οποία εξειδικεύονται σε συγκεκριμένες περιοχές του αρχικού συνόλου εκπαίδευσης. Σε καθένα από αυτά τα υποσύνολα θα εφαρμόσουμε ένα τοπικό μοντέλο προσέγγισης συνάρτησης ε- (βλ. ενότητα.4) με πυρήνα RBF (βλ. εξίσωση.). Συνεπώς, η απόκριση του τοπικού μοντέλου θα συμβολίζεται με LRM και σύμφωνα με την εξίσωση.0 θα είναι: p LRM a a K x, x b x,,..., (3.6) Όπου:,,, p είναι το πλήθος των δεδομένων (δειγμάτων) εκπαίδευσης που βρίσκονται μέσα στο υποσύνολο a, a, και b είναι οι παράμετροι της μεθόδου ε- για το υποσύνολο. Όπως είναι φυσιολογικό, μεγάλο ρόλο στην απόκριση των LRM παίζει το σύνολο των παραμέτρων,, του όπου: είναι η τυπική απόκλιση του πυρήνα RBF (βλ. εξίσωση.) είναι η σταθερά που καθορίζει το σημείο που συσχετίζει το εμπειρικό σφάλμα με την πολυπλοκότητα είναι το πλάτος της ε-ζώνης Το ίδιο σύνολο παραμέτρων,, χρησιμοποιείται για όλα τα υποσύνολα. Επίσης, για να είναι δίκαια και σωστή η σύγκριση της προτεινόμενης μεθόδου με τη γενική μέθοδο παλινδρόμησης με ένα (Global ), δεν αλλάζουμε τις τιμές των παραπάνω παραμέτρων. 7
3.4 Εξαγωγή της ολικής απόκρισης του συστήματος Η προτεινόμενη μέθοδος βασίζεται πάνω στο μοντέλο TSK (Taag-Sugeno-Kang) που περιγράψαμε στην ενότητα.5. Το ασαφές σύστημα συμπερασμού TSK μπορεί να συνδυάσει πολλά απλά υποπροβλήματα και να εξάγει την ολική απόκριση του συστήματος. Όπως έχει προαναφερθεί, το μοντέλο TSK βασίζεται σε ένα σετ από κανόνες IF-THEN που έχουν τη μορφή: R IFx s A and andx s A THENy a a x a x (3.7) q q q 0 q για,,...,. Στην παραπάνω σχέση είναι ο αριθμός των κανόνων, τα,..., a a0 a q είναι το σετ παραμέτρων του κανόνα. A s είναι ασαφή σύνολα, και Η εκτιμώμενη απόκριση του TSK δίνεται από τον Απο-ασαφοποιητή Σταθμισμένων Κέντρων. Έστω μια είσοδος Συστήματος TSK είναι: x x x q q U. Τότε η έξοδος f ( x) V του Ασαφούς y f ( x) y w w (3.8) όπου τα βάρη w υπολογίζονται από τη σχέση: w q ( xs ) (3.9) s A s είναι συναρτήσεις συμμετοχής. Όπου οι ( ) A x s s 8
Πώς εφαρμόζεται το μοντέλο TSK για την υλοποίηση της προτεινόμενης μεθόδου; Για να γίνει κατανοητός ο τρόπος εφαρμογής του μοντέλου TSK για την υλοποίηση της προτεινόμενης μεθόδου, θα παρουσιαστεί ένα παράδειγμα με p δείγματα εκπαίδευσης x, y, όπου x x U x (άρα q διαστάσεις). Θα ομαδοποιήσουμε τα δεδομένα σε 3 ομάδες και θα περιγράψουμε την ολική απόκριση του συστήματος με τη σύνθεση των αποκρίσεων των υποσυνόλων που θα δημιουργηθούν. Έστω ότι το σύνολο εκπαίδευσης έχει την παρακάτω είσοδο: Σχήμα 3.4 Είσοδος του Συνόλου Εκπαίδευσης Σύμφωνα με όσα είπαμε στην ενότητα 3., ο αλγόριθμος χωρίζει το σύνολο εκπαίδευσης στα παρακάτω υποσύνολα F,G,H: Σχήμα 3.5 Διαχωρισμός του Συνόλου Εκπαίδευσης σε =3 υποσύνολα 9
Εφόσον έχουμε 3 υποσύνολα, θα σχεδιαστούν 3 ασαφείς κανόνες IF-THEN: : 3 3 : 3 R : f x sf andx sf theny LRM x R f x s G and x s G then y LRM x R f x s H and x s H then y LRM x Όπου LRM x σύμφωνα με την εξίσωση 3.6 είναι η εκτιμώμενη απόκριση του υποσυνόλου χρησιμοποιώντας μία μηχανή διανυσμάτων στήριξης ε-. LRM Για να συνθέσουμε όμως τις επιμέρους αποκρίσεις, χρειάζεται να έχουμε γνώση του βαθμού σύμφωνα με τον οποίο ένα δείγμα εκπαίδευσης ανήκει στο καθένα από τα 3 υ- ποσύνολα. Αυτό το πετυχαίνουμε ως εξής: Με βάση τα κέντρα και τα πλάτη, των υποσυνόλων, δημιουργούνται για,..., οι τριγωνικές συναρτήσεις συμμετοχής: Σχήμα 3.6 Τριγωνικές Συναρτήσεις συμμετοχής για τον υπολογισμό των βαρών w s του σημείου x. 30
w x για s s Από τις τριγωνικές συναρτήσεις συμμετοχής παίρνουμε τα βάρη,,..., p,,,...,, s,..., q σύμφωνα με τον τύπο: w x s s s s s s max mn x, x,0 s s s s s s s s (3.0) Ο βαθμός στον οποίο ανήκει το σημείο x στο υποσύνολο δίνεται από το γινόμενο: W x w x w x w x q q (3.) Η γενική εκτιμώμενη απόκριση του προτεινόμενου Ασαφώς Σταθμισμένου με Ασαφή Διαμέριση (Fuzzy Weghted wth Fuzzy Partton) δίνεται από τον παρακάτω απόασαφοποιητή: yˆ x W x LRM x W x (3.) Επιστρέφοντας στο παράδειγμα του σχήματος 3.6,σύμφωνα με την σχέση 3.0 βλέπουμε ότι: για το ασαφές σύνολο F, το σημείο x έχει βάρη: w, w για το ασαφές σύνολο G, το σημείο x έχει βάρη: w, w για το ασαφές σύνολο H 3, το σημείο x : Συνεπώς, σύμφωνα με τη σχέση 3. το σημείο x Έχει βαθμό συμμετοχής στο σύνολο F Έχει βαθμό συμμετοχής στο σύνολο G Έχει βαθμό συμμετοχής στο σύνολο H 3 έχει βάρη: w3 x w x W x w w W x w w W x : : : 0 Η εκτιμώμενη απόκριση του x δίνεται με αντικατάσταση στη σχέση 3.: 3 W x LRM x W x LRM x W3 x LRM x yˆ x W x W x W3 x 3 w w LRM x w w LRM x 0 LRM x w w w w 0 0, 0 3
3.5 Περιγραφή της Μεθόδου σε Μορφή Αλγόριθμου Βήμα ) Όρισε το πλήθος των ομάδων και των τοπικών μοντέλων παλινδρόμησης LRM, καθώς και την παράμετρο επικάλυψης. Βήμα ) Με τον αλγόριθμο FM υπολόγισε τους βαθμούς συμμετοχής u (εξίσωση 3.), τα κέντρα των ομάδων (εξίσωση 3.3) Βήμα 3) Αν δεν ικανοποιείται το κριτήριο τερματισμού επέστρεψε στο Βήμα ), διαφορετικά προχώρησε στο Βήμα 4) s Βήμα 4) Υπολόγισε τα πλάτη (εξίσωση 3.4). Με βάση τα πλάτη και τα κέντρα των ομάδων, κατασκεύασε τα υποσύνολα εκπαίδευσης (σχέση 3.5) Βήμα 5) Καθόρισε το σετ παραμέτρων,, για τη μέθοδο ε- Βήμα 6) Υπολόγισε την απόκριση κάθε τοπικού μοντέλου παλινδρόμησης LRM με τη μέθοδο ε- Βήμα 7) Υπολόγισε τη απόκριση του FW wth fuzzy partton χρησιμοποιώντας τη σχέση 3. με τον ασαφώς σταθμισμένο μηχανισμό της σχέσης 3. 3