ΠΟΛΤΣΕΦΝΕΙΟ ΚΡΗΣΗ ΣΟΜΕΑ ΕΠΙΦΕΙΡΗΙΑΚΗ ΕΡΕΤΝΑ

Transcript

1 ΠΟΛΤΣΕΦΝΕΙΟ ΚΡΗΣΗ ΣΟΜΕΑ ΕΠΙΦΕΙΡΗΙΑΚΗ ΕΡΕΤΝΑ ΕΡΕΤΝΗΣΙΚΗ ΕΡΓΑΙΑ ΜΕ ΣΙΣΛΟ: Πρόβλεψη των σημείων αναστροφής της τάσης μετοχών με την χρήση του ANFIS και ενός νευρωνικού δικτύου βασιζόμενο σε γενετικούς αλγορίθμους Επιμέλεια: Ηλίας Μπραΐμης ΦΑΝΙΑ 007

2 ΕΤΦΑΡΙΣΙΕ Στο σημείο αυτό θα ήθελα να ευχαριστήσω όλους εκείνους που με βοήθησαν και μου συμπαραστάθηκαν στην προσπάθειά μου να ολοκληρώσω την παρούσα ερευνητική εργασία. Αρχικά, θα ήθελα να ευχαριστήσω τον κ. Σκιαδά Χρήστο, τον κ. Μυγδαλά Αθανάσιο και τον κ. Γρηγορούδη Ευάγγελο που μου έδωσαν την ευκαιρία να ασχοληθώ με ένα τόσο ενδιαφέρων θέμα. Επίσης, θα ήθελα να ευχαριστήσω τον κ. Ατσαλάκη Γεώργιο, διδάκτορα του Πολυτεχνείου Κρήτης, χωρίς την σωστή καθοδήγηση και βοήθεια του οποίου θα ήταν αδύνατο να ολοκληρώσω την παρούσα ερευνητική εργασία. Θα ήθελα ακόμα να ευχαριστήσω τους φίλους και συναδέλφους μου: Κατσαμάνη Γιώργο, Λεντζάκη Αντώνη, Μιχαηλίδη Νίκο και Στρατουδάκη Μάνο για τη στήριξη που μου παρείχαν όλα αυτά τα χρόνια. Τέλος, το μεγαλύτερο ευχαριστώ το οφείλω στους γονείς μου για όλα όσα μου έχουν προσφέρει μέχρι σήμερα. Μπραΐμης Ηλίας Ιανουάριος 007

3 ΠΕΡΙΕΦΟΜΕΝΑ ΚΕΥΑΛΑΙΟ : Εισαγωγή Σχετική βιβλιογραφία Θεωρητικό υπόβαθρο του ANFIS... 6 ΚΕΥΑΛΑΙΟ : Θεωρητική προσέγγιση των μοντέλων Προσδιορισμός συστήματος Εκτιμητής ελαχίστων τετραγώνων (Least-squares estmator) Οπισθοδρόμηση για πρωσοτροφοδοτούμενα δίκτυα....4 Υβριδικός αλγόριθμος εκμάθησης: Συνδυασμός βαθμωτής ελαχιστοποίησης και εκτιμητή ελαχίστων τετραγώνων Νευρωνικά δίκτυα Percetrons. Αρχιτεκτονική και κανόνας εκμάθησης Οπισθοδρομούμενα πολυεπίπεδα δίκτυα ercetron Κανόνας εκμάθησης οπισθοδρόμησης Γενετικοί Αλγόριθμοι ΚΕΥΑΛΑΙΟ 3: Ανάλυση των μοντέλων Εισαγωγή Περιγραφή του μοντέλου ANFIS Αρχιτεκτονική του ANFIS Περιγραφή του νευρωνικού δικτύου... 7 ΚΕΥΑΛΑΙΟ 4: Αποτελέσματα από τη χρήση των μοντέλων Εισαγωγή Εκπαίδευση του μοντέλου ANFIS Αποτελέσματα του μοντέλου ANFIS Αποτελέσματα του νευρωνικού δικτύου ΚΕΥΑΛΑΙΟ 5: υμπεράσματα ΚΕΥΑΛΑΙΟ 6: Βιβλιογραφία

4 ΚΕΥΑΛΑΙΟ : Εισαγωγή. χετική βιβλιογραφία Η πρόβλεψη των σημείων αλλαγής τάσης στο χρηματιστήριο είναι ένα δύσκολο και πολύπλοκο πρόβλημα. Η δυσκολία αυτή οφείλεται στην αβεβαιότητα και μεταβλητότητα των χρηματιστηριακών αγορών που εμποδίζουν τις προσπάθειες για μια καλή πρόβλεψη. Ο λόγος για αυτή την μεταβλητότητα είναι ότι τα χρηματιστήρια επηρεάζονται από πολλούς οικονομικούς, πολιτικούς ακόμα και ψυχολογικούς παράγοντες. Όμως εξαιτίας των αξιόλογων κερδών που μπορούν να αποφέρουν σε κάποιον οι επενδύσεις σε αυτόν τον τομέα, πολλοί ερευνητές προσπάθησαν να λύσουν το πρόβλημα αυτό. Σαν αποτέλεσμα, ένας αριθμός μεθόδων προτάθηκαν με στόχο την πρόβλεψη των σημείων αλλαγής στο χρηματιστήριο. Το 998, οι Garca-Ferrer και Queralt [6] έδειξαν ότι η παράγωγος της τάσης του μοντέλου τους μπορεί να χρησιμοποιηθεί ως δείκτης της ελλοχεύουσας (underlyng) αύξησης καθώς επίσης και σαν ένα εργαλείο για την πρόβλεψη των σημείων αλλαγής σε εποχιακές οικονομικές χρονοσειρές. Το μοντέλο χρησιμοποίησε δεδομένα από το 975 έως το 993 για τέσσερις μηνιαίους δείκτες τις Ισπανικής οικονομίας. Ο στόχος ήταν να αξιολογηθεί η ικανότητα του μοντέλου μετά την πτώση των δεικτών κατά το έτος 993 να προβλέψει την αλλαγή της τάσης και την άνοδό τους κατά το έτος 994. Στη συνέχεια τα αποτελέσματα που προέκυψαν από τη χρήση του μοντέλου συγκρίθηκαν με τα αποτελέσματα από άλλα μοντέλα όπως το ARIMA των Box και Jenkns (970) και το Βασικό Δομικό Μοντέλο των Harvey και Todd (983) καθώς και με τα 4

5 αποτελέσματα δύο ανεξάρτητων αναφορών πρόβλεψης για την Ισπανική οικονομία: το Forecastng and Montorng Servce for the Sansh Economy (Treadway, 994) και το σχέδιο ERISTE (Garca-Ferrer et al., 994). Τα αποτελέσματα δείχνουν ότι μοντέλο τους προβλέπει καλύτερα και πιο αποτελεσματικά την αλλαγή της τάσης για τους τέσσερις δείκτες το έτος 994 σε σχέση με τα υπόλοιπα μοντέλα. Το 003, οι Canova και Cccarell [5] χρησιμοποίησαν ένα Μπαγεσιανό Var μοντέλο (Bayesan anel Var) με στόχο την πρόβλεψη των σημείων αλλαγής της τάσης. Το μοντέλο χρησιμοποιήθηκε για την πρόβλεψη των σημείων αλλαγής τάσης στους ρυθμούς ανάπτυξης των επτά πιο πλούσιων κρατών της γης. Χρησιμοποιήθηκαν τριμηνιαία δεδομένα από το 973 έως το 993 για τρεις εθνικούς δείκτες και ένα παγκόσμιο δείκτη. Τα αποτελέσματα από τη χρήση του μοντέλου συγκρίνονται με τα αποτελέσματα από το ARIMA, τα μη περιορισμένα (unrestrcted) Var μοντέλα και άλλα δομικά μοντέλα. Τα αποτελέσματα δείχνουν ότι το μοντέλο τους έχει μεγαλύτερη πιθανότητα να προβλέψει τα σημεία αλλαγής τάσης σε σχέση με τα άλλα μοντέλα. Οι Kholodln και Yao το 005 [] ανέπτυξαν ένα δυναμικό μοντέλο δύο παραγόντων (b-factor) με αλλαγές Markov (Markov-swtchng). Το μοντέλο χρησιμοποιεί δεδομένα για οκτώ δείκτες της Αμερικανικής οικονομίας από το 967 έως το 004. Στη συνέχεια τα αποτελέσματα συγκρίθηκαν με τα αποτελέσματα από το Εθνικό Γραφείο Οικονομικής Έρευνας (Natonal Bureau of Economc Research). Το μοντέλο προβλέπει καλύτερα τις αλλαγές τάσης της Αμερικανικής οικονομίας. Συγκεκριμένα, στα δεδομένα στα οποία έχει εκπαιδευτεί, το μοντέλο τους παρουσιάζει καλύτερα αποτελέσματα, ενώ στα δεδομένα στα οποία δεν έχει εκπαιδευτεί, τα αποτελέσματα είναι παρεμφερή με αυτά του Εθνικού Γραφείου Οικονομικής Έρευνας. 5

6 Το 00, ο Andersson [] ανέπτυξε ένα μη-παραμετρικό μοντέλο που χρησιμοποιεί μόνο περιορισμούς μονοτονίας για την ανίχνευση των σημείων αλλαγής τάσης. Η αξιολόγηση του μοντέλου γίνεται με μηνιαία δεδομένα για τον Σουηδικό βιομηχανικό δείκτη παραγωγής από το 976 έως το 993. Το αποτέλεσμα δείχνει ότι το μοντέλο ανιχνεύει τα σημεία αλλαγής τάσης με αρκετή επιτυχία. Το 005, ο Andersson στο άρθρο του On-lne detecton of turnng onts usng non-arametrc survellance: The effect of the growth after the turn [3] απέδειξε ότι η πιθανότητα να εντοπίσει ένα μοντέλο ανίχνευσης τα σημεία αλλαγής τάσης αυξάνει όταν αυξάνεται η άνοδος της αναμενόμενης τιμής μετά την αλλαγή. Στην παρούσα έρευνα χρησιμοποιείται το σύστημα ANFIS και ένα νευρωνικό δίκτυο βασιζόμενο σε γενετικούς αλγόριθμούς για να προβλέψουν τα σημεία αλλαγής της κατεύθυνσης μιας μετοχής. Τόσο το νευρωνικό δίκτυο όσο και το μοντέλο ANFIS δίνουν αρκετά ικανοποιητικά αποτελέσματα.. Θεωρητικό υπόβαθρο του ANFIS Ένα νευρο-ασαφές σύστημα ορίζεται ως ένας συνδυασμός τεχνητών νευρωνικών δικτύων (ANN) και Ασαφούς Συστήματος Συμπερασμού (Fuzzy Inference System, FIS) κατά τέτοιο τρόπο ώστε ο αλγόριθμος εκμάθησης νευρωνικών δικτύων χρησιμοποιείται για να καθορίσει τις παραμέτρους του FIS []. Το Προσαρμοστικό Νευροασαφές σύστημα συμπερασμού (Adatve Neural Fuzzy Inference System, ANFIS) είναι ένα σύστημα που ανήκει στην νευρο-ασαφή κατηγορία. 6

7 Λειτουργικά, δεν υπάρχει σχεδόν κανένας περιορισμός στις συναρτήσεις κόμβων ενός προσαρμόσιμου (adatve) δικτύου εκτός από τμήματα που μπορούν να διαφοριστούν (ecewse dfferentablty). Δομικά, ο μόνος περιορισμός της διαμόρφωσης δικτύων είναι ότι πρέπει να είναι τύπου πρόσθιας τροφοδότησης. Λόγω αυτού του μικρού περιορισμού, οι εφαρμογές του προσαρμόσιμου δικτύου είναι άμεσες και απέραντες σε διάφορους τομείς. Σε αυτό το τμήμα, προτείνεται μια κατηγορία προσαρμόσιμων δικτύων, τα οποία είναι λειτουργικά ισοδύναμα με τα ασαφή συστήματα συμπερασμού. Ο ασαφής μηχανισμός συμπερασμού παρουσιάζεται στο επόμενο σχήμα: Σχήμα.: Ασαφής συλλογιστική (Jang 995 [0]) 7

8 x x x A A w N w y =w f y x B B w N w y =w f x x Επίπεδο Επίπεδο Επίπεδο 3 Επίπεδο 4 Επίπεδο 5 Σχήμα.: Αρχιτεκτονική του ANFIS (Jang 995 [0]) Για απλούστευση, γίνεται η υπόθεση ότι το υπό εξέταση ασαφές σύστημα συμπερασμού έχει δύο εισόδους x και y και μία έξοδο καθώς επίσης και ότι η βάση κανόνων περιέχει δύο ασαφείς κανόνες τύπου Takag και Sugeno: Κανόνας : Αν x είναι A και y είναι B τότε f x q y r Κανόνας : Αν x είναι A και y είναι B τότε f x q y r Η αρχιτεκτονική του ANFIS παρουσιάζεται στο σχήμα. Οι συναρτήσεις κόμβων στο ίδιο επίπεδο είναι της ίδιας οικογένειας συναρτήσεων όπως περιγράφουμε παρακάτω: Επίπεδο : Κάθε κόμβος σε αυτό το επίπεδο είναι ένας προσαρμόσιμος κόμβος με μία συνάρτηση κόμβου. 8

9 O ( x) A ( x) όπου x η είσοδος στον κόμβο A - η γλωσσική ταμπέλα (small, large, κλπ.) που σχετίζεται με αυτή τη συνάρτηση του κόμβου. Με άλλα λόγια, το O είναι ο βαθμός συμμετοχής του A και καθορίζει το βαθμό στον οποίο η είσοδος x ικανοποιεί τον ποσοτικοποιητή A. Συνήθως επιλέγεται το (x) σε σχήμα καμπάνας με το μέγιστο ίσο με και το ελάχιστο ίσο με 0, A όπως η γενικευμένη καμπανοειδής συνάρτηση A ( x) x c a b ή η γκαουσιανή συνάρτηση ( x) e A xc a όπου a, b, c είναι το σύνολο παραμέτρων. Καθώς οι τιμές αυτών των παραμέτρων αλλάζουν, οι συναρτήσεις ποικίλλουν ανάλογα, παρουσιάζοντας έτσι διάφορες μορφές της συνάρτησης συμμετοχής για τη γλωσσική ταμπέλα αρχικοί παράμετροι (remse arameters). A. Οι παράμετροι σε αυτό το επίπεδο αναφέρονται ως 9

10 Επίπεδο : Κάθε κόμβος σε αυτό το επίπεδο είναι ένας σταθερός (fxed) κόμβος Π, του οποίου η έξοδος είναι το γινόμενο όλων των εισερχόμενων σημάτων: Επίπεδο 3: Κάθε κόμβος σε αυτό το επίπεδο είναι ένας σταθερός κόμβος Ν. Ο - ιστός κόμβος υπολογίζει το λόγο του βαθμού ενεργοποίησης (frng strength) του -οστού κανόνα στο άθροισμα των βαθμών ενεργοποίησης όλων των κανόνων: w w w w, =, Για ευκολία, οι έξοδοι αυτού του επιπέδου ονομάζονται κανονικοποιημένοι βαθμοί ενεργοποίησης (normalzed frng strengths). Επίπεδο 4: Κάθε κόμβος σε αυτό το επίπεδο είναι ένας προσαρμόσιμος κόμβος με μία συνάρτηση κόμβου. O w * f w *( * x q * y r ) 4, όπου: w - η έξοδος του επιπέδου 3, q, r - το σύνολο παραμέτρων. Οι παράμετροι σε αυτό το επίπεδο αναφέρονται ως επακόλουθοι (consequent arameters). Επίπεδο 5: Ο μοναδικός κόμβος σε αυτό το επίπεδο είναι ένας σταθερός κόμβος Σ που υπολογίζει τη συνολική έξοδο σαν το ολικό άθροισμα όλων των εισερχόμενων σημάτων: 0

11 overall outut O 5, w * f w * f w Θεωρώντας ότι χρησιμοποιούνται όλες οι πιθανές παράμετροι, όπου ο αριθμός τους είναι συναρτήσει και του αριθμού των εισόδων και του αριθμού των συναρτήσεων συμμετοχής, τότε ο αριθμός όλων των κανόνων μπορεί να οριστεί ως: Rule I n n M n f και αν remsara n είναι ο αριθμός όλων των παραμέτρων που απαιτούνται για τη συνάρτηση συμμετοχής τότε ο αριθμός όλων των παραμέτρων ορίζεται ως: ara n remsara n I n M f Rule ( I n n n n ) Ο συγγραφέας Α. Abraham [], παρουσιάζει στον Πίνακα., μία συγκριτική ανάλυση ορισμένων μοντέλων. Για να συγκρίνει τα αποτελέσματα της πρόβλεψης κάθε μοντέλου, χρησιμοποίησε ως δεδομένα την γνωστή χαοτική χρονολογική σειρά Mackey-Glass. Ως μέτρο σύγκρισης χρησιμοποίησε τη ρίζα του μέσου τετραγωνικού σφάλματος (RMSE). Αποδεικνύει ότι το ANFIS είναι καλύτερο μοντέλο καθώς δίνει την χαμηλότερη τιμή στην ρίζα του μέσου τετραγωνικού σφάλματος.

12 Πίνακας.: Απόδοση των νευρο-ασαφών συστημάτων (Abraham, 005 []) ύστημα Επαναλήψεις (eochs) RMSE ANFIS 75 0,007 NEFPROX 6 0,033 EFuNN 0,040 dmefunn 0,004 SONFIN 0,080 Όμως σε υπολογιστικό χρόνο το ANFIS δεν υπερτερεί καθώς απαιτούνται 75 επαναλήψεις για να εκπαιδευτεί. Τα συστήματα που χρησιμοποιούν Sugeno μηχανισμό συμπερασμού είναι περισσότερο ακριβή αλλά απαιτούν περισσότερο υπολογιστικό χρόνο. Ενώ αυτά που χρησιμοποιούν Mamdan ερμηνεύονται περισσότερο και απαιτούν λιγότερο υπολογιστικό χρόνο αλλά έχουν λιγότερη ακρίβεια. Στο ίδιο συμπέρασμα καταλήγει και ο συγγραφέας Jang (Jang, 997 []) ο οποίος συγκρίνει το σύστημα ANFIS με τρία άλλα μοντέλα αποδεικνύοντας ότι το ANFIS δίνει το μικρότερο RMSE. Τα αποτελέσματα παρουσιάζονται στον Πίνακα.. Πίνακας.: Σύγκριση του ANFIS με άλλα μοντέλα (Jang, 997 []) Μοντέλο φάλμα φάλμα Αριθμός Μέγεθος Μέγεθος εκπαίδευσης ελέγχου παραμέτρων δείγματος δείγματος (tranng) (checkng) εκπαίδευσης ελέγχου ANFIS 0,043%,066% GMDH 4,7% 5,7% Fuzzy,5%,% 0 0 Fuzzy 0,59% 3.4% 3 0 0

13 Για τους λόγους αυτούς απεφασίσθη στην παρούσα έρευνα να χρησιμοποιηθεί το ANFIS. Αρκετοί συγγραφείς έχουν χρησιμοποιήσει το ANFIS για επεξεργασία χρονολογικών σειρών [Atsalaks, 006, a, b, c, d, e, f.] [Atsalaks 005, a, b, c, d] [Ucenc, 003, a,b] [Ucenc, 005, a, b]. 3

14 ΚΕΥΑΛΑΙΟ : Θεωρητική προσέγγιση των μοντέλων. Προσδιορισμός συστήματος Το πρόβλημα προσδιορισμού ενός μαθηματικού μοντέλου για ένα άγνωστο σύστημα (το οποίο αναφέρεται επίσης και ως σύστημα στόχος) παρατηρώντας τα ζευγάρια δεδομένων εισόδου-εξόδου του αναφέρεται γενικά ως αναγνώριση συστήματος. Οι στόχοι του προσδιορισμού συστήματος είναι πολλαπλοί: Για να προβλέψει μια συμπεριφορά του συστήματος, όπως στην πρόβλεψη χρονοσειρών και στην πρόβλεψη καιρού. Για να εξηγήσει τις αλληλεπιδράσεις και τις σχέσεις μεταξύ των εισόδων και των εξόδων ενός συστήματος. Για παράδειγμα, ένα μαθηματικό μοντέλο μπορεί να χρησιμοποιηθεί για να εξετάσει εάν η ζήτηση ποικίλλει πράγματι ανάλογα με την προσφορά σε ένα οικονομικό σύστημα. Για να σχεδιάσει έναν ελεγκτή βασισμένο στο μοντέλο ενός συστήματος, όπως στον έλεγχο αεροσκαφών και σκαφών. Επίσης για να γίνει η προσομοίωση των υπολογιστών του συστήματος υπό έλεγχο, χρειάζεται ένα μοντέλο του συστήματος. Ο προσδιορισμός συστημάτων περιλαμβάνει γενικά δύο βήματα: 4

15 Προσδιορισμός δομής Σε αυτό το βήμα, πρέπει να εφαρμοστεί η a ror γνώση για το σύστημα στόχο για να καθοριστεί μια κατηγορία μοντέλων μέσα στην οποία πρόκειται να διεξαχθεί η αναζήτηση του καταλληλότερου μοντέλου. Συνήθως αυτή η κατηγορία μοντέλων δείχνεται από μια παραμετρική συνάρτηση y f ( u; θ), όπου y είναι η έξοδος του μοντέλου, u είναι το διάνυσμα εισόδου και θ είναι το διάνυσμα παραμέτρου. Ο προσδιορισμός της συνάρτησης f είναι εξαρτώμενο πρόβλημα και η συνάρτηση βασίζεται στην εμπειρία και τη διαίσθηση του σχεδιαστή και τους νόμους της φύσης που κυβερνούν το σύστημα στόχο. Προσδιορισμός παραμέτρου Στο δεύτερο βήμα, η δομή του μοντέλου είναι γνωστή και το μόνο που χρειάζεται να γίνει είναι να εφαρμοστούν τεχνικές βελτιστοποίησης για να καθοριστεί το διάνυσμα παραμέτρου θ θ τέτοιο ώστε το προκύπτον μοντέλο y f ( u; θ ) να μπορεί να περιγράψει το σύστημα κατάλληλα. Εάν δεν υπάρχει οποιαδήποτε a ror γνώση για το σύστημα στόχο, τότε ο προσδιορισμός δομής γίνεται ένα δύσκολο πρόβλημα και πρέπει να επιλεχθεί η δομή με δοκιμή και σφάλμα. Ευτυχώς, υπάρχει αρκετή γνώση για τις δομές των περισσότερων συστημάτων εφαρμοσμένης μηχανικής και βιομηχανικών διαδικασιών και έτσι είναι συνήθως δυνατό να παραχθεί μια συγκεκριμένη κατηγορία μοντέλων συγκεκριμένα, μια παραμετρική συνάρτηση-που μπορεί καλύτερα να περιγράψει το σύστημα στόχο. Συνεπώς, το πρόβλημα προσδιορισμού συστημάτων περιορίζεται συνήθως σε αυτό του προσδιορισμού παραμέτρου. 5

16 Γενικά, ο προσδιορισμός συστημάτων δεν είναι μια διαδικασία ενός περάσματος αλλά πρέπει να γίνει προσδιορισμός δομής και παραμέτρου επανειλημμένα έως ότου να βρεθεί ένα ικανοποιητικό πρότυπο ως εξής:. Καθορίζεται και παραμετρικοποιείται μια κατηγορία μαθηματικών μοντέλων που αντιπροσωπεύουν το σύστημα που προσδιορίζεται.. Εκτελείται ο προσδιορισμός παραμέτρου για να επιλεχθούν οι παράμετροι που ταιριάζουν καλύτερα στο σύνολο δεδομένων εκπαίδευσης. 3. Πραγματοποιούνται δοκιμές επικύρωσης για να φανεί εάν το μοντέλο που προσδιορίζεται ανταποκρίνεται σωστά σε ένα άγνωστο σύνολο δεδομένων. (Αυτό το σύνολο στοιχείων είναι χωρισμένο από το σύνολο δεδομένων εκπαίδευσης και αναφέρεται ως σύνολο δεδομένων δοκιμής, επικύρωσης ή ελέγχου.) 4. Ολοκληρώνεται η διαδικασία μόλις τα αποτελέσματα της δοκιμής επικύρωσης είναι ικανοποιητικά. Διαφορετικά, μια άλλη κατηγορία μοντέλων επιλέγεται και τα βήματα μέχρι 4 επαναλαμβάνονται. Το ANFIS χρησιμοποιεί έναν υβριδικό αλγόριθμο εκμάθησης για να προσδιορίσει τις παραμέτρους των ασαφών συστημάτων τύπου Sugeno. Εφαρμόζει έναν συνδυασμό της μεθόδου ελαχίστων τετραγώνων (least-squares) και της μεθόδου οπισθόδρομης βαθμωτής ελαχιστοποίησης (backroagaton gradent descent) για την εκπαίδευση παραμέτρων των συναρτήσεων συμμετοχής τύπου FIS ώστε να μιμηθεί ένα δοσμένο σύνολο δεδομένων εκπαίδευσης. Στη συνέχεια, θα περιγραφούν η μέθοδος ελαχίστων τετραγώνων 6

17 και η μέθοδος οπισθόδρομης βαθμωτής ελαχιστοποίησης και έπειτα θα παρουσιαστεί ο τρόπος με τον οποίο το ANFIS συνδυάζει αυτές τις δύο μεθόδους προκειμένου να βρεθούν γρηγορότερα και καλύτερα αποτελέσματα.. Εκτιμητής ελαχίστων τετραγώνων (Least-squares estmator) Στο γενικό πρόβλημα ελαχίστων τετραγώνων, η έξοδος του γραμμικού μοντέλου y δίνεται από τη γραμμικά παραμετρικοποιημένη έκφραση y f u) f ( u)... ( ), (..) ( n f n u όπου T u [ u,..., u ] είναι το διάνυσμα εισόδου του μοντέλου, f,..., f n είναι γνωστές συναρτήσεις του u, και,..., n είναι άγνωστες παράμετροι που θα υπολογιστούν. Στη στατιστική, το να βάλει κανείς δεδομένα χρησιμοποιώντας ένα γραμμικό μοντέλο αναφέρεται σαν γραμμική παλινδρόμηση. Κατά συνέπεια η εξίσωση (..) καλείται επίσης συνάρτηση παλινδρόμησης, και τα ονομάζονται συντελεστές παλινδρόμησης. Για να προσδιοριστούν οι άγνωστες παράμετροι, συνήθως πρέπει να εκτελεστούν πειράματα για να βρεθεί ένα σύνολο δεδομένων εκπαίδευσης που αποτελείται από τα ζευγάρια δεδομένων {( u, ),,..., m} τα οποία αντιπροσωπεύουν τα επιθυμητά ζευγάρια εισόδου-εξόδου του συστήματος στόχου που θα μοντελοποιηθεί. Η αντικατάσταση κάθε ζευγαριού στοιχείων στην εξίσωση (..) παράγει ένα σύνολο γραμμικών εξισώσεων m: y 7

18 8 (..) Χρησιμοποιώντας τη μορφή πινάκων, μπορούν να ξαναγραφτούν οι προηγούμενες εξισώσεις σε μια συνοπτική μορφή: y Aθ (..3) όπου A είναι ένας n m πίνακας (μερικές φορές λέγεται πίνακας σχεδιασμού): ) ( ) ( ) ( ) ( m n m n f f f f u u u u A, θ είναι ένα n διάνυσμα άγνωστων παραμέτρων: n θ, και y είναι ένα m διάνυσμα εξόδου: y n y y. Η -οστή σειρά του ενωμένου πίνακα δεδομένων ] [ y A, που δηλώνεται με ] [ T y a, σχετίζεται με το -οστό ζευγάρι δεδομένων ) ; ( y u μέσω της m n m n m m n n n n y f f f y f f f y f f f ) (... ) ( ) ( ) (... ) ( ) ( ) (... ) ( ) ( u u u u u u u u u

19 a T f ( u ),, f ( u )]. [ n Εφόσον το μεγαλύτερο μέρος των υπολογισμών βασίζεται στους πίνακες A και y, T ( μερικές φορές γίνεται αναφορά στο a ; y ) σαν το -οστό ζευγάρι δεδομένων του συνόλου δεδομένων εκπαίδευσης. Για να προσδιοριστεί μεμονωμένα το άγνωστο διάνυσμα θ, είναι απαραίτητο να ισχύει m n. Αν ο A είναι τετραγωνικός ( m n) και αντιστρέψιμος, τότε η εξίσωση (..3) μπορεί να λυθεί ως προς τον άγνωστο x και γίνεται θ A y. (..4) Εντούτοις, ο m είναι συνήθως μεγαλύτερος από τον n, που σημαίνει ότι υπάρχουν περισσότερα ζευγάρια στοιχείων από τις παραμέτρους. Σε αυτήν την περίπτωση, μια ακριβής λύση που να ικανοποιεί όλες τις m εξισώσεις δεν είναι πάντα δυνατή, δεδομένου ότι τα στοιχεία μπορεί να μολυνθούν από θόρυβο, ή το μοντέλο μπορεί να μην είναι κατάλληλο για την περιγραφή του συστήματος στόχου. Κατά συνέπεια η εξίσωση (..3) πρέπει να τροποποιηθεί με την ενσωμάτωση ενός διανύσματος λάθους e για να αποτελέσει το τυχαίο λάθος θορύβου ή το τυχαίο λάθος διαμόρφωσης ως εξής: Aθ e y. (..5) Τώρα, αντί της εύρεσης της ακριβούς λύσης στην εξίσωση (..3), πρέπει να βρεθεί το θ θ που ελαχιστοποιεί το άθροισμα του τετραγωνικού σφάλματος και ορίζεται ως 9

20 m T T E( θ) ( a θ) e e ( y Aθ) ( y Aθ) y T (..6) όπου e y- Aθ είναι το διάνυσμα λάθους που παράγεται από μια συγκεκριμένη επιλογή τουθ. Πρέπει να σημειωθεί ότι το E (θ) είναι σε τετραγωνική μορφή και έχει ένα μοναδικό ελάχιστοθ θ. Το ακόλουθο θεώρημα δηλώνει έναν απαραίτητο όρο που ικανοποιείται από τον εκτιμητή ελαχίστων τετραγώνων θ. Θεώρημα.. Εκτιμητής ελαχίστων τετραγώνων Το τετραγωνικό σφάλμα στην εξίσωση (..6) ελαχιστοποιείται όταν θ θ, ο οποίος καλείται εκτιμητής ελαχίστων τετραγώνων (LSE για συντομία) και ο οποίος ικανοποιεί την κανονική εξίσωση T T A Aθ A y (..7) Αν ο A T A είναι αντιστρέψιμος, ο θ είναι μοναδικός και δίνεται από την θ ( A A) T A T y. (..8) Απόδειξη: Υπάρχουν διάφορες μέθοδοι διαθέσιμες στη βιβλιογραφία για την εύρεση του εκτιμητή ελαχίστων τετραγώνων για την εξίσωση (..3). Μια απλή προσέγγιση είναι να τεθεί το παράγωγο του E (θ) ως προς θ ίσο σε μηδέν. Σημειώνοντας ότι ο T T T θ A y y Aθ είναι βαθμωτός, μπορεί να γίνει επέκταση για E (θ) : T T T T T T T E( θ) ( y θ A )( y Aθ) θ A Aθ y Aθ y y (..9) Τότε η παράγωγος του E (θ) είναι 0

21 E( θ) T T A Aθ A y. (..0) θ E( θ) Θέτοντας 0 θ στοθ θ, προκύπτει η κανονική εξίσωση T T A Aθ A y. (..) Αν ο A T A είναι αντιστρέψιμος, τότε ο θ μπορεί να επιλυθεί μοναδικά: θ ( A A) T A T y. (..) Εφόσον το E (θ) είναι μια τετραγωνική συνάρτηση θ, το σφάλμα ελαχίστων τετραγώνων που επιτυγχάνεται για θ θ μπορεί να βρεθεί να είναι E( θ) ( y Aθ) T T T T T ( y Aθ) y y y A( A A) A y. (..3) Όμως, αν ο A T A είναι μη αντιστρέψιμος, τότε ο LSE δεν είναι μοναδικός και πρέπει να εφαρμοστεί η έννοια του γενικευμένου αντιστρόφου για να βρεθεί ο θ. Χωρίς απώλεια γενικότητας, θα υποτεθεί ότι ο A T A είναι αντιστρέψιμος. Η προηγούμενη παραγώγιση είναι βασισμένη στην υπόθεση ότι κάθε στοιχείο του διανύσματος λάθους e έχει το ίδιο βάρος προς το γενικό τετραγωνικό σφάλμα. Μια περαιτέρω γενίκευση είναι κάθε όρος σφάλματος να σταθμιστεί διαφορετικά. Συγκεκριμένα, ας υποτεθεί ότι ο W είναι ο επιθυμητός πίνακας βαρύτητας, ο οποίος είναι συμμετρικός και θετικά ορισμένος. Τότε το σταθμισμένο τετραγωνικό σφάλμα είναι

22 T E ( θ) ( y Aθ) W( y Aθ). (..4) W Ελαχιστοποιώντας το E W(θ) ως προς θ παράγεται ο σταθμισμένος εκτιμητής ελαχίστων τετραγώνων θ W : θ W ( A WA) T A T Wy (..5) Προφανώς, ο πίνακας. θ W μειώνεται σε θ όταν ο W επιλέγεται σαν ένας μοναδιαίος.3 Οπισθοδρόμηση για πρωσοτροφοδοτούμενα δίκτυα Η ενότητα αυτή παρουσιάζει ένα βασικό κανόνα εκμάθησης για προσαρμόσιμα δίκτυα, που είναι στην ουσία η πιο απλή μέθοδος βαθμωτής ελαχιστοποίησης. Το κεντρικό μέρος αυτού του κανόνα εκμάθησης αφορά στο πως να επιλεγεί επαναληπτικά ένα διάνυσμα κλίσης στο οποίο κάθε στοιχείο ορίζεται ως την παράγωγο ενός μέτρου σφάλματος ως προς μια παράμετρο. Αυτό γίνεται με τη βοήθεια του κανόνα αλυσίδας, ενός βασικού τύπου για το διαφορισμό σύνθετων συναρτήσεων ο οποίος αναλύεται σε κάθε εγχειρίδιο μαθηματικών. Η διαδικασία εύρεσης ενός διανύσματος κλίσης σε ένα δίκτυο αναφέρεται γενικά σαν οπισθοδρόμηση (backroagaton) επειδή το διάνυσμα κλίσης υπολογίζεται σε κατεύθυνση αντίθετη από τη ροή της εξόδου κάθε κόμβου. Μόλις επιλεγεί η κλίση, διάφορες τεχνικές βελτιστοποίησης και παλινδρόμησης βασισμένες στις παραγώγους είναι διαθέσιμες για την ενημέρωση των παραμέτρων. Ειδικότερα, εάν χρησιμοποιούμε το διάνυσμα κλίσης σε μια απλή μέθοδο βαθμωτής ελαχιστοποίησης, το προκύπτον παράδειγμα εκμάθησης αναφέρεται συχνά ως

23 κανόνας οπισθόδρομης εκμάθησης. Αυτός ο κανόνας εκμάθησης θα αναλυθεί στη συνέχεια αυτής της ενότητας. Ας υποτεθεί ότι δεδομένο πρωσοτροφοδοτούμενο προσαρμόσιμο δίκτυο στην αναπαράστασή του σε επίπεδα έχει L επίπεδα και το επίπεδο l (όπου l 0,,..., L; l 0 αντιπροσωπεύει το επίπεδο εισαγωγής) έχει N (l) κόμβους. Τότε η έξοδος και η συνάρτηση του κόμβου [,..., N( l)] στο επίπεδο l μπορούν να αναπαρασταθούν σαν x, και l f,, αντίστοιχα. Χωρίς απώλεια γενικότητας, ας l υποτεθεί ότι δεν υπάρχει καμία σύνδεση μεταξύ μη συνεχόμενων στρωμάτων. Δεδομένου ότι η έξοδος ενός κόμβου εξαρτάται από τα εισερχόμενα σήματα και το σύνολο παραμέτρων του κόμβου, προκύπτει η ακόλουθη γενική έκφραση για τη συνάρτηση των κόμβων f, : l x l, l, ( l, l, N ( l) f x,... x, a,,,...), (.3.) όπου α, β, γ κλπ. είναι οι παράμετροι αυτού του κόμβου. Υποθέτοντας ότι το δοσμένο σύνολο δεδομένων εκπαίδευσης έχει P καταχωρήσεις, μπορεί να οριστεί ένα μέτρο σφάλματος για την -οστή ( P) καταχώρηση των δεδομένων εκπαίδευσης σαν το άθροισμα των τετραγωνικών σφαλμάτων: N ( l) E ( d x, (.3.) k k L, k ) όπου d k είναι το k-οστό συστατικό του -οστού επιθυμητού διανύσματος εξόδου και x L, k είναι το k-οστό συστατικό του πραγματικού διανύσματος εξόδου που παράγεται με την παρουσίαση του -οστού διανύσματος εισόδου στο δίκτυο. (Για 3

24 σημειογραφική απλότητα, παραλείπεται ο δείκτης και από το d k και από το x L,k. ). Προφανώς, όταν το E είναι ίσο με το μηδέν, το δίκτυο είναι ικανό να αναπαράγει ακριβώς το επιθυμητό διάνυσμα εξόδου στο -οστό ζευγάρι δεδομένων εκπαίδευσης. Κατά συνέπεια ο στόχος εδώ είναι να ελαχιστοποιηθεί ένα συνολικό μέτρο σφάλματος, που ορίζεται ως E P E P. Υπενθυμίζεται ότι ο ορισμός του E P στην εξίσωση (.3.) δεν είναι καθολικός αλλά είναι δυνατός και άλλος ορισμός για το E P για συγκεκριμένες καταστάσεις ή εφαρμογές. Επομένως, θα αποφευχθεί μια ρητή έκφραση για το μέτρο σφάλματος E P για να δοθεί έμφαση στη γενικότητα. Επιπλέον, ας υποτεθεί ότι το E P εξαρτάται μόνο από τους κόμβους εξόδου. Για να χρησιμοποιηθεί η βαθμωτή ελαχιστοποίηση ώστε να ελαχιστοποιηθεί το μέτρο σφάλματος, πρέπει πρώτα να βρεθεί το διάνυσμα κλίσης. Πριν υπολογιστεί το διάνυσμα κλίσης, πρέπει να παρατηρηθούν οι ακόλουθες αιτιώδεις σχέσεις: αλλαγή ζ ηην παπάμεη πο α αλλαγή ζηι ρ εξόδοςρ ηων κόμβων πος πεπι έσοςν ηο α αλλαγή ζηι ρ εξόδοςρ ηων δι κηύων αλλαγή ζηο μέηπο ζθάλμαηορ όπου τα βέλη δείχνουν τις αιτιώδεις σχέσεις. Με άλλα λόγια, μια μικρή αλλαγή σε μια παράμετρο a θα επηρεάσει την έξοδο του κόμβου που περιέχει το a. Αυτό με τη σειρά του θα επηρεάσει την έξοδο του τελευταίου επιπέδου και συνεπώς το μέτρο σφάλματος. Επομένως, η βασική αρχή στον υπολογισμό του διανύσματος κλίσης είναι να περαστούν μια σειρά από πληροφορίες παραγώγων 4

25 ξεκινώντας από το επίπεδο εξόδου και πηγαίνοντας ανάποδα από επίπεδο σε επίπεδο έως ότου καταλήξει η διαδικασία στο επίπεδο εισόδου. Το σήμα σφάλματος l, ορίζεται σαν τη παράγωγο του μέτρου σφάλματος E P ως προς την έξοδο του κόμβου στο επίπεδο l, λαμβάνοντας υπόψη και τις άμεσες και τις έμμεσες πορείες. Σε σύμβολα, l, E x l, (.3.3) Η έκφραση αυτή ονομάστηκε διατεταγμένη παράγωγος από τον Werbos. Η διαφορά μεταξύ της διατεταγμένης παραγώγου και της συνηθισμένης μερικής παραγώγου βρίσκεται στον τρόπο με τον οποίο η συνάρτηση διαφορίζεται. Για την έξοδο ενός εσωτερικού κόμβου x, (όπου l l L ), η μερική παράγωγος E x P l, είναι ίση με το μηδέν, εφόσον το E δεν εξαρτάται από το x, έμμεσα, αφού μια P l αλλαγή στο x, θα διαδοθεί μέσω έμμεσων πορειών στο επίπεδο εξόδου και l συνεπώς θα προκαλέσει μια αντίστοιχη αλλαγή στην τιμή του E P. Επομένως, το l, μπορεί να υπολογιστεί ως μια αναλογία αυτών των δύο αλλαγών όταν αυτές γίνονται απειροελάχιστες. Το σήμα σφάλματος για τον -οστό κόμβο εξόδου (στο επίπεδο L ) μπορεί να υπολογιστεί απευθείας: L, E x L, E x L, (.3.4) 5

26 Αυτό ισούται με L, ( d xl, ) αν το E P ορίζεται όπως στην εξίσωση (.3.). Για τον εσωτερικό κόμβο στην -οστή θέση του επιπέδου l, το σήμα σφάλματος μπορεί να βρεθεί από τον κανόνα αλυσίδας: l, E xl, error sgnal at layer l N ( l) x E m l, m error sgnal at layer l f l, m x l, f N ( l) l, m l, m m xl,, (.3.5) όπου 0 l L. Δηλαδή το σήμα σφάλματος ενός εσωτερικού κόμβου στο στρώμα l μπορεί να εκφραστεί ως γραμμικός συνδυασμός των κόμβων στο στρώμα l. Επομένως, για οποιαδήποτε l και [ και N( l) ], μπορούν να βρεθούν τα l, E x l, εφαρμόζοντας πρώτα την εξίσωση (.3.4) μία φορά για να υπολογιστούν τα σήματα σφάλματος στο επίπεδο εξόδου, και έπειτα εφαρμόζοντας την εξίσωση (.3.5) επαναληπτικά έως ότου καταλήξει η διαδικασία στο επιθυμητό επίπεδο l. Η διαδικασία αυτή καλείται οπισθοδρόμηση δεδομένου ότι τα σήματα σφάλματος λαμβάνονται διαδοχικά από το επίπεδο εξόδου προς το επίπεδο εισόδου. Το διάνυσμα κλίσης ορίζεται ως την παράγωγο του μέτρου σφάλματος ως προς κάθε παράμετρο, έτσι πρέπει να εφαρμοστεί ο κανόνας αλυσίδας ξανά για να βρεθεί το διάνυσμα κλίσης. Εάν a είναι μια παράμετρος του -οστού κόμβου στο επίπεδο l, τότε ισχύει: E a E x l, f l, a l, f l,. (.3.6) a 6

27 Ας σημειωθεί ότι αν επιτραπεί στην παράμετρο a να μοιράζεται μεταξύ διαφορετικών κόμβων, τότε η εξίσωση (.3.6) πρέπει να αλλαχθεί σε μια πιο γενική μορφή: E a * x S * E f, (.3.7) * x a όπου S είναι το σύνολο των κόμβων που περιέχουν το a σαν παράμετρο ενώ * x και * f είναι η έξοδος και η συνάρτηση, αντίστοιχα, ενός γενικού κόμβου στο S. Η παράγωγος του γενικού μέτρου σφάλματος E ως προς το a είναι E a P E a. (.3.8) Συνεπώς, για την απλούστερη βαθμωτή ελαχιστοποίηση χωρίς ελαχιστοποίηση γραμμών, ο τύπος για τη γενική παράμετρο a είναι E a, (.3.9) a όπου το είναι ο ρυθμός εκμάθησης, το οποίο μπορεί να εκφραστεί περαιτέρω ως E, (.3.0) 7

28 όπου το είναι το μέγεθος βήματος, το μήκος δηλαδή κάθε μετάβασης κατά μήκος της κατεύθυνσης κλίσης στο διάστημα παραμέτρου. Συνήθως το μέγεθος βήματος μπορεί να αλλαχθεί για να μεταβληθεί η ταχύτητα της σύγκλισης. Όταν ένα πρωσοτροφοδοτούμενο δίκτυο n-κόμβων αναπαριστάται στην τοπολογική του διάταξη, μπορεί να υπολογιστεί το μέτρο σφάλματος E P σαν την έξοδο ενός επιπλέον κόμβου με ένδειξη n, του οποίου η συνάρτηση κόμβου f n μπορεί να οριστεί από τις εξόδους κάθε κόμβου με μικρότερη ένδειξη. (Επομένως, το E P μπορεί να εξαρτάται άμεσα από οποιουσδήποτε κόμβους.) Εφαρμόζοντας πάλι τον κανόνα αλυσίδας, ισχύει ο ακόλουθος συνοπτικός τύπος E για τον υπολογισμό του σήματος σφάλματος : x E f n x x jn j E x j f j x, (.3.) ή x f n jn j f j x, (.3.) όπου ο πρώτος όρος δείχνει μια άμεση επίδραση του x στο E P μέσω της άμεσης διαδρομής από τον κόμβο στον κόμβο n και κάθε όρος παραγώγου στο άθροισμα δείχνει την έμμεση επίδραση του x στο E P. Μόλις βρεθεί το σήμα σφάλματος για κάθε κόμβο, τότε το διάνυσμα κλίσης για τις παραμέτρους παράγεται όπως πριν. Ένας άλλος συστηματικός τρόπος να υπολογιστούν τα σήματα σφάλματος είναι μέσω της αναπαράστασης του δικτύου διάδοσης σφάλματος (ή του μοντέλου ευαισθησίας), το οποίο λαμβάνεται από το αρχικό προσαρμόσιμο δίκτυο με την αντιστροφή των συνδέσεων και την παροχή των σημάτων σφάλματος στο 8

29 επίπεδο εξόδου ως είσοδοι στο νέο δίκτυο. Το ακόλουθο σχήμα δείχνει το μοντέλο ANFIS και το δίκτυο διάδοσης σφάλματος του: Α Π Ν x Α Π Ν Σ f y Β Π Ν Β Π Ν Σχήμα.(a): Tο προσαρμόσιμο δίκτυο x E Σχήμα.(b): Το δίκτυο διάδοσης σφάλματος Τώρα θα υπολογιστούν τα σήματα σφάλματος στους εσωτερικούς κόμβους. Χρησιμοποιούνται τα f και x για το συμβολισμό της συνάρτησης και της εξόδου του κόμβου. Η έξοδος του κόμβου είναι το σήμα σφάλματος αυτού 9

30 του κόμβου στο πραγματικό προσαρμόσιμο δίκτυο. Σε σύμβολα, αν επιλεχθεί το τετραγωνικό μέτρο σφάλματος για E P, τότε ισχύει το ακόλουθο: ( d ), 9 9 x9 Αυτό είναι επειδή ο κόμβος 9 είναι μόνο ένας κόμβος προσωρινής αποθήκευσης στο δίκτυο διάδοσης σφάλματος. Για τους κόμβους 5, 6, 7 και 8 ισχύουν: 8 E x 8 E x 9 f x f x 9 8, 7 E x 7 E x 9 f x f x 9 7, 6 E x 6 E x 9 f x f x 9 6, 5 E x 5 E x 9 f x f x 9 5. Αυτό είναι επειδή όλοι αυτοί οι κόμβοι εξαρτώνται από τον κόμβο 9. Αυτό ισχύει και για τους κόμβους,, 3 και 4 με τη διαφορά ότι κάθε ένας από αυτούς εξαρτάται από διαφορετικό κόμβο: 4 E x 4 E x 8 f x f x 8 4, 3 E x 3 E x 7 f x f x 7 3, E x E x 6 f x 6 6 f x 6, 30

31 E x E x 5 f x 5 5 f x 5. Αντιθέτως, οι κόμβοι 7, 8, 9 και 0 εξαρτώνται από τέσσερις διαφορετικούς κόμβους όπως φαίνεται στο σχήμα.. Έτσι, ισχύει: 0 f4 f3 f f 4 3 xe x x x x , f4 f3 f f xe x x x x , 8 x E 8 4 f x f 3 x 8 f x 8 f x 8, f4 f3 f f xe x x x x Οι κόμβοι 3, 4, 5 και 6 εξαρτώνται από δύο διαφορετικούς κόμβους και σαν αποτέλεσμα προκύπτουν οι ακόλουθες σχέσεις: E 6 x 6 E x 0 f 0 x 6 E x 8 f 8 x 6 0 f 0 x 6 8 f 8 x 6, E 5 x 5 E x 9 f 9 x 5 E x 7 f 7 x 5 9 f 9 x 5 7 f 7 x 5, E 4 x 4 E x 0 f 0 x 4 E x 9 f 9 x 4 0 f 0 x 4 9 f 9 x 4, E 3 x 3 E x 8 f 8 x 3 E x 7 f 7 x 3 8 f 8 x 3 7 f 7 x 3. Τέλος, οι κόμβοι και εξαρτώνται από δύο κόμβους και έτσι ισχύει: 3

32 x f x f x f x E x f x E x E, x f x f x f x E x f x E x E.4 Τβριδικός αλγόριθμος εκμάθησης: υνδυασμός βαθμωτής ελαχιστοποίησης και εκτιμητή ελαχίστων τετραγώνων Αν και μπορεί να εφαρμοστεί η οπισθοδρόμηση ή η βαθμωτή ελαχιστοποίηση για να προσδιοριστούν οι παράμετροι σε ένα προσαρμόσιμο δίκτυο, αυτή η απλή μέθοδος βελτιστοποίησης παίρνει συνήθως πολύ χρόνο προτού να συγκλίνει. Μπορεί να παρατηρηθεί, όμως, ότι η έξοδος ενός προσαρμόσιμου δικτύου είναι γραμμική σε μερικές από τις παραμέτρους του δικτύου. Έτσι μπορούν να προσδιοριστούν αυτές οι γραμμικές παράμετροι με τη γραμμική μέθοδο ελαχίστων τετραγώνων που περιγράφτηκε παραπάνω. Αυτή η προσέγγιση οδηγεί σε ένα υβριδικό κανόνα εκμάθησης που συνδυάζει τη βαθμωτή ελαχιστοποίηση (SD) και τον εκτιμητή ελαχίστων τετραγώνων (LSE) για γρήγορο προσδιορισμό των παραμέτρων. Στη συνέχεια θα παρουσιαστεί πως αυτός λειτουργεί. Το προσαρμόσιμο δίκτυο έχει μία έξοδο που αναπαριστάται ως ), ( S F o, (.4.)

33 όπου είναι το διάνυσμα των μεταβλητών εισόδου, S είναι το σύνολο των παραμέτρων, και F είναι η συνολική συνάρτηση που εφαρμόζεται από το προσαρμόσιμο δίκτυο. Αν υπάρχει μια συνάρτηση H τέτοια ώστε η σύνθετη συνάρτηση H F είναι γραμμική σε μερικά από τα στοιχεία του S, τότε αυτά τα στοιχεία μπορούν να προσδιοριστούν από τη μέθοδο ελαχίστων τετραγώνων. Πιο συγκεκριμένα, αν το σύνολο παραμέτρων S μπορεί να χωριστεί σε δύο σύνολα S S S, (.4.) (όπου αντιπροσωπεύει άμεσο άθροισμα) τέτοια ώστε η H F είναι γραμμική στα στοιχεία του S, τότε εφαρμόζοντας την H στην εξίσωση (.4.), προκύπτει ότι H( o) H F( B, S), (.4.3) που είναι γραμμική στα στοιχεία του S. Τώρα με δεδομένα στοιχεία του S, μπορούν να χρησιμοποιηθούν P δεδομένα εκπαίδευσης στην εξίσωση (.4.) και να προκύψει μια εξίσωση πινάκων: Aθ y (.4.4) όπου θ είναι ένα άγνωστο διάνυσμα του οποίου τα στοιχεία είναι παράμετροι στο S. Αυτό είναι ένα κλασσικό γραμμικό πρόβλημα ελαχίστων τετραγώνων, και η καλύτερη λύση για το θ, που ελαχιστοποιεί το Aθ y, είναι ο εκτιμητής * ελαχίστων τετραγώνων (LSE) θ : θ * A T ( A) A T y, (.4.5) 33

34 όπου T A είναι ο ανάστροφος του A και T ( A A) A T είναι ο ψευδοαντίστροφος του A αν A T A είναι αντιστρέψιμος. Τώρα μπορεί να συνδυαστεί η βαθμωτή ελαχιστοποίηση και ο εκτιμητής ελαχίστων τετραγώνων για να ενημερωθούν οι παράμετροι σε ένα προσαρμόσιμο δίκτυο. Για να εφαρμοστεί υβριδική εκμάθηση σε μια παρτίδα επεξεργασίας (batch mode), κάθε εποχή αποτελείται από ένα πέρασμα προς τα μπρος και ένα πέρασμα προς τα πίσω. Στο πέρασμα προς τα μπρος, αφού παρουσιάζεται ένα διάνυσμα εισόδου, υπολογίζονται οι έξοδοι των κόμβων στο δίκτυο από επίπεδο σε επίπεδο μέχρι να βρεθεί μια αντίστοιχη σειρά στους πίνακες A και y στην εξίσωση (.4.4). Αυτή η διαδικασία επαναλαμβάνεται για όλα τα ζευγάρια δεδομένων εκπαίδευσης για να σχηματιστούν οι ολοκληρωμένοι A και y. Έπειτα οι παράμετροι στο S προσδιορίζονται από τον ψευδοαντίστροφο τύπο στην εξίσωση (.4.5). Αφού προσδιορίζονται οι παράμετροι στο S, μπορεί να υπολογιστεί το μέτρο σφάλματος για κάθε ζευγάρι δεδομένων εκπαίδευσης. Στο πέρασμα προς τα πίσω, τα σήματα σφάλματος [η παράγωγος του μέτρου σφάλματος ως προς την έξοδο κάθε κόμβου, βλέπε εξισώσεις (.3.4) και (.3.5)] διαδίδονται από το άκρο της εξόδου ως το άκρο της εισόδου. Το διάνυσμα κλίσης αυξάνεται για κάθε είσοδο δεδομένων εκπαίδευσης. Στο τέλος του περάσματος προς τα πίσω για όλα τα δεδομένα εκπαίδευσης, οι παράμετροι στο S ενημερώνονται από τη βαθμωτή ελαχιστοποίηση στην εξίσωση (.3.9). Για δεδομένες σταθερές τιμές των παραμέτρων στο S, οι παράμετροι στο S που βρίσκονται είναι εγγυημένο ότι είναι στο ολικό βέλτιστο σημείο του διαστήματος παραμέτρων του S εξαιτίας της επιλογής του τετραγωνικού μέτρου σφάλματος. Αυτός ο υβριδικός κανόνας εκμάθησης μπορεί όχι μόνο να μειώσει τη διάσταση 34

35 35 του διαστήματος εξερεύνησης που εξερευνείται από την πραγματική μέθοδο βαθμωτής ελαχιστοποίησης, αλλά, γενικά, θα μειώσει σημαντικά το χρόνο που απαιτείται για να φθάσει στη σύγκλιση. Από την αρχιτεκτονική του ANFIS που παρουσιάστηκε προηγουμένως, παρατηρείται ότι όταν οι τιμές των αρχικών παραμέτρων (remse arameters) είναι σταθερές, η συνολική έξοδος μπορεί να εκφραστεί σαν γραμμικός συνδυασμός των επακόλουθων παραμέτρων (consequent arameters). Σε σύμβολα, η έξοδος f μπορεί να ξαναγραφτεί ως: ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( r w q y w x w r w q y w x w r w q y w x w r w q y w w x r y q x w r y q x w r y q x w r y q x w f w w w w w f w w w w w f w w w w w f w w w w w f που είναι γραμμική στις επακόλουθες παραμέτρους (consequent arameters) ,,,,,,,,,, q r q r q r q και 4 r. Από την παρατήρηση αυτή προκύπτει S σύνολο συνολικών παραμέτρων, S σύνολο αρχικών παραμέτρων (μη γραμμικών), S σύνολο επακόλουθων παραμέτρων (γραμμικών) στην εξίσωση (.4.) ενώ ) ( H και ), ( F είναι η μοναδιαία συνάρτηση και η συνάρτηση του ασαφούς συστήματος συμπερασμού (fuzzy nference system), αντίστοιχα στην εξίσωση (.4.3). Επομένως, ο υβριδικός αλγόριθμος εκμάθησης που αναπτύσσεται παραπάνω μπορεί να εφαρμοστεί άμεσα. Πιο συγκεκριμένα, στο πέρασμα προς τα μπρος του υβριδικού αλγορίθμου, οι έξοδοι κόμβων πηγαίνουν προς τα εμπρός μέχρι το επίπεδο 4 και οι επακόλουθες παράμετροι προσδιορίζονται με τη μέθοδο ελαχίστων τετραγώνων. Στο πέρασμα προς τα πίσω, τα σήματα σφάλματος διαδίδονται προς τα πίσω και οι αρχικές

36 παράμετροι ενημερώνονται από την βαθμωτή ελαχιστοποίηση. Ο πίνακας. συνοψίζει τις δραστηριότητες που πραγματοποιούνται σε κάθε πέρασμα. Αρχικές παράμετροι Επακόλουθες παράμετροι Πέρασμα προς τα μπρος Σταθερές Εκτιμητής ελαχίστων τετραγώνων Πέρασμα προς τα πίσω Βαθμωτή ελαχιστοποίηση Σταθερές Σήματα Έξοδοι κόμβων Σήματα σφάλματος Πίνακας.: Δύο περάσματα στην υβριδική διαδικασία εκμάθησης για το ANFIS.5 Νευρωνικά δίκτυα.5. Percetrons. Αρχιτεκτονική και κανόνας εκμάθησης Το δίκτυο ercetron αντιπροσωπεύει μία από τις πρώτες προσπάθειες για να κατασκευαστούν έξυπνα και αυτοεκπαιδευόμενα συστήματα χρησιμοποιώντας απλά συστατικά. Προήλθε από το βιολογικό μοντέλο εγκεφαλικού νευρώνα που παρουσιάστηκε από τους McCulloch και Ptts το 943 [4]. Αργότερα ο Rosenblatt [6] σχεδίασε το δίκτυο ercetron με τη σκέψη να εξηγήσει και να μοντελοποιήσει τις δυνατότητες αναγνώρισης σχημάτων των βιολογικών συστημάτων όρασης. Παρόλο που ο στόχος είναι φιλόδοξος, το παράδειγμα είναι απλό. Το σχήμα. είναι μια τυπική διάταξη δικτύου ercetron για εφαρμογές αναγνώρισης σχημάτων, στα οποία τα οπτικά σχήματα αναπαριστώνται σαν πίνακες με στοιχεία μεταξύ 0 και. Το πρώτο επίπεδο του δικτύου ercetron λειτουργεί σαν ένα σετ «ανιχνευτών χαρακτηριστικών» που δέχονται τα σήματα 36

37 εισόδου για να ανιχνεύσουν συγκεκριμένα χαρακτηριστικά. Το δεύτερο επίπεδο (έξοδος) παίρνει τις εξόδους των «ανιχνευτών χαρακτηριστικών» του πρώτου επιπέδου και ταξινομεί το δεδομένο σχέδιο εισόδου. Η εκπαίδευση ξεκινά με την πραγματοποίηση ρυθμίσεων στα σχετικά βάρη συνδέσεων (π.χ. βάρη w) και μία τιμή κατωφλίου (threshold) θ. Για ένα πρόβλημα δύο τάξεων (για παράδειγμα, να καθοριστεί αν το σχέδιο του σχήματος. είναι P ή όχι), το επίπεδο εξόδου έχει συνήθως μόνο ένα κόμβο. Για ένα πρόβλημα n τάξεων με το n να είναι μεγαλύτερο ή ίσο με 3, το επίπεδο εξόδου έχει συνήθως n κόμβους, καθένας από τους οποίους αντιστοιχεί σε μία τάξη και ο κόμβος εξόδου με την μεγαλύτερη τιμή δείχνει σε ποια τάξη ανήκει το διάνυσμα εισόδου. Σχήμα.: Το δίκτυο ercetron Σχήμα.3: Εισαγωγή τεχνητού βάρους σύνδεσης 37

38 Κάθε συνάρτηση g στο επίπεδο είναι μια σταθερή συνάρτηση που πρέπει να επιλεγεί εκ των προτέρων. Η συνάρτηση χαρτογραφεί όλο ή ένα μέρος του σχεδίου (attern) εισόδου σε μία δυαδική τιμή, x 0, x ή σε μία διπολική τιμή. Ο όρος x αναφέρεται ως ενεργή τιμή αν η τιμή είναι, ανενεργή αν η τιμή είναι 0 και απαγορευτική αν η τιμή είναι -. Η μονάδα εξόδου είναι ένα γραμμικό στοιχείο κατωφλιού με μία τιμή κατωφλιού θ: o f ( f ( f ( n n n w x ), w x w w x ), x ), w., (.5.) όπου w είναι ένα μεταβαλλόμενο βάρος που σχετίζεται με ένα εισερχόμενο σήμα x και w0 (= -θ) είναι ο όρος θορύβου (bas). Η εξίσωση (.5.) δείχνει ότι το κατώφλι μπορεί να θεωρηθεί σαν ένα βάρος σύνδεσης μεταξύ της μονάδας εξόδου και ενός «τεχνητού» εισερχόμενου σήματος x0 που είναι πάντα, όπως φαίνεται στο σχήμα.3. Στην εξίσωση (.5.), η f () είναι η συνάρτηση ενεργοποίησης του δικτύου ercetron και είναι τυπικά ή σιγμοειδής (sgnum) συνάρτηση sgn(x) ή βηματική συνάρτηση ste(x): x 0, sgn( x ) ώ, x 0, ste ( x) 0. Πρέπει να σημειωθεί ότι ο «ανιχνευτής χαρακτηριστικών» g μπορεί να είναι οποιαδήποτε συνάρτηση του σχεδίου εισόδου αλλά η διαδικασία εκμάθησης μόνο ρυθμίζει τα βάρη σύνδεσης στη μονάδα εξόδου (στο τελευταίο επίπεδο). Επειδή μπορούν να μεταβληθούν μόνο τα βάρη που οδηγούν στο τελευταίο επίπεδο, το δίκτυο ercetron του σχήματος. θεωρείται σαν δίκτυο ercetron 38

39 ενός επιπέδου (sngle-layer ercetron). Ξεκινώντας με ένα σετ τυχαίων βαρών σύνδεσης, ο βασικός αλγόριθμος εκμάθησης για ένα δίκτυο ercetron ενός επιπέδου επαναλαμβάνει τα ακόλουθα βήματα έως ότου τα βάρη συγκλίνουν: Βήμα : Επιλογή ενός διανύσματος εισόδου x από τα δεδομένα εισόδου. Βήμα : Αν το δίκτυο ercetron δίνει λάθος απόκριση, γίνεται μετατροπή όλων των βαρών σύνδεσης w σύμφωνα με τη σχέση w t x όπου t είναι η έξοδος στόχος και η είναι ο ρυθμός εκμάθησης. Ο προηγούμενος κανόνας εκμάθησης μπορεί να εφαρμοστεί επίσης για την ενημέρωση του κατωφλιού θ (= -w0) σύμφωνα με τη σχέση.5.. Η τιμή για τον ρυθμό εκμάθησης η μπορεί να είναι σταθερή σε όλη τη διάρκεια της εκπαίδευσης ή να είναι μια μεταβλητή ποσότητα ανάλογη με το σφάλμα. Ένα η που είναι ανάλογο με το σφάλμα συνήθως οδηγεί σε γρηγορότερη σύγκλιση αλλά μπορεί να προκαλέσει ασταθή εκμάθηση. Ο προηγούμενος αλγόριθμος εκμάθησης βασίζεται περίπου στη βαθμωτή ελαχιστοποίηση. Ο Rosenblatt [6] απέδειξε ότι υπάρχει μία μέθοδος για τη ρύθμιση των βαρών που διασφαλίζει ότι θα συγκλίνει για να παράγει την απαιτούμενη έξοδο αν και μόνον αν υπάρχει τέτοιο σετ βαρών. Αυτό ονομάζεται θεώρημα σύγκλισης δικτύου ercetron. Επιπλέον, τα δίκτυα ercetron μπορούν να ομαδοποιηθούν σε διαφορετικές οικογένειες βάση των συναρτήσεων g. 39

40 Στις αρχές της δεκαετίας του 960, τα δίκτυα ercetron δημιούργησαν ενδιαφέρον και αισιοδοξία για την κατασκευή αυτοεκπαιδευόμενων έξυπνων συστημάτων. Όμως ο αρχικός ενθουσιασμός ελαττώθηκε με τη δημοσίευση των Mnsky και Paert Percetrons το 969 [5], στην οποία ανέλυσαν τα δίκτυα ercetron διεξοδικά και συμπέραναν ότι τα δίκτυα ercetron ενός επιπέδου μπορούν μόνο να χρησιμοποιηθούν για πάρα πολύ απλά προβλήματα..5. Οπισθοδρομούμενα πολυεπίπεδα δίκτυα ercetron Το δίκτυο ercetron ενός επιπέδου είναι ένα βασικό συστατικό των νευρωνικών δικτύων και παρέχει τις βάσεις για την κατανόηση τους και τις περισσότερες εφαρμογές τους. Όμως επειδή οι συναρτήσεις ενεργοποίησης δεν είναι διαφορήσιμες, οι στρατηγικές εκπαίδευσης των πρώτων πολυεπίπεδων δικτύων ercetron με σιγμοειδείς (sgnum) ή βηματικές συναρτήσεις ενεργοποίησης δεν είναι εμφανείς εκτός και αν χρησιμοποιούνται συνεχείς συναρτήσεις ενεργοποίησης. Ένα οπισθοδρομούμενο πολυεπίπεδο δίκτυο ercetron είναι ένα προσαρμόσιμο δίκτυο του οποίου οι κόμβοι (ή νευρώνες) εκτελούν την ίδια συνάρτηση στα εισερχόμενα σήματα. Αυτή η συνάρτηση του κόμβου είναι συνήθως μία σύνθεση του σταθμισμένου αθροίσματος και της διαφορήσιμης μη γραμμικής συνάρτησης ενεργοποίησης που είναι γνωστή και ως συνάρτηση μεταφοράς. Οι τρεις πιο συχνά χρησιμοποιούμενες συναρτήσεις ενεργοποίησης είναι οι: 40

41 Logstc functon : f ( x) x e e Hyerbolc tan gent functon : f ( x) tanh( x / ) e Identty functon : f ( x) x x x Η υπερβολική εφαπτομένη (hyerbolc tangent) και η λογιστική προσεγγίζουν τη σιγμοειδή (sgnum) και τη βηματική συνάρτηση, αντίστοιχα. Μερικές φορές αυτές οι δύο συναρτήσεις ενεργοποίησης αναφέρονται ως squashng συναρτήσεις επειδή οι είσοδοι για αυτές τις συναρτήσεις «στριμώχνονται» στο πεδίο [0,] ή [-,]. Λέγονται επίσης σιγμοειδείς συναρτήσεις επειδή οι καμπύλες τους τύπου S παρουσιάζουν ομαλότητα και ασυμπτωτικές ιδιότητες. Και οι δύο συναρτήσεις χρησιμοποιούνται συνήθως σε προβλήματα παλινδρόμησης και ταξινόμησης. Για να μπορέσει ένα νευρωνικό δίκτυο να προσεγγίσει μία συνεχή συνάρτηση που δεν περιορίζεται στο διάστημα [0,] ή στο [-,], επιλέγουμε τη συνάρτηση του κόμβου για το επίπεδο εξόδου να είναι ένα σταθμισμένο άθροισμα χωρίς squashng συναρτήσεις. Αυτό είναι ανάλογο με την περίπτωση στην οποία η συνάρτηση ενεργοποίησης είναι μια συνάρτηση ταυτοποίησης (dentty) και οι κόμβοι εξόδου αυτού του τύπου ονομάζονται συχνά γραμμικοί κόμβοι. Τα οπισθοδρομούμενα πολυεπίπεδα δίκτυα ercetron είναι με διαφορά οι πιο συχνά χρησιμοποιούμενες δομές νευρωνικών δικτύων με πολλές εφαρμογές, όπως η αναγνώριση σχεδίων, η επεξεργασία σημάτων, η συμπίεση δεδομένων (data comresson) και ο αυτόματος έλεγχος. 4

42 .5.3 Κανόνας εκμάθησης οπισθοδρόμησης Το οπισθοδρομούμενο πολυεπίπεδο δίκτυο ercetron θα θεωρηθεί για ευκολία ότι χρησιμοποιεί τη λογιστική συνάρτηση σαν συνάρτηση ενεργοποίησης. Σχήμα.4: Κόμβος j ενός οπισθοδρομούμενου πολυεπίπεδου δικτύου ercetron Η είσοδος δικτύου (net nut) x ενός κόμβου ορίζεται σαν το σταθμισμένο άθροισμα των εισερχόμενων σημάτων συν ένα όρο θορύβου (bas). Για παράδειγμα, η είσοδος δικτύου και η έξοδος του κόμβου j στο σχήμα.4 είναι x x j j w, j x w j f ( x j ) ex( x j, ) (.5.) όπου x είναι η έξοδος του κόμβου που βρίσκεται σε οποιοδήποτε από τα προηγούμενα επίπεδα, wj είναι το βάρος της σύνδεσης του με το j και wj είναι ο θόρυβος (bas) του κόμβου j. Επειδή τα βάρη wj είναι στην πραγματικότητα ενδιάμεσες παράμετροι που σχετίζονται με κάθε κόμβο j, η αλλαγή των βαρών ενός κόμβου θα αλλάξει τη συμπεριφορά του κόμβου και αυτό με τη σειρά του θα αλλάξει τη συμπεριφορά όλου του οπισθοδρομούμενου πολυεπίπεδου δικτύου 4

43 ercetron. Το σχήμα.5 δείχνει ένα οπισθοδρομούμενο πολυεπίπεδο δίκτυο ercetron επιπέδων με 3 εισόδους στο επίπεδο εισόδου, 3 νευρώνες στο κρυμμένο επίπεδο και νευρώνες εξόδου στο επίπεδο εξόδου. Σχήμα.5: Οπισθοδρομούμενο πολυεπίπεδο δίκτυο ercetron 3-3- Η οπισθοδρόμηση ή γενικευμένος κανόνας δέλτα εξηγείται στη συνέχεια. Αρχικά, ένα τετραγωνικό μέτρο σφάλματος για το -οστό ζεύγος εισόδου εξόδου ορίζεται ως: E ( d x ), k k k (.5.3) όπου dk είναι η επιθυμητή έξοδος για τον κόμβο k, και xk είναι η πραγματική έξοδος για τον κόμβο k. Για να βρεθεί το βαθμωτό διάνυσμα (gradent vector), ορίζεται ένας όρος σφάλματος για τον κόμβο ως E x. (.5.4) Από τον κανόνα αλυσίδας, η σχέση για το μπορεί να γραφεί ως 43

44 x ( d x ) ( d x ) x ( x ) ό ί ό ό, x (.5.5) x E x j x ( x ) w ώ, j, j j, j j j x x j x όπου wj είναι το βάρος σύνδεσης από τον κόμβο στον κόμβο j και wj είναι μηδέν αν δεν υπάρχει απευθείας σύνδεση. Τότε η ενημέρωση του βάρους wk για απευθείας (on-lne) εκπαίδευση (από σχέδιο σε σχέδιο) είναι w k E E x xk, (.5.6) w x w k k όπου η είναι ο ρυθμός εκμάθησης που επηρεάζει την ταχύτητα σύγκλισης και τη σταθερότητα των βαρών κατά τη διάρκεια της εκμάθησης. Για εκτός γραμμής (off-lne) εκμάθηση, το βάρος σύνδεσης wk ανανεώνεται μόνο μετά την παρουσίαση ολόκληρου του σετ δεδομένων, ή μόνο μετά από μία εποχή: w k E E, (.5.7) w w k k ή σε μορφή διανύσματος, E w we, (.5.8) w 44

45 όπου E E. Αυτό αντιστοιχεί σε ένα τρόπο χρήσης της πραγματικής βαθμωτής κατεύθυνσης που βασίζεται σε ολόκληρο το σετ δεδομένων..6 Γενετικοί Αλγόριθμοι Οι γενετικοί αλγόριθμοι είναι μέθοδοι στοχαστικής βελτιστοποίησης χωρίς παραγώγους που βασίζονται στις αρχές της φυσικής επιλογής και των εξελικτικών διαδικασιών. Προτάθηκαν και ερευνήθηκαν για πρώτη φορά από τον John Holland στο πανεπιστήμιο του Μίσιγκαν το 975 [9]. Σαν ένα εργαλείο βελτιστοποίησης, οι γενετικοί αλγόριθμοι χρησιμοποιούνται σε πολλές εφαρμογές. Οι λόγοι οι οποίοι έκαναν τους γενετικούς αλγόριθμούς τόσο δημοφιλείς είναι ότι δεν εξαρτώνται από παραγώγους και ότι έχουν τα ακόλουθα χαρακτηριστικά: Οι γενετικοί αλγόριθμοι είναι διαδικασίες παράλληλης αναζήτησης που μπορούν να χρησιμοποιηθούν από μηχανές παράλληλης επεξεργασίας για να επιταχύνουν κατά πολύ τις λειτουργίες τους. Οι γενετικοί αλγόριθμοι μπορούν να εφαρμοστούν και σε συνεχή και σε διακριτά προβλήματα βελτιστοποίησης. Οι γενετικοί αλγόριθμοι είναι στοχαστικοί και επομένως πολύ δύσκολα μπορούν να παγιδευτούν σε τοπικά ελάχιστα, τα οποία αναπόφευκτα εμφανίζονται σε κάθε πρακτική εφαρμογή βελτιστοποίησης. Η ευελιξία των γενετικών αλγορίθμων διευκολύνει τόσο τη δομή όσο και τον προσδιορισμό των παραμέτρων σε πολύπλοκα μοντέλα όπως τα νευρωνικά δίκτυα και τα συστήματα ασαφούς συμπερασμού. 45

46 Οι γενετικοί αλγόριθμοι κωδικοποιούν κάθε σημείο σε ένα σύνολο παραμέτρων (ή λύσεων) σε μία αλυσίδα δυαδικών ψηφίων που ονομάζεται χρωμόσωμα, και κάθε σημείο συνδέεται με μία τιμή ταιριάσματος η οποία, για μεγιστοποίηση, είναι συνήθως ίση με την αντικειμενική συνάρτηση που αντιστοιχεί στο σημείο. Αντί για ένα απλό σημείο, οι γενετικοί αλγόριθμοι συνήθως κρατούν ένα σετ σημείων σαν πληθυσμό (ή δεξαμενή γονιδίων), ο οποίος στη συνέχεια εξελίσσεται συνεχώς προς μία καλύτερη συνολική τιμή ταιριάσματος. Σε κάθε γενιά, ο γενετικός αλγόριθμος κατασκευάζει ένα καινούργιο πληθυσμό χρησιμοποιώντας γενετικούς διαχειριστές (oerators) όπως η διασταύρωση και η μετάλλαξη. Τα στοιχεία με μεγαλύτερες τιμές ταιριάσματος είναι πιο πιθανό να επιβιώσουν και να συμμετέχουν σε διαδικασίες διασταύρωσης. Μετά από έναν αριθμό γενεών, ο πληθυσμός περιέχει στοιχεία με καλύτερες τιμές ταιριάσματος. Αυτό είναι ανάλογο με τα μοντέλα του Δαρβίνου για την εξέλιξη με τυχαία μετάλλαξη και φυσική επιλογή. Οι γενετικοί αλγόριθμοι και οι παραλλαγές τους αναφέρονται μερικές φορές ως μέθοδοι βελτιστοποίησης βασισμένες σε πληθυσμούς που βελτιώνουν την απόδοση αναβαθμίζοντας ολόκληρους πληθυσμούς αντί για απλά στοιχεία. Σημαντικά συστατικά των γενετικών αλγορίθμων είναι τα σχέδια κωδικοποίησης, η αξιολόγηση ταιριάσματος, η επιλογή γονέων, οι διαχειριστές διασταυρώσεων και οι διαχειριστές μεταλλάξεων. Αυτά εξηγούνται στη συνέχεια. χέδια κωδικοποίησης Αυτά μετατρέπουν σημεία στο σύνολο λύσεων σε αλυσίδες δυαδικής απεικόνισης. Για παράδειγμα, ένα σημείο (, 6, 9) σε ένα τρισδιάστατο σύνολο λύσεων αναπαριστάται σαν μια δυαδική αλυσίδα:

47 όπου κάθε τιμή συντεταγμένης κωδικοποιείται σαν ένα γονίδιο που αποτελείται από τέσσερα δυαδικά ψηφία χρησιμοποιώντας δυαδική κωδικοποίηση. Άλλα σχέδια κωδικοποίησης, όπως η κωδικοποίηση Gray, μπορούν επίσης να χρησιμοποιηθούν και όταν είναι απαραίτητο μπορούν να γίνουν διευθετήσεις για την κωδικοποίηση αρνητικών ή δεκαδικών. Τα σχέδια κωδικοποίησης παρέχουν ένα τρόπο μεταφοράς της γνώσης που ισχύει για κάθε πρόβλημα μέσα στο γενετικό αλγόριθμο και παίζουν ένα σημαντικό ρόλο στον καθορισμό της απόδοσης του γενετικού αλγορίθμου. Επιπλέον, γενετικοί διαχειριστές, όπως η διασταύρωση και η μετάλλαξη, μπορούν και πρέπει να σχεδιάζονται μαζί με το σχέδιο κωδικοποίησης για κάθε ξεχωριστή εφαρμογή. Αξιολόγηση ταιριάσματος Το πρώτο βήμα μετά τη δημιουργία μιας γενιάς είναι ο υπολογισμός της τιμής ταιριάσματος κάθε στοιχείου του πληθυσμού. Για προβλήματα μεγιστοποίησης, η τιμή ταιριάσματος f του -οστού στοιχείου είναι συνήθως η αντικειμενική συνάρτηση που αντιστοιχεί σε αυτό το στοιχείο. Συνήθως χρειάζονται τιμές ταιριάσματος που είναι θετικές. Μια άλλη προσέγγιση είναι να χρησιμοποιηθεί κατάταξη των στοιχείων του πληθυσμού σαν τις τιμές ταιριάσματός τους. Το πλεονέκτημα αυτής της προσέγγισης είναι ότι η αντικειμενική συνάρτηση δεν χρειάζεται να είναι ακριβής εφόσον μπορεί να παρέχει σωστές πληροφορίες κατάταξης. Επιλογή Μετά την αξιολόγηση πρέπει να δημιουργηθεί ένας νέος πληθυσμός από τη τρέχουσα γενιά. Η διαδικασία επιλογής καθορίζει ποιοι γονείς συμμετέχουν στην παραγωγή απογόνων για την επόμενη γενιά και είναι ανάλογη με την επιβίωση του πιο κατάλληλου στη φυσική επιλογή. Συνήθως τα στοιχεία επιλέγονται για διασταύρωση με μία πιθανότητα επιλογής που εξαρτάται από τις τιμές ταιριάσματός τους. Ο πιο συνηθισμένος τρόπος για να 47

48 γίνει η επιλογή είναι να τεθεί η πιθανότητα επιλογής ίση με f n k f k, όπου n είναι το μέγεθος του πληθυσμού. Ο σκοπός αυτής της μεθόδου επιλογής είναι να επιτρέψει σε στοιχεία με τιμές ταιριάσματος πάνω από το μέσο όρο να πολλαπλασιαστούν και να αντικαταστήσουν τα στοιχεία με τιμές ταιριάσματος κάτω από το μέσο όρο. Διασταύρωση Η διασταύρωση χρησιμοποιείται για να παραχθούν νέα χρωμοσώματα με την ελπίδα να διατηρηθούν τα καλά χαρακτηριστικά από την προηγούμενη γενιά. Η διασταύρωση εφαρμόζεται συνήθως σε επιλεγμένα ζεύγη γονέων με πιθανότητα ίση με ένα δεδομένο ρυθμό διασταύρωσης. Η διασταύρωση ενός σημείου είναι ο πιο βασικός διαχειριστής διασταύρωσης, όπου επιλέγεται τυχαία ένα σημείο διασταύρωσης στο γενετικό κώδικα και τα χρωμοσώματα των γονέων αλλάζουν θέση σε αυτό το σημείο. τη διασταύρωση δύο σημείων, επιλέγονται δύο σημεία διασταύρωσης και το μέρος της αλυσίδας του χρωμοσώματος μεταξύ αυτών των δύο σημείων αλλάζει για να παραχθούν δύο νέα γονίδια. Ομοίως ορίζεται η διασταύρωση n-σημείων. Σχήμα.6: Διαχειριστές διασταύρωσης: α) διασταύρωση ενός σημείου β) διασταύρωση δύο σημείων 48

49 Ο σκοπός της διασταύρωσης είναι όμοιος με αυτόν του ζευγαρώματος στη φυσική εξελικτική διαδικασία, στην οποία οι γονείς περνούν τμήματα των δικών τους χρωμοσωμάτων στα παιδιά τους. Επομένως, μερικά παιδιά μπορούν να ξεπεράσουν τους γονείς τους αν πάρουν «καλά» γονίδια ή γενετικά χαρακτηριστικά από τους γονείς τους. Μετάλλαξη Η διασταύρωση εκμεταλλεύεται τρέχουσες δυνατότητες των γονιδίων, αλλά αν ο πληθυσμός δεν περιέχει όλες τις κωδικοποιημένες πληροφορίες που απαιτούνται για την λύση ενός συγκεκριμένου προβλήματος, τότε κανένας αριθμός συνδυασμών γονιδίων δεν μπορεί να παράξει επιθυμητό αποτέλεσμα. Για τον λόγο αυτό υπάρχει ένας διαχειριστής μετάλλαξης ικανός να παράγει από μόνος του νέα χρωμοσώματα. Ο πιο συνηθισμένος τρόπος για να γίνει μετάλλαξη είναι να αλλάξει ένα ψηφίο με πιθανότητα ίση με ένα δεδομένο πολύ μικρό ρυθμό μετάλλαξης. Ένας διαχειριστής μετάλλαξης μπορεί να εμποδίσει κάθε απλό ψηφίο απ το να συγκλίνει σε μία τιμή μέσα σε ολόκληρο τον πληθυσμό και ακόμα μπορεί να εμποδίσει ολόκληρο τον πληθυσμό απ το να συγκλίνει και να εγκλωβιστεί σε κάποιο τοπικό ελάχιστο. Ο ρυθμός μετάλλαξης επιλέγεται συνήθως μικρός ώστε να μη χάνονται τα καλά χρωμοσώματα που προκύπτουν από τη διασταύρωση. Αν ο ρυθμός μετάλλαξης είναι υψηλός (πάνω από 0.), η απόδοση του γενετικού αλγορίθμου πλησιάζει αυτή μιας πρωτόγονης τυχαίας αναζήτησης. Ψηφίο Μετάλλαξης Σχήμα.7: Διαχειριστής Μετάλλαξης 49

50 Στη συνέχεια περιγράφεται ένας απλός γενετικός αλγόριθμος για προβλήματα μεγιστοποίησης. Βήμα : Αρχικοποίηση ενός πληθυσμού με τυχαία παραγόμενα στοιχεία και αξιολόγηση της τιμής ταιριάσματος κάθε στοιχείου. Βήμα : α) Επιλογή δύο στοιχείων από τον πληθυσμό με πιθανότητες ανάλογες με τις τιμές ταιριάσματός τους. β) Εφαρμογή διασταύρωσης με πιθανότητα ίση με το ρυθμό διασταύρωσης. γ) Εφαρμογή μετάλλαξης με πιθανότητα ίση με το ρυθμό μετάλλαξης. δ) Επανάληψη των βημάτων α) έως δ) έως ότου έχουν παραχθούν αρκετά στοιχεία για να σχηματιστεί η επόμενη γενιά Βήμα 3: Επανάληψη των βημάτων και έως ότου έχει εκπληρωθεί ένα κριτήριο διακοπής. 50

51 ΚΕΥΑΛΑΙΟ 3: Ανάλυση των μοντέλων 3. Εισαγωγή Στο κεφάλαιο αυτό θα γίνει ανάλυση των μοντέλων που χρησιμοποιήθηκαν στην έρευνά μας. Αρχικά θα γίνει μια περιγραφή του μοντέλου ANFIS και θα παρουσιαστεί η δομή του. Στη συνέχεια θα εξεταστεί κάθε επίπεδο του μοντέλου ξεχωριστά και θα παρουσιαστούν όλοι οι υπολογισμοί που γίνονται σε κάθε επίπεδο. Ακόμα, θα παρουσιαστεί ένα αριθμητικό παράδειγμα όπου θα φαίνονται αναλυτικά όλοι οι υπολογισμοί που πραγματοποιεί το ANFIS σε κάθε επίπεδο, έτσι ώστε να γίνει πλήρως κατανοητή η λειτουργία του μοντέλου. Τέλος, θα γίνει μια περιγραφή του νευρωνικού δικτύου που χρησιμοποιήθηκε. 3. Περιγραφή του μοντέλου ANFIS Το μοντέλο που χρησιμοποιήθηκε αποτελείται από τρεις εισόδους και μία έξοδο. Το μοντέλο παίρνει σαν εισόδους συνεχόμενες τιμές της μετοχής της Εθνικής Τράπεζας και σαν έξοδο δίνει την πρόβλεψη της τιμής της μετοχής για την επόμενη ημέρα. Όλες οι τιμές της μετοχής έχουν μετασχηματιστεί στη μορφή του ρυθμού μεταβολής σύμφωνα με τη σχέση: ή( k) ή( k ) ή( k ) 5

52 Η δομή του μοντέλου παρουσιάζεται στο ακόλουθο σχήμα: Σχήμα 3.: Δομή του μοντέλου Από το σχήμα φαίνεται ότι το ANFIS είναι τύπου Sugeno. Το ασαφές μοντέλο τύπου Sugeno προτάθηκε από τους Tagak, Sugeno και Kang σε μια προσπάθεια να αναπτύξουν μια συστηματική προσέγγιση που θα τους επιτρέπει την παραγωγή ασαφών κανόνων από ένα συγκεκριμένο σύνολο δεδομένων εισόδουεξόδου. Ένας τυπικός ασαφής κανόνας για ένα ασαφές μοντέλο τύπου Sugeno έχει την ακόλουθη μορφή: αν x είναι A και y είναι B τότε z = f(x,y) όπου τα A και B είναι ασαφή σύνολα στα αίτια (antecedent), ενώ το z = f(x,y) είναι μια σαφή (crs) συνάρτηση στο συμπέρασμα (consequent). Συνήθως το f(x,y) είναι ένα πολυώνυμο των μεταβλητών εισόδου x και y, αλλά μπορεί να είναι οποιαδήποτε συνάρτηση αρκεί να μπορεί να περιγράψει κατάλληλα την έξοδο του μοντέλου εντός της ασαφούς περιοχής που καθορίζεται από τα αίτια του κανόνα. Εδώ εξετάζεται ένα πρώτου βαθμού ασαφές μοντέλο τύπου Sugeno 5

53 το οποίο σημαίνει ότι το f(x,y) είναι ένα πρώτου βαθμού πολυώνυμο. Στο μοντέλο ισχύουν οι παρακάτω κανόνες: Αν (t) είναι small και (t-) είναι small και (t-) είναι small τότε (t+) είναι Αν (t) είναι small και (t-) είναι small και (t-) είναι large τότε (t+) είναι Αν (t) είναι small και (t-) είναι large και (t-) είναι small τότε (t+) είναι 3 Αν (t) είναι small και (t-) είναι large και (t-) είναι large τότε (t+) είναι 4 Αν (t) είναι large και (t-) είναι small και (t-) είναι small τότε (t+) είναι 5 Αν (t) είναι large και (t-) είναι small και (t-) είναι large τότε (t+) είναι 6 Αν (t) είναι large και (t-) είναι large και (t-) είναι small τότε (t+) είναι 7 Αν (t) είναι large και (t-) είναι large και (t-) είναι large τότε (t+) είναι 8 Για παράδειγμα, αν ο ρυθμός μεταβολής τη χρονική στιγμή (t) είναι small και ο ρυθμός μεταβολής τη χρονική στιγμή (t-) είναι small και ο ρυθμός μεταβολής τη χρονική στιγμή (t-) είναι small τότε ο ρυθμός μεταβολής τη χρονική στιγμή (t+) είναι O w * x q * y s * z ). 4, ( r Λεπτομερέστερη αναφορά στους κανόνες και πως αυτοί χρησιμοποιούνται από το μοντέλο για την πραγματοποίηση των υπολογισμών θα γίνει στην ενότητα 3.3. Οι συναρτήσεις συμμετοχής των εισόδων (t), (t-) και (t-) είναι οι ίδιες, αφού και οι τρεις συναρτήσεις είναι τύπου gaussmf. Η εξίσωση των συναρτήσεων τύπου gaussmf είναι: ( x) e A xc a 53

54 όπου τα a, b, c είναι το σύνολο των παραμέτρων. Στο σχήμα 3. φαίνονται οι συναρτήσεις συμμετοχής των εισόδων (t), (t-) και (t-), ενώ στο σχήμα 3.3 είναι οι προκύπτουσες επιφάνειες εισόδου-εξόδου: Σχήμα 3.: Συναρτήσεις συμμετοχής 54

55 Σχήμα 3.3: Συνολικές επιφάνειες εισόδου-εξόδου 55

56 outut (t+) outut (t+) outut (t+) outut (t+) outut (t+) outut (t+) Στο σχήμα 3.3 παρουσιάζονται οι τρισδιάστατες επιφάνειες του ασαφούς μοντέλου. Όπως φαίνεται οι επιφάνειες είναι σχετικά ομαλές στα σημεία γύρω από το μηδέν, κάτι το οποίο είναι πολύ φυσικό αφού τα περισσότερα δεδομένα κινούνται γύρω από αυτό το σημείο. Αντιθέτως, στα ακραία σημεία παρατηρούνται αρκετές ανωμαλίες και αυτό οφείλεται στην έλλειψη επαρκούς αριθμού δεδομένων στις περιοχές αυτές. Το γεγονός αυτό εξηγείται καλύτερα με την εξέταση των γραφημάτων διασποράς στα επόμενα σχήματα: Tranng data 0. Tranng data 0. Tranng data nut (t-) nut (t-) nut (t) Σχήμα 3.4: Γραφήματα διασποράς δεδομένων εκπαίδευσης 0.05 Checkng data Checkng data Checkng data nut (t-) nut (t-) nut (t) Σχήμα 3.5: Γραφήματα διασποράς δεδομένων ελέγχου 56

57 3.3 Αρχιτεκτονική του ANFIS Σε αυτή την παράγραφο θα εξεταστεί η δομή του μοντέλου ANFIS. Συγκεκριμένα, θα παρουσιαστούν τα επίπεδα στα οποία χωρίζεται το μοντέλο και ποιοι υπολογισμοί γίνονται σε κάθε επίπεδο ούτως ώστε να προκύψει το τελικό αποτέλεσμα. Όπως αναφέρθηκε στην προηγούμενη ενότητα, το μοντέλο είναι ένα ασαφές μοντέλο τύπου Sugeno πρώτου βαθμού το οποίο έχει τρεις εισόδους και μία έξοδο. Επίσης, στο μοντέλο ισχύουν οκτώ ασαφείς κανόνες οι οποίοι είναι οι εξής: Αν (t) είναι small και (t-) είναι small και (t-) είναι small τότε (t+) είναι Αν (t) είναι small και (t-) είναι small και (t-) είναι large τότε (t+) είναι Αν (t) είναι small και (t-) είναι large και (t-) είναι small τότε (t+) είναι 3 Αν (t) είναι small και (t-) είναι large και (t-) είναι large τότε (t+) είναι 4 Αν (t) είναι large και (t-) είναι small και (t-) είναι small τότε (t+) είναι 5 Αν (t) είναι large και (t-) είναι small και (t-) είναι large τότε (t+) είναι 6 Αν (t) είναι large και (t-) είναι large και (t-) είναι small τότε (t+) είναι 7 Αν (t) είναι large και (t-) είναι large και (t-) είναι large τότε (t+) είναι 8 Λαμβάνοντας υπόψη τα στοιχεία που αναφέρθηκαν παραπάνω φαίνεται στη συνέχεια (Σχήμα 3.6) η αρχιτεκτονική του μοντέλου ANFIS. Ύστερα θα παρουσιαστεί αναλυτικά τι συμβαίνει σε κάθε επίπεδο του μοντέλου και τέλος θα γίνει χρήση ενός παραδείγματος για την καλύτερη κατανόησή του. (Η έξοδος του -οστού επιπέδου στο επίπεδο l συμβολίζεται ως Ol,.) 57

58 x y z Layer A A B B C C Layer Layer 3 Layer 4 Π Π Π Π Π Π Π Π w w3 w4 w5 w6 w7 w8 Ν Ν Ν Ν Ν Ν Ν Ν w w3 w4 w5 w6 w7 w8 w f w3 f3 w4 f4 w5 f5 w6 f6 w7 f7 w8 f8 Layer 5 Σ f w w w f Σχήμα 3.6: Αρχιτεκτονική του ANFIS 58

59 Επίπεδο : Κάθε κόμβος σε αυτό το επίπεδο είναι ένας προσαρμόσιμος (adatve) κόμβος με μία συνάρτηση κόμβου. O O O ( ) για =, ή, A x ( ) για = 3,4 ή, B y ( ) για = j+4 και j=,,, C y όπου x (ή y ή z ) η είσοδος στον κόμβο j A (ή B ή C j )- η γλωσσική μεταβλητή (small, large, κλπ.) που σχετίζεται με αυτή τη συνάρτηση του κόμβου. Με άλλα λόγια, το O, είναι ο βαθμός συμμετοχής του A (= A, A, B, B, C ή C ) και καθορίζει το βαθμό στον οποίο η είσοδος x (ή y ή z ) ικανοποιεί τον ποσοτικοποιητή A. Εδώ η συνάρτηση συμμετοχής του A είναι τύπου Gaussan: ( x) e A xc a όπου a, c είναι το σύνολο παραμέτρων. Καθώς οι τιμές αυτών των παραμέτρων αλλάζουν, οι συναρτήσεις ποικίλλουν ανάλογα, παρουσιάζοντας έτσι διάφορες μορφές της συνάρτησης συμμετοχής για το ασαφές σύνολο A. Οι παράμετροι σε αυτό το επίπεδο αναφέρονται ως αρχικοί παράμετροι (remse arameters). Επίπεδο : Κάθε κόμβος σε αυτό το επίπεδο είναι ένας σταθερός (fxed) κόμβος Π, του οποίου η έξοδος είναι το γινόμενο όλων των εισερχόμενων σημάτων: 59

60 O O w x)* ( y)* ( ), για =, ( B C, A z w A ( x)* ( y)* ( ) B C, για = 3,4, z O, w A x)* B ( y)* C ( z), για = j+4, j=, O (, w A z ( x)* B ( y)* C j j ( ), για = j+4, j=3,4 Επίπεδο 3: Κάθε κόμβος σε αυτό το επίπεδο είναι ένας σταθερός κόμβος Ν. Ο - ιστός κόμβος υπολογίζει το λόγο της βαθμού ενεργοποίησης (frng strength)του - οστού κανόνα στο άθροισμα των βαθμών ενεργοποίησης όλων των κανόνων: O 3, w w, =,,3,4,5,6,7,8. w w w w w w w w Για ευκολία, οι έξοδοι αυτού του επιπέδου ονομάζονται κανονικοποιημένοι βαθμοί ενεργοποίησης (normalzed frng strengths) Επίπεδο 4: Κάθε κόμβος σε αυτό το επίπεδο είναι ένας προσαρμόσιμος κόμβος με μία συνάρτηση κόμβου. O w * f w *( * x q * y s * z r ) 4, όπου: w - η έξοδος του επιπέδου 3, q, s, r - το σύνολο παραμέτρων. Οι παράμετροι σε αυτό το επίπεδο αναφέρονται ως επακόλουθοι (consequent arameters). Επίπεδο 5: Ο μοναδικός κόμβος σε αυτό το επίπεδο είναι ένας σταθερός κόμβος Σ που υπολογίζει τη συνολική έξοδο σαν το ολικό άθροισμα όλων των εισερχόμενων σημάτων: 60

61 overall outut O 5, w * f w * f w Αφού αναλύθηκε κάθε επίπεδο ξεχωριστά θα γίνει στη συνέχεια η παρουσίαση ενός παραδείγματος. Στο επόμενο σχήμα φαίνεται πως το μοντέλο ANFIS βρίσκει το αποτέλεσμα που προκύπτει για τρεις τυχαίες τιμές t, t - και t-: Σχήμα 3.7: Οι υπολογισμοί του ANFIS Από το σχήμα φαίνεται ότι αν t = , t- = και t- = τότε t+ = Στη συνέχεια θα παρουσιαστεί πως προκύπτει αυτό το αποτέλεσμα. Επίπεδο : Εδώ χρησιμοποιείται η συνάρτηση συμμετοχής Gaussan για να υπολογιστεί το O, για κάθε κόμβο. Το σύνολο παραμέτρων φαίνεται στον membersh functon edtor και υπολογίζεται αυτόματα. Έτσι ισχύει: a c, a, c , 0.7, ,0.036, αν η γλωσσική μεταβλητή είναι small και 6

62 a c, a, c 0.03, 0.038, ,0.3, αν η γλωσσική μεταβλητή είναι large όπου a,c είναι για την αριστερή καμπύλη της συνάρτησης Gaussan και a,c είναι για την δεξιά καμπύλη. Το σύνολο αυτό των παραμέτρων ισχύει μόνο για την είσοδο t. Στο σχήμα 3.8 φαίνεται ο Membersh functon edtor για την είσοδο t, ενώ στα σχήματα 3.9 και 3.0 φαίνεται ο Membersh functon edtor για τις εισόδους t- και t- καθώς και το σύνολο παραμέτρων τους. Σχήμα 3.8: Membersh functon edtor για t 6

63 Σχήμα 3.9: Membersh functon edtor για t- 63

64 Σχήμα 3.0: Membersh functon edtor για t- 64

65 Από το σχήμα 3.7 φαίνεται ότι τα A, B και C είναι small και άρα στη δεξιά καμπύλη, ενώ τα A, B και C είναι large και άρα στην αριστερή καμπύλη. Αυτό σημαίνει ότι για τα A, B και C θα χρησιμοποιηθεί το σύνολο παραμέτρων a,c και για τα A, B και C το σύνολο παραμέτρων a,c. Τώρα χρησιμοποιώντας όλα αυτά και για x = , y = και z = προκύπτει ότι: O, A ( x) O, A ( x) O,3 B ( y) O,4 B ( y) O ,5 C ( z).6* 0 O,6 C ( z) Επίπεδο : Εδώ γίνονται οι υπολογισμοί χρησιμοποιώντας τις εξισώσεις που αναφέρθηκαν παραπάνω και προκύπτουν τα ακόλουθα: O O O O O O 4 5, w A ( x)* ( y)* ( z) *0.366*.6*0 5.9* 0 B C, w A x)* B ( y)* C ( z) *0.366* ( ( x)* ( y)* B C ( x)* ( y)* B C ( x)* ( y)* B C ( x)* ( y)* B C 4 4,3 w3 A ( z) **.6*0.6* 0,4 w4 A ( z) ** ,5 w5 A ( z) 0.96*0.366*.6*0 5.4* 0,6 w6 A ( z) 0.96*0.366*

66 O O 4 4,7 w7 A ( x)* ( y)* ( z) 0.96**.6*0.48* 0 B C,8 w8 A x)* B ( y)* C ( z) 0.96** ( Επίπεδο 3: Όπως και στο επίπεδο εδώ πραγματοποιούνται οι υπολογισμοί με χρήση της εξίσωσης που αναφέρθηκε παραπάνω: w 5.9* *0 5 w 5.9*0 5 O3, w.3* w O O O O O O O w *0 3, w w 4 w3.6*0 5 3,3 w3 6.30* w w ,4 w w 5 w5 5.43*0 5 3,5 w5.* w w ,6 w w 4 w7.48*0 5 3,7 w7 5.78* w w ,8 w8 8 w *

67 Επίπεδο 4: Για να μπορούν να πραγματοποιηθούν οι απαραίτητοι υπολογισμοί σε αυτό το επίπεδο χρειάζεται το σύνολο παραμέτρων για κάθε κόμβο. Αυτές οι παράμετροι φαίνονται στον membersh functon edtor επιλέγοντας t+ και είναι:, q, s, r.94, 8.5,.575,.5, q, s, r 4.53,.906,.0, , q3, s3, r , 4.858, 6.49,.46 4, q4, s4, r4 5.59, 3.038, 0.64, , q5, s5, r5.483, 5.085,.35, , q6, s6, r6 7.8, 3.374, 3.04, , q7, s7, r7.6, 3.66, 4.637, q, s, r 5.505, 6.06, 0.485, αν η γλωσσική μεταβλητή είναι αν η γλωσσική μεταβλητή είναι αν η γλωσσική μεταβλητή είναι 3 αν η γλωσσική μεταβλητή είναι 4 αν η γλωσσική μεταβλητή είναι 5 αν η γλωσσική μεταβλητή είναι 6 αν η γλωσσική μεταβλητή είναι 7 αν η γλωσσική μεταβλητή είναι 8 8, Σχήμα 3.: Σύνολο παραμέτρων για γλωσσική μεταβλητή 67

68 Σχήμα 3.: Σύνολο παραμέτρων για γλωσσική μεταβλητή Σχήμα 3.3: Σύνολο παραμέτρων για γλωσσική μεταβλητή 3 68

69 Σχήμα 3.4: Σύνολο παραμέτρων για γλωσσική μεταβλητή 4 Σχήμα 3.5: Σύνολο παραμέτρων για γλωσσική μεταβλητή 5 69

70 Σχήμα 3.6: Σύνολο παραμέτρων για γλωσσική μεταβλητή 6 Σχήμα 3.7: Σύνολο παραμέτρων για γλωσσική μεταβλητή 7 70

71 Σχήμα 3.8: Σύνολο παραμέτρων για γλωσσική μεταβλητή 8 Χρησιμοποιώντας τα σύνολα παραμέτρων προκύπτουν τα ακόλουθα: O 4, * r w ( * x q * y s * z ) 5.3*0 *(.94* * * ).57*0 O w ( * x q * y s * z ) 4, * r 0.40*( 4.53* * * ) O 4,3 3 * r3 w ( * x q * y s * z ) *0 *( 4.063* * * ).04*0 O w ( * x q * y s * z ) 4,4 4 * r4 0.38*(5.59* * * ) 0.03 O 4,5 5 * r5 w ( * x q * y s * z ).*0 5 *(.483* * * ).95*

72 O 4,6 6 * r6 w ( * x q * y s * z ) 0.8*(7.8* * * ) 0.0 O 4,7 7 * r7 w ( * x q * y s * z ) *0 *(.6* * * ) 8.56*0 O w ( * x q * y s * z ) 4,8 8 * r *( 5.505* * * ) Επίπεδο 5: Στο τελευταίο αυτό επίπεδο αυτό υπολογίζεται η τιμή για t+ με χρήση της εξίσωσης που αναφέρθηκε στη θεωρία: 8 O 5, w * f.57* * * * Περιγραφή του νευρωνικού δικτύου Το νευρωνικό δίκτυο που χρησιμοποιήθηκε στην παρούσα ερευνητική εργασία χρησιμοποιεί γενετικούς αλγορίθμους για την εκπαίδευσή του. Είναι ένα προσωτροφοδοτούμενο νευρωνικό δίκτυο ενός επιπέδου με δύο νευρώνες. Η αρχιτεκτονική του νευρωνικού δικτύου εμφανίζεται στο ακόλουθο σχήμα. 7

73 Σχήμα 3.9: Αρχιτεκτονική του νευρωνικού δικτύου Το μέγεθος του πληθυσμού που χρησιμοποιεί ο γενετικός αλγόριθμος είναι 50 ενώ ο αριθμός των γενεών είναι 0. Ο αριθμός των επαναλήψεων εκπαίδευσης που χρησιμοποιήθηκαν είναι Η διαδικασία που χρησιμοποιήθηκε για την εκπαίδευση του νευρωνικού δικτύου είναι η εξής:. Έγινε αφαίρεση της τάσης ώστε να ομαλοποιηθούν τα δεδομένα εισόδου.. Με τη χρήση μιας squashng συνάρτησης έγινε συμπίεση των δεδομένων στο διάστημα [0,]. 3. Επιλέχθηκαν τυχαία οι αρχικές τιμές για τις παραμέτρους του νευρωνικού δικτύου. Ο αριθμός των παραμέτρων εξαρτάται από των αριθμό των επιπέδων και τον αριθμό των νευρώνων και υπολογίστηκε ότι είναι ίσος με. 4. Έγιναν επαναλήψεις του γενετικού αλγορίθμου ούτως ώστε να βρεθούν οι βέλτιστες τιμές για τις παραμέτρους του νευρωνικού δικτύου. 5. Έγινε αποσυμπίεση των δεδομένων για να βρεθούν οι πραγματικές τιμές των παραμέτρων. 73