Βελτιστοποίηση της λειτουργίας του κεντρικού λεβητοστασίου του ΑΠΘ με τη χρήση γενετικών αλγορίθμων και κανόνων ασαφούς λογικής

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ Η/Υ Βελτιστοποίηση της λειτουργίας του κεντρικού λεβητοστασίου του ΑΠΘ με τη χρήση γενετικών αλγορίθμων και κανόνων ασαφούς λογικής ΚΑΚΑΛΟΥ ΧΡΙΣΤΙΝΑ-ΑΣΗΜΙΝΑ ΑΕΜ: 4757 ΚΟΣΒΥΡΑ ΑΛΕΞΑΝΔΡΑ ΑΕΜ: 5998 ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ : ΞΕΝΟΣ ΘΩΜΑΣ ΘΕΣΣΑΛΟΝΙΚΗ, ΙΟΥΝΙΟΣ 2014

2 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ Η/Υ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Βελτιστοποίηση της λειτουργίας του κεντρικού λεβητοστασίου του ΑΠΘ με τη χρήση γενετικών αλγορίθμων και κανόνων ασαφούς λογικής ΚΑΚΑΛΟΥ ΧΡΙΣΤΙΝΑ-ΑΣΗΜΙΝΑ ΑΕΜ: 4757 ΚΟΣΒΥΡΑ ΑΛΕΞΑΝΔΡΑ ΑΕΜ: 5998 ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ : ΞΕΝΟΣ ΘΩΜΑΣ ΘΕΣΣΑΛΟΝΙΚΗ, ΙΟΥΝΙΟΣ

3 Περιεχόμενα Ευχαριστίες... 5 Περίληψη... 6 Abstract Εισαγωγή Στοιχεία Θεωρίας Ασαφής Λογική Εισαγωγή Ασαφή Σύνολα και Συναρτήσεις Συμμετοχής Ασαφείς Σχέσεις και Ασαφείς Κανόνες Ασαφής Συλλογιστική Ασαφή Συστήματα Συμπερασμού Ασαφής Βάση Κανόνων (Fuzzy Rule Base) Ασαφοποιητής (Fuzzifier) Απο-ασαφοποιητής (Defuzzifier) Γενετικός Προγραμματισμός Εισαγωγή Χαρακτηριστικά Γενετικών Αλγορίθμων Απλός Γενετικός Αλγόριθμος Νευρο-ασαφή Συστήματα Εισαγωγή Νευρωνικά Δίκτυα Γενικά Δομή και Λειτουργία Νευρωνικών Δικτύων Εκπαίδευση και Ενθύμηση Οργάνωση Νευρωνικών Δικτύων Νευρο-ασαφή Συστήματα (Neuro-Fuzzy Inference systems)

4 3. Η μέθοδος ομαδοποίησης Substractive Clustering και η συνάρτηση του MATLAB genfis Εισαγωγή Μέθοδοι ομαδοποίησης δεδομένων Η μέθοδος Substractive Clustering και η αναγνώριση του μοντέλου Βελτιστοποίηση των παραμέτρων του τμήματος απόδοσης κανόνων με τη μέθοδο RLSE Η συνάρτηση του MATLAB genfis Συμπεράσματα Παρατηρήσεις Ο αλγόριθμος ANFIS Εισαγωγή Η Υβριδική Μέθοδος BP/LSE Αρχιτεκτονική του ANFIS Η συνάρτηση του MATLAB anfis Παρατηρήσεις Εφαρμογή- Αναγνώριση της Δομής και Εκπαίδευση του Ασαφούς Μοντέλου Εισαγωγή Αναγνώριση Μοντέλου Γενικά Δεδομένα Ορισμός Εισόδων Εξόδου Δημιουργία Μοντέλων και Καθορισμός του Αριθμού των Ασαφών Κανόνων Απόδοση Μοντέλων Βελτιστοποίηση των μη γραμμικών παραμέτρων των μοντέλων με χρήση της συνάρτησης anfis Απόδοση των μοντέλων για τα δεδομένα εκπαίδευσης και για άγνωστα δεδομένα ελέγχου Απόδοση των μοντέλων στα δεδομένα εκπαίδευσης Απόδοση των μοντέλων στα δεδομένα ελέγχου Σύγκριση των απόδοσης των δύο μοντέλων Ανάλυση και αξιολόγηση των γραφημάτων

5 6. Συμπεράσματα και Τελικές Παρατηρήσεις Βιβλιογραφία Παράρτημα Κώδικας στο MATLAB Α) Μοντέλο με 3 κανόνες B) Μοντέλο με 5 κανόνες

6 Ευχαριστίες Θα θέλαμε να ευχαριστήσουμε τον επιβλέποντα καθηγητή κύριο Ξένο Θωμά για την καθοδήγηση, την πολύτιμη στήριξη, την υπομονή και την ενθάρρυνσή του καθ όλη τη διάρκεια της εκπόνησης της παρούσας διπλωματικής εργασίας. Επίσης ευχαριστούμε τους φίλους μας, οι οποίοι με τη παρέα τους έκαναν τη διαδρομή αυτή πιο ανάλαφρη και ευχάριστη καθώς και το Μάρκο και τη Λίζα, που άντεξαν ως την ολοκλήρωση της εργασίας αυτής παρά τις τεχνικές δυσκολίες. Τέλος, θα θέλαμε να πούμε ένα μεγάλο ευχαριστώ στους γονείς μας, που μας στήριξαν υλικά και ηθικά όλα αυτά τα χρόνια των σπουδών μας. Τους ευγνωμονούμε για την πίστη τους στις δυνατότητες και τα όνειρά μας, ακόμα και όταν εμείς οι ίδιες χάναμε το δρόμο μας. 5

7 Περίληψη Σ αυτήν την εργασία επιχειρείται η εύρεση του βέλτιστου μοντέλου πρόβλεψης της θερμοκρασίας ενός λέβητα βάσει της προβλεπόμενης θερμοκρασίας περιβάλλοντος και των προηγούμενων τιμών λειτουργίας του λέβητα. Μοντελοποιούνται αρχικά δύο πιθανά νευρο-ασαφή συστήματα με βάση τη γνωστή συμπεριφορά λειτουργίας του λέβητα, έπειτα εκπαιδεύονται με τη χρήση νευρωνικού δικτύου και αξιολογείται η απόδοσή τους σε γνωστά και άγνωστα δεδομένα ώστε να προκύψει το τελικό βέλτιστο μοντέλο. Λέξεις Κλειδιά: Ασαφές Σύστημα, Νευρωνικό Δίκτυο, Πρόβλεψη Θερμοκρασίας, Νευρο-ασαφές Σύστημα, Εκπαίδευση Abstract In this paper we attempt to find the optimal model for the forecast of boiler temperature based on the predicted environmental temperature and the previous operating values of the boiler. Initially, two possible neuro-fuzzy systems are modeled based on the known behavior of the boiler operation, then the two models are trained using a neural network and their performance is evaluated using known and unknown data in order to obtain the final optimal model. Keywords: Fuzzy System, Neural Network, Temperature Forecast, Neuro-Fuzzy System, Training 6

8 1.Εισαγωγή Σκοπός της εργασίας αυτής είναι η βελτιστοποίηση της ενεργειακής διαχείρισης του κεντρικού λεβητοστασίου του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης. Συγκεκριμένα, χρησιμοποιούμε την πρόβλεψη της θερμοκρασίας περιβάλλοντος, που δίνει η μετεωρολογική υπηρεσία, καθώς και τις μετρήσεις της θερμοκρασίας του λέβητα των τριών προηγούμενων ωρών, έτσι ώστε να μπορούμε να προβλέπουμε ανά πάσα στιγμή τη βέλτιστη θερμοκρασία λειτουργίας κάθε λέβητα. Το Σύστημα Εποπτικού Ελέγχου Ηλεκτρικών Υποσταθμών και Θέρμανσης του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης δίνει τη δυνατότητα εποπτείας και ελέγχου του κεντρικού λεβητοστασίου και ειδικοί χειριστές ελέγχουν τη θερμοκρασία λειτουργίας των πέντε λεβήτων. Να σημειωθεί ότι συνήθως βρίσκονται σε λειτουργία ένας ή δύο λέβητες, ενώ οι υπόλοιποι παίζουν υποστηρικτικό ρόλο. Το εν λόγω σύστημα δημιουργεί αναφορές (reports) με τις τιμές θερμοκρασίας εισαγωγής/εξαγωγής νερού καθώς και τη θερμοκρασία περιβάλλοντος. Στόχος μας είναι να δημιουργηθεί ένα μοντέλο το οποίο κάνοντας χρήση αυτών των δεδομένων θα λειτουργεί με ενεργειακά οικονομικό τρόπο και θα ελαχιστοποιεί την ανάγκη συνεχούς παρακολούθησης και παρέμβασης στην καθημερινή λειτουργία του. Έτσι φαίνεται ξεκάθαρα ότι ψάχνουμε ένα μοντέλο που θα παίζει όχι μόνο το ρόλο του χειριστή αλλά και του εκπαιδευτή, ώστε να μπορεί να μαθαίνει και να αναπροσαρμόζει τη συμπεριφορά του σύμφωνα με τις εκάστοτε συνθήκες. Οδηγούμαστε, λοιπόν, στην επιλογή ενός νευρο-ασαφούς συστήματος (neuro-fuzzy system) το οποίο συνδυάζει την εκπαίδευση μέσω νευρωνικών δικτύων με την ασαφή συλλογιστική. Θα χρησιμοποιήσουμε το ασαφές μοντέλο TSK, το οποίο θα αρχικοποιηθεί μέσω της μεθόδου ομαδοποίησης δεδομένων Subtractive Clustering και της μεθόδου βελτιστοποίησης Linear Least Squares Estimation. Στη συνέχεια το αρχικό αυτό μοντέλο εισάγεται σε ένα Γενικευμένο Νευρωνικό Δίκτυο Πρόσθιας Τροφοδότησης (Feed Forward Neural Network-FFNN) και γίνεται η εκπαίδευσή του με τη χρήση υβριδικού αλγορίθμου που συνδυάζει τη μέθοδο Back Propagation Gradient Descend (BP/GD) και τη μέθοδο Least Square Error. Η υλοποίηση αυτής της διαδικασίας γίνεται με χρήση του προγράμματος MATLAB, όπου και χρησιμοποιούνται οι συναρτήσεις genfis2 και anfis. Προκύπτουν δύο υποψήφια μοντέλα 7

9 και υπολογίζεται η απόδοσή τους σε άγνωστα δεδομένα. Από την αξιολόγηση των αποτελεσμάτων προκύπτει το τελικό βέλτιστο μοντέλο. Τη παρούσα διπλωματική συνοδεύει CD δεδομένων που περιέχει όλα τα αρχεία του κώδικα (m-files) που έχει γραφεί στο περιβάλλον του MATLAB, συμπληρωματικά και βοηθητικά αρχεία καθώς και τα δεδομένα που χρησιμοποιήθηκαν. 8

10 2.Στοιχεία Θεωρίας 2.1 Ασαφής Λογική Εισαγωγή Σε αυτή την ενότητα θα παρουσιάσουμε τη θεωρία της ασαφούς λογικής, ώστε να κατανοήσουμε την έννοια της συγκεκριμένης λογικής, τη δομή της αλλά και το μοντέλο που θα υλοποιήσουμε. Θα εξετάσουμε δηλαδή ένα ολοκληρωμένο ασαφές σύστημα. Η κλασική μαθηματική θεωρία μεταβλητών, με τα ντετερμινιστικά εργαλεία που αυτή χρησιμοποιεί, είναι δύσκολο να περιγράψει την πληροφορία που περιέχεται στη φυσική γλώσσα αλλά και στον ανθρώπινο τρόπο σκέψης, αντίληψης και έκφρασης. Έτσι, για να μοντελοποιηθεί ο ανθρώπινος τρόπος σκέψης εισήχθηκε η έννοια των λεκτικών μεταβλητών (linguistic variables) ή ασαφών μεταβλητών. Οι μεταβλητές μας δηλαδή μετατρέπονται σε λέξεις. Στη λογική αυτή οδήγησε η αρχή της ασυμβατότητας. Με βάση αυτή την αρχή, όσο αυξάνεται η πολυπλοκότητα ενός συστήματος, η ικανότητα μας να κάνουμε ακριβείς προτάσεις σχετικά με τη συμπεριφορά του εκμηδενίζονται. Από ένα σημείο και μετά η ακρίβεια και η σημαντικότητα των προτάσεων είναι έννοιες αποκλειόμενες. Σε αντίθεση, λοιπόν, με την άκαμπτη δυαδική λογική, οι ασαφείς μεταβλητές έχουν τιμή συμμετοχής και όχι αριθμητική τιμή. Στη συνέχεια παρουσιάζονται τα ασαφή σύνολα, που είναι, ουσιαστικά, η βάση της θεωρίας, και έπειτα περιγράφεται ο μηχανισμός του ασαφούς συλλογισμού αλλά και πώς αυτός αξιοποιείται στη δημιουργία ασαφών συστημάτων. Τέλος παρουσιάζονται τα μοντέλα TSK που θα χρησιμοποιήσουμε στην παρούσα εργασία Ασαφή Σύνολα και Συναρτήσεις Συμμετοχής Η μαθηματική θεμελίωση της ασαφούς λογικής βασίζεται στη θεωρία των ασαφών συνόλων, η οποία μπορεί να θεωρηθεί γενίκευση της κλασσικής θεωρίας συνόλων. Η τελευταία στηρίζεται σε ένα αξίωμα βασισμένο στη διχοτομία (ένα στοιχείο ανήκει ή δεν ανήκει σε ένα σύνολο). Αμφισβητώντας τη διχοτομία, η κλασσική θεωρία συνόλων δίνει τη θέση της στη θεωρία ασαφών συνόλων. Η έννοια της ασάφειας συνδέεται με την αοριστία 9

11 και τη σχετικότητα που υπάρχει στον ορισμό και τη χρήση συμβόλων. Πιο συγκεκριμένα, η έννοια του ασαφούς συνόλου βασίζεται στην ιδέα πως για ένα στοιχείο δεν είναι απαραίτητο να καθοριστεί μονοσήμαντα αν ανήκει ή όχι σε ένα σύνολο, αλλά μπορεί να ανήκει στο σύνολο αυτό σε κάποιο βαθμό. Ο περιορισμός να έχουμε έναν μερικό βαθμό συμμετοχής στο σύνολο είναι συνέπεια της ανάγκης να εισάγουμε στην περιγραφή του συστήματος την πολυπλοκότητα που υπάρχει στην πραγματικότητα. Το να ορίσουμε τα κατάλληλα σύνολα, δηλαδή τις κατηγορίες, και να χρησιμοποιήσουμε διάφορες λειτουργίες για να τα χειριστούμε, είναι ο πρωταρχικός σκοπός της μοντελοποίησης. Σε διάφορες εφαρμογές, από την αναγνώριση εικόνας έως τα συστήματα ελέγχου, η ιδέα της κατηγορίας (ή του συνόλου) είναι απαραίτητη για τον καθορισμό των μεταβλητών, των παραμέτρων και των ορίων του συστήματος. Με αυτόν τον τρόπο είμαστε σε θέση να αναπτύξουμε μοντέλα που εύκολα μπορούν να ρυθμίζονται στα χαρακτηριστικά ενός συστήματος αλλά θα έχουν και ιδιότητες αναπροσαρμογής. Οδηγούμαστε έτσι σε αναπαραστάσεις που δίνουν ευελιξία στο χειρισμό των διάφορων μεγεθών, τα οποία αναπαρίστανται με τη βοήθεια ασαφών συνόλων. Αν είναι ένας χώρος αναφοράς και το είναι ένα στοιχείο του, τότε το ασαφές σύνολο που ορίζεται στον μπορεί να παρασταθεί ως: { } όπου το είναι ο βαθμός συμμετοχής του στοιχείου στο σύνολο. Κάθε ζευγάρι ονομάζεται μονάδα (singleton). Δηλαδή κάθε μονάδα αποτελείται από το ίδιο το στοιχείο και από το βαθμό συμμετοχής του στο σύνολο. Ο βαθμός συμμετοχής του κάθε στοιχείου περιγράφεται με έναν αριθμό μεταξύ του διαστήματος [0, 1] και προσδιορίζεται από μία συνάρτηση συμμετοχής. Σε αντίθεση με τη μονοσήμαντη σχέση απεικόνισης των κλασσικών συνόλων, ο βαθμός συμμετοχής απεικονίζει κάθε στοιχείο του χώρου αναφοράς σε όλο το διάστημα [0, 1] και η απεικόνιση αυτή χαρακτηρίζεται από τη σχέση: Βάσει αυτού του ορισμού, ένα κλασσικό σύνολο μπορεί να θεωρηθεί μία ειδική περίπτωση ενός ασαφούς συνόλου. Οι συναρτήσεις συμμετοχής είναι ένα απλό 10

12 μαθηματικό εργαλείο για να ορίσουμε πιο ευέλικτα τη συμμετοχή του στοιχείου σε ένα σύνολο. Μπορούν να αναπαραστήσουν μία υποκειμενική ιδέα ή μια αόριστη έκφραση, όπως επιθυμητή απόδοση, ικανοποιητική βελτίωση ή μεγάλη βελτίωση. Οι συναρτήσεις συμμετοχής, επίσης, μπορούν να προσδιοριστούν με βάση στατιστικά δεδομένα. Οι πιο συνηθισμένες συναρτήσεις συμμετοχής είναι: Συνάρτηση συμμετοχής Gaussian Η συνάρτηση αυτή χρησιμοποιείται πιο συχνά και προσδιορίζεται από δύο παραμέτρους, το κέντρο και τη διασπορά : ( ) Τριγωνική Συνάρτηση Συμμετοχής Αυτή η συνάρτηση προσδιορίζεται από τρείς παραμέτρους { τη σχέση: } και ορίζεται από { Τραπεζοειδής Συνάρτηση Συμμετοχής Αντίστοιχα με την τριγωνική, η τραπεζοειδής συνάρτηση προσδιορίζεται από τέσσερις μεταβλητές { } και δίνεται από τη σχέση: { 11

13 2.1.3 Ασαφείς Σχέσεις και Ασαφείς Κανόνες Οι ασαφείς σχέσεις αποτελούν μια βασική έννοια στη θεωρία των ασαφών συστημάτων και είναι μια γενίκευση των κλασσικών, σαφών σχέσεων. Μας δίνουν τη δυνατότητα να χειριστούμε προβλήματα στα οποία υπάρχει αβεβαιότητα ή αμφιβολία. Από μαθηματική άποψη, οι ασαφείς σχέσεις χρησιμοποιούνται για τη μοντελοποίηση ασαφών συνεπαγωγών. Μπορούν να εφαρμοστούν σε όλες τις περιοχές ασαφούς συλλογιστικής, όπως αναγνώριση προτύπων, λήψη αποφάσεων ή στον αυτόματο έλεγχο. Μία σχέση υποδηλώνει την ύπαρξη μιας συσχέτισης που υπάρχει μεταξύ των στοιχείων που ανήκουν σε δύο ή περισσότερα σύνολα. Η συσχέτιση μεταξύ των στοιχείων γίνεται όταν αυτά ικανοποιούν κάποια ιδιότητα, μία αναφορά ή μία συνθήκη. Για παράδειγμα, η δήλωση η πόλη x είναι κοντά στην πόλη y αντιστοιχεί σε σχέση μεταξύ ορισμάτων. Μία ασαφής σχέση είναι ένα ασαφές σύνολο που ορίζεται στο Καρτεσιανό Γινόμενο και περιγράφεται ως εξής: { } Το συμβολίζει το βαθμό συμμετοχής του στην, κινείται στο διάστημα [0, 1]: Στην ουσία η συνάρτηση συμμετοχής παριστάνει για κάθε στοιχείο το βαθμό σύνδεσης ανάμεσα στα. Οι ασαφείς σχέσεις είναι σημαντικές, διότι οι ασαφείς κανόνες που είναι η βάση ενός ασαφούς μοντέλου στην ουσία υλοποιούν μία ασαφή σχέση. Στα ασαφή συστήματα αναγνώρισης και ελέγχου η ανθρώπινη γνώση παρίσταται με τη μορφή ασαφών IF/THEN κανόνων. Οι κανόνες αυτοί είναι υποθετικές προτάσεις και περιγράφονται ως: όπου και είναι λεκτικές τιμές (ασαφή σύνολα) των και Οι εκφράσεις και είναι ασαφείς προτάσεις. Οπότε διακρίνουμε δύο διαφορετικά μέρη σε έναν ασαφή κανόνα. Το αριστερό τμήμα του, αποτελει το τμήμα υπόθεσης και περιλαμβάνει την 12

14 υπόθεση ή τον προαπαιτούμενο του κανόνα (precondition). Ενώ το δεξιό τμήμα του αποτελεί το τμήμα απόδοσης ή συμπεράσματος του κανόνα (consequence, conclusion). Όπως είπαμε, ο ασαφής κανόνας ορίζει μία ασαφή σχέση μεταξύ των μεταβλητών. Η ασαφής αυτή σχέση ορίζεται ως σχέση συμπερασμού και συσχετίζει τον βαθμό αλήθειας ή τον βαθμό εκπλήρωσης της υπόθεσης με αυτόν του συμπεράσματος Ασαφής Συλλογιστική Η ασαφής λογική είναι μία γενίκευση της κλασσικής λογικής και παρέχει τις βασικές αρχές για την εξαγωγή προσεγγιστικών συλλογισμών και ασαφών συμπερασμάτων βασιζόμενη σε ασαφείς και ανακριβείς προτάσεις. Η κλασική λογική βασίζεται εξολοκλήρου σε λογικές ταυτολογίες, δηλαδή ο βαθμός εκπλήρωσης των προτάσεων μπορεί να πάρει δύο διακριτές τιμές, 1:true / 0:false. Στην ασαφή λογική, ο βαθμός εκπλήρωσης των ασαφών προτάσεων μπορεί να πάρει οποιαδήποτε τιμή στο συνεχές διάστημα [0, 1]. Οι τρείς μέθοδοι συλλογισμού είναι: Γενικευμένη Μέθοδος Modus Ponen (GMP) Η μέθοδος αυτή ακολουθεί τον εξής συλλογισμό: Αν έχουμε δύο ασαφείς προτάσεις και τότε συνάγεται το συμπέρασμα (η πρόταση). Όσο πιο κοντά είναι δηλαδή το στο, τόσο πιο κοντά είναι και το στο. Γενικευμένη Μέθοδος Modus Tolens (GMT) Εδώ έχουμε τον εξής συλλογισμό: Αν έχουμε στο τμήμα υπόθεσης τις δύο προτάσεις και τότε συνάγεται το συμπέρασμα. Δηλαδή όσο μεγαλυτερη είναι η διαφορά του από το τόσο μεγαλύτερη θα είναι και η διαφορά του από το. Γενικευμένη Μέθοδος Υποθετικού Συλλογισμού (GHS) Σε αυτή τη μέθοδο ο συλλογισμός είναι ο εξής: 13

15 Αν δοθούν οι δύο υποθετικές προτάσεις και τότε εξάγεται η ασαφής πρόταση έτσι ώστε όσο πιο κοντά είναι το στο τόσο πιο κοντά θα είναι το στο Ασαφή Συστήματα Συμπερασμού Στην ενότητα αυτή θα εξετάσουμε ένα ολοκληρωμένο ασαφές σύστημα συμπερασμού. Το βασικό χαρακτηριστικό αυτών των συστημάτων είναι ότι έχουν την ικανότητα να ενσωματώνουν τον ανθρώπινο τρόπο περιγραφής και ελέγχου συστημάτων. Η απεικόνιση εισόδου-εξόδου πραγματώνεται μέσω ασαφών κανόνων, οι οποίοι είναι της μορφής IF/THEN και εμπλέκουν τις ασαφείς λεκτικές μεταβλητές εισόδου-εξόδου. Τα συγκεκριμένα συστήματα μπορούν να εφαρμοστούν σε διάφορα πεδία όπως τα ασαφή συστήματα ελέγχου (Fuzzy Logic Control), σε ιατρικές διαγνώσεις (Medical Diagnosis) ή σε συστήματα πρόβλεψης όπως και το δικό μας. Ένα ασαφές σύστημα αποτελείται από τις εξής λειτουργικές μονάδες: Την μονάδα ασαφοποίησης (Fuzzifier), που μετατρέπει τις σαφείς εισόδους σε ασαφείς λεκτικές τιμές, δηλαδή ο ασαφοποιητής υλοποιεί τη διασύνδεση μεταξύ του σαφούς εξωτερικού κόσμου και του ασαφούς συστήματος εξαγωγής συμπεράσματος. Την ασαφή βάση κανόνων (Fuzzy Rule Base) που περιέχει έναν αριθμό ασαφών κανόνων και αποθηκεύει τη γνώση για τη λειτουργία και τη συμπεριφορά του συστήματος που εξετάζουμε. Το μηχανισμό εξαγωγής συμπεράσματος (Fuzzy Inference Engine), ο οποίος βασιζόμενος στους κανόνες χρησιμοποιεί τη συλλογιστική διαδικασία GMP, για να παράξει προσεγγιστικά συμπεράσματα ανάλογα με τις εισόδους που διεγείρουν το σύστημα. Μία μονάδα απο-ασαφοποίησης (Defuzzifier), που μετατρέπει τα ασαφή συμπεράσματα που προκύπτουν σε σαφή σήματα εξόδου. Έτσι, ο αποασαφοποιητής παρέχει τη διασύνδεση μεταξύ του ασαφούς συστήματος και του χώρου εξόδου. 14

16 Στο σχήμα που ακολουθεί βλέπουμε τη δομή του ασαφούς συστήματος και πώς συνεργάζονται οι μονάδες αυτές: ΣΧΗΜΑ 2.1.1: Αρχιτεκτονική ενός FIS Οι είσοδοι και έξοδοι του ασαφούς συστήματος είναι σαφείς μεταβλητές (crisp variables) οι οποίες διαμορφώνουν τα διανύσματα των εισόδων και των εξόδων. Ένα ασαφές σύστημα μπορεί να χρησιμοποιηθεί σαν ασαφής μοντελοποιητής (fuzzy model), σαν ασαφής ελεγκτής (fuzzy controller) ή σαν ασαφές σύστημα απόφασης (Fuzzy decision making system). Παρακάτω αναλύονται λεπτομερώς κάθε ένα από τα μέρη του ασαφούς συστήματος Ασαφής Βάση Κανόνων (Fuzzy Rule Base) Η Ασαφής Βάση Κανόνων είναι μία συλλογή ασαφών IF/THEN κανόνων οι οποίοι ορίζονται στον ίδιο χώρο ορισμού και αναφέρονται σαν ασαφής αλγόριθμος. Οι κανόνες αυτοί ενσωματώνουν τη γνώση αναφορικά με το σύστημα αναγνώρισης ή ελέγχου με τη μορφή λεκτικών ασαφών προτάσεων. Μία τυπική μορφή ασαφούς βάσης κανόνων έχει την παρακάτω δομή: 15

17 .. όπου και : αριθμός που δείχνει ένα συγκεκριμένο κανόνα : αριθμός που δείχνει μία ορισμένη μεταβλητή εισόδου Η συγκεκριμένη βάση, άρα, απαρτίζεται από κανόνες με μεταβλητές στο τμήμα υπόθεσης και μία μεταβλητή στο τμήμα απόδοσης (Multiple Inputs Single Output, MISO). Οι κανόνες αυτοί μπορούν να γενικευθούν και να πάρουν τη μορφή δύο ή και περισσότερων εξόδων (Multiple Inputs Multiple Outputs, MIMO). Τα είναι οι συναρτήσεις συμμετοχής του τμήματος υπόθεσης κανόνων ενώ το στο τμήμα συμπεράσματος του κανόνα είναι συνήθως κάποια συνάρτηση των εισόδων του κανόνα Ασαφοποιητής (Fuzzifier) Ο ασαφοποιητής, όπως ήδη αναφέραμε, διασυνδέει τον σαφή χώρο εισόδου με το μηχανισμό εξαγωγής συμπεράσματος. Μετατρέπει ένα σαφές, πραγματικό σημείο στο χώρο εισόδου, σε ασαφές σύνολο. Η μονάδα του ασαφοποιητή θα πρέπει να σχεδιαστεί έτσι ώστε να πληρούνται τα παρακάτω κριτήρια: 1. Θα πρέπει να λαμβάνει υπ όψιν ότι η είσοδος είναι ένα σαφές σημείο και επομένως το ασαφές σύνολο θα πρέπει να έχει μεγάλες τιμές συμμετοχής στο σημείο αυτό. 2. Αν η μετρούμενη είσοδος περιέχει θόρυβο, τότε το ασαφές σύνολο που δημιουργείται θα πρέπει να οδηγεί σε καταστολή του θορύβου. 3. Η μορφή του ασαφοποιητή θα πρέπει να βοηθά ώστε να απλοποιούνται οι διαδικασίες εξαγωγής συμπεράσματος. 16

18 Οι τρεις πιο συχνές μορφές ασαφοποιητή είναι ο ασαφοποιητής Singleton, ο Γκαουσιανός ασαφοποιητής και ο τριγωνικός Απο-ασαφοποιητής (Defuzzifier) Η μονάδα αυτή πραγματοποιεί τη διασύνδεση μεταξύ του ασαφούς συμπερασμού και του σαφούς χώρου εξόδου. Η λειτουργία της αποσαφήνισης είναι μια απεικόνιση από το χώρο των ασαφών ενεργειών ελέγχου σε ένα χώρο καθορισμένων ενεργειών ελέγχου. Ο λόγος που χρησιμοποιείται αυτή η λειτουργία είναι ότι σε αρκετές πρακτικές εφαρμογές απαιτείται μία συγκεκριμένη ενέργεια ελέγχου. Οπότε, μια στρατηγική αποσαφήνισης έχει σκοπό να παράγει αυτή την ενέργεια, η οποία θα παριστάνει όσο το δυνατόν καλύτερα την πιθανή κατανομή των ασαφών ενεργειών ελέγχου που προκύπτουν από το ασαφές γενετικό σύστημα. Οι πιο συνηθισμένες στρατηγικές αποσαφήνισης είναι: Απο-ασαφοποιητής Μεγίστου (Maximum Defuzzifier) Αυτός ο απο-ασαφοποιητής επιλέγει ένα σημείο για το οποίο η συνάρτηση συμμετοχής έχει τη μέγιστη τιμή της, δηλαδή παράγει το σημείο στο οποίο η πιθανή κατανομή των ενεργειών ελέγχου φτάνει τη μέγιστη τιμή της. Απο-ασαφοποιητής κέντρου των αθροισμάτων (Center of Sums Defuzzifier, COS) Εδώ θεωρούμε πως το συνολικό συμπέρασμα προκύπτει σαν αλγεβρικό άθροισμα αντί σαν λογική ένωση των επιμέρους συμπερασμάτων, οπότε κάθε σημείο στο χώρο εξόδου βαρύνεται με το άθροισμα των συναρτήσεων συμμετοχής. Απο-ασαφοποιητής BADD (BADD Defuzzifier) Σύμφωνα με αυτόν τον απο-ασαφοποιητή η διαδικασία επιτυγχάνεται αν πρώτα μετασχηματίσουμε τις εξόδους σε μια κατανομή πιθανότητας BADD (Basic Defuzzification Distributions) και στη συνέχεια θεωρούμε το σημείο εξόδου σαν τη μέση τιμή της κατανομής αυτής. 17

19 Απο-ασαφοποιητής σταθμισμένων κέντρων (CAD) Σ αυτή τη στρατηγική θεωρούμε το σημείο εξόδου σαν σταθμισμένο μέσο όρο όλων των κέντρων με βάρη τα ύψη των συνόλων (το ύψος είναι ο βαθμός εκπλήρωσης του αντίστοιχου κανόνα). Απο-ασαφοποιητής Κέντρου Βάρους (COA) Ο απο-ασαφοποιητής αυτός θεωρεί ότι το αντιπροσωπευτικό σημείο εξόδου είναι το κέντρο βάρους της επιφάνειας που καλύπτεται από κάποιο σύνολο, δηλαδή παράγει το κέντρο βάρους της πιθανής κατανομής μιας ενέργειας ελέγχου Ασαφή Μοντέλα TSK Η πιο γνωστή μεθοδολογία στα ασαφή συστήματα είναι η μέθοδος εξαγωγής συμπεράσματος του Mamdani. Στην παρούσα ενότητα όμως θα αναπτύξουμε τη μέθοδο των Takaki Sugeno Kang καθώς αυτή θα χρησιμοποιήσουμε και στην εφαρμογή μας, αφού κύριος στόχος της μεθόδου αυτής είναι η παραγωγή ασαφών κανόνων από ένα γνωστό σετ δεδομένων εισόδου-εξόδου. Η μέθοδος αυτή αναφέρεται απλά ως Sugeno και τα μοντέλα που προκύπτουν από αυτήν αναφέρονται ως TSK μοντέλα. Είναι εν γένει παρόμοια με τη μέθοδο Mamdani, και ακριβώς ίδια στα στάδια της ασαφοποίησης των εισόδων και της εφαρμογής του ασαφούς τελεστή. Η βασική διαφορά τους είναι ότι στο μοντέλο του Sugeno οι συναρτήσεις συμμετοχής των εξόδων είναι είτε γραμμικές συναρτήσεις (πολυώνυμα) είτε σταθερές, άρα πάντα σαφείς (crisp), καθιστώντας τα μοντέλα αυτά μία μίξη ασαφούς και σαφούς συστήματος σε αντίθεση με τα μοντέλα Mamdani στα οποία οι συναρτήσεις συμμετοχής της εξόδου είναι ασαφείς όπως ακριβώς και αυτές των εισόδων. Στη συνέχεια θα περιγράψουμε τη δομή και λειτουργία των μοντέλων TSK πρώτου βαθμού, που θα χρησιμοποιήσουμε και εμείς, αφού είναι πρακτικά, μικρής πολυπλοκότητας και έχουν ιδιαίτερα καλή συμπεριφορά. Τα ασαφή μοντέλα TSK απαρτίζονται από κανόνες στους οποίους το τμήμα συμπεράσματος περιγράφεται από ένα γραμμικό μοντέλο, δηλαδή από ένα πολυώνυμο των εισόδων του μοντέλου και έχουν την παρακάτω μορφή: 18

20 όπου και είναι ασαφή σύνολα στο τμήμα υπόθεσης, ενώ τα,, είναι σταθερές. Για να κατανοήσουμε τη λειτουργία του συστήματος πρώτου βαθμού θα πρέπει να θεωρήσουμε πως ο κάθε κανόνας ορίζει τη θέση ενός κινούμενου singleton, δηλαδή ότι τα singleton της εξόδου μπορούν να κινούνται γραμμικά στο χώρο των εξόδων, αναλόγως με το ποια είναι η είσοδος. Ο κάθε κανόνας, λοιπόν, έχει σαφή έξοδο και η συνολική έξοδος ανακτάται (αποασαφοποίηση) με τη μέθοδο weighted average, αποφεύγοντας έτσι τη χρονοβόρα μέθοδο αποασαφοποίησης της μεθόδου Mamdani. Οπότε η έξοδος ενός τέτοιου μοντέλου με δύο εισόδους είναι: όπου είναι ο βαθμός εκπλήρωσης κάθε κανόνα και η έξοδος κάθε κανόνα. Στην πράξη, το weighted average αντικαθίσταται από το weighted sum: για ακόμη μεγαλύτερη μείωση του υπολογιστικού χρόνου στην εκπαίδευση. Η απλούστευση αυτή, όμως, μπορεί να οδηγήσει στην απώλεια των λεκτικών σημασιών των συναρτήσεων συμμετοχής, εκτός και αν το άθροισμα των βαθμών εκπλήρωσης,, είναι κοντά στη μονάδα. Στο σχήμα απεικονίζεται ένα σύστημα TSK με τη μέθοδο weighted average. 19

21 ΣΧΗΜΑ Μοντέλο TSK Συμπερασματικά, εξαιτίας της γραμμικής εξάρτησης κάθε κανόνα από τις μεταβλητές εισόδου του συστήματος, η μέθοδος Sugeno είναι ιδανική για τη δημιουργία ενός συστήματος που θα λειτουργήσει ως παρεμβαλλόμενος επιτηρητής διάφορων γραμμικών ελεγκτών, που θα εφαρμοστούν σε διαφορετικές συνθήκες λειτουργίας ενός δυναμικού, μη γραμμικού συστήματος. Επίσης, είναι ιδανικό για τη μοντελοποίηση μη γραμμικών συστημάτων, παρεμβάλλοντας πολλά γραμμικά μοντέλα. Επειδή είναι ένα πιο πρακτικό αλλά και πιο αποδοτικό σύστημα, το μοντέλο TSK προσφέρεται για προσαρμοστικές τεχνικές κατασκευής ασαφών μοντέλων, οι οποίες χρησιμοποιούνται για να μεταβάλλουν τις συναρτήσεις συμμετοχής, ώστε το σύστημα να μοντελοποιεί καλύτερα ένα σετ δεδομένων. Οπότε συνοπτικά τα πλεονεκτήματα των μοντέλων TSK είναι: Είναι υπολογιστικά απλά και γρήγορα Δουλεύουν καλά με γραμμικές τεχνικές, όπως με τον έλεγχο με PID Είναι ιδανικά για προσαρμοστικές τεχνικές και τεχνικές βελτιστοποίησης 20

22 Παρουσιάζουν συνέχεια στο χώρο εξόδων Δέχονται πολύ εύκολα μαθηματική ανάλυση Μπορούν να αναπαριστούν, εκτός από ποιοτική, και ποσοτική γνώση 2.2 Γενετικός Προγραμματισμός Εισαγωγή Οι γενετικοί αλγόριθμοι είναι αλγόριθμοι αναζήτησης, οι οποίοι βασίζονται στους μηχανισμούς της φυσικής επιλογής και της γενετικής. Μιμούνται τις πτυχές της φυσικής εξέλιξης, της φυσικής επιλογής και της διαφορικής αναπαραγωγής. Διάφορες πτυχές της αρχής του Δαρβίνου για τη φυσική επιλογή και την εξέλιξη των ειδών έχουν προσομοιωθεί σε υπολογιστές. Οι αλγόριθμοι αυτοί συνδυάζουν την επιβίωση του ικανότερου πληθυσμού ατόμων (που υπάρχουν με τη μορφή δομών αλυσίδας), ταυτόχρονα με μία δομημένη αλλά και τυχαία ανταλλαγή πληροφοριών. Οι λόγοι που οδήγησαν στη μελέτη των αλγορίθμων αυτών είναι η αντοχή και η δυνατότητα επιβίωσης που παρουσιάζουν σε πολλά διαφορετικά περιβάλλοντα, δηλαδή σε διάφορα τεχνητά συστήματα προσομοίωσης ή τεχνητής νοημοσύνης. Με τον τρόπο αυτό τα τεχνητά συστήματα γίνονται πιο ανεκτικά, ενώ μπορούν να ελαττωθούν ή και να αποφευχθούν οι μεγάλου κόστους επανασχεδιάσεις. Όσο πιο μεγάλη προσαρμοστικότητα του συστήματος επιτευχθεί, τόσο πιο αποδοτικό και ανθεκτικό θα είναι αυτό. Οι περισσότερες εφαρμογές των αλγορίθμων αυτών αφορούν τη βελτιστοποίηση σε ένα μεγάλο φάσμα οικονομικών, επιστημονικών και μηχανικών συστημάτων. Είναι ένας έγκυρος τρόπος επίλυσης προβλημάτων που απαιτούν την αποτελεσματική αναζήτηση της βέλτιστης λύσης σε ένα μεγάλο και σύνθετο χώρο πιθανών λύσεων. Η αυξανόμενη χρήση τους σε τέτοιου είδους συστήματα οφείλεται στο γεγονός ότι προσαρμόζονται εύκολα σε ένα ευρύ πεδίο προβλημάτων, στη βελτιστοποίηση παραμέτρων αλλά και στην ικανότητά τους να μην περιορίζονται από υποθέσεις στο χώρο λύσεων. 21

23 2.2.2 Χαρακτηριστικά Γενετικών Αλγορίθμων Οι Γενετικοί Αλγόριθμοι (ΓΑ) είναι αποτελεσματικοί σε προβλήματα αναζήτησης σε σχέση με τις συμβατικές τεχνικές, γιατί καθορίζονται από τα εξής βασικά χαρακτηριστικά: 1. Δουλεύουν με κωδικοποίηση των παραμέτρων του προβλήματος, και όχι με τις ίδιες τις παραμέτρους. Με τον τρόπο αυτό εκμεταλλεύονται ομοιότητες στον κώδικα (δηλαδή στα bits) με πολύ γενικό τρόπο, καταφέρνοντας έτσι να είναι αδέσμευτοι από περιορισμούς άλλων μεθόδων, όπως η συνέχεια της συνάρτησης ή η γνώση της κλίσης της. 2. Διενεργούν παράλληλη αναζήτηση της βέλτιστης λύσης χρησιμοποιώντας ομάδα σημείων και όχι ένα μοναδικό σημείο. Στις παραδοσιακές μεθόδους αναζήτησης μετακινούμαστε από ένα σημείο του χώρου λύσεων στο επόμενο, χρησιμοποιώντας κάποιο κανόνα μετακίνησης που καθορίζει το επόμενο σημείο, πράγμα που οδηγεί στον κίνδυνο να παγιδευτούμε σε ένα τοπικό υποβέλτιστο σε χώρους λύσεων που παρουσιάζουν πολλές κορυφές. Οι γενετικοί αλγόριθμοι, όμως, δουλεύουν με μια μεγάλη συλλογή λύσεων παράλληλα, και έτσι ελέγχονται πολλά υποβέλτιστα ταυτόχρονα, καταλήγοντας σε μικρότερη πιθανότητα εύρεσης ενός σημείου που δεν είναι το συνολικό βέλτιστο. 3. Οι ΓΑ χρησιμοποιούν την παράμετρο της ανταμοιβής για τα άτομα (μεγαλύτερη πιθανότητα αναπαραγωγής) και όχι διαφορικά ή άλλες βοηθητικές μεταβλητές. Δηλαδή για να πραγματοποιήσουν μια αποτελεσματική αναζήτηση για το βέλτιστο άτομο, χρειάζονται μόνο τις τιμές της συνάρτησης ποιότητας (Objective Function Values) που αντιστοιχούν σε κάθε άτομο. Το χαρακτηριστικό αυτό κάνει τους συγκεκριμένους αλγόριθμους πιο αποτελεσματικούς σε σύγκριση με άλλα προβλήματα αναζήτησης που έχουν βοηθητικό σύστημα πληροφοριών σχετικό με την αναζήτηση, αφού αγνοώντας το επιτυγχάνουν την υλοποίηση ενός συστήματος αναζήτησης που θα είναι εφαρμόσιμο σε ένα πολύ μεγάλο φάσμα προβλημάτων. 4. Χρησιμοποιούν πιθανοτικούς και όχι αυστηρά καθορισμένους νόμους για μετάβαση από τη μία λύση στην άλλη. Χρησιμοποιούν δηλαδή την τυχαία επιλογή για να προσανατολίσουν την αναζήτηση προς περιοχές του χώρου λύσεων όπου η 22

24 βελτίωση είναι πιθανή. Μπορεί, δηλαδή, η χρήση μη ντετερμινιστικών μεθόδων να μη φαίνεται ορθή, η χρήση όμως της πιθανότητας δεν σημαίνει πως η μέθοδος είναι μια τυχαία αναζήτηση Απλός Γενετικός Αλγόριθμος Οι Γενετικοί Αλγόριθμοι χρησιμοποιούν ένα πληθυσμό αλυσίδων ψηφίων, που εξελίσσονται για πολλές γενιές, μέχρι να βρεθεί μία βέλτιστη λύση. Κάθε αλυσίδα ψηφίων αντιπροσωπεύει μία πιθανή λύση και ονομάζεται χρωμόσωμα ή άτομο. Η μορφή του ψηφίου εξαρτάται από την κωδικοποίηση που θα επιλεχθεί, η πιο συνηθισμένη είναι η δυαδική. Η μορφή του χρωμοσώματος φαίνεται στο σχήμα Δυαδικό χρωμόσωμα προκαθορισμένο μέγεθος ΣΧΗΜΑ 2.2.1: Χρωμόσωμα Γενετικού Αλγόριθμου Ένας απλός ΓΑ, ο οποίος μπορεί να δώσει καλά αποτελέσματα σε διάφορα πρακτικά προβλήματα, αποτελείται από τρεις τελεστές: Επιλογή (Selection) Ανασυνδυασμός (Crossover) Μετάλλαξη (Mutation) Ο αρχικός πληθυσμός, η πρώτη γενιά που χρησιμοποιείται δηλαδή, σχηματίζεται τυχαία με διαδοχικές ρίψεις ενός ιδεατού νομίσματος. Για κάθε πρόβλημα απαιτείται η δημιουργία μιας συνάρτησης ποιότητας (Objective Function). Η συνάρτηση αυτή επιστρέφει μια αριθμητική τιμή, η οποία αντιπροσωπεύει την ποιότητα του ατόμου και 23

25 μπορεί να επιλεγεί με διάφορους τρόπους που εξαρτώνται από το κάθε πρόβλημα. Στη συνέχεια θα δούμε αναλυτικά τη λειτουργία των τριών τελεστών του απλού ΓΑ. Επιλογή: Στο βήμα αυτό επιλέγουμε τα άτομα από τον αρχικό πληθυσμό που προορίζονται για αναπαραγωγή και από τα οποία θα προκύψει ο νέος πληθυσμός. Η επιλογή αυτή γίνεται με βάση τη συνάρτηση ποιότητας του κάθε ατόμου, ώστε τα πιο ικανά άτομα να έχουν περισσότερες πιθανότητες να αναπαραχθούν, όπως ακριβώς συμβαίνει και στη φύση σύμφωνα με το νόμο της φυσικής επιλογής, με την επιβίωση του ισχυρότερου. Προσοχή χρειάζεται στην επιλογή αυτή, γιατί όταν είναι έντονα εστιασμένη στην επιλογή μόνο των καλύτερων ατόμων, υπάρχει η πιθανότητα τα ικανά αυτά άτομα να καταλάβουν τον πληθυσμό με αποτέλεσμα τον εκφυλισμό του, την ελάττωση της ποικιλομορφίας του και την πρόωρη σύγκλισή (premature convergence) του σε κάποιο τοπικό βέλτιστο. Η ποικιλομορφία του πληθυσμού είναι απαραίτητη για τη βελτίωσή του και την εύρεση του συνολικού βέλτιστου. Αντίθετα, βέβαια, όταν η επιλογή είναι πολύ λίγο εστιασμένη στην επιλογή των καλύτερων ατόμων, τότε αυτή γίνεται τυχαία και καθυστερεί αρκετά την βελτίωση του συστήματος. Η επιλογή των ατόμων για αναπαραγωγή μπορεί να γίνει με αρκετούς τρόπους, ο πιο συνηθισμένος είναι η κατασκευή μιας ρουλέτας η οποία διαχωρίζεται σε διαφορετικού πλάτους κομμάτια (biased roulette wheel selection), όπου κάθε κομμάτι αντιστοιχεί στη συνάρτηση ποιότητας κάθε ατόμου. Έτσι, τα ικανά άτομα θα έχουν μεγαλύτερη πιθανότητα να επιλεχθούν. Κάθε φορά που χρειαζόμαστε ένα νέο γονέα, μια περιστροφή της ρουλέτας μας δίνει έναν υποψήφιο για αναπαραγωγή. Ανασυνδυασμός: Μετά την επιλογή, ένα απλός ανασυνδυασμός (single crossover) μπορεί να υλοποιηθεί σε δύο βήματα. Πρώτα, από τα άτομα που έχουν επιλεχθεί για αναπαραγωγή, επιλέγονται τυχαία τα ζευγάρια για ανασυνδυασμό. Έπειτα, λαμβάνει χώρα ο ανασυνδυασμός, ο οποίος παρουσιάζεται σχηματικά στο σχήμα

26 Ο ανασυνδυασμός είναι ο σημαντικότερος τελεστής κατά την εκπαίδευση του γενετικού αλγορίθμου. Μέσω αυτού αλλά και της επιλογής εντοπίζονται τα καλύτερα κομμάτια κάθε χρωμοσώματος τα οποία ελέγχονται και αναμιγνύονται κατά την αναζήτηση της βέλτιστης λύσης, δηλαδή της εύρεσης του καλύτερου χρωμοσώματος. γονείς απόγονοι ΣΧΗΜΑ 2.2.2: Ο τελεστής του ανασυνδυασμού Μετάλλαξη: Η αναγκαιότητα του βήματος αυτού, ενώ δε γίνεται άμεσα αντιληπτή, είναι αρκετά μεγάλη καθώς η επιλογή και ο ανασυνδυασμός αναζητούν και συνδυάζουν αποτελεσματικά τα ικανά κομμάτια, μπορεί, όμως, μερικές φορές να χάσουν κάποιο χρήσιμο γενετικό υλικό, δηλαδή κάποιο δυαδικό ψηφίο σε συγκεκριμένη θέση. Στα γεννητικά συστήματα ο τελεστής της μετάλλαξης προστατεύει το σύστημα από μια αναντικατάστατη απώλεια. Στους απλούς ΓΑ η μετάλλαξη είναι μια τυχαία αλλαγή της τιμής μιας συγκεκριμένης θέσης στο χρωμόσωμα. Στο σχήμα φαίνεται σχηματικά η διαδικασία της μετάλλαξης. 25

27 ΣΧΗΜΑ 2.2.3: Μετάλλαξη Ο τελεστής αυτός παίζει δευτερεύοντα ρόλο, διότι όπως έχει διαπιστωθεί από εμπειρικές μελέτες και πειράματα, για να δουλέψει σωστά ο αλγόριθμος η συχνότητα μετάλλαξης πρέπει να είναι μικρή, όπως άλλωστε συμβαίνει και στη φύση. Μετά από ικανό αριθμό επαναλήψεων, παραγωγής δηλαδή νέων γενεών, ο γενετικός αλγόριθμος καταλήγει σε έναν πληθυσμό που αποτελείται σε μεγάλο βαθμό από χρωμοσώματα (άτομα) υψηλής ποιότητας, σχεδόν όμοια μεταξύ τους, το καλύτερο από τα οποία είναι πιθανό να βρίσκεται στο συνολικό βέλτιστο του χώρου λύσεων. 2.3 Νευρο-ασαφή Συστήματα Εισαγωγή Στην ενότητα αυτή παρουσιάζονται τα νευρο-ασαφή συστήματα. Αρχικά γίνεται μία παρουσίαση της δομής και του τρόπου λειτουργίας των νευρωνικών δικτύων, ώστε, σε συνδυασμό με ό,τι έχουμε αναφέρει για την ασαφή λογική και τα ασαφή συστήματα, να οδηγηθούμε στην κατανόηση της αναγκαιότητας ύπαρξης των νευροασαφών δικτύων αλλά και στην κατανόηση της λειτουργίας τους. 26

28 2.3.2 Νευρωνικά Δίκτυα Γενικά Τα Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ) είναι ένα μαθηματικό μοντέλο για την επεξεργασία πληροφορίας που προσεγγίζει την υπολογιστική και αναπαραστατική δυνατότητα μέσω συνάψεων. Τα τεχνητά νευρωνικά δίκτυα μιμούνται, στην ουσία, τη συμπεριφορά του ανθρώπινου νευρικού συστήματος. Το ανθρώπινο νευρικό σύστημα αποτελείται από νευρωνικά δίκτυα, καθένα από τα οποία αποτελείται από διασυνδεδεμένα νευρώνια. Τα νευρώνια είναι νευρικά κύτταρα τα οποία αποτελούνται από το σώμα, τον άξονα και τους δενδρίτες. Οι δενδρίτες συνδέονται με δενδρίτες άλλων νευρωνίων μέσω των συνάψεων. Οι δενδρίτες δέχονται σήματα από άλλα νευρώνια, τα οποία μεταδίδονται μέσα στο σώμα όπου λαμβάνεται ο μέσος όρος όλων των σημάτων και όταν ξεπεράσει κάποιο όριο, το νευρώνιο παράγει ένα σήμα που διοχετεύεται στον άξονα και από εκεί, μέσω των συνάψεων, μεταδίδεται στους δενδρίτες άλλων νευρωνίων. Ένα σύνολο νευρωνίων διασυνδεδεμένων με τέτοιο τρόπο αποτελεί ένα φυσικό νευρωνικό δίκτυο. Στο μαθηματικό μοντέλο των τεχνητών νευρωνικών δικτύων, που προσομοιώνει, όπως είπαμε, ένα πραγματικό δίκτυο νευρώνων σύμφωνα με το βιολογικό πρότυπο, υπάρχουν κόμβοι (nodes) που αποτελούν τα τεχνητά νευρώνια στα οποία καταλήγουν συνδέσεις (που αναπαριστούν τις συνάψεις) από άλλους κόμβους του δικτύου στις οποίες αποδίδεται κάποιο βάρος. Τα ΤΝΔ είναι συστήματα μεγάλης κλίμακας τα οποία περιέχουν ένα μεγάλο αριθμό μη γραμμικών επεξεργαστών ειδικού τύπου, οι οποίοι καλούνται νευρώνες και αποτελούν τη δομική μονάδα των ΤΝΔ. Κάθε νευρωνικό δίκτυο χαρακτηρίζεται από μία κατάσταση, ένα σύνολο εισόδων με βάρη που προέρχονται από άλλους νευρώνες και μία εξίσωση η οποία περιγράφει τη δυναμική λειτουργία του ΤΝΔ. Τα βάρη του ΤΝΔ παίρνουν συνεχώς νέες τιμές μέσω μιας διαδικασίας εκπαίδευσης, η οποία πραγματοποιείται με την ελαχιστοποίηση κάποιας συνάρτησης κόστους, ανανεώνοντας βήμα προς βήμα τα βάρη. Οι βέλτιστες τιμές των βαρών αποθηκεύονται και χρησιμοποιούνται κατά την εκτέλεση της εργασίας για την οποία προορίζεται το ΤΝΔ. 27

29 Τα Τεχνητά Νευρωνικά Δίκτυα εμφανίζουν μερικά πολύ βασικά χαρακτηριστικά: Αυτοοργάνωση Συσχέτιση Γενίκευση Αντιδιαστολή Μάθηση Τα νευρωνικά δίκτυα μπορούν να χρησιμοποιηθούν για βελτιστοποίηση συστημάτων αλλά και για βελτίωση της ακρίβειας πρόβλεψης, καθώς έχουν επιδείξει πολύ καλή αποδοτικότητα σε υπολογιστικά προβλήματα όπου πρέπει να ικανοποιούνται παράλληλα πολλές υποθέσεις. Η ικανοποίηση πολλών συνθηκών καθίσταται εφικτή με τη χρήση αναλογικών νευρώνων με μη γραμμική συμπεριφορά, και οφείλεται στον υψηλό βαθμό διασυνδέσεων και αλληλεπιδράσεων με κλάδους-συνδέσμους που έχουν μεταβαλλόμενο συντελεστή βάρους. Σε ένα ΤΝΔ η μεταβλητότητα των βαρών των συνδέσμων επιτρέπει την αποθήκευση και κατά κάποιο τρόπο αναπαριστά τη μνήμη. Ακόμη, έχουν την δυνατότητα να αυτοοργανώνονται, να γενικεύουν και να ανακτούν πληροφορία από αποθηκευμένα, ελλιπή ή λανθασμένα δεδομένα. Λόγω του μεγάλου αριθμού κόμβων επεξεργασίας παρουσιάζουν ευρωστία και ανθεκτικότητα σε σφάλματα, δεν επηρεάζονται εύκολα από νευρώνια και συνδέσμους που είναι εκτός λειτουργίας, προσαρμόζονται ταχύτατα σε νέες καταστάσεις και ελαχιστοποιούν την επέκταση οποιασδήποτε ζημιάς. 28

30 Δομή και Λειτουργία Νευρωνικών Δικτύων Ένα απλό μοντέλο νευρώνα έχει την παρακάτω δομή: ΣΧΗΜΑ 2.3.1: Το μοντέλο για το νευρώνα Ένα νευρώνιο αποτελείται από: 1. Ένα σύνολο εισόδων 2. Ένα πίνακα βαρών 3. Τη συνάρτηση διάδοσης 4. Τη συνάρτηση ενεργοποίησης 5. Τη συνάρτηση εκμάθησης 6. Μία έξοδο Μια απλή μαθηματική περιγραφή του νευρώνα είναι η εξής: 29

31 Κάθε νευρώνας αποτελείται από τις συνάψεις, ένα κόμβο γραμμικής άθροισης και μία συνάρτηση ενεργοποίησης. Οι συνάψεις περιγράφονται από τα συναπτικά βάρη που είναι πραγματικοί αριθμοί. Οι είσοδοι του συστήματος xi πολλαπλασιάζονται με τα βάρη και το άθροισμα του φορτίου που δέχεται ο νευρώνας είναι: Η εξίσωση αυτή ορίζει τη συνάρτηση διάδοσης. Η έξοδος u εισέρχεται σε ένα μη γραμμικό στοιχείο που χαρακτηρίζεται από τη συνάρτηση ενεργοποίησης f() και παίρνουμε την τελική έξοδο. Οι συναρτήσεις ενεργοποίησης συνήθως είναι: Βηματική Συνάρτηση (ή κατωφλίου) { Σιγμοειδής Συνάρτηση 30

32 Υπερβολική Εφαπτομένη Γραμμική συνάρτηση 31

33 Εκπαίδευση και Ενθύμηση Η βασική λειτουργία ενός ΤΝΔ χωρίζεται σε δύο στάδια, το στάδιο της εκπαίδευσης και το στάδιο της ενθύμησης. Εκπαίδευση είναι η διαδικασία κατά την οποία δίνεται στο δίκτυο μια σειρά από πρότυπα, δηλαδή διανυσματικά ζεύγη εισόδων-εξόδων προερχόμενα από πραγματικά δεδομένα και τροποποιούνται τα βάρη. Ενθύμηση είναι η διαδικασία που ακολουθεί την εκπαίδευση του μοντέλου, κατά την οποία δίνουμε στο διαμορφωμένο ΝΔ μόνο την είσοδο και αυτό υπολογίζει την έξοδο. Όπως ήδη αναφέραμε τα νευρώνια έχουν δυνατότητες αυτοοργάνωσης και εκμάθησης. Δηλαδή θα πρέπει να εκπαιδεύσουμε το νευρώνιο ώστε να εκτελεί τη λειτουργία που θέλουμε. Με τον όρο εκπαίδευση εννοούμε ότι πρέπει να υπολογισθούν τα βάρη ώστε το σύστημα να έχει τη βέλτιστη δυνατή απόδοση. Η εκπαίδευση είναι μία επαναληπτική διαδικασία και μπορεί να διακριθεί σε τρία είδη, την εκπαίδευση με επιτήρηση, τη βαθμολογημένη εκπαίδευση και την μάθηση χωρίς επιτήρηση. Αρχικά έχουμε τη μάθηση με επιτήρηση. Συνοπτικά, τα αρχικά βάρη ορίζονται τυχαία, έπειτα παρουσιάζονται στο νευρώνιο τα δείγματα και παράγεται μία έξοδος την οποία συγκρίνουμε με την επιθυμητή- η διαφορά τους αποτελεί το σφάλμα. Βρίσκουμε το αθροιστικό σφάλμα όλων των δειγμάτων και έπειτα τροποποιούνται τα βάρη με βάση αυτό το σφάλμα. Τα βάρη ανανεώνονται με βάση το νόμο εκμάθησης που περιγράφεται από μία 32

34 συνάρτηση εκμάθησης Τ(). Η διαδικασία επαναλαμβάνεται με βάση τα νέα βάρη και παρατηρούμε πως σε κάθε επανάληψη το σφάλμα μειώνεται, το οποίο όταν γίνει μικρότερο κάποιου ορίου διακόπτεται η διαδικασία και θεωρούμε πως το νευρώνιο έχει εκπαιδευτεί ώστε όταν παρουσιαστεί ένα καινούριο δείγμα να ανταποκρίνεται σωστά. Στη βαθμολογημένη εκπαίδευση, η έξοδος που παίρνουμε από το μοντέλο αφού δώσουμε ένα διάνυσμα εισόδου, χαρακτηρίζεται ως καλή ή κακή και τα βάρη αναπροσαρμόζονται με βάση αυτό το χαρακτηρισμό. Και, τέλος, στην εκπαίδευση χωρίς επιτήρηση η απόκριση του δικτύου βασίζεται στην ικανότητα του να αυτοοργανώνεται με βάση τα διανύσματα εισόδου, καθώς δεν υπάρχουν αντίστοιχα διανύσματα εξόδου. Αυτή η εσωτερική οργάνωση γίνεται έτσι ώστε σε συγκεκριμένο σύνολο εισόδων να αντιδρά ισχυρά ένας συγκεκριμένος νευρώνας. Τέτοια σύνολα εισόδων αντιστοιχούν σε έννοιες με χαρακτηριστικά του πραγματικού κόσμου, τα οποία το τεχνητό νευρώνιο καλείται να μάθει. Διάφορες συναρτήσεις εκμάθησης έχουν προταθεί από διάφορους ερευνητές, οι πιο διαδεδομένες όμως είναι ο νόμος εκπαίδευσης Δέλτα, όπου η διαφορά μεταξύ πραγματικής και επιθυμητής εισόδου ελαχιστοποιείται μέσω μιας διαδικασίας ελαχίστων τετραγώνων, και ο νόμος εκπαίδευσης με οπισθοδιάδοση (Back Propagation), όπου η μεταβολή των βαρών βασίζεται στον υπολογισμό της συνεισφοράς κάθε βάρους στο συνολικό σφάλμα. Η διαδικασία αυτή θα αναλυθεί λεπτομερώς σε επόμενη ενότητα. Σ αυτό το σημείο θα πρέπει να τονίσουμε την πιθανότητα ατελούς μάθησης ή υπερεκπαίδευσης του μοντέλου. Ένα τεχνητό νευρωνικό δίκτυο που δεν είναι αρκετά πολύπλοκο μπορεί να αποτύχει να μοντελοποιήσει πλήρως τα δεδομένα εισόδου οδηγώντας σε ατελή μάθηση. Αντίθετα ένα πολύπλοκο τεχνητό νευρωνικό δίκτυο ενδέχεται να μοντελοποιήσει υπερβολικά τα δεδομένα εκπαίδευσης καθώς και το θόρυβο που πιθανώς υπάρχει σε αυτά, με αποτέλεσμα να τα απομνημονεύσει. Στην περίπτωση αυτή το δίκτυο δίνει σωστή πρόβλεψη για τα δεδομένα εκπαίδευσης αλλά παράγει τελείως λανθασμένες προβλέψεις για άγνωστα δεδομένα εισόδου. Φαινόμενα υπερπροσαρμογής ενδέχεται να εμφανιστούν σε τεχνητά νευρωνικά δίκτυα πολλών κρυφών επιπέδων ακόμη και εάν τα δεδομένα εισόδου δεν περιέχουν θόρυβο. Ο καλύτερος τρόπος περιορισμού όλων των παραπάνω είναι η χρήση ικανοποιητικού αριθμού δεδομένων εκπαίδευσης. Ο 33

35 συνηθέστερος τρόπος χρήσης των δεδομένων εκπαίδευσης είναι σε κύκλους εκπαίδευσης, ο οποίοι ονομάζονται εποχές. Η εκπαίδευση συνήθως τερματίζεται όταν το κριτήριο ελέγχου της ποιότητας του δικτύου φτάσει σε κάποια επιθυμητή τιμή. Ως τέτοιο κριτήριο χρησιμοποιείται συνήθως το μέσο τετραγωνικό σφάλμα (Mean Square Error, MSE) ή η μεταβολή του Οργάνωση Νευρωνικών Δικτύων Συνήθως οι τεχνητοί νευρώνες είναι οργανωμένοι σε μία σειρά από στρώματα ή επίπεδα (layers). Το πρώτο από τα επίπεδα αυτά ονομάζεται επίπεδο εισόδου και χρησιμοποιείται για την εισαγωγή δεδομένων. Τα στοιχεία του δηλαδή δεν είναι ουσιαστικά νευρώνες, γιατί δεν εκτελούν κάποιο υπολογισμό (δεν έχουν βάρη εισόδου ούτε συνάρτηση ενεργοποίησης). Στην συνέχεια μπορούν να ακολουθούν προαιρετικά ένα ή περισσότερα ενδιάμεσα ή κρυφά επίπεδα, ενώ στο τέλος υπάρχει το επίπεδο εξόδου. Οι νευρώνες στα τεχνητά νευρωνικά δίκτυα μπορεί να είναι πλήρως ή μερικώς συνδεδεμένοι. Πλήρως συνδεδεμένοι είναι εκείνοι οι οποίοι συνδέονται με όλους τους υπόλοιπους νευρώνες. Σε κάθε άλλη περίπτωση οι νευρώνες είναι μερικώς συνδεδεμένοι. Μία συνήθης περίπτωση μερικής διασύνδεσης είναι αυτή στην οποία οι νευρώνες ενός επιπέδου είναι πλήρως διασυνδεδεμένοι με αυτούς του επόμενου επιπέδου. Όταν δεν υπάρχουν συνδέσεις μεταξύ νευρώνων ενός επιπέδου και νευρώνων προηγούμενου επιπέδου τα τεχνητά νευρωνικά δίκτυα ονομάζονται πρόσθιας τροφοδότησης. Στην αντίθετη περίπτωση, καθώς και στην περίπτωση συνδέσεων μεταξύ του ίδιου επιπέδου τα τεχνητά νευρωνικά δίκτυα ονομάζονται δίκτυα με ανατροφοδότηση. Βλέπουμε παρακάτω σχηματικά τη δομή ενός νευρωνικού δικτύου με ανατροφοδότηση καθώς και τη δομή ενός νευρωνικού δικτύου πολλαπλών βαθμίδων. 34

36 ΣΧΗΜΑ ΤΝΔ με ανατροφοδότηση ΣΧΗΜΑ ΤΝΔ πολλών βαθμίδων 35

37 2.3.3 Νευρο-ασαφή Συστήματα (Neuro-Fuzzy Inference systems) Τα νευρο-ασαφή συστήματα συνδυάζουν την τεχνολογία των νευρωνικών δικτύων και της ασαφούς λογικής. Σκοπός του συνδυασμού αυτού είναι η αξιοποίηση των πλεονεκτημάτων και των δύο μεθόδων και κυρίως της υπολογιστική δύναμης των νευρωνικών δικτύων και της επικοινωνίας υψηλού επιπέδου με τον χρήστη μέσω των γλωσσικών μεταβλητών που παρέχει η ασαφής λογική. Πιο συγκεκριμένα, τα νευρωνικά δίκτυα έχουν πολύ μεγάλες δυνατότητες στον χειρισμό επεξεργασμένων πολυδιάστατων δεδομένων. Όμως, είναι αρκετά δύσκολο να μπει ο χρήστης στη λογική της επίλυσης ενός προβλήματος από ένα νευρωνικό δίκτυο, γι αυτό άλλωστε και ονομάζονται μαύρα κουτιά. Αντίθετα, όμως, τα ασαφή συστήματα λειτουργούν σε πιο υψηλό επίπεδο χρησιμοποιώντας κανόνες και ομαδοποιώντας τα δεδομένα ανάλογα με τις ιδιότητες τους. Έτσι ο χρήστης έχει τη δυνατότητα να επικοινωνεί με το σύστημα ώστε να μεταβιβάσει τη γνώση που έχει για κάποιο πρόβλημα αλλά και να ελέγχει τη λειτουργία τους. Τα ασαφή συστήματα όμως δεν έχουν την ικανότητα να μαθαίνουν από δεδομένα, οπότε και δε μπορούν να χρησιμοποιηθούν σε προβλήματα όπου ο χρήστης δεν ξέρει εκ των προτέρων την λύση υπό μορφή κανόνων, πράγμα που μπορούν, όμως, να επιτύχουν τα νευρωνικά δίκτυα. Οπότε βλέπουμε πως οι δύο αυτές τεχνολογίες αλληλοσυμπληρώνονται, καλύπτοντας η μία τα κενά της άλλης. Όσον αφορά τον τρόπο που θα συνδυαστούν ώστε να επιτευχθεί το βέλτιστο αποτέλεσμα, έχουν διατυπωθεί διαφορετικές απόψεις και έχουν υλοποιηθεί αρκετά μοντέλα που συνοψίζονται στις εξής τρεις κατηγορίες: Νευρο-ασαφή Συστήματα: σ αυτά τα συστήματα τα νευρωνικά δίκτυα χρησιμοποιούνται για να δώσουν ικανότητες μάθησης από πραγματικά δεδομένα σε ασαφή συστήματα. Ασαφή Νευρωνικά Δίκτυα: σε αυτήν την κατηγορία ανήκουν νευρωνικά δίκτυα στα οποία έχουν δοθεί ιδιότητες ασαφούς λογικής. Υβριδικά Συστήματα: αυτά τα συστήματα αποτελούνται από ολοκληρωμένα νευρωνικά και ασαφή συστήματα τα οποία συνεργάζονται μεταξύ τους. 36

38 Κάθε μία από τις εφαρμογές παρουσιάζει πλεονεκτήματα και μειονεκτήματα. Τα νευρο-ασαφή συστήματα, που θα μας απασχολήσουν και στη συγκεκριμένη εργασία, χρησιμοποιούν ασαφή συλλογιστική και εκπαίδευση με χρήση νευρωνικών δικτύων. Αυτό επιτυγχάνεται συνδυάζοντας στην ίδια την δομή τους τις δύο αυτές δυνατότητες. Αποτελούνται από νευρώνες, αλλά σε αντίθεση με τα νευρωνικά δίκτυα που οι νευρώνες εκτελούν την ίδια λειτουργία, εδώ υπάρχουν διάφοροι τύποι νευρώνων που αντιστοιχούν σε κάποια ξεχωριστή λειτουργία των ασαφών συστημάτων. Τα δίκτυα αυτά ανήκουν, όσον αφορά τη δομή τους, στην κατηγορία των νευρωνικών δικτύων πρόσθιας τροφοδότησης (Feed Forward Neural network, FFNN). Οι νευρώνες τους είναι τέτοιοι που, όπως προαναφέρθηκε, στην κατάσταση κανονικής λειτουργίας εκτελούν ασαφή συλλογιστική. Η δομή τους όμως αυτή τους επιτρέπει να χρησιμοποιήσουν αλγορίθμους εκπαίδευσης, μέσω της οποίας δημιουργούνται οι ασαφείς διαμερίσεις στους χώρους εισόδου και εξόδου όπως και οι ασαφείς κανόνες, αλλά και βελτιστοποιούνται όλες οι παράμετροι του συστήματος, παίρνοντας έτσι την τελική τους μορφή. Δεδομένου του ότι τόσο για τον κάθε κανόνα όσο και για την κάθε γλωσσική μεταβλητή αντιστοιχούν κάποιοι νευρώνες η μάθηση μπορεί να χαρακτηρισθεί δομική αφού κατά την διάρκειά της δημιουργούνται αυτοί οι νευρώνες. Μετά την δομική όμως, μπορεί να ακολουθήσει και παραμετρική μάθηση για να βελτιστοποιηθούν οι τιμές των διαφόρων παραμέτρων του δικτύου. Ανάλογα με το συγκεκριμένο μοντέλο μπορεί να γίνει μόνο το ένα από τα δύο στάδια μάθησης ή και τα δύο. ΣΧΗΜΑ Δομή Νευρο-ασαφούς συστήματος 37

39 3. Η μέθοδος ομαδοποίησης Substractive Clustering και η συνάρτηση του MATLAB genfis2 3.1 Εισαγωγή Σε αυτήν την ενότητα θα περιγράψουμε τη λειτουργία και τις μεθόδους που χρησιμοποιεί η συνάρτηση genfis2. Η συνάρτηση αυτή παράγει τον πίνακα ενός FIS (Fuzzy Inference System), δημιουργεί δηλαδή το ασαφές σύστημα που μοντελοποιεί ένα σετ δεδομένων. Δημιουργεί ουσιαστικά τους ασαφείς κανόνες του FIS. Η genfis2 χρησιμοποιεί μία μέθοδο ομαδοποίησης δεδομένων, τη Substractive Clustering (SC), και μία μέθοδο βελτιστοποίησης, τη Linear Least Squares Estimation (LLSE). Η SC καθορίζει τον αριθμό των κανόνων και τις συναρτήσεις συμμετοχής του τμήματος υπόθεσης και η LLSE καθορίζει το βέλτιστο τμήμα απόδοσης κάθε κανόνα, ως προς τις τιμές παραμέτρων του τμήματος υπόθεσης κανόνων που έχουμε αρχικά και δεν είναι βέλτιστες. Παρακάτω αναλύονται λεπτομερώς και οι δύο αυτές μέθοδοι αλλά και ο συνδυασμός τους για την αναγνώριση του μοντέλου. Να τονίσουμε σε αυτό το σημείο πως η genfis2 εκτελεί μόνο ένα πέρασμα προς τα εμπρός, σε αντίθεση με την anfis, την οποία και θα αναλύσουμε σε επόμενη ενότητα, που εκτελεί πολλές επαναλήψεις 2 περασμάτων, ένα προς τα εμπρός και ένα προς τα πίσω. 3.2 Μέθοδοι ομαδοποίησης δεδομένων Η ομαδοποίηση διαχωρίζει ένα σετ δεδομένων σε διάφορες ομάδες με βάση κάποιο κριτήριο ομοιότητας. Στη δική μας περίπτωση χρησιμοποιείται για το κτίσιμο ενός μοντέλου, μπορεί όμως να εφαρμοστεί σε διάφορες περιπτώσεις, όπως, για παράδειγμα, στη συμπίεση δεδομένων. Πριν εφαρμοστεί η μέθοδος στα διαφορετικά σετ θα πρέπει να γίνει κανονικοποίηση των δεδομένων για κάθε μεταβλητή. Η κανονικοποίηση γίνεται συνήθως στην περιοχή [0, 1]. Οι κυριότερες μέθοδοι ομαδοποίησης είναι: C-means Clustering Fuzzy C-means Clustering 38

40 Mountain Clustering Method Substractive Clustering Στην C-means Clustering, ένα σημείο ανήκει σε μια ομάδα εάν το κέντρο της ομάδας αυτής, που βρέθηκε με βάση κάποια κριτήρια ομοιότητας, είναι το πιο κοντινό από τα κέντρα. Στη Fuzzy C-means Clustering δίνεται για κάθε σημείο ένας βαθμός συμμετοχής σε κάθε ομάδα. Οι άλλες δύο μέθοδοι βασίζονται σε μία συνάρτηση, τη mountain function, που υπολογίζει την πυκνότητα των δεδομένων σε κάποια περιοχή. Η διαφορά τους βρίσκεται στο γεγονός πως η Mountain Clustering Method κάνει grid στο χώρο των δεδομένων, και τα υποψήφια κέντρα των ομάδων είναι τα σημεία τομής των grid lines, δηλαδή όλοι οι δυνατοί συνδυασμοί συναρτήσεων συμμετοχής όλων των εισόδων, ενώ αντίθετα, η SC θεωρεί ως υποψήφια κέντρα τα ίδια τα δεδομένα, αποφεύγοντας έτσι την απότομη και μεγάλη αύξηση του υπολογιστικού χρόνου που συμβαίνει στην πρώτη περίπτωση λόγω του μεγάλου αριθμού των διαστάσεων, αφού στη δεύτερη περίπτωση ο υπολογιστικός χρόνος είναι ανάλογος προς τον αριθμό των δεδομένων και όχι των διαστάσεων. Επίσης, με την SC ξεπερνάμε το πρόβλημα της επιλογής του κατάλληλου grid. Για παράδειγμα, για να κατανοήσουμε την πολυπλοκότητα, με τη μέθοδο του grid partitioning για ένα σύστημα με 2 εισόδους και δύο συναρτήσεις συμμετοχής για κάθε μία από αυτές, θα οδηγούμασταν σε ένα σύστημα με 210 = 1024 κανόνες, αριθμό απαγορευτικό για τη λειτουργικότητα ενός συστήματος. Αυτή η περίπτωση εκθετικής εξάρτησης του αριθμού των κανόνων από τον αριθμό των εισόδων είναι γνωστή ως η κατάρα των διαστάσεων (curse of dimensionality) και αποφεύγεται χρησιμοποιώντας τη μέθοδο Substractive Clustering η οποία δίνει γενικά πολύ λιγότερους κανόνες και ενδείκνυται για προβλήματα πολλών εισόδων, όπως το δικό μας. 3.3 Η μέθοδος Substractive Clustering και η αναγνώριση του μοντέλου Η φιλοσοφία της μεθόδου αυτής βασίζεται στην εύρεση μιας τιμής δυναμικού του κάθε δεδομένου, που απεικονίζει πόσο κοντά βρίσκεται στα υπόλοιπα δεδομένα. Με αυτή τη λογική, ένα δεδομένο με πολλά άλλα κοντά του έχει υψηλό δυναμικό, σε αντίθεση με κάποιο απομονωμένο που θα έχει χαμηλό. Ως πρώτο κέντρο επιλέγεται το δεδομένο με το 39

41 υψηλότερο δυναμικό. Στη συνέχεια τα δυναμικά των υπόλοιπων δεδομένων μειώνονται αναλόγως με την απόστασή τους από το πρώτο κέντρο που επιλέχθηκε, με τέτοιο τρόπο ώστε τα δεδομένα που βρίσκονται πολύ κοντά του να έχουν ιδιαίτερα χαμηλωμένο δυναμικό και έτσι να μειώνεται η πιθανότητα επιλογής τους ως νέο κέντρο. Ακολούθως, το δεδομένο με το υψηλότερο δυναμικό επιλέγεται ως νέο κέντρο και η διαδικασία συνεχίζεται έως ότου τα δυναμικά των δεδομένων να πέσουν κάτω από κάποιο κατώφλι, που εμείς έχουμε ορίσει ανάλογα με την εφαρμογή και τις απαιτήσεις του προβλήματος. Πιο συγκεκριμένα, αφού κανονικοποιηθούν όλα τα δεδομένα σε κάθε διάστασή τους στο διάστημα [0,1] (φυσικά μετά το πέρας της διαδικασίας τα δεδομένα επαναφέρονται στις σωστές διαστάσεις τους), ορίζουμε το μέγεθος που είναι το μέγεθος μέτρησης δυναμικού: για κάθε σημείο με όπου είναι μία θετική σταθερά και αποτελεί την ακτίνα που ορίζει μία περιοχή. Δεδομένα έξω από την περιοχή αυτή επηρεάζουν ελάχιστα το δυναμικό του σημείου. Ένα πολύ μεγάλο πλεονέκτημα της μεθόδου αυτής είναι η χρήση του τετραγώνου της αποστάσεως, απαλλάσσοντάς μας έτσι από τη χρήση της τετραγωνικής ρίζας που θα χρειαζόταν αλλιώς για την εύρεσή της. Ως πρώτο κέντρο επιλέγεται, όπως είπαμε, το δεδομένο με το μεγαλύτερο δυναμικό. Αν είναι οι συντεταγμένες του κέντρου και το δυναμικό του, τότε το δυναμικό οποιουδήποτε δεδομένου επαναπροσδιορίζεται σύμφωνα με τον παρακάτω τύπο: Όπου όπου είναι η ακτίνα που προσδιορίζει τη γειτονιά που θα έχει σημαντική μείωση στο δυναμικό των σημείων που ανήκουν σ αυτήν. Ουσιαστικά, από κάθε δεδομένο αφαιρείται ένα μέρος από το δυναμικό του, σαν συνάρτηση της απόστασής του από το 40

42 πρώτο κέντρο. Τα δεδομένα κοντά σε αυτό θα έχουν σημαντικά μειωμένο δυναμικό και δε θα είναι πιθανό να επιλεχθούν ως το επόμενο κέντρο. Για να αποφύγουμε την περίπτωση δύο κέντρα να είναι πολύ κοντά μεταξύ τους, επιλέγουμε, μέσω της συνάρτησης genfis2, το να είναι λίγο μεγαλύτερο από το, δηλαδή = Αφού αλλάξουν τα δυναμικά όλων των σημείων με αυτό τον τρόπο, επιλέγουμε σαν το δεύτερο κέντρο αυτό με το μεγαλύτερο δυναμικό. Στη συνέχεια, μειώνουμε το δυναμικό κάθε σημείου αναλόγως με την απόστασή του από το δεύτερο κέντρο και για τα υπόλοιπα κέντρα που θα προκύψουν στη συνέχεια. Οι υπόλοιπες τεχνικές ομαδοποίησης σταματούν όταν η τιμή του δυναμικού κάποιου κέντρου που μόλις προέκυψε πέσει κάτω από μία τιμή που έχει οριστεί σαν κατώφλι. Με αυτόν τον περιορισμό, υπάρχει ο κίνδυνος να έχουμε ένα μοντέλο με πολλούς κανόνες αν το κατώφλι που επιλέξουμε είναι αρκετά μικρό ή αντίθετα να έχουμε ένα μοντέλο με πολύ λίγους κανόνες, αν οριστεί κάποιο μεγάλο κατώφλι. Η SC έχει εισαγάγει και άλλα κριτήρια, ώστε να καλύψει την έλλειψη τιμής κατωφλίου που θα ήταν ικανή να ικανοποιήσει όλες τις εφαρμογές. Ένα κριτήριο είναι το ε, που δίνει την τιμή του κατωφλιού κάτω από την οποία απορρίπτονται αμέσως τα κέντρα και η διαδικασία σταματά εκεί. Είναι, ουσιαστικά, το ποσοστό δυναμικού του πρώτου κέντρου. Υπάρχει και ένα ε, το οποίο προσδιορίζει το άνω κατώφλι, δηλαδή μία τιμή δυναμικού πάνω από την οποία δεχόμαστε αυτομάτως κάποιο κέντρο. Αν το δυναμικό ενός κέντρου προκύψει ανάμεσα στα δύο κατώφλια, τότε η αποδοχή ή απόρριψή του εξαρτάται από το αν το δεδομένο αυτό βρίσκεται μακριά από τα ήδη υπάρχοντα κέντρα. Αν είναι η μικρότερη από τις αποστάσεις του σημείου που έχουμε ως υποψήφιο κέντρο από τα υπόλοιπα ήδη υπάρχοντα κέντρα, το κέντρο αυτό θα γίνει δεκτό και θα συνεχιστεί η διαδικασία αν ισχύει: Αν αυτό δεν ισχύει, το κέντρο απορρίπτεται και το δυναμικό του μηδενίζεται. Έπειτα επιλέγεται το δεδομένο με το αμέσως επόμενο μεγαλύτερο δυναμικό και επαναλαμβάνεται η διαδικασία ελέγχου για το καινούριο υποψήφιο κέντρο. Οι τιμές που επιλέγονται είναι ε=0.15 και ε =

43 Σε αυτό το σημείο είναι πολύ σημαντικό να τονίσουμε ότι κάθε κέντρο μίας ομάδας αποτελεί τη βάση ενός κανόνα που περιγράφει τη συμπεριφορά του συστήματος. Έτσι ξεκινά η αναγνώριση του μοντέλου. Εδώ, αποφεύγουμε να εισάγουμε εκ των προτέρων γνώση, άλλα κτίζουμε το μοντέλο ανάλογα με τα δεδομένα, δηλαδή με τη γνωστή σε μας συμπεριφορά του. Έστω ένα σετ από c κέντρα (cluster centers),,,,, σε ένα χώρο με M διαστάσεις. Οι πρώτες Ν διαστάσεις αντιστοιχούν στις μεταβλητές εισόδου και οι υπόλοιπες Μ-Ν στις μεταβλητές εξόδου. Χωρίζουμε το κάθε διάνυσμα σε δύο διανύσματα, και, όπου το πρώτο περιέχει τα πρώτα Ν στοιχεία του, δηλαδή τις συντεταγμένες του κέντρου στο χώρο εισόδων, και το δεύτερο τα υπόλοιπα Μ-Ν, δηλαδή τις συντεταγμένες του κέντρου στο χώρο εξόδων. Θεωρούμε, όπως είπαμε, το κάθε κέντρο σαν έναν ασαφή κανόνα που περιγράφει τη συμπεριφορά του συστήματος. Δεδομένου ενός διανύσματος εισόδου, ο βαθμός εκπλήρωσης του κανόνα i ορίζεται ως: Η έξοδος υπολογίζεται από τη σχέση: Ο κάθε κανόνας διατυπώνεται με την ακόλουθη μορφή: IF (Y 1 is A 1 ) AND (Y 2 is A 2 ) AND. THEN (Z 1 is B 1 ) AND (Z 2 is B 2 ) Για τον κανόνα που αναφέρεται στο κέντρο, τα και, είναι: όπου το είναι το j-στοιχείο του και αντίστοιχα είναι το j-στοιχείο του. Η μέθοδος αυτή χρησιμοποιεί τα μοντέλα Takaki-Sugeno 1ης τάξης, τα οποία αναλύσαμε σε προηγούμενη ενότητα, οπότε το γραμμική εξίσωση: δεν είναι μία σταθερά αλλά μία 42

44 όπου είναι ένας (M-N) (N) σταθερός πίνακας και ένα σταθερό διάνυσμα στήλη με M-N στοιχεία. Δηλαδή το τμήμα απόδοσης κάθε κανόνα είναι μία γραμμική εξίσωση 1ου βαθμού των μεταβλητών εισόδου. Τα μοντέλα που χρησιμοποιούν τέτοιους κανόνες είναι ικανά να μοντελοποιήσουν περίπλοκα μη γραμμικά συστήματα με λίγους κανόνες. Οι συναρτήσεις συμμετοχής της κάθε εισόδου σε κάθε κανόνα είναι Gaussian. Ο γενικός τύπος της συνάρτησης είναι: ( ) Η συνάρτηση αυτή είναι κλειστή και περιγράφει ασαφή σύνολα. Για κάθε μία συνάρτηση συμμετοχής έχουμε δύο παραμέτρους. Οι παράμετροι αυτές είναι η σ που είναι η τυπική απόκλιση και ελέγχει τη διασπορά, δηλαδή το εύρος της συνάρτησης κατανομής, και το c που είναι το κέντρο και καθορίζει το σημείο στο οποίο εστιάζεται αυτή. Τα κέντρα, όπως έχουμε περιγράψει, έχουν προσδιοριστεί από την SC, ενώ οι τιμές της τυπικής απόκλισης όχι. Έτσι στις τυπικές αποκλίσεις κάθε συνάρτησης συμμετοχής που αντιστοιχεί στην ίδια είσοδο, ή σε εισόδους που είναι καθυστερημένες τιμές κάποιας άλλης εισόδου, δίνεται η ίδια τιμή. Αυτή η τιμή είναι: Εκφράζοντας λοιπόν την έξοδο σαν μια γραμμική συνάρτηση των εισόδων, επιτρέπει ένα πολύ σημαντικό κομμάτι της βελτιστοποίησης να γίνει με μικρή υπολογιστική πολυπλοκότητα. Όπως απέδειξαν οι Takaki και Sugeno, δοθέντος ενός σετ κανόνων με έτοιμο το τμήμα απόδοσης, η βελτιστοποίηση των παραμέτρων στο τμήμα απόδοσης, με βάση τα δεδομένα μοντελοποίησης, είναι ένα απλό Linear Least Squares Estimation (LLSE) πρόβλημα. Τέτοια προβλήματα λύνονται αρκετά εύκολα και η λύση είναι σχεδόν πάντα βέλτιστη. Η βελτιστοποίηση των παραμέτρων του τμήματος απόδοσης δεν απαιτεί καμία μη γραμμική διαδικασία και αυτό αποτελεί ένα από τα σημαντικότερα πλεονεκτήματα της μεθόδου αυτής. 43

45 3.4 Βελτιστοποίηση των παραμέτρων του τμήματος απόδοσης κανόνων με τη μέθοδο RLSE. Για να μετατρέψουμε το πρόβλημα της βελτιστοποίησης των παραμέτρων των εξισώσεων στο γνωστό πρόβλημα Linear Least Squares Estimation θα πρέπει να ορίσουμε: Και η έξοδος του fis μπορεί να γραφεί: Δοθείσας μίας ακολουθίας από δεδομένα εισόδου{ }, η ακολουθία εξόδου του μοντέλου που προκύπτει είναι: [ ] [ ] [ ] όπου το απεικονίζει το για το. Αν δίνονται λοιπόν τα { }, ο n c πίνακας στο δεξιό μέρος της εξίσωσης είναι σταθερός και ο άλλος πίνακας περιέχει όλες τις παραμέτρους που πρέπει να βελτιστοποιηθούν. Για να ελαχιστοποιήσουμε το τετραγωνικό σφάλμα μεταξύ της εξόδου του μοντέλου και αυτής των δεδομένων, αντικαθιστούμε τον πίνακα εξόδων με τις πραγματικές εξόδους και λύνουμε την εξίσωση. Ο αριθμός των πραγματικών τιμών θα πρέπει να είναι μεγαλύτερος από τον αριθμό των παραμέτρων που πρέπει να βελτιστοποιηθούν για να έχουμε μοναδική λύση για αυτές. Μπορούμε να γράψουμε αυτή την εξίσωση ως: Όπου A πίνακας (m n) με σταθερά στοιχεία, X ο πίνακας με τις προς βελτιστοποίηση παραμέτρους με διαστάσεις (n 1) και B ο πίνακας με τις τιμές των εξόδων με διαστάσεις (m 1). Αν ο πίνακας A είναι τετραγωνικός, δηλαδή m=n, και μη μοναδιαίος, τότε η λύση είναι: 44

46 Τα ζεύγη των δεδομένων, όπως είπαμε, είναι περισσότερα από τις παραμέτρους (m n). Μία ακριβής λύση που να ικανοποιεί όλες τις εξισώσεις δεν είναι πάντα δυνατή, λόγω του θορύβου που μπορεί να περιέχεται στα δεδομένα ή λόγω μη καταλληλότητας του μοντέλου να περιγράψει το σύστημα που θέλουμε να μοντελοποιήσουμε. Οπότε εισάγουμε ένα διάνυσμα σφάλματος e, που αντιστοιχεί είτε στο θόρυβο είτε στο σφάλμα μοντελοποίησης: Έτσι, αντί να ψάχνουμε την ακριβή λύση, ψάχνουμε για ένα το οποίο ελαχιστοποιεί το άθροισμα των τετραγωνικών σφαλμάτων: Η έχει τετραγωνική μορφή και έχει μόνο ένα ελάχιστο για την τιμή. Το παρακάτω θεώρημα δίνει μία αναγκαία συνθήκη που ικανοποιείται από τον εκτιμητή ελαχίστων τετραγώνων : Θεώρημα: Το τετραγωνικό σφάλμα ελαχιστοποιείται όταν =, όπου ο εκτιμητής ελαχίστων τετραγώνων, ή LSE, που ικανοποιεί την εξίσωση: Αν ο ATA δεν είναι μοναδιαίος, το είναι μοναδικό και δίνεται από τη σχέση: Ο υπολογισμός αυτού του πίνακα είναι αρκετά δύσκολος, ιδιαίτερα αν ο είναι μεγάλος (το μέγεθός του είναι (c(n+1) c(n+1))). Επίσης, αν αυτός ο πίνακας είναι κοντά στο μοναδιαίο, παρουσιάζονται αριθμητικά προβλήματα. Έτσι, οδηγούμαστε στη χρήση της μεθόδου Recursive Least Squares Estimation (RLSE). Υποθέτοντας πως οι πίνακες και έχουν γραμμές, ο αντιστοιχεί στην εκτίμηση για τα ζεύγη δεδομένων. Το μπορεί να θεωρηθεί και ως μέτρηση χρόνου, αν τα δεδομένα έρχονται σειριακά. Οπότε, αν γίνει διαθέσιμο ένα νέο ζεύγος δεδομένων, αντί να επαναλάβουμε όλη τη διαδικασία εύρεσης του εκτιμητή για τα ( +1) δεδομένα, εκμεταλλευόμαστε το γεγονός ότι γνωρίζουμε την τιμή του εκτιμητή για τα προηγούμενα δεδομένα. Αυτή η διαδικασία αποσκοπεί στην εύρεση ενός διορθωτικού προσθετικού όρου 45

47 για τον εκτιμητή που τον προσαρμόζει κάθε φορά με τα καινούρια δεδομένα που προκύπτουν. Η μέθοδος αυτή μας δίνει το μέσα από μία επαναλληπτική φόρμουλα: όπου είναι η εκτίμηση του στην i-οστή επανάληψη, είναι ένας (c(n+1) c(n+1)) πίνακας ετεροσυσχέτισης, είναι το i-οστό διάνυσμα-σειρά του πίνακα, και είναι το i-οστό διάνυσμα-σειρά του πίνακα. Η εκτίμηση του αντιστοιχεί στην τιμή του n. Ένα άλλο πρόβλημα αυτής της μεθόδου είναι η εύρεση των αρχικών συνθηκών της επαναληπτικής διαδικασίας. Συνηθίζεται να αρχικοποιείται με κατευθείαν επίλυση των σχέσεων: για λίγα δεδομένα και με δεδομένους τους προκύψαντες πίνακες να αρχίσει η διαδικασία με αυτές τις αρχικές τιμές. Αυτό όμως τις περισσότερες φορές δεν είναι εφικτό, οπότε πρέπει να βρούμε κάποιες αρχικές τιμές που θα αρχικοποιούν κάθε τέτοια διαδικασία. Για ένα πίνακα δεδομένων με ζεύγη ισχύει: Επιλέγοντας, όπου μια μεγάλη θετική σταθερά, επειδή το όριο του αντιστρόφου του όταν το τείνει στο άπειρο είναι 0, το 0 δεν επηρεάζει τις παραπάνω σχέσεις, οπότε για ευκολία επιλέγουμε 0= 0. Να τονίσουμε σ αυτό το σημείο πως ο πίνακας Sk είναι ανάλογος της συσχέτισης των εκτιμητών και πως αυτή η επαναληπτική διαδικασία μπορεί πολύ εύκολα να επεκταθεί και σε συστήματα πολλών εξόδων. Επίσης, παρά το γεγονός ότι η διαδικασία αναπτύχθηκε 46

48 για γραμμικά μοντέλα μπορεί να επεκταθεί, διατηρώντας τους βασικούς άξονες της φιλοσοφίας της, και σε μη γραμμικά μοντέλα. 3.5 Η συνάρτηση του MATLAB genfis2 Η συνάρτηση genfis2 δημιουργεί ένα FIS με τη μέθοδο Subtractive Clustering για δοθέντα ζεύγη δεδομένων εισόδων-εξόδου. Όταν υπάρχει μία μόνο έξοδος, όπως συμβαίνει στη δική μας εφαρμογή, η genfis2 χρησιμοποιείται για να δημιουργήσει το αρχικό fis με τη μέθοδο SC. Αυτό το καταφέρνει εξάγοντας ένα σετ κανόνων που μοντελοποιεί τη συμπεριφορά των δεδομένων. Η συνάρτηση genfis2 έχει τις εξής παραμέτρους: : Πίνακας εισόδων : Πίνακας εξόδων : Διάνυσμα που καθορίζει την ακτίνα επιρροής του κέντρου ομάδας για κάθε διάσταση των δεδομένων : Είναι ένας 2xN πίνακας που καθορίζει πως θα τοποθετηθούν τα δεδομένα και σε ένα μοναδιαίο υπερ-κουτί, όπου N είναι η διάσταση (πλήθος γραμμών) των δεδομένων. Η πρώτη γραμμή του πίνακα περιέχει το ελάχιστο εύρος τιμών για τον άξονα και η δεύτερη γραμμή δείχνει το μέγιστο εύρος τιμών για κανονικοποίηση των δεδομένων σε κάθε διάσταση. Αν δε δοθεί τιμή για τη παράμετρο τότε παίρνονται αυτόματα οι μέγιστες και ελάχιστες τιμές από το σετ δεδομένων. 3.6 Συμπεράσματα Παρατηρήσεις Συνοψίζοντας, η μέθοδος αναγνώρισης του μοντέλου αποτελείται από δύο βήματα: Την εύρεση των κέντρων ομάδων (cluster centers), για να βρεθεί ο αριθμός των ασαφών κανόνων και τμήμα υπόθεσης τους. Σ αυτό το βήμα, το μεγαλύτερο μέρος του υπολογιστικού χρόνου καταναλώνεται για τον υπολογισμό του αρχικού δυναμικού κάθε δεδομένου. Κάθε επόμενη επανάληψη για επιλογή νέου κέντρου και για μείωση του δυναμικού, απαιτεί τον 47

49 ίδιο χρόνο με τον υπολογισμό του δυναμικού ενός σημείου. Αν υποθέσουμε ότι ο αριθμός των κέντρων είναι πολύ μικρότερος από το συνολικό αριθμό των δεδομένων, μπορούμε να υπολογίσουμε ακριβώς το χρόνο αυτό. Τη βελτιστοποίηση των τμημάτων απόδοσης των κανόνων. Ο υπολογιστικός χρόνος του βήματος αυτού επηρεάζεται γραμμικά από τον αριθμό των κέντρων που βρέθηκαν στο πρώτο βήμα καθώς ο αριθμός των προς βελτιστοποίηση παραμέτρων αυξάνεται γραμμικά με τον αριθμό των κέντρων των ομάδων και επομένως μπορεί να προσδιοριστεί μόνο αφού ολοκληρωθεί το πρώτο βήμα. Κανένα από τα δύο βήματα δεν απαιτεί μη γραμμική βελτιστοποίηση και έχουν ικανοποιητικό υπολογιστικό χρόνο. Παρόλο που ο αριθμός των ομάδων (άρα και των κανόνων) καθορίζεται αυτόματα από αυτή τη μέθοδο, η παράμετρος (δηλαδή η ακτίνα επιρροής του κέντρου ομάδας) που καθορίζεται από το χρήστη επηρεάζει σημαντικά τον αριθμό των κανόνων που θα προκύψουν. Η επιλογή μίας μεγάλης ακτίνας παράγει λιγότερους κανόνες και οδηγεί σε ένα μοντέλο που δεν ταιριάζει ακριβώς με τα πραγματικά δεδομένα. Αντίθετα, η επιλογή μίας μικρής ακτίνας μπορεί να παραγάγει πολύ μεγάλο αριθμό κανόνων, και άρα να οδηγηθούμε σε ένα πολύπλοκο μοντέλο με μικρή ικανότητα γενίκευσης, καθώς θα είναι ταυτισμένο με τα δεδομένα. Η ακτίνα, λοιπόν, είναι ένα είδος μεταβλητής ελέγχου που μας οδηγεί σε διάφορα μοντέλα ανάλογα με τις απαιτήσεις του συστήματος σε πολυπλοκότητα, ικανότητα γενίκευσης και ακρίβεια πρόβλεψης. Η συνάρτηση genfis2 δίνει τη δυνατότητα στο χρήστη να επιλέξει την ακτίνα, όπως αναλύεται λεπτομερώς στην δική μας εφαρμογή, το είδος της κανονικοποίησης των δεδομένων, τον συντελεστή απόσβεσης του δυναμικού γύρω από το κέντρο αλλά και των κατωφλίων για την αποδοχή ή απόρριψη ενός υποψήφιου κέντρου. Συμπερασματικά, η συνάρτηση genfis2 δημιουργεί ένα ασαφές μοντέλο, του οποίου τον αριθμό των ασαφών κανόνων επιλέγει ο χρήστης, και το εκπαιδεύει, με ένα πέρασμα 48

50 μόνο, βελτιστοποιώντας τις παραμέτρους του τμήματος απόδοσης των κανόνων. Οι τιμές όμως που θα πάρουν αυτές δεν είναι ολικά βέλτιστες, παρά μόνο βέλτιστες ως προς τις αρχικές τιμές που δόθηκαν στις παραμέτρους του τμήματος υπόθεσης. Δηλαδή καταφέρνει σε πολύ μικρό χρονικό διάστημα να δώσει ένα μοντέλο που παρουσιάζει αρκετά καλή συμπεριφορά. Υπερτερεί σε οικονομία χρόνου σε σχέση με τις υπόλοιπες μεθόδους ομαδοποίησης και αποφεύγει την μη γραμμική βελτιστοποίηση στο στάδιο κτισίματος του μοντέλου. Αυτό συμβαίνει γιατί το μοντέλο κτίζεται με βάση τα πραγματικά δεδομένα που καθορίζουν τη συμπεριφορά του συστήματος και όχι εμπειρικά ή διαισθητικά. Οπότε για κάθε σετ δεδομένων έχουμε ένα είδος εξειδίκευσης, χωρίς αυτό όμως να οδηγεί σε αδυναμία πρόβλεψης άγνωστων δεδομένων. Δηλαδή τα μοντέλα που δίνει η genfis2 θα μπορούσαν αν σταθούν και χωρίς περαιτέρω βελτιστοποίηση, σε αντίθεση με αυτά που δίνει η συνάρτηση genfis1, η οποία δημιουργεί τα μοντέλα με την μέθοδο grid partitioning χωρίς να χρησιμοποιεί κάποια μέθοδο βελτιστοποίησης και, έτσι, καθίσταται απαραίτητη η εκπαίδευσή τους. Η τελική βελτιστοποίηση όλων των παραμέτρων του ασαφούς συστήματος πραγματοποιείται όταν εισάγουμε το μοντέλο σε κάποιο νευρο-ασαφές δίκτυο (ANFIS) που εκτελεί πολλά περάσματα. 49

51 4. Ο αλγόριθμος ANFIS 4.1 Εισαγωγή Όπως έχουμε ήδη αναφέρει, τα νευρο-ασαφή δίκτυα συνδυάζουν τις τεχνικές των νευρωνικών δικτύων και των συστημάτων ασαφούς συμπερασμού σε μια μέθοδο η οποία υλοποιείται μέσω του αλγορίθμου ANFIS (Adaptive Neuro-Fuzzy Inference System). Η μέθοδος αυτή εφαρμόζει τεχνικές ασαφούς συμπερασμού στην μοντελοποίηση δεδομένων. Το μεγαλύτερο πλεονέκτημα αυτής της διαδικασίας είναι το γεγονός πως αν έχουμε μια ομάδα δεδομένων εισόδου-εξόδου που θέλουμε να χρησιμοποιήσουμε για τη μοντελοποίηση, χωρίς να έχουμε μια προαποφασισμένη δομή για το μοντέλο, οι συναρτήσεις συμμετοχής και οι παράμετροί τους σχηματίζονται με βάση τα δεδομένα αυτά, δηλαδή με βάση μια γνωστή συμπεριφορά του συστήματος, την οποία όμως ο χρήστης δεν θα μπορούσε να μοντελοποιήσει δημιουργώντας αυτός τους κανόνες ή επιλέγοντας τιμές για τις παραμέτρους των συναρτήσεων συμμετοχής. Υποθέτοντας πως έχουμε ήδη δημιουργήσει το αρχικό μοντέλο, με χρήσης της συνάρτησης genfis2, το anfis εισάγει αυτό το μοντέλο σε ένα γενικευμένο νευρωνικό δίκτυο πρόσθιας τροφοδότησης (Feed Forward Neural network, FFNN) και ακολούθως το εκπαιδεύει χρησιμοποιώντας έναν υβριδικό αλγόριθμο που συνδυάζει την μέθοδο Back Propagation Gradient Descent (BP/GD) και την Least Square Error (LSE), οι οποίες αναλύονται λεπτομερώς παρακάτω, ώστε να κατανοήσουμε με ποιο τρόπο το anfis εκπαιδεύει ένα μοντέλο. Το δίκτυο που χρησιμοποιεί ο αλγόριθμος anfis χρησιμοποιεί μάθηση με επιτήρηση (supervised learning), δηλαδή το σετ δεδομένων εκπαίδευσης περιέχει ζεύγη τιμών εισόδων-εξόδου. 4.2 Η Υβριδική Μέθοδος BP/LSE Η μέθοδος BP εκτελεί έναν αριθμό εποχών εκπαίδευσης, ο οποίος καθορίζεται από το χρήστη. Στην αρχή της διαδικασίας δίνονται τυχαίες αρχικές τιμές στα βάρη. Κάθε εποχή περιλαμβάνει δύο περάσματα, ένα προς τα εμπρός (forward pass) και ένα προς τα πίσω (backward pass). 50

52 Στον πίνακα 4.1 δίνεται μια συνοπτική περιγραφή των δύο περασμάτων. Πέρασμα προς τα εμπρός Πέρασμα προς τα πίσω Αρχικές Παράμετροι Σταθερές Βαθμωτή Ελαχιστοποίηση Επακόλουθες Παράμετροι Εκτιμητής Ελαχίστων Τετραγώνων Σταθερές Σήματα Έξοδοι Κόμβων Σήμα Σφάλματος ΠΙΝΑΚΑΣ 4.1: Συνοπτική περιγραφή της μεθόδου BP/GD. Στο πέρασμα προς τα εμπρός, οι έξοδοι δημιουργούνται από τις εισόδους που εισάγουμε στο δίκτυο και από τα αρχικά βάρη. Από αυτό το στάδιο κρατούνται κάποια στατιστικά στοιχεία για την επόμενη φάση. Το σφάλμα ορίζεται ως η διαφορά της εξόδου του δικτύου από την πραγματική έξοδο, είτε στο τέλος της εποχής είτε σε κάθε φάση εκπαίδευσης (pattern). Στην πρώτη περίπτωση, τα διάφορα σφάλματα από κάθε φάση εκπαίδευσης αθροίζονται και το ολικό σφάλμα χρησιμοποιείται για το πέρασμα προς τα πίσω. Στην δεύτερη περίπτωση, τα σφάλματα κάθε φάσης οδηγούνται απευθείας στο πέραμα προς τα πίσω. Στο πέρασμα προς τα πίσω, γίνεται ουσιαστικά η εκπαίδευση. Σε αυτό το στάδιο, τα βάρη του δικτύου ενημερώνονται και υφίστανται αλλαγές, με διαφορετικό τρόπο αν πρόκειται για βάρη που αντιστοιχούν σε παραμέτρους του τμήματος υπόθεσης ή απόδοσης κανόνων. Για τα βάρη που αντιστοιχούν στις παραμέτρους υπόθεσης κανόνων, που είναι οι μη γραμμικές παράμετροι, η αλλαγή γίνεται μέσω της μεθόδου delta rule και της GD. Η μεταβολή σε κάθε βάρος καθορίζεται από τον κανόνα δέλτα (delta rule) και πρέπει να είναι ανάλογη της εξόδου του κόμβου στον οποίο κατευθύνεται το βάρος αλλά και της τοπικής κλίσης (gradient) του κόμβου αυτού. Η τοπική κλίση είναι το γινόμενο της παραγώγου της συνάρτησης κατωφλίου του νευρωνίου για την ολική είσοδο του δικτύου στον κόμβο με το διάνυσμα του σφάλματος για κόμβο εξόδου, και με το weighted sum των τοπικών κλίσεων των κόμβων των προηγούμενων στρωμάτων με τα οποία συνδέεται ο κόμβος μας, για κρυμμένο κόμβο. Επίσης υπάρχει και η δυνατότητα χρήσης του γενικευμένου delta rule, 51

53 όπου εκτός της αλλαγής που προβλέπει ο delta rule για την τιμή του βάρους, προστίθεται και ένας όρος που είναι το γινόμενο της προηγούμενης αλλαγής στο βάρος επί κάποια τιμή άλφα (alpha value), σκοπός της οποίας είναι η μείωση της τάσης του delta rule να οδηγεί τον συντελεστή εκμάθησης (learning rate) άρα και την αλλαγή της τιμής κάποιου βάρους σε κάποια συγκεκριμένη κατεύθυνση που μπορεί να μην οδηγεί σε επιθυμητά αποτελέσματα. Ο συντελεστής εκμάθησης είναι μία σταθερά η οποία καθορίζει την ταχύτητα εκμάθησης. Η μέθοδος BP είναι κτισμένη έτσι ώστε να ζητά μικρές αλλαγές στις τιμές των βαρών. Αν οι αλλαγές αυτές είναι πολύ μεγάλες, τότε έχουμε ένα είδος άλματος του σφάλματος ως προς τις τιμές των βαρών στον αλγόριθμο, που επιτάσσει μία μείωση του συντελεστή εκμάθησης. Αντίθετα όμως, αν είναι πολύ μικρές, θα χρειαστούν πολλές εποχές εκπαίδευσης για να μπορέσουμε να φτάσουμε σε μια επιθυμητή τιμή σφάλματος. Η μέθοδος που ακολουθείται ακριβώς για την αλλαγή των βαρών των γραμμικών παραμέτρων του τμήματος υπόθεσης του μοντέλου που εισάγουμε στο anfis είναι η GD. Πριν την περιγράψουμε, θα αναφερθούμε στην έννοια της επιφάνειας σφάλματος (error surface), η οποία είναι η γραφική παράσταση του συνολικού σφάλματος του δικτύου ως προς τα διάφορα βάρη, που δεν παρίστανται όμως εύκολα λόγω των πολλών διαστάσεων που προκύπτουν. Σε μια τέτοια γραφική παράσταση δεν παρατηρούμε ελάχιστα, αλλά κοιλάδες. Καθώς η εκπαίδευση προχωρεί, το σφάλμα πρέπει να κατευθύνεται προς κοιλάδες. Η GD επιτάσσει το σφάλμα να μειώνεται αλλάζοντας τα βάρη με τέτοιο τρόπο ώστε να επιλέγεται η μέγιστη δυνατή κλίση (gradient) προς τα κάτω από το σημείο που βρισκόμαστε στο χώρο των βαρών. Το πρώτο βήμα της μεθόδου GD είναι ο υπολογισμός της παραγώγου του σφάλματος ως προς τα βάρη. Αυτή συμβολίζεται ως E(w), όπου E(w) είναι η συνάρτηση του σφάλματος που πρέπει να ελαχιστοποιηθεί και w το διανυσμάτων ανεξάρτητων μεταβλητών, δηλαδή των διάφορων βαρών. Έπειτα αλλάζουμε τις τιμές των βαρών ως εξής: όπου ο δείκτης αναφέρεται στον αριθμό επανάληψης και είναι το βήμα που χρησιμοποιείται, που πρέπει να μην είναι ούτε πολύ μεγάλο αλλά ούτε πολύ μικρό, ώστε να μην οδηγήσει σε υπερύψωση του ελάχιστου σφάλαμτος για την πρώτη περίπτωση αλλά 52

54 ούτε και σε αργή σύγκλιση του αλγορίθμου στη δεύτερη περίπτωση. Στα μαθηματικά το grad( ) ενός διανύσματος δίνει τη μέγιστη κλίση, έτσι η αλλαγή στο διάνυσμα βαρών είναι ανάλογη προς το αρνητικό του grad του διανύσματος βαρών. Πιο συγκεκριμένα το grad του διανύσματος σφάλματος ορίζεται ως εξής, σαν συνάρτηση βαρών: και η μεταβολή που προκύπτει στα βάρη δίνεται με χρήση μερικών παραγώγων: Η παραπάνω διαδικασία επαναλαμβάνεται μέχρι η να συγκλίνει σε κάποιο ελάχιστο. Το ελάχιστο αυτό όμως είναι συνήθως τοπικό ελάχιστο για τη συνάρτηση σφάλματος, κάτι το οποίο είναι μειονέκτημα της μεθόδου GD. Όταν το ελάχιστο είναι τοπικό και όχι ολικό, τότε λέμε πως ο αλγόριθμος έχει παγιδευτεί σε κάποιο τοπικό ελάχιστο, και ο μόνος τρόπος να αποφύγουμε το ενδεχόμενο να έχουμε άσχημα αποτελέσματα είναι να επανεκτιμηθεί ο αλγόριθμος με νέες αρχικές τιμές για τα βάρη, ώστε να φτάσει στο ολικό ελάχιστο ή έστω να παγιδευτεί σε κάποιο μικρότερο τοπικό ελάχιστο. Ένα ακόμη μειονέκτημα αυτής της μεθόδου είναι ότι είναι απαραίτητη η ύπαρξη της παραγώγου. Για την μεταβολή των βαρών που αντιστοιχούν στις παραμέτρους του τμήματος απόδοσης των ασαφών κανόνων του μοντέλου που εισάγαμε στο anfis, που είναι οι γραμμικές παράμετροι, χρησιμοποιείται αρχικά ο αλγόριθμος Linear Least Square Estimator και στη συνέχεια ο RLSE που έχει αναλυθεί σε προηγούμενη ενότητα. Αυτός είναι και ο λόγος που ο αλγόριθμος anfis ονομάζεται υβριδικός και ο συνδυασμός αυτός τον καθιστά εξαιρετικά γρήγορο στη σύγκλισή του σε κάποιο ελάχιστο, αλλά και οδηγεί σε σημαντική μείωση του χώρου αναζήτησης της GD. Συνοψίζοντας, η μάθηση με αυτή τη μέθοδο λειτουργεί βρίσκοντας αρχικά ένα σετ βαρών που ταιριάζει με τις φάσεις εκπαίδευσης, και έπειτα βελτιστοποιείται ώστε να ταιριάζει ακριβώς με αυτές. Εδώ θα χρειαστεί να αναφέρουμε ξανά τον κίνδυνο της υπερεκπαίδευσης (overfitting) του μοντέλου. Αυτό συμβαίνει όταν η εκπαίδευση συνεχίζεται για αρκετές εποχές, με αποτέλεσμα τα βάρη να αντιστοιχούν ακριβώς στα 53

55 δεδομένα, στην ουσία γίνεται απομνημόνευση των δεδομένων, και έτσι το μοντέλο δεν έχει τη δυνατότητα γενίκευσης. Η υπερεκπαίδευση μπορεί να αποφευχθεί, αν ο χρήστης σταματήσει εγκαίρως την εκπαίδευση του μοντέλου. Ο καταλληλότερος τρόπος είναι να χρησιμοποιούμε παράλληλα και ένα σετ δεδομένων ελέγχου και η εκπαίδευση να σταματήσει όταν το σφάλμα για τα δεδομένα ελέγχου αρχίζει να αυξάνεται, ενώ μέχρι εκείνο το σημείο μειωνόταν. 4.3 Αρχιτεκτονική του ANFIS Στην ενότητα αυτή θα δούμε την αρχιτεκτονική του anfis ώστε να κατανοήσουμε τη λειτουργία του, δηλαδή το πώς εισέρχονται οι παράμετροι του ασαφούς μοντέλου στο νευρωνικό δίκτυο και υφίστανται τη βελτιστοποίηση. Υποθέτουμε πως έχουμε ένα ασαφές σύστημα με δύο εξόδους x και y και μία έξοδο f. Το σύνολο των κανόνων για ένα μοντέλο TSK, όπως έχουμε ήδη αναφέρει, με δύο ασαφείς if-then κανόνες είναι: Rule1: IF x is A 1 AND y is B 1, THEN f 1 = p 1 x + q 1 y +r 1 Rule2: IF x is A 2 AND y is B 2, THEN f 2 = p 2 x + q 2 y +r 2 Στο σχήμα 4.1 παρουσιάζεται ο μηχανισμός συμπερασμού του μοντέλου TSK και η αντίστοιχη αρχιτεκτονική του anfis, όπου οι κόμβοι ενός στρώματος έχουν ίδιες συναρτήσεις συμμετοχής. Υπενθυμίζουμε πως οι έξοδοι των κόμβων στο πέρασμα προς τα εμπρός προχωρούν ως το στρώμα 4, και οι παράμετροι του τμήματος απόδοσης βελτιστοποιούνται από τη μέθοδο ελαχίστων τετραγώνων. Στο πέρασμα προς τα πίσω, τα σφάλματα οδηγούνται προς τα πίσω και οι παράμετροι του τμήματος υπόθεσης αλλάζουν τιμή μέσω της μεθόδου GD. Η βελτιστοποίηση των γραμμικών παραμέτρων γίνεται με σταθερές (fixed) τις μη γραμμικές παραμέτρους. 54

56 ΣΧΗΜΑ 4.1: (a) Μοντέλα TSK (b) Αρχιτεκτονική ANFIS για μοντέλα TSK 55

57 Η έξοδος f του σχήματος 4.1 (b) δίνεται: που είναι γραμμική ως προς τις παραμέτρους του τμήματος απόδοσης κανόνων. Παρακάτω περιγράφεται αναλυτικά η λειτουργία κάθε στρώματος του anfis. Η έξοδος του i-οστού κόμβου στο στρώμα δηλώνεται ως. Στρώμα 1: Κάθε κόμβος σε αυτό το επίπεδο είναι ένας προσαρμοζόμενος (adaptive) κόμβος με συνάρτηση κόμβου: όπου το (ή ) είναι η είσοδος στον κόμβο i και (ή ) είναι ένας λεκτικός όρος που συνδέεται με αυτόν τον κόμβο. Δηλαδή, το είναι ο βαθμός εκπλήρωσης ενός ασαφούς συνόλου Α ή Β και προσδιορίζει τον βαθμό στον οποίο η δοσμένη είσοδος ικανοποιεί κάποιο λεκτικό όρο. Η συνάρτηση συμμετοχής μπορεί να είναι οποιαδήποτε κατάλληλα παραμετροποιημένη συνάρτηση, όπως η γενικευμένη συνάρτηση bell ή η Gaussian, που χρησιμοποιούμε και στα μοντέλα μας: ( ) όπου (, ) είναι το σετ παραμέτρων, δηλαδή η τυπική απόκλιση και το κέντρο της συνάρτησης συμμετοχής. Καθώς η τιμές των παραμέτρων αλλάζουν, οι αρχικές συναρτήσεις συμμετοχής μεταβάλλονται και αλλάζουν μορφή, ώστε να προσαρμοστούν στις ανάγκες του συστήματος. Οι παράμετροι σε αυτό το στρώμα αναφέρονται ως παράμετροι του τμήματος υποθέσεις κανόνων και είναι μη γραμμικές. 56

58 Στρώμα 2: Κάθε κόμβος σ αυτό το στρώμα είναι αμετάβλητος και η έξοδός του είναι το γινόμενο όλων των εισερχόμενων σημάτων: Κάθε κόμβος αντιπροσωπεύει το βαθμό εκπλήρωσης κάθε κανόνα. Εδώ χρησιμοποιείται το ασαφές AND και εκτός από τον πολλαπλασιασμό μπορεί να χρησιμοποιηθεί οποιοσδήποτε T- norm τελεστής, σαν τη συνάρτηση του κόμβου αυτού. Στρώμα 3: Σ αυτό το επίπεδο κάθε κόμβος είναι επίσης αμετάβλητος. Ο i-οστός κόμβος υπολογίζει το λόγο βαθμού εκπλήρωσης του i-οστού κανόνα προς το άθροισμα των βαθμών εκπλήρωσης όλων των κανόνων: Οι έξοδοι αυτού του στρώματος ονομάζονται κανονικοποιημένοι βαθμοί εκπλήρωσης Στρώμα 4: Εδώ οι κόμβοι είναι προσαρμοζόμενοι, όπως στο πρώτο στρώμα, με μία συνάρτηση: Όπου είναι ο κανονικοποιημένος βαθμός εκπλήρωσης από το τρίτο στρώμα και είναι το σετ παραμέτρων αυτού του κόμβου. Οι παράμετροι αυτού του κόμβου αναφέρονται ως παράμετροι του τμήματος απόδοσης των ασαφών κανόνων. 57

59 Στρώμα 5: Ο μοναδικός κόμβος στο τελευταίο στρώμα είναι αμετάβλητος και υπολογίζει την συνολική έξοδο σαν το άθροισμα όλων των εισερχόμενων σημάτων: Το μοντέλο που κατασκευάστηκε είναι λειτουργικά ισοδύναμο με το μοντέλο των Takaki-Sugeno. Μπορεί να μετατραπεί ώστε να υλοποιεί τα μοντέλα Tsukamoto και Mamdani, από τα οποία το δεύτερο είναι αρκετά πολύπλοκο. Η μετατροπή σε Mamdani με σύνθεση max-min θα γίνει με διακριτές προσεγγίσεις που θα αντικαταστήσουν το ολοκλήρωμα στον τύπο αποασαφοποίησης κέντρου (centroid). Το δίκτυο που προκύπτει είναι αρκετά πολύπλοκο χωρίς να παρουσιάζει και ιδιαίτερη βελτίωση στην απόδοση. Το Takaki-Sugeno ANFIS είναι πολύ πιο απλό και αποτελεσματικό. 4.4 Η συνάρτηση του MATLAB anfis Ο αλγόριθμος ANFIS υλοποιείται μέσω της συνάρτησης anfis του MATLAB. Ο χρήστης έχει τη δυνατότητα να εισάγει στον αλγόριθμο το μοντέλο που έχει δημιουργήσει με τη συνάρτηση genfis2. Επίσης, η συνάρτηση επιτρέπει στο χρήστη να ορίσει τις παραμέτρους της. Οι παράμετροι αυτές είναι: Ο αριθμός των εποχών εκπαίδευσης Η ελάχιστη τιμή του σφάλματος Το βήμα εκμάθησης Ο συντελεστής αύξησης του βήματος Ο συντελεστής μείωσης του βήματος Οι συντελεστές αύξησης και μείωσης του βήματος καθορίζουν το πόσο γρήγορα θα εκπαιδευτεί το δίκτυό μας. Το βήμα μειώνεται με πολλαπλασιασμό με το συντελεστή μείωσης, αν το σφάλμα υποστεί δύο φορές διαδοχικά το συνδυασμό μίας αύξησης και μίας μείωσης, και αυξάνεται με πολλαπλασιασμό με το συντελεστή αύξησης, αν το σφάλμα μειωθεί τέσσερις συνεχόμενες φορές. 58

60 Τέλος, η συνάρτηση δίνει στο χρήστη τη δυνατότητα να επιλέξει, εκτός από την υβριδική τεχνική εκπαίδευσης, την απλή μέθοδο BP για όλες τις παραμέτρους ακόμη και τις γραμμικές, αλλά αυτό είναι κάτι που εν τέλει δεν μας απασχολεί καθώς ο αλγόριθμος κτίστηκε με βάση την υβριδική μέθοδο, η οποία του δίνει τα μεγάλα του πλεονεκτήματα. 4.5 Παρατηρήσεις Συνοψίζοντας θα κάνουμε μία αναφορά στα πλεονεκτήματα αλλά και στα μειονεκτήματα του αλγόριθμου ANFIS, ώστε να μπορέσουμε να τον αξιολογήσουμε. Πλεονεκτήματα 1. Ο υβριδικός αλγόριθμος εκμάθησης μας δίνει τη δυνατότητα να βελτιώσουμε κανόνες οι οποίοι έχουν εξαχθεί από ειδικούς, για να εξομοιώσουν τη συμπεριφορά ενός πολύπλοκου συστήματος. 2. Όταν αυτή η γνώση δεν υπάρχει, μπορεί να ορίσει λογικές αρχικές συναρτήσεις μεταφοράς για να εκκινήσει τον αλγόριθμο εκπαίδευσης, ώστε να παράξει ένα σετ από ασαφείς κανόνες που θα εξομοιώνουν τη συμπεριφορά ενός σετ δεδομένων, καλύπτοντας κατάλληλα όλο το χώρο εισόδων. Αυτός είναι και ένας λόγος που η συγκεκριμένη μέθοδος συγκλίνει γρήγορα σε καλές τιμές των παραμέτρων. 3. Λόγω της υβριδικής μεθόδου ο αλγόριθμος συγκλίνει πολύ γρήγορα, καθώς η χρήση του RLSE μειώνει το χρόνο εκμάθησης κατά περίπου 10 φορές. 4. Η χρήση του συγκεκριμένου αλγορίθμου δεν απαιτεί τον ορισμό των κρυμμένων κόμβων, αφού αυτός καθορίζεται από τον αριθμό των διανυσμάτων εισόδου. 5. Προσφέρει αρκετές επιλογές για την συνάρτηση μεταφοράς που θα χρησιμοποιηθεί. 6. Δίνει τη δυνατότητα πολύ καλύτερης εξομοίωσης σε υψηλά μη γραμμικά συστήματα από τις κοινές γραμμικές μεθόδους. 7. Έχει λιγότερες παραμέτρους από τα αντίστοιχα νευρωνικά δίκτυα σε συσχέτιση καταρράκτη (cascade correlation). 59

61 Μειονεκτήματα 1. Το ANFIS δίνει τη δυνατότητα για μία μόνο έξοδο, ως αποτέλεσμα της φύσης των ασαφών κανόνων που αναπαριστά, και έτσι μπορεί να εφαρμοστεί μόνο σε διαδικασίες όπως η πρόγνωση μη γραμμικών συναρτήσεων όπου υπάρχει μία και μοναδική έξοδος. 2. Οι συναρτήσεις συμμετοχής που αναφέρονται σε κάθε κόμβο εισόδου ή εξόδου δεν μπορούν να αλλάξουν, αλλάζουν μόνο οι τιμές των κανόνων. Γι αυτό είναι πολύ σημαντική η εκλογή των συναρτήσεων μεταφοράς. 3. Δεν υπάρχουν εναλλακτικές τεχνικές βελτιστοποίησης εκτός της υβριδικής και της απλής BP χωρίς τον LSE. 4. Το ANFIS με τη χρήση του υβριδικού αλγορίθμου μπορεί να εφαρμοστεί μονάχα σε μοντέλα TSK, για τα οποία και δημιουργήθηκε. Βέβαια, αν δεν χρησιμοποιηθεί η RLSE μπορεί να επεκταθεί και σε μοντέλα με ασαφείς συναρτήσεις μεταφοράς και στο τμήμα απόδοσης κανόνων, όπως είναι τα Mamdani, αλλά έτσι χάνουμε όλα τα πλεονεκτήματα του ANFIS ως υβριδική μέθοδο και που το χαρακτηρίζουν. 60

62 5.Εφαρμογή- Αναγνώριση της Δομής και Εκπαίδευση του Ασαφούς Μοντέλου 5.1 Εισαγωγή Στο σημείο αυτό θα εφαρμόσουμε τις μεθόδους που αναλύθηκαν προηγουμένως για την επίλυση του δικού μας προβλήματος, δηλαδή την πρόβλεψη ανά πάσα στιγμή της βέλτιστης θερμοκρασίας λειτουργίας ενός λέβητα. Η πρόβλεψη αυτή στηρίζεται στις μεταβολές της θερμοκρασίας περιβάλλοντος. Αρχικά σχεδιάζουμε ένα ασαφές σύστημα συμπερασμού (Fuzzy Inference System) που βασίζεται στη γνωστή παρελθοντική συμπεριφορά του συστήματος που θέλουμε να μοντελοποιήσουμε, αναμένοντας ότι θα μπορεί να αναπαράγει τη συμπεριφορά του. Παρακάτω παρουσιάζονται αναλυτικά τα δεδομένα, οι μεταβλητές και οι μέθοδοι που χρησιμοποιήθηκαν αλλά και οι παράμετροι που επιλέχθηκαν ώστε να καταλήξουμε στο βέλτιστο μοντέλο λειτουργίας του συστήματός μας. 5.2 Αναγνώριση Μοντέλου Γενικά Αρχικά, με τον όρο Αναγνώριση Μοντέλου, εννοούμε τη δημιουργία πιθανών μοντέλων του συστήματος και την εύρεση του τελικού βέλτιστου μοντέλου, ενώ με τον όρο Αναγνώριση Δομής εννοούμε την εύρεση της δομής του μοντέλου αυτού. Οπότε, η αναγνώριση του μοντέλου διαχωρίζεται στην αναγνώριση της δομής και στην αναγνώριση των βέλτιστων παραμέτρων του. Το στάδιο αυτό περιλαμβάνει την επιλογή εισόδων- εξόδων, την επιλογή του αριθμού των λεκτικών όρων που συνδέονται με κάθε μεταβλητή και το σχεδιασμό των ασαφών κανόνων. Για ένα TSK σύστημα, όπως αυτό που θα χρησιμοποιήσουμε, για την έξοδο αρκεί απλά να καθορίσουμε την τάξη των εξισώσεων του τμήματος απόδοσης των κανόνων. Στο τέλος αυτού του σταδίου θα έχουμε ένα σετ ασαφών κανόνων που θα περιγράφουν με λεκτικούς όρους τη συμπεριφορά του συστήματος. Έπειτα θα πρέπει να 61

63 επιλεγούν οι κατάλληλες συναρτήσεις συμμετοχής, που στην συγκεκριμένη περίπτωση αφορούν μόνο τις μεταβλητές εισόδων, καθώς στην έξοδο έχουμε πολυώνυμα, και να δοθούν αρχικές τιμές στις παραμέτρους των μοντέλων, με βάση τη γνώση που έχουμε ήδη για τη συμπεριφορά του συστήματος, η οποία γνώση προέρχεται από τα δεδομένα εισόδου-εξόδου που διαθέτουμε. Οι τιμές θα υποστούν και μια πρώτη βελτιστοποίηση μέσω της μεθόδου ενός περάσματος LSE που πραγματοποιεί συνάρτηση genfis2. Στην πορεία θα ορίσουμε τα δεδομένα που θα χρησιμοποιηθούν για τη δημιουργία, εκπαίδευση και έλεγχο του μοντέλου καθώς και τον συνδυασμό εισόδων του και έπειτα θα δημιουργηθεί το μοντέλο αυτό μέσω της συνάρτησης genfis2, θα επιλεχθεί ο αριθμός των ασαφών κανόνων, θα γίνει ο ασαφής διαχωρισμός του χώρου εισόδου- εξόδου και θα δοθεί η μορφή και οι αρχικές τιμές των παραμέτρων των συναρτήσεων συμμετοχής καθώς και η απόδοση του συστήματος στα δεδομένα μοντελοποίησης, πριν την εκπαίδευσή του Δεδομένα Για την διαδικασία αναγνώρισης, εκπαίδευσης και ελέγχου του μοντέλου απαιτούνται δεδομένα από το προς μοντελοποίηση σύστημα. Τα δεδομένα αυτά είναι πραγματικές τιμές των μεταβλητών εισόδου-εξόδου ανά δευτερόλεπτο από τη λειτουργία του συστήματος σε προηγούμενο έτος. Πιο συγκεκριμένα, τα δεδομένα που χρησιμοποιήθηκαν είναι μετρήσεις του κεντρικού λεβητοστασίου του Α.Π.Θ. για τη χρονική περίοδο 23/11/2010 έως 31/03/2011. Θα χρησιμοποιηθούν συνολικά 305 σετ δεδομένων. Για την μοντελοποίηση του συστήματος θα χρησιμοποιηθεί μία ομάδα των 122 σετ δεδομένων, όπως επίσης και για την εκπαίδευση του μοντέλου, ενώ για τον τελικό έλεγχο θα χρησιμοποιηθεί μία ομάδα των 61 σετ δεδομένων. Το κάθε σετ δεδομένων αποτελείται από 4 τιμές, μία για κάθε είσοδο και για την έξοδο, και είναι μεσοποιημένες σε ένα διάστημα 3 ωρών, όπως θα δούμε και παρακάτω. Ο διαχωρισμός των δεδομένων έγινε μέσω της ομοιόμορφης κατανομής. Η μέθοδος αυτή επιλέχθηκε επειδή ο αριθμός των δεδομένων είναι αρκετά μικρός, οπότε με αυτό τον τρόπο εξασφαλίζουμε ελάχιστο ποσοστό τυχαιότητας στην κατηγοριοποίηση, ώστε πράγματι οι διαφορετικές ομάδες δεδομένων να έχουν στοιχεία σε όλες τις περιοχές του χώρου δεδομένων. 62

64 5.2.3 Ορισμός Εισόδων Εξόδου Στη συνέχεια θα πρέπει να καθοριστούν οι μεταβλητές εισόδου-εξόδου. Κάθε ασαφής κανόνας αποτελείται από δύο τμήματα, το τμήμα υπόθεσης και το τμήμα συμπερασμού. Στο τμήμα υπόθεσης επιλέγονται Ν είσοδοι ανάλογα με τις ανάγκες του συστήματος και στο τμήμα συμπερασμού η επιθυμητή έξοδος. Για την επιλογή αυτή βασιζόμαστε κυρίως στη δική μας γνώση, είτε αυτή προέρχεται από κοινή λογική, από φυσικούς κανόνες, από συμπεράσματα ειδικών είτε από δοκιμές. Στο συγκεκριμένο πρόβλημα οι είσοδοι αυτές επιλέχθηκαν αφενός επειδή γνωρίζουμε εκ των προτέρων τη συμπεριφορά του συστήματος και, αφετέρου, γιατί χρειάζεται να έχουμε σαν εισόδους και καθυστερημένες τιμές των μεταβλητών, για να μπορέσουμε να αναπαράγουμε τη δυναμική συμπεριφορά του συστήματος. Δεδομένου ότι το μοντέλο δημιουργείται για πρόβλεψη θερμοκρασίας σε πραγματικό χρόνο, θα χρειαζόμαστε τις τιμές θερμοκρασίας περιβάλλοντος παρελθοντικά αλλά και μελλοντικά, οι οποίες θα δίνονται απο τη μετεωρολογική υπηρεσία. Η πρόβλεψη της μετεωρολογικής υπηρεσίας ανακοινώνεται ημερησίως για διαστήματα τριών ωρών, οπότε επιλέξαμε το = = 3 h, με το να είναι οι τρεις τελευταίες ώρες λειτουργίας του λέβητα και το οι τρεις επόμενες ώρες λειτουργίας του. Έτσι καταλήγουμε στην επιλογή 3 μεταβλητών εισόδου: : Η παρελθοντική τιμή της θερμοκρασίας του λέβητα μεσοποιημένη κατά. : Η παρελθοντική τιμή της θερμοκρασίας του περιβάλλοντος μεσοποιημένη κατά. : Η μελλοντική τιμή της θερμοκρασίας του περιβάλλοντος μεσοποιημένη κατά. Και σε μία μεταβλητή εξόδου: : Η μελλοντική τιμή της θερμοκρασίας του λέβητα μεσοποιημένη κατά. 63

65 5.2.4 Δημιουργία Μοντέλων και Καθορισμός του Αριθμού των Ασαφών Κανόνων Το επόμενο βήμα στην αναγνώριση του μοντέλου είναι η επιλογή του αριθμού των ασαφών κανόνων του μοντέλου, δηλαδή της βέλτιστης δομής του. Το κριτήριο για την επιλογή αυτή είναι η ελάχιστη δυνατή τιμή του σφάλματος σε Παράλληλη Εξομοίωση (Parallel Simulation) του μοντέλου, λαμβάνοντας όμως υπόψη και την πολυπλοκότητα του μοντέλου. Η επιλογή, για παράδειγμα, ενός μοντέλου με μικρό σφάλμα αλλά αρκετούς κανόνες αυξάνει την πολυπλοκότητα του συστήματός και περιορίζει τη δυνατότητα γενίκευσής του, επιλέγοντας όμως ένα μοντέλο με λιγότερους κανόνες, ίσως χάνουμε σε ακρίβεια πρόβλεψης, κερδίζουμε όμως σε απλότητα, ταχύτητα και ευελιξία για το τελικό μοντέλο. Χρησιμοποιώντας λοιπόν την συνάρτηση genfis2, η οποία εκτελεί παράλληλα τη διαδικασία Substructive Clustering για την ομαδοποίηση των δεδομένων και τον αλγόριθμο RLSE που βελτιστοποιεί τις γραμμικές παραμέτρους του μοντέλου, δημιουργούμε μοντέλα με βάση τα αρχικά μας δεδομένα. Τα μοντέλα που δημιουργούμε είναι μοντέλα TSK με συναρτήσεις συμμετοχής εκθετικού τύπου, δηλαδή gausssian. Να υπενθυμίσουμε εδώ πως η βελτιστοποίηση που εκτελεί η genfis2 γίνεται με βάση τις παραμέτρους του τμήματος υπόθεσης των κανόνων που δεν είναι ακόμη τελικές. Οι παράμετροι αυτές είναι τα κέντρα των συναρτήσεων συμμετοχής όπως προκύπτουν από τον αλγόριθμο SC που είναι και οι βάσεις των ασαφών κανόνων που καθορίζουν τη συμπεριφορά του συστήματος και οι τυπικές αποκλίσεις των Gaussian συναρτήσεων συμμετοχής των μοντέλων TSK. Ο αριθμός των κέντρων, άρα και των κανόνων, καθορίζεται από μία παράμετρο που ονομάζεται radius of influence (roi), η οποία συσχετίζεται με μία εκθετική συνάρτηση δυναμικού που χρησιμοποιείται για την αξιολόγηση και αποδοχή ή όχι πιθανών κέντρων ομάδων. Η τυπική απόκλιση των συναρτήσεων συμμετοχής, η οποία αρχικά παίρνει μία δεδομένη τιμή για κάθε είσοδο, εξαρτάται από την ελάχιστη και μέγιστη τιμή της καθώς και από το roi. Οι παράμετροι που εισάγονται στην συνάρτηση genfis2 είναι τα διανύσματα εισόδου-εξόδου, το διάνυσμα roi (radius of influence), που είναι η ακτίνα που ορίζει την περιοχή έξω από την οποία τα δεδομένα δεν επηρεάζουν το δυναμικό ενός υποψήφιου κέντρου, και ένα διάνυσμα που ορίζει το πεδίο τιμών των μεταβλητών. Μεταβάλλοντας το roi από 0.1 ως 0.9 με βήμα 0.05 δημιουργούμε αρκετά μοντέλα με διαφορετικές 64

66 παραμέτρους και βρίσκουμε το σφάλμα σε Παράλληλη Εξομοίωση (Parallel Simulation, PS) για κάθε ένα από αυτά, με βάση το οποίο θα επιλεγεί ο αριθμός των κανόνων. Στην συγκεκριμένη εφαρμογή οι υπολογισμοί γίνονται μέχρι και την τιμή 0.75 από την οποία και μετά τα μοντέλα που δημιουργούνται έχουν μόνο ένα κανόνα και δεν επιδέχονται περαιτέρω βελτίωση. Το σφάλμα που χρησιμοποιείται παντού είναι το Mean Square Error (MSE) : Οι τιμές των σφαλμάτων για κάθε μοντέλο καθώς και ο αριθμός των κανόνων παρουσιάζονται στον πίνακα 5.1: roi rules MSE , , ΠΙΝΑΚΑΣ 5.1 : Σφάλματα σε PS για κάθε roi 65

67 Στο σημείο αυτό θα πρέπει να επιλέξουμε τα τοπικά ελάχιστα των MSE σε PS ως υποψήφια roi που θα δημιουργήσουν το τελικό μοντέλο. Η πιο προφανής επιλογή θα ήταν το ολικό ελάχιστο, αλλά αυτό αντιστοιχεί σε κάποιο πολύ μικρό roi που σημαίνει μεγάλο αριθμό κανόνων. Οπότε θα πρέπει να επιλέξουμε κάποιο μοντέλο με όχι τόσο καλή ακρίβεια πρόβλεψης (δηλαδή μεγάλο MSE), αλλά με μικρή πολυπλοκότητα (δηλαδή μικρό αριθμό κανόνων). Παρατηρούμε πως ένα τοπικό ελάχιστο υπάρχει για roi=0.3 όπου το μοντέλο που προκύπτει έχει 5 κανόνες και ένα ακόμη στο roi= 0.45 με 3 κανόνες. Πιο μικρές τιμές για το σφάλμα δίνουν τα μοντέλα με 10, 16, 39 και 84 κανόνες αλλά λόγω του συμβιβασμού που πρέπει να γίνει δεν τα επιλέγουμε. Έπειτα βλέπουμε πως και τα δύο μοντέλα με τα τοπικά ελάχιστα που αναφέρθηκαν δίνουν πολύ καλές τιμές για το σφάλμα και είναι και αρκετά απλά. Βλέπουμε, λοιπόν, πως η μέθοδος αυτή υποδεικνύει τον κατάλληλο αριθμό κανόνων με βάση τα δεδομένα μοντελοποίησης. Όπως έχει ήδη αναφερθεί τα μοντέλα αυτά έχουν υποστεί βελτιστοποίηση μόνο των γραμμικών τους παραμέτρων, οπότε σ αυτό το σημείο θα παρουσιάσουμε τις μη γραμμικές παραμέτρους, οι οποίες είναι τα κέντρα των ομάδων και κατ επέκταση των ασαφών κανόνων, όπως υπέδειξε ο αλγόριθμος SC. Το μοντέλο με 5 κανόνες Οι μη γραμμικές παράμετροι, δηλαδή τα κέντρα των ομάδων άρα και των ασαφών κανόνων που προκύπτουν, για κάθε είσοδο έχουν τις συντεταγμένες που φαίνονται στον πίνακα 5.2. Rule ΠΙΝΑΚΑΣ 5.2 : Οι μη γραμμικές παράμετροι του τμήματος υπόθεσης των 5 κανόνων του μοντέλου πριν την εκπαίδευση 66

68 Επειδή οι είσοδοι έχουν διαφορετικό πεδίο τιμών, η SC αρχικά αποδίδει διαφορετικές τιμές στις τυπικές αποκλίσεις κάθε συνάρτησης συμμετοχής, ίδια όμως για όλες τις συναρτήσεις που αναφέρονται στην ίδια είσοδο. Οι τυπικές αποκλίσεις για κάθε μία από τις εισόδους είναι: Για την : s = Για την : s = Και για την : s = Το μοντέλο με 3 κανόνες Οι μη γραμμικές παράμετροι, δηλαδή τα κέντρα των ομάδων άρα και των ασαφών κανόνων που προκύπτουν, για κάθε είσοδο έχουν τις συντεταγμένες που φαίνονται στον πίνακα 5.3. Rule ΠΙΝΑΚΑΣ 5.3 : Οι μη γραμμικές παράμετροι του τμήματος υπόθεσης των 3 κανόνων του μοντέλου μετά την εκπαίδευση Επειδή οι είσοδοι έχουν διαφορετικό πεδίο τιμών, η SC αρχικά αποδίδει διαφορετικές τιμές στις τυπικές αποκλίσεις κάθε συνάρτησης συμμετοχής, ίδια όμως για όλες τις συναρτήσεις που αναφέρονται στην ίδια είσοδο. Οι τυπικές αποκλίσεις για κάθε μία από τις εισόδους είναι: Για την : s = Για την : s =

69 Και για την : s = Απόδοση Μοντέλων Παρακάτω παρουσιάζεται η απόδοση των δύο μοντέλων στα δεδομένα μοντελοποίησης τους, δίνεται δηλαδή το σφάλμα πρόβλεψης και οι γραφικές παραστάσεις της εξόδου τους παράλληλα με την πραγματική έξοδο του συστήματος. Το μοντέλο με 5 κανόνες Το σφάλμα MSE σε παράλληλη εξομοίωση πριν την εκπαίδευση για αυτό το μοντέλο είναι PS= Και στο σχήμα 5.4 παρουσιάζεται η έξοδος του μοντέλου αυτού συγκριτικά με την πραγματική έξοδο για τα δεδομένα αρχικοποίησης του μοντέλου. ΣΧΗΜΑ 5.4 : Η έξοδος του μοντέλου παράλληλα με την πραγματική έξοδο για το μοντέλο με 5 κανόνες Το μοντέλο με 3 κανόνες Το σφάλμα MSE σε παράλληλη εξομοίωση πριν την εκπαίδευση για αυτό το μοντέλο είναι PS= Στο σχήμα 5.5 παρουσιάζεται η έξοδος του μοντέλου αυτού συγκριτικά με την πραγματική έξοδο για τα δεδομένα αρχικοποίησης: 68

70 ΣΧΗΜΑ 5.5 : Η έξοδος του μοντέλου παράλληλα με την πραγματική έξοδο για το μοντέλο με 3 κανόνες Παρατηρούμε πως τα δύο μοντέλα παρουσιάζουν ήδη αρκετά καλή συμπεριφορά στην πρόβλεψη και, πιθανόν, να είναι έτοιμα να σταθούν χωρίς περαιτέρω βελτιστοποίηση. Αυτό συμβαίνει γιατί στη διαδικασία δημιουργίας των μοντέλων χρησιμοποιήσαμε γνώση που προέρχεται από τη γνωστή συμπεριφορά του συστήματος και μια αρχική βελτιστοποίηση των παραμέτρων μέσω της LSE. Όμως, για ακόμη καλύτερη απόδοση, θα πραγματοποιήσουμε μία τελική βελτιστοποίηση. 69

71 5.3 Βελτιστοποίηση των μη γραμμικών παραμέτρων των μοντέλων με χρήση της συνάρτησης anfis Στο σημείο αυτό θα εισάγουμε τα δύο μοντέλα που επιλέξαμε στο ασαφέςνευρωνικό δίκτυο anfis, το οποίο θα τα εκπαιδεύσει με βάση τα δεδομένα εκπαίδευσης. Έτσι βελτιστοποιούνται οι παράμετροι των μοντέλων μέσω μιας υβριδικής μεθόδου, του συνδυασμού της μεθόδου Back Propagation, της Gradient Descent και της Linear Least Squares Estimation. Το anfis θα εντοπίσει το σετ παραμέτρων (γραμμικών και μη) που ταιριάζει καλύτερα στα δεδομένα εκπαίδευσης. Οι μη γραμμικές παράμετροι, δηλαδή τα κέντρα και οι τυπικές αποκλίσεις των συναρτήσεων συμμετοχής στα τμήματα υπόθεσης κανόνων που έχουν τις τιμές που τους δόθηκαν από τον αλγόριθμο SC, θα αλλάξουν τώρα τιμή, αλλά και οι γραμμικές παράμετροι, οι σταθερές των πολυωνύμων δηλαδή, θα παίρνουν νέα τιμή σε κάθε πέρασμα ανάλογη της νέας τιμής των μη γραμμικών παραμέτρων του ίδιου κανόνα που άλλαξαν τιμή με το προηγούμενο πέρασμα προς τα πίσω. Οι παράμετροι που θα χρησιμοποιηθούν για την εκπαίδευση των μοντέλων, που θα γίνει με την ομάδα δεδομένων εκπαίδευσης, είναι οι εξής: 1000 εποχές εκπαίδευσης (training epochs=1000) για το μοντέλο με 3 κανόνες και 150 εποχές εκπαίδευσης (training epochs=150) για το μοντέλο με 5 κανόνες Μηδενικός στόχος τιμής σφάλματος (training error goal=0) Αρχική τιμή για το μέγεθος βήματος : 0.01 (initial step size=0.01) Δείκτης μείωσης βήματος : 0.9 (step size decrease rate=0.9) Δείκτης αύξησης βήματος : 1.1 (step size increase rate=1.1) Ο αριθμός των εποχών επιλέχθηκε με βάση την τεχνική για αποφυγή του φαινομένου υπερεκπαίδευσης των μοντέλων. Δηλαδή, όπως έχουμε αναφέρει και σε προηγούμενη ενότητα, η εκπαίδευση του μοντέλου πρέπει να σταματήσει, όταν το σφάλμα για τα δεδομένα ελέγχου φτάσει σε μια κοιλάδα η οποία αποτελεί και το ελάχιστο της πορείας του και ενώ μέχρι εκείνο το σημείο μειωνότανε τώρα αρχίζει να αυξάνεται. Στα 70

72 σχήματα που ακολουθούν φαίνεται η πορεία του σφάλματος εκπαίδευσης παράλληλα με την πορεία του σφάλματος για δεδομένα ελέγχου. Παρατηρούμε πως για το μοντέλο με 5 κανόνες το σφάλμα απόδοσης φτάνει σε μια κοιλάδα όπου και παίρνει την ελάχιστη τιμή του στις 150 εποχές και από εκεί και έπειτα αυξάνεται συνεχώς. Ενώ για το μοντέλο με 5 κανόνες, το σημείο αυτό βρίσκεται στις 1000 εποχές. Οπότε η τελική εκπαίδευση του πρώτου με τον αλγόριθμο anfis γίνεται για 150 εποχές, ενώ για το δεύτερο για ΣΧΗΜΑ 5.6: Παράλληλη παρουσίαση των σφαλμάτων εκπαίδευσης και απόδοσης σε δεδομένα ελέγχου για το μοντέλο με 5 κανόνες 71

73 ΣΧΗΜΑ 5.7: Παράλληλη παρουσίαση των σφαλμάτων εκπαίδευσης και απόδοσης σε δεδομένα ελέγχου για το μοντέλο με 3 κανόνες Αφού γίνει η εκπαίδευση, έχουμε πλέον τα πλήρως βελτιστοποιημένα μοντέλα τα οποία παρουσιάζονται λεπτομερώς παρακάτω: Το μοντέλο με 5 κανόνες ΣΧΗΜΑ 5.8 : Συνοπτική παρουσίαση του μοντέλου με 5 κανόνες Το μοντέλο αυτό με 5 ασαφής κανόνες έχει 20 γραμμικές παραμέτρους και 30 μη γραμμικές. Στο σχήμα 5.9 φαίνεται η πορεία του σφάλματος κατά την εκπαίδευση του μοντέλου παράλληλα με την πορεία του σφάλματος σε δεδομένα ελέγχου, με τελικό σφάλμα εκπαίδευσης PS = και τελικό σφάλμα απόδοσης σε άγνωστα δεδομένα PS = : 72

74 ΣΧΗΜΑ 5.9: Η πορεία του σφάλματος εκπαίδευσης του μοντέλου παράλληλα με την απόδοσή του σε άγνωστα δεδομένα Βλέπουμε αρχικά τη δομή του συγκεκριμένου μοντέλου: ΣΧΗΜΑ 5.10: Δομή του μοντέλου με 5 κανόνες 73

75 Οι κανόνες αυτού του μοντέλου έχουν τη μορφή: RULE 1. If ( is A 1 ) and ( is B 1 ) and ( is C 1 ) then ( is D 1 ) RULE 2. If ( is A 2 ) and ( is B 2 ) and ( is C 2 ) then ( is D 2 ) RULE 3. If ( is A 3 ) and ( is B 3 ) and ( is C 3 ) then ( is D 3 ) RULE 4. If ( is A 4 ) and ( is B 4 ) and ( is C 4 ) then ( is D 4 ) RULE 5. If ( is A 5 ) and ( is B 5 ) and ( is C 5 ) then ( is D 5 ) Όπου D i είναι τα πολυώνυμα που καθορίζουν την έξοδο, δηλαδή οι βελτιστοποιημένες πλέον γραμμικές παράμετροι : D 1 = D 2 = D 3 = D 4 = D 5 = Και Ai, Bi, Ci είναι οι Gaussian συναρτήσεις συμμετοχής με τις τιμές των κέντρων και τυπικών αποκλίσεων, δηλαδή των μη γραμμικών παραμέτρων, που φαίνονται στον πίνακα

76 RULE A Center Sigma B Center Sigma C Center Sigma 1 A Β C A Β C A Β C A Β C A Β C ΠΙΝΑΚΑΣ 5.4 : Οι μη γραμμικές παράμετροι του τμήματος υπόθεσης των 5 κανόνων του μοντέλου μετά την εκπαίδευση Στα σχήματα 5.11, 5.12 και 5.13 που ακολουθούν φαίνεται ο χώρος των τριών εισόδων, και η κατανομή των 5 συναρτήσεων συμμετοχής μέσα σ άυτόν. Παρατηρούμε πως υπάρχει αλληλοκάλυψη ανάμεσά τους, η οποία θεωρείται απαραίτητη, καθώς η ταξινόμηση των αντικειμένων στα ασαφή συστήματα θεωρεί τα όρια μεταξύ δύο γειτονικών ομάδων σαν μία συνεχή, επικαλυπτόμενη περιοχή στην οποία κάθε αντικείμενο έχει μερική συμμετοχή σε κάθε ομάδα. ΣΧΗΜΑ 5.11 : Οι συναρτήσεις συμμετοχής του μοντέλου 5 κανόνων για την είσοδο 75

77 ΣΧΗΜΑ 5.12 : Οι συναρτήσεις συμμετοχής του μοντέλου 5 κανόνων για την είσοδο ΣΧΗΜΑ 5.13 : Οι συναρτήσεις συμμετοχής του μοντέλου 5 κανόνων για την είσοδο Και στο σχήμα 5.14 βλέπουμε τους 5 κανόνες να ενεργοποιούνται από μια υποθετική είσοδο και την έξοδο που προκύπτει: 76

78 ΣΧΗΜΑ 5.14 : Ενεργοποίηση των κανόνων και η αντίστοιχη έξοδος Το μοντέλο με 3 κανόνες ΣΧΗΜΑ 5.15 : Συνοπτική παρουσίαση του μοντέλου με 3 κανόνες γραμμικές. Το μοντέλο αυτό με 3 ασαφείς κανόνες έχει 12 γραμμικές παραμέτρους και 18 μη 77

79 Στο παρακάτω σχήμα φαίνεται η πορεία του σφάλματος κατά την εκπαίδευση του μοντέλου παράλληλα με την πορεία του σφάλματος σε δεδομένα ελέγχου, με τελικό σφάλμα εκπαίδευσης PS = και τελικό σφάλμα απόδοσης σε άγνωστα δεδομένα PS = : ΣΧΗΜΑ 5.16: Η πορεία του σφάλματος εκπαίδευσης του μοντέλου παράλληλα με την απόδοσή του σε άγνωστα δεδομένα 78

80 Βλέπουμε αρχικά τη δομή του συγκεκριμένου μοντέλου: ΣΧΗΜΑ 5.17: Δομή του μοντέλου με 3 κανόνες Οι κανόνες αυτού του μοντέλου έχουν τη μορφή: RULE 1. If ( is A 1 ) and ( is B 1 ) and ( is C 1 ) then ( is D 1 ) RULE 2. If ( is A 2 ) and ( is B 2 ) and ( is C 2 ) then ( is D 2 ) RULE 3. If ( is A 3 ) and ( is B 3 ) and ( is C 3 ) then ( is D 3 ) Όπου D i είναι τα πολυώνυμα που καθορίζουν την έξοδο, δηλαδή οι βελτιστοποιημένες πλέον γραμμικές παράμετροι : D 1 = D 2 =

81 D 3 = Και A i, B i, C i είναι οι Gaussian συναρτήσεις συμμετοχής με τις τιμές των κέντρων και τυπικών αποκλίσεων, δηλαδή των μη γραμμικών παραμέτρων, που φαίνονται στον πίνακα 5.5: RULE A Center Sigma B Center Sigma C Center Sigma 1 A B C A B C A B C ΠΙΝΑΚΑΣ 5.5 : Οι μη γραμμικές παράμετροι του τμήματος υπόθεσης των 3 κανόνων του μοντέλου μετά την εκπαίδευση Στα σχήματα 5.18, 5.19 και 5.20 που ακολουθούν φαίνεται ο χώρος των τριών εισόδων, και η κατανομή των 3 συναρτήσεων συμμετοχής μέσα σ αυτόν. Παρατηρούμε πως υπάρχει η απαραίτητη αλληλοκάλυψη ανάμεσά τους. ΣΧΗΜΑ 5.18 : Οι συναρτήσεις συμμετοχής του μοντέλου 3 κανόνων για την είσοδο 80

82 ΣΧΗΜΑ 5.19 : Οι συναρτήσεις συμμετοχής του μοντέλου 3 κανόνων για την είσοδο ΣΧΗΜΑ 5.20 : Οι συναρτήσεις συμμετοχής του μοντέλου 3 κανόνων για την είσοδο 81

83 Και στο σχήμα 5.21 που ακολουθεί βλέπουμε τους 3 κανόνες να ενεργοποιούνται από μια υποθετική είσοδο και την έξοδο που προκύπτει: ΣΧΗΜΑ 5.21 : Ενεργοποίηση των κανόνων και η αντίστοιχη έξοδος 5.4 Απόδοση των μοντέλων για τα δεδομένα εκπαίδευσης και για άγνωστα δεδομένα ελέγχου Το μοντέλο που δημιουργήσαμε έχει σαν στόχο την εξομοίωση της συμπεριφοράς ενός πολύπλοκου συστήματος. Δεν αρκεί λοιπόν να παρουσιάζει καλή συμπεριφορά στα δεδομένα με βάση τα οποία κτίστηκε και εκπαιδεύτηκε, αλλά και σε άγνωστα δεδομένα, ώστε να αναπαράγει όλες τις δυνατές συμπεριφορές του. Γι αυτό το λόγο στο σημείο αυτό θα δούμε την απόδοση των δύο βελτιστοποιημένων μοντέλων, αρχικά στα δεδομένα εκπαίδευσης, ώστε να διαπιστωθεί και η βελτίωση πρόβλεψης τους σε σχέση με αυτήν που έκαναν πριν τη βελτιστοποίηση, αλλά και σε άγνωστα δεδομένα. Το γκρουπ αυτών των δεδομένων θα πρέπει να απεικονίζει μια διαφορετική περιοχή εισόδων-εξόδων, να είναι διαφορετικό από το γκρουπ εκπαίδευσης, αλλά ταυτόχρονα να έχει και κοινά στοιχεία ώστε να μπορέσει να ανταποκριθεί. Θα πρέπει εδώ να προσέξουμε το ενδεχόμενο της υπερεκπαίδευσης, που έχουμε ήδη αναφέρει, τη περίπτωση δηλαδή να έχουμε άριστη απόδοση στα δεδομένα εκπαίδευσης και μέτρια ή κακή στα δεδομένα ελέγχου. Αυτό μπορεί να οφείλεται και στα 82

84 δεδομένα τα ίδια, αν είναι πολύ διαφορετικά από αυτά με τα οποία κτίστηκε το μοντέλο, ώστε να είναι αδύνατο να τα αφομοιώσει, αλλά και σε υπερβολική εκπαίδευση η οποία θα μπορούσε να έχει κάνει το μοντέλο δυσκίνητο σε νέα δεδομένα. Επίσης, αν έχουμε επιλέξει ένα πολύπλοκο μοντέλο τότε μειώνεται η δυνατότητα γενίκευσης παρά την καλή συμπεριφορά στα δεδομένα εκπαίδευσης, ενώ ένα πιο απλό μοντέλο είναι πιο ευκίνητο και παρουσιάζει καλύτερη συμπεριφορά σε ξένα δεδομένα και κάπως χειρότερη στα δεδομένα εκπαίδευσης. Βλέπουμε λεπτομερώς παρακάτω την συμπεριφορά των μοντέλων στα δεδομένα εκπαίδευσης αλλά και σε άγνωστα δεδομένα Απόδοση των μοντέλων στα δεδομένα εκπαίδευσης Για το μοντέλο με 5 κανόνες, ο δείκτης για το σφάλμα ως προς τα δεδομένα εκπαίδευσης είναι PS = Και στο σχήμα 5.22 βλέπουμε την απόδοση του μοντέλου στα δεδομένα εκπαίδευσης σε σύγκριση με τις πραγματικές τιμές της εξόδου: ΣΧΗΜΑ 5.22 : Η έξοδος του μοντέλου με 5 κανόνες σε σύγκριση με την πραγματική έξοδο για τα δεδομένα εκπαίδευσης, μετά την βελτιστοποίηση 83

85 Για το μοντέλο με 3 κανόνες, ο δείκτης για το σφάλμα ως προς τα δεδομένα εκπαίδευσης είναι PS = Και στο σχήμα 5.23 βλέπουμε την απόδοση του μοντέλου στα δεδομένα εκπαίδευσης σε σύγκριση με τις πραγματικές τιμές της εξόδου: ΣΧΗΜΑ 5.23 : Η έξοδος του μοντέλου με 3 κανόνες σε σύγκριση με την πραγματική έξοδο για τα δεδομένα εκπαίδευσης, μετά την βελτιστοποίηση Απόδοση των μοντέλων στα δεδομένα ελέγχου Για το μοντέλο με 5 κανόνες, ο δείκτης για το σφάλμα ως προς τα άγνωστα δεδομένα ελέγχου είναι PS = Και στο σχήμα 5.24 βλέπουμε την απόδοση του μοντέλου στα δεδομένα ελέγχου σε σύγκριση με τις πραγματικές τιμές της εξόδου: 84

86 ΣΧΗΜΑ 5.24 : Η έξοδος του μοντέλου με 5 κανόνες σε σύγκριση με την πραγματική έξοδο για τα δεδομένα ελέγχου, μετά την βελτιστοποίηση Για το μοντέλο με 3 κανόνες, ο δείκτης για το σφάλμα προς τα άγνωστα δεδομένα ελέγχου είναι PS = Και στο σχήμα 5.25 βλέπουμε την απόδοση του μοντέλου στα δεδομένα ελέγχου σε σύγκριση με τις πραγματικές τιμές της εξόδου: ΣΧΗΜΑ 5.25 : Η έξοδος του μοντέλου με 3 κανόνες σε σύγκριση με την πραγματική έξοδο για τα δεδομένα ελέγχου, μετά την βελτιστοποίηση 85

87 5.4.3 Σύγκριση των απόδοσης των δύο μοντέλων Στον πίνακα 5.6 παρουσιάζονται όλα τα σφάλματα το δύο μοντέλων για να μπορέσουμε να τα συγκρίνουμε. Παρουσιάζεται αρχικά το σφάλμα απόδοσης στα δεδομένα μοντελοποίησης πριν την εκπαίδευση, και έπειτα το σφάλμα απόδοσης για τα δεδομένα εκπαίδευσης και το σφάλμα που παρουσιάζουν τα δύο μοντέλα σε άγνωστο σετ δεδομένων μετά την εκπαίδευση. Δεδομένα 5 κανόνες 3 κανόνες Πριν το anfis Μοντελοποίησης Μετά το anfis Εκπαίδευσης Μετά το anfis Ελέγχου ΠΙΝΑΚΑΣ 5.6 : Σύνοψη της απόδοσης των δύο μοντέλων Παρατηρήσεις: Παρατηρούμε πως η εκπαίδευση με το anfis που βελτιστοποιεί τις παραμέτρους των μοντέλων, οδηγεί σε μείωση των σφαλμάτων ως προς τα δεδομένα εκπαίδευσης. Σημαντικό είναι εδώ να τονίσουμε πως το μοντέλο με 5 κανόνες παρουσιάζει καλύτερη απόδοση σ αυτό το στάδιο απ ότι αυτό με τους 3 κανόνες. Επιπλέον, τα δύο μοντέλα έχουν εξίσου καλή απόδοση στα δεδομένα ελέγχου, παρατηρούμε όμως πως το μοντέλο με 5 κανόνες έχει τώρα χειρότερη απόδοση από αυτό με τους 3 κανόνες. Οπότε καταλήγουμε πως ένα μοντέλο με μικρότερη πολυπλοκότητα, δηλαδή λιγότερους κανόνες, έχει μεγαλύτερη ευελιξία και ικανότητα γενίκευσης σε άγνωστα δεδομένα. Το κριτήριο για την επιλογή ενός μοντέλου για μια εφαρμογή είναι η απόδοσή του σε άγνωστα δεδομένα ελέγχου. Έτσι με βάση αυτή τη λογική προτιμούμε το μοντέλο με 3 κανόνες, αφού είναι πιο ευέλικτο. 86

88 5.5 Ανάλυση και αξιολόγηση των γραφημάτων Για την επιλογή του καταλληλότερου μοντέλου είναι χρήσιμη η ανάλυση των γραφημάτων που προκύπτουν και η αξιολόγησή τους ως προς την εξοικονόμηση ενέργειας που προσφέρουν. Τα κριτήρια που θα χρησιμοποιηθούν είναι το εμβαδόν κάτω από τη καμπύλη και η προσαρμογή καμπύλης. Το εμβαδόν κάτω από τη καμπύλη (Area Under Curve-AUC για συντομία) μας δίνει μια εκτίμηση για το ποσό της θερμότητας που δίνεται στο σύστημα. Στόχος είναι να έχουμε όσο το δυνατόν μικρότερη απόκλιση του ποσού θερμότητας που υπολογίζει το μοντέλο από το πραγματικό ποσό θερμότητας που υπολογίζεται από τα δοθέντα πραγματικά δεδομένα. Βρίσκοντας τη διαφορά του εμβαδού κάτω από τη καμπύλη πραγματικής εξόδου με τη καμπύλη της εξόδου που δίνει το εκάστοτε μοντέλο, έχουμε ένα δείκτη για το σφάλμα, δηλαδή τις ενεργειακές απώλειες από τη χρήση του συγκεκριμένου μοντέλου. Ο πίνακας που ακολουθεί παρουσιάζει τα αποτελέσματα. Για ευκολότερη εποπτεία των αποτελεσμάτων στη δεύτερη σειρά του πίνακα παρουσιάζεται το σφάλμα ως ποσοστό του συνολικού εμβαδού. Μοντέλο με 3 κανόνες Μοντέλο με 5 κανόνες Διαφορά εμβαδών (σφάλμα) Ποσοστιαίο σφάλμα % % ΠΙΝΑΚΑΣ 5.7 : Σύγκριση διαφοράς εμβαδών για τα δύο μοντέλα Και για τις δύο περιπτώσεις το ποσοστιαίο σφάλμα δε ξεπερνάει το 1% και έτσι και τα δύο μοντέλα κρίνονται κατάλληλα. Το μοντέλο με 3 κανόνες όμως εμφανίζει το μισό σφάλμα, μικρότερο του 0.5%. Στις εικόνες που ακολουθούν φαίνεται η επικάλυψη των πολυγώνων των δύο σετ δεδομένων (πραγματικού και ασαφούς) είναι προφανές ότι υπάρχουν κομμάτια που 87

89 αλληλοεξουδετερώνονται και έτσι το τελικό σφάλμα παραμένει χαμηλό και ας υπάρχουν κατά τόπους σημαντικές αποκλίσεις από τα πραγματικά δεδομένα. ΣΧΗΜΑ 5.26 : Επικάλυψη πολυγώνων για το μοντέλο με 3 κανόνες ΣΧΗΜΑ 5.27 : Επικάλυψη πολυγώνων για το μοντέλο με 5 κανόνες Το δεύτερο κριτήριο για την επιλογή του καλύτερου μοντέλου είναι τα συμπεράσματα που προκύπτουν όταν εφαρμόζεται η μέθοδος της προσαρμογής καμπύλης (curve fitting). Ιδανική καμπύλη είναι εκείνη η οποία: Είναι όσο το δυνατόν πιο ομαλή (smooth) και χωρίς πολλές και μεγάλες αιχμές. Ακολουθεί όσο πιο πιστά γίνεται την πραγματική καμπύλη. 88

90 Επιλέξαμε να κάνουμε προσαρμογή καμπύλης με τη μέθοδο smooth spline fitting, η οποία δίνει πιο αξιόπιστα αποτελέσματα σε σύγκριση με άλλες μεθόδους (πχ polynomial fitting) για το συγκεκριμένο τύπο δεδομένων που έχουμε. Στις εικόνες που ακολουθούν φαίνεται η προσαρμογή των καμπυλών. ΣΧΗΜΑ 5.28 :Προσαρμογή καμπύλης για το μοντέλο με 3 κανόνες 89