ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ιαπανεπιστηιακό ιατηατικό Πρόγραα Μεταπτυχιακών Σπουδών στα Προηγένα Συστήατα Υπολογιστών και Επικοινωνιών ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΙΕΡΑΡΧΙΚΗ ΝΕΥΡΟ-ΑΣΑΦΗΣ ΟΜΗ ΕΝΤΡΟΥ ΓΙΑ ΤΗΝ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΠΟΛΥΕΠΙΠΕ ΩΝ ΥΝΑΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ Γιαννάκης Περικλής Επιβλέπων: Ιωάννης Θεοχάρης Καθηγητής Α.Π.Θ. Θεσσαλονίκη Φεβρουάριος 00
στην οικογένειά ου
Ευχαριστίες Για την εκπόνηση της παρούσας διπλωατικής εργασίας θα ήθελα να ευχαριστήσω θερά τον επιβλέπων καθηγητή ου Καθηγητή του τήατος Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών κ. Ιωάννη Θεοχάρη που ε την κατανόηση του και τις πάντοτε καίριες και χρήσιες συβουλές του υπήρξε ο καθοδηγητής ου στη εργασία αυτή.
Πίνακας Περιεχοένων Κεφάλαιο : Εισαγωγή. Σκοπός της εργασίας. ιάρθρωση της εργασίας 3 Κεφάλαιο : Ασαφή Συστήατα. Ασαφή Σύνολα 6.. Οι τελεστές mn και m 8.. Βασικές πράξεις και σχέσεις ασαφών συνόλων 8. Ασαφείς σχέσεις 9.. Ο τελεστής σύνθεσης m-mn 9.. Ο τελεστής σύνθεσης m-product 0.3 Ασαφείς Κανόνες 0.4 Ασαφή Συστήατα.4. Γενικά.4. Μέθοδοι Ασαφοποίησης.4.3 Βάση Ασαφών Κανόνων.4.4 Μηχανισός Ασαφούς Συλλογισού 3.4.5 Μέθοδοι Από-ασαφοποίησης 4.4.6 Μορφές Συστηάτων Ασαφούς Λογικής 4 Κεφάλαιο 3: Νευρωνικά ίκτυα 3. Μοντέλο Τεχνητού Νευρώνα 7 3. Τεχνητά Νευρωνικά ίκτυα 8 3.3 Αναπαράσταση της γνώσης 0 3.4 Μάθηση και Ανάκληση στα ΤΝ 3.5 Μάθηση ε επίβλεψη 3.5. Συνάρτηση έσου τετραγωνικού σφάλατος 3 3.6 Μέθοδοι ελαχιστοποίησης του σφάλατος 3 3.7 Επαναληπτική προσαρογή των βαρών ε χρήση της Μεθόδου Μέγιστης Κλίσεως 4 3.8 Πηγές δεδοένων και επεξεργασία νευρωνικών δικτύων 6 3.8. Η παρουσίαση δεδοένων 7
Κεφάλαιο 4: Νευρο-Ασαφή Συστήατα 4. Εισαγωγή 9 4. Εκπαίδευση στα Νευρο-Ασαφή Συστήατα 30 4.3 Χαρτογράφηση των ασαφών περιοχών του διαστήατος εισόδου σε ένα νευρο-ασαφές σύστηα 3 4.4 ANFIS : Adptve Neuro-Fuzzy Inference System 33 4.4. Αρχιτεκτονική Συστήατος ANFIS 33 4.4. Αλγόριθος Εκπαίδευσης Συστήατος ANFIS 35 Κεφάλαιο 5: Επαναληπτική Τηατοποίηση 5. Μορφές Τηατοποίησης 38 5. BSP τηατοποίηση 38 5.3 Qudtree τηατοποίηση 39 Κεφάλαιο 6: Ιεραρχικό Νευρο-ασαφές qudtree (HNFQ) οντέλο 6. Ιεραρχικό Νευρο-ασαφές qudtree (HNFQ) οντέλο 44 6. Νευρο-ασαφής qudtree ονάδα 45 6.3 HNFQ αρχιτεκτονική 48 6.4 Εκπαίδευση των παραέτρων του συστήατος 5 6.4. Μερικές Παράγωγοι των παραέτρων του τήατος υπόθεσης 55 6.4. Μερικές Παράγωγοι των παραέτρων του τήατος συπεράσατος 58 6.4.3 Εφαρογή της εθόδου ασαφούς κλίσεως 59 6.5 Ο αλγόριθος εκάθησης του HNFQ συστήατος 60 Κεφάλαιο 7: Πολυεπίπεδο HNFQ οντέλο 7. Το πρόβληα της ιαστατικότητας 65 7. Προτεινόενες έθοδοι επίλυσης του προβλήατος της διαστατικότητας 66 7.3 Μονοεπίπεδοι και πολυεπίπεδοι ασαφείς κανόνες 69 7.3. Μονοεπίπεδοι Ασαφείς κανόνες 69 7.3. Πολυεπίπεδοι Ασαφείς Κανόνες 70 7.4 Εξαγωγή του βαθού σηαντικότητας για καθεία από τις εισόδους 7 7.5 ηιουργία πολυδιάστατου HNFQ οντέλου 73 7.6 Επιπλέον παρατηρήσεις για την βαθωτή αρχιτεκτονική 75
Κεφάλαιο 8: Πειραατικές προσοοιώσεις 8. Προσέγγιση της συνάρτησης snc( y) 77 8. Πρόβλεψη των χαοτικών σειρών Mcey Glss 83 8.3 MPG Πρόβλεψη 9 8.4 Boston Housng 94
Κεφάλαιο ο Εισαγωγή
. Σκοπός της εργασίας Τις τελευταίες δεκαετίες οι έρευνες πολλών επιστηόνων από διάφορους τοείς έχουν εστιαστεί στην κατανόηση και τον σχεδιασό ίας κατηγορίας συστηάτων που αποκαλούνται ευφυή συστήατα. Αυτά τα συστήατα λειτουργούν ε τρόπο που προϋποθέτει ότι έχουν κάποια ορφή ευφυΐας. Βέβαια επειδή ακριβής ορισός της ευφυΐας δεν υπάρχει σε αυτήν την κατηγορία ανήκουν πολλά συστήατα πολύ διαφορετικά όσον αφορά την αρχή λειτουργίας τους και ε πολύ διαφορετικές δυνατότητες. Ένας ορισός που θα πορούσε να δοθεί στα ευφυή συστήατα είναι ο ακόλουθος: είναι συστήατα που έχουν την ικανότητα να θυούνται αλλά και να χρησιοποιούν αυτήν την νήη ώστε να παίρνουν αποφάσεις για το έλλον ε την προοπτική να ικανοποιήσουν κάποιους στόχους. Με τρεις κατηγορίες ευφυών συστηάτων θα ασχοληθούε βασικά σε αυτήν την εργασία: Τα ασαφή συστήατα τα τεχνητά νευρωνικά δίκτυα και τα νευρο-ασαφή συστήατα. Και οι τρεις αυτές κατηγορίες συστηάτων επίπτουν στον ορισό που δώσαε για τα ευφυή συστήατα. Η κάθε ία όως από αυτές έχει τα δικά της πλεονεκτήατα και ειονεκτήατα. Τα ασαφή συστήατα έχουν εγάλες ικανότητες εξαγωγής συπερασάτων από κανόνες κατανοητούς στους ανθρώπους αλλά έχουν και εγάλες δυσκολίες όσον αφορά την άθηση τους. Τα νευρωνικά δίκτυα αντιθέτως έχουν το πλεονέκτηα ότι αθαίνουν εύκολα και γρήγορα αλλά ο τρόπος που βγάζουν τα συπεράσατα είναι ακατανόητος. Τα νευρο-ασαφή συστήατα τέλος είναι ία επιτυχηένη προσπάθεια να γεφυρωθούν οι δύο διαφορετικές προσεγγίσεις και να προκύψουν συστήατα που να κρατούν τα πλεονεκτήατα όνο της κάθε προσέγγισης. Η ικανότητα αυτή των νευρο-ασαφών συστηάτων να εκεταλλεύονται τα πλεονεκτήατα τόσο των νευρωνικών δικτύων όσο και των ασαφών συστηάτων είναι αυτή που τα καθιστά στις ηέρες ας ως την πιο ελκυστική κατηγορία ευφυών συστηάτων. Παρόλα αυτά έχουν παρατηρηθεί και σε αυτή την κατηγορία συστηάτων ορισένες αδυναίες. Η αδυναία που έχουν τα περισσότερα από αυτά να εξελίσσουν την δοή τους (γεγονός που τα καθιστά η δυναικά συστήατα) ο εγάλος αριθός των παραέτρων που θα πρέπει να εκπαιδεύουν προκειένου να αποκτούν την επιθυητή συπεριφορά και η αδυναία τους να αντιετωπίσουν το πρόβληα της διαστατικότητας (dmensonlty problem) καθιστά αναγκαία την χρήση νέων νευρο-ασαφών συστηάτων οντελοποιηένα ε τέτοιο τρόπο ώστε να ανταποκρίνονται στις παραπάνω αδυναίες.
Σε αυτή την διπλωατική εργασία λοιπόν θα προταθεί ένα νέο νευρο-ασαφές οντέλο το "Πολυδιάστατο Ιεραρχικό Νευρο-ασαφές Qudtree" ή αλλιώς Πολυδιάστατο HNFQ οντέλο το οποίο επιχειρεί να αντιετωπίσει τις προαναφερόενες αδυναίες. Θα αναφερθεί το θεωρητικό υπόβαθρο πάνω στο οποίο βασίστηκε το οντέλο και στην συνέχεια γίνει αναλυτική περιγραφή του οντέλου. Θα δοθούν οι αλγόριθοι υλοποίησης του και θα εξεταστεί η συπεριφορά του οντέλου για όλες εκείνες τις περιπτώσεις που θεωρούνται ειδικές/ιδιαίτερες. Τέλος θα γίνει υλοποίηση του οντέλου ε το λογισικό εργαλείο MATLAB 5.3 και θα εξεταστεί η συπεριφορά του για διάφορες περιπτώσεις προσέγγισης συνάρτησης και πρόβλεψης συπεριφοράς.. ιάρθρωση της εργασίας Στο δεύτερο κεφάλαιο περιγράφονται βασικές έννοιες ασαφών συνόλων πράξεων και ασαφών κανόνων ενώ αναλύεται η δοή των ασαφών συστηάτων. Στο τρίτο κεφάλαιο γίνεται εισαγωγή στα νευρωνικά δίκτυα αναφέρονται τα πλεονεκτήατα και τα ειονεκτήατά τους περιγράφεται ο τρόπος άθησης των παραέτρων αναφέρονται οι κυριότερες έθοδοι άθησης ενώ αναλύεται η έθοδος έγιστης κλίσεως την οποία κάνει χρήση και το Πολυδιάστατο HNFQ σύστηα της εργασίας. Στο τέταρτο κεφάλαιο γίνεται εισαγωγή στα νευρο-ασαφή συστήατα περιγράφεται ο τρόπος εκπαίδευσης αναφέρονται οι τρόποι αντιστοίχισης των εισόδων σε ασαφείς περιοχές και γίνεται αναφορά στην αρχιτεκτονική του οντέλου ANFIS. Στο πέπτο κεφάλαιο αναφέρονται δύο τρόποι επαναληπτικής τηατοποίησης του χώρου εισόδων: της 'BSP' τηατοποίησης και της qudtree επαναληπτικής τηατοποίησης η οποία και θα χρησιοποιηθεί από το νευρο-ασαφές σύστηα. Στο έκτο κεφάλαιο παρουσιάζεται το Ιεραρχικό Νευρο-ασαφές Qudtree οντέλο για δύο εισόδους. Περιγράφεται η 'HNFQ ονάδα' το θεελιώδες δοικό στοιχείο ενός HNFQ συστήατος. ίνεται ε αναλυτικό τρόπο η αρχιτεκτονική του HNFQ οντέλου ο αλγόριθος εκπαίδευσης των παραέτρων και ο αλγόριθος ανάπτυξης της δοής του συστήατος έχρι την ολοκλήρωσή της. Στο έβδοο κεφάλαιο αναφέρεται το πρόβληα της διαστατικότητας και οι έθοδοι που έχουν προταθεί για την επίλυσή του. Προτείνεται η βαθωτή αρχιτεκτονική ως έθοδος επίλυσης προβληάτων ε πολλές εισόδους ενώ παράλληλα εξετάζεται και η ενσωάτωση της στο HNFQ οντέλο.
Τέλος το όγδοο κεφάλαιο αφιερώνεται στην υλοποίηση της εθόδου και την παρουσίαση των αποτελεσάτων που εξάγονται από την εφαρογή του HNFQ οντέλο πάνω σε τέσσερις bencmrs σύνολα/συναρτήσεις.
Κεφάλαιο ο Ασαφή Συστήατα
. Ασαφή Σύνολα Έστω X {... } = ένα κλασσικό σύνολο το οποίο θα ονοάσουε m υπερσύνολο αναφοράς. Στην κλασσική λογική ένα υποσύνολο του Χ είναι το { } A= που πορεί να αναπαρασταθεί και σαν σύνολο διατεταγένων ζευγών ( A( )) y όπου: y A ( ) αν A = 0 αν A (.) είναι η συνάρτηση συετοχής η οποία δέχεται ως είσοδο ένα στοιχείο του υπερσυνόλου αναφοράς Χ και παίρνει την τιή ή 0 αν το στοιχείο ανήκει στο υποσύνολο A ή όχι. Στην εν προκειένω περίπτωση: {( ) ( ) ( 3 ) ( m )} A= 0... 0 (.) Όταν τώρα υπάρχει ένα ασαφές σύνολο η συνάρτηση συετοχής δεν περιορίζεται εταξύ των τιών 0 και. Ως ασαφές υποσύνολο του X ορίζεται το σύνολο διατεταγένων ζευγών: {( Α( )) Α( ) [ ]} A= X : Χ 0 (.3) όπου είναι ένα στοιχείο του υπερσυνόλου αναφοράς και Α( ) η συνάρτηση συετοχής του στοιχείου αυτού στο υποσύνολο Α. Συνάρτηση συετοχής Α( ) ορίζεται ως εκείνη η αθηατική εξίσωση (συνάρτηση) η οποία καθορίζει τον βαθό συετοχής της στοιχείου σε ένα ασαφές σύνολο. Στην πράξη η συνάρτηση συετοχής πορεί να προέρχεται από: Υποκειενικές εκτιήσεις Προκαθορισένες και απλοποιηένες ορφές Συχνότητες εφανίσεων και πιθανότητες Φυσικές ετρήσεις ιαδικασίες άθησης και προσαρογής Συνήθως χρησιοποιούνται συνεχείς συναρτήσεις οι οποίες χαρακτηρίζονται από ένα σύνολο παραέτρων (prmeterzed functons). Ο τύπος της συνάρτησης περιγράφει την ορφή της συνάρτηση συετοχής. Επιπλέον καθορίζοντας της παραέτρους της συνάρτησης συετοχής εταβάλλονται τα χαρακτηριστικά της. Με αυτόν τον τρόπο είναι δυνατόν να περιγραφεί ε ακρίβεια οποιαδήποτε ορφής
συνάρτηση συετοχής επιθυούε ανάλογα ε την εφαρογή που εξετάζουε. Στην βιβλιογραφία έχουν προταθεί και αναπτυχθεί πάρα της ορφές συναρτήσεων συετοχής. Στο νευρο-ασαφές σύστηα που θα αναπτυχθεί σε επόενο κεφάλαιο θα χρησιοποιηθεί σαν συνάρτηση συετοχής η σιγοειδής συνάρτηση. Η σιγοειδής συνάρτηση της διανύσατος δίνεται από τον παρακάτω τύπο: f ( ) ( b) = + e (.4) όπου: α b παράετρος που εκφράζει την κλίση. Της αναλόγως ε το πρόσηο της α το έγιστο της σιγοειδούς συνάρτησης είναι από την δεξιά ή την αριστερή εριά. εκφράζει το έσο σηείο ανάεσα στο σηείο εκκίνησης της ετάβασης και στο σηείο τερατισού της ετάβασης. Στα σχήατα που ακολουθούν παριστάνεται η σιγοειδής συνάρτηση η οποία στο περιβάλλον του MATLAB εκφράζεται από την συνάρτηση sgmf [4] για διάφορες τιές των παραέτρων α και b. Σχήα.α Σχήα.β Σχήα.γ Σχήα.δ Σχήα. Η σιγοειδής συνάρτηση ε παραέτρους: α= b=4(σχήα.α) α=- b=4(σχήα.β) α= b=4(σχήα.γ) α=- b=4(σχήα.δ)
.. Οι τελεστές mn και m Προτού συνεχίσουε περιγράφοντας ορισένες βασικές πράξεις ασαφών συνόλων και ασαφών σχέσεων θα ορίσουε τους τελεστές mn ( ) και m ( ). Ο τελεστής mn( ) χρησιοποιείται για να βρεθεί το ελάχιστο (mnmum) εταξύ δύο στοιχείων και. Η ελάχιστη τιή συβολίζεται ε mn ( ) ( ) και ορίζεται ως ακολούθως: ή f = mn ( ) = (.5) f > Οοίως ο τελεστής m( ) χρησιοποιείται για να βρεθεί το έγιστο (mmum) εταξύ δύο στοιχείων και. Η έγιστη τιή συβολίζεται ε m ( ) ( ) ή και ορίζεται ως ακολούθως: f = mn ( ) = (.6) f <.. Βασικές πράξεις και σχέσεις ασαφών συνόλων Συπλήρωα Το σύνηθες συπλήρωα A του ασαφούς συνόλου Α ε συνάρτηση συετοχής A( ) δίνεται από τη σχέση: Τοή ( t norm) A= A( ) X (.7) Η συνήθης τοή A B δύο ασαφών υποσυνόλων Α και Β ε A B F( X ) δίνεται από τη σχέση: ( ) ( ) A B ( ) = mn A( ) B( ) X (.8) Ένωση ( s norm) Η συνήθης ένωση A B δύο ασαφών υποσυνόλων Α και Β ε A B F( X ) δίνεται από τη σχέση: ( ) ( ) A B ( ) = m A( ) B( ) X (.9) Ισότητα Τα ασαφή σύνολα A B F( X ) λέγονται ίσα αν και όνο αν:
. Ασαφείς σχέσεις A( ) = B( ) X (.0) Ασαφής σχέση R : X X... X d [0] ορισένη στα X X... X d (που είναι κλασικά σύνολα ) είναι κάθε ασαφές υποσύνολο του καρτεσιανού γινοένου των X X... X d. Ο βαθός συετοχής κάθε διανύσατος (... d ) X X... X d στην ασαφή σχέση R παριστάνει το βαθό στον οποίο τα... d σχετίζονται ή αλλιώς συνδέονται εταξύ τους ε βάση την R. Μεταξύ των ασαφών σχέσεων ορίζονται διάφορες πράξεις. Παρακάτω θα περιγραφεί η πράξη της σύνθεσης διότι θα χρησιοποιηθεί στο νευρο-ασαφές οντέλο που προτείνεται από την εργασία. Η sup t σύνθεση των ασαφών σχέσεων : X Y [ 0 ] [ 0 ] R : X Z συβολίζεται ε R X Z. R και R o και είναι ια ασαφής σχέση στον χώρο [ o ] [ ] R( z) = R R ( z) = sup t R ( y) R ( y z) y Y (.) όπου t ια Τ-νόρα. Οι τιές της συνάρτησης συετοχής της νέας ασαφούς σχέσης καθορίζονται ε την βοήθεια του τελεστή σύνθεσης m t ο οποίος ορίζεται γενικά ως εξής: [ ( y) ( y z) ] X y Y z Z R( z) = mt R R (.) y Y όπου το σύβολο t αντιπροσωπεύει έναν T norm τελεστή δηλαδή ένα τελεστή τοής. Ο εξωτερικός "βρόχος" m λαβάνεται ως προς όλα τα στοιχεία y δηλαδή τα στοιχεία του κοινού συνόρου των χώρων. Ο τελεστής t Y norm πορεί να πάρει διάφορες ορφές. Οι πλέον συνηθισένες περιπτώσεις προκύπτουν όταν ο τελεστής t υλοποιείται ε το mn( ) και το αλγεβρικό γινόενο ( ). Σ αυτή την περίπτωση έχουε τους τελεστές σύνθεσης m-mn και m-product αντίστοιχα... Ο τελεστής σύνθεσης m-mn. Η σύνθεση m-mn εταξύ των R ( X Y ) και R ( Y Z) είναι ια νέα ασαφής σχέση R στον χώρο X ακολούθως: ή Z της οποίας η συνάρτηση συετοχής ορίζεται ως [ ( y) ( y z) ] X y Y z Z R( z) = mmn R R (.3) y Y
[ ( y) ( y )] ( z) = R R z R (.4) y Y.. Ο τελεστής σύνθεσης m-product Η σύνθεση m-product εταξύ των R ( X Y ) και R ( Y Z) είναι ια νέα ασαφής σχέση R στον χώρο X ως ακολούθως: Z της οποίας η συνάρτηση συετοχής ορίζεται [ ( y) ( y z) ] X y Y z Z R( z) = m R R (.5) y Y ή [ ( y) ( y )] ( z) = R R z R y Y (.6) Θα πρέπει να σηειωθεί ότι ο τελεστής σύνθεσης που θα χρησιοποιηθεί στο σύστηα που θα αναπτυχθεί στο κεφάλαιο 6 θα είναι ο τελεστής m-product..3 Ασαφείς Κανόνες Σε συστήατα τα οποία χρησιοποιούν ασαφή σύνολα η ανθρώπινη γνώση και συλλογιστική παριστάνεται ε την ορφή ασαφών IF / THE κανόνων (Αν Τότε κανόνες). Οι ασαφείς κανόνες (Fuzzy IF / THE rules) είναι υποθετικές προτάσεις οι οποίες περιγράφονται από την παρακάτω ορφή: IF s A THE y s B (.7) όπου Α και Β είναι ασαφή σύνολα των και y τα οποία ορίζονται στους χώρους X και Y αντίστοιχα. Οι εκφράσεις s A και y s B είναι ασαφείς προτάσεις (fuzzy propostons). Εποένως οι ασαφείς κανόνες γενικά περιγράφονται ως εξής: IF < Ασαφής πρόταση> ΤΗΕΝ <Ασαφής πρόταση> Το αριστερό τήα του ασαφούς κανόνα το IF s A λέγεται τήα υπόθεσης (pre-condtonl prt premse prt IF-prt) και περιλαβάνει την υπόθεση ή το προαπαιτούενο του κανόνα (precondton). Επίσης το δεξιό τήα του ασαφούς κανόνα το THE y s B είναι το τήα απόδοσης ή συπεράσατος (consequent prt THEN-prt) και περιλαβάνει την απόδοση ή το συπέρασα του κανόνα (consequence concluson): Ο κανόνας IF s A THE y s B πολύ συχνά περιγράφεται εν συντοία σαν A B. Στην πραγατικότητα ο ασαφής κανόνας ορίζει ια ασαφή σχέση εταξύ της εταβλητών και y. Η ασαφής αυτή σχέση A B αναφέρεται συχνά στην
βιβλιογραφία σαν σχέση συπερασού (mplcton relton). H σχέση συπερασού συσχετίζει τον βαθό εκπλήρωσης της υπόθεσης ε τον βαθό του συπεράσατος. Σ αυτή τη φάση θεωρούε ότι ο κανόνας περιλαβάνει όνο ια εταβλητή στο τήα υπόθεσης και απόδοσης καθώς επίσης ότι τα ασαφή σύνολα Α και Β είναι απλοί και όχι σύνθετοι λεκτικοί όροι (πρωτογενείς ασαφείς τιές). Σύνθετοι ασαφείς κανόνες είναι δυνατόν να προκύψουν ε τρεις τρόπους: α) όταν το τήα υπόθεσης περιλαβάνει περισσότερες από ία ανεξάρτητες εταβλητές (π.χ. y). β) Όταν το τήα συπερασού είναι ια πολυωνυική συνάρτηση ως προς τις εταβλητές εισόδου y. γ) Όταν το τήα συπερασού περιλαβάνει περισσότερες από ία ανεξάρτητες εταβλητές..4 Ασαφή Συστήατα.4. Γενικά Θα προχωρήσουε στην ελέτη της γενικής αρχιτεκτονικής των ασαφών συστηάτων[3] δηλαδή των συστηάτων εκείνων που λειτουργούν σε αβέβαιο περιβάλλον και οντελοποιούνται ε ασαφείς εταβλητές. Τα ασαφή συστήατα ανήκουν στην κατηγορία των ευφυών συστηάτων και βρίσκουν εφαρογή σε πληθώρα πρακτικών προβληάτων. Η γενική αρχιτεκτονική των ασαφών συστηάτων απεικονίζεται στο παρακάτω σχήα και περιλαβάνει τέσσερις ονάδες. Ασαφοποιητής Μηχανισός Ασαφούς Συλλογισού Απο-ασαφοποιητής Μη ασαφείς είσοδοι Ασαφείς τιές Μη ασαφείς έξοδοι Βάση Ασαφών Κανόνων Εικόνα -Μπλοκ διάγραα ασαφούς συστήατος Σχήα. Η γενική αρχιτεκτονική των ασαφών συστηάτων Μια βάση ασαφών κανόνων της ορφής IF / THE (rule bse). Ένα ηχανισό εξαγωγής ασαφών συπερασάτων (resonng mecnsm).
Μια ονάδα ασαφοποίησης που ετατρέπει τα δεδοένα εισόδου σε ασαφή σύνολα (fuzzfcton unt). Μια ονάδα απο-ασαφοποίησης που ετατρέπει τα ασαφή συπεράσατα σε συπεράσατα ε σαφώς καθορισένη ορφή (defuzzfcton unt)..4. Μέθοδοι Ασαφοποίησης Ο ασαφοποιητής υλοποιεί ια απεικόνιση από τα σύνολο πραγατικών τιών εισόδου = [... n] X στο ασαφές σύνολο Α του υπερσυνόλου αναφοράς Χ. ύο δυνατές απεικονίσεις είναι οι εξής : Μονότιος Ασαφοποιητής Στον ονότιο ασαφοποιητή (sngleton fuzzfer) η συνάρτηση συετοχής είναι οναδιαία δηλαδή = Α( ) = (.8) 0 Μη Μονότιος Ασαφοποιητής Υπάρχουν διάφορες ορφές η ονότιων ασαφοποιητών ανάλογα ε την συνάρτηση από την οποία εκφράζονται. Για παράδείγα ένας Gussn ασαφοποιητής θα είναι: ( ) T ( ) ( ) = ep (.9) σ Α.4.3 Βάση Ασαφών Κανόνων Η βάση ασαφών κανόνων αποτελείται από ια συλλογή κανόνων IF / THE της παρακάτω ορφής: R : If s A And K And n s An Ten y s B (.0) όπου τα A και B είναι ασαφή σύνολα επί των X R και Y R αντίστοιχα και [ K ] T = και y είναι γλωσσικές εταβλητές. Θα πρέπει να σηειωθεί ότι n στην θέση του τελεστή AND θα πορούσε να υπάρχει ο τελεστής OR. Αν χρησιοποιηθεί ο τελεστής AND τότε υπάρχουν δύο περιπτώσεις: α) Αν ο AND χρησιοποιείται ως mn τότε δίνεται ο ικρότερος αριθός που εκφράζει την εκτίηση του κανόνα ενώ β) αν χρησιοποιείται ως prod τότε δίνεται ένας αριθός που εκφράζει το γινόενο της εκτίησης του κανόνα.
Επίσης αν χρησιοποιηθεί ο τελεστής OR τότε υπάρχουν δύο περιπτώσεις: α) Αν ο OR χρησιοποιείται ως m τότε δίνεται ο εγαλύτερος αριθός της αποτίησης του κανόνα ενώ β) αν χρησιοποιείται ως probor τότε δίνεται ένας αριθός που εκφράζει το αλγεβρικό άθροισα της εκτίησης του κανόνα. Ο αριθός αυτός εφαρόζεται στη συνάρτηση συετοχής του συπεράσατος (consequent) και η συνάρτηση συετοχής του συπεράσατος παρουσιάζεται είτε ε ευθεία αποκοπή (clppng) είτε ε διαβαθισένη αποκοπή (sclng) στο επίπεδο της τιής της υπόθεσης του κανόνα Υπάρχουν δύο βασικές έθοδοι κατασκευής ασαφών κανόνων: Από επειρογνώονες (eperts). Από αλγόριθους εκπαίδευσης βασισένους σε δεδοένα ετρήσεων..4.4 Μηχανισός Ασαφούς Συλλογισού Αν στη βάση κανόνων υπάρχουν συνολικά n κανόνες δηλαδή R ε = Kn τότε η βάση ασαφών κανόνων πορεί να θεωρηθεί πως αποτελεί ια οναδική σχέση: ( = K n) R= R (.) Το ζητούενο είναι πώς θα συνδυαστούν τα δεδοένα ε τους κανόνες που υπάρχουν στη βάση κανόνων ώστε να εξαχθεί το τελικό συπέρασα. Οι ηχανισοί ασαφούς συλλογισού (ή ηχανισοί εξαγωγής συπερασάτων) αναφέρονται στην έθοδο ε την οποία παράγονται συπεράσατα από τους κανόνες και πώς αυτά τα αποτελέσατα-συπεράσατα συνδυάζονται ώστε να παραχθεί το ολικό αποτέλεσα. ηλαδή πρέπει να καθοριστεί: ο τρόπος ε τον οποίο υπολογίζεται η προσαροστικότητα (δύναη) του τήατος υπόθεσης του κανόνα για κάθε είσοδο ο τρόπος ε τον οποίο εφαρόζεται η προσαροστικότητα αυτή στα ασαφή σύνολα του τήατος συπερασού κάθε κανόνα για να λάβουε το συπέρασα κάθε κανόνα (συπέρασα εξόδου κάθε κανόνα) ο τρόπος ε τον οποίο συνδυάζονται αυτά τα αποτελέσατα ώστε να προκύψει το συνολικό (τελικό) αποτέλεσα
.4.5 Μέθοδοι Από-ασαφοποίησης Απο-ασαφοποίηση είναι η διαδικασία ετατροπής ενός ασαφούς συνόλου Β σε ια τιή w 0 η οποία και η έξοδος του ασαφούς συστήατος. Μερικές έθοδοι αποασαφοποίησης είναι οι ακόλουθες. Μέθοδος Κέντρου Βάρους Στη έθοδο αυτή που είναι γνωστή ως COG (Center Of Grvty) η τιή w 0 δίνεται από τη σχέση: w Β( w ) w0 = ( w ) (.) Β όπου w εκφράζει τον βαθό ενεργοποίησης (frng level) του τήατος υπόθεσης του κανόνα. To w είναι το αποτέλεσα της εφαρογής του κατάλληλου τελεστή (που δίνεται από τη λεκτική περιγραφή του κανόνα) στις εισόδους του κανόνα. Μέθοδος Μέσης Τιής των Μεγίστων Στη έθοδο αυτή που είναι γνωστή ως MOM (Men Of Mm) η τιή w 0 δίνεται από τη σχέση: w 0 m j= = m w j (.3).4.6 Μορφές Συστηάτων Ασαφούς Λογικής Τα Συστήατα Ασαφούς Λογικής διαφοροποιούνται ανάλογα ε τις ορφές που πορεί να πάρει ένας κανόνας. Οι πιο γνωστές από αυτές τις ορφές είναι: Τύπου Mmdn[5][6]: είναι ένας κανόνας της ορφής: If s A ten y s B και ονοάστηκε έτσι προς τιή του Ebrm Mmdn που ήταν ένας από τους πρώτους που εφάροσε την Ασαφή Λογική. Οι έξοδοι των κανόνων της ορφής αυτής είναι ασαφή σύνολα. Τύπου Sugeno Tg[6][7]: είναι ένας κανόνας της ορφής: If s A ten y s c όπου το c είναι αριθός ή και ένα crsp ασαφές σύνολο. Τύπου Tg-Sugeno Kng ή Τ-S-K[4]: είναι ία επέκταση του προηγούενου κανόνα και αποτελεί έναν από τους κυριότερους τύπους
ασαφούς κανόνα ο οποίος χρησιοποιείται σε πολλές εφαρογές ανάπτυξης ασαφών συστηάτων. Έχει τη ορφή: If s A ten y s c 0 +c όπου c 0 c R. Οι έξοδοι των κανόνων της ορφής αυτής είναι συναρτήσεις των εισόδων.
Κεφάλαιο 3ο Νευρωνικά ίκτυα
3. Μοντέλο Τεχνητού Νευρώνα Ο τεχνητός νευρώνας (rtfcl neuron) είναι ένα υπολογιστικό οντέλο τα έρη του οποίου αντιστοιχίζονται άεσα ε αυτά του βιολογικού νευρώνα. Όπως απεικονίζεται στο Σχήα 3. ένας τεχνητός νευρώνας δέχεται κάποια σήατα εισόδου 0... n τα οποία σε αντίθεση ε τους ηλεκτρικούς παλούς του εγκεφάλου αντιστοιχούν σε συνεχείς εταβλητές. Κάθε τέτοιο σήα εισόδου εταβάλλεται από ια τιή βάρους w (wegt) (= n) ο ρόλος της οποίας είναι αντίστοιχος της σύναψης του βιολογικού εγκεφάλου. Η τιή βάρους πορεί να είναι θετική ή αρνητική σε αντιστοιχία ε την επιταχυντική ή επιβραδυντική λειτουργία της σύναψης. Θετικά ή αρνητικά βάρη Σώα Σχήα 3. Μοντέλο τεχνητού νευρώνα. αντιστοιχούν σε συνάψεις που εταδίδουν ή αναστέλλουν ερεθίσατα από άλλους νευρώνες. Το σώα του τεχνητού νευρώνα χωρίζεται σε δύο έρη τον αθροιστή (sum) Ο οποίος προσθέτει τα επηρεασένα από τα βάρη σήατα εισόδου και παράγει την ποσότητα S και τη συνάρτηση ενεργοποίησης ή κατωφλίου (ctvton ή tresold functon) ένα η γραικό φίλτρο το οποίο διαορφώνει την τελική τιή του σήατος εξόδου y σε συνάρτηση ε την ποσότητα S []. Η ποσότητα S δίνεται από τη σχέση: S = n = w (3.) Υπάρχουν τρεις τυπικές περιπτώσεις για τη συνάρτηση ενεργοποίησης : Η βηατική (step) ή κατωφλίου συνάρτηση (Σχήα 3.α) η οποία δίνει στην έξοδο αποτέλεσα (συνήθως ) όνο αν η τιή που υπολογίζει ο αθροιστής είναι εγαλύτερη από ία τιή κατωφλίου T και εκφράζεται από τη σχέση: υ 0 φ ( υ) = (3.) 0 υ < 0
Η συνάρτηση πρόσηου (sgn) (Σχήα 3.β) η οποία δίνει στην έξοδο αρνητική (ή θετική) πληροφορία αν η τιή που υπολογίζει ο αθροιστής είναι ικρότερη (ή εγαλύτερη) από ία τιή κατωφλίου Τ. Εκφράζεται από τη σχέση: υ T φ( υ) = (3.3) υ < T Η σιγοειδής (sgmod) συνάρτηση η οποία εκφράζεται από τη γενική σχέση: φ( υ) = αυ (3.4) + e όπου α είναι ένας συντελεστής ρύθισης της ταχύτητας ετάβασης εταξύ των δύο ασυπτωτικών τιών. Η σιγοειδής συνάρτηση (Σχήα 3.γ) είναι σηαντική γιατί παρέχει η γραικότητα στο νευρώνα κάτι που είναι απαραίτητο στη οντελοποίηση η γραικών φαινοένων. Σχήα 3. Μορφές συνάρτησης ενεργοποίησης 3. Τεχνητά Νευρωνικά ίκτυα Τα τεχνητά νευρωνικά δίκτυα (rtfcl neurl networs) ή πιο απλά ΤΝ είναι συστήατα επεξεργασίας δεδοένων που αποτελούνται από ένα πλήθος τεχνητών νευρώνων οργανωένων σε δοές παρόοιες ε αυτές του ανθρώπινου εγκεφάλου. Συνήθως οι τεχνητοί νευρώνες είναι οργανωένοι σε ία σειρά από στρώατα ή επίπεδα (lyers). Το πρώτο από αυτά τα επίπεδα ονοάζεται επίπεδο εισόδου (nput lyer) και χρησιοποιείται για την εισαγωγή δεδοένων. Τα στοιχεία του δηλαδή δεν είναι ουσιαστικά νευρώνες γιατί δεν εκτελούν κάποιο υπολογισό (δεν έχουν βάρη εισόδου ούτε συναρτήσεις ενεργοποίησης). Στη συνέχεια πορούν να υπάρχουν προαιρετικά ένα ή περισσότερα ενδιάεσα ή κρυφά επίπεδα (dden lyers). Τέλος ακολουθεί ένα επίπεδο εξόδου (output lyer).
Μπορούε να πούε αλλιώς ότι ένα νευρωνικό δίκτυο είναι ένας συπαγής παράλληλος κατανεηένος επεξεργαστής που έχει τη φυσική κλίση να αποθηκεύει επεριστατωένη γνώση και να την κάνει διαθέσιη για χρήση. Αλλιώς ένα νευρωνικό δίκτυο είναι ένα ισχυρό εργαλείο διαόρφωσης στοιχείων που είναι σε θέση να συλλάβει και να αντιπροσωπεύσει τις σύνθετες σχέσεις εισόδου/εξόδου. Το κίνητρο για την ανάπτυξη της τεχνολογίας νευρωνικών δικτύων προήλθε από την επιθυία να αναπτυχθεί ένα τεχνητό σύστηα που θα πορούσε να εκτελέσει τους "ευφυείς" στόχους παρόοιους ε εκείνους που εκτελέσθηκαν από τον ανθρώπινο εγκέφαλο. Τα νευρωνικά δίκτυα οιάζουν ε τον ανθρώπινο εγκέφαλο ε τους ακόλουθους δύο τρόπους:. Ένα νευρωνικό δίκτυο αποκτά τη γνώση έσω της εκάθησης.. Η γνώση ενός νευρωνικού δικτύου αποθηκεύεται έσα στις δυνάεις σύνδεσης δια-νευρώνων γνωστές ως συναπτικά βάρη (w). Η αληθινή δύναη και το πλεονέκτηα των νευρωνικών δικτύων βρίσκονται στη δυνατότητά τους να αντιπροσωπεύσουν και τις γραικές και τις η γραικές σχέσεις όπως και στη δυνατότητά τους να άθουν αυτές τις σχέσεις άεσα από τα στοιχεία που διαορφώνονται. Τέλος ένα εγάλο πλεονέκτηα είναι ότι έχουν εγάλη ανοχή σε βλάβες λόγω του παραλληλισού τους και είναι σχεδιασένα να είναι προσαροζόενα ανάλογα ε το είδος του προβλήατος. Η χρήση των νευρωνικών δικτύων έχει ακόα στις έρες ας αρκετά ειονεκτήατα όπως το ότι δεν υπάρχουν σαφείς κανόνες για την ανάπτυξη ΤΝ για οποιαδήποτε εφαρογή και δεν υπάρχει γενικός τρόπος για την ερηνεία της εσωτερικής λειτουργίας του δικτύου. Επίσης τα παραδοσιακά γραικά πρότυπα είναι ανεπαρκή όταν πρόκειται για τη διαόρφωση στοιχείων που περιέχουν η γραικά χαρακτηριστικά. Τέλος η εκπαίδευσή τους πορεί να είναι αρκετά δύσκολη ή αδύνατη και η ικανότητα γενίκευσης είναι δύσκολα προβλέψιη. Οι νευρώνες των διαφόρων στρωάτων πορεί να είναι πλήρως ή ερικώς συνδεδεένοι. Πλήρως συνδεδεένοι (fully connected) είναι εκείνοι οι οποίοι συνδέονται ε όλους τους νευρώνες του επόενου επιπέδου. Σε κάθε άλλη περίπτωση οι νευρώνες είναι ερικώς συνδεδεένοι (prtlly connected). Όταν δεν υπάρχουν συνδέσεις εταξύ νευρώνων ενός επιπέδου και νευρώνων προηγούενου επιπέδου (όταν δηλαδή η ροή πληροφορίας είναι ιας κατεύθυνσης) τα ΤΝ χαρακτηρίζονται ως δίκτυα ε απλή τροφοδότηση (feed forwrd) (Σχήα 3.3). Στην αντίθετη περίπτωση καθώς και στην περίπτωση συνδέσεων εταξύ νευρώνων ίδιου επιπέδου τα ΤΝ χαρακτηρίζονται ως δίκτυα ε ανατροφοδότηση (feedbc ή recurrent). Αν και σε ορισένες περιπτώσεις
τα δίκτυα ε ανατροφοδότηση είναι πολύ χρήσια στην πλειοψηφία των εφαρογών νευρωνικών δικτύων χρησιοποιούνται δίκτυα απλής τροφοδότησης. Σχήα 3.3 Πλήρες διασυνδεδεένο Τεχνητό Νευρωνικό ίκτυο απλής τροφοδότησης. 3.3 Αναπαράσταση της γνώσης Με τον όρο γνώση αναφερόαστε σε αποθηκευένη πληροφορία ή σε οντέλα χρησιοποιούενα από ένα άτοο ή ηχανή για να εταφράσουν προβλέψουν και κατά προσέγγιση να αντιδράσουν στον εξωτερικό κόσο (Fscler nd Frscen 987). Η έγιστη εργασία για ένα νευρωνικό δίκτυο είναι να άθει ένα οντέλο του κόσου (περιβάλλον) στο οποίο είναι εγκατεστηένο και να συντηρήσει το οντέλο ικανοποιητικά σύφωνα ε τον πραγατικό κόσο ώστε να επιτύχει τους στόχους ιας εφαρογής που ας ενδιαφέρει.
Σ ένα νευρωνικό δίκτυο ιας συγκεκριένης αρχιτεκτονικής η αναπαράσταση γνώσης του περιβάλλοντος ορίζεται από τις τιές που παίρνουν οι ελεύθεροι παράετροι (π.χ. συναπτικά βάρη και κατώφλια ενεργοποίησης) του δικτύου. Ο τύπος αυτής της αναπαράστασης γνώσης αποτελεί τους διαφορετικούς σχεδιασούς ενός νευρωνικού δικτύου και γι αυτό κρατάει το κλειδί της απόδοσης του. 3.4 Μάθηση και Ανάκληση στα ΤΝ Για την απόκτηση γνώσης τα ΤΝ πραγατοποιούν δύο βασικές λειτουργίες: τη άθηση (lernng) και την ανάκληση (recll). Μάθηση (lernng) είναι η διαδικασία επαναληπτικής τροποποίησης της τιής των βαρών του δικτύου ώστε δοθέντος συγκεκριένου διανύσατος εισόδου να παραχθεί συγκεκριένο διάνυσα εξόδου. Η διαδικασία αυτή ονοάζεται επίσης και εκπαίδευση (trnng) του ΤΝ. Η ικανότητά τους στο να αθαίνουν από παραδείγατα κάνει τα νευρωνικά δίκτυα ένα εξαιρετικά δυνατό προγραατιστικό εργαλείο όταν οι κύριοι κανόνες δεν είναι επακριβώς ορισένοι ή όταν ένα ποσοστό ανακρίβειας και διχογνωίας υπάρχει στα δεδοένα. Ανάκληση (recll) είναι η διαδικασία του υπολογισού ενός διανύσατος εξόδου για συγκεκριένο διάνυσα εισόδου και τιές βαρών. Ο γενικός τρόπος ε τον οποίο γίνεται η τροποποίηση των βαρών ενός ΤΝ κατά την εκπαίδευση του επιτρέπει τη διάκριση τριών ειδών άθησης στα ΤΝ τη άθηση υπό επίβλεψη (supervsed lernng) τη βαθολογηένη άθηση (grded lernng) και την άθηση χωρίς επίβλεψη (unsupervsed lernng). Στη άθηση υπό επίβλεψη (supervsed lernng) στο δίκτυο δίνονται ζευγάρια διανυσάτων εισόδου - επιθυητής εξόδου (Σχήα 3.4). Το ΤΝ ε την τρέχουσα κατάσταση βαρών παράγει ία έξοδο η οποία αρχικά διαφέρει από την επιθυητή έξοδο. Αυτή η διαφορά ονοάζεται σφάλα Ε (error) και βάσει αυτής καθώς και ενός αλγορίθου εκπαίδευσης γίνεται συνήθως η αναπροσαρογή των βαρών. Εκτός του συνόλου εκπαίδευσης χρησιοποιείται κι άλλο ένα σύνολο απεικόνισης εισόδου εξόδου το σύνολο ελέγχου. Αυτό το σύνολο εφαρόζεται στο δίκτυο ετά την ολοκλήρωση της εκπαίδευσης για να διαπιστωθεί η ικανότητα γενίκευσης του τεχνητού νευρωνικού δικτύου σε δεδοένα ε τα οποία δεν έχει ήδη εκπαιδευτεί.
ιόρθωση Βαρών Αλγόριθος Μάθησης Σύνολο Εκπαίδευσης είγα Εισόδου Νευρωνικό ίκτυο Πραγατικό είγα Εξόδου Σύγκριση Σφάλα Επιθυητό είγα Εξόδου Σχήα 3.4 Μάθηση υπό επίβλεψη Στη βαθολογηένη άθηση (grded lernng) η έξοδος χαρακτηρίζεται ως "καλή" ή"κακή" ε βάση ια αριθητική κλίακα και τα βάρη αναπροσαρόζονται ε βάση αυτό το χαρακτηρισό. Τέλος στη άθηση χωρίς επίβλεψη (unsupervsed lernng) η απόκριση του δικτύου βασίζεται στην ικανότητα του να αυτοοργανώνεται ε βάση τα διανύσατα εισόδου. Αυτή η εσωτερική οργάνωση γίνεται έτσι ώστε σε συγκεκριένο σύνολο εισόδων να αντιδρά ισχυρά ένας συγκεκριένος νευρώνας. Τέτοια σύνολα εισόδων αντιστοιχούν σε έννοιες και χαρακτηριστικά του πραγατικού κόσου τα οποία το ΤΝ καλείται να άθει. 3.5 Μάθηση ε επίβλεψη Σε αυτό τον τύπο άθησης η απαιτούενη ανανέωση (αλλαγή προσαρογή) των συναπτικών βαρών υπολογίζεται παρουσιάζοντας στο ΤΝ δεδοένα πρότυπα (διανύσατα) εισόδου συγκρίνοντας τις προκύπτουσες αποκρίσεις ε τις (από πριν δοσένες / pror) επιθυητές αποκρίσεις και ακολούθως αλλάζοντας τα βάρη προς την κατεύθυνση είωσης του σφάλατος. Συγκεκριένα έστω: d(t): η επιθυητή έξοδος (απόκριση στόχου) του συστήατος (t): το διάνυσα εισόδου (ερεθισού) του ΤΝ y(t): η πρακτικά λαβανόενη απόκριση του συστήατος Προφανώς το ζεύγος ((t)d(t)) αποτελεί ένα παράδειγα που παρουσιάζεται στο σύστηα κατά τη χρονική στιγή t. Το σφάλα (διαφορά) εταξύ της επιθυητής εξόδου d(t) και της πραγατικής εξόδου y(t) είναι: e(t) = d(t) - y(t) (3.5)
3.5. Συνάρτηση έσου τετραγωνικού σφάλατος Αν υποθέσουε ότι έχουε ένα διάνυσα ε L ζεύγη ((t)d(t)) ορίζουε ως «συνάρτηση έσου τετραγωνικού σφάλατος» (Men Squre Error crteron MSE) τη σχέση: E rms = L L = e ( t) (3.6) η οποία εκφράζει τη έση τιή του αθροίσατος των τετραγώνων των σφαλάτων. Στην παραπάνω σχέση το e εκφράζει το σφάλα (διαφορά) εταξύ της επιθυητής εξόδου d (t) και της πραγατικής εξόδου y (t) για το ζεύγος. Το πρόβληα άθησης (εκπαίδευσης) είναι τώρα : «Να επιλεγούν τα συναπτικά βάρη των νευρώνων έτσι ώστε να ελαχιστοποιηθεί το έσο τετραγωνικό σφάλα». 3.6 Μέθοδοι ελαχιστοποίησης του σφάλατος Στην εργασία του Bttt [3] παρουσιάζεται ια επισκόπηση των τεχνικών ελαχιστοποίησης του σφάλατος ε χρήση παραγώγων πρώτης και δεύτερης τάξης η οποίες εφαρόζονται στην εκπαίδευση των ΤΝ ε επίβλεψη: Η έθοδος έγιστης κλίσης (grdent descent ή stepest) και οι τροποποιήσεις της. Η έθοδος αυτή χαρακτηρίζεται από πολύ καλή απόδοση όταν οι αρχικές τιές του διανύσατος βαρών είναι ακριά από το ελάχιστο κάτι που ισχύει στις περισσότερες περιπτώσεις εκπαίδευσης ΤΝ. Ωστόσο η σύγκλισή της στην περιοχή του ελαχίστου χαρακτηρίζεται από εξαιρετική βραδύτητα. Σηαντικοί περιορισοί για τη χρήσης της εθόδου στα ΤΝ είναι η αδυναία της για εγγύηση σύγκλισης στο ολικό ελάχιστο καθώς και η χρήση σταθερού ήκους βήατος που πολλές φορές εποδίζει τη σύγκλιση ακόα και σε ένα τοπικό ελάχιστο. Επιπλέον η έθοδος δεν εγγυάται τη είωση της συνάρτησης σφάλατος σε κάθε επανάληψη του αλγορίθου άθησης. Η έθοδος συζυγών κλίσεων (conjugte grdent) και οι επεκτάσεις της. Η εκπαίδευση των ΤΝ σε πολλές εφαρογές απαιτεί την προσαρογή αρκετών εκατοντάδων ή ακόα χιλιάδων βαρών. Οι έθοδοι συζυγών κλίσεων πορούν να αντιετωπίσουν προβλήατα εγάλης κλίακας και να τεθούν σε εφαρογή σε υπολογιστές πολλαπλών επεξεργαστών. Αρκετοί αλγόριθοι άθησης βασιζόενοι σε αυτές τις εθόδους έχουν παρουσιαστεί ([4] [5] [6]) και τα αποτελέσατα δείχνουν αυξηένη ταχύτητα άθησης σε σχέση ε τις εθόδους έγιστης κλίσης. Ωστόσο χρησιοποιούν ευθύγραη ανίχνευση (lne serc) για τον καθορισό του κατάλληλου ήκους βήατος αυξάνοντας την υπολογιστική πολυπλοκότητα της διεργασίας άθησης ε αρκετούς υπολογισούς της
συνάρτησης του ολικού τετραγωνικού σφάλατος άθησης ή των παραγώγων της ενώ η απόδοσή τους εξαρτάται από την ακρίβεια της ευθύγραης ανίχνευσης. Χαρακτηριστικό των εθόδων είναι ότι δεν ακολουθούν πάντα κατευθύνσεις είωσης (descent drectons) του σφάλατος ε αποτέλεσα να εφανίζεται αριθητική αστάθεια. Επιπλέον αποτυγχάνουν όταν τα αρχικά βάρη είναι ακριά από το επιθυητό ελάχιστο (συνηθισένο φαινόενο στα ΤΝ ) εξαιτίας του ότι η Εσσιανή δεν είναι θετικά ορισένη σε διάφορες περιοχές του χώρου των βαρών. Η έθοδος του Newton. Η έθοδος Newton θεωρείται ως η βασικότερη έθοδος εύρεσης τοπικού ελαχίστου ε χρήση παραγώγων δεύτερης τάξης όταν οι αρχικές τιές του διανύσατος παραέτρων είναι κοντά στο ελάχιστο. Η χρήση της στα ΤΝ περιορίζεται από το γεγονός ότι απαιτεί γνώση της Εσσιανής αναλυτικός υπολογισός της οποίας είναι πολύπλοκος και κοπιώδης για ΤΝ ε περισσότερα από εκατό βάρη. Ακόα και στην περίπτωση που η Εσσιανή είναι διαθέσιη η αντιστροφή της παραένει ια χρονοβόρα διαδικασία που τις περισσότερες φορές επιβαρύνει τη διαδικασία εκπαίδευσης πιο πολύ από ερικές ακόα επαναλήψεις ιας απλούστερης εθόδου. Επιπλέον ειονεκτήατα αποτελούν η πολυπλοκότητά της ανά επανάληψη και η υπόθεση της θετικά ορισένης Εσσιανής διότι στα ΤΝ η Εσσιανή πορεί να είναι αρνητικά ορισένη να έχει ηδενική ορίζουσα (sngulr) ή ακόα να έχει εγάλο συντελεστή αστάθειας (ll-condtoned). 3.7 Επαναληπτική προσαρογή των βαρών ε χρήση της Μεθόδου Μέγιστης Κλίσεως Η εκπαίδευση ε επίβλεψη πορεί να ταυτιστεί ε το πρόβληα της ελαχιστοποίησης της συνάρτησης σφάλατος του ΤΝ η οποία θα συβολίζεται παρακάτω ε E rms θεωρείται συνεχής και παραγωγίσιη και εξαρτάται από q βάρη. Το ζητούενο είναι η εύρεση ενός w* τέτοιο ώστε: ( w) w * = mn Erms (3.7) W Η ελαχιστοποίηση της συνάρτησης σφάλατος E rms (w) ε q παραέτρους w απαιτεί ια ακολουθία { } =0 (όπου το δηλώνει επαναλήψεις) η οποία συγκλίνει σε ένα σηείο w* που ελαχιστοποιεί το σφάλα άθησης E rms (w). Η παρακάτω επαναληπτική σχέση που προτάθηκε από τον Goldsten το 96[3] χρησιοποιείται ευρέως για την προσαρογή των βαρών ενός ΤΝ :
w + = w + d = w E w ) (3.8) rms ( όπου: d είναι η κατεύθυνση ανίχνευσης (serc drecton) και α είναι το ήκος του βήατος το οποίο λαβάνεται έσω ονοδιάστατης ανίχνευσης και καθορίζει το ρυθό άθησης. Σηαντικό για όλους τους αλγόριθους άθησης είναι η κατεύθυνση ανίχνευσης d να είναι κατεύθυνση είωσης της συνάρτησης σφάλατος δηλαδή: rms( T d E w ) < 0 (3.9) ώστε η τιή της συνάρτησης σφάλατος να ειώνεται ακολουθώντας ένα ικρό βήα κατά ήκος της d. Η κατεύθυνση της εθόδου έγιστης κλίσης θεωρείται τοπικά ως η κατεύθυνση της ταχύτερης είωσης. Η απαίτηση αυτή σχετικά ε την κατεύθυνση ανίχνευσης αποτελεί και τη βάση της ανάπτυξης των αλγόριθων ευρείας σύγκλισης δηλαδή ε σύγκλιση σε ένα ελάχιστο από οποιαδήποτε αρχική συνθήκη και αποτελεί επιθυητό χαρακτηριστικό κάθε αλγόριθου άθησης. Είναι εφανές από τα παραπάνω ότι η ελαχιστοποίηση της συνάρτησης σφάλατος E rms (w) απαιτεί τον υπολογισό των ερικών παραγώγων (w ) της E rms (w) ως προς τα βάρη του ΤΝ. Εποένως είναι απαραίτητο η συνάρτηση σφάλατος να ικανοποιεί τις υποθέσεις για την ύπαρξη των παραγώγων πρώτης τάξης. Ασφαλώς αυτό περιορίζει τη ορφή της E rms (w) και καθιστά απαραίτητο οι νευρώνες του ΤΝ να ακολουθούν οντέλα που επιτρέπουν τον ορισό της παραγώγου για κάθε νευρώνα. Η δηοφιλέστερη τεχνική για τον αναλυτικό υπολογισό των ερικών παραγώγων της E rms (w) είναι ο αλγόριθος οπισθοδροικής διάδοσης του σφάλατος (bcpropgton). Η πρώτη προσέγγιση της τεχνικής αυτής οφείλεται στον Werbos[4] ενώ η ορφή που έγινε ευρέως γνωστή και καθιερώθηκε στο χώρο των ΤΝ οφείλεται στους Rumelrt et l. [5]. Η αναλυτική περιγραφή του αλγόριθου οπισθοδροικής διάδοσης του σφάλατος υπάρχει σε όλα τα βιβλία σχετικά ε ΤΝ και δε θα ας απασχολήσει εδώ. Ωστόσο θα πρέπει να σηειωθεί ότι στο 6ο κεφάλαιο θα περιγραφεί ένας αλγόριθος οπισθοδροικής διάδοσης του σφάλατος -προσαροσένος στις προδιαγραφές του προτεινόενου στην εργασία συστήατος - για τον υπολογισό των ερικών παραγώγων της E rms (w). Χρησιοποιώντας τον αλγόριθο οπισθοδροικής διάδοσης του σφάλατος πορούε να υπολογίσουε το σύνολο των q ερικών παραγώγων της συνάρτησης σφάλατος του δικτύου ως προς τα στοιχεία του διανύσατος w για ένα πρότυπο p. E rms
Επαναλαβάνοντας τους υπολογισούς για όλα τα πρότυπα p [ P] όπου P είναι το πλήθος των προτύπων που απαρτίζουν το σύνολο των παραδειγάτων προς άθηση καταλήγουε σε ένα q P πίνακα ερικών παραγώγων που χρησιοποιείται για την περίπτωση άθησης ανά οάδα προτύπων εισόδου. Όσον αφορά στο πρόβληα της επιλογής του ρυθού άθησης στο χώρο της εκπαίδευσης των ΤΝ στις εφαρογές οι χρήστες συνήθως επιλέγουν αυθαίρετα το ρυθό άθησης 0<α< καθώς σχετικά ικρές τιές βοηθούν στο να διατηρηθεί η ευστάθεια του αλγόριθου άθησης. Το ζήτηα της εύρεσης ενός κατάλληλου ρυθού άθησης ώστε η ακολουθία { } αποτελεί σηαντικό αντικείενο έρευνας στα ΤΝ. w να συγκλίνει σε ένα ελάχιστο w* της E rms =0 3.8 Πηγές δεδοένων και επεξεργασία νευρωνικών δικτύων Ένα επιτυχηένο νευρωνικό δίκτυο απαιτεί το σύνολο των δεδοένων εκπαίδευσης και τη συνάρτηση εκπαίδευσης να είναι αρκετά και κατάλληλα στο πρόβληα. Αυτό περιλαβάνει την κατασκευή των δεδοένων εκπαίδευσης έτσι ώστε να είναι αντιπροσωπευτικά για κάθε είδος σχεδίου-προτύπου το οποίο θα έχει να αναγνωρίζει το νευρωνικό δίκτυο. Επιπλέον το σύνολο των δεδοένων εκπαίδευσης θα πρέπει να συνδέσει τη συνολική έκταση των προτύπων εισόδου αρκετά καλά έτσι ώστε το εκπαιδευόενο δίκτυο να πορεί να γενικεύσει καλά σχετικά ε τα δεδοένα. Με στόχο να έχουε ικανότητες εξαγωγής συπεράσατος και παρεβολής τα νευρωνικά δίκτυα πρέπει να εκπαιδεύονται σε αρκετά εγάλο σύνολο δεδοένων εισόδου έτσι ώστε να γενικεύουν από τα σύνολα εκπαίδευσης τους. Αν και τα περισσότερα από όσα αναφέρονται ταιριάζουν ε νευρωνικά δίκτυα τα οποία χρησιοποιούν παραδείγατα ανάστροφης εκπαίδευσης πολλά από αυτά ταιριάζουν επίσης και σε άλλα λιγότερο συνηθισένα παραδείγατα νευρωνικών δικτύων. Όλα τα δεδοένα τα οποία ε οποιοδήποτε τρόπο σχετίζονται ε την εφαρογή θα πρέπει να ξεκαθαριστούν και να αφαιρεθούν από αυτά όλα όσα θεωρούνται αναξιόπιστα ή η πρακτικά για τεχνικούς ή οικονοικούς λόγους. Ο συνδυασός και/ή προεπεξεργασία των δεδοένων είναι πολύ ευεργετική σε σχέση ε το πόσο σηαντικά πορούν αυτά να γίνουν.
3.8. Η παρουσίαση δεδοένων Τα δεδοένα θα πρέπει να πορούν να αντιστραφούν σε ία άλλη φόρα για να είναι σηαντικά στο νευρωνικό δίκτυο. Ο τρόπος ε τον οποίο τα δεδοένα παρουσιάζονται και/ή εταφράζονται παίζει σηαντικό ρόλο στην ικανότητα του δικτύου να καταλάβει το πρόβληα και αυτό γιατί το δίκτυο πορεί να αθαίνει καλύτερα από ερικές παρουσιάσεις παρά από άλλες. Μερικά είδη δεδοένων είναι δύσκολο να τα χειριστεί κανείς.
Κεφάλαιο 4ο Νευρο-Ασαφή Συστήατα
4. Εισαγωγή Τα νευρο-ασαφή δίκτυα είναι ένας κλάδος που έχει αναπτυχθεί τα τελευταία χρόνια. Συνδυάζουν τις δύο τεχνολογίες που εξετάσαε σε προηγούενα κεφάλαια δηλαδή αυτές των νευρωνικών δικτύων και των ασαφών συστηάτων. Σκοπός τους είναι να εκεταλλευτούν τα πλεονεκτήατα της κάθε ίας και κυρίως την υπολογιστική δύναη των νευρωνικών δικτύων και την επικοινωνία υψηλού επιπέδου ε τον χρήστη έσω των γλωσσικών εταβλητών την οποία παρέχουν τα ασαφή συστήατα. Πιο συγκεκριένα τα νευρωνικά δίκτυα έχουν πολύ εγάλες δυνατότητες όσον αφορά στον χειρισό η επεξεργασένων πολυδιάστατων δεδοένων. Είναι όως δύσκολο έως αδύνατον να πει ο χρήστης στην λογική της επιλύσεως ενός προβλήατος από ένα νευρωνικό δίκτυο και αυτός είναι ο λόγος που τα δίκτυα αυτά ονοάζονται και αύρα κουτιά. Τα ασαφή συστήατα από την άλλη λειτουργούν σε πιο υψηλό επίπεδο χρησιοποιώντας κανόνες και οαδοποιώντας τα δεδοένα ανάλογα ε κάποιες ιδιότητες που έχουν. Αυτή τους η ιδιότητα τα καθιστά κατάλληλα στο να επικοινωνούν ε τον χρήστη ο οποίος πορεί εύκολα να τους εταβιβάσει τη γνώση που έχει για κάποιο πρόβληα αλλά και να ελέγχει ανά πάσα στιγή την λειτουργία τους. Τα συστήατα όως αυτά δεν έχουν την ικανότητα να αθαίνουν από δεδοένα οπότε είναι δύσκολο να χρησιοποιηθούν σε προβλήατα όπου ο χρήστης δεν ξέρει εκ των προτέρων την λύση υπό ορφή κανόνων. Από τα παραπάνω είναι προφανές ότι αυτές οι δύο τεχνολογίες αλληλοσυπληρώνονται αφού η ία καλύπτει τα κενά της άλλης. Όσον αφορά όως τον τρόπο που θα συνδυαστούν για να επιτευχθεί το επιθυητό αποτέλεσα έχουν διατυπωθεί διάφορες απόψεις και έχουν υλοποιηθεί διάφορα οντέλα που ανήκουν όως σε ία από τις τρεις κατηγορίες που παρατίθενται στην συνέχεια: Νευρο-ασαφή συστήατα: όπου τα νευρωνικά δίκτυα χρησιοποιούνται ώστε να δώσουν ικανότητες άθησης σε δεδοένα ασαφών συστηάτων. Ασαφή νευρωνικά δίκτυα: σε αυτήν την κατηγορία ανήκουν νευρωνικά δίκτυα στα οποία έχουν δοθεί ιδιότητες ασαφούς λογικής. Υβριδικά συστήατα: αυτή η κατηγορία περιλαβάνει συστήατα τα οποία αποτελούνται από ολοκληρωένα νευρωνικά και ασαφή συστήατα τα οποία συνεργάζονται εταξύ τους.
Κάθε ία από τις παραπάνω προσεγγίσεις παρουσιάζει τα δικά της πλεονεκτήατα και ειονεκτήατα. Τα νευρο-ασαφή συστήατα όως είναι εκείνη ε την οποία θα ασχοληθούε στην συνέχεια γιατί συνδυάζει αρονικά τις ικανότητες και των δύο τεχνολογιών κρατώντας όνο τα θετικά σηεία της κάθε ίας. Υπάρχει σηαντικός αριθός δηοσιεύσεων που ασχολείται ε την εκετάλλευση των αλγορίθων εκπαίδευσης Ν από ασαφή συστήατα. Τα προταθέντα στη διεθνή βιβλιογραφία νεύρο-ασαφή οντέλα συνδυάζουν τα πλεονεκτήατα των δύο αυτών συστηάτων. Η γρήγορη και ακριβής άθηση οι άριστες δυνατότητες γενίκευσης η ευκολία στην σηασιολογική κατανόηση των ασαφών κανόνων που χρησιοποιούν και η δυνατότητα που παρέχουν να χειρίζονται τόσο δεδοένα όσο και γνώση για το πρόβληα είναι ερικά όνο από τα χαρακτηριστικά τους που τα καθιστούν ιδανικά για εφαρογή σε πληθώρα επιστηονικών περιοχών. Έχει προταθεί εγάλος αριθός νευρο-ασαφών οντέλων τα οποία διαφέρουν εταξύ τους στην αρχιτεκτονική και στην ασαφή συλλογιστική διαδικασία που ακολουθούν (π.χ. χρήση Mmdm ή Tg-Sugeno συλλογιστική). Σ' αυτό το κεφάλαιο θα εξεταστεί το πιο χαρακτηριστικό παράδειγα νευρο-ασαφούς οντέλου που συναντάται στη βιβλιογραφία το (ANFIS) έσα από το οποίο και την διαδικασία άθησης που χρησιοποιεί θα δοθεί ια γενική ιδέα του πώς περίπου είναι οργανωένα τα νευρο-ασαφή συστήατα. Στο κεφάλαιο 6 θα προταθεί ένα νέο νευρο-ασαφές οντέλο που χαρακτηρίζεται από ια επαναληπτική δυναική δοή. 4. Εκπαίδευση στα Νευρο-Ασαφή Συστήατα Στα νευρο-ασαφή συστήατα η διαδικασία εκπαίδευσης χωρίζεται σε δύο τήατα: Στον προσδιορισό της δοής που περιλαβάνει την κατάλληλη τηατοποίηση των εισόδων τον προσδιορισό του αριθού και της ορφής των ασαφών κανόνων και Στον προσδιορισό των παραέτρων δηλαδή τους αλγόριθους που χρησιοποιούνται για την ρύθιση των ασαφών παραέτρων του δικτύου και των συναρτήσεων συετοχής. Υπάρχουν αρκετοί τρόποι ε τους οποίους τα δύο αυτά τήατα της διαδικασίας εκπαίδευσης πορούν να συνδυαστούν σε ένα νευρο-ασαφές σύστηα. Ο πιο συνηθισένος είναι η ακολουθιακή εφαρογή τους. Αρχικά εφαρόζεται ια προκαθορισένη έθοδος για την τηατοποίηση των διαστηάτων εισόδου. Το
αποτέλεσα αυτής της τηατοποίησης επηρεάζει σε πολύ εγάλο βαθό την συπεριφορά του συστήατος. Στην συνέχεια χρησιοποιούνται αλγόριθοι για την εύρεση των ασαφών κανόνων που καθορίζουν και τη δοή του συστήατος ενώ παράλληλα προσδιορίζονται και τα ασαφή βάρη. Αυτά τα ασαφή βάρη είναι οι παράετροι που καθορίζουν το σχήα των συναρτήσεων συετοχής που χρησιοποιούνται στα τήατα υπόθεσης και συπεράσατος των κανόνων καθώς επίσης και τα βάρη των τηάτων συπεράσατος των κανόνων. Τέλος τα βάρη ανανεώνονται έσω των αλγορίθων βελτιστοποίησης. Σε ερικές περιπτώσεις η δοή του οντέλου (ασαφείς κανόνες) ή οι παράετροι (συναρτήσεις συετοχής βάρη) καθορίζονται από ειδικούς(eperts). Αν συβαίνει κάτι τέτοιο χρησιοποιούνται όνο αλγόριθοι βελτιστοποίησης ή δοική άθηση αντίστοιχα. Η αναγνώριση και εν συνεχεία η εξαγωγή των ασαφών κανόνων έσα από ένα σύνολο δεδοένων είναι ένα από τα σηαντικότερα προβλήατα που συναντώνται κατά το σχεδιασό ενός ασαφούς συστήατος συλλογισού. Ακριβείς κανόνες οδηγούν σε γρήγορες και πάνω απ' όλα αξιόπιστες διαδικασίες άθησης. Η εξαγωγή ασαφών κανόνων από αριθητικά δεδοένα αποτελείται από δύο διακριτές διαδικασίες. Αρχικά γίνεται ια διαέριση του χώρου εισόδου ή/και εξόδου και στη συνέχεια αντιστοιχούε έναν ασαφή κανόνα για κάθε ασαφή υποχώρο. Το πρόβληα αυτό θα το αντιετωπίσουε για το οντέλο ας αναλυτικά στο επόενο κεφάλαιο. Αν υποθέσουε ότι έχουε τους ασαφείς κανόνες που οντελοποιούν το σύστηα και έχουε πάρει την αντίστοιχη δοή το νευρο-ασαφές οντέλο χρησιοποιεί αλγόριθους εκπαίδευσης(βελτιστοποίησης) των παραέτρων όοιους ε αυτούς που παρουσιάστηκαν στην εκπαίδευση νευρωνικών δικτύων για τη σωστή προσαρογή των βαρών και των συναρτήσεων συετοχής. Και εδώ όπως και στα Ν στόχος είναι η ελαχιστοποίηση ιας συνάρτησης σφάλατος. 4.3 Χαρτογράφηση των ασαφών περιοχών του διαστήατος εισόδου σε ένα νευρο-ασαφές σύστηα Τόσο τα ασαφή όσο και τα νευρο-ασαφή συστήατα αντιστοιχούν τις ασαφείς περιοχές του διαστήατος εισόδου σε ασαφείς περιοχές του διαστήατος εξόδου. Αυτή η αντιστοίχιση ολοκληρώνεται έσω των ασαφών κανόνων του συστήατος. Οι ασαφείς περιοχές του διαστήατος εισόδου καθορίζονται κατά την διαδικασία προσδιορισού της δοής σύφωνα ε ια συγκεκριένη έθοδο τηατοποίησης.
Οι πιο συνηθισένες έθοδοι τηατοποίησης που χρησιοποιούνται από τα νευρο-ασαφή συστήατα και που συναντώνται στη βιβλιογραφία είναι: Το ασαφές πλέγα (fuzzy grd)(σχήα 4.) το δυναικό ασαφές πλέγα (dptve fuzzy grd) (Σχήα 4.b) τα ασαφή κουτιά (fuzzy boes) (Σχήα 4.c) και οι ασαφείς clusters(σχήα 4.d). Αυτές οι έθοδοι παρουσιάζονται στο Σχήα 4.. Σχήα 4. Μέθοδοι τηατοποίησης των εισόδων Σε ένα Ασαφές Πλέγα (Σχήα 4.) έχουε ια σταθερή τηατοποίηση στην οποία δεν επιτρέπεται οποιαδήποτε ρύθιση των συναρτήσεων συετοχής. Κατά την φάση της εκπαίδευσης αλλάζουν όνο τα ασαφή βάρη του τήατος συπεράσατος και όχι οι παράετροι των συναρτήσεων συετοχής. Σε ένα υναικό Ασαφές Πλέγα κατά την φάση της εκπαίδευσης αλλάζουν αζί ε τα ασαφή βάρη του τήατος συπεράσατος και οι παράετροι των συναρτήσεων συετοχής. Το αποτέλεσα είναι να έχουε τηατοποιήσεις σαν αυτή του Σχήατος 4.b. Οι έθοδοι τηατοποίησης Ασαφούς Πλέγατος (σταθερή ή δυναική) είναι απλές και διαισθητικές. Εντούτοις καθώς αυξάνεται ο αριθός των εταβλητών εισόδου αυξάνεται αναλόγως και ο αριθός των τηάτων ε αποτέλεσα να δηιουργείται το πρόβληα της διαστατικότητας (dmensonlty problem). Άλλες έθοδοι τηατοποίησης που παρουσιάζονται στα Σχήατα 4.c και 4.d περιλαβάνουν τις τηατοποιήσεις Ασαφούς Κουτιού και Ασαφούς Cluster αντίστοιχα. Η τηατοποίηση Ασαφούς Κουτιού εφανίζεται σε συστήατα (π.χ. στο FSOM[0]) στα οποία τα διαστήατα που θα τηατοποιηθούν αυτό-οργανώνονται ε ια ασαφή διαδικασία. Η τηατοποίηση Ασαφούς Cluster παράγεται από νευρωνικά δίκτυα[]. Οι δύο τελευταίες έθοδοι τηατοποίησης δεν αποτελούν αντικείενο ανάλυσης για την παρούσα διπλωατική εργασία. Η διαδικασία τηατοποίησης του χώρου είναι κρίσιης σηασίας για το νευροασαφές σύστηα όσον αφορά την απόδοση του σε σχέση ε τα επιθυητά χαρακτηριστικά του. Σε αυτή την εργασία προτείνεται η χρήση επαναληπτικών εθόδων τηατοποίησης του χώρου εισόδων ε συνέπεια ια νέα κατηγορία νευρο-ασαφών συστηάτων τα ιεραρχικά τετραδικής δεντροειδούς ορφής νευρο-
ασαφή (errccl neuro-fuzzy qudtree) συστήατα τα οποία ανταποκρίνονται ε ικανοποιητικό τρόπο στην αντιετώπιση δύο από τις κυριότερες αδυναίες των παραδοσιακών νευρο-ασαφών συστηάτων: την προσκόλληση σε ια η δυναική δοή και την αδυναία σωστής συπεριφοράς σε εγάλο αριθό εισόδων. Στο εξής χάριν ευκολίας και ακρίβειας τα συστήατα θα ονοάζονται ως ιεραρχικά qudtree νευρο-ασαφή συστήατα. Η qudtree τηατοποίηση επνεύστηκε από τις qudtree δοές που προτάθηκαν από τους Fnel και Bentley. Στο νευρο-ασαφές οντέλο της παρούσας διπλωατικής εργασίας θα χρησιοποιηθεί ια επαναληπτική έθοδος τηατοποίησης του χώρου εισόδων. Για αυτό τον λόγο το επόενο κεφάλαιο θα είναι αφιερωένο στην περιγραφή των πιο κοινών επαναληπτικών εθόδων τηατοποίησης και των αντιπροσωπεύσεων τους. Προηγουένως όως στο υπόλοιπο του κεφαλαίου θα παρουσιαστεί το νευροασαφές σύστηα ANFIS σε συντοία. Θα εξεταστεί όνο η αρχιτεκτονική του και θα γίνει αναφορά στον τρόπο εκπαίδευσης του χωρίς όως να γίνει αναλυτική παρουσίαση των εξισώσεων ανανέωσης των βαρών. Για λόγους οοιοορφίας η είσοδος ενός κόβου του στρώατος l θα συβολίζεται ε (l ) και η αντίστοιχη έξοδος ε (l ) s. Η τελική έξοδος του δικτύου θα συβολίζεται και ε y. 4.4 ANFIS : Adptve Neuro-Fuzzy Inference System Το σύστηα ANFIS (Adptve Neuro-Fuzzy Inference System)([] [4]) είναι ένα από τα πρώτα που προτάθηκαν και επνευστής του είναι ο J.S. Jng. Κύριο χαρακτηριστικό του είναι ότι χρησιοποιεί ασαφή συλλογιστική Tg-Sugeno. Παραένει ακόα και σήερα ένα από τα πλέον αποδοτικά και αξιόπιστα νευροασαφή συστήατα και βρίσκει εφαρογές σε πληθώρα περιοχών. 4.4. Αρχιτεκτονική Συστήατος ANFIS Για λόγους ευκολίας θεωρείται ότι το σύστηα έχει δύο όνο εισόδους X y και ια έξοδο z. Ακόα θεωρείται ότι αντιστοιχεί σε ένα πρώτης τάξης σύστηα ασαφούς συλλογιστικής Sugeno ε δύο όνο κανόνες της ορφής: Κανόνας : Κανόνας : ΕΑΝ είναι Α και y είναι Β ΤΟΤΕ f =p +q y+r ΕΑΝ είναι Α και y είναι Β ΤΟΤΕ f =p +q y+r Στο παρακάτω σχήα φαίνεται η αρχιτεκτονική του οντέλου ANFIS που αντιστοιχεί στο σύστηα ασαφούς συλλογιστικής το οποίο όλις περιγράφηκε.
Σχήα 4. Το Σύστηα ANFIS Το ANFIS αποτελείται από πέντε στρώατα. Ακολουθεί η περιγραφή των κόβων του δικτύου και οι εξισώσεις εξόδου και/ή στρώατος. Στρώα : Κάθε κόβος δέχεται σαν είσοδο τις εταβλητές y και έχει συνάρτηση ενεργοποίησης: s ( l ) = ( ) = (4.) Α s = ( ) = 3 4 (4.) ( l ) B όπου Α j Β j γλωσσικές εταβλητές που αντιστοιχούν σ' αυτό τον κόβο ε αντίστοιχες συναρτήσεις συετοχής ( ). Ουσιαστικά δηλαδή οι έξοδοι αυτού του στρώατος ( ) Α j B j ( ) s είναι ο βαθός συετοχής σε κάποιο ασαφές σύνολο και καθορίζει το βαθό στον οποίο η εκάστοτε είσοδος ικανοποιεί το δεδοένο του αντίστοιχου κανόνα. Η συνάρτηση συετοχής πορεί να πάρει διάφορες ορφές. Κατά την εκπαίδευση οι παράετροι της συνάρτησης αυτής προσαρόζονται. Στρώα : Γενικά περιλαβάνει n κόβους όπου n ο αριθός των κανόνων. Κάθε κόβος αυτού του στρώατος (κόβοι Π) δίνει σαν έξοδο το γινόενο όλων των εισόδων του. s ( ) ( y) ( ) = w = A B = (4.3) Οι συνθέσεις ανάεσα στα δύο πρώτα στρώατα γίνεται ε βάση τους ασαφείς κανόνες στους οποίους βασίζεται το ANFIS. Οι έξοδοι του δεύτερου επιπέδου αντιστοιχούν στο βαθό ενεργοποίησης ασαφών κανόνων. Αντί για το γινόενο θα πορούσε να χρησιοποιηθεί οποιοσδήποτε σύετρο-t τελεστής.
Στρώα 3: Είναι όσοι και οι κόβοι του δεύτερου στρώατος. Οι κόβοι αυτοί που ονοάζονται κόβοι N υπολογίζουν το κλάσα ανάεσα στο βαθό ενεργοποίησης του κανόνα στον οποίο αντιστοιχούν ως προς το άθροισα των βαθών ενεργοποίησης όλων των κανόνων. s ( 3) w = w = = (4.4) w + w Στρώα 4:Κάθε κόβος του επιπέδου αυτού δίνει έξοδο: ( 4) s = w f = w ( p + q y+ r ) = (4.5) όπου w ο κανονικοποιηένος βαθός ενεργοποίησης του κανόνα (έξοδος τρίτου στρώατος) και { q r } p οι παράετροι του κόβου που ανανεώνονται κατά την διαδικασία εκπαίδευσης. Στρώα 5: Ο οναδικός κόβος σ' αυτό το επίπεδο ονοάζεται κόβος Σ και υπολογίζει τη συνολική έξοδο του νευρο-ασαφούς συστήατος ANFIS: y= s ( 5) = w f = w w f (4.6) Πρόκειται για ένα δίκτυο ε προσαροζόενες παραέτρους το οποίο είναι ισοδύναο ε ένα σύστηα ασαφούς συλλογιστικής Sugeno. 4.4. Αλγόριθος Εκπαίδευσης Συστήατος ANFIS Όπως είδαε οι παράετροι του ANFIS που πορούν να εταβληθούν κατά τη άθηση είναι οι παράετροι των η γραικών κόβων του πρώτου στρώατος και οι παράετροι των γραικών κόβων του τέταρτου επιπέδου. Αν S το σύνολο των παραέτρων τότε: S = S S (4.7) όπου S το σύνολο των η γραικών και S το σύνολο των γραικών παραέτρων. Για την εκπαίδευση του δικτύου χρησιοποιούε έναν υβριδικό αλγόριθο ο οποίος χωρίζεται σε δύο έρη και χοντρικά λειτουργεί ως εξής: ιάδοση προς τα επρός: Οι η γραικοί παράετροι παραένουν σταθεροί και το δίκτυο παράγει εξόδους έχρι το τέταρτο στρώα όπου οι γραικοί παράετροι προσδιορίζονται από την έθοδο των ελαχίστων τετραγώνων.
ιάδοση προς τα πίσω: Τα σήατα σφάλατος (η διαφορά της πραγατικής από την επιθυητή έξοδο) ιαδίδονται προς τα πίσω χωρίς αλλαγή των γραικών παραέτρων. Οι η γραικές ανανεώνονται ε βάση τον αλγόριθο της έγιστης κλίσης ε τον τρόπο που περιγράφηκε στο 3ο κεφάλαιο. Το ANFIS συγκλίνει γρηγορότερα από τα συνηθισένα νευρωνικά δίκτυα. Εκτός αυτού πορούε να εκφράσουε ε γλωσσικούς όρους τους ασαφείς κανόνες στους οποίους κατέληξε και χρησιοποιεί για την εξαγωγή συπερασάτων. Αυτό θυίζουε ότι δεν συβαίνει ε τα ΤΝ τα οποία έχουν τη λογική του αύρου κουτιού και δεν πορούε να αποκωδικοποιήσουε την πληροφορία που βρίσκεται κρυένη έσα στα συναπτικά βάρη.
Κεφάλαιο 5ο Επαναληπτική Τηατοποίηση
5. Μορφές Τηατοποίησης Στο παρόν κεφάλαιο βασικά θα εξεταστούν δύο ορφές επαναληπτικών τηατοποιήσεων του χώρου εισόδων για την ιεραρχική προσέγγιση του νευροασαφούς συστήατος ας: η BSP (bnry spce prttonng) τηατοποίηση (δυαδική τηατοποίηση) [7] και η qudtree τηατοποίηση (τετραδική τηατοποίηση) [8] Τέτοιες ορφές τηατοποίησης του χώρου θεωρούνται επαναληπτικές επειδή χρησιοποιούν επαναληπτικές διαδικασίες από την δηιουργία τους. Αυτές οι ορφές τηατοποίησης έχουν επιλεχθεί προκειένου να διατηρηθεί η ανεξαρτησία και η βαρύτητα των χαρακτηριστικών γνωρισάτων της/των εισόδου/ων στοιχεία τα οποία θεωρούνται θεελιώδη προκειένου να επιτευχθεί η ερηνευσιότητα (nterpretblty). Στις παρακάτω ενότητες εισάγεται ε σύντοο τρόπο η BSP τηατοποίηση και περιγράφεται ε λεπτοέρειες η qudtree τηατοποίηση [9] πάνω στην οποία είναι βασισένη αυτή η εργασία. 5. BSP τηατοποίηση Σε αυτόν τον τύπο τηατοποίησης το διάστηα διαιρείται διαδοχικά σε δύο περιοχές ε ια επαναληπτική διαδικασία. Αυτή η τηατοποίηση πορεί να αντιπροσωπευθεί από ένα δυαδικό δέντρο το οποίο περιγράφει τις διαδοχικές διαιρέσεις του χώρου εισόδων σε δύο υποχώρους. Η κατασκευή αυτού του δέντρου τηατοποίησης είναι ια διαδικασία στην οποία ο υποχώρος διαιρείται ε τέτοιο τρόπο ώστε οι δύο νέοι υποχώροι να είναι παράλληλοι ε τους άξονες των συντεταγένων. Αυτή η διαδικασία οδηγεί σε δύο νέους υποχώρους που πορούν να χωριστούν αργότερα ε την ίδια έθοδο. Στο Σχήα 5. παρουσιάζεται ένα BSP δέντρο για πρόβληα ε δύο εισόδους και φαίνεται η αντίστοιχη BSP τηατοποίηση του χώρου των δύο διαστάσεων.
Σχήα 5. BSP τηατοποίηση 5.3 Qudtree τηατοποίηση Σε αυτή την τηατοποίηση ο χώρος των εισόδων για τις οποίες τίθεται ο περιορισός πως θα πρέπει να είναι ακριβώς δύο υποδιαιρείται διαδοχικά σε τεταρτηόρια που στη συνέχεια πορούν να υποδιαιρεθούν πάλι σε τέσσερις περιοχές σε ια επαναληπτική διαδικασία. Στην παραπάνω διαδικασία ο χώρος διαιρείται σε τέσσερις υποχώρους έτσι ώστε οι τέσσερις νέοι υποχώροι να είναι παράλληλοι ε τους άξονες των συντεταγένων. Σχήα 5. Qudtree τηατοποίηση Στο Σχήα 5. παριστάνεται αυτός ο τύπος τηατοποίησης για ένα δισδιάστατο χώρο εισόδων και το Σχήα 5.b δείχνει την δενδροειδή αντιπροσώπευση ιας qudtree τηατοποίησης[8]. Ο προσδιορισός των τηάτων που παρουσιάζονται σε αυτό το σχήα ακολουθεί ια διαφορετική σύβαση από αυτήν που εφαρόζεται συνήθως για την αντιπροσώπευση των τηάτων σε ια qudtree τηατοποίηση. Στα σχήατα 5.3 και 5.3b παρουσιάζονται αυτές οι δύο ορφές σχεδίασης.
Σχήα 5.3 () Συβατικός τρόπος αρίθησης για ια τηατοποίηση σε τεταρτηόρια (b) όπως θα προταθεί στην παρούσα εργασία Η παραδοσιακή σύβαση χρησιοποιεί τις κατευθύνσεις NW (βόρειο-δυτικά) NE (βόρειο-ανατολικά) SW (νότιο-δυτικά) και SE (νότιο-ανατολικά) της Ναυτικής Πυξίδας για να ονοάσει το κάθε τεταρτηόριο. Αντιθέτως η σύβαση που χρησιοποιείται σε αυτήν την εργασία συνδέεται ε ια δυαδική αρίθηση που εξηγείται παρακάτω. Τεταρτηόριο ( ) ( 4 ) = 00 + Χαηλός βαθός συετοχής (0) Χαηλός βαθός συετοχής (0) = 0 + Χαηλός βαθός συετοχής (0) Υψηλός βαθός συετοχής () 3 = 0 + Υψηλός βαθός συετοχής () Χαηλός βαθός συετοχής (0) 4 = + Υψηλός βαθός συετοχής () Υψηλός βαθός συετοχής () Πίνακας 5. Σχέση ανάεσα στην αρίθηση των τεταρτηορίων και τις τιές των και 4 Για την περιγραφή της εταβλητής δηιουργούνται τα ασαφή σύνολα (χαηλό) και (υψηλό) ενώ για την περιγραφή της εταβλητής δηιουργούνται τα ασαφή σύνολα (χαηλό) και (υψηλό). Ο Πίνακας 5. δείχνει τη σχέση ανάεσα στην αρίθηση που υιοθετείται για την ονοασία των τεταρτηορίων και τις περιοχές όπου οι συναρτήσεις συετοχής υψηλές ( και 4 ) παίρνουν τον ελάχιστο ή τον έγιστο βαθό συετοχής. Στο Σχήα 5.4 φαίνεται η ορφή και αναλυτικές εκφράσεις των συναρτήσεων συετοχής υψηλή και χαηλή οι οποίες διαιρούν τον χώρο εισόδου που παράγεται από τις εταβλητές και. Οι αναλυτική περιγραφή των υψηλή και χαηλή συναρτήσεων συετοχής γίνεται έσω ιας σιγοειδούς συνάρτησης και του συπληρώατος της ως προς αντίστοιχα.
Σχήα 5.4 () Τα 3 (χαηλό) και 4 (υψηλό) ασαφή σύνολα (b) η διαίρεση σε 4 τεταρτηόρια που πραγατοποιείται από την σιγοειδή συνάρτηση συετοχής Όπως αναφέρθηκε και στο κεφάλαιο οι σταθερές α και b καθορίζουν αντίστοιχα τη κλίση της συνάρτησης συετοχής του ασαφούς συνόλου και το έσο σηείο της ετάβασης εταξύ των τιών ηδέν και ενός. Για την αντιπροσώπευση των συναρτήσεων συετοχής θα πορούσαν να χρησιοποιηθούν και άλλες εκτός της σιγοειδούς συναρτήσεις π.χ. τριγωνική συνάρτηση. Στην παρούσα εργασία χρησιοποιείται η σιγοειδής συνάρτηση λόγω της απλής ορφής της. Στο Σχήα 5.4b περιγράφεται σχηατικά πώς οι τέσσερις συναρτήσεις συετοχής ( 3 και 4 ) διαιρούν τον χώρο σε 4 τεταρτηόρια ε ασαφή όρια. Η qudtree τηατοποίηση πορεί να είναι σταθερή (καθορισένη) ή προσαροστική. Στην πρώτη περίπτωση θα πρέπει να ρυθίζονται κατά την φάση της εκπαίδευσης όνο οι παράετροι (ασαφή βάρη) που βρίσκονται στο έλος του συπεράσατος. Στην δεύτερη περίπτωση κατά την φάση της εκπαίδευσης θα πρέπει να ρυθίζονται αζί ε τα ασαφή βάρη και οι παράετροι α και b των συναρτήσεων συετοχής. Σχήα 5.5 υναική qudtree τηατοποίηση
Στο Σχήα 5.5 φαίνεται ια δυναική qudtree τηατοποίηση όπου τα όρια των τηάτων ρυθίζονται κατά τη φάση της εκπαίδευσης του νευρο-ασαφούς συστήατος. Σε αυτήν την περίπτωση οι περιοχές που παράγονται σε κάθε υποδιαίρεση έχουν το σχήα ορθογωνίων και όχι τετραγώνων όπως στη περίπτωση σταθερής qudtree τηατοποίησης.
Κεφάλαιο 6ο Ιεραρχικό Νευρο-ασαφές qudtree (HNFQ) οντέλο
6. Ιεραρχικό Νευρο-ασαφές qudtree (HNFQ) οντέλο Το HNFQ(Herrccl neuro-fuzzy qudtree) οντέλο το οποίο αποτελεί και το αντικείενο ελέτης της παρούσας διπλωατικής εργασίας προτάθηκε από τους Velsco Joqum de Souz και Pceco[9]. Είναι ένα επαναληπτικό νευρο-ασαφές σύστηα ε δυναική δοή. Η δοή του έχει την δυνατότητα να εξελίσσεται προκειένου να αυξηθεί η ακρίβεια. Το οντέλο όπως παρουσιάστηκε από τους Velsco Joqum de Souz και Pceco χρησιοποιεί qudtree τηατοποίηση του χώρου εισόδων η οποία περιγράφηκε στο προηγούενο κεφάλαιο. Το γεγονός ότι χρησιοποιείται qudtree τηατοποίηση του χώρου εισόδων προϋποθέτει την ύπαρξη όνο δύο εισόδων για το σύστηα (Κεφάλαιο 5). Οι Velsco Joqum de Souz & Pceco προσπάθησαν αν αναπτύξουν το οντέλο και για περισσότερες των δύο εισόδων. Η οντελοποίηση όως που πρότειναν κρίνεται η αποδεκτή από τον υποφαινόενο και δεν θα χρησιοποιηθεί στην παρούσα εργασία. Προκειένου να αντιετωπιστεί το πρόβληα των πολλών εισόδων δηλαδή το πρόβληα της διαστατικότητας(dmensonlty problem) θα γίνει χρήση ύστερα από υπόδειξη του επιβλέποντα καθηγητή κ. Θεοχάρη ιας εθόδου κατά την οποία δίνεται ένας βαθός σηαντικότητας σε κάθε είσοδο[6] και στην συνέχεια εφαρόζονται οι βαθονοηένες πλέον είσοδοι ε ακολουθιακό τρόπο στο HNFQ σύστηα. Η έθοδος αυτή περιγράφεται αναλυτικά στο κεφάλαιο 7. Με αυτό τον τρόπο το οντέλο ανταποκρίνεται στις περιπτώσεις πολλών εισόδων και εποένως όπως θα φανεί κεφάλαιο 7 πορεί να αντιετωπιστεί σε ικανοποιητικό βαθό το πρόβληα της διαστατικότητας. Στο HNFQ οντέλο οι νέοι κανόνες παράγονται ε αυτοατοποιηένο τρόπο κάθε φορά που συβαίνει ια νέα τηατοποίηση. Η εκθετική αύξηση του αριθού των κανόνων ετά από κάθε τηατοποίηση ελαχιστοποιείται ε ια έθοδο επιλογής που χρησιοποιεί όνο εκείνες τις περιοχές του χώρου εισόδων οι οποίες κρίνονται ανεπαρκείς και για τις οποίες είναι απαραίτητη ια αύξηση στην ακρίβεια. Και οι δύο τύποι επαναληπτικής τηατοποίησης η qudtree και η BSP που περιγράφηκαν στο προηγούενο κεφάλαιο πορούν να χρησιοποιηθούν για να επιτευχθεί αυτή η συπεριφορά. Η χρήση του όρου ιεραρχικό γίνεται για να δηλωθεί πως στο συγκεκριένο οντέλο ύστερα από κάθε τηατοποίηση του χώρου δηιουργούνται ένα ή περισσότερα υποσυστήατα τα οποία αν εξεταστούν εονωένα είναι οντέλα ε την ίδια δοή ε το αρχικό οντέλο (αναδροικότητα).
Το οντέλο που εξετάζεται επνεύστηκε από το ασαφές σύστηα της ορφής Tg-Sugeno[][0] στο οποίο (όπως αναλύθηκε και στο κεφάλαιο ) ένας ασαφής κανόνας π.χ. ε δύο εισόδους θα έχει την παρακάτω ορφή: ( ) f (6.) nd ten y= f Συνήθως η συνάρτηση f ( ) είναι ένας πραγατικός αριθός (sngleton) ή εισόδων ( + + ). Στο HNFQ ένας γραικός συνδυασός των και 3 οντέλο η συνάρτηση στο τήα συπεράσατος του κανόνα πορεί να πάρει διάφορες ορφές: ένα νευρο-ασαφές σύστηα του ίδιου τύπου έναν πραγατικό αριθό ένα γραικό συνδυασό των εισόδων ή ένα ασαφές σύνολο ιας συγκεκριένης ορφής. Στην παρούσα εργασία η συνάρτηση στο τήα συπεράσατος θα είναι ένα νευρο-ασαφές σύστηα του ίδιου τύπου ή ένας πραγατικό αριθός. Όταν στο τήα συπεράσατος του κανόνα η συνάρτηση είναι ένα νευροασαφές σύστηα του ίδιου τύπου θα συβαίνει ια τηατοποίηση του χώρου εισόδων. Βλέποντάς το από την αντίθετη όψη θα πορούσε να ειπωθεί πως όταν υπάρχει τηατοποίηση του χώρου εισόδων ουσιαστικά στο τήα συπεράσατος του κανόνα η συνάρτηση περιγράφεται από ένα νευρο-ασαφές σύστηα. Για να πραγατοποιηθεί ια τηατοποίηση σε ια τέτοια αρχιτεκτονική χρησιοποιείται ένα ικρο-σύστηα το οποίο θα ονοαστεί νευρο-ασαφή qudtree ονάδα (HNFQ ονάδα) (Σχήα 6.α). Αυτή η ονάδα θα περιγραφεί λεπτοερώς στην επόενη ενότητα. 6. Νευρο-ασαφής qudtree ονάδα Ένα HNFQ οντέλο αποτελεί σύνθεση ενός ή περισσοτέρων συγκεκριένων ονάδων τα οποία ονοάζονται νευρο-ασαφείς qudtree ονάδες. Ένα HNFQ οντέλο αποτελείται από ορισένα επίπεδα ταξινοηένα ε ιεραρχικό τρόπο. Η ονάδα στο υψηλότερο επίπεδο της ιεραρχίας (το πρώτο επίπεδο) παράγει την έξοδο του συστήατος ενώ οι ονάδες στο χαηλότερο επίπεδο της ιεραρχίας συπεριφέρονται σαν τήατα συπεράσατος των ασαφών κανόνων που χρησιοποιούν οι ονάδες υψηλότερων επιπέδων. ηλαδή οι ενδιάεσες ονάδες καθώς και η ονάδα εξόδου του οντέλου έχουν σαν τήατα συπεράσατος τις εξόδους των ονάδων που βρίσκονται ένα επίπεδο πιο κάτω στην ιεραρχία. Στην επόενη ενότητα θα παρουσιαστεί ένα παράδειγα του οντέλου.
Σχήα 6. (α) HNFQ ονάδα (β) Απλοποιηένο ιάγραα Μια HNFQ ονάδα είναι ένα νευρο-ασαφές ικροσύστηα που εκτελεί ια qudtree τηατοποίηση σε ένα συγκεκριένο τήα του χώρου εισόδων σύφωνα ε τους ασαφείς κανόνες που περιγράφονται στο κεφάλαιο 5 και παράγει ετά από ια διαδικασία από-ασαφοποίησης ια έξοδο ε τρόπο που θα παρουσιαστεί παρακάτω. Στο Σχήα 6.α παρουσιάζεται αναλυτικά ια HNFQ ονάδα και στο Σχήα 6.β φαίνεται το απλουστευένο διάγραά της. Η γλωσσική ερηνεία της λειτουργίας ιας HNFQ ονάδας όπως φαίνεται και στο Σχήα 6.α δίνεται από το ακόλουθο σύνολο κανόνων: f nd 3 ten y= d ΚΑΝΟΝΑΣ f nd ten y d 4 = ΚΑΝΟΝΑΣ f nd 3 ten y= d3 ΚΑΝΟΝΑΣ f nd ten y d 4 = 4 ΚΑΝΟΝΑΣ 3 4 (6.) όπου: είναι οι συναρτήσεις συετοχής των ασαφών συνόλων που χρησιοποιούνται για την περιγραφή της εισόδου και 3 4 είναι οι συναρτήσεις συετοχής των ασαφών συνόλων που χρησιοποιούνται για την περιγραφή της εισόδου. Κάθε κανόνας αντιστοιχεί σε ένα από τα τεταρτηόρια του Σχήατος 5.3b. Όταν οι είσοδοι πέφτουν στο τεταρτηόριο τότε ο κανόνας θα έχει το εγαλύτερο βαθό ενεργοποίησης (frng level). Όταν οι είσοδοι πέφτουν στο τεταρτηόριο τότε ο κανόνας θα έχει το εγαλύτερο βαθό ενεργοποίησης. Όταν οι είσοδοι πέφτουν στο τεταρτηόριο 3 τότε ο κανόνας 3 θα έχει το εγαλύτερο βαθό
ενεργοποίησης και τέλος όταν οι είσοδοι πέφτουν στο τεταρτηόριο 4 τότε ο κανόνας 4 θα έχει το εγαλύτερο βαθό ενεργοποίησης. Στη συνέχεια αν κάποιο/α από τα τεταρτηόρια δεν δίνει την επιθυητή ακρίβεια/συπεριφορά πορεί να υποδιαιρεθεί ε αυτόατη διαδικασία σε τέσσερα τήατα έσω ιας άλλης HNFQ ονάδας. Με την ίδια διαδικασία που περιγράφηκε στο κεφάλαιο στην HNFQ ονάδα:. Οι είσοδοι και ασαφοποιούνται έσω των συναρτήσεων συετοχής αντίστοιχα και υπολογίζονται οι τιές ( ) ( ) ( ) ( ) και 4 3. 3 4 Σαν συναρτήσεις συετοχής χρησιοποιούνται σιγοειδείς συναρτήσεις για τις και 4 και οι συπληρωατικές τους ως προς ( () ) Γίνεται δηλαδή χρήση των παρακάτω σχέσεων: για τις και 3. ( ) = ( ( b )) (6.3) + e ( ) = ( ) (6.4) 4( ) = ( ( b)) (6.5) + e 3( ) = 4( ) (6.6). Στους τέσσερις κανόνες που περιγράφηκαν παραπάνω στο τήα της υπόθεσης υπάρχει ο τελεστής AND ο οποίος για ία HNFQ ονάδα χρησιοποιείται ως γινόενο(product) των ασαφών συνόλων των τηάτων υπόθεσης. Εποένως οι βαθοί ενεργοποίησης για τους τέσσερις κανόνες θα είναι: ( ) ( ) = (6.7) 3 ( ) ( ) = (6.8) 4 ( ) ( ) = (6.9) 3 3 ( ) ( ) = (6.0) 4 4 3. Επιλέγεται η έθοδος κέντρου βάρους (COG) ως έθοδος από-ασαφοποίησης του συστήατος. Η έξοδος εποένως της HNFQ ονάδας θα δίνεται από τον τύπο: 4 = d y = 4 (6.) =
όπου d αντιστοιχεί σε ία πραγατική τιή σε ένα γραικό συνδυασό των εισόδων ή σε ια έξοδο ιας HNFQ ονάδας ενός προηγουένου (χαηλότερου στην ιεραρχία) επιπέδου. Όπως αναφέρθηκε προηγουένως οι και 3 συναρτήσεις συετοχής είναι συπληρωατικές ως προς των και 4 αντίστοιχα. Η χρήση του συπληρώατος ως προς απλοποιεί πολύ την διαδικασία από-ασαφοποίησης που εκτελείται ε την έθοδο κέντρου βάρους (Εξίσωση 6.) δεδοένου ότι στην Εξίσωση 6. το άθροισα του παρονοαστή είναι ίσο ε για οποιαδήποτε τιή των και δηλαδή: 4 = Εποένως η Εξίσωση 6. απλοποιείται στην: = (6.) 4 y = d (6.3) = Η παραπάνω εξίσωση περιγράφει την έξοδο της νευρο-ασαφούς HNFQ ονάδας. Αυτή η σχέση θα χρησιοποιηθεί για την εξαγωγή των εξισώσεων που απαιτούνται στην έθοδο εκπαίδευσης των παραέτρων ε σκοπό να αυξηθεί η ακρίβεια/αξιοπιστία του οντέλου. 6.3 HNFQ αρχιτεκτονική Τα HNFQ οντέλα χτίζονται από τη διασύνδεση των HNFQ ονάδων. Αυτό εξηγείται ε ορφή γραφήατος στο Σχήα 6.α. Στο Σχήα 6.β παριστάνεται ο διαιρεένος χώρος των εισόδων ως αποτέλεσα της αρχιτεκτονικής του οντέλου του Σχήα 6.α. Κάθε τήα που δεν διαιρείται περαιτέρω ονοάζεται qudprtton. Στο παράδειγα του Σχήα 6.β τα τεταρτηόρια και 4 δεν έχουν υποδιαιρεθεί. Εποένως τα τήατα συπεράσατος των αντίστοιχων τους κανόνων είναι όνο οι πραγατικές τιές d και d 4. Από την άλλη τα τεταρτηόρια και 3 έχουν υποδιαιρεθεί. Αυτό σηαίνει πως τα τήατα συπεράσατος των κανόνων τους είναι οι έξοδοι (y και y 3 ) των HNFQ ονάδων και 3 οι οποίες έχουν σαν τήατα συπεράσατος των κανόνων τους τις τιές d d d 3 d 4 και d 3 d 3 d 33 d 34 αντίστοιχα.
Σχήα 6. (α) Παράδειγα HNFQ αρχιτεκτονικής (β) Τηατοποίηση του χώρου εισόδων σε ια HNFQ αρχιτεκτονική Η έξοδος του συστήατος για αυτό το παράδειγα θα δίνεται από την σχέση: y d + d + d = 3 4 4 4 j j (6.4) = j= Ο τηατοποίηση του που φαίνεται στο Σχήα 6.β πορεί να παρασταθεί από ένα δέντρο ε βαθό 4 δηλαδή δέντρο ε κόβο που έχει κανένα ή τέσσερα υποδέντρα. Η παραπάνω δοή παριστάνεται στο Σχήα 6.3. Σχήα 6.3 Ένα δέντρο 4 ου βαθού που περιγράφει την τηατοποίηση του σχήατος 6.β Σε αυτό το δέντρο οι κύκλοι αντιπροσωπεύουν τους εσωτερικούς κόβους οι οποίοι αντιστοιχούν στις περιοχές του χώρου εισόδων που έχουν υποδιαιρεθεί. Τα τετράγωνα αντιπροσωπεύουν τους κόβους οι οποίοι αντιστοιχούν στις περιοχές του χώρου εισόδων που δεν υποδιαιρούνται. Η ρίζα του δέντρου δείχνει τις περιοχές του χώρου εισόδων στις οποίες υπάρχει τηατοποίηση. Το σύνολο των κανόνων που περιγράφουν λεκτικά το παράδειγα του Σχήατος 6.3 είναι:
f = nd 3 ten y d f nd 4 ten { f = nd 3 ten y d f = nd 4 ten y d f = nd 3 ten y d3 f = nd 4 ten y d4} f nd 3 ten { f = 3 nd 33 ten y d3 f = 3 nd 34 ten y d3 f = 3 nd 33 ten y d33 f = 3 nd 34 ten y d34} f = όπου: nd 4 ten y d4 και 4 είναι οι συναρτήσεις συετοχής της HNFQ ονάδας στο 3 πρώτο επίπεδο ιεραρχίας. και 4 είναι οι συναρτήσεις συετοχής της HNFQ ονάδας του 3 δεύτερου επιπέδου ιεραρχίας η οποία βρίσκεται στο τεταρτηόριο ε αρίθηση (σύφωνα ε την σύβαση αρίθησης που ορίστηκε στο προηγούενο κεφάλαιο). Οι αντίστοιχες παράετροι α και b όπως προσδιορίζονται στις Εξισώσεις 6.3 6.6(Σχήα 5.4) καθορίζονται ως: η παράετρος α η οποία εκφράζει τη κλίση της συνάρτησης συετοχής του ασαφούς συνόλου για αυτό το επίπεδο ορίζεται να είναι διπλάσια της παραέτρου α της συνάρτησης συετοχής του αέσως προηγουένου (ανώτερο) επίπεδου (της ) η παράετρος b ρυθίζεται έτσι ώστε να είναι το έσο σηείο του διανύσατος εισόδου για το τεταρτηόριο ε αρίθηση. και 34 είναι οι συναρτήσεις συετοχής της HNFQ ονάδας του 3 3 33 δεύτερου επιπέδου ιεραρχίας η οποία βρίσκεται στο τεταρτηόριο ε αρίθηση 3. Οι αντίστοιχες παράετροι α και b όπως προσδιορίζονται στις εξισώσεις 6.3 6.6 (Σχήα 5.4) καθορίζονται ως:
η παράετρος α της συνάρτησης συετοχής του ασαφούς συνόλου για αυτό το επίπεδο ορίζεται να είναι διπλάσια της παραέτρου α της συνάρτησης συετοχής του αέσως προηγουένου (ανώτερο) επίπεδου (της 3 ) η παράετρος b ρυθίζεται έτσι ώστε να είναι το έσο σηείο του διανύσατος εισόδου για το τεταρτηόριο ε αρίθηση 3. Με βάση την παραπάνω ανάλυση η γενική ορφή της εξόδου ενός HNFQ συστήατος ε τέσσερα επίπεδα ιεραρχίας περιγράφεται ως εξής: y = 4 = d 4 4 + = j= d j j j + + όπου: 4 4 4 = j= = 4 4 4 = j= = m= 4 j j j d j d (6.5) j j τα j j jm είναι οι βαθοί ενεργοποίησης των κανόνων για τα τήατα ε αρίθηση j j και jm αντίστοιχα. το ( ) j j jm jm ισούται ε αν το τήα (j j και jm) υφίσταται ενώ ισούται ε 0 αν το παραπάνω τήα δεν υπάρχει. τα d dj dj djm εκφράζουν τις πραγατικές τιές των τηάτων συπεράσατος των κανόνων του συστήατος. Στον παραπάνω τύπο (Εξίσωση 6.5) έχει ληφθεί υπόψη η απλοποίηση που λαβάνει χώρα από την χρήση του συπληρώατος ( ) jm jm = των low g συναρτήσεων συετοχής κατά την διάρκεια της φάσης της από-ασαφοποίησης. 6.4 Εκπαίδευση των παραέτρων του συστήατος Στο κεφάλαιο 4 έχει αναφερθεί η γενική διαδικασία εκπαίδευσης στα νευροασαφή συστήατα: Αρχικά γίνεται τηατοποίηση των διαστηάτων εισόδου. Στην συνέχεια δηιουργούνται οι ασαφείς κανόνες που καθορίζουν τη δοή του συστήατος ενώ παράλληλα προσδιορίζονται και τα ασαφή βάρη(παράετροι).
Τέλος γίνεται χρήση ορισένων αλγορίθων εκπαίδευσης(βελτιστοποίησης) των παραέτρων του συστήατος ε σκοπό να αποκτήσει το σύστηα(ή να προσεγγίσει) την επιθυητή συπεριφορά. Η εκπαίδευση των ασαφών βαρών του συστήατος επιτυγχάνεται κάνοντας χρήση κάποιο νευρωνικό δίκτυο. Για την εκπαίδευση των ασαφών βαρών στο HNFQ οντέλο και ε βάση τα όσα αναφέρθηκαν στο κεφάλαιο 3 επιλέγεται η άθηση υπό επίβλεψη δηλαδή στο σύστηα δίνονται ζευγάρια διανυσάτων εισόδου επιθυητής εξόδου. Το HNFQ οντέλο ε την τρέχουσα κατάσταση βαρών παράγει ία έξοδο(y) η οποία αρχικά διαφέρει από την επιθυητή έξοδο(y d ). Το σφάλα(διαφορά) E εταξύ της επιθυητής εξόδου y d και της πραγατικής εξόδου y είναι: E d = y y (6.6) Εκάθηση επιτυγχάνεται όταν η επαναληπτική προσαρογή των βαρών οδηγεί προς την κατεύθυνση είωσης του σφάλατος Ε. Υπολογίζεται το έσο τετραγωνικό σφάλα ως: = ( y y ) d ε (6.7) Το πρόβληα εκπαίδευσης είναι τώρα: «Να επιλεγούν τα βάρη των νευρώνων έτσι ώστε να ελαχιστοποιηθεί το έσο τετραγωνικό σφάλα». Για την HNFQ ονάδα ως βάρη των νευρώνων θεωρούνται: ) οι παράετροι (α b) των σιγοειδών συναρτήσεων συετοχής των κανόνων της HNFQ ονάδας και ) οι πραγατικές τιές d των τηάτων συπεράσατος των κανόνων της HNFQ ονάδας Ως έθοδος επίλυσης του προβλήατος εκπαίδευσης για την συγκεκριένη εργασία χρησιοποιείται η έθοδος έγιστης κλίσης η οποία απαιτεί τον υπολογισό των ερικών παραγώγων ε (w) της ε (w) ως προς τα βάρη w του ΤΝ. Η έξοδος της HNFQ ονάδας δίνεται από την παρακάτω εξίσωση: y = d + (6.8) + d+ 3d3 4d4 όπου:
) = ( ) ( ) = [ ( )][ ( )] (6.9) ( ν 3 ν 4 ν ( ν ) = ( ) 4( ν ) = [ ( )] 4( ν ) (6.0) 3( ν ) = ( ) 3( ν ) = ( )[ 4( ν )] (6.) ) = ( ) ( ) ( ) ( ) (6.) και 4 ( ν 4 ν = 4 ν ( ) = sg( α( b )) = ( b ) (6.3) [ + e ] ( ) = ( ) (6.4) 4 ( ν ) = sg( α ν ( ν bν )) = ν ( ν ν ) (6.5) [ + e ] b 3( ν ) = 4( ν ) (6.6) Στις παραπάνω εξισώσεις: τα d d d 3 d 4 είναι οι πραγατικές τιές του τήατος συπεράσατος των ασαφών κανόνων του τρέχοντος επιπέδου ή οι έξοδοι των HNFQ ονάδων των αέσως προηγουένων επιπέδων τα ν είναι οι εταβλητές εισόδου (οριζόντια και κάθετη εταβλητές) τα α α α 3 και α 4 είναι οι βαθοί ενεργοποίησης των τεσσάρων κανόνων της HNFQ ονάδας τα 3 και 4 είναι οι συναρτήσεις συετοχής των τεσσάρων κανόνων της HNFQ ονάδας τα α και α ν είναι παράετροι που καθορίζουν την κλίση των 3 και 4 συναρτήσεων συετοχής (στην έθοδο ας οι συναρτήσεις συετοχής είναι σιγοειδείς) τα b και b ν είναι παράετροι που καθορίζουν το σηείο κάψης των 3 και 4 σιγοειδών συναρτήσεων συετοχής. Η ερική παράγωγος του σφάλατος σε σχέση ε ια γενική παράετρο w (από την οποία εξαρτάται η έξοδος) θα δίνεται ως: ε = w ε y y w (6.7)
ε = ( y w d y y ) w (6.8) ε y = E w w (6.9) d όπου E = ( y y ) Από την Εξίσωση 6.9 γίνεται αντιληπτό ότι είναι απαραίτητο να υπολογιστεί η ερική παράγωγος της εξόδου y σε σχέση ε τις ρυθιζόενες παραέτρους (α α ν b b ν ) για κάθε HNFQ ονάδα. Σχήα 6.4 Παράδειγα ενός HNFQ συστήατος που δείχνει την έξοδο στο σηείο Έστω y cel_ είναι η έξοδος του κελιού σε ένα HNFQ οντέλο όπως φαίνεται στο Σχήα 6.4. Θα ισχύει για την y cel_ : cel _ y 3 3 α 4 4 = ( α d + α d + α d + d ) (6.30) όπου α j είναι ο βαθός ενεργοποίησης του j κανόνα στην HNFQ ονάδα d είναι η πραγατική τιή του συπεράσατος του ου κανόνα στην HNFQ ονάδα d είναι η έξοδος y r της r HNFQ ονάδας d 3 είναι η έξοδος y s της s HNFQ ονάδας και d 4 είναι η πραγατική τιή του συπεράσατος του 4ου κανόνα στην HNFQ ονάδα. Η συνεισφορά της εξόδου του κελιού (y cel_ ) στην έξοδο y του συστήατος δίνεται από την σχέση: K cel _ H = Π ( y ) (6.3) Αντικαθιστώντας την Εξίσωση 6.30 στην Εξίσωση 6.3 η εξίσωση πορεί να ξαναγραφεί ως ακολούθως: K H ( 3 3 α 4 4 = Π α d + α d + α d + d ) (6.3)
όπου ο παράγοντας Πα αντιστοιχεί στο γινόενο όλων των προηγούενων βαθών ενεργοποίησης α από τις HNFQ ονάδες που συνδέουν την HNFQ ονάδα ε την έξοδο y. Για το παράδειγα του Σχήατος 6.4 η τιή του Πα θα δίνεται από την σχέση: Π (6.33) =α uα t όπου α u είναι ο βαθός ενεργοποίησης του ου κανόνα της u HNFQ ονάδας και α t είναι ο βαθός ενεργοποίησης του ου κανόνα της t HNFQ ονάδας. Εποένως η σχέση ανάεσα στην ολική έξοδο y και την έξοδο της t HNFQ ονάδας y cel_ θα είναι η εξής: K y = H +Ψ (6.34) όπου Ψ αντιπροσωπεύει το άθροισα όλων των συνιστωσών που επηρεάζουν την y εκτός από την t HNFQ ονάδα. Αντικαθιστώντας την Εξίσωση 6.3 ή την Εξίσωση 6.3 στην Εξίσωση 6.34 η y θα υπολογίζεται ως: _ y = Π ( cel y ) +Ψ (6.35) y ( 3 3 α 4 4 = Π α d + α d + α d + d ) +Ψ (6.36) 6.4. Μερικές Παράγωγοι των παραέτρων του τήατος υπόθεσης Με βάση την Εξίσωση 6.35 οι ερικές παράγωγοι της εξόδου y σε σχέση ε κάθε ια από τις παραέτρους από τις παρακάτω εξισώσεις: ν b ή b ν της HNFQ ονάδας θα δίνονται cel _ y ( Π y +Ψ = ) α (6.37) cel _ y ( Π y +Ψ = ) αν ν (6.38) cel _ y ( Π y +Ψ = ) b b (6.39) cel _ y ( Π y +Ψ = ) bν bν (6.40)
εδοένου ότι ο παράγοντας Ψ και ο παράγοντας Πα είναι ανεξάρτητοι της παραέτρου (όπως επίσης και των ν b b ν ) η Εξίσωση 6.37 πορεί να ξαναγραφεί ως: cel y y α α Π = _ (6.4) Από την Εξίσωση 6.9 η ερική παράγωγος του τετραγωνικού σφάλατος ε σε σχέση ε την παράετρο πορεί να γραφεί ως: cel y α α ε ΕΠ ΕΠ ΕΠ ΕΠ = _ (6.4) Αν χρησιοποιηθούν οι Εξισώσεις 6.9 6. στην HNFQ ονάδα θα ισχύει: )] ( )][ ( [ ) ( ) ( ) ( ν ν ν ν ν ν ν α b b b b 4 3 = = (6.43) ) ( )] ( [ ) ( ) ( ) ( ν ν ν ν ν ν ν α b b b b 4 4 = = (6.44) )] ( )[ ( ) ( ) ( ) ( ν ν ν ν ν ν ν α b b b b 4 3 3 = = (6.45) ) ( ) ( ) ( ) ( ) ( ν ν ν ν ν ν ν α b b b b 4 4 4 = = (6.46) Όπως περιγράφηκε και στην Ενότητα 6. οι συναρτήσεις συετοχής ιας HNFQ ονάδας θα είναι σιγοειδείς συναρτήσεις ( και 4 ) και συπληρώατά τους ( και 3 ). εδοένου ότι ια σιγοειδής συνάρτηση εκφράζεται ως: )] ep( [ ) ( z z sg + = (6.47) θα ισχύει: )] ( )[ ( ) ( z sg z sg z z sg = (6.48) Από τις Εξισώσεις 6.43 6.46 οι ερικές παράγωγοι των βαθών ενεργοποίησης των κανόνων της HNFQ ονάδας θα δίνονται (σε σχέση ε τις παραέτρους ) από τις παρακάτω σχέσεις: )) ( ) ( ( ν ν ν α b b 3 = (6.49) )) ( ) ( ( ν ν ν α b b 4 = (6.50)
)) ( ) ( ( ν ν ν α b b 3 3 = (6.5) )) ( ) ( ( ν ν ν α b b 4 4 = (6.5) Λαβάνοντας υπόψη την Εξίσωση 6.48 τις Εξισώσεις 6.49 6.5 και τις Εξισώσεις 6.43 6.46 οι ερικές παράγωγοι σε σχέση ε τις παραέτρους θα δίνονται από τις: ) ( ) ( b b = α (6.53) ) ( ) ( b b = α (6.54) ) ( ) ( b b = 3 α 3 (6.55) ) ( ) ( b b = 4 α 4 (6.56) Για τις παραέτρους ν b b ν οι ερικές παράγωγοι θα υπολογίζονται ε παρόοιο τρόπο. Τελικά κάνοντας χρήση των τεσσάρων τελευταίων εξισώσεων και της Εξίσωσης 6.4 οι ερικές παράγωγοι του σφάλατος ε σε σχέση ε την παράετρο του τήατος υπόθεσης της HNFQ ονάδας θα δίνονται από τη σχέση: ) ]( [ b d d d d + ΕΠ ΕΠ ΕΠ =ΕΠ 4 4 3 3 α ε (6.57) Οοίως: ) ]( [ d d d d b 4 4 3 3 α ε + + ΕΠ ΕΠ ΕΠ ΕΠ = (6.58) ) ]( [ ν ν ν α ε b d d d d + ΕΠ ΕΠ ΕΠ =ΕΠ 4 4 3 3 3 4 3 4 (6.59) ) ]( [ d d d d b ν ν α ε 4 4 3 3 3 4 3 4 + + ΕΠ ΕΠ ΕΠ ΕΠ = (6.60)
6.4. Μερικές Παράγωγοι των παραέτρων του τήατος συπεράσατος Με βάση την Εξίσωση 6.36 οι ερικές παράγωγοι της εξόδου y σε σχέση ε κάθε ια από τις παραέτρους d ( j= 3 και 4) της HNFQ ονάδας θα j δίνονται από την παρακάτω εξίσωση: y d j = Πα y d cel _ j (6.6) Από την Εξίσωση 6.9 η ερική παράγωγος του τετραγωνικού σφάλατος ε σε σχέση ε κάθε ία από τις προηγούενες παραέτρους θα υπολογίζεται κάνοντας χρήση την σχέση: ε = d j ΕΠ α y cel _ d j (6.6) Επιστρέφοντας στην Εξίσωση 6.8 θα ισχύει για την HNFQ ονάδα: y d cel _ j = j (6.63) Τελικά αν αντικατασταθεί στην: ε = d j ΕΠ α y cel _ d j το κλάσα y cel _ d j από τον όρο j και στην συνέχεια αν χρησιοποιηθούν οι Εξισώσεις 6.43 6.46 η ερική παράγωγος του σφάλατος ε σε σχέση ε τις παραέτρους του τήατος συπεράσατος της HNFQ ονάδας θα δίνονται από τις σχέσεις: ε d ε d ε d 3 ε d 4 =ΕΠ α =ΕΠ α =ΕΠ α =ΕΠ α ( 3 ( 4 ( 3 ) ) ( 4 ) ) (6.64) (6.65) (6.66) (6.67)
6.4.3 Εφαρογή της εθόδου ασαφούς κλίσεως Στην έθοδο ασαφούς κλίσεως οι κανόνες εκάθησης για ια γενική παράετρο δίνονται από τον τύπο: ε w( t+ ) = w( t) n w (6.68) w όπου το t εκφράζει τον αριθό της επανάληψης και n w εκφράζει τον ρυθό εκάθησης της w. Για ία HNFQ ονάδα η Εξίσωση 6.68 θα τροποποιηθεί ως: d t d t n ε j ( + ) = j ( ) d (6.69) d j j j ε ( t+ ) = ( t) n (6.70) j j j ε b ( t+ ) = b ( t) nb (6.7) b j Οι Εξισώσεις 6.69 6.7 αποτελούν τους κανόνες εκάθησης οι οποίοι ρυθίζουν τις γνωστές παραέτρους των ασαφών κανόνων ιας HNFQ ονάδας. Με βάση αυτούς τους κανόνες εκάθησης έχουν προταθεί τα παρακάτω βήατα [43] για την ρύθιση των τριών συνόλων των παραέτρων j j b και τoν αριθό των κανόνων και να εκφράζει τον αριθό των εισόδων. Βήα d j ε j να εκφράζει Αρχικά δηιουργείται ένα σύνολο ασαφών κανόνων. Οι αρχικές τιές των ρυθίζονται έτσι ώστε ο χώρος εισόδων να διαιρείται σε τέσσερα ίσα τεταρτηόρια. Οι αρχικές τιές των j j b ρυθίζονται έτσι ώστε να επιτρέπεται η επικάλυψη των συναρτήσεων συετοχής ε το συνολικό άθροισά τους να είναι πάντα. Βήα Τα ζεύγη του διανύσατος εκπαίδευσης ( K y d n ) Βήα 3 είναι η είσοδος. Γίνεται εφαρογή (για ολόκληρο το σύνολο εκπαίδευσης) των Εξισώσεων 6.3 6.7 και 6. για τις εισόδους ( K ) n και υπολογίζονται η συνάρτηση συετοχής κάθε κανόνα οι τιές d των κανόνων και η έξοδος του συστήατος y.
Βήα 4 Γίνεται χρήση των Εξισώσεων 6.64-6.67 και 6.69 για να ρυθιστούν οι πραγατικοί αριθοί d των τηάτων συπεράσατος των ασαφών κανόνων. Βήα 5 Τα βήατα 3 και 4 επαναλαβάνονται για όσες φορές χρειαστεί. Βήα 6 Εφαρόζονται οι τελευταίες τιές των d y και στις Εξισώσεις 6.53-6.56 και 6.57-6.6 ώστε να ρυθιστούν οι παράετροι j και συετοχής του τήατος υπόθεσης των ασαφών κανόνων. Βήα 7 Υπολογίζεται το έσο τετραγωνικό σφάλα ( ε = ( y j b των συναρτήσεων d y ) ) και τα βήατα από το 3 έως το 6 επαναλαβάνονται έχρι η διαφορά = ε( t) ε( t ) ικρότερη από ια επιθυητή τιή κατωφλίου (tresold vlue). ε γίνει 6.5 Ο αλγόριθος εκάθησης του HNFQ συστήατος Ο αλγόριθος εκάθησης ενός HNFQ οντέλου ε δύο εισόδους πραγατοποιείται σε επτά στάδια που περιγράφονται παρακάτω. Η αναπαράσταση του αλγορίθου γίνεται ε το διάγραα ροής του Σχήατος 6.5. Τα στάδια εκάθησης του αλγόριθου είναι τα εξής: () Επιλέγονται L ζεύγη εισόδων( ) εξόδων(y) όπου το Y εκφράζει την επιθυητή έξοδο του συστήατος όταν εφαρόζονται σε αυτό οι είσοδοι και. Το σύνολο των L ζευγών ονοάζεται διάνυσα εκπαίδευσης.
Εκκίνηση Επιλογή συνόλου εκπαίδευσης ηιουργία αρχικής τηατοποίησης Αρχικοποίηση των ασαφών βαρών 3 Σφάλα mn Τερατισό ς 4 7 Ρύθιση των ασαφών βαρών d Εξέταση των τεταρτη-ορίων και διαίρεση αυτών που έχουν εγάλο τοπικό 5 6 Σχήα 6.5 Ο αλγόριθος εκάθησης του HNFQ συστήατος () ηιουργείται το πρώτο qudtree (ο επίπεδο ιεραρχίας). ηιουργείται ια αρχική τηατοποίηση κατά την οποία ο χώρος εισόδων διαιρείται σε τέσσερα ίσα τεταρτηόρια. Για την περιγραφή κάθε εταβλητής εισόδου χρησιοποιούνται ασαφή σύνολα το υψηλό και το χαηλό. Τα δύο ασαφή σύνολα κάθε εισόδου αντιπροσωπεύονται από σιγοειδείς συναρτήσεις συετοχής ε το περιορισό ότι οι συναρτήσεις συετοχής είναι συπληρωατικές ως προς. Οι παράετροι α των συναρτήσεων συετοχής επιλέγονται έτσι ώστε τα σηεία κάψης να είναι στο έσο σηείο των διαστηάτων των εισόδων των HNFQ οντέλων. Οι παράετροι b των συναρτήσεων συετοχής από την σχέση: b = (Όριο κατώτατο - Όριο ανώτατο ) / (6.7) (3) Αρχικοποιούνται τα βάρη d (τήατα συπεράσατος των τεσσάρων πρώτων κανόνων). Ως d θεωρείται ο πραγατικός αριθός που εκφράζει τον έσο όρο των τιών των εξόδων του διανύσατος εκπαίδευσης που πέφτουν στο τεταρτηόριο ε αρίθηση. Για παράδειγα έστω ότι έχουε ένα διάνυσα
εκπαίδευσης ε 00 ζεύγη. Για να υπολογιστεί η αρχική του d 4 υπολογίζουε το άθροισα των τιών των εξόδων y που πέφτουν στο τέταρτο τεταρτηόριο και διαιρούε το αποτέλεσα ε το πλήθος των εξόδων y που πέφτουν στο τέταρτο τεταρτηόριο. (4) Υπολογίζεται το έσο τετραγωνικό σφάλα για ολόκληρο το διάνυσα εκπαίδευσης η έκφραση του οποίου δίνεται από την παρακάτω σχέση: E rms = L L ( yn Yn) n= (6.73) όπου L είναι το πλήθος των ζευγών του διανύσατος εκπαίδευσης και y n και Y n είναι αντίστοιχα η ολική έξοδος του HNFQ συστήατος και η επιθυητή έξοδος για το ζεύγος n ( n [ L] ανάλογο ε αυτό της Εξίσωσης 6.5. Όταν το σφάλα ). Η τιή της y υπολογίζεται ε τρόπο E rms είναι ικρότερο από ια ορισένη επιθυητή τιή D (η D καθορίζει την ακρίβεια του συστήατος) η διαδικασία εκάθησης σταατάει. Σε διαφορετική περίπτωση διαδικασία εκάθησης συνεχίζει στο επόενο βήα (βήα 5). (5) Γίνεται χρήση της εθόδου έγιστης κλίσεως (περιγράφηκε στην ενότητα 6.4) ε την οποία ρυθίζονται οι παράετροι του συστήατος. Στο σηείο αυτό θα πρέπει να αναφερθεί πως στην συγκεκριένη εργασία για λόγους είωσης της πολυπλοκότητας επιλέχθηκε το σύστηα να χρησιοποιεί τηατοποίησης πλέγατος και όχι δυναική τηατοποίηση πλέγατος (κεφάλαιο 4). Αυτό σηαίνει πως η όνη παράετρος που θα ρυθίζεται στο βήα 5 θα είναι τα βάρη d. (6) Εξετάζονται όλα τα τεταρτηόρια του/των qudtree του επιπέδου εονωένα. Εξετάζεται η συνεισφορά καθενός από τα τεταρτηόρια στο συνολικό έσο τετραγωνικό σφάλα και υπολογίζεται το τοπικό έσο τετραγωνικό σφάλα. Κάθε τεταρτηόριο ε τοπικό έσο τετραγωνικό σφάλα εγαλύτερο από ια επιθυητή τιή διαιρείται σε τέσσερα τεταρτηόρια (δηιουργία νέου qudtree). Για παράδειγα για να υπολογιστεί το τοπικό έσο τετραγωνικό σφάλα του τεταρτηορίου j χρησιοποιείται ο παρακάτω τύπος: E j rms = L L n= n n j ( y Y ) n n (6.74) όπου n και n j είναι οι βαθοί ενεργοποίησης του n ζεύγους του διανύσατος εκπαίδευσης όπως καθορίστηκαν στην ενότητα 6.3.
Για κάθε τεταρτηόριο που διαπιστώνεται πως το τοπικό τετραγωνικό σφάλα είναι εγάλο διαιρείται σε τέσσερα ίσα τεταρτηόρια. ηιουργούνται τέσσερις νέες συναρτήσεις συετοχής οι οποίες περιγράφουν τα τέσσερα νέα τήατα που όλις δηιουργήθηκαν. Στις νέες συναρτήσεις συετοχής τα α και b καθορίζονται ε τον τρόπο που περιγράφηκε στην ενότητα 6.3. Στους νέους κανόνες τα d καθορίζονται ε τον τρόπο ανάλογο ε αυτό που περιγράφεται στο βήα 3. Ο λόγος για τον οποίο χρησιοποιούνται οι όροι ( και n n j ) στην σχέση του τοπικού σφάλατος του παραπάνω παραδείγατος είναι γιατί επιδιώκεται η έτρηση της συνεισφοράς του κάθε τήατος στο συνολικό σφάλα. (7) Η διαδικασία εκάθησης επιστρέφει στο βήα 3 απ όπου και συνεχίζει.
Κεφάλαιο 7ο Πολυεπίπεδο HNFQ οντέλο
7. Το πρόβληα της ιαστατικότητας Στο προηγούενο κεφάλαιο περιγράφηκε το HNFQ οντέλο το οποίο λειτουργεί όπως παρουσιάστηκε έχοντας όνο εισόδους. Τι συβαίνει όως στην περίπτωση που υπάρχουν περισσότερες από δύο είσοδοι; Μια λύση για το παραπάνω ερώτηα είναι να χρησιοποιηθεί το HNFQ οντέλο ακριβώς όπως παρουσιάστηκε στο προηγούενο κεφάλαιο ε την διαφορά ότι αντί για δύο εισόδους (ε ασαφή σύνολα σε κάθε ία HNFQ ονάδα) θα υπάρχουν n είσοδοι (ε n ασαφή σύνολα σε κάθε ία HNFQ ονάδα). Σχήα 7. Ένα HNFO Σύστηα Για παράδειγα αν υπάρχουν 3 είσοδοι η HNFQ ονάδα θα αντικατασταθεί ε ια HNFΟ (errccl neuro-fuzzy ottree) ονάδα αφού πλέον οι 3 είσοδοι θα δηιουργούν 8 ασαφή σύνολα (δύο ασαφή σύνολα περιγράφουν την κάθε είσοδο) και θα χωρίζουν τον χώρο εισόδων σε 8 τήατα όπως εικονίζεται στο Σχήα7.. Ο αριθός των κανόνων ιας HNFO ονάδας (8 κανόνες) θα είναι διπλάσιος από αυτόν ιας HNFQ ονάδας (4 κανόνες) ενώ ύστερα από επίπεδα τηατοποίησης ο αριθός των κανόνων του συστήατος ε 3 εισόδους θα είναι περίπου ίσος ε φορές εγαλύτερος. Γενικεύοντας αν υπάρχουν n είσοδοι σε κάθε ονάδα θα δηιουργούνται n ασαφή σύνολα και θα χωρίζεται ο χώρος εισόδων της σε n τήατα) ενώ ύστερα από επίπεδα τηατοποίησης ο αριθός των κανόνων του συστήατος ε 3 εισόδους θα είναι περίπου ίσος ε (n-) φορές εγαλύτερος. ηλαδή η αύξηση του αριθού των εισόδων οδηγεί σε εκθετική αύξηση του αριθού των κανόνων (πρόβληα της διαστατικότητας). Επιπλέον ο αντίστοιχος αριθός όλων των παραέτρων που θα πρέπει να ρυθιστούν (να εκπαιδευτούν) θα είναι πιθανών ένας πολύ εγάλος αριθός ο οποίος δεν θα πορεί να χειριστεί εύκολα από το υλικό (rdwre) ή το λογισικό (softwre) υλοποίησης του συστήατος. Ένα τέτοιο πρόβληα διαστατικότητας των παραέτρων (prmetrc dmensonlty problem) έχει επίσης επίδραση στη
δυνατότητα γενίκευσης του εκπαιδευόενου νευρό-ασαφούς συστήατος ειδικά όταν τα ζεύγη του διανύσατος εκπαίδευσης είναι περιορισένα. Για παράδειγα αν το νευρο-ασαφές σύστηα ε 500 παραέτρους που πρέπει να ρυθιστούν εκπαιδεύεται ε λιγότερα από 500 ζεύγη δεδοένων το νευρο-ασαφές σύστηα δεν θα παράγει καλή απόκριση για δεδοένα διαφορετικά από αυτά του διανύσατος εκπαίδευσης. Επίσης τόσες πολλές παράετροι προς ρύθιση θα επιβαρύνουν σηαντικά την ταχύτητα κατά τη διαδικασία της εκπαίδευσης. Συνεπώς κρίνοντας τα όσα αναφέρθηκαν παραπάνω γίνεται αντιληπτό πως το πρόβληα της διαστατικότητας (dmensonlty problem) είναι κρίσιης σηασίας για την επιτυχή λειτουργία ενός νευρο-ασαφούς συστήατος. Για τον σκοπό αυτό έχουν αναπτυχθεί διάφορες τεχνικές ε διαφορετικές προσεγγίσεις η καθεία προκειένου να επιλυθεί το πρόβληα. 7. Προτεινόενες έθοδοι επίλυσης του προβλήατος της διαστατικότητας Στο οντέλο των Ln και Lee [7] έχει προταθεί ένας ηχανισός διαγραφής κανόνων προκειένου ο συνολικός τελικός αριθός κανόνων να είναι ειωένος. Ωστόσο θα πρέπει να εξετάζεται κάθε φορά η πληρότητα του συνόλου των κανόνων που τελικά επιλέγονται. Για το οντέλο ANFIS o Jng [] πρότεινε ια έθοδο επιλογής εισόδων όπου από το σύνολο των εισόδων επιλέγονται όνο δυο είσοδοι οι οποίοι θεωρούνται και οι πιο σηαντικοί ενώ οι άλλες είσοδοι αγνοούνται. Αν υπάρχουν n είσοδοι τότε εκπαιδεύονται n C πιθανά ασαφή οντέλα για το ίδιο διάνυσα εκπαίδευσης και επιλέγεται το οντέλο ε την ελάχιστη έση τετραγωνικά ρίζα του τετραγώνου του σφάλατος (RMSE). Αυτή η έθοδος προσφέρει ικρή ακρίβεια εξαιτίας του γεγονότος ότι ακόη και οι είσοδοι ε τον ικρότερο βαθό σηαντικότητας επηρεάζουν το σύστηα σε κάποιο βαθό. Ο Nsm [8] πρότεινε ια έθοδο βηατικής (stepwse) επιλογής των εισόδων και η οποία πορεί να θεωρηθεί ως γενίκευση της εθόδου του Jng. ηλαδή αφού έχουν καθοριστεί οι δυο πιο σηαντικές είσοδοι στη συνέχεια προστίθεται η επόενη σε βαθό σηαντικότητας είσοδος ε ακολουθιακό τρόπο και η διαδικασία επαναλαβάνεται έχρι να επιτευχθεί η ακρίβεια του συστήατος που τεθεί ως στόχος. Αυτές οι έθοδοι και οι προσεγγίσεις τους βασίζονται σε ια συλλογιστική "επιλογή ύστερα από πολλές δοκιές" (trl-nd-error) και συνεπώς είναι χρονοβόρες γιατί καταναλώνουν εγάλη υπολογιστική ισχύ. Στα [9] και [30] για να αντιετωπιστεί το πρόβληα της διαστατικότητας προτείνεται ια άλλη προσέγγιση. Βασισένο στην έθοδο (ANOVA) ένα πολυδιάστατο (ε πολλές εισόδους) ασαφές
σύστηα διαχωρίζεται σε διάφορα προσθετικά (ddtve) ή πολλαπλασιαστικά (multplctve) υποσυστήατα ικρών διαστάσεων. Η έξοδος του συστήατος προσφέρει αρκετά καλή προσέγγιση της επιθυητής εξόδου. Η διαδικασία του διαχωρισού βασίζεται σε έναν επαναληπτικό αλγόριθο αναζήτησης ο οποίος ονοάζεται ASMOD (Adptve Splne Modelng of Observtonl Dt) και του οποίου οι απαιτήσεις σε υπολογίσιη ισχύ είναι πάλι πολύ υψηλές. Επίσης για να αντιετωπιστεί το πρόβληα της διαστατικότητας έχει προταθεί ένα πολυεπίπεδο ασαφές οντέλο εξαγωγής συπεράσατος (MSFR)[3]-[36] το οποίο χρησιοποιεί ια ιεραρχική τηατοποίηση του πλήθους των διαστάσεων του συστήατος. Ταξινοώντας τις εισόδους ιεραρχικά και επιτρέποντας το τήα συπεράσατος ενός κανόνα ο αριθός των κανόνων του συστήατος είναι πλέον γραική (ή σχεδόν γραική) συνάρτηση του αριθού των εισόδων. Στην πραγατικότητα και οι έθοδοι οι οποίες αναφέρονται στα [8]-[30] κάνουν χρήση της έννοιας της ιεραρχικής ταξινόησης των διαστάσεων του συστήατος απλώς προσεγγίζουν το πρόβληα ε έεσο τρόπο σε αντίθεση ε την MSFR προσέγγιση. Σε αυτή την εργασία προτείνεται ια MSFR προσέγγιση για την επίλυση του προβλήατος της διαστατικότητας. Το αποτέλεσα είναι ια νέα κατηγορία νευρόασαφών συστηάτων τα οποία ονοάζονται πολυεπίπεδα νευρο-ασαφή δίκτυα (MSFNN). Θεωρούε ότι υπάρχουν τρεις βασικές δοές πολυεπίπεδων δικτύων τις οποίες ονοάζουε βαθωτή (ncrementl) συναθροιστική(ggregted) και σειριακή(cscde) δοή δυκτύου. Όπως φαίνεται στο Σχήα 7. η βαθωτή δοή έχει ( ) εισόδους που κατανέονται στο πρώτο τα ενδιάεσα (ενδεχοένως) και το τελευταίο επίπεδο εξαγωγής συπεράσατος. Η έξοδος y του κάθε επίπεδου (έστω του ) εξαρτάται από την/τις είσοδο/ους του επιπέδου καθώς επίσης από την έξοδο του προηγούενου επιπέδου ( y ). Η δοή που θα χρησιοποιηθεί στην παρούσα εργασία για την αντιετώπιση του ζητήατος της ύπαρξης πολλών εισόδων θα είναι η βαθωτή δοή. Η ακριβής σχεδίαση της θα περιγραφεί παρακάτω.
Σχήα 7. Βαθωτή οή Στην συναθροιστική δοή η οποία παριστάνεται στο Σχήα 7. ο χώρος εισόδων χωρίζεται σε δύο ή περισσότερους υποχώρους οι οποίοι αποτελούν τους χώρους εισόδου (εταβλητές του τήατος υπόθεσης) των υποεπιπέδων όνο για το πρώτο επίπεδο. Οι έξοδοι (εταβλητές του τήατος συπεράσατος) των υποεπιπέδων του πρώτου επιπέδου αποτελούν εισόδους (εταβλητές του τήατος υπόθεσης) των υποεπιπέδων του δεύτερου επιπέδου κ.ο.κ. Σχήα 7. Παράδειγα συναθροιστικής δοής
Ο τελευταίος τύπος πολυεπίπεδων δικτύων όσον αφορά τον χώρο εισόδων είναι η σειριακή δοή η οποία αποτελεί ένα τυπικό παράδειγα ιεραρχικής δοής. 7.3 Μονοεπίπεδοι και πολυεπίπεδοι ασαφείς κανόνες 7.3. Μονοεπίπεδοι Ασαφείς κανόνες Ένα νευρο-ασαφές σύστηα το οποίο εφαρόζει ια Mmdn έθοδο εξαγωγής συπεράσατος συνήθως χαρακτηρίζεται από το παρακάτω σύνολο ασαφών κανόνων: f s A... nd n s An 3 ten y s B ΚΑΝΟΝΑΣ f s A J... nd n s An J ten y s B J ΚΑΝΟΝΑΣ J f s A L... nd n s An L ten y s B L ΚΑΝΟΝΑΣ L (7.) όπου:... n εταβλητές εισόδου y εταβλητές εξόδου A και j B j ασαφείς όροι του j-στού κανόνα για τις -στές εισόδους και θα είναι: έξοδο αντίστοιχα Για ένα ολοκληρωένο σύνολο κανόνων ο συνολικός αριθός των κανόνων L L= n p = (7.) όπου p είναι ο αριθός των ασαφών όρων/τηάτων της δηλαδή της - στής εισόδου. Τόσο τα τήατα υπόθεσης (IF-prt) όσο και τα τήατα συπεράσατος (THEN-prt) στους Mmdn κανόνες θα αποτελούνται από ασαφή σύνολα. Από την άλλη ένας TSK ασαφής κανόνας είναι ένας κανόνας στον οποίο το τήα υπόθεσης είναι ασαφές σύνολο αλλά το τήα συπεράσατος είναι ια γραική συνάρτηση των εισόδων (crsp τιή) Το νευρο-ασαφές σύστηα πορεί ενδεχοένως να χαρακτηριστεί από την παρακάτω ορφή κανόνα:
f s A j... nd n s An j ten y c0 j+ c j+ + = K c n j n (7.3) όπου οι πραγατικές τιές c ορίζονται ως παράετροι του τήατος j συπεράσατος. Για τους παραπάνω κανόνες καία λεκτική (lngustc) εταβλητή στο τήα συπεράσατος ενός κανόνα δεν πορεί να περάσει σε άλλους κανόνες ως γεγονός. Συνεπώς σε ια δοή ε ένα επίπεδο εξαγωγής συπεράσατος δηλαδή σε δοή οπού υπάρχουν ονοεπίπεδοι ασαφείς κανόνες υπάρχουν όνο δυο είδη λεκτικών εταβλητών τα οποία ονοάζονται εταβλητές εισόδου και εταβλητές εξόδου. Τα νευρο-ασαφή συστήατα που βασίζονται σε ασαφείς κανόνες αυτού του είδους θα ονοάζονται στην παρούσα εργασία ας ως ονοεπίπεδα (sngle stge) νευρό-ασαφή συστήατα. 7.3. Πολυεπίπεδοι Ασαφείς Κανόνες Τυπικά οι ασαφείς κανόνες σε ένα MSFR σύστηα θα έχουν τη ορφή [37]: IF s A THE y s B IF y s B THE Z s C (7.4) Γεγονός: s ~ A Αποτέλεσα: z s ~ C όπου y και z είναι λεκτικές εταβλητές και ~ ~ A A B C C είναι ασαφείς όροι. Αντίθετα ε τη δοή ονοεπίπεδων ασαφών κανόνων σε αυτή τη δοή υπάρχουν τριών ειδών λεκτικές εταβλητές [3]. Αυτές είναι η είσοδος η έξοδος και οι ενδιάεσες (ntermedte) ή αλλιώς εσωτερικές εταβλητές. Οι εταβλητές εισόδου (π.χ. η ) εφανίζονται όνο στο τήα υπόθεσης (IF-prt)οι εταβλητές εξόδου (π.χ. η z) εφανίζονται όνο στο τήα συπεράσατος (THEN-prt) ενώ οι ενδιάεσες εταβλητές (π.χ. η y) εφανίζονται και στα δυο τήατα (IF-prt) και (THEN-prt) ενός ασαφούς κανόνα.
7.4 Εξαγωγή του βαθού σηαντικότητας για καθεία από τις εισόδους οσένης ιας διαφορήσιης(dfferentble) συνάρτησης ε n-εισόδους/- έξοδο η οποία περιγράφεται από την γενική σχέση y f(... ) [... ] T [ 0 ] T n n = όπου εξάγεται από την παραπάνω συνάρτηση ένα σύνολο από p ζεύγη δειγάτων: T [... y ] j p j j j n j =... (7.5) Καθειά από τις δύο τιές της εξόδου y και y πορεί να προσεγγιστεί αν γίνει T n χρήση της παρακάτω σειράς Tylor πάνω σε ένα σταθερό σηείο [... ] : y y j = = f f n f (7.6) (... n) + ( j χ ) + rj = = χ n f (7.7) (... n) + ( χ ) + r = = χ όπου r j και r είναι τα υψηλότερου βαθού υπόλοιπα (resduls) και πορούν να αγνοηθούν χωρίς εγάλη απώλεια πληροφορίας αν ισχύει j χ και χ. Αν αφαιρεθεί από την Εξίσωση 7.7 η Εξίσωση 7.6 προκύπτει η παρακάτω σχέση: y j y = n = b ( ) j (7.8) όπου: b f = (7.9) =χ Έχει αποδειχτεί ότι η αρχική συνάρτηση πορεί να προσεγγιστεί από ια γραική. Τέτοιου είδους προσεγγίσεις χρησιοποιούνται ευρέως σε περιπτώσεις η γραικής παλινδρόησης (regresson) π.χ. ονογραφία (monogrp)[38]. Από το σύνολο δεδοένων που περιγράφονται από την Εξίσωση 7.5 υπάρχουν p C διανύσατα απόκλισης (vrton vectors) που έχουν τη ορφή [ y y ] T... j j n n j. Επειδή το p C πορεί να είναι ένας πολύ εγάλος
p αριθός επιλέγονται ε τυχαίο τρόπο όνο ( C ) Εξίσωση 7.9 ξαναγράφεται σε ορφή πίνακα: q διανύσατα απόκλισης και η y= Xb (7.0) όπου οι διαστάσεις των y και b είναι q q n και n αντίστοιχα. Το b είναι ένα άγνωστο διάνυσα του οποίου τα στοιχεία είναι οι παράετροι b. Γενικά έστω ότι υπάρχει ια σχέση πινάκων y= Xb όπου οι διαστάσεις των d A και είναι q q n και n αντίστοιχα. Αν όλα τα στοιχεία των Α και d είναι γνωστά τα στοιχεία του είναι άγνωστα και αν q είναι εγαλύτερο από n τότε ο καθορισός των στοιχείων του γίνεται ένα ακαθόριστο(over-determned) πρόβληα και δεν υπάρχει ακριβής λύση για την εύρεση του. Αν αυτού είναι δυνατόν να εφαροστεί ο αλγόριθος των ελάχιστων τετραγώνων του σφάλατος(lest squre error) ή LSE ώστε να υπολογιστεί η ελάχιστη τετραγωνική απόκλιση των * που ελαχιστοποιούν το τετραγωνικό σφάλα A d. Το * πορεί να υπολογιστεί από τoν γνωστό τύπο του ψευδο-αντίστροφου (pseudonverse) [39] [38] [40]: T T ( A A) A d * = (7.) όπου ο Α θα πρέπει να είναι πλήρους τάξεως (όσον αφορά τις στήλες). Έστω ότι το διάνυσα που αντιπροσωπεύεται από την -οστή γραή του πίνακα Α είναι το -οστό στοιχείο του d είναι τύπους ε ακολουθιακό τρόπο [39]: S T και T d. Το * πορεί να υπολογιστεί από του παρακάτω T T = + S ( d ) (7.) + + + + + S T + + + = S q T + + S+ S = 0K (7.3) * = (7.4) q όπου ο S ονοάζεται πίνακας συνδιασποράς (covrnce mtr) [38] [40] οι αρχικές = 0 0 K 0 και συνθήκες εκκίνησης (για τις Εξισώσεις 7.-7.4) είναι [ ] T 0 S0 =γ I όπου γ είναι ένας εγάλος θετικός αριθός (π.χ. 0 6 ) και I είναι ο πίνακας (διαστάσεων n n ) που θέλουε να προσδιορίσουε. Εκτενής αναφορά στην εξαγωγή των Εξισώσεων 7.-7.4 γίνεται στο [39].
Ο υπολογισός των στοιχείων του διανύσατος b στην Εξίσωση 7.0 πορεί να γίνει χρησιοποιώντας τις Εξισώσεις 7. ή 7.-7.4. Έχει αποδειχτεί για την Εξίσωση 7.0 ότι κάθε b αντιστοιχεί στο εύρος της απόκλισης του διανύσατος y της εξόδου σε σχέση ε την απόκλιση κάθε εταβλητής εισόδου για όλο το διάνυσα εισόδου. Εποένως το b υποδηλώνει την «σηαντικότητα» της εισόδου ως προ της έξοδο y ε όρους στατιστικούς. Ας σηειωθεί ότι το b πορεί να είναι θετικό ή αρνητικό. Για να εκφραστεί ο βαθός σηαντικότητας την εισάγεται ο όρος mpo( ) για τον οποίο ισχύει: mpo( ) = n b j= b j (7.5) Θα ισχύει επίσης: n = mpo ( ) = (7.6) Αν τα διανύσατα εισόδου [ ] T... n του διανύσατος εκπαίδευσης δεν ανήκουν όλα στο διάστηα [ 0 ] T τότε η επέκταση των σειρών Tylor δεν θα πορεί να χρησιοποιηθεί σαν προσεγγιστική έθοδος επίλυσης. Σε αυτή την περίπτωση θα πρέπει να εφαροστεί αρχικά ια συνάρτηση κανονικοποίησης ώστε ολόκληρο το διάνυσα εκπαίδευσης των εισόδων να ανήκει στο διάστηα [ 0 ] T και στην συνέχεια να συνεχιστεί η έθοδος προσέγγισης. 7.5 ηιουργία πολυδιάστατου HNFQ οντέλου Έστω ότι υπάρχει ένα σύστηα ε n-εισόδους/-έξοδο (... n y) για το οποίο είναι γνωστό το διάνυσα εκπαίδευσής του. Στην προηγούενη υποενοτητα περιγράφηκε ια έθοδος ε την οποία δίνεται ένας βαθός σηαντικότητας σε κάθε είσοδο. Ο βαθός σηαντικότητας που χαρακτηρίζει κάθε είσοδο χρησιοποιείται στην παρακάτω έθοδο η οποία βασίζεται σε ια βαθωτή αρχιτεκτονική. Βασικός στόχος είναι αφενός να παρουσιαστεί ένα σύστηα που θα χρησιοποιεί την HNFQ αρχιτεκτονική για πολλές εισόδους αφετέρου το σύστηα που θα προταθεί να αντιετωπίζει το πρόβληα της διαστατικότητας. ηλαδή καθώς αυξάνουν οι είσοδοι να αυξάνονται οι κανόνες του HNFQ οντέλου (που περιγράφηκε στο προηγούενο κεφάλαιο) ε γραικό(ή περίπου γραικό) και όχι ε εκθετικό τρόπο. Τα βήατα της εθόδου την οποία θα ονοάσουε Πολυδιάστατη HNFQ περιγράφονται παρακάτω:
Βήα Αρχικοποίηση ) Τοποθέτηση όλων των εισόδων (n είσοδοι) σε ένα σύνολο S. Καθορισός ιας τιής κατωφλίου επόενη παράγραφο. T nc σύφωνα ε κριτήρια που καθορίζονται στην Βήα Καθορισός του Επιπέδου ) Επιλογή των n περισσοτέρων σηαντικών εισόδων (όχι παραπάνω από 3) από το σύνολο S ως εταβλητές εισόδου του πρώτου επιπέδου. Το πρώτο επίπεδο που προκύπτει είναι ένα HNFQ σύστηα σαν αυτό που περιγράφηκε στο προηγούενο κεφάλαιο. Οι είσοδοι του πρώτου επιπέδου συβολίζονται ως 3 n n () (. Η τιή του n καθορίζεται από την σχέση mpo ) ( ) > Tnc =. Αυτές οι συνθήκες τίθενται για να δοθούν από την ια αρκετές πληροφορίες στο σύστηα κατά την εκκίνηση (να γίνει χρήση των εισόδων ε το εγαλύτερο βαθό σηαντικότητας) ενώ από την άλλη οι είσοδοι του συστήατος να είναι δύο ή τρεις ώστε να ην υπάρχει εγάλος αριθός κανόνων για το HNFQ σύστηα. ) Τίθεται =. Το δηλώνει το επίπεδο. Αφαιρούνται οι n είσοδοι από το σύνολο S. Βήα 3 Επανάληψη του καθορισού των βαθών σηαντικότητας ) Επαναλαβάνεται ο καθορισός των βαθών σηαντικότητας των εταβλητών εισόδου που έειναν στο S. Ο επανακαθορισός γίνεται από την εξίσωση: και mpo( j ) = mpo( ) j S mpo( ) j j S (7.7) Βήα 4 Καθορισός του Επιπέδου ) Επιλογή των n περισσοτέρων σηαντικών εισόδων (όχι παραπάνω από 3) από το σύνολο S ως εταβλητές εισόδου ( ) του -στού επιπέδου. Η τιή του n καθορίζεται από την σχέση Βήα 5 Τερατισός n = mpo( ( ) ) > Tnc και 3 n. ) Αφαιρούνται οι n είσοδοι από το σύνολο S. Αν το S είναι άδειο ο αλγόριθος τερατίζει διαφορετικά επιστρέφουε στο Βήα 3.
7.6 Επιπλέον παρατηρήσεις για την βαθωτή αρχιτεκτονική Με την εφαρογή της βαθωτής (ncrementl) αρχιτεκτονικής η αύξηση του αριθού των εισόδων οδηγεί σε ια γραική (ή περίπου γραική) αύξηση του αριθού των συνολικών ασαφών κανόνων. Ο αλγόριθος που παρουσιάστηκε στην προηγούενη ενότητα παράγει δυναικά οντέλα δηλαδή οντέλα ε διαστάσεις (αριθό επιπέδων) που πορούν να κυαίνονται. Στην πραγατικότητα υπάρχει ια αφίδροη σχέση ανάεσα στις διαστάσεις του οντέλου και τον συνολικό αριθό των ασαφών κανόνων. Επίσης διαφορετικές αρχιτεκτονικές είναι δυνατόν να προκύψουν όταν επιλέγονται διαφορετικές τιές T nc. Πιο συγκεκριένα για δεδοένο αριθό εισόδων η τιή T nc =0 αντιστοιχεί στην βαθωτή αρχιτεκτονική που χρησιοποιεί τους λιγότερους δυνατούς ασαφείς κανόνες. Για να επιτευχθεί αυτό θα πρέπει στο Επίπεδο να υπάρχουν όνο δύο είσοδοι και όλα τα υπόλοιπα επίπεδα να έχουν όνο ία είσοδο και ια ενδιάεση εταβλητή. Για παράδειγα για να κατασκευαστεί ε βαθωτή αρχιτεκτονική για 4 εισόδους και ε T nc =0 θα πρέπει να δηιουργηθούν τρία επίπεδα ε τον τρόπο που φαίνεται στο Σχήα 7.3. Από την άλλη για δεδοένο αριθό εισόδων η τιή T nc = αντιστοιχεί στην βαθωτή αρχιτεκτονική που χρησιοποιεί τους περισσότερους ασαφείς κανόνες. Γενικά θα πορούσε να θεωρηθεί ότι όσο εγαλύτερο T nc επιλέγεται τόσο λιγότερα επίπεδα θα έχει το νευρο-ασαφές σύστηα.
Κεφάλαιο 8ο Πειραατικές Προσοοιώσεις
Στο κεφάλαιο 6 περιγράφηκε εκτενώς και αναλυτικά το HNFQ οντέλο για ένα δισδιάστατο σύστηα ενώ στο κεφάλαιο 7 προτάθηκε ια τροποποίησή του το πολυδιάστατο HNFQ οντέλο για συστήατα ε περισσότερες των δύο εισόδους. Στο παρόν κεφάλαιο θα παρουσιαστεί η επίδοση της εθόδου έσα από διάφορα παραδείγατα οντελοποίησης και θα γίνει σύγκριση των αποτελεσάτων αυτών ε άλλα παραδείγατα τα οποία υπάρχουν στην βιβλιογραφία. Το πολυδιάστατο HNFQ οντέλο του οποίου η λειτουργία περιγράφηκε θεωρητικά για τις ανάγκες τις παρούσας εργασίας υλοποιήθηκε στο περιβάλλον του MATLAB. Οι επιδόσεις του οντέλου όπως θα φανεί παρακάτω είναι αρκετά υψηλές. Στις επόενες ενότητες θα παρουσιαστεί η υλοποίηση του οντέλου και τα αποτελέσατα που εξάγονται για διάφορα σύνολα δεδοένων. Το πολυδιάστατο HNFQ σύστηα εφαρόστηκε πάνω σε τέσσερα σύνολα δεδοένων αναφοράς (bencmrs) που συναντώνται στην βιβλιογραφία ως σύνολα εξαγωγής συγκριτικών αποτελεσάτων: την προσέγγιση της συνάρτησης snc( y) η οποία είναι ια η- γραική δισδιάστατη συνάρτηση την πρόβλεψη των χαοτικών σειρών Mcey Glss την πρόβλεψη του χαρακτηριστικού mpg από το σύνολο δεδοένων uto-mpg και την πρόβλεψη της τιής των σπιτιών στα προάστια της Βοστώνης από το σύνολο δεδοένων Boston Housng. Στις επόενες παραγράφους θα εξεταστεί κάθε παράδειγα ξεχωριστά θα παρουσιαστούν τα αποτελέσατα που θα ληφθούν από το πολυδιάστατο HNFQ οντέλο και θα συγκριθούν ε τα αποτελέσατα που εξήχθησαν για τα ίδια σύνολα από άλλα νευρο-ασαφή οντέλα. Για το κάθε σύνολο δεδοένων η πειραατική διαδικασία έχει ως εξής: χωρίζεται το σύνολο σε δύο υποσύνολα: το σύνολο εκπαίδευσης (trn set) και το σύνολο ελέγχου (test set). Το πρώτο σύνολο χρησιοποιείται για την εκπαίδευση του δικτύου και το δεύτερο για την αξιολόγηση (γενίκευση) της επίδοσής του. 8. Προσέγγιση της συνάρτησης snc( y) Σε αυτό το παράδειγα το HNFQ οντέλο χρησιοποιείται για να προσεγγίσει την η γραική συνάρτηση εισόδων ιας εξόδου snc( y) η οποία περιγράφεται από το παρακάτω εξίσωση: snc( y) = sn( ) sn( y) y και της οποίας το σχήα (Σχήα 8.) αντιπροσωπεύει ένα Mecn Ht. Για την εκπαίδευση χρησιοποιήθηκε ένα σύνολο 96 δειγάτων.
Σχήα 8.3 Η συνάρτησης snc( y) Οι είσοδοι ( y) ανήκουν στο διάστηα [-0 0]. Στο ξεκίνηα της διαδικασίας εκπαίδευσης το HNFQ οντέλο ξεκίνά ως ία απλή HNFQ ονάδα (Σχήα 8.α) και η δοή συνεχώς αναπτύσσονται ε ια επαναληπτική διαδικασία (περιγράφηκε στο κεφάλαιο 6) έχρι να ελαχιστοποιηθεί το έσο τετραγωνικό σφάλα του ολικού συστήατος ή όλα τα τοπικά έσα τετραγωνικά σφάλατα του τελευταίου επιπέδου τηατοποίησης. Ως επιθυητό ολικό έσο τετραγωνικό σφάλα ορίστηκε η τιή 0.04 ενώ ως επιθυητό τοπικό έσο τετραγωνικό σφάλα ορίστηκε η τιή 0.0. Η διαδικασία εξελίχθηκε για τέσσερα επίπεδα τηατοποίησης και τερατίστηκε ε αυτόατο τρόπο. Η εξέλιξη τις διαδικασίας ύστερα από κάθε επίπεδο τηατοποίησης περιγράφεται σχηατικά από τα Σχήατα 8. 8.d. Σχήα 8.4 Επίπεδα Τηατοποίησης και τήατα του συστήατος σε κάθε επίπεδο Όπως πορεί να παρατηρηθεί από τα Σχήατα 8. και 8. ύστερα από το δεύτερο επίπεδο τηατοποίησης η HNFQ δοή αναπτύσσεται για την snc( y) συνάρτηση δηιουργώντας τήατα (Σχήα 8.) σε περιοχές όπου τα τοπικά τετραγωνικά σφάλατα είναι εγάλα ως συνέπεια του γεγονότος ότι σε εκείνες τις περιοχές του χώρου εισόδων η συνάρτηση έχει εγάλες κλίσεις (Σχήα 8.).
Το Σχήα 8. δείχνει ια αρχική τηατοποίηση του χώρου των εισόδων και y κάνοντας χρήση όνο ιας HNFQ ονάδας. Το Σχήα 8.b δείχνει την τηατοποίηση του χώρου των εισόδων και y στο δεύτερο επίπεδο τηατοποίησης όπου δηιουργούνται τέσσερις HNFQ ονάδες. Ο συνολικός αριθός των HNFQ ονάδων σε αυτό το επίπεδο θα είναι 5 (+4). Το Σχήα 8.c δείχνει την τηατοποίηση του χώρου των εισόδων και y στο τρίτο επίπεδο τηατοποίησης όπου δηιουργούνται δώδεκα HNFQ ονάδες. Ο συνολικός αριθός των HNFQ ονάδων σε αυτό το επίπεδο θα είναι 7 (+4+). Τέλος το Σχήα 8.c δείχνει την τηατοποίηση του χώρου των εισόδων και y στο τέταρτο επίπεδο τηατοποίησης όπου δηιουργούνται τέσσερις HNFQ ονάδες. Ο συνολικός αριθός των HNFQ ονάδων σε αυτό το επίπεδο θα είναι (+4++4). Η τελική δοή του HNFQ συστήατος του παραδείγατος στο τέλος της διαδικασίας παριστάνεται στο Σχήα 8.3. Με βάση το σχήα 8.3 γίνεται αντιληπτό ότι ο αριθός των παραέτρων του συστήατος (τιές d των τηάτων συπεράσατος των ασαφών κανόνων) είναι 64 όσα δηλαδή είναι και τα τήατα του τέταρτου επιπέδου.
Σχήα 8.5 Η τελική δοή του οντέλου για την προσέγγιση της συνάρτησης snc(y) Θα πρέπει να αναφερθεί ότι για την υλοποίηση του οντέλου ως τιή για τις παραέτρους των 4 συναρτήσεων συετοχής στο πρώτο επίπεδο τηατοποίησης τέθηκε το ενώ αντίστοιχα ως αρχική τιή για τις παραέτρους των 3 συναρτήσεων συετοχής τέθηκε το -. Η παράετρος n w ο οποία εκφράζει τον ρυθό εκάθησης της παραέτρου d πήρε την τιή. Τέλος για την εκάθηση των παραέτρων χρησιοποιήθηκαν συνολικά για όλα τα επίπεδα τηατοποίησης περίπου 000 επαναλήψεις (εποχές).
Σχήα 8.6 Μείωση του σφάλατος κατά την φάση της εκπαίδευσης της παραέτρου d στο πρώτο επίπεδο τηατοποίησης (30 επαναλήψεις) Σχήα 8.7 Μείωση του σφάλατος κατά την φάση της εκπαίδευσης της παραέτρου d στο δεύτερο επίπεδο τηατοποίησης (00 επαναλήψεις)
Σχήα 8.8 Μείωση του σφάλατος κατά την φάση της εκπαίδευσης της παραέτρου d στο τρίτο επίπεδο τηατοποίησης (500 επαναλήψεις) Σχήα 8. 9 Μείωση του σφάλατος κατά την φάση της εκπαίδευσης της παραέτρου d στο τέταρτο επίπεδο τηατοποίησης (350 επαναλήψεις) Στα σχήατα 8. έως 8.4 φαίνεται η προοδευτική είωση του έσου τετραγωνικού σφάλατος το οποίο ξεκινάει από την τιή 05 στο πρώτο επίπεδο τηατοποίησης και σταδιακά καθώς από την ια συβαίνει βελτιστοποίηση της παραέτρου d έσα από την έθοδο έγιστης κλίσης ενώ από την άλλη συβαίνει συνεχής τηατοποίηση του χώρου εισόδων συγκλίνει προς την τιή 0.
Ύστερα από την φάση της εκπαίδευσης χρησιοποιείται ένα σύνολο ελέγχου/γενίκευσης Το σύνολο αποτελείται από 65 ζευγη εισόδων/εξόδου. Το συνολικό έσο τετραγωνικό σφάλα για 4 επίπεδα ετρήθηκε και βρέθηκε ίσο ε 408%. Ο Vuorm πρότεινε το οντέλο FSOM [9] και χρησιοποίησε την ίδια συνάρτηση (snc( y)) ε σύνολα εκπαίδευσης ε 5 ζεύγη λαβάνοντας τιή 34% για το σφάλα εκπαίδευσης και 39% για το σφάλα ελέγχου. Στο σύστηα FSOM ο αριθός των παραέτρων που εκπαιδεύτηκαν ήταν 00. Το νευρο-ασαφές FSOM κάνει χρήση τηατοποίησης Ασαφών Κουτιών (Σχήα 4.c) χρησιοποιεί τον αλγόριθο LVQ για την εκπαίδευση των παραέτρων του τήατος υπόθεσης ενώ για αυτές του τήατος συπεράσατος χρησιοποιείται ο αλγόριθος ελαχιστοποίησης των τετραγώνων του σφάλατος (LSE). Στον Πίνακα 8. υπάρχει η σύγκριση των αποτελεσάτων που λαβάνονται από τις δύο εθόδους: την FSOM και την HNFQ. Νευρο-Ασαφές Μοντέλο FSOM RMS σφάλα (%) RMS σφάλα (%) Ελεύθερες (διανύσατος (διανύσατος Παράετροι εξόδου) ελέγχου 34 (5 ζεύγη) 39 00 HNFQ 408 (96 ζεύγη) 409 64 Πίνακας 8. Σύγκριση των αποτελεσάτων που λαβάνονται από τα συστήατα FSOM και HNFQ οντέλα για την προσέγγιση της συνάρτησης snc(y) 8. Πρόβλεψη των χαοτικών σειρών Mcey Glss Έστω ότι { ( t) t = K } είναι ια χρονική σειρά. Το πρόβληα της πρόβλεψης χρονικών σειρών πορεί να εκφραστεί και ως ο προσδιορισός τις m m αντιστοίχισης του [ ( t ( m ) t) K ( t t) ( t) ] R στο ( t l) R +. Προκειένου να διαπιστωθεί η γενίκευση και η ικανότητα εκάθησης του HNFQ οντέλου το οντέλο θα χρησιοποιήθεί για την πρόβλεψη των χαοτικών χρονικών σειρών Mcey Glss [4]. Οι Mcey Glss χαοτικές χρονικές σειρές παράγονται από την παρακάτω διαφορική εξίσωση ε καθυστέρηση: ( t τ) ( t τ) 0. & ( t) = 0. 0 + όπου όσο πιο υψηλή είναι η τιή του τ τόσο εγαλύτερο χάος παράγεται. Στο παράδειγα της προσοοίωσης ας θεωρούε ότι τ=30. Θέτοντας m=6 t=6 και l=6 προκύπτουν 080 ζεύγη δεδοένων ε την ακόλουθη ορφή: [ ( t 30) ( t 4) ( t 8) ( t ) ( t 6) (t) ( t+ 6) ] όπου t=90-00. ( t)
Το παραπάνω σύνολο δεδοένων αντιστοιχεί σε ένα πρόβληα αντιστοίχισης ε 6-εισόδους/-έξοδο. Από τα παραπάνω 080 ζεύγη δεδοένων χρησιοποιήθηκαν 600 ζεύγη σαν διάνυσα εκπαίδευσης και 350 ζεύγη σαν διάνυσα ελέγχου. Αφού έγινε κανονικοποίηση των εισόδων στο διάστηα [0 ] για την υλοποίηση του οντέλου ως τιή για τις παραέτρους των 4 συναρτήσεων συετοχής στο πρώτο επίπεδο τηατοποίησης κάθε σταδίου τέθηκε το 0 ενώ αντίστοιχα ως αρχική τιή για τις παραέτρους των 3 συναρτήσεων συετοχής τέθηκε το -0. Η παράετρος n w ο οποία εκφράζει τον ρυθό εκάθησης της παραέτρου d πήρε την τιή 8. Ως επιθυητό ολικό έσο τετραγωνικό σφάλα ορίστηκε η τιή 0.0 ενώ ως επιθυητό τοπικό έσο τετραγωνικό σφάλα ορίστηκε η τιή 0.0. Για την εκάθηση των παραέτρων χρησιοποιήθηκαν για κάθε επίπεδο τηατοποίησης 350 επαναλήψεις (εποχές). Για το παραπάνω παράδειγα χρησιοποιήθηκε HNFQ οντελοποίηση ε βαθωτή αρχιτεκτονική. Για τον σκοπό αυτό χρειάστηκε να βρεθεί ο βαθός σηαντικότητας καθείας από τις έξι εισόδους. Ο βαθός σηαντικότητας για τις 6 εισόδους υπολογίστηκε και παρουσιάζεται στον Πίνακα 8.. (Ο παράγοντας mpo ( ) εκφράζει τον βαθό σηαντικότητας της εισόδου ) ( t 30) ( t 4) ( t 8) ( t ) ( t 6) (t) mpo ( ) 0.6 0.053 0.47 0.079 0.53 0.349 Πίνακας 8. Είναι προφανές πως οι είσοδοι (t) και ( t 6) είναι οι δύο πιο σηαντικές εταβλητές εισόδου και mpo ( ( t 6) ) + mpo ( (t) ) =060. Χρησιοποιώντας την έθοδο επιλογής εισόδων που παρουσιάστηκε στην παράγραφο 7.5 και θέτοντας τιή κατωφλίου T nc =035 για την επίλυση του προβλήατος της διαστατικότητας η βαθωτή αρχιτεκτονική παράγει 5 στάδια. Σαν είσοδοι του πρώτου σταδίου θέτονται οι εταβλητές (t) και ( t 6). Σαν είσοδοι του δεύτερου σταδίου θέτονται η εταβλητή ( t 8) και η έξοδος του πρώτου σταδίου η οποία θεωρείται εσωτερική εταβλητή. Σαν είσοδοι του τρίτου σταδίου θέτονται η εταβλητή ( t 30) και η έξοδος του δεύτερου σταδίου. Σαν είσοδοι του τέταρτου σταδίου θέτονται η εταβλητή ( t ) και η έξοδος του τρίτου σταδίου. Τέλος σαν είσοδοι του πέπτου σταδίου θέτονται η εταβλητή ( t 4) και η έξοδος του τέταρτου σταδίου. Αυτή η αρχιτεκτονική περιγράφεται στο παρακάτω σχήα (Σχήα 8.8).
(t) ΣΤΑ ΙΟ ΣΤΑ ΙΟ ΣΤΑ ΙΟ 3 ΣΤΑ ΙΟ 4 ΣΤΑ ΙΟ 5 ( t 6) ( t 8) ( t 30) Σχήα 8.8 ( t ) ( t 4) Θα πρέπει να σηειωθεί ότι για την παραπάνω αρχιτεκτονική λαβάνεται ο ικρότερος συνολικός αριθός ασαφών κανόνων αφού σε κάθε στάδιο υπάρχει ο ελάχιστος επιτρεπτός αριθός εισόδων. Από την άλλη όως ο αριθός των σταδίων θα είναι ο έγιστος δυνατός εποένως και ο συνολικός αριθός των επαναλήψεων (εποχών) που θα απαιτηθούν για την εκπαίδευση των παραέτρων των ασαφών κανόνων θα είναι ο έγιστος δυνατός. Κάθε στάδιο αποτελεί ένα ξεχωριστό HNFQ σύστηα το οποίο αποτελείται από επίπεδα τηατοποιήσεων. Στο παράδειγα ας προκειένου να η υπάρξει ένας υπερβολικά εγάλος παραέτρων d που θα πρέπει να ρυθιστούν θεωρείται η εξής συνθήκη: Κάθε στάδιο της βαθωτής αρχιτεκτονικής (εκτός του τελευταίου) αποτελείται από τέσσερα όνο επίπεδα τηατοποίησης άσχετα ε το πόσο είναι το έσο τετραγωνικό σφάλα. Η συνθήκη για την ικανοποίηση του σφάλατος εξετάζεται στο τελευταίο στάδιο. Στα παρακάτω γραφήατα για κάθε στάδιο του συστήατος και για όλα τα δείγατα του διανύσατος εκπαίδευσης αναπαριστάται η έξοδος του σταδίου (τρέχουσα τιή ( t+ 6) ) σε σχέση ε την επιθυητή τιή (ε κόκκινο χρώα) του συστήατος (επιθυητή τιή ( t+ 6) ). Στο Σχήα 8.9 αναπαριστάται η τιή ( t+ 6) στην έξοδο του πρώτου σταδίου (για τα 600 δείγατα του διανύσατος εκπαίδευσης) ε χρώα πλε ενώ η επιθυητή τιή του ( t+ 6) παριστάνεται ε χρώα κόκκινο.
Σχήα 8.9 Η έξοδος (χρώατος πλε) του πρώτου σταδίου του συστήατος του Σχ. 8.8 Αντιστοίχως τα Σχήατα 8.0 8. και 8. παριστάνουν την τιή ( t+ 6) στην έξοδο του δεύτερου του τρίτου και του τέταρτου σταδίου σε σχέση ε την επιθυητή τιή της ( t+ 6). Σχήα 8.0 Η έξοδος (χρώατος πλε) του δεύτερου σταδίου του συστήατος του Σχ. 8.8
Σχήα 8. Η έξοδος (χρώατος πλε) του τρίτου σταδίου του συστήατος του Σχ. 8.8 Σχήα 8. Η έξοδος (χρώατος πλε) του τέταρτου σταδίου του συστήατος του Σχ. 8.8 Τέλος το Σχήα 8.3 παριστάνει την τιή ( t+ 6) στην έξοδο του πέπτου σταδίου δηλαδή την έξοδο του συστήατος σε σχέση ε την επιθυητή τιή της ( t+ 6).
Σχήα 8.3 Η έξοδος (χρώατος πλε) του πέπτου σταδίου του συστήατος του Σχ. 8.8 Από την ελέτη των Σχηάτων 8.9-8.3 παρατηρείται ια προοδευτική προσέγγιση της ( t+ 6) ύστερα από κάθε στάδιο. Πιο συγκεκριένα το έσο τετραγωνικό σφάλα στην έξοδο του πρώτου σταδίου (ε τέσσερα επίπεδα τηατοποίησης) θα είναι ε =0.053 στην έξοδο του δεύτερου σταδίου θα είναι ε =0.038 στην έξοδο του τρίτου σταδίου θα είναι ε 3 =0.0336 στην έξοδο του τέταρτου σταδίου θα είναι ε 4 =0.095 και τέλος στην έξοδο του συστήατος θα είναι ε 5 =0.079. Όσον αφορά τον αριθό των HNFQ ονάδων στο πρώτο στάδιο θα είναι 34 (+4+0+9). Στο δεύτερο στάδιο θα είναι 5 (+4+7+8) στο τρίτο στάδιο θα είναι 4 (+3+5+5) στο τέταρτο στάδιο θα είναι 0 (+4+4+) και στο πέπτο στάδιο θα είναι 0 (+4+4+). Εποένως το συνολικό άθροισα των HNFQ ονάδων θα είναι 03 (34+5+4+0+0). Ο συνολικός αριθός των κανόνων του συστήατος και συνεπώς ο συνολικός αριθός των παραέτρων των τηάτων συπεράσατος θα είναι 7 (03+63+43+3+3). Το έσο τετραγωνικό σφάλα στην έξοδο του συστήατος για το διάνυσα ελέγχου υπολογίστηκε και βρέθηκε ίσο ε ε=0.09. Στο Σχήα 8.4 παριστάνεται η έξοδος του συστήατος σε σχέση ε την επιθυητή τιή για το διάνυσα ελέγχου.