ΠΡΟΣΟΜΟΙΩΣΗ ΤΟΥ ΑΝΘΡΩΠΙΝΟΥ ΕΓΚΕΦΑΛΟΥ ΑΡΧΙΤΕΚΤΟΝΙΚΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΚΑΙ ΕΦΑΡΜΟΓΕΣ. Πλέρου Αντωνία

Transcript

1 ΠΡΟΣΟΜΟΙΩΣΗ ΤΟΥ ΑΝΘΡΩΠΙΝΟΥ ΕΓΚΕΦΑΛΟΥ ΑΡΧΙΤΕΚΤΟΝΙΚΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Πλέρου Αντωνία ΠΕΡΙΛΗΨΗ Ή παρούσα εργασία πραγματεύεται τον κλάδο της επιστήμης που ασχολείται με τα νευρωνικά δίκτυα. Ξεκίνησε µε σκοπό να δώσει απαντήσεις σε ερωτήματα σχετικά με το τι είναι νευρωνικά δίκτυα ώστε να γίνει συσχέτιση τους µε τον εγκέφαλο και να εντοπιστούν κάποια από τα προβλήματα τα οποία μπορούν να λυθούν με την βοήθεια τους. Έπειτα από σύντομη εισαγωγή στην γνωσιακή επιστήμη αναφέρθηκαν οι διαφορές και ομοιότητες μεταξύ υπολογιστή και ανθρώπινου εγκεφάλου. Με αφορμή την περιγραφή της δομής ενός τεχνητού νευρώνα έγινε σύγκριση με τα βιολογικά νευρωνικά δίκτυα και δόθηκε η περιγραφή του μοντέλου του τεχνητού νευρώνα. Στο τέλος της εργασίας αναφέρθηκαν επιγραμματικά κάποιες από τις σημαντικότερες εφαρμογές των νευρωνικών δικτύων. 1.1.ΓΕΝΙΚΑ Η αναπαράσταση της γνώσης και η προσαρμογή των σημασιολογικών περιγραφών αποτελεί πεδίο έρευνας τα τελευταία χρόνια και πολλά συστήματα έχουν προταθεί για το σκοπό αυτό. Οι δομικές διαφορές υπολογιστή και εγκεφάλου δεν εμποδίζουν την προσπάθεια να υποκατασταθούν κάποιες νοητικές λειτουργίες του εγκέφαλου από υπολογιστικό σύστημα όπως έχει ήδη γίνει για τους αριθμητικούς υπολογισμούς. Αυτό σημαίνει ότι υπάρχει η δυνατότητα αποδοτικότερης εργασίας με την χρήση ενός δυνατού εργαλείου που απαλλάσσει τον ανθρώπινο εγκέφαλο από χρονοβόρες νοητικές λειτουργίες επιτυγχάνοντας έτσι μεγαλύτερη ταχύτητα λογισμού. Στα πλαίσια αυτής της λογικής ξεκίνησε η πρόοδος του κλάδου της επιστήμης υπολογιστών ο οποίος ασχολείται με τη σχεδίαση και την υλοποίηση υπολογιστικών συστημάτων δηλαδή συστημάτων που επιδεικνύουν χαρακτηριστικά που σχετίζονται με τη νοημοσύνη στην ανθρώπινη συμπεριφορά και ονομάστηκε τεχνητή νοημοσύνη. Έτσι μέσα σε μια περίοδο τεχνολογικής ανάπτυξης άρχισε να υλοποιείται η ιδέα να 1

2 κατασκευαστούν μηχανές, οι οποίες θα υιοθετούσαν ανθρώπινες συμπεριφορές και θα λειτουργούσαν με λογική σκέψη [5]. 1.2.ΓΝΩΣΙΑΚΗ ΕΠΙΣΤΗΜΗ Η ιδέα ότι ο ανθρώπινος νους είναι ένας υπολογιστής, την λειτουργία του οποίου γίνεται κατανοητή μέσα από μια διαδικασία αντίστροφης μηχανής έχει φέρει στο προσκήνιο της γνωσιακής επιστήμης μια σειρά από θέματα που έχουν να κάνουν με την εξελικτική θεωρία και φυσικά την εξέλιξη του νου. Η εξελικτική θεωρία υποστηρίζει ότι τα ζωντανά είδη δεν παραμένουν αμετάβλητα και σταθερά αλλά ότι αλλάζουν μέσα στο χρόνο [6]. Οι λειτουργίες του εγκεφάλου φαίνεται να έχουν τροποποιηθεί με το πέρασμα του χρόνου μέσα από αλλεπάλληλες προσαρμοστικές μετατροπές. Πολλοί ψυχολόγοι και γνωσιακοί επιστήμονες πιστεύουν ότι η εξελικτική προσέγγιση συμβάλει στη κατανόηση της κατασκευαστικής δομής του ανθρώπινου εγκεφάλου κάνοντας με αυτό τον τρόπο δυνατή την κατασκευή της αντίστροφης μηχανής του νου [10]. Μια βασική μέθοδος έλεγχου θεωριών νοητικών λειτουργιών με τον υπολογιστή είναι η προσομοίωση (simulation). Η μέθοδος της προσομοίωσης προϋποθέτει τον προγραμματισμό ενός υπολογιστή ώστε να συμπεριφέρεται κατά το δυνατό πλησιέστερα προς ένα φυσικό σύστημα όπως ο εγκέφαλος όταν εκτελεί μια πνευματική ή νοητική λειτουργία. Το πρόγραμμα προσομοίωσης ονομάζεται και υπολογιστικό πρότυπο ή μοντέλο. Ένα υπολογιστικό πρότυπο μπορεί να προέρχεται από την υλοποίηση ενός μαθηματικού συστήματος εξισώσεων ή ενός αλγορίθμου. Με βάση τα παραπάνω πρότυπα έχουν γίνει διάφορες προσπάθειες κατασκευής ηλεκτρονικών συστημάτων που έχουν δομή ανάλογη με εκείνη του εγκεφάλου. Τα πλέον διαδεδομένα από αυτά τα συστήματα είναι τα τεχνητά νευρωνικά δίκτυα [1]. 1.3.ΔΙΑΦΟΡΕΣ ΥΠΟΛΟΓΙΣΤΗ ΚΑΙ ΑΝΘΡΩΠΙΝΟΥ ΕΓΚΕΦΑΛΟΥ Πολλά από τα στοιχεία λειτουργίας του ανθρώπινου νου που έχουν γίνει έως τώρα γνωστά χρησιμοποιήθηκαν για τη προσομοίωση του ανθρώπινου εγκεφάλου από συστήματα τεχνητής νοημοσύνης. Το σημαντικότερο όμως εμπόδιο στην προσπάθεια προσομοίωσης του ανθρωπίνου εγκεφάλου από ένα λειτουργικό σύστημα είναι οι διαφορές στην αρχιτεκτονική και στην δομή αυτών των δυο συστημάτων. Μια από τις διαφορές των δυο συστημάτων είναι ότι υπάρχει διαφορετική ηλεκτρική λειτουργία και συνδεσιμότητα όπως επίσης και διαφορά ως προς την υλική κατασκευή. Επίσης υπάρχει διαφοροποίηση όσον αφορά την αναγνώριση προτύπων. Στον 2

3 υπολογιστή η αναγνώριση γίνεται με βάση το περίγραμμα των αντικειμένων. Ειδικότερα ο υπολογιστής δεν διαθέτει σύστημα αναγνώρισης εικόνων συγκρίσιμο με το ανθρώπινο οπτικό σύστημα. Χαρακτηριστικό είναι ότι ο ανθρώπινος εγκέφαλος μπορεί να εκτελέσει αναγνώριση προτύπων ή αλλιώς να αναγνωρίσει γνωστά πρόσωπα σε άγνωστα περιβάλλοντα χρειάζεται περίπου χιλιοστά του δευτερολέπτου, ενώ ένας πολύ ισχυρός υπολογιστής θα χρειαζόταν ίσως ολόκληρες μέρες για να εκτελέσει μια τέτοια διαδικασία [9]. Μια ακόμα διαφορά είναι ότι η καταχώρηση και η επεξεργασία πληροφοριών εκτελούνται στον υπολογιστή από σαφώς διακριτά συστήματα δηλαδή την μνήμη και την κεντρική μονάδα επεξεργασίας σε αντίθεση με τον εγκέφαλο. Επιπλέον ο υπολογιστής έχει την δυνατότητα πλήρους διαγραφής όλων των πληροφοριών από την μνήμη και την αποθήκευση νέων στοιχείων και προγραμμάτων σε αντίθεση με τον ανθρώπινο εγκέφαλο στον οποίο δεν θα ήταν ποτέ δυνατή μια τέτοια διαδικασία [3]. Τέλος ο υπολογιστής επιδεικνύει πολύ μεγάλη ακρίβεια εκτέλεσης αριθμητικών διαδικασιών και χαρακτηρίζεται από λειτουργική σταθερότητα σε αντίθεση με τον εγκέφαλο ο οποίος επηρεάζεται από οργανικούς, ψυχολογικούς αλλά και συναισθηματικούς παράγοντες. Έτσι ένα υπολογιστικό μηχάνημα δεν διαθέτει ούτε θα αποκτήσει λόγο αδυναμίας της σημερινής τεχνολογικής γνώσης ανθρώπινη συνείδηση. 2.ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ 2.1.ΑΠΟ ΤΑ ΒΙΟΛΟΓΙΚΑ ΣΤΑ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τα τεχνητά νευρωνικά δίκτυα ενώ προέρχονται ως φιλοσοφία από τα βιολογικά νευρωνικά δίκτυα είναι πιο απλοϊκά λόγο ανεπάρκειας τεχνολογιών. Τα τεχνητά νευρωνικά δίκτυα παρέχουν ένα εναλλακτικό μοντέλο το οποίο είναι εμπνευσμένο από τα βιολογικά μοντέλα σύμφωνα με το οποίο οι υπολογισμοί γίνονται παράλληλα και μαζικά και η εκπαίδευση αντικαθιστά την ανάπτυξη προγράμματος. Είναι μια προσπάθεια προσομοίωσης με την βοήθεια υπολογιστών του ανθρώπινου νευρικού συστήματος. Μελετώντας τα βιολογικά νευρωνικά δίκτυα που υπάρχουν στον ανθρώπινο εγκέφαλο παρατηρούμε ότι αποτελούνται επίσης από νευρώνες. Ο νευρώνας είναι το μικρότερο τμήμα του εγκεφάλου που είναι ικανό να επεξεργαστεί πληροφορίες και η ύπαρξη του διαφοροποιεί τα ζώα από τα φυτά (τα φυτά δεν έχουν νευρώνες). Τυπικά η επεξεργασία στους νευρώνες γίνεται 5 με 6 τάξεις μεγέθους πιο αργά από ότι στις σύγχρονες ψηφιακές λογικές πύλες. Ο χρόνος για τις ψηφιακές λογικές πύλες μετριέται σε δισεκατομμυριοστά του δευτερολέπτου (nanoseconds), ενώ 3

4 για τους νευρώνες σε χιλιοστά του δευτερολέπτου (milliseconds) [2]. Όμως ο εγκέφαλος αντισταθμίζει την σχετικά αργή ταχύτητα λειτουργίας νευρώνων με τον πραγματικά τεράστιο αριθμό των μεταξύ τους συνδέσεων. Υπολογίζεται ότι υπάρχουν 10 δισεκατομμύρια νευρώνες και 60 τρισεκατομμύρια συνδέσεις στον φλοιό του ανθρώπινου εγκεφάλου, γεγονός που αποτελεί βασικό λόγο ανεπάρκειας του υπολογιστή για την απόλυτη προσομοίωση του με τον εγκέφαλο [7]. Οι βιολογικοί νευρώνες αποτελούνται από τρία βασικά τμήματα που είναι το σώμα, ο άξονας και οι δενδρίτες. Αναλυτικότερα οι δενδρίτες, λαμβάνουν σήματα από γειτονικούς νευρώνες. Τα σήματα αυτά είναι ηλεκτρικοί παλμοί που διαδίδονται μεταξύ του άξονα του νευρώνα πομπού και των δενδριτών του νευρώνα δέκτη με την βοήθεια χημικών διεργασιών. Το σημείο των χημικών διεργασιών, όπου ο άξονας ενός νευρώνα μεταδίδει το σήμα στους δενδρίτες του επόμενου λέγεται σύναψη. Αναφορικά αυτές οι διεργασίες μεταβάλλουν τα εισερχόμενα σήματα αλλάζοντας τη συχνότητα τους. Στην συνέχεια το σώμα αθροίζει τα εισερχόμενα σήματα και όταν αρκετά σήματα έχουν ληφθεί αποστέλλει το επεξεργασμένο σήμα στους γειτονικούς του νευρώνες μέσω του άξονα. Έτσι κάθε νευρώνας δέχεται πολλά σήματα ως είσοδο και μετά την επεξεργασία τους διαδίδει μόνο ένα σε όλους τους νευρώνες με τους οποίους συνδέεται [4]. Σχήμα 2.2.Αναλογία με το βιολογικό δίκτυο. 2.2.ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Τα τεχνητά νευρωνικά δίκτυα αποτελούν μια προσπάθεια προσέγγισης της λειτουργίας του ανθρώπινου εγκεφάλου από μια μηχανή και έχουν την ικανότητα να εκτελούν υπολογισμούς με μαζικό παράλληλο τρόπο [3]. Το τεχνητό νευρωνικό 4

5 δίκτυο είναι ένα μοντέλο επεξεργασίας πληροφοριών εμπνευσμένο από τον τρόπο με τον οποίο βιολογικά νευρικά συστήματα, όπως o εγκέφαλος, επεξεργάζονται πληροφορίες. Το βασικό στοιχείο αυτού του μοντέλου είναι η πρωτότυπη δομή του συστήματος επεξεργασίας πληροφοριών. Τα τεχνητά νευρωνικά δίκτυα είναι μια συλλογή μεγάλου αριθμού συνδεδεμένων στοιχείων επεξεργασίας που ονομάζονται νευρώνες (Processing Units, Pus) οι οποίοι συνδέονται μεταξύ τους, λειτουργούν αρμονικά και είναι οργανωμένοι σε στρώματα (Layers). Κάθε PUs έχει πολλές εισόδους (Inputs) αλλά μόνο μια έξοδο (Output) η οποία με την σειρά της μπορεί να αποτελέσει είσοδο για άλλες PUs. Οι συνδέσεις μεταξύ των PUs διαφέρουν μεταξύ τους και η σπουδαιότητα τους προσδιορίζεται από τον συντελεστή βάρους για κάθε σύναψη. Η συνεργασία PUs καθορίζεται από την συνάρτηση μεταφοράς η οποία καθορίζει την κάθε έξοδο σε σχέση με τις εισόδους και τους συντελεστές βάρους. Η επεξεργασία κάθε νευρώνα καθορίζεται από την συνάρτησης ενεργοποίησης η οποία καθορίζει την έξοδο σε σχέση με τις εισόδους και τους συντελεστές βάρους [8]. Για να χρησιμοποιηθεί ένα δίκτυο πρέπει αρχικά να περάσει την διαδικασία εκπαίδευσης. Η μάθηση περιλαμβάνει αλλαγές στις συναπτικές σχέσεις (βάρη) που περιέχονται μεταξύ των νευρώνων. Συγκεκριμένα ένα μέρος της εκπαίδευσης αποτελεί τη διαδικασία προσδιορισμού των καταλλήλων συντελεστών βάρους το οποίο πραγματοποιείται με την βοήθεια καταλλήλων αλγορίθμων. Έπειτα από αυτή την διαδικασία το ΤΝΔ είναι σε θέση να εκτελεί τους κατάλληλους υπολογισμούς για τους οποίους εκπαιδεύτηκε χρησιμοποιώντας έτσι την εμπειρική γνώση που απέκτησε. Ο ρόλος των συντελεστών μάθησης μπορεί να ερμηνευτεί ως αποθήκευση γνώσης, η οποία παρέχεται στο σύστημα με την βοήθεια παραδειγμάτων κάτι που ισχύει και στα βιολογικά νευρωνικά δίκτυα. Με αυτό τον τρόπο τα ΤΝΔ μαθαίνουν το περιβάλλον τους, ή με άλλα λόγια το φυσικό μοντέλο που παρέχει τα δεδομένα. Συνοψίζοντας καταλήγουμε στον παρακάτω ορισμό σύμφωνα με τους Aleksander και Morton (1990) [4]. Ορισμός : Τεχνητό Νευρωνικό Δίκτυο είναι ένας παράλληλος κατανεμημένος επεξεργαστής που έχει µια φυσική κλίση στην αποθήκευση και απόδοση εμπειρικής γνώσης. Μοιάζει με τον εγκέφαλο στα εξής: 1. Η γνώση λαμβάνεται από το δίκτυο µέσω μιας διαδικασίας εκπαίδευσης. 2. Η αποθήκευση της γνώσης γίνεται µέσω των βαρών που υπάρχουν στις συνδέσεις μεταξύ των νευρώνων [2]. 5

6 2.3.ΤΟ ΜΟΝΤΕΛΟ ΤΟΥ ΤΕΧΝHΤΟΥ ΝΕΥΡΩΝΑ Ένας νευρώνας είναι µία μονάδα επεξεργασίας πληροφορίας, που είναι θεμελιακή για την λειτουργία ενός νευρωνικού δικτύου. Το σχήμα δείχνει το μοντέλο ενός νευρώνα. Σχήμα Η μορφή του τεχνητού νευρώνα [2]. Τα τρία βασικά στοιχεία αυτού του μοντέλου είναι: 1. Ένα σύνολο από συνάψεις ή συνδετικούς κρίκους, κάθε µία από τις οποίες χαρακτηρίζεται από ένα βάρος ή δύναμη. Συγκεκριμένα, ένα σήμα x j στην είσοδο της σύναψης j που συνδέεται στον νευρώνα k, πολλαπλασιάζεται µε το συναπτικό βάρος w kj. Ο πρώτος υποδείκτης αναφέρεται στον εν λόγο νευρώνα και ο δεύτερος στην είσοδο της σύναψης όπου αναφέρεται το βάρος. Το βάρος w kj είναι θετικό αν η σύναψη είναι διεγερτική δηλαδή ωθεί τον νευρώνα να αποκριθεί στη διέγερση ενώ αρνητικό αν η σύναψη είναι απαγορευτική δηλαδή αποτρέπει τoν νευρώνα να παράγει µία απόκριση. 2. Ένας αθροιστικός κόμβος για την πρόσθεση των σημάτων εισόδου, που παίρνουν βάρος από την αντίστοιχη σύναψη. Αυτές οι λειτουργίες αποτελούν το γραµµικό συνδυαστή u k. 3. Μια συνάρτηση ενεργοποίησης για τη μείωση του εύρους της εξόδου του νευρώνα [2],[12]. Το μοντέλο επίσης περιλαμβάνει μια εξωτερικά εφαρμοζόμενη πόλωση (κατώφλι) θ k, που έχει επίδραση στην ελάττωση της εισόδου στην εφαρμοζόμενη 6

7 συνάρτηση ενεργοποίηση που ακολουθεί. Αντίθετα, η είσοδος του δικτύου μπορεί να αυξηθεί µε την χρήση ενός όρου μεροληψίας, ο οποίος είναι ο αντίθετος από τη πόλωση (bias) [4]. Παρακάτω θα συμβολίζονται με x j τα σήματα εισόδου, με w kj τα συναπτικά (synaptic) βάρη του νευρώνα και με u k τη γραμμική συνδυαστική έξοδος του. Επίσης θα συμβολίζονται με θ k η πόλωση, με φ(.) η συνάρτηση ενεργοποίησης και με y k το σήμα εξόδου του νευρώνα το οποίο αναφέρεται και ως πραγματική έξοδος [3]. Με μαθηματικούς όρους, ένας νευρώνας k περιγράφεται από τις παρακάτω εξισώσεις: p u = w x k kj j j=1 και y=φ(u- θ) k k k. 2.7.ΑΡΧΙΤΕΚΤΟΝΙΚΕΣ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Ο τρόπος µε τον οποίο οι νευρώνες ενός ΤΝΔ είναι δομημένοι είναι στενά συνδεδεμένος µε τον αλγόριθμο εκπαίδευσης που χρησιμοποιείται για το δίκτυο. Γενικά υπάρχουν τέσσερις διαφορετικές κλάσεις αρχιτεκτονικών δικτύου ΜΟΝΟΣΤΡΩΜΑΤΙΚΑ ΤΡΟΦΟΔΟΤΟΥΜΕΝΑ ΠΡΟΣ ΤΑ ΕΜΠΡΟΣ ΔΙΚΤΥΑ (Single Layer Feedforward Networks) Η πιο απλή μορφή νευρωνικού δικτύου µε επίπεδα είναι ένα νευρωνικό δίκτυο ενός στρώματος. Στην περίπτωση αυτή έχουμε ένα στρώμα µε κόμβους εισόδου που προβάλλονται σε ένα στρώμα εξόδου µε νευρώνες. Το αντίθετο όμως δεν ισχύει, να γίνει δηλαδή προβολή των νευρώνων εξόδου στους κόμβους εισόδου. Αυτό το δίκτυο είναι αυστηρά ένα προς τα εμπρός τροφοδοτούμενο δίκτυο και καλείται «Feedforward Δίκτυο ενός Στρώματος». Με τον όρο «ενός στρώματος» περιγράφεται το στρώμα εξόδου που περιέχει και τους νευρώνες στους οποίους γίνονται οι υπολογισμοί. 7

8 Σημειώνεται ότι δεν υπολογίζεται το στρώμα εισόδου µε τους κόμβους εισόδου γιατί σε αυτό δεν γίνονται καθόλου υπολογισμοί ΠΟΛΥΣΤΡΩΜΑΤΙΚΑ ΤΡΟΦΟΔΟΤΟΥΜΕΝΑ ΠΡΟΣ ΤΑ ΕΜΠΡΟΣ ΔΙΚΤΥΑ (Multilayer Feedforward Networks) Η δεύτερη κατηγορία προς τα εμπρός τροφοδοτούμενων δικτύων διαφέρει από την πρώτη στην ύπαρξη ενός ή περισσοτέρων κρυφών στρωμάτων, των οποίων οι νευρώνες καλούνται κρυφοί νευρώνες. Η λειτουργία των κρυφών νευρώνων είναι να δέχονται τα σήματα από τους κόμβους εισόδου, οι οποίοι δεν λειτουργούν ως νευρώνες απλά μεταδίδουν τις τιμές στο επόμενο στρώμα. Τελικά τα κρυφά στρώματα αφού δεχθούν αυτό το σήμα το μεταφέρουν στους νευρώνες εξόδου του δικτύου. Με την προσθήκη ενός ή περισσότερων τέτοιων στρωμάτων, παρέχεται η δυνατότητα στο δίκτυο να προσεγγίζει συναρτήσεις µε μεγαλύτερη πολυπλοκότητα. Οι κόμβοι εισόδου στο στρώμα εισόδου παρέχουν τα στοιχεία των διανυσμάτων των προτύπων που γίνονται είσοδοι στους νευρώνες του δεύτερου επιπέδου, δηλαδή του πρώτου κρυφού στρώματος [5]. Τα σήματα εξόδου των νευρώνων του δεύτερου στρώματος, χρησιμοποιούνται σαν σήματα εισόδου στο τρίτο στρώμα και συνεχίζεται κατά αυτό τον τρόπο η ροή των σημάτων μεταξύ των στρωμάτων του δικτύου. Συνήθως, οι νευρώνες σε κάθε στρώμα του δικτύου, παίρνουν ως είσοδο, τα σήματα εξόδου από τους νευρώνες του προηγουμένου στρώματος µόνο. Το σύνολο των σημάτων εξόδου στο στρώμα εξόδου (τελευταίο στρώμα του δικτύου), αποτελεί και την απάντηση του δικτύου για τα δεδομένα που εισάγονται στους κόμβους εισόδου [7]. Στο σχήμα φαίνεται ένα πολυστρωματικό προς τα εμπρός τροφοδοτούμενο δίκτυο µε ένα κρυφό στρώμα. Για συντομία το δίκτυο του σχήματος αναφέρεται και σαν δίκτυο αφού έχει 10 κόμβους εισόδου, 4 νευρώνες στο κρυφό στρώμα και 2 νευρώνες στο στρώμα εξόδου. Γενικά ένα δίκτυο µε p κόμβους εισόδου, h 1 νευρώνες στο πρώτο κρυφό στρώμα, h 2 νευρώνες στο δεύτερο κρυφό στρώμα, κ.λπ. h n νευρώνες στο n- οστό κρυφό στρώμα και q νευρώνες στο στρώμα εξόδου, αναφέρεται σαν ένα p h 1 h 2... h n q δίκτυο. 8

9 Σχήμα Πολυστρωματικό προς τα Εμπρός Τροφοδοτούμενο Δίκτυο με κρυφό στρώμα και τοπολογία [5]. Το νευρωνικό δίκτυο του σχήματος λέγεται ότι είναι πλήρως συνδεδεμένο (Fully connected), µε την έννοια ότι κάθε κόμβος σε κάθε στρώμα του δικτύου είναι συνδεδεμένος µε κάθε κόμβο του επόμενου στρώματος του δικτύου. Στην περίπτωση που κάποιες από τις συνδέσεις δεν υπάρχουν τότε λέμε ότι το δίκτυο είναι μερικώς συνδεδεμένο (Partially connected). Ένα είδος μερικώς συνδεδεμένου πολυστρωματικού προς τα εμπρός τροφοδοτούμενου δικτύου που έχει ιδιαίτερο ενδιαφέρον είναι ένα τοπικά συνδεδεμένο δίκτυο [7]. Ένα παράδειγμα τέτοιου δικτύου µε ένα κρυφό στρώμα απεικονίζεται στο σχήμα

10 Σχήμα Τοπικά Διασυνδεδεμένο Πολυστρωματικό προς τα Εμπρός Τροφοδοτούμενο Δίκτυο [5]. Κάθε νευρώνας στο κρυφό στρώμα συνδέεται µε ένα τοπικό σύνολο από κόμβους εισόδου που βρίσκονται κοντά σε αυτόν. Αυτό το τοπικό σύνολο καλείται το πεδίο υποδοχής (Receptive field) του νευρώνα. Ομοίως κάθε νευρώνας του στρώματος εξόδου συνδέεται µε ένα τοπικό σύνολο νευρώνων του κρυφού στρώματος. Το δίκτυο του σχήματος έχει τον ίδιο ακριβώς αριθμό κόμβων εισόδου, κρυφών νευρώνων και νευρώνων εξόδου µε το δίκτυο του σχήματος Αν συγκρίνουμε αυτά τα δύο δίκτυα, παρατηρούμε ότι το τοπικά συνδεδεμένο δίκτυο του σχήματος έχει εξειδικευμένη δομή. Στην πράξη η εξειδικευμένη δομή που δίνεται στο νευρωνικό δίκτυο αντικατοπτρίζει προηγούμενη πληροφορία που υπάρχει για τα χαρακτηριστικά των δεδομένων προτύπων που θα εισαχθούν στο δίκτυο για κατηγοριοποίηση [5] ΑΝΑΔΡΟΜΙΚΑ ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ (Recurrent Neural Networks) Ένα αναδρομικό νευρωνικό δίκτυο διαφέρει από ένα προς τα εμπρός τροφοδοτούμενο δίκτυο στο γεγονός ότι περιέχει έναν τουλάχιστον βρόγχο ανατροφοδότησης. Αυτό σημαίνει ότι σε έναν τουλάχιστον νευρώνα, το σήμα εξόδου του επηρεάζει το σήμα που έρχεται στην είσοδο του νευρώνα. Ένας τέτοιος βρόγχος 10

11 φαίνεται στο σχήμα Για παράδειγμα, ένα αναδρομικό νευρωνικό δίκτυο μπορεί να αποτελείται από ένα µόνο στρώμα νευρώνων όπου κάθε νευρώνας επιστρέφει το σήμα εξόδου του ως σήμα εισόδου σε όλους τους άλλους νευρώνες του στρώματος όπως δείχνει το σχήμα Στο σχήμα αυτό δεν υπάρχουν βρόγχοι όπου ένας νευρώνας να επιστρέφει το σήμα εξόδου του ως είσοδο στον αρχικό νευρώνα ούτε κρυφοί νευρώνες. Στο σχήμα παρουσιάζεται µια άλλη κλάση αναδρομικών νευρωνικών δικτύων που έχουν κρυφούς νευρώνες [5]. Οι αναδρομικές συνδέσεις που φαίνονται στο σχήμα, ξεκινάνε τόσο από τους κρυφούς νευρώνες όσο και από τους νευρώνες εξόδου [7]. Η ύπαρξη αυτή των βρόγχων όπως φαίνονται στα σχήματα και επηρεάζει σημαντικά την επίδοση και την ικανότητα του δικτύου να εκπαιδευθεί. Επίσης, οι αναδρομικοί βρόγχοι περιλαμβάνουν και την χρήση στοιχείων καθυστέρησης (στο σχήμα συμβολίζονται µε z 1 ) έχοντας ως αποτέλεσμα µια δυνητική µη γραμμική συμπεριφορά του δικτύου. Σχήμα Βρόγχος σε αναδρομικό ΤΝΔ [5]. 11

12 Σχήμα Αναδρομικό ΤΝΔ µε ένα στρώμα [5]. 12

13 Σχήμα Αναδρομικό δίκτυο με ν κρυφούς νευρώνες ΠΛΕΓΜΑΤΙΚΕΣ ΔΟΜΕΣ (Lattice Structures) Ένα πλέγμα αποτελείται από έναν μονοδιάστατο, δισδιάστατο ή πολυδιάστατο πίνακα από νευρώνες µε ένα αντίστοιχο σύνολο κόμβων εισόδου που παρέχουν τα σήματα εισόδου στον πίνακα. Η διάσταση του πλέγματος αναφέρεται στον αριθμό των διαστάσεων του χώρου στον οποίο βρίσκεται το πλέγμα. Στα παρακάτω σχήματα παραδείγματα, ένα μονοδιάστατο πλέγμα στο σχήμα µε τρεις νευρώνες και τρεις κόμβους εισόδου και ένα δισδιάστατο πλέγμα στο σχήμα µε 3 3 νευρώνες και τρεις κόμβους εισόδου [5]. Σημειώνεται ότι και στις δύο περιπτώσεις κάθε κόμβος εισόδου συνδέεται µε κάθε νευρώνα του πλέγματος. Στην πράξη ένα πλεγματικό δίκτυο είναι ένα προς τα εμπρός τροφοδοτούμενο δίκτυο του οποίου οι νευρώνες είναι διατεταγμένοι σε γραμμές και στήλες [7]. Σχήμα Μονοδιάστατο πλέγμα [5]. 13

14 Σχήμα Δισδιάστατο πλέγμα [5] Ο ΑΛΓΟΡΙΘΜΟΣ BACK PROPAGATION Στο σχήμα παρουσιάστηκε η αρχιτεκτονική ενός MLP. Η αντίστοιχη αρχιτεκτονική για την εκπαίδευση του δικτύου µε τον αλγόριθμο Back Propagation παρουσιάζεται στο σχήμα και περιλαμβάνει τόσο την προς τα εμπρός φάση της εκπαίδευσης όσο και την προς τα πίσω. 14

15 Σχήμα Η διαδικασία Back Propagation [5] Το ΤΝΔ που φαίνεται στο πάνω κομμάτι του σχήματος αντιστοιχεί στην προς τα εμπρός φάση της διαδικασίας [5]. Οι συμβολισμοί που χρησιμοποιούνται στο πάνω κομμάτι του σχήματος έχουν ως εξής: w (l) = διάνυσμα βαρών των συνάψεων ενός νευρώνα του στρώματος l. 15

16 θ (l) = πόλωση ενός νευρώνα του στρώματος l. v (l) = διάνυσμα εσωτερικής δραστηριότητας των νευρώνων του στρώματος l y (l) = διάνυσμα σημάτων συναρτήσεων των νευρώνων του στρώματος l. Ο δείκτης l κάθε στρώματος ξεκινάει από το στρώμα εισόδου (l=0) μέχρι το δίκτυο εξόδου (l=l). Στο σχήμα συμβαίνει L=3 και το L λέγεται βάθος του δικτύου. Το κάτω κομμάτι του σχήματος παρουσιάζει την «προς τα πίσω φάση» που αναφέρεται σαν δίκτυο ευαισθησίας και υπολογίζει τις τοπικές κλίσεις στον αλγόριθμο BP. Οι συμβολισμοί του κάτω τμήματος του σχήματος έχουν ως εξής: δ (l) = διάνυσμα τοπικών κλίσεων των νευρώνων του στρώματος l e = διάνυσμα σφάλματος που έχει σαν στοιχεία τα e 1,e 2,...,e q Το BP δίκτυο είναι ένα πολυστρωματικό τροφοδοτούμενο προς τα εμπρός ΤΝΔ στο οποίο οι έξοδοι των νευρώνων ενός στρώματος αποτελούν τις εισόδους των νευρώνων του επόμενου στρώματος και αποτελεί ένα από τα πιο απλά µέλη της οικογένειας αλγορίθμων που είναι γνωστοί ως "Gradient Descent". Ένα τέτοιο δίκτυο φαίνεται στο σχήμα Σχήμα Πολυστρωματικό προς τα Εμπρός Τροφοδοτούμενο Τ.Ν.. [17]. 16

17 Η διαδικασία που ακολουθεί ο αλγόριθμος BP για να εκπαιδεύσει το δίκτυο έχει τα παρακάτω βήματα: 1.Βήμα: Αρχικοποίηση. Αναθέτει σε όλα τα βάρη των συνάψεων και τις πολώσεις των νευρώνων του δικτύου μικρούς τυχαίους αριθμούς από την ομοιόμορφη κατανομή. 2.Βήμα: Είσοδος των προτύπων για εκπαίδευση. Δίνει στο δίκτυο τα πρότυπα για την εκπαίδευση. Για κάθε πρότυπο στο σύνολο εκτελεί την παρακάτω αλληλουχία προς τα εμπρός και προς τα πίσω ενεργειών που περιγράφονται στα Βήματα 3 και 4 αντίστοιχα. 3.Βήμα: Προς τα εμπρός υπολογισμοί. Έστω ότι ένα πρότυπο για εκπαίδευση συμβολίζεται µε [x(n),d(n)], όπου x(n) είναι το διάνυσμα του προτύπου που εισάγεται στο δίκτυο από το στρώμα εισόδου και d(n) είναι η επιθυμητή απάντηση από το δίκτυο που δίνεται στους νευρώνες εξόδου του δικτύου. Υπολογίζονται οι δυνατότητες ενεργοποίησης και τα σήματα των συναρτήσεων των νευρώνων προχωρώντας προς τα εμπρός στο δίκτυο από στρώμα σε στρώμα. Η εσωτερική δραστηριότητα v j (l) (n) για τον νευρώνα j που βρίσκεται στο στρώμα l του δικτύου δίνεται από τη σχέση: p (l) l (l-1) j j i i=0 v (n)= w (n)y (n) Όπου y ι (l-1) (n) συμβολίζεται το σήμα συνάρτησης του νευρώνα i στο προηγούμενο στρώμα (l 1) στην n-οστή επανάληψη και όπου w j l (n) συμβολίζεται το βάρος της σύναψης στο στρώμα (l 1). Για i = 0 έχω y 0 (l-1) (n) = 1 και w 0 l (n)= θ j l (n), όπου θj l (n) είναι η πόλωση του νευρώνα j που βρίσκεται στο στρώμα l. Έτσι µε βάση τη σιγμοειδή συνάρτηση που χρησιμοποιήθηκε πιο πριν το σήμα συνάρτησης του νευρώνα j του στρώματος l θα δίνεται από τον τύπο: 17

18 1 (l) y j (n)= 1+exp(-v (l) j (n)) Αν ο νευρώνας j βρίσκεται στο πρώτο κρυφό στρώμα δηλαδή l=1, γίνεται αντικατάσταση με (0) j j y n = x n όπου x j (n) είναι το j-οστό στοιχείο του διανύσματος του προτύπου εισόδου (n). Αν ο νευρώνας j βρίσκεται στο στρώμα εξόδου, δηλαδή l = L, γίνεται αντικατάσταση (L) j j y n = o n όπου o j (n) είναι η έξοδος του δικτύου για τον νευρώνα j. Στη συνέχεια υπολογίζεται το σήμα σφάλματος e j (n)= d j (n) o j (n). Με d j (n) συμβολίζεται το j-οστό στοιχείο του διανύσματος της επιθυμητής απάντησης για το δίκτυο d(n). 4.Βήµα: Προς τα πίσω υπολογισμοί. Υπολογίζονται τοπικές κλίσεις δ του δικτύου προχωρώντας προς τα πίσω από στρώμα σε στρώμα ως εξής: (L) (L) δ j (n)=e J (n)o j(n) 1-o j (n) για τον νευρώνα j στο στρώμα εξόδου L δ (n)=y (n) 1-y (n) δ (n)w (n) (l) (l) (l) l+1 l+1 j j i k κ kj για τον νευρώνα j στο κρυφό στρώμα L Στη συνέχεια προσαρμόζονται τα βάρη των συνάψεων του δικτύου στο στρώμα l σύμφωνα µε το γενικευμένο κανόνα του δ: 18

19 w (n+1)=w (n)+a w (n)-w (n-1) +nδ (n)y l l l l l (l-1) ji ji ji ji j i (n) 5.Βήμα: Επανάληψη. Επαναλαμβάνονται οι υπολογισμοί παρουσιάζοντας νέα πρότυπα εκπαίδευσης στο δίκτυο μέχρι οι ελεύθερες παράμετροι του δικτύου σταθεροποιήσουν τις τιμές τους και η συνάρτηση σφάλματος για όλο το σύνολο προτύπων εκπαίδευσης αποκτήσει την ελάχιστη τιμή της ή µια πολύ μικρή αποδεκτή τιμή. Η σειρά που θα τροφοδοτούνται τα πρότυπα στο δίκτυο θα πρέπει να μεταβάλλεται τυχαία [5]. Σημαντικό ρόλο έχει η συνάρτηση ενεργοποίησης, η οποία, σε αντίθεση µε τον αισθητήρα ανήκει στην κατηγορία των σιγμοειδών. Συνηθέστερα χρησιμοποιείται η σιγμοειδής συνάρτηση με τύπο: 1 f(x)= 1+e -x η οποία παράγει, όπως φαίνεται και από την γραφική της παράσταση, τιμές μεταξύ 0 και 1. Σχήμα Σιγμοειδής συνάρτηση [17]. 19

20 Μάλιστα, όσο μεγαλύτερο το x, τόσο πιο κοντά είναι το αποτέλεσμα στο 1 και αντίστροφα, όσο μικρότερο το x, τόσο πιο κοντά στο 0 είναι το αποτέλεσμα. Επίσης η παράγωγος της βοηθάει στην εκπαίδευση του δικτύου µε την ομαλότητα που παρουσιάζει: ' f (x)=f(x)(1-f(x)) Μια άλλη συνάρτηση που χρησιμοποιείται συχνά είναι η υπερβολική εφαπτομένη: f(x)=tanh(x) η οποία έχει παρόμοιες ιδιότητες µε την σιγμοειδή, µε την διαφορά ότι είναι συμμετρική ως προς την αρχή των αξόνων [17]. Σχήμα Συνάρτηση Υπερβολικής εφαπτομένης [17]. 3.3.ΔΙΚΤΥΟ KOHONEN - SELF ORGANIZING MAP (SOM) Σε αυτή την παράγραφο αυτό γίνεται αναφορά σε ένα παράδειγμα δικτύου που ανήκει στην κατηγορία της μη επιβλεπόμενης μάθησης (un supervised learning), δηλαδή της μάθησης χωρίς την παρουσία «δασκάλου». Περισσότερο συγκεκριμένα σε 20

21 ένα συγκεκριμένο είδος μη επιβλεπόμενης μάθησης, την ανταγωνιστική μάθηση (Competitive learning). Στην ανταγωνιστική μάθηση οι νευρώνες ανταγωνίζονται μεταξύ τους για το ποιος θα ενεργοποιηθεί. Ενώ σε άλλα είδη μάθησης όπως για παράδειγμα στη μάθηση Hebb μπορούν να ενεργοποιούνται ταυτόχρονα περισσότεροι του ενός νευρώνες, στην ανταγωνιστική μάθηση μόνο ένας νευρώνας μπορεί να είναι ενεργός κάθε φορά. Ο νευρώνας αυτός που «κερδίζει τον ανταγωνισμό» ονομάζεται Winner takes all neuron [35]. Η βασική ιδέα της ανταγωνιστικής μάθησης ξεκίνησε τη δεκαετία του 70, όμως για πρώτη φορά έτυχε της προσοχής της ακαδημαϊκής και ερευνητικής κοινότητας στα τέλη της δεκαετίας του 80, όταν ο Teuvo Kohonen παρουσίασε μια ειδική τάξη τεχνητών νευρωνικών δικτύων τα οποία ονόμασε αυτοοργανωμένους χάρτες χαρακτηριστικών (Self Organizing Feature Maps) ([36], [37]). Ο ανθρώπινος εγκέφαλος αποτελείται από τον εγκεφαλικό φλοιό, ο οποίος είναι μια πολύ πολύπλοκη δομή από δισεκατομμύρια νευρώνες και εκατοντάδες δισεκατομμύρια συνάψεις. Ο φλοιός στην οργάνωση του δεν παρουσιάζει ούτε ομοιομορφία ούτε και ομοιογένεια. Περιλαμβάνει περιοχές που χαρακτηρίζονται από το πάχος των επιπέδων τους και τον τύπο των νευρώνων που υπάρχουν σε αυτές. Κάθε μία από τις περιοχές αυτές είναι υπεύθυνη και για μια διαφορετική ανθρώπινη λειτουργία, όπως για παράδειγμα την όραση, την κίνηση, την ακοή κ.τ.λ. και κάθε μια σχετίζεται με διαφορετικά αισθητήρια όργανα. Άρα κάθε διαφορετικό αισθητήριο όργανο απεικονίζεται σε μια αντίστοιχη περιοχή στον εγκεφαλικό φλοιό. Με άλλα λόγια ο φλοιός είναι ένας αυτοοργανωμένος υπολογιστικός χάρτης (Self Organizing Computational Map) στον ανθρώπινο εγκέφαλο [35]. Ο Kohonen διατύπωσε την αρχή του σχηματισμού τοπογραφικού χάρτη (Principle of Topographic Map Formation) [37]. Σύμφωνα με την αρχή αυτή η θέση ενός νευρώνα εξόδου σε ένα τοπογραφικό χάρτη αντιστοιχεί σε ένα συγκεκριμένο χαρακτηριστικό του προτύπου εισόδου. Το μοντέλο αυτό «συλλαμβάνει» τα βασικά χαρακτηριστικά των αυτοοργανωμένων χαρτών του εγκεφάλου και μπορεί να αναπαρασταθεί και να υλοποιηθεί εύκολα σε έναν υπολογιστή. Η ονομασία Self-Organizing Map προήλθε από την ιδιότητα του δικτύου Kohonen να μοιάζει µε έναν τοπογραφικό χάρτη ο οποίος δημιουργείται και οργανώνεται µόνος του. Το μοντέλο του Kohonen κάνει μια τοπογραφική απεικόνιση ενός συγκεκριμένου σταθερού αριθμού προτύπων εισόδου, τα οποία παρουσιάζονται στο στρώμα εισόδου, 21

22 σε ένα μεγαλύτερης διάστασης στρώμα εξόδου, το οποίο ονομάζεται και στρώμα Kohonen. Ένα απλό δίκτυο αποτελείται από δύο στρώματα νευρώνων, τα οποία είναι πλήρως συνδεδεμένα μεταξύ τους. Κάθε νευρώνας εισόδου έχει µια προς τα εμπρός τροφοδοτούμενη σύναψη µε κάθε νευρώνα εξόδου. Σχήμα Δίκτυο Kohonen [17]. Το δίκτυο Kohonen λειτουργεί σε δύο βήματα. Πρώτα, επιλέγει τον κόµβο εξόδου του οποίου το διάνυσμα των συναπτικών βαρών είναι κοντύτερα στο τρέχον διάνυσμα εισόδου ως κόμβο νικητή. Επιλέγεται δηλαδή ο κόμβος i του στρώματος εξόδου για τον οποίο είναι ελάχιστη η απόσταση: d = x-w = (x -w ) i j ij j 2 Στην συνέχεια μεταβάλλονται όλα τα βάρη σύμφωνα µε την συνάρτηση w k_new =w k_old =+μf(i,k)(x j-w k ) 22

23 όπου f(i, k) ονομάζεται η συνάρτηση γειτονιάς, η οποία και ουσιαστικά «φιλτράρει» τους κόμβους που είναι κοντά ή αλλιώς «γείτονες» στον κόμβο νικητή από τους πιο απομακρυσμένους κόμβους. Αυτό έχει ως αποτέλεσμα ο νικητής και οι γείτονές του να αλλάζουν τα βάρη τους αισθητά ώστε µε τον καιρό να ανταποκρίνονται σε παρόμοια δεδομένα εισόδου ενώ οι απομακρυσμένοι κόμβοι λαμβάνουν ελάχιστη μεταβολή βαρών. Σε γενικές γραμμές, το ζητούμενο είναι να μετατοπιστεί το διάνυσμα των βαρών του νικητή και των γειτόνων του προς το διάνυσμα εισόδου [17]. Σχήμα Μεταβολή διανύσματος [17]. Ένα παράδειγμα μίας συνάρτησης γειτονιάς είναι η f(i,k)=e 2 ( rk-r i ) 2 (2σ ) όπου το σ 2 είναι η παράμετρος της απόστασης που μπορεί να μειώνεται συναρτήσει του χρόνου [6]. 3.4.ΔΙΚΤΥΑ HOPFIELD Ένα αναδρομικό Νευρωνικό Δίκτυο έχει εκτός από τις προς τα εμπρός και προς τα πίσω συνδέσεις, δηλαδή βρόγχους αναδρομής από τις εξόδους του προς τις εισόδους του. Η παρουσία τέτοιων βρόγχων έχει ισχυρή επίπτωση στην ικανότητα μάθησης του δικτύου. Τα δίκτυα Hopfield ανήκουν στην κατηγορία των αναδρομικών 23

24 Νευρωνικά Δικτύων [6]. Η διαδικασία μάθησης ενός αναδρομικού δικτύου είναι η παρακάτω: Αφού εφαρμοστεί μια είσοδος υπολογίζεται η έξοδος του δικτύου η οποία στη συνέχεια ανατροφοδοτείται ως είσοδος στο δίκτυο. Υπολογίζεται η νέα έξοδος του δικτύου και η διαδικασία επαναλαμβάνεται έως ότου η έξοδος του δικτύου γίνει σταθερή δηλαδή πάψει να μεταβάλλεται. Βέβαια δεν γίνεται πάντα η έξοδος του δικτύου σταθερή. Η παραπάνω διαδικασία δεν εξασφαλίζει πάντα ότι σε κάθε επανάληψη οι μεταβολές στην έξοδο του δικτύου θα είναι ολοένα και μικρότερες έτσι ώστε σε κάποια χρονική στιγμή η έξοδος να πάψει να μεταβάλλεται. Αντιθέτως είναι πολύ πιθανό να οδηγήσει σε μια χαοτική συμπεριφορά του δικτύου. Στην περίπτωση αυτή η έξοδος του δικτύου δεν γίνεται ποτέ σταθερή και τότε λέμε ότι το δίκτυο είναι ασταθές ([33], [34]). Η ευστάθεια των αναδρομικών Νευρωνικών Δικτύων αποτέλεσε αντικείμενο έρευνας πολλών ερευνητών του χώρου στις δεκαετίες του 60 και 70. Παρόλα αυτά, κανείς δεν κατάφερε να προβλέψει πιο αναδρομικό δίκτυο θα μπορούσε να ήταν ευσταθές, με αποτέλεσμα πολλοί από αυτούς να εκφράζουν μια απαισιοδοξία για το εάν τελικά θα μπορούσε να βρεθεί λύση σε αυτό το πρόβλημα. Η λύση όμως ήρθε το 1982, όταν ο John Hopfield διατύπωσε τη φυσική αρχή της αποθήκευσης πληροφορίας σε ένα δυναμικά ευσταθές δίκτυο ([33], [17]). Το δίκτυο του Hopfield είναι λοιπόν ένα ανατροφοδοτούμενο δίκτυο µε συμμετρικές συνάψεις που σημαίνει ότι δηλαδή όλοι οι κόμβοι έχουν συνάψεις µε όλους τους κόμβους. 24

25 Σχήμα Δίκτυο Hopfield [17]. Κάθε κόμβος χρησιμοποιείται και ως είσοδος και ως έξοδος, ενώ η συνάρτηση ενεργοποίησης του κάθε κόμβου είναι η συνάρτηση μοναδιαίου βήματος. Το δίκτυο συγκλίνει πάντα σε µια σταθερή κατάσταση, που είναι ελάχιστο της συνάρτησης ενέργειας του δικτύου. Η λειτουργία του συνοψίζεται ως εξής: Πρώτα, ορίζονται οι τιμές των βαρών σύμφωνα µε τα πρότυπα που θέλουμε να αποθηκευτούν στο δίκτυο [17]. M s s ij i j s=1 w = x x, i=1,2,...,n j=1,2...,n όπου Μ το πλήθος των αποθηκευμένων προτύπων στο δίκτυο και x k s συντεταγμένη του s προτύπου. Κατόπιν, εισάγεται ένα άγνωστο πρότυπο και το δίκτυο εξαναγκάζεται να ταυτίσει την έξοδο µε το νέο πρότυπο. Το διάνυσμα εξόδου υπολογίζεται ως εξής: η k 1, u >0 y =f(u )= όπου u = w x N i i i i ij j -1, u i <0 j=1 Το δίκτυο επαναλαμβάνει αυτά τα βήματα μέχρι να συγκλίνει, δηλαδή να µην υπάρχει μεταβολή στο διάνυσμα εξόδου. Γενικά με τη χρήση του δικτύου Hopfield επιδιώκεται η αναγνώριση ενός ατελούς ή λανθασμένου προτύπου έπειτα από σύγκριση µε τα αποθηκευμένα πρότυπα μέσα στο δίκτυο [6]. 4.ΣΥΜΠΕΡΑΣΜΑΤΑ Τα τεχνητά νευρωνικά δίκτυα παραμένουν ένας αναπτυσσόμενος και πολλά υποσχόμενος τομέας που συνεχώς βρίσκει εφαρμογές στην πραγματικότητα. Τα συστήματα που κατασκευάζονται με βάση την τεχνολογία των νευρωνικών δικτύων έχουν εφαρμογές σε τομείς όπου υστερεί η ανθρώπινη αντιληπτικότητα και 25

26 επεξεργαστική ισχύς. Μία μοναδική ικανότητα που έχουν τα νευρωνικά δίκτυα είναι ότι ένα εκπαιδευμένο δίκτυο μπορεί να αναγνωρίσει δεδομένα άγνωστα σε αυτό. Αυτό σημαίνει ότι με σωστή εκπαίδευση ένα νευρωνικό δίκτυο μπορεί να λύσει µία μεγάλη ποικιλία προβλημάτων. Παρόλα αυτά δεν είναι εύκολο να αντικατασταθεί η μοναδικότητα του ανθρώπου ο οποίος χαρακτηρίζεται από την έμφυτη τάση του να εξελίσσεται και ανακαλύπτει διαρκώς νέες ιδέες από ένα δημιούργημα του. ΒΙΒΛΙΟΓΡΑΦΙΑ [1] State L. & Vlamos P. The POMDP modeling in the Analysis of Genetic Algorithms, The Annals of Bucharest University XLIX, 2000, [2] State L., Cocianu C. & Vlamos P. Neural Network for Principal Component Analysis with Applications in Image Compression, Journal of Systemics, Cybernetics and Informatics,2, 6, (2005). [3] State L., Cocianu C., Vlamos P. & Miroiu M. A specialized Neural Network for implementing the HMM approach in Learning the Bayesian Procedure, 4th International Workshop on Symbolic and Numeric Algorithms for Scientific Computing (SYNASC 02), (2002). [4] State L, Cocianu C. & Vlamos P. A Neural Architecture in HMM Modeling of the Bayesian Procedure for Pattern Recognition Purposes, 31 st International Conference on Computers and Industrial Engineering (ICC & IE), (2002). [5] Amit, D. J., Modeling Brain Functions: The World of Attractor Neural Networks, Cambridge University Press, New York (1989). [6] Callan, R., The essence of Neural Networks, Prentice Hall Europe. (1999) [7] Fausett, L. Fundamentals of Neural Networks: Architectures, Algorithms and Applications. Prentice Hall International (1996). [8] Golden, R.. Mathematical Methods for Neural Network Analysis and Design. MIT Press (1996). [9] Hagan, M. Demuth, H. and Beale M. Neural Network Design. International Thomson Publishing Company (1995). [10] Hassoun, M. Fundamentals of Artificial neural Networks. MIT Press (1995). [11] Haykin S.. Neural Networks, A Comprehensive Foundation. Macmillan College Publishing Company Inc (1994). 26

27 [12] Minsky, M. L. και Papert, S. A., Perceptrons, MIT Press, Cambridge, MA. (1969) 27