Νευρωνικά ίκτυα. Σηµερινό Μάθηµα

Νευρωνικά ίκτυα Σηµερινό Μάθηµα Ιστορική Αναδροµή ΑπόταΒιολογικάΝευρωνικά ίκτυαστα Τεχνητά Το µοντέλο του τεχνητού νευρώνα Νευρωνικά ίκτυα Εκπαίδευση Συναρτήσεις ενεργοποίησης TαΝ.. σαν κατευθυνόµενoιγράφοι Αρχιτεκτονικές των Νευρωνικών ικτύων Πλεονεκτήµατα των Νευρωνικών ικτύων Εφαρµογές των Ν.. 1

Ιστορική Αναδροµή Ξεκίνησαν τις τελευταίες δεκαετίες αλλά η µεγάλη ώθηση δόθηκε µετά το 1980 1943: το πρώτο µοντέλο νευρωνικού δικτύου από τους McCulloch και Pitts 1949: ο Hebb εισάγει τον κανόνα µάθησης στο βιβλίο «The organisation of behavior» εκαετία του πενήντα: Ο J. von Neumann το χρησιµοποίησε το µοντέλο ως παράδειγµαγια υπολογιστικές µηχανές 1957: παρουσιάσθηκε από τον F. Rosenblatt το µοντέλο του αισθητήρα (perceptron) 1959: οι Widrow και Hoff ανέπτυξαν δύο νέα µοντέλα το Adaline και το Madaline Ιστορική Αναδροµή 1982: ο Hopfield έδειξε µε µαθηµατική απόδειξη πώς ένα νευρωνικό δίκτυο µπορεί να χρησιµοποιηθεί ως αποθηκευτικός χώρος (storage device) και πώς µπορεί να επανακτήσει όλη την πληροφορία ενός συστήµατος αν του δοθούν µερικά τµήµατα µόνο και όχι ολόκληρο το σύστηµα 1986: οι McClelland και Rumelhart, στο «Parallel Distributed Processing» προτείνουν µία νέα διαδικασία εκπαίδευσης, την µέθοδο της οπισθοδιάδοσης (back propagation) 1985: πρώτα συνέδρια και περιοδικά σε νευρωνικά δίκτυα, ειδικές επαγγελµατικές εταιρίες νευρωνικών δικτύων 2

Νευρωνικά ίκτυα (Ν. ) Τα Τεχνητά Νευρωνικά ίκτυα (ΤΝ ) αποτελούν µια προσπάθεια προσέγγισης της λειτουργίας του ανθρώπινου εγκεφάλου Η αρχιτεκτονική τους βασίζεται στην αρχιτεκτονική των Βιολογικών Νευρωνικών ικτύων. Τα Νευρωνικά ίκτυα (Ν..) εκπαιδεύονται µε τη βοήθεια παραδειγµάτων, έτσι ώστε να µαθαίνουν το περιβάλλον τους. Υπάρχουν πολλές κατηγορίες Ν.., ανάλογα µε την αρχιτεκτονική τους και τον τρόπο εκπαίδευσής τους. Από τα Βιολογικά Νευρωνικά ίκτυα στα Τεχνητά Η µελέτη των τεχνητών νευρωνικών δικτύων, υποκινήθηκε από την αναγνώριση ότι οι «εγκεφαλικοί υπολογιστές» είναι διαφορετικοί από τους ψηφιακούς υπολογιστές. Τυπικά οι νευρώνες του εγκεφάλου είναι 5-6 τάξεις µεγέθους αργότεροι από τις λογικές πύλες σιλικόνης. Ο εγκέφαλος είναι ένας πολύπλοκος, µηγραµµικός και παράλληλος υπολογιστής. Ο εγκέφαλος οργανώνει τους νευρώνες ώστε να εκτελεί συγκεκριµένους υπολογισµούς πιο γρήγορα από τους πιο γρήγορους ψηφιακούς υπολογιστές 3

Από τα Βιολογικά Νευρωνικά ίκτυα στα Τεχνητά Κατά τη γέννησή του ο εγκέφαλος κατασκευάζει τους δικούς του κανόνες, εµπειρία, ηοποίαµεγαλώνει µετην πάροδο του χρόνου. Κατά τα 2 πρώταχρόνιαζωής, έχουµετη µέγιστη ανάπτυξη, όπου δηµιουργούνται περίπου 1 εκατοµµύριο συνάψεις (synapses) στο δευτερόλεπτο. Οι συνάψεις είναι οι βασικές δοµικές και λειτουργικές µονάδες που µεσολαβούν στην ενδοεπικοινωνία των νευρώνων. Από τα Βιολογικά Νευρωνικά ίκτυα στα Τεχνητά Η κατανάλωση ενέργειας στον εγκέφαλο είναι 20 Watt,ενώ ένας υπολογιστής χρειάζεται χιλιάδες Watt. 4

Από τα Βιολογικά Νευρωνικά ίκτυα στα Τεχνητά Οι συνδέσεις των νευρώνων, µε τους άξονες και τους δενδρίτες, ονοµάζονται συνάψεις. Από τα Βιολογικά Νευρωνικά ίκτυα στα Τεχνητά Ένα Τ.Ν.. µοιάζει µε τον εγκέφαλο στα εξής: Η γνώση αποκτάται από το δίκτυο µέσα από διαδικασία µάθησης. Οι δυνάµεις σύνδεσης των νευρώνων, γνωστές σαν συναπτικά (synaptic) βάρη, χρησιµοποιούνται για την αποθήκευση γνώσης. 5

Τεχνητά Νευρωνικά ίκτυα (ΤΝ ) vs Βιολογικών Τα ΤΝ έχουν µόλις ξεπεράσει το σκουλήκι Νευρωνικά ίκτυα - νευρώνας Τα ΤΝ είναι µια συλλογή από νευρώνες (Processing Units-PUs) που συνδέονται µεταξύ τους Κάθε νευρώνας έχει πολλές εισόδους αλλά µόνο µία έξοδο η αποτελεί είσοδο για άλλους νευρώνες H συνδέσεις διαφέρουν ως προς τη σηµαντικότητά τους που προσδιορίζεται απότοσυντελεστήβάρους(σύναψη). Η επεξεργασία κάθε νευρώνα καθορίζεται από τη συνάρτηση µεταφοράς, ηοποία καθορίζει την κάθε έξοδο σε σχέση µετις εισόδους και τους συντελεστές βάρους. 6

Νευρώνας Κάθε σήµα συνδέεται µε την τιµή βάρους. Ένα βάρος µας λέει πόσο σηµαντική είναι η συνεισφορά του συγκεκριµένου σήµατος Σε κάθε νευρώνα καταφθάνει ένας αριθµός σηµάτων, ως είσοδος. έχει µία µόνο έξοδο, συνάρτηση των σηµάτων εισόδου Νευρωνικά ίκτυα - Εκπαίδευση Γιαναχρησιµοποιηθεί ένα ΤΝ πρέπει πρώτα να εκπαιδευτεί Η µάθηση συνίσταται στον προσδιορισµό των κατάλληλων συντελεστών βάρους Η µάθηση πραγµατοποιείται µετη βοήθεια αλγορίθµων που είναι γνωστοί ως κανόνες µάθησηςήαλγόριθµοι εκπαίδευσης. Με τη µάθηση τα Ν.. µαθαίνουν το περιβάλλον τους 7

Στοιχεία της Θεωρίας Μάθησης Το Ν έχει την ικανότητα να µαθαίνει από το περιβάλλον του και να βελτιώνει την απόδοσή του µέσω της µάθησης. Η βελτίωση γίνεται σταδιακά, σύµφωνα µε κάποιο καθορισµένο µέτρο. Η µάθηση επιτυγχάνεται µέσω µιας επαναληπτικής διαδικασίας ρυθµίσεων της τιµής των συναπτικών βαρών και των κατωφλίων. Το δίκτυο αποκτά περισσότερη γνώση µετά από κάθε επανάληψη. Στοιχεία της Θεωρίας Μάθησης Σύµφωνα µετουςmendel και McClaren, µε σηµείο αναφοράς τα νευρωνικά δίκτυα: Mάθηση είναι µια διαδικασία µε την οποία προσαρµόζονται oι ελεύθερες παράµετροι ενός νευρωνικού δικτύου µέσω µίας συνεχούς διαδικασίας διέγερσης από το περιβάλλον στο οποίο βρίσκεται το δίκτυο. Το είδος της µάθησης καθορίζεται από τον τρόπο µε τον οποίο πραγµατοποιούνται oι αλλαγές των παραµέτρων. 8

Στοιχεία της Θεωρίας Μάθησης Οορισµός της διαδικασίας µάθησης υπονοεί την ακόλουθη σειρά βηµάτων: 1. Tο νευρωνικό δίκτυο "διεγείρεται" από ένα περιβάλλον. 2. Το νευρωνικό δίκτυο υφίσταται αλλαγές σαν συνέπεια αυτής της διέγερσης. 3. Το νευρωνικό δίκτυο "απαντά" µεένα καινούργιο τρόπο στο περιβάλλον, λόγω των αλλαγών που συνέβησαν στην εσωτερική του δοµή. Παράδειγµα Tηχρονικήστιγµή n γίνεται µια ρύθµιση (διόρθωση) στο βάρος: w ( n + 1) = w ( n) + w ( n) kj kj kj Hρύθµιση υπολογίζεται σαν αποτέλεσµατης διέγερσης από το περιβάλλον (βήµα 1) Hενηµερωµένη τιµή εκφράζει την αλλαγή που συνέβη στο δίκτυο εξαιτίας της διέγερσης (βήµα 2). Το βήµα 3 πραγµατοποιείται όταν υπολογίζεται η απάντηση του νέου δικτύου 9

Στοιχεία της Θεωρίας Μάθησης Ένα καθορισµένοσύνολοαπόκαλά ορισµένουςκανόνεςγιατηλύσηενός προβλήµατος µάθησης καλείται αλγόριθµος µάθησης (learning algorithm). Υπάρχει µεγάλη ποικιλία αλγορίθµων µάθησης, καθένας από τους οποίους έχει τα δικά του πλεονεκτήµατα. Οι αλγόριθµοι διαφέρουν µεταξύ τους στον τρόπο που εκφράζεται η ρύθµιση στο βάρος σύνδεσης. Το µοντέλο του τεχνητού νευρώνα Ένας νευρώνας είναι µια µονάδα επεξεργασίας πληροφορίας. Τα τρία βασικά στοιχεία αυτού του µοντέλου είναι : Ένα σύνολο από συνάψεις ή συνδετικούς κρίκους Έναν αθροιστή Μια συνάρτηση ενεργοποίησης a 0 a i w 0 w i w n Θ Outgoing activation a n 10

Το µοντέλο του τεχνητού νευρώνα Κάθε σύναψη χαρακτηρίζεται από ένα βάρος. Ένα σήµα x j στην είσοδο της σύναψης j που συνδέεται στον νευρώνα k, πολλαπλασιάζεται µετοσυναπτικόβάροςw kj. Το βάρος w kj είναι θετικό αν η σύναψη είναι διεγερτική και αρνητικό αν σύναψη είναι απαγορευτική. Ο αθροιστής χρησιµοποιείται για την πρόσθεση των σηµάτων εισόδου. Η συνάρτηση ενεργοποίησης χρησιµοποιείται για τη µείωση του εύρους της εξόδου του νευρώνα. Το µοντέλο του τεχνητού νευρώνα Το µοντέλο περιλαµβάνει ένα κατώφλι θ κ, που έχει επίδραση στην ελάττωση της εισόδου στην εφαρµοζόµενη συνάρτηση ενεργοποίησης. Ενας νευρώνας k περιγράφεται από τις παρακάτω εξισώσεις: y u = p w x k kj j j= 1 = φ( u ϑ ) k k k 11

Το µοντέλο του τεχνητού νευρώνα Το κατώφλι θ κ είναι εσωτερική παράµετρος του νευρώνα k. Έτσι µπορούµεναδιαµορφώσουµετο συνδυασµό των εξισώσεων: p υk = wkjx j y k = φ υ k j = 0 ( ) Όπου συµπεριλαµβάνουµε µια νέα σύναψη x0 = 1 w k0 = ϑ k Το µοντέλο του τεχνητού νευρώνα 12

Συναρτήσεις ενεργοποίησης Η συνάρτηση ενεργοποίησης ορίζει την έξοδο ενός νευρώνα συναρτήσει του επιπέδου ενεργοποίησης της εισόδου. Έχουµε 3 βασικούς τύπους συναρτήσεων ενεργοποίησης: Συνάρτηση Κατωφλιού. Τµηµατικά Γραµµική Συνάρτηση. Σιγµοειδής Συνάρτηση Συνάρτηση Κατωφλίου Η συνάρτηση κατωφλίου είναι: 1, υ 0 φ( υ) = 0, υ < 0 Εποµένως η έξοδος ενός νευρώνα k έχει τη µορφή: 1, υ k 0 y k = 0, υ k < 0 όπου υ κ είναι το εσωτερικό επίπεδο ενεργοποίησης του νευρώνα : p υ = w x ϑ k j = 0 kj j k 13

Τµηµατικά Γραµµική Συνάρτηση Για την τµηµατικά γραµµική συνάρτηση έχουµε: 1, φ( υ) = υ, 0, υ 1 2 1/ 2 < υ < 1/ 2 υ 1 2 µπορεί να θεωρηθεί σαν µια προσέγγιση ενός µηγραµµικού ενισχυτή. Σιγµοειδής Συνάρτηση Είναι η πιο συνηθισµένη µορφή συνάρτησης ενεργοποίησης που χρησιµοποιείται στην κατασκευή τεχνητών νευρωνικών δικτύων Ορίζεται σαν αυστηρά αύξουσα συνάρτηση, η οποία παρουσιάζει εξοµάλυνση και ασυµπτωτικές ιδιότητες. Ένα παράδειγµα είναι η λογιστική συνάρτηση, που ορίζεται από τη σχέση: φυ ( ) = 1 1 + exp( αυ) 14

Σιγµοειδής Συνάρτηση Μεταβάλλοντας την παράµετρο α παίρνουµε διαφορετικές συναρτήσεις. Συναρτήσεις ενεργοποίησης Οι προηγούµενες συναρτήσεις ενεργοποίησης κυµαίνονται από 0 ως +1. Αν θέλουµεσυνάρτησηπουνακυµαίνεται από -1 ως +1, επαναπροσδιορίζουµε την συνάρτηση κατωφλιού ως: 1, υ > 0 φ( υ) 0, υ = 0 1, υ < 0 που ονοµάζεται συνάρτηση προσήµου (signum) και συµβολίζεται σαν sgn(.). 15

TαΝ.. σαν κατευθυνόµενoιγράφοι Απλοποιούµετηνεµφάνιση των µοντέλων των νευρώνων, χρησιµοποιώντας την ιδέα των γράφων ροής σηµάτων. Ένας γράφος ροής σηµάτων, είναι ένα δίκτυο µεκατευθυνόµενα κλαδιά, που συνδέονται σε συγκεκριµένα σηµεία τους κόµβους. Ένας τυπικός κόµβος j σχετίζεται µεένα σήµακόµβου x j. TαΝ.. σαν κατευθυνόµενoιγράφοι ΚΑΝΟΝΑΣ 1. Ένα σήµα ρέει κατά µήκος της σύνδεσης µόνο στην κατεύθυνση που ορίζεται απότοβέλος. Υπάρχουν 2 τύποι σύνδεσης: 1. Συναπτικές συνδέσεις, όπου το σήµα x j πολλαπλασιάζεται µετοβάροςw κj γιαναπαράγει το σήµα y κ. 2. Συνδέσεις ενεργοποίησης, που περιγράφει µια συνάρτηση φ(. ), που δεν είναι γραµµική. 16

TαΝ.. σαν κατευθυνόµενoιγράφοι ΚΑΝΟΝΑΣ 2. Το σήµακόµβου, ισούται µε το αλγεβρικό άθροισµα όλων των σηµάτων που φτάνουν στον κόµβο. TαΝ.. σαν κατευθυνόµενoιγράφοι ΚΑΝΟΝΑΣ 3. Το σήµασεένανκόµβο µεταβιβάζεται σε κάθε εξερχόµενη σύνδεση που ξεκινά από αυτόν, µετηνµεταβίβαση να είναι ανεξάρτητη από τις συναρτήσεις µεταφοράς των εξερχόµενων συνδέσεων. 17

TαΝ.. σαν κατευθυνόµενoιγράφοι TαΝ.. σαν κατευθυνόµενoιγράφοι Ένα νευρωνικό δίκτυο είναι ένας κατευθυνόµενος γράφος, που αποτελείται από κόµβους µεσυναπτικές διασυνδέσεις και συνδέσεις ενεργοποίησης και έχει τις ιδιότητες : Κάθε νευρώνας, παριστάνεται από ένα σύνολο γραµµικών συναπτικών συνδέσεων, ένα εξωτερικά εφαρµοζόµενο κατώφλι και µια µη-γραµµική σύνδεση ενεργοποίησης. Το κατώφλι παριστάνεται από συναπτικές συνδέσεις µεσήµα εισόδου τιµής -1. Οι συναπτικές συνδέσεις ενός νευρώνα ζυγίζουν τα αντίστοιχα σήµατα εισόδου. Το άθροισµα των βαρών των σηµάτων εισόδου καθορίζει το συνολικό εσωτερικό επίπεδο ενεργοποίησης του νευρώνα που ζητείται. Η σύνδεση ενεργοποίησης συνθλίβει (περιορίζει) το εσωτερικό επίπεδο ενεργοποίησης, για την παραγωγή της εξόδου που παριστάνει την κατάσταση του νευρώνα. 18

TαΝ.. σαν κατευθυνόµενoι γράφοι Υπάρχουν µερικώς ολοκληρωµένοι κατευθυνόµενοι γράφοι που είναι γνωστοί σαν αρχιτεκτονικοί γράφοι. Τόσο στους κατευθυνόµενους όσο και τους αρχιτεκτονικούς γράφους, οι κόµβοι που παριστάνονται µετετράγωνο, δεν πραγµατοποιούν καµία λειτουργία. Αρχιτεκτονικές των Νευρωνικών ικτύων Οτρόποςµε τον οποίο οι νευρώνες ενός νευρωνικού δικτύου δοµούνται, είναι στενά συνδεδεµένος µετοναλγόριθµοεκµάθησης για την εκπαίδευση του δικτύου. Σαν εµπρός τροφοδότησης, αναφέρονται τα δίκτυα, στα οποία τα σήµατα κατευθύνονται από την είσοδο στην έξοδο. Όταν οι έξοδοι κάποιων νευρώνων, γίνονται είσοδοι σε νευρώνες προηγούµενων επιπέδων, τότε έχουµε ανάδραση. ιακρίνουµε 4 διαφορετικές κλάσεις αρχιτεκτονικών δοµών. 19

Ενός-επιπέδου Εµπρός-Τροφοδότησης ίκτυα Οι νευρώνες είναι οργανωµένοι σε µορφή επιπέδων. Οι νευρώνες του πηγαίου επιπέδου δείχνουν στους νευρώνες του επόµενου επιπέδου αλλά όχι αντίστροφα. Πολλαπλών-Επιπέδων Εµπρός- Τροφοδότησης ίκτυα Εδώ έχουµε περισσότερα του ενός κρυφά επίπεδα, τωνοποίωνοι κόµβοι υπολογισµού ονοµάζονται κρυφοί νευρώνες. Τυπικά, οι νευρώνες σε κάθε επίπεδο έχουν σαν εισόδους τα σήµατα εξόδου του προηγούµενου µόνο επιπέδου. Ένα τέτοιο δίκτυο περιγράφεται συνοπτικά µετοσυµβολισµό 10-4-2. 20

Input Layer Πολλαπλών-Επιπέδων Εµπρός- Τροφοδότησης ίκτυα Hidden Layers Output Layer Αναδροµικά ίκτυα Έχουν ένα τουλάχιστον βρόχο ανάδρασης. Input Layer Hidden Layers Output Layer 21

Αναδροµικά ίκτυα - ίκτυο Hopfield Το δίκτυο Hopfield είναι µια µη-γραµµική συσχετιστική µνήµηή µνήµη διευθυνσιοδοτούµενη από τα περιεχόµενα. Η κύρια λειτουργία µιας τέτοιας µνήµης είναι η ανάκτηση ενός προτύπου, που έχει αποθηκευθεί σε αυτήν. ικτυωτές οµές Ένα πλέγµα, αποτελείται από έναν πίνακα µιας, δύο ή µεγαλύτερης διάστασης από νευρώνες, µε ένααντίστοιχοσύνολοαπόπηγαίουςκόµβους, που παρέχουν τα σήµατα εισόδου στον πίνακα. 22

ικτυωτές οµές Πλεονεκτήµατα των Νευρωνικών ικτύων Μη-γραµµικότητα. ένα Νευρωνικό ίκτυο δοµείται από τη σύνδεση νευρώνων, οι οποίοι είναι µη-γραµµικές συσκευές. Η µη-γραµµικότητα είναι πολύ σηµαντική ιδιότητα, αν ο φυσικός µηχανισµός για την παραγωγή των σηµάτων εισόδου είναι µη-γραµµικός. Σχεδιασµός Εισόδου-Εξόδου. Στην επιβλεπόµενη µάθηση, εµπλέκεται µεταβολή των synaptic βαρών του Νευρωνικού ικτύου, εφαρµόζοντας ένα σύνολο δειγµάτων εξάσκησης. Κάθε παράδειγµα αποτελείται από ένα σήµα εισόδου και την επιθυµητή απόκριση. Tοδίκτυοµαθαίνει µε τον κατάλληλο σχεδιασµό εισόδου-εξόδου. 23

Πλεονεκτήµατα των Νευρωνικών ικτύων Προσαρµοστικότητα. Τα Νευρωνικά ίκτυα έχουν τη δυνατότητα να προσαρµόζουν τα βάρη τους στις αλλαγές του περιβάλλοντός τους. Αποδεικτική Απόκριση. Ένα Νευρωνικό ίκτυο σχεδιάζεται για να παρέχει πληροφορίες όχι µόνο για το συγκεκριµένο υπόδειγµα που επιλέγεται αλλά και για την εµπιστοσύνη στην απόφαση που παίρνεται. Συναφής Πληροφορία. Ηγνώση αναπαριστάνεται από την πολύ δοµηµένη και ενεργή κατάσταση του Νευρωνικού ικτύου. Αντοχή σε σφάλµατα. Ένα νευρωνικό δίκτυο, υλοποιηµένο σε υλικό (hardware) έχει τη σηµαντική ιδιότητα να είναι ανεκτικό σε σφάλµατα. Πλεονεκτήµατα των Νευρωνικών ικτύων Υλοποιησιµότητα σε VLSI. Ησυµπαγής παράλληλη φύση του Νευρωνικού ικτύου, κάνει δυνατή την υλοποίηση του σε VLSI τεχνολογία, έτσι ώστε τα νευρωνικά δίκτυα να µπορούν να χρησιµοποιηθούν σε εφαρµογές πραγµατικού χρόνου. Οµοιοµορφία Ανάλυσης και Σχεδιασµού. Η έννοια είναι ότι ο ίδιος συµβολισµός χρησιµοποιείται σε όλα τα πεδία που περιέχουν εφαρµογή των νευρωνικών δικτύων. Αναλογία µε Νευροβιολογία. Οσχεδιασµός νευρωνικών δικτύων γίνεται σε αναλογία µετον εγκέφαλο. Οι µηχανικοί βλέπουν στη νευροβιολογία για νέες ιδέες για την επίλυση πολύπλοκων προβληµάτων. 24

Εφαρµογές των Ν.. Αεροπορία: Υψηλής απόδοσης αυτόµατοι πιλότοι αεροπλάνων, προσοµοιωτές πτήσης, συστήµατα αυτοµάτου ελέγχου αεροπλάνων, συστήµατα ανίχνευσης βλαβών. Αυτοκίνηση: Αυτοκινούµενα συστήµατα αυτόµατης πλοήγησης. Τραπεζικές εφαρµογές: Αναγνώστες επιταγών και άλλων παραστατικών, συστήµατα αξιολόγησης αιτήσεων δανειοδότησης. Άµυνα: Πλοήγηση όπλων, ανίχνευση στόχων, νέα είδη αισθητήρων, σόναρ, ραντάρ, ψηφιακή επεξεργασία σηµάτων, συµπίεση δεδοµένων, εξαγωγή χαρακτηριστικών, αναγνώριση σήµατος / εικόνας. Εφαρµογές των Ν.. Ηλεκτρονική: Πρόβλεψη ακολουθίας κωδίκων, µορφοποίηση ολοκληρωµένων κυκλωµάτων, έλεγχος διεργασιών, διάγνωση βλαβών ολοκληρωµένων κυκλωµάτων, µηχανική όραση. Οικονοµία: Οικονοµική ανάλυση, πρόβλεψη τιµών συναλλάγµατος. Βιοµηχανία: Βιοµηχανικός έλεγχος διεργασιών, ανάλυση και σχεδίαση προϊόντων, συστήµατα ποιοτικού ελέγχου, διάγνωση βλαβών διεργασιών και µηχανών, ανάλυση σχεδιασµού χηµικών προϊόντων, δυναµικό µοντελάρισµασυστηµάτων χηµικών διεργασιών. 25

Εφαρµογές των Ν.. Ιατρική: Ανάλυση καρκινικών κυττάρων, ανάλυση Ηλεκτροεγκεφαλογραφήµατος και Ηλεκτροκαρδιογραφήµατος. Γεωλογικές έρευνες: Εντοπισµός πετρελαίου και φυσικού αερίου. Ροµποτική: Έλεγχος τροχιάς και σύστηµαόρασης ροµπότ. Επεξεργασία φωνής: Αναγνώριση φωνής, συµπίεση φωνής, σύνθεση φωνής από κείµενο. Χρηµατιστηριακές εφαρµογές: Ανάλυση αγοράς, πρόβλεψη τιµών µετοχών. Τηλεπικοινωνίες: Συµπίεση εικόνας και δεδοµένων, αυτοµατοποιηµένες υπηρεσίες πληροφοριών, µετάφραση πραγµατικού χρόνου, συστήµατα επεξεργασίας πληρωµών. Βασικά χαρακτηριστικά ΤΝ Υπολογιστικές µονάδες (εισόδου, εξόδου, κρυµµένες) Συνάρτηση ενεργοποίησης Συνδέσεις (διεγερτικές, ανασχετικές) - Βάρη Αρχιτεκτονική Στρώµατα (layers) Πρόσθια τροφοδότηση (feedforward) Ανατροφοδότηση (feedback, recurrent) Μάθηση (προσδιορισµός παραµέτρων) Επιβλεπόµενη (supervised) Μη επιβλεπόµενη (unsupervised) Ενισχυτική (reinforcement) 26