Υπολογιστική Νοημοσύνη. Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2)

Σχετικά έγγραφα
Υπολογιστική Νοημοσύνη. Μάθημα 6: Μάθηση με Οπισθοδιάδοση Σφάλματος Backpropagation Learning

Ασκήσεις μελέτης της 19 ης διάλεξης

Το μοντέλο Perceptron

Τεχνητή Νοημοσύνη. 19η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ

Υπολογιστική Νοημοσύνη. Μάθημα 12: Παραδείγματα Ασκήσεων 2

Υπολογιστική Νοημοσύνη. Μάθημα 13: Αναδρομικά Δίκτυα - Recurrent Networks

ΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Εκπαίδευση ΤΝΔ με ελαχιστοποίηση του τετραγωνικού σφάλματος εκπαίδευσης. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν.

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 5 o Φροντιστήριο

Το Πολυεπίπεδο Perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Βασικές αρχές εκπαίδευσης ΤΝΔ: το perceptron. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 4 o Φροντιστήριο

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

ΕΡΩΤΗΜΑΤΑ σε ΝΕΥΡΩΝΙΚΑ

Ρεφανίδης Γιάννης. Οκτώβριος

(είσοδος) (έξοδος) καθώς το τείνει στο.

Υπολογιστική Νοημοσύνη. Μάθημα 9: Γενίκευση

ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Τεχνητή Νοημοσύνη. 17η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Ανδρέας Παπαζώης. Τμ. Διοίκησης Επιχειρήσεων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοηµοσύνη Ι» 7ο Φροντιστήριο 15/1/2008

Μερικές φορές δεν μπορούμε να αποφανθούμε για την τιμή του άπειρου αθροίσματος.

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Αναγνώριση Προτύπων Ι

ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΤΟ ΠΑΝΕΠΙΣΤΗΜΙΟ

Μάθηση και Γενίκευση. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Υλοποιώντας λογικές πύλες χρησιμοποιώντας perceptrons

Συστήματα Αυτομάτου Ελέγχου

6. Στατιστικές μέθοδοι εκπαίδευσης

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Ανδρέας Παπαζώης. Τμ. Διοίκησης Επιχειρήσεων

ΑΝΑΛΥΣΗ 1 ΔΕΚΑΤΟ ΜΑΘΗΜΑ, Μ. Παπαδημητράκης.

Τεχνητά Νευρωνικά Δίκτυα. Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης

Μη Συµβολικές Μέθοδοι

Τεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Μοντέλο Perceptron πολλών στρωμάτων Multi Layer Perceptron (MLP)

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΠΜΣΕ ΣΤΗΝ ΕΦΑΡΜΟΣΜΕΝΗ ΠΛΗΡΟΦΟΡΙΚΗ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ ΚΑΙ ΕΞΕΛΙΚΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ

ΑΝΑΛΥΣΗ 1 ΕΙΚΟΣΤΟ ΤΕΤΑΡΤΟ ΜΑΘΗΜΑ, Μ. Παπαδημητράκης.

Δρ. Βασίλειος Γ. Καμπουρλάζος Δρ. Ανέστης Γ. Χατζημιχαηλίδης

ΔΙΚΤΥO RBF. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Συνδυαστική Βελτιστοποίηση Εισαγωγή στον γραμμικό προγραμματισμό (ΓΠ)

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 2ο Φροντιστήριο

Μέθοδοι πολυδιάστατης ελαχιστοποίησης

ΧΑΡΟΚΟΠΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΜΑΤΙΚΗΣ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ. Καραγιώργου Σοφία

Πληροφοριακά Συστήματα & Περιβάλλον

ΑΝΑΛΥΣΗ 2. Μ. Παπαδημητράκης.

Υ: Νόσος. Χ: Παράγοντας Κινδύνου 1 (Ασθενής) 2 (Υγιής) Σύνολο. 1 (Παρόν) n 11 n 12 n 1. 2 (Απών) n 21 n 22 n 2. Σύνολο n.1 n.2 n..

a ) a ) = lim f( a + h u ) f( a ) = lim (2) h = 0 f( a + h u ) f( a ) hdf( a )( u ) lim = 0 lim u ) f( a + h lim = 0 u ) = 0 lim = Df( a )( u ) lim

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 3ο Φροντιστήριο

Συστήματα Αυτομάτου Ελέγχου II

ΑΝΑΛΥΣΗ 2. Μ. Παπαδημητράκης.

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Μαρκοβιανές Αλυσίδες

Αναγνώριση Προτύπων Ι

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Ένα εκκρεμές σε επιταχυνόμενο αμαξίδιο

Τμήμα Χρηματοοικονομικής & Ελεγκτικής ΤΕΙ Ηπείρου Παράρτημα Πρέβεζας. Πληροφορική Ι. Μάθημα 4 ο Πράξεις με bits. Δρ.

4.3. Γραµµικοί ταξινοµητές

Ανάλυση Διασποράς Ανάλυση Διασποράς διακύμανση κατά παράγοντες διακύμανση σφάλματος Παράδειγμα 1: Ισομεγέθη δείγματα

ΚΕΦΑΛΑΙΟ 6 ΠΡΟΒΛΕΨΕΙΣ ΜΕ ΥΠΟΔΕΙΓΜΑΤΑ ΧΡΟΝΟΣΕΙΡΩΝ

Θέμα 1. που. . Δηλαδή ο υπόχωρος V είναι το. Απάντηση 1α) ii)παρατηρούμε οτι

ΑΝΑΛΥΣΗ 1 ΕΙΚΟΣΤΟ ΕΝΑΤΟ ΜΑΘΗΜΑ, Μ. Παπαδημητράκης.

Συστήματα Αυτομάτου Ελέγχου ΙΙ

MATLAB. Εισαγωγή στο SIMULINK. Μονάδα Αυτόματης Ρύθμισης και Πληροφορικής

Υπολογιστική Νοημοσύνη. Μάθημα 10: Ομαδοποίηση με Ανταγωνιστική Μάθηση - Δίκτυα Kohonen

- ΟΡΙΟ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΕΝΟΤΗΤΑ 7: ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ - ΠΡΑΞΕΙΣ ΜΕ ΣΥΝΕΧΕΙΣ ΣΥΝΑΡΤΗΣΕΙΣ - ΣΥΝΕΧΕΙΑ ΣΥΝΑΡΤΗΣΗΣ ΣΕ ΔΙΑΣΤΗΜΑΤΑ

Τεχνητή Νοημοσύνη. TMHMA ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ. Εξάμηνο 5ο Οικονόμου Παναγιώτης & Ελπινίκη Παπαγεωργίου. Νευρωνικά Δίκτυα.

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #8: Βελτιστοποίηση Συστημάτων Ασαφούς Λογικής. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.

Ακαδημαϊκό Έτος , Χειμερινό Εξάμηνο Διδάσκων Καθ.: Νίκος Τσαπατσούλης

Επαναληπτικές μέθοδοι

Κλασική Hλεκτροδυναμική

8. Πολλαπλές μερικές παράγωγοι

Αριθμητική εύρεση ριζών μη γραμμικών εξισώσεων

Υ: Νόσος. Χ: Παράγοντας Κινδύνου 1 (Ασθενής) 2 (Υγιής) Σύνολο. 1 (Παρόν) n 11 n 12 n 1. 2 (Απών) n 21 n 22 n 2. Σύνολο n.1 n.2 n..

Μαθήματα Διατμηματικού Π.Μ.Σ. "Μαθηματικά των Υπολογιστών και των Αποφάσε

Μοντελοποίηση, Ανάλυση και Σχεδιασμός Στοχαστικών Συστημάτων

ΜΑΘΗΜΑΤΙΚΑ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ Γ ΛΥΚΕΙΟΥ - ΠΑΠΑΔΟΠΟΥΛΟΣ ΜΑΡΙΝΟΣ ΠΕΡΙΕΧΟΜΕΝΑ. Τίτλος Θεματικές Ενότητες Σελίδες. Δυο λόγια προς τους μαθητές.

x + ax x x 4 να είναι παραγωγίσιμη στο x Υπόδειξη: Μπορείτε να εφαρμόσετε κανόνα L Hospital ή μπορεί σας χρειαστεί η sin sin = 2sin cos

ibemo Kazakhstan Republic of Kazakhstan, West Kazakhstan Oblast, Aksai, Pramzone, BKKS office complex Phone: ; Fax:

x (t) u (t) = x 0 u 0 e 2t,

ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ Ι Συμπληρωματικές Σημειώσεις Δημήτριος Παντελής

ΕΠΙΛΥΣΗ ΕΚΦΥΛΙΣΜΕΝΩΝ ΚΑΙ ΓΕΝΙΚΩΝ ΓΡΑΜΜΙΚΩΝ ΠΡΟΒΛΗΜΑΤΩΝ. 4.1 Επίλυση Εκφυλισμένων Γραμμικών Προβλημάτων

ΛΥΣΕΙΣ ΘΕΜΑΤΩΝ ΣΤΑΤΙΣΤΙΚΗ Ι ΜΕΡΟΣ Α (Σ. ΧΑΤΖΗΣΠΥΡΟΣ) . Δείξτε ότι η στατιστική συνάρτηση T = X( n)

ΜΕΜ251 Αριθμητική Ανάλυση

Α.Τ.Ε.Ι ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΠΟΛΥΜΕΣΩΝ ΕΡΓΑΣΤΗΡΙΟ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ 4

Στατιστική Ι. Ανάλυση Παλινδρόμησης

Θέματα Εξετάσεων Σεπτεμβρίου 2010:

Περιεχόμενα ΕΝΟΤΗΤΑ I. ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ. Πρόλογος 15

Θεωρία Αποφάσεων ο. 4 Φροντιστήριο. Λύσεις των Ασκήσεων

Ανάλυση αλγορίθμων. Χρόνος εκτέλεσης: Αναμενόμενη περίπτωση. - απαιτεί γνώση της κατανομής εισόδου

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ

Transcript:

Υπολογιστική Νοημοσύνη Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2)

Ο κανόνας Δέλτα για συνεχείς συναρτήσεις ενεργοποίησης (1/2) Για συνεχείς συναρτήσεις ενεργοποίησης, θα θέλαμε να αλλάξουμε περισσότερο τα βάρη εκείνα, στις μεταβολές των οποίων το συνολικό σφάλμα είναι πιο «ευαίσθητο». Προσπαθούμε να αποφύγουμε βάρη, μικρές μεταβολές των οποίων προκαλούν μεγάλες μεταβολές στο σφάλμα, γιατί αυτά δημιουργούν ένα ασταθές νευρωνικό δίκτυο. Έστω Ε=Err 2 =(a i -o i ) 2 το τετράγωνο του σφάλματος για έναν νευρώνα εξόδου και ένα συγκεκριμένο παράδειγμα. Ο ρυθμός αύξησης του σφάλματος Ε σε σχέση με ένα βάρος w j δίνεται από τη σχέση: 2

Ο κανόνας Δέλτα για συνεχείς συναρτήσεις ενεργοποίησης (2/2) Προφανώς τα βάρη πρέπει να αλλάξουν προς κατεύθυνση αντίθετη του ρυθμού αύξησης του σφάλματος. Άρα μια λογική αλλαγή του βάρους w ij θα ήταν η εξής: όπου η σταθερά 0.5 ενσωματώθηκε στο ρυθμό μάθησης d. Ο παραπάνω κανόνας μπορεί να εφαρμοστεί μόνο για συνεχείς συναρτήσεις ενεργοποίησης. Για τη σιγμοειδή συνάρτηση, ισχύει Φ'(S i )=Φ(S i ) (1-Φ(S i )). Άρα, για τη σιγμοειδή συνάρτηση ο κανόνας δέλτα γίνεται: 3

Παρατηρήσεις (1/2) Από τη σχέση Δw ji =-d (a i -o i ) Φ (S i ) a j παρατηρούμε τα εξής: Τα βάρη στις εισόδους ενός νευρώνα επηρεάζονται το ίδιο από την τιμή της παραγώγου Φ (S i ). Κατά κάποιο τρόπο η παράγωγος Φ (Si) τροποποιεί τον ρυθμό μάθησης του νευρώνα. Τα βάρη διαφορετικών νευρώνων επηρεάζονται διαφορετικά από τις αντίστοιχες παραγώγους. Άρα, η παράγωγος της συνάρτησης ενεργοποίησης ουσιαστικά δημιουργεί ξεχωριστό ρυθμό μάθησης για κάθε νευρώνα και για κάθε παράδειγμα εκπαίδευσης. 4

Παρατηρήσεις (2/2) Για τη σιγμοειδή συνάρτηση, η παράγωγος Φ (S) είναι μεγαλύτερη όταν το S τείνει στο μηδέν και μικρότερη όταν το S απομακρύνεται από το μηδέν. Άρα νευρώνες οι οποίοι έχουν είσοδο κοντά στο μηδέν και έξοδο κοντά στο 0.5 (οι «αναποφάσιστοι» ή «ασταθείς» νευρώνες) είναι αυτοί που εμφανίζουν τον υψηλότερο ρυθμό μάθησης, δηλαδή έχουν τις μεγαλύτερες μεταβολές βαρών. 5

Σφάλματα Ως σφάλμα αναφορικά με ένα παράδειγμα μάθησης p και έναν νευρώνα k ορίζεται η ποσότητα: Err=(a k,p -o k,p ) Το συνολικό σφάλμα για όλα τα παραδείγματα εκπαίδευσης είναι για τον νευρώνα k είναι: Με παρόμοιο τρόπο μπορούμε να ορίσουμε και το μέσο σφάλμα για όλους τους νευρώνες εξόδου k και όλα τα παραδείγματα p: 6

Παρατηρήσεις Για συνεχείς συναρτήσεις όπως η σιγμοειδής, το αποτέλεσμα εξόδου δεν γίνεται ποτέ 1 ή 0, αλλά η τιμή της εξόδου τείνει ασυμπτωτικά στις τιμές αυτές (αναλόγως το παράδειγμα κάθε φορά) με την πρόοδο της μάθησης. Άρα ο τερματισμός της διαδικασίας μάθησης πραγματοποιείται όταν το συνολικό σφάλμα Ε για όλα τα παραδείγματα και για όλους τους νευρώνες εξόδου πέσει κάτω από μια μικρή τιμή. 7

Παράδειγμα μάθησης με σιγμοειδή συνάρτηση ενεργοποίησης (1/3) Προσπαθούμε να προσομοιώσουμε την πύλη AND με νευρώνα σιγμοειδούς συνάρτησης ενεργοποίησης. Έστω a=1 η παράμετρος της σιγμοειδούς συνάρτησης. 8

Παράδειγμα μάθησης με σιγμοειδή συνάρτηση ενεργοποίησης (2/3) Έστω 0.1 το όριο για το άθροισμα των τετραγωνικών σφαλμάτων για όλα τα παραδείγματα. Έστω d=1 ο ρυθμός μάθησης (αυξημένος σε σχέση με τις βηματικές συναρτήσεις). Μετά από 1268 επαναλήψεις (317 φορές για κάθε δείγμα) το νευρωνικό δίκτυο πέτυχε το στόχο του μέγιστου σφάλματος που του θέσαμε, καταλήγοντας στα παρακάτω βάρη: w x =2.9990, w y =2.9918, w z =9.0085 Πράγματι για τις τιμές αυτές παίρνουμε: 0 AND 0 0.0109 0 AND 1 0.1806 1 AND 0 0.1817 1 AND 1 0.8156 9

Γραμμικώς διαχωρίσιμες συναρτήσεις (1/2) Οι απλοί νευρώνες (perceptrons) μπορούν, μετά την εκπαίδευση, να "μαθαίνουν" γραμμικώς διαχωρίσιμες συναρτήσεις, όπως οι AND και OR. 10

Γραμμικώς διαχωρίσιμες συναρτήσεις (2/2) Δεν μπορούν όμως να "μάθουν" μη-γραμμικώς διαχωρίσιμες συναρτήσεις, όπως η XOR. Πράγματι, εάν προσπαθήσουμε να εκπαιδεύσουμε έναν απλό νευρώνα (όπως κάναμε με τη συνάρτηση AND), η διαδικασία της εκπαίδευσης δεν θα συγκλίνει ποτέ. Για μη-γραμμικές συναρτήσεις απαιτούνται νευρωνικά δίκτυα περισσοτέρων επιπέδων. 11