Τεχνητή Νοημοσύνη. TMHMA ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ. Εξάμηνο 5ο Οικονόμου Παναγιώτης & Ελπινίκη Παπαγεωργίου. Νευρωνικά Δίκτυα.

Τεχνητή Νοημοσύνη. TMHMA ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ Εξάμηνο 5ο Οικονόμου Παναγιώτης & Ελπινίκη Παπαγεωργίου. Νευρωνικά Δίκτυα. 1

ΤΕΧΝΗΤΑ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ Χαρακτηριστικά Είδη εκπαίδευσης Δίκτυα Πολλαπλών Επιπέδων Χρήσιμες Οδηγίες για χρήση ΤΝΔ Παραδείγματα Εφαρμογές στις Τηλεπικοινωνίες 2

Τεχνητά Νευρωνικά Δίκτυα Πρόκειται για συστήματα επεξεργασίας πληροφοριών (υπολογιστικά συστήματα), που η δομή τους και η λειτουργία τους εμπνέονται από τις τρέχουσες γνώσεις μας για τα βιολογικά νευρικά συστήματα Δενδρίτες Σώμα Αξονας Source: S.V. Kartalopoulos, Understanding Neural Networks & Fuzzy Logic 3

Γιατι να ασχοληθούμε? Μεγάλη άνθηση στις τελευταίες δεκαετίες. Έμπνευση από τον άνθρωπο. Εμπειρογνώμονες από διαφορετικούς τομείς. Απάντηση στην ερώτηση Η/Υ=Μυαλό? 4

Μυαλό Vs Pc Μπορούν οι Η.Υ να κάνουν όσα κάνει το ανθρώπινο μυαλό? Διαφορετική δομή. Μπορούμε να δημιουργήσουμε έναν Η/Υ όπως ο ανθρώπινος εγκέφαλος? Τεχνητα Νευρωνικά Δίκτυα. Δεν ακολουθούν προκαθορισμένα χαρακτηριστικά των Η/Υ. 5

ΤΝΔ - Τι είναι? Ένα τεχνητό νευρωνικό δίκτυο είναι ένας μαζικά παράλληλα κατανεμημένος επεξεργαστής, ο οποίος αποτελείται από απλές υπολογιστικές μονάδες (νευρώνες) και ο οποίος έχει μια εγγενή ικανότητα για να αποθηκεύει πειραματική γνώση την οποία και είναι σε θέση να χρησιμοποιεί. Προσομοιάζει τον εγκέφαλο στο ότι: 1. Η γνώση αποκτάται από το περιβάλλον μέσω μιας διαδικασίας μάθησης 2. Η αποκτούμενη γνώση αποθηκεύεται στα συναπτικά βάρη που ενώνουν τους νευρώνες!! Οι νευρώνες που χρησιμοποιούμε για να κατασκευάσουμε ένα νευρωνικό δίκτυο είναι «πρωτόγονοι» συγκρινόμενοι με αυτούς που συναντάμε στον εγκέφαλο 6

Απλο Νευρωνικό Δίκτυο Αποτελείτε από ένα αριθμό νευρώνων. Σε κάθε νευρώνα καταφθάνει ένας αριθμός σημάτων, τα οποία έρχονται ως είσοδος σ αυτόν. Σύνδεση του κάθε σήματος με βάση το βάρος Wi (όπως ένας χημικός δεσμός) Οταν το w είναι μεγάλο (μικρό), τότε η συνεισφορά του σήματος είναι μεγάλη (μικρή). 7

Το Βασικό Τεχνητό Νευρώνιο Δεδομένα Συντελεστής Αποκλίσεως x i1 w j1 Σ Θ i R i f i Ο i Αποτελέσματα x in w jn Συνάρτηση Ενεργοποιήσεως (Activation Function) n Συνάρτηση Μεταφοράς O i = f i ( Σ w ij x ij ) j=1 Συνθήκη Ενεργοποίησης Σ w ij x ij > Θ i j=1 n 8

Μετάδοση σήματος μέσα στο Τ.Ν.Δ Δυαδικός. Ο νευρώνας είναι ενεργός ή ανενεργός Υπολογίζει τα δεδομένα εισόδου χ και συγκρίνει τη τιμή με μία τιμη κατωφλίου θ. Άν χ>θ τότε ο νευρώνας ενεργοποιείται. 9

Μετάδοση σήματος μέσα στο Τ.Ν.Δ Σιγμοειδής. Δεν υπάρχει τιμή κατωφλίου. Η μετάδοση γίνεται με τη χρήση της: 10

Παράδειγμα Τ.Ν.Δ 11

Εκπαίδευση Νευρωνικών Δικτύων Πρόκειται για την διαδικασία διά μέσου της οποίας το ΤΝΔ αποκρίνεται σε μία διέγερση ώστε αφού τροποποιήσει καταλλήλως τις μεταβλητές που το χαρακτηρίζουν να δώσει το επιθυμητό αποτέλεσμα. Η εκπαίδευση αποτελεί επίσης μιά διαδικασία συνεχούς ταξινομήσεως των σημάτων εισόδου. Οταν ένα σήμα εμφανίζεται στην είσοδο, τότε το ΤΝΔ είτε το αναγνωρίζει, είτε δημιουργεί μιά νέα κατηγορία στην οποία και το κατατάσει. Κατά την ολοκλήρωση της εκπαιδεύσεως, το ΤΝΔ έχει ενσωματώσει «γνώση». 12

Εκπαίδευση Ν.Δ Ο πρωταρχικός σκοπός της λειτουργίας ενός τεχνητού νευρωνικού δικτύου είναι να μπορεί να λύνει συγκεκριμένα προβλήματα που του παρουσιάζουμε ή να επιτελεί από μόνο του ορισμένες διεργασίες, λ.χ. να αναγνωρίζει εικόνες. Για να μπορεί όμως να γίνει αυτό λέμε ότι το νευρωνικό δίκτυο προηγουμένως πρέπει να εκπαιδευθεί κατάλληλα. Πλέον είσοδοι=πρότυπα (π.χ δυαδικός αριθμός από 0,1) Σε κάθε πρότυπο αντιστοιχούμε και μία σωστη απάντηση, δηλαδή ένα σημά στην έξοδο. Άρα γνωστά πρότυπα αναμενόμενη έξοδος. 13

Εκπαίδευση Ν.Δ (2) Ενώ αρχικά ξεκινάει με τιμές στα βάρη w που είναι τυχαίες, κατά την διάρκεια της εκπαίδευσης μεταβάλλει τις τιμές αυτές, μέχρι να εκπαιδευθεί πλήρως. Ακολούθως, αφού βρει την σωστή εσωτερική δομή του, τότε θα μπορεί να λύνει και άλλα ανάλογα προβλήματα τα οποία δεν τα έχει δει προηγουμένως, δηλάδη έχει εκπαιδευθεί. Προβλήματα ίδιας φύσης και χαρακτηριστικών. 14

Χαρακτηριστικό Βιολογικών Δικτύων Πλαστικότητα: Κατά τις περιόδους της μάθησης τροποποιείται η ισχύς των συνάψεων (η ικανότητά τους να μεταδίδουν σήματα) και επιπλέον δημιουργούνται νέες συνάψεις Μεγάλο πλήθος νευρώνων + υψηλή παραλληλία = Μεγάλη ταχύτητα επεξεργασίας Hebb wij(new) = wij(old) + axixj Growing synapse images: Credit: Wen-Biao Gan, University of New York 15

Εφαρμογές Στεγαστικά δάνεια ΝΕΣΤΩΡ. Καθαρισμός θορύβου στις συνομιλίες. Έλεγχος αποσκευών σε αεροδρόμια. Αναγνώριση εικόνων. Ανάγνωση κειμένου. Κτλ. 16

Νευρωνικά Δίκτυα Perceptron To μοντέλο του αισθητήρα (perceptron) είναι από τα πρώτα μοντέλα νευρωνικών δικτύων που αναπτύχθηκαν την δεκαετία του πενήντα και έδωσαν στην περιοχή αυτή μεγάλη ώθηση χάρη στις επιτυχίες που είχε από την αρχή. Ενδιαφέρον Si*Wi Άρα ο νευρώνας λαμβλανει ένα συνολικό σήμα 17

Νευρωνικά Δίκτυα Perceptron Μερικές φορές θεωρούμε ότι, εκτός από τα εισερχόμενα σήματα και τα αντίστοιχα βάρη w, ο νευρώνας έχει και ένα εσωτερικό βάρος που τον χαρακτηρίζει.το εσωτερικό αυτό βάρος λέγεται «bias», b, ή αλλιώς προδιάθεση ή παράγων προδιάθεσης του νευρώνα. Το βάρος αυτό είναι τελείως ξεχωριστό από τα άλλα βάρη, αλλά δρα με τον ίδιο τρόπο όπως τα άλλα βάρη w που είδαμε μέχρι τώρα. Ορισμένες φορές το εισάγουμε ώστε να βρούμε το επιθυμητό S 18

Παράδειγμα Για W1=0,5,W2=1.5, W3=-1,0 S1=1,S2=0,7,S3=1,6 Ποιά η είσοδος, έξοδος του δικτύου?? 19

Ν.Δ n νευρώνων 20

Γραμμικά διαχωρίσιμα προβήματα Ένα perceptron με n γραμμές εισόδου και συνάρτηση κατωγλίου τη βηματική μπορει να θεωρηθεί ότι αναπαραστά ένα υπερεπίπεδο n-1 διαστάσεων που χωρίζει τα διανύσματα εισόδου σε δύο ομάδες (όσα παράγουν 1 και όσα παράγουν 0) Ένα από τα πιο γνωστά προβλήματα που επιλύονται με νευρωνικά δίκτυα είναι αυτό της η εκμάθησης της συνάρτησης AND. X1 X1 1.5 21

Γραμμικά διαχωρίσιμα προβήματα Ένα επίσης γνωστό πρόβλήμα είναι η εκμάθηση της συνάρτησης AND X1 X1?? ΝΟR X1?? 22

Μη γραμμικά διαχωρίσιμα προβήματα Ένα γνωστό πρόβλήμα που προσπαθούμε να λύσουμε με perceptron είναι είναι η εκμάθηση της συνάρτησης X-OR 23

Μη γραμμικά διαχωρίσιμα προβήματα Ένα γνωστό πρόβλήμα που προσπαθούμε να λύσουμε με perceptron είναι είναι η εκμάθηση της συνάρτησης X-OR Αδύνατο! 24

Γραμμική διαχωρισιμότητα Υπάρχουν πολλές συναρτήσεις, παρόμοιες με την συνάρτηση του X OR, οι οποίες δεν μπορούν να παρασταθούν με ένα δίκτυο ενός μόνο νευρώνα. Είδαμε ότι στην περίπτωση που έχουμε δύο εισόδους, τότε ο διαχωρισμός γίνεται από μία ευθεία γραμμή. Αν το πρόβλημά μας είχε τρείς εισόδους, τότε ο διαχωρισμός θα γινόταν από ένα επίπεδο που θα έτεμνε τον τρισδιάστατο χώρο. Δεν υπάρχει κανένας απλός τρόπος να ξέρουμε εκ των προτέρων εάν η συνάρτηση που μας παρουσιάζεται είναι γραμμικά διαχωρίσιμη,ειδικά όταν ο αριθμός των μεταβλητών είναι μεγάλος. Ένας νευρώνας με n εισόδους μπορεί να έχει 2^n διαφορετικούς συνδυασμούς από 0 και 1. Καθόσον κάθε συνδυασμός μπορεί να δώσει δύο διαφορετικές εξόδους (0 ή 1), υπάρχουν διαφορετικές συναρτήσεις n μεταβλητών. Καταλαβαίνουμε, λοιπόν, ότι η πιθανότητα να είναι μία συνάρτηση γραμμικά διαχωρίσιμη είναι πολύ μικρή, όταν μάλιστα υπάρχουν πολλές είσοδοι. 25

Γραμμική διαχωρισιμότητα θεωρούμε ότι κάθε νευρώνας του πρώτου επιπέδου διαιρεί το x y επίπεδο με τέτοιο τρόπο ώστε ο πρώτος από τους δύο νευρώνες να δίδει έξοδο = 1 για εισόδους κάτω από την πάνω γραμμή, και ο άλλος νευρώνας να δίδει έξοδο = 1 για εισόδους πάνω από την κάτω γραμμή. Μετά από αυτόν τον διπλό χωρισμό παρατηρούμε ότι η τελική έξοδος του δικτύου είναι 1 μόνον μέσα στην σκιασμένη περιοχή Αν είχαμε χρησιμοποιήσει τρεις νευρώνες στο επίπεδο εισόδου, τότε θα είχαμε τρεις ευθείες τεμνόμενες γραμμές, οι οποίες δίνουν μια περιοχή σε σχήμα τριγώνου 26

Γραμμική διαχωρισιμότητα Η αδύναμια του peceptron να λύσει τέτοια προβλήματα είναι το μεγαλύτερο μειονέκτημα του. Φυσική προέκταση του απλού μοντέλου ήταν να προταθεί ένα πιο περίπλοκο δίκτυο το οποίο να περιέχει περισσότερους νευρώνες, αντί για τις απλές μορφές που είδαμε μέχρι τώρα Το μοντέλο δύο επιπέδων μπορεί να ξεχωρίσει σημεία που περιλαμβάνονται σε ανοιχτές ή κλειστές κυρτές περιοχές 27

Παράδειγμα Λειτουργίας 1 1 5 X 1 W 1 =1 2 4 + + Θ=4 f HL 1 O i X 2 W 2 =2 28

Κατηγοριοποίηση ΤΝΔ Τα ΤΝΔ προσδιορίζονται Από τη δομή τους Τον τρόπο επικοινωνίας τους με το περιβάλλον Τη διαδικασία μάθησης Kαι τη συμπεριφορά τους κατά την επεξεργασία των δεδομένων. Τα ΤΝΔ διαχωρίζονται σε δύο βασικές κατηγορίες: (1) τα στατικά νευρωνικά δίκτυα που δεν περιέχουν στοιχεία με μνήμη αλλά μπορούν να έχουν ως εισόδους προηγούμενες τιμές των εισόδων και (2) τα δυναμικά νευρωνικά δίκτυα με στοιχεία μνήμης που είναι κατάλληλα για την προτυποποίηση μη-γραμμικών δυναμικών συστημάτων. 29

ΤΝΔ Βασικά Χαρακτηριστικά (συνεχ.) Νευροδυναμικά Χαρακτηριστικά Καθορίζουν πώς το ΤΝΔ: Εκπαιδεύεται Ανακαλεί από την μνήμη του Συσχετίζει Συγκρίνει την νέα πληροφορία με την ήδη υπάρχουσα γνώση Ταξινομεί την νέα πληροφορία Δημιουργεί νέες κατηγορίες όταν πρέπει 30

Ν.Δ Adaline 31

N.Δ Madaline 32

Εκπαίδευση Νευρωνικών Δικτύων 33

Λογική εκπαίδευσης + - + Α1=1 ο1=1 1 0 1 34

Κανόνας Δέλτα για βηματικές συναρτήσεις. Γενικά: W(n+1)=w(n)+Δ 35

O παράγοντας d, down the hill d μεγάλο d μικρό Point of minima 36

O παράγοντας d, down the hill d μεγάλο W2 Αρχικά W1,w2=0 d μικρό W2 Αρχικά W1,w2=0 W1 W1 n=1 n=2 n=1 n=2 n=3 n=3 Για οποιδήποτε w1,w2 το κόστος είναι ίδιο. Για οποιδήποτε w1,w2 το κόστος είναι ίδιο. 37

Παράδειγμα Μάθησης 1 38

Πάραδειγμα Μάθησης 4 41

Παράδειγμα 2 w=[1-0.8] Νευρώνας Δεδομένα Γραφική αναπαράσταση Συνέχεια στον πίνακα. 42

Η παράμετρος error 43

Νευρώνας perceptror n εισόδων. Εκπαίδευση. 44

Παράδειγμα 3. Βρείτε τις τιμές w Συνέχεια στον πίνακα. 45

Συσχετιστικά δίκτυα 46

Συνδεσμολογία 47

Υπολογισμός βαρών 48

Ενεργοποίηση νευρώνων 49

Λειτουργία 1/2 50

Λειτουργία 2/2 51

Παράδειγμα 1/4 52

Παρατήρηση 56

Χωρητικότητα συσχετιστικών δικτύων 57

Δίκτυα Hopfield 58

Συνδεσμολογία Ν-Ν Συνδεσμολογία. 59

Εφαρμογές 1/2 Συνειρμική μνήμη. 65

Εφαρμογές 2/2 Πλανόδιος πωλητής 66