Νευρωνικά ίκτυα. Σηµερινό Μάθηµα

Νευρωνικά ίκτυα Σηµερινό Μάθηµα Perceptron (Αισθητήρας) Aλγόριθµος µάθησης του Perceptron Οι εξισώσεις των Wiener-Hopf Μέθοδος Ταχύτερης Καθόδου (Steepest Descent) Οαλγόριθµος Ελάχιστου Μέσου Τετραγωνικού (EMT) λάθους Tα ίκτυαεµπρός-τροφοδότησης πολλών επιπέδων Αλγόριθµος Πίσω ιάδοσης Λάθους Back Propagation Algorithm

Perceptron (Αισθητήρας) Το Perceptron είναι η απλούστερη µορφή Νευρωνικού δικτύου. Χρησιµοποιείται για την ταξινόµηση γραµµικά διαχωριζόµενων προτύπων Γραµµικά ιαχωριζόµενα πρότυπα Είναι τα πρότυπα που χωρίζονται στο δειγµατοχώρο µεγραµµικές συναρτήσεις (γραµµές ή επίπεδα) 2

To Perceptron σαν ταξινοµητής Για d-διάστατα δεδοµένα το perceptron αποτελείται από d βάρη, ένα κατώφλι και µία συνάρτηση. x x 2 w w 2 a = -θ + w x + w 2 x 2 υ=g(a) {-, +} - θ g(a)= - if a < 0 g(a)= if a >= 0 Αν οµαδοποιήσουµεταβάρησε διάνυσµα w έχουµε: υ = g(w.x- θ) Aλγόριθµος µάθησης του Perceptron Η έξοδος του γραµµικού συνδυαστή είναι: p υ = wx i i θ i= Σκοπός του Perceptron είναι να ταξινοµήσει ένα σύνολο εισόδων σε µία από τις κλάσεις l και l 2. Ο κανόνας απόφασης για την ταξινόµηση είναι: ανάθεσε το σηµείο που αναπαριστούν τα x, x 2 στην κλάση l, αν y= + και στην κλάση l 2 αν y= -. Οι περιοχές απόφασης διαχωρίζονται από το υπερεπίπεδο που ορίζεται από τη σχέση: p υ = w i x i θ = 0 w x + w 2 x 2 - θ = 0 i= 3

Aλγόριθµος µάθησης του Perceptron Το κατώφλι µετατοπίζει το όριο απόφασης από την αρχή των αξόνων. Τα συναπτικά βάρη του Perceptron, µπορούν να προσαρµοσθούν επαναληπτικά. Για την προσαρµογή του διανύσµατος βαρών w, χρησιµοποιούµετον κανόνα σύγκλισης του Perceptron. l 2 θ l Κανόνας σύγκλισης του Perceptron Αν, τα διανύσµατα εισόδου και βαρών είναι: x(n) = [ -, x (n), x 2 (n),, x p (n) ] T w(n) = [ θ(n), w (n), w 2 (n),, w p (n) ] T H έξοδος του γραµµικού συνδυαστή είναι: υ(n) = w T (n) x(n) τότε υπάρχει ένα διάνυσµαβαρών, που T w x 0 x l T w x < 0 x l 2 4

Aλγόριθµος µάθησης του Perceptron. ΕΝ γίνεται διόρθωση στο w(n) όταν: αν w T (n) x(n) 0 & x(n) l w(n + ) = w(n) αν w T (n) x(n) < 0 & x(n) l2 w(n + ) = w(n) 2. ΑΛΛΙΩΣ, το διάνυσµαβαρώντουperceptron, ενηµερώνεται σύµφωνα µε τον κανόνα: αν w T (n) x(n) 0 & x(n) l2 w(n + ) = w(n) - η(n) x(n) αν w T (n) x(n) < 0 & x(n) l w(n + ) = w(n) + η(n) x(n) 5

Οαλγόριθµος Ελάχιστου Μέσου Τετραγωνικού (EMT) λάθους Αφορά µία πρωτόγονη κατηγορία νευρωνικών δικτύων που είναι σπουδαία για τρεις λόγους:. Αναπτύσσεται καλά η θεωρία των γραµµικών προσαρµοζόµενων φίλτρων που χρησιµοποιούν το µοντέλο ενός απλού γραµµικού νευρώνα 2. Είναι ένα προϊόν της πρωτοποριακής δουλειάς που έγινε τη δεκαετία του 960. 3. Ανοίγει το δρόµογιατηθεωρητικήανάπτυξη τηςπιογενικήςπερίπτωσηςτωνperceptrons πολλών-επιπέδων. 6

Οι εξισώσεις των Wiener-Hopf Θεωρείστε ένα σύνολο από p αισθητήρες, τοποθετηµένους σε διαφορετικά σηµεία στο χώρο. Έστω x,x 2,...,x p, τα σήµατα που παράγονται από αυτούς τους αισθητήρες και εφαρµόζονται σε ένα σύνολο βαρών w,w 2,...,w p. Τα ζυγισµένα σήµατα προστίθενται τότε, για να παράγουν την έξοδο y. Αν d, είναι η επιθυµητή έξοδος το ζητούµενο είναι να υπολογίσουµετηβέλτιστητιµήτουw, έτσι ώστε να ελαχιστοποιεί το λάθος e=d-y. Οι εξισώσεις των Wiener-Hopf Η σχέση εισόδου-εξόδου φίλτρου είναι : και το σήµαλάθους: e = d-y Ένα µέτρο επίδοσης ή συνάρτηση κόστους, είναι το µέσο τετραγωνικό λάθος (meansquared error), που ορίζεται από τη σχέση: J = ½ E[e 2 ] Πρόβληµα: Ζητείται να καθοριστεί το βέλτιστο σύνολο βαρών w o,w o2,...,w op, που ελαχιστοποιεί το τετραγωνικό λάθος J. p y = w k x k = k 7

Οι εξισώσεις των Wiener-Hopf Αντικαθιστώντας στις προηγούµενες εξισώσεις έχουµε: J 2 p p p 2 [ ] E w x d + w w x x = E d k k k = 2 Επειδή ο τελεστής Ε είναι γραµµικός, µπορούµε να αλλάξουµετησειράµετοσ, άρα έχουµε: J = 2 j= k = p p p 2 [ ] wk E[ xk d] + wjwke[ x j xk ] E d k = 2 j= k= j k j k Οι εξισώσεις των Wiener-Hopf Ορισµοί: Ηαναµενόµενη τιµήε[d 2 ] είναι η µέση τετραγωνική τιµήτουd: r d = E[d 2 ] ΗΕ[dx k ] είναι η συνάρτηση ετεροσυσχέτισης (crosscorrelation) µεταξύ του d και του x k. Έστω: r dx (k) = E[dx k ] k=,2,... p ΗΕ[x j x k ] είναι η συνάρτηση αυτοσυσχέτισης (autocorrelation) του συνόλου των σηµάτων εισόδου. Έστω: r x (j,k) = E[x j,x k ] j,k=,2... p 8

Οι εξισώσεις των Wiener-Hopf Με βάση τους παραπάνω ορισµούς η εξίσωση: J = 2 Γίνεται J = 2 r d E p p p 2 [ d ] wk E[ xkd ] + wjwke[ x j xk ] p k = w k k = r dx ( k) + 2 p 2 p j= k = j= k = w w r ( j, k) j k x Οι εξισώσεις των Wiener-Hopf Μια σχεδίαση πολλών διαστάσεων της συνάρτησης κόστους J, ως προς τα βάρη w,w 2,...,w p, αποτελεί την επιφάνεια απόδοσης λάθους, ή αλλιώς την επιφάνεια λάθους του φίλτρου. Η επιφάνεια λάθους έχει κοίλο σχήµα, µεπολύ καλά καθορισµένο πυθµένα, ήσηµεία ολικού ελάχιστου. Αυτό το σηµείο, είναι ακριβώς το βέλτιστο για το φίλτρο, µετηνέννοιαότιτοµέσο τετραγωνικό λάθος παίρνει την ελάχιστη τιµήτουj min. Για τον προσδιορισµό του βέλτιστου διαφορίζουµε τη συνάρτηση κόστους J ως προς w k και µηδενίζουµε το αποτέλεσµαγιακάθεk. 9

J Επιφάνεια λάθους w w 0 Οι εξισώσεις των Wiener-Hopf Παραγωγίζοντας έχουµε : w k J = r dx ( k) + j= Άρα η βέλτιστη συνθήκη για το φίλτρο, ορίζεται από την εξίσωση: wk J Έστω ότι το w ok, δηλώνειτηβέλτιστητιµή του w k : p j= p j x w w r ( j, k) = 0 woj rx ( j, k) = r J k = xd ( k) dj dw k 0

Μέθοδος Ταχύτερης Καθόδου (Steepest Descent) Γιαναλύσουµε τις εξισώσεις Wiener-Hopf µπορούµεναχρησιµοποιήσουµετηµέθοδο ταχύτερης καθόδου. Υποθέτουµε ότι τα βάρη του φίλτρου είναι χρονικά µεταβαλλόµενακαιότιοιτιµές τους διορθώνονται µε ένα επαναληπτικό τρόπο κατά µήκος της επιφάνειας λάθους, µετακινώντας τα προοδευτικά προς τη βέλτιστη λύση. Η µέθοδος ταχύτερης καθόδου έχει σαν στόχο τη συνεχή αναζήτηση βέλτιστης λύσης. J Μέθοδος Ταχύτερης Καθόδου (Steepest Descent) w w(n) w(n+) w 0

Μέθοδος Ταχύτερης Καθόδου (Steepest Descent) Έστω w k (n), ητιµήτουβάρουςw k τη χρονική στιγµή n. Η κλίση της επιφάνειας λάθους, ως προς τα βάρη, είναι : wk J ( n) = r ( k) + j= Σύµφωνα µετηµέθοδο ταχύτερης καθόδου, η διόρθωση που εφαρµόζεται στο βάρος w k (n), στην επανάληψη n, δίνεται από τη σχέση: dx w ( n) = η J ( n) k όπου η είναι µια θετική σταθερά που ονοµάζεται παράµετρος µάθησης (learning-rate). wk p w ( n) r ( j, k) j x Μέθοδος Ταχύτερης Καθόδου (Steepest Descent) Ηενηµερωµένη τιµήτουβάρουςτην επόµενη χρονική στιγµή n+, είναι: w ( n + ) = w ( n) η J ( n) k k Άρα, ηενηµερωµένη τιµήτουk-οστού βάρους ενός φίλτρου Wiener, ισούται µε την παλιά τιµήτουβάρουςσυνµια διόρθωση, η οποία είναι ανάλογη της αρνητικής κλίσης της επιφάνειας λάθους, ως προς αυτό το συγκεκριµένο βάρος. wk 2

Οαλγόριθµος ΕΜΤ (LMS) Οαλγόριθµος LMS βασίζεται στη χρήση στιγµιαίων εκτιµήσεων της συνάρτησης αυτοσυσχέτισης r x (j,k) και της συνάρτησης ετεροσυσχέτισης r dk (k): Οαλγόριθµος ΕΜΤ J ( n) = r Aντικαθιστώντας τις r x (j,k) και r dk (k) µετιςεκτιµήσειςτουςέχουµε : wk dx ( k) + p j= w ( n) r ( j, k) w ( n + ) = w ( n) η J ( n) k k j x wk 3

Οαλγόριθµος ΕΜΤ(LMS) 4

Tα ίκτυαεµπρός-τροφοδότησης πολλών επιπέδων Ένα τέτοιο δίκτυο αποτελείται από: ένα σύνολο αισθητήρων (πηγαίοι κόµβοι), που αποτελούν το επίπεδο εισόδου, ένα ή περισσότερα κρυφά επίπεδα (hidden layers) υπολογιστικών κόµβων και ένα επίπεδο υπολογιστικών κόµβων εξόδου. Το σήµα εισόδου διαδίδεται µέσα στο δίκτυο σε µία προς τα εµπρός κατεύθυνση, από επίπεδο σε επίπεδο. Αυτά τα νευρωνικά δίκτυα αναφέρονται σαν Perceptrons πολλών επιπέδων (MLPs) ίκτυο Τριών Επιπέδων x x 2 Input Output x n Hidden layers 5

Perceptron Πολλών επιπέδων ιδιότητες αρχιτεκτονικής εν υπάρχουν συνδέσεις στο ίδιο επίπεδο εν υπάρχουν απευθείας συνδέσεις µεταξύ εισόδου και εξόδου Πλήρως συνδεδεµένα µεταξύ επιπέδων Το πλήθος των εξόδων ανεξάρτητο από το πλήθος των εισόδων Ανεξάρτητο πλήθος κόµβων ανά επίπεδο. Κάθε µονάδα είναι ένα perceptron Χρησιµότητα επιπέδων Ένα επίπεδο δηµιουργεί γραµµικά όρια ύο επίπεδα συνδυάζουν γραµµές Τρία επίπεδα δηµιουργούν πιο πολύπλοκα σχήµατα 6

Tα ίκτυαεµπρός-τροφοδότησης πολλών επιπέδων Ένα Perceptron πολλών επιπέδων έχει τρία χαρακτηριστικά:. Το µοντέλο κάθε νευρώνα στο δίκτυο περιλαµβάνει µια µηγραµµικότητα στην έξοδο. Μία συνηθισµένη µορφή είναι µια σιγµοειδής µηγραµµικότητα (sigmoidal nonlinearity): Η σιγµοειδής καµπύλη 7

Tα ίκτυαεµπρός-τροφοδότησης πολλών επιπέδων 2. Το δίκτυο περιέχει ένα ή περισσότερα κρυφά επίπεδα από νευρώνες. 3. Το δίκτυο επιδεικνύει έναν υψηλό βαθµό διασύνδεσης (connectivity) που καθορίζεται από τις συνδέσεις (συνάψεις) του δικτύου. Μία αλλαγή στον τρόπο διασυνδέσεις του δικτύου απαιτεί αλλαγή στον πληθυσµό των συνδέσεων ή στα βάρη τους. Tα ίκτυαεµπρός-τροφοδότησης πολλών επιπέδων - Προβλήµατα. Ηπαρουσίαµιας κατανεµηµένης µορφής µηγραµµικότητας και η υψηλή διασύνδεση του δικτύου κάνουν την θεωρητική ανάλυση ενός Perceptron πολλών επιπέδων, πολύ δύσκολο να επιχειρηθεί. 2. Η χρήση κρυφών νευρώνων κάνει την διαδικασία µάθησης πιο δύσκολη στο να κατανοηθεί. 8

Tα ίκτυαεµπρός-τροφοδότησης πολλών επιπέδων Σ αυτό το δίκτυο αναγνωρίζονται δυο είδη σηµάτων: Λειτουργικά σήµατα Σήµατα λάθους Λειτουργικά σήµατα Ενα λειτουργικό σήµα (function signal) είναι ένα σήµα εισόδου (ερέθισµα) που διαδίδεται προς τα εµπρός διαµέσου του δικτύου και εξέρχεται από την έξοδο του δικτύου σαν ένα σήµα εξόδου. Καλείται λειτουργικό γιατί: Πρώτον, υποτίθεται ότι επιτελεί µια χρήσιµη συνάρτηση στην έξοδο του δικτύου. εύτερον, σε κάθε νευρώνα του δικτύου, µέσω του οποίου περνά ένα λειτουργικό σήµα, το σήµα υπολογίζεται σαν µία συνάρτηση των εισόδωνκαιτωνσυσχετιζόµενων βαρών, που εφαρµόζονται στο νευρώνα. 9

Σήµατα λάθους Ένα σήµαλάθους(error signal) δηµιουργείται σε έναν νευρώνα εξόδου του δικτύου και διαδίδεται προς τα πίσω (layer by layer) διαµέσου του δικτύου. Αναφερόµαστε σ αυτό σαν error signal επειδή ο υπολογισµός του από κάθε νευρώνα του δικτύου εµπεριέχει µια συνάρτηση εξαρτώµενη από το λάθος. Αλγόριθµος Πίσω ιάδοσης Λάθους Back Propagation Algorithm Τα MLPs εκπαιδεύονται µε έναν επιβλεπόµενο τρόπο (supervised manner), µε τογνωστόσαν αλγόριθµο πίσω διάδοσης του λάθους (error Back Propagation algorithm - BP). Αυτός ο αλγόριθµος βασίζεται στον κανόνα µάθησης διόρθωσης του λάθους (error correction learning rule). Η διαδικασία της πίσω διάδοσης του λάθους αποτελείται από δυο περάσµατα διαµέσου των διαφορετικών επιπέδων του δικτύου ένα προς τα εµπρός πέρασµα (forward pass) και ένα προς τα πίσω πέρασµα (backward pass). 20

Αλγόριθµος Πίσω ιάδοσης Λάθους Back Propagation Algorithm Στο εµπρός πέρασµα: Ένα διάνυσµα εισόδου (input vector) εφαρµόζεται στους νευρώνες εισόδου του δικτύου Η επίδραση του διαδίδεται µέσα στο δίκτυο από επίπεδο σε επίπεδο (layer by layer). Ένα σύνολο από εξόδους παράγεται ως η πραγµατική απόκριση του δικτύου. Κατά τη διάρκεια του εµπρός περάσµατος τα βάρη του δικτύου είναι σταθερά. Αλγόριθµος Πίσω ιάδοσης Λάθους Back Propagation Algorithm Κατά την πίσω διάδοση: Ηπραγµατική απόκριση του δικτύου αφαιρείται από την επιθυµητή απόκριση για την παραγωγή ενός σήµατος λάθους Το σήµα λάθους διαδίδεται προς τα πίσω στο δίκτυο. Τα βάρη προσαρµόζονται σε συµφωνία µε τον κανόνα διόρθωσης λάθους. 2

Αλγόριθµος Back-propagation 22

Μεταβολή Βαρών στο επίπεδο εξόδου o k w ji x i Μεταβολή βαρών στα κρυµµένα επίπεδα o j w jk δ j δ k = Σ j w jk δ j o j (-o j ) x k δ k w ki x i 23

Back-propagation y j w jk δ j Backward step: Σήµα λάθους από την έξοδο προς τα πίσω x k δ k w ki x i Forward step: Λειτουργικό σήµα από την είσοδο προς την έξοδο Back-propagation Εφαρµογή ταχύτερης καθόδου σε όλα τα βάρη του δικτύου Θα βρει ένα τοπικό όχι απαραίτητα γενικό ελάχιστο σφάλµα Συχνά εµπεριέχει ένα όρο αδράνειας w i,j (n)= ηδ j x i,j + α w i,j (n-) Πολύ αργή εκπαίδευση 000-0000 επαναλήψεις 24

Τοπικά ελάχιστα Local Minimum Global Minimum Πρόσθετη αδράνεια Προσθέτει ποσοστό της τελευταίας κίνησης στην τρέχουσα κίνηση 25

Backpropagation: Πλεονεκτήµατα Εύκολο στη χρήση Λίγες παράµετροι προς ρύθµιση Αλγόριθµος εύκολος σε υλοποίηση Μπορεί να εφαρµοστεί σε ευρεία περιοχή δεδοµένων Πολύ δηµοφιλής Backpropagation: Μειονεκτήµατα Ηεκµάθηση είναι αργή Τανέαστοιχείαθαυπερκαλύψουν τα παλαιά εκτός αν συνεχίσουν να παρέχονται ύσκολοναδιατηρηθείτοδίκτυο ενηµερωµένο Το δίκτυο είναι ουσιαστικά black box εν µπορεί να υπάρξει εγγύηση γενίκευσης ακόµακαιµε ελάχιστο σφάλµα 26