Νευρωνικά Δίκτυα. Σημερινό Μάθημα

Νευρωνικά Δίκτυα Σημερινό Μάθημα Από τα Βιολογικά Νευρωνικά Δίκτυα στα Τεχνητά Επιβλεπόμενη Μάθηση Μη επιβλεπόμενη Μάθηση 1

Νευρωνικά Δίκτυα (Ν.Δ) Τα Τεχνητά Νευρωνικά ίκτυα (ΤΝ ) αποτελούν μια προσπάθεια προσέγγισης της λειτουργίας του ανθρώπινου εγκεφάλου Η αρχιτεκτονική τους βασίζεται στην αρχιτεκτονική των Βιολογικών Νευρωνικών ικτύων. Τα Νευρωνικά Δίκτυα (Ν.Δ.) εκπαιδεύονται με τη βοήθεια παραδειγμάτων, έτσι ώστε να μαθαίνουν το περιβάλλον τους. Υπάρχουν πολλές κατηγορίες Ν.., ανάλογα με την αρχιτεκτονική τους και τον τρόπο εκπαίδευσής τους. Από τα Βιολογικά Νευρωνικά Δίκτυα στα Τεχνητά Η μελέτη των τεχνητών νευρωνικών δικτύων, υποκινήθηκε από την αναγνώριση ότι οι «εγκεφαλικοί υπολογιστές» είναι διαφορετικοί από τους ψηφιακούς υπολογιστές. Τυπικά οι νευρώνες του εγκεφάλου είναι 5 6 τάξεις μεγέθους αργότεροι από τις λογικές πύλες σιλικόνης. Ο εγκέφαλος είναι ένας πολύπλοκος, μηγραμμικός και παράλληλος λ υπολογιστής. Ο εγκέφαλος οργανώνει τους νευρώνες ώστε να εκτελεί συγκεκριμένους υπολογισμούς πιο γρήγορα από τους πιο γρήγορους ψηφιακούς υπολογιστές 2

Από τα Βιολογικά Νευρωνικά Δίκτυα στα Τεχνητά Κατά τη γέννησή του ο εγκέφαλος κατασκευάζει τους δικούς του κανόνες, εμπειρία, η οποία μεγαλώνει με την πάροδο του χρόνου. Κατά τα 2 πρώτα χρόνια ζωής, έχουμε τη μέγιστη ανάπτυξη, όπου δημιουργούνται περίπου 1 εκατομμύριο συνάψεις (synapses) (y ape) στο δευτερόλεπτο. Οι συνάψεις είναι οι βασικές δομικές και λειτουργικές μονάδες που μεσολαβούν στην ενδοεπικοινωνία των νευρώνων. Από τα Βιολογικά Νευρωνικά Δίκτυα στα Τεχνητά Η κατανάλωση ενέργειας στον εγκέφαλο είναι 20 Watt,ενώ ένας υπολογιστής χρειάζεται χιλιάδες Watt. 3

Από τα Βιολογικά Νευρωνικά Δίκτυα στα Τεχνητά Οι συνδέσεις των νευρώνων, με τους άξονες και τους δενδρίτες, ονομάζονται συνάψεις. Από τα Βιολογικά Νευρωνικά Δίκτυα στα Τεχνητά Ένα Τ.Ν.Δ. μοιάζει με τον εγκέφαλο ξή στα εξής: Η γνώση αποκτάται από το δίκτυο μέσα από διαδικασία μάθησης. Οι δυνάμεις σύνδεσης των νευρώνων, γνωστές σαν συναπτικά (synaptic) βάρη, χρησιμοποιούνται για την αποθήκευση γνώσης. 4

Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ) vs Βιολογικών Τα ΤΝ έχουν μόλις ξεπεράσει το σκουλήκι Νευρωνικά Δίκτυα νευρώνας Τα ΤΝ είναι μια συλλογή από νευρώνες (Processing Units PUs) που συνδέονται μεταξύ τους Κάθε νευρώνας έχει πολλές εισόδους αλλά μόνο μία έξοδο η οποία αποτελεί είσοδο για άλλους νευρώνες H συνδέσεις διαφέρουν ως προς τη σημαντικότητά τους που προσδιορίζεται από το συντελεστή βάρους (σύναψη). Η επεξεργασία κάθε νευρώνα καθορίζεται από τη συνάρτηση μεταφοράς, η οποία καθορίζει την κάθε έξοδο σε σχέση με τις εισόδους και τους συντελεστές βάρους. 5

Νευρώνας Κάθε σήμα συνδέεται με την τιμή βάρους. Ένα βάρος μας λέει πόσο σημαντική είναι η συνεισφορά του συγκεκριμένου σήματος Σε κάθε νευρώνα καταφθάνει ένας αριθμός σημάτων, ως είσοδος. έχει μία μόνο έξοδο, συνάρτηση των σημάτων εισόδου Tα Ν.Δ. σαν κατευθυνόμενoι γράφοι Απλοποιούμε την εμφάνιση των μοντέλων των νευρώνων, χρησιμοποιώντας την ιδέα των γράφων ροής σημάτων. Ένας γράφος ροής σημάτων, είναι ένα δίκτυο με κατευθυνόμενα κλαδιά, που συνδέονται σε συγκεκριμένα σημεία τους κόμβους. Ένας τυπικός κόμβος j σχετίζεται με ένα σήμα κόμβου x j. 6

Tα Ν.Δ. σαν κατευθυνόμενoι γράφοι ΚΑΝΟΝΑΣ 1. Ένα σήμα ρέει κατά μήκος της σύνδεσης μόνο στην κατεύθυνση που ορίζεται από το βέλος. Υπάρχουν 2 τύποι σύνδεσης: 1. Συναπτικές συνδέσεις, όπου το σήμα x j πολλαπλασιάζεται με το βάρος w κj για να παράγει το σήμα y κ. 2. Συνδέσεις ενεργοποίησης, που περιγράφει μια συνάρτηση φ(. ), που δεν είναι γραμμική. Tα Ν.Δ. σαν κατευθυνόμενoι γράφοι ΚΑΝΟΝΑΣ 2. Το σήμα κόμβου, ισούται με το αλγεβρικό άθροισμα όλων των σημάτων που φτάνουν στον κόμβο. 7

Tα Ν.Δ. σαν κατευθυνόμενoι γράφοι ΚΑΝΟΝΑΣ 3. Το σήμα σε έναν κόμβο μεταβιβάζεται σε κάθε εξερχόμενη σύνδεση που ξεκινά από αυτόν, με την μεταβίβαση να είναι ανεξάρτητη από τις συναρτήσεις μεταφοράς των εξερχόμενων συνδέσεων. Tα Ν.Δ. σαν κατευθυνόμενoι γράφοι 8

Tα Ν.Δ. σαν κατευθυνόμενoι γράφοι Ένα νευρωνικό δίκτυο είναι ένας κατευθυνόμενος γράφος, που αποτελείται από κόμβους με συναπτικές διασυνδέσεις και συνδέσεις ενεργοποίησης και έχει τις ιδιότητες : Κάθε νευρώνας, παριστάνεται από ένα σύνολο γραμμικών συναπτικών συνδέσεων, ένα εξωτερικά εφαρμοζόμενο κατώφλι και μια μη γραμμική σύνδεση ενεργοποίησης. Το κατώφλι παριστάνεται από συναπτικές συνδέσεις με σήμα εισόδου τιμής 1. Οι συναπτικές συνδέσεις ενός νευρώνα ζυγίζουν τα αντίστοιχα σήματα εισόδου. Το άθροισμα των βαρών των σημάτων εισόδου καθορίζει το συνολικό εσωτερικό επίπεδο ενεργοποίησης του νευρώνα που ζητείται. Η σύνδεση ενεργοποίησης συνθλίβει (περιορίζει) το εσωτερικό επίπεδο ενεργοποίησης, για την παραγωγή της εξόδου που παριστάνει την κατάσταση του νευρώνα. Tα Ν.Δ. σαν κατευθυνόμενoι γράφοι Υπάρχουν μερικώς ολοκληρωμένοι κατευθυνόμενοι γράφοι που είναι γνωστοί σαν αρχιτεκτονικοί γράφοι. Τόσο στους κατευθυνόμενους όσο και τους αρχιτεκτονικούς γράφους, οι κόμβοι που παριστάνονται με τετράγωνο, δεν πραγματοποιούν καμία λειτουργία. 9

Αρχιτεκτονικές των Νευρωνικών Δικτύων Ο τρόπος με τον οποίο οι νευρώνες ενός νευρωνικού δικτύου δομούνται, είναι στενά συνδεδεμένος με τον αλγόριθμο εκμάθησης για την εκπαίδευση του δικτύου. Σαν εμπρός τροφοδότησης, αναφέρονται τα δίκτυα, στα οποία τα σήματα κατευθύνονται από την είσοδο στην έξοδο. Όταν οι έξοδοι κάποιων νευρώνων, γίνονται είσοδοι σε νευρώνες προηγούμενων επιπέδων, τότε έχουμε ανάδραση. Διακρίνουμε 4 διαφορετικές κλάσεις αρχιτεκτονικών δομών. Ενός επιπέδου Εμπρός Τροφοδότησης Δίκτυα Οι νευρώνες είναι οργανωμένοι σε μορφή επιπέδων. Οι νευρώνες του πηγαίου επιπέδου δείχνουν στους νευρώνες του επόμενου επιπέδου αλλά όχι αντίστροφα. 10

Πολλαπλών Επιπέδων Εμπρός Τροφοδότησης Δίκτυα Εδώ έχουμε περισσότερα του ενός κρυφά επίπεδα, των οποίων οι κόμβοι υπολογισμού ονομάζονται κρυφοί νευρώνες. Τυπικά, οι νευρώνες σε κάθε επίπεδο έχουν σαν εισόδους τα σήματα εξόδου του προηγούμενου μόνο επιπέδου. Ένα τέτοιο δίκτυο περιγράφεται συνοπτικά με το συμβολισμό 10 4 2. Πολλαπλών Επιπέδων Εμπρός Τροφοδότησης Δίκτυα Input Layer Hidden Layers Output Layer 11

Αναδρομικά Δίκτυα Έχουν ένα τουλάχιστον βρόχο ανάδρασης. Input Hidden Output Layer Layers Layer Αναδρομικά Δίκτυα Δίκτυο Hopfield Το δίκτυο Hopfield είναι μια μη γραμμική συσχετιστική μνήμη ή μνήμη διευθυνσιοδοτούμενη από τα περιεχόμενα. Η κύρια λειτουργία μιας τέτοιας μνήμης είναι η ανάκτηση ενός προτύπου, που έχει αποθηκευθεί σε αυτήν. 12

Δικτυωτές Δομές Ένα πλέγμα, αποτελείται από έναν πίνακα μιας, δύο ή μεγαλύτερης διάστασης από νευρώνες, με ένα αντίστοιχο σύνολο από πηγαίους κόμβους, που παρέχουν τα σήματα εισόδου στον πίνακα. Επιβλεπόμενη Μάθηση 13

Νευρωνικά Δίκτυα Εκπαίδευση Για να χρησιμοποιηθεί ένα ΤΝ πρέπει πρώτα να εκπαιδευτεί Η μάθηση συνίσταται στον προσδιορισμό των κατάλληλων συντελεστών βάρους Η μάθηση πραγματοποιείται με τη βοήθεια αλγορίθμων που είναι γνωστοίωςκανόνεςμάθησηςή ως αλγόριθμοι εκπαίδευσης. Με τη μάθηση τα Ν.. μαθαίνουν το περιβάλλον τους Στοιχεία της Θεωρίας Μάθησης Το ΝΔ έχει την ικανότητα να μαθαίνει από το περιβάλλον του και να βελτιώνει την απόδοσή του μέσω της μάθησης. Η βελτίωση γίνεται σταδιακά, σύμφωνα με κάποιο καθορισμένο μέτρο. Η μάθηση επιτυγχάνεται μέσω μιας επαναληπτικής διαδικασίας ρυθμίσεων της τιμής των συναπτικών βαρών και των κατωφλίων. Το δίκτυο αποκτά περισσότερη γνώση μετά από κάθε επανάληψη. 14

Στοιχεία της Θεωρίας Μάθησης Σύμφωνα με τους Mendel και McClaren, με σημείο αναφοράς τα νευρωνικά δίκτυα: Mάθηση είναι μια διαδικασία με την οποία προσαρμόζονται oι ελεύθερες παράμετροι ενός νευρωνικού δικτύου μέσω μίας συνεχούς διαδικασίας διέγερσης από το περιβάλλον στο οποίο βρίσκεται το δίκτυο. Το είδος της μάθησης καθορίζεται από τον τρόπο με τον οποίο πραγματοποιούνται oι αλλαγές των παραμέτρων. Στοιχεία της Θεωρίας Μάθησης Ο ορισμός της διαδικασίας μάθησης υπονοεί την ακόλουθη σειρά βημάτων: 1. Tο νευρωνικό δίκτυο ʺδιεγείρεταιʺ από ένα περιβάλλον. 2. Το νευρωνικό δίκτυο υφίσταται αλλαγές σαν συνέπεια αυτής της διέγερσης. 3. Το νευρωνικό δίκτυο ʺαπαντάʺ με ένα καινούργιο τρόπο στο περιβάλλον, λόγω των αλλαγών που συνέβησαν στην εσωτερική του δομή. 15

Παράδειγμα Tη χρονική στιγμή n γίνεται μια ρύθμιση (διόρθωση) στο βάρος: w ( n + 1) = w ( n) + Δw ( n) kj kj kj H ρύθμιση υπολογίζεται σαν αποτέλεσμα της διέγερσης από το περιβάλλον (βήμα 1) H ενημερωμένη τιμή εκφράζει την αλλαγή που συνέβη στο δίκτυο εξαιτίας της διέγερσης (βήμα 2). Το βήμα 3 πραγματοποιείται όταν υπολογίζεται η απάντηση του νέου δικτύου Στοιχεία της Θεωρίας Μάθησης Ένα καθορισμένο σύνολο από καλά ορισμένους κανόνες για τη λύση ενός προβλήματος μάθησης καλείται αλγόριθμος μάθησης (learning algorithm). Υπάρχει μεγάλη ποικιλία αλγορίθμων μάθησης, καθένας από τους οποίους έχει τα δικά του πλεονεκτήματα. Οι αλγόριθμοι διαφέρουν μεταξύ τους στον τρόπο που εκφράζεται η ρύθμιση στο βάρος σύνδεσης. 16

Το μοντέλο του τεχνητού νευρώνα Ένας νευρώνας είναι μια μονάδα επεξεργασίας πληροφορίας. Τα τρία βασικά στοιχεία αυτού του μοντέλου είναι : Ένα σύνολο από συνάψεις ή συνδετικούς κρίκους Ένας αθροιστής Μια συνάρτηση ενεργοποίησης a 0 w 0 w i a i w n Θ Outgoing activation a n Το μοντέλο του τεχνητού νευρώνα Κάθε σύναψη χαρακτηρίζεται από ένα βάρος. Ένα σήμα x j στην είσοδο της σύναψης j που συνδέεται στον νευρώνα k, πολλαπλασιάζεται με το συναπτικό βάρος w kj. Το βάρος w kj είναι θετικό αν η σύναψη είναι διεγερτική και αρνητικό αν σύναψη είναι απαγορευτική. Ο αθροιστής χρησιμοποιείται για την πρόσθεση των σημάτων εισόδου. Η συνάρτηση ενεργοποίησης χρησιμοποιείται για τη μείωση του εύρους της εξόδου του νευρώνα. 17

Το μοντέλο του τεχνητού νευρώνα Το μοντέλο περιλαμβάνει ένα κατώφλι θ κ, που έχει επίδραση στην ελάττωση της εισόδου στην εφαρμοζόμενη συνάρτηση ενεργοποίησης. Ενας νευρώνας k περιγράφεται από τις παρακάτω εξισώσεις: y u p = w x k kj j j=11 = φ( u ϑ ) k k k Το μοντέλο του τεχνητού νευρώνα Το κατώφλι θ κ είναι εσωτερική παράμετρος του νευρώνα k. Έτσι μπορούμε να διαμορφώσουμε το συνδυασμό των εξισώσεων: p υk = wkjx j y k = φ υ k j = 0 ( ) Όπου συμπεριλαμβάνουμε μια νέα σύναψη x0 = 1 w k0 = ϑ k 18

Το μοντέλο του τεχνητού νευρώνα Συναρτήσεις ενεργοποίησης Η συνάρτηση ενεργοποίησης ορίζει την έξοδο ενός νευρώνα συναρτήσει του επιπέδου ενεργοποίησης της εισόδου. Έχουμε 3 βασικούς τύπους συναρτήσεων ενεργοποίησης: Συνάρτηση Κατωφλιού. Τμηματικά Γραμμική Συνάρτηση. Σιγμοειδής Συνάρτηση 19

Συνάρτηση Κατωφλίου Η συνάρτηση κατωφλίου είναι: 1, υ 0 φ( υ) = 0, υ < 0 Επομένως η έξοδος ενός νευρώνα k έχει τη μορφή: 1, υ k 0 y k = 0, υ k < 0 όπου υ κ είναι το εσωτερικό επίπεδο ενεργοποίησης του νευρώνα : υ = k p j = 0 w kj x j ϑ k Τμηματικά Γραμμική Συνάρτηση Για την τμηματικά γραμμική συνάρτηση έχουμε: 1, φ( υ) = υ, 0, υ 1 2 1/ 2 < υ < 1/ 2 υ 1 2 μπορεί να θεωρηθεί σαν μια προσέγγιση ενός μηγραμμικού ενισχυτή. 20

Σιγμοειδής Συνάρτηση Είναι η πιο συνηθισμένη μορφή συνάρτησης ενεργοποίησης που χρησιμοποιείται στην κατασκευή τεχνητών νευρωνικών δικτύων Ορίζεται σαν αυστηρά αύξουσα συνάρτηση, η οποία παρουσιάζει εξομάλυνση και ασυμπτωτικές ιδιότητες. Ένα παράδειγμα είναι η λογιστική συνάρτηση, που ορίζεται από τη σχέση: φυ ( ) = 1 1 + exp( αυ) Σιγμοειδής Συνάρτηση Μεταβάλλοντας την παράμετρο α παίρνουμε διαφορετικές συναρτήσεις. 21

Συναρτήσεις ενεργοποίησης Οι προηγούμενες συναρτήσεις ενεργοποίησης κυμαίνονται από 0 ως +1. Αν θέλουμε συνάρτηση που να κυμαίνεται από 1 ως +1, επαναπροσδιορίζουμε την συνάρτηση κατωφλιού ως: 1, υ > 0 φ( υ) 0, υ = 0 1, υ < 0 που ονομάζεται συνάρτηση προσήμου (signum) και συμβολίζεται σαν sgn(.). Perceptron (Αισθητήρας) Το Perceptron είναι η απλούστερη μορφή Νευρωνικού δικτύου. μορφή Νευρωνικού δικτύου. Χρησιμοποιείται για την ταξινόμηση γραμμικά διαχωριζόμενων προτύπων 22

Γραμμικά Διαχωριζόμενα πρότυπα Είναι τα πρότυπα που χωρίζονται στο δειγματοχώρο με γραμμικές συναρτήσεις (γραμμές ή επίπεδα) To Perceptron σαν ταξινομητής Για d-διάστατα δεδομένα το perceptron αποτελείται από d βάρη, ένα κατώφλι και μία συνάρτηση. x 1 x 2 w 1 w 2 a = -θ + w 1 x 1 + w 2 x 2 υ=g(a) {-1, +1} -1 θ g(a)= -1 if a < 0 g(a)= 1 if a >= 0 Αν ομαδοποιήσουμε τα βάρη σε διάνυσμα w έχουμε: υ = g(w.x- θ) 23

Aλγόριθμος μάθησης του Perceptron Η έξοδος του γραμμικού συνδυαστή είναι: p υ = w i x i θ i= 1 Σκοπός του Perceptron είναι να ταξινομήσει ένα σύνολο εισόδων σε μία από τις κλάσεις l 1 και l 2. Ο κανόνας απόφασης για την ταξινόμηση είναι: ανάθεσε το σημείο που αναπαριστούν τα x 1, x 2 στην κλάση l 1, αν y= +1 και στην κλάση l 2 αν y = 1. Οι περιοχές απόφασης διαχωρίζονται από το υπερεπίπεδο που ορίζεται από τη σχέση: υ = p i= 1 w x i i θ = 0 w 1 x 1 + w 2 x 2 θ = 0 Aλγόριθμος μάθησης του Perceptron Το κατώφλι μετατοπίζει το όριο απόφασης από την αρχή των αξόνων. Τα συναπτικά βάρη του Perceptron, μπορούν να προσαρμοσθούν επαναληπτικά. Για την προσαρμογή του διανύσματος βαρών w, χρησιμοποιούμε τον κανόνα σύγκλισης του Perceptron. l 2 θ l 1 24

Κανόνας σύγκλισης του Perceptron Αν, τα διανύσματα εισόδου και βαρών είναι: x(n) = [ 1, x T 1 (n), x 2 (n),, x p (n) ] w(n) = [ θ(n), w 1 (n), w 2 (n),, w p (n) ] T H έξοδος του γραμμικού συνδυαστή είναι: υ(n) ( ) = w T (n) x(n) ( ) τότε υπάρχει ένα διάνυσμα βαρών, που T w x 0 x l 1 T w x < 0 x l 2 Aλγόριθμος μάθησης του Perceptron 1. ΔΕΝ γίνεται διόρθωση στο w(n) όταν: αν w T (n) x(n) 0 & x(n) l1 w(n + 1) = w(n) αν w T (n) x(n) < 0 & x(n) l2 w(n + 1) = w(n) 2. ΑΛΛΙΩΣ, το διάνυσμα βαρών του Perceptron, ενημερώνεται σύμφωνα με τον κανόνα: αν w T (n) x(n) 0 & x(n) l2 w(n + 1) = w(n) η(n) x(n) αν w T (n) x(n) < 0 & x(n) l1 w(n + 1) = w(n) + η(n) x(n) 25

Tα Δίκτυα εμπρός τροφοδότησης πολλών επιπέδων Ένα τέτοιο δίκτυο αποτελείται από: ένα σύνολο αισθητήρων (πηγαίοι ί κόμβοι), ) που αποτελούν το επίπεδο εισόδου, ένα ή περισσότερα κρυφά επίπεδα (hidden layers) υπολογιστικών κόμβων και ένα επίπεδο υπολογιστικών κόμβων εξόδου. Το σήμα εισόδου διαδίδεται μέσα στο δίκτυο σε μία προς τα εμπρός κατεύθυνση, από επίπεδο σε επίπεδο. Αυτά τα νευρωνικά δίκτυα αναφέρονται σαν Perceptrons πολλών επιπέδων (MLPs) Δίκτυο Τριών Επιπέδων x 1 x 2 Input Output x n Hidden layers 26

Perceptron Πολλών επιπέδων ιδιότητες αρχιτεκτονικής Δεν υπάρχουν συνδέσεις στο ίδιο επίπεδο Δεν υπάρχουν απευθείας συνδέσεις μεταξύ εισόδου και εξόδου Πλήρως συνδεδεμένα μεταξύ επιπέδων Το πλήθος των εξόδων ανεξάρτητο από το πλήθος των εισόδων Ανεξάρτητο πλήθος κόμβων ανά επίπεδο. Κάθε μονάδα είναι ένα perceptron Χρησιμότητα επιπέδων Ένα επίπεδο δημιουργεί γραμμικά όρια Δύο επίπεδα συνδυάζουν γραμμές Τρία επίπεδα δημιουργούν πιο πολύπλοκα σχήματα 27

Tα Δίκτυα εμπρός τροφοδότησης πολλών επιπέδων Ένα Perceptron πολλών επιπέδων έχει τρία χαρακτηριστικά: 1. Το μοντέλο κάθε νευρώνα στο δίκτυο περιλαμβάνει μια μη γραμμικότητα στην έξοδο. Μία συνηθισμένη μορφή είναι μια σιγμοειδής μη γραμμικότητα (sigmoidal nonlinearity): Η σιγμοειδής καμπύλη 28

Tα Δίκτυα εμπρός τροφοδότησης πολλών επιπέδων 2. Το δίκτυο περιέχει ένα ή περισσότερα κρυφά επίπεδα από νευρώνες. 3. Το δίκτυο επιδεικνύει έναν υψηλό βαθμό διασύνδεσης (connectivity) που καθορίζεται από τις συνδέσεις (συνάψεις) του δικτύου. Μία αλλαγή στον τρόπο διασυνδέσεις του δικτύου απαιτεί αλλαγή στον πληθυσμό των συνδέσεων ή στα βάρη τους. Tα Δίκτυα εμπρός τροφοδότησης πολλών επιπέδων Σ αυτό το δίκτυο αναγνωρίζονται δυο είδη σημάτων: Λειτουργικά σήματα Σήματα λάθους 29

Λειτουργικά σήματα Ενα λειτουργικό σήμα (function signal) είναι ένα σήμα εισόδου (ερέθισμα) ρ μ που διαδίδεται προς τα εμπρός διαμέσου του δικτύου και εξέρχεται από την έξοδο του δικτύου σαν ένα σήμα εξόδου. Καλείται λειτουργικό γιατί: Πρώτον, υποτίθεται ότι επιτελεί μια χρήσιμη συνάρτηση στην έξοδο του δικτύου. Δεύτερον, σε κάθε νευρώνα του δικτύου, μέσω του οποίου περνά ένα λειτουργικό σήμα, το σήμα υπολογίζεται σαν μία συνάρτηση των εισόδων και των συσχετιζόμενων βαρών, που εφαρμόζονται στο νευρώνα. Σήματα λάθους Ένα σήμα λάθους (error signal) δημιουργείται σε έναν νευρώνα εξόδου του δικτύου και διαδίδεται προς τα πίσω (layer by layer) διαμέσου του δικτύου. Αναφερόμαστε σ αυτό σαν error signal επειδή ο υπολογισμός του από κάθε νευρώνα του δικτύου εμπεριέχει μια συνάρτηση εξαρτώμενη από το λάθος. 30

Αλγόριθμος Πίσω Διάδοσης Λάθους Back Propagation Algorithm Τα MLPs εκπαιδεύονται με έναν επιβλεπόμενο τρόπο (supervised manner), με το γνωστό σαν αλγόριθμο πίσω διάδοσης του λάθους (error Back Propagation algorithm BP). Αυτός ο αλγόριθμος βασίζεται στον κανόνα μάθησης διόρθωσης του λάθους (error correction learning rule). Η διαδικασία της πίσω διάδοσης του λάθους αποτελείται από δυο περάσματα διαμέσου των διαφορετικών επιπέδων του δικτύου ένα προς τα εμπρός πέρασμα (forward pass) και ένα προς τα πίσω πέρασμα (backward pass). Αλγόριθμος Πίσω Διάδοσης Λάθους Back Propagation Algorithm Στο εμπρός πέρασμα: Ένα διάνυσμα εισόδου (input vector) εφαρμόζεται στους νευρώνες εισόδου του δικτύου Η επίδραση του διαδίδεται μέσα στο δίκτυο από επίπεδο σε επίπεδο (layer by layer). Ένα σύνολο από εξόδους παράγεται ως η πραγματική απόκριση του δικτύου. Κατά τη διάρκεια του εμπρός περάσματος τα βάρη του δικτύου είναι σταθερά. 31

Αλγόριθμος Πίσω Διάδοσης Λάθους Back Propagation Algorithm Κατά την πίσω διάδοση: Η πραγματική απόκριση του δικτύου αφαιρείται από την επιθυμητή απόκριση για την παραγωγή ενός σήματος λάθους Το σήμα λάθους διαδίδεται προς τα πίσω στο δίκτυο. Τα βάρη προσαρμόζονται σε συμφωνία με τον κανόνα διόρθωσης λάθους. Αλγόριθμος Back propagation 32

Backpropagation: Πλεονεκτήματα Εύκολο στη χρήση Λίγες παράμετροι προς ρύθμιση Λίγες παράμετροι προς ρύθμιση Αλγόριθμος εύκολος σε υλοποίηση Μπορεί να εφαρμοστεί σε ευρεία περιοχή δεδομένων Πολύ δημοφιλής 33

Backpropagation: Μειονεκτήματα Η εκμάθηση είναι αργή Τα νέα στοιχεία θα υπερκαλύψουν τα παλαιά εκτός αν συνεχίσουν να παρέχονται Δύσκολο να διατηρηθεί το δίκτυο ενημερωμένο Το δίκτυο είναι ουσιαστικά black box Δεν μπορεί να υπάρξει εγγύηση γενίκευσης ακόμα και με ελάχιστο σφάλμα Μη επιβλεπόμενη μάθηση 34

Μάθηση χωρίς επίβλεψη (Unsupervised learning) Μη επιγεγραμμένα γρ (unlabelled) δεδομένα Ομαδοποίηση (clustering) Όμοιες είσοδοι πρέπει να ανήκουν στην ίδια ομάδα. Οι ομάδες προσδιορίζονται από το δίκτυο βάσει συσχετίσεων των δεδομένων εισόδου. Αυτοοργάνωση Ανταγωνιστική Μάθηση Είναι μορφή μη επιβλέψιμης εκπαίδευση δικτύων όπου οι μονάδες εξόδου θεωρούνται να είναι σε ανταγωνισμό για πρότυπα εισόδου. Κατά τη διάρκεια της εκπαίδευσης, η μονάδα εξόδου που εμφανίζει την πιο υψηλή ενεργοποίηση σε δεδομένο πρότυπο εισόδου θεωρείται νικητής και μετακινείται πιο κοντά στο πρότυπο εισόδου, ενώ οι υπόλοιποι νευρώνες παραμένουν αμετάλαχτοι. 35

Αυτοοργάνωση: βιολογικά πρότυπα Τοπικότητα λειτουργιών Γεωμετρική διάταξη νευρώνων Υπολογιστικοί χάρτες Ανταγωνιστική Μάθηση Αυτή η στρατηγική ονομάζεται επίσης «winnertake all» all λόγω του ότι μονο ο νευρώνας νικητής νικητής αναπροσαρμόζεται. Οι μονάδες εξόδου ενδέχεται να έχουν και ανατρεπτικές συνδέσεις ώστε ο νευρώναςνικητής μπορεί να ανατρέψει άλλους ανάλογα με το επίπεδο ενεργοποίησης του 36

Ανταγωνιστική Μάθηση Τα βάρη των νευρώνων και τα πρότυπα εισαγωγής τυπικά κανονικοποιούνται. Με κανονικοποιημένα διανύσματα η συνάρτηση ενεργοποιήσης της i στης μονάδας, μπορούν να υπολογιστούν ως το εσωτερικό γινόμενο του διανύσματος βαρών και συγκεκριμένου πρότυπου εισόδου. Ανταγωνιστική Μάθηση Το εσωτερικό γινόμενο είναι το συνημίτονο της μεταξύ τους γωνίας μεταξύ τους γωνίας Ο νευρώνα με τη μεγαλύτερη ενεργοποίηση θεωρείται ότι μοιάζει περισσότερο με την είσοδο που προκάλεσε τη διέγερση. Τα βάρη επανακανονικοποιούνται 37

Ανταγωνιστική Μάθηση Αν τα βάρη και τα πρότυπα δεν είναι κανονικοποιημένα, τότε ως συνάρτηση ενεργοποίησης χρησιμοποιείται η Ευκλίδεια απόσταση: Ο κανόνας μάθησης τότε γίνεται: Αλγόριθμος Βασικής Ανταγωνιστικής Μάθησης 1. Κανονικοποίησε όλα τα πρότυπα 2. Διάλεξε τυχάια πρότυπο x (n 2a. Βρες το νευρώνα νικητή 2.b. Άλλαξε το νευρώνα νικητή w = w + η x 2c. Κανονικοποίησε το νευρώνα νικητή i w = i i = arg max i wi w j Τ ( n [ w x ] 3. Πήγαινε στο βήμα 2 μέχρι να μην υπάρξει αλλαγή σε Κ βήματα i (n j 38

Αλγόριθμος Leader follower clustering 1. Κανονικοποίησε όλα τα πρότυπα 2. Διάλεξε τυχάια πρότυπο x (n 2a. Βρες το νευρώνα νικητή Τ ( n i = arg max[ wj x ] 2.b. Αν x (n j w i <θ άλλαξε το νευρώνα νικητή (n wi = wi + η x Αλλιώς πρόσθεσε νέο νευρώνα (n w new = x 2c. Κανονικοποίησε τους νευρώνες 3. Πήγαινε στο βήμα 2 μέχρι να μην υπάρξει αλλαγή σε Κ βήματα Απλή ανταγωνιστική μάθηση Ομαδοποίηση: Σύγκλιση στα κέντρα βάρους 39

Διανυσματικός κβαντισμός (vector quantization VQ) M κατηγορίες διανυσμάτων (codebook) Εύρεση συνόλου πρωτότυπων διανυσμάτων (prototype vectors) Ο αλγόριθμος k μέσων (kmeans) Σταθερός (προκαθορισμένος) αριθμός ομάδων Σημειακή ομαδοποίηση (point clustering) Παραμετρική ομαδοποίηση Εύρεση συμπαγών ομάδων (νεφών) Κάθε ομάδα αντιπροσωπεύεται από ένα σημείο. Άκαμπτη ομαδοποίηση η( (hard clustering) Αντιστοίχιση καθενός προτύπου σε μια ομάδα 40

Ο αλγόριθμος k μέσων Σε κάθε βήμα : Ταξινόμηση καθενός προτύπου στην ομάδα Ω k με τη μικρότερη απόσταση i d ( x, wk ) = min d( x, w j ) j Υπολογισμός των νέων κέντρων των ομάδων w ( t+ 1) 1 j = ( t) N i j x Ω i x ( t ) j i Διανυσματικός κβαντισμός: Μη επιβλεπόμενη μάθηση Απλή ανταγωνιστική ήμάθηση η Νευρωνική (σειριακή) διατύπωση του αλγορίθμου k- μέσων Αριθμός εξόδων = αριθμός ομάδων Ενημέρωση βαρών του νικητή μόνο 41

Αυτοοργανούμενοι χάρτες Kohonen Οι αυτοοργανούμενοι χάρτες Kohonen (Self Organizing Maps SOMs) παράγουν μια αντιστοιχία από τον πολυδιάστατο χώρο σε ένα δίκτυο νευρώνων Το κύριο χαρακτηριστικό των SOM είναι ότι διατηρούν την τοπολογία, οπότε γειτονικοί νευρώνες αντιστοιχούν σε παρόμοια πρότυπα Οι SOM οργανώνονται ως μονοδιάστατα ή διδιάστατα δίκτυα Αυτοοργανούμενοι χάρτες Kohonen Αντίθετα με τα MLP δίκτυα που εκπαιδεύονται με τον αλγόριθμο back propagation, οι SOM έχουν νευροβιολογική βάση: Στον εγκέφαλο των θυλαστικών τα οπτικά, ακουστικά και αφής ερεθίσματα χαρτογραφούνται σε επίπεδα κυττάρων Η τοπολογία διατηρείται: αν αγγίξουμε μέρη του σώματος που βρίσκονται κοντά, θα ενεργοποιηθούν ομάδες κυττάρων που βρίσκονται επίσης κοντά 42

Αυτοοργανούμενοι χάρτες Kohonen Οι Kohonen SOM είναι αποτέλεσμα της συνεργίας τριών βασικών διαδικασιώνδ Ανταγωνισμός Συνεργασία Ανταμοιβή Φάση ανταγωνισμού Δίκτυο SOM Νικητής: ελάχιστη ευκλείδεια απόσταση min d j = x w j Φάση συνεργασίας Καθορισμός τοπολογικής γειτονιάς Φάση ανταμοιβής Προσαρμογή βαρών νικήτριας γειτονιάς 43

Ανταγωνισμός Σε κάθε νευρώνα του SOM αποδίδεται ένα διανυσματικό βάρος διαστάσεων Ν ίδιας με το δειγματοχώρο Κάθε πρότυπο εισόδου συγκρίνεται με το βάρος κάθε νευρώνα και ο νευρώνας με το πλησιέστερο διανυσματικό βάρος ανακηρύσσεται νικητής Ανταγωνισμός 44

Συνεργασία Η ενεργοποίηση του νευρώνα νικητή διαχέεται στους νευρώνες της γειτονιάς του Αυτό επιτρέπει η τοπολογία κοντινών νευρώνων να γίνει ευαίσθητη σε παρόμοια πρότυπα Η απόσταση από το νικητή στην τοπολογία του δικτύου ορίζεται ως συνάρτηση του πλήθους των συνδέσεων με το νικητή Το μέγεθος της γειτονιάς είναι αρχικά μεγάλο αλλά συρρικνώνεται με το χρόνο καθώς μεγάλη γειτονιά σημαίνει διατήρηση της τοπολογίας ενώ μικρότερη επιτρέπει εξειδίκευση των νευρώνων Συνεργασία 45

Ανταμοιβή Κατά την εκπαίδευση, ο νικητής και οι γείτονες του προσαρμόζουν ρμ τα βάρη τους να μοιάσουν πιο πολύ στο πρότυπο εισαγωγής Ο κανόνας προσαρμογής είναι παρόμοιος αυτού της ανταγωνιστικής μάθησης Οι νευρώνες που βρίσκονται πιο κοντά στο νικητή προσαρμόζονται περισσότερο από τους πιο μακρινούς Το μέγεθος προσαρμογής ελέγχεται από το συντελεστή μάθησης που εξασθενεί με το χρόνο για να εξασφαλίσει σύγκλιση του SOM Δίκτυο SOM Φάση ανταμοιβής ( t+ 1) ( t ) ( t ) ( ) ( ) j = w j + η t h j, i t x w j w i : νικητής νευρώνας ( x), j 0 η ( t ) 1 Συντελεστής μάθησης φθίνων με το χρόνο (εκθετική μείωση) 46

Προσαρμογή Αλγόριθμος εκπαίδευσης SOM 1. Αρχικοποίησε τα βάρη με μικρές τυχαίες τιμές 2. Επανέλαβε ωσότου υπάρξει σύγκλιση 2a. Επέλεξε πρότυπο εισόδου x (n (i). Επέλεξε τη μονάδα που μοιάζει στο x (n (ii). Προσάρμοσε τα βάρη του νικητή w i και των γειτόνων του w k 2b. Μείωσε τον τελεστή μάθησης η(t) 2c. Μείωσε τη γειτονιά σ(t) 47

Αλγόριθμος εκπαίδευσης SOM ορισμοί Κανόνας μείωσης του τελεστή μάθησης Κανόνας μείωσης γειτονιάς Συνάρτηση kernel ορισμού της γειτονιάς όπου d ik είναι η απόσταση στο δίκτυο μεταξύ w i και w k Πλεονεκτήματα των Νευρωνικών Δικτύων Μη γραμμικότητα. ένα Νευρωνικό Δίκτυο δομείται από τη σύνδεση νευρώνων, οι οποίοι είναι μη γραμμικές συσκευές. Η μη γραμμικότητα είναι πολύ σημαντική ιδιότητα, αν ο φυσικός μηχανισμός για την παραγωγή των σημάτων εισόδου είναι μη γραμμικός. Σχεδιασμός Εισόδου Εξόδου. Στην επιβλεπόμενη μάθηση, εμπλέκεται μεταβολή των synaptic βαρών του Νευρωνικού Δικτύου, εφαρμόζοντας ένα σύνολο δειγμάτων εξάσκησης. Κάθε παράδειγμα αποτελείται από ένα σήμα εισόδου και την επιθυμητή απόκριση. Tο δίκτυο μαθαίνει με τον κατάλληλο σχεδιασμό. 48

Πλεονεκτήματα των Νευρωνικών Δικτύων Προσαρμοστικότητα. Τα Νευρωνικά Δίκτυα έχουν τη δυνατότητα να προσαρμόζουν ρμ τα βάρη τους στις αλλαγές του περιβάλλοντός τους. Αποδεικτική Απόκριση. Ένα Νευρωνικό Δίκτυο σχεδιάζεται για να παρέχει πληροφορίες όχι μόνο για το συγκεκριμένο υπόδειγμα που επιλέγεται αλλά και για την εμπιστοσύνη στην απόφαση που παίρνεται. Συναφής Πληροφορία. Η γνώση αναπαριστάνεται από την πολύ δομημένη και ενεργή κατάσταση του Νευρωνικού Δικτύου. Αντοχή σε σφάλματα. Ένα νευρωνικό δίκτυο, υλοποιημένο σε υλικό (hardware) έχει τη σημαντική ιδιότητα να είναι ανεκτικό σε σφάλματα. Πλεονεκτήματα των Νευρωνικών Δικτύων Υλοποιησιμότητα σε VLSI. Η συμπαγής παράλληλη φύση του Νευρωνικού Δικτύου, κάνει δυνατή την υλοποίηση του σε VLSI τεχνολογία, έτσι ώστε τα νευρωνικά δίκτυα να μπορούν να χρησιμοποιηθούν σε εφαρμογές πραγματικού χρόνου. Ομοιομορφία Ανάλυσης και Σχεδιασμού. Η έννοια είναι ότι ο ίδιος συμβολισμός χρησιμοποιείται σε όλα τα πεδία που περιέχουν εφαρμογή των νευρωνικών δικτύων. Αναλογία με Νευροβιολογία. Ο σχεδιασμός νευρωνικών δικτύων γίνεται σε αναλογία με τον εγκέφαλο. Οι μηχανικοί βλέπουν στη νευροβιολογία για νέες ιδέες για την επίλυση πολύπλοκων προβλημάτων. 49

Εφαρμογές των Ν.Δ. Αεροπορία: Υψηλής απόδοσης αυτόματοι πιλότοι αεροπλάνων, προσομοιωτές πτήσης, συστήματα αυτομάτου ελέγχου αεροπλάνων, συστήματα ανίχνευσης βλαβών. Αυτοκίνηση: Αυτοκινούμενα συστήματα αυτόματης πλοήγησης. Τραπεζικές εφαρμογές: Αναγνώστες επιταγών και άλλων παραστατικών, συστήματα αξιολόγησης αιτήσεων δανειοδότησης. Άμυνα: Πλοήγηση όπλων, ανίχνευση στόχων, νέα είδη αισθητήρων, σόναρ, ραντάρ, ψηφιακή επεξεργασία σημάτων, συμπίεση δεδομένων, εξαγωγή χαρακτηριστικών, αναγνώριση σήματος / εικόνας. Εφαρμογές των Ν.Δ. Ηλεκτρονική: Πρόβλεψη ακολουθίας κωδίκων, μορφοποίηση ηολοκληρωμένων κυκλωμάτων, έλεγχος διεργασιών, διάγνωση βλαβών ολοκληρωμένων κυκλωμάτων, μηχανική όραση. Οικονομία: Οικονομική ανάλυση, πρόβλεψη τιμών συναλλάγματος. Βιομηχανία: Βιομηχανικός έλεγχος διεργασιών, ανάλυση και σχεδίαση προϊόντων, συστήματα ποιοτικού ελέγχου, διάγνωση βλαβών διεργασιών και μηχανών, ανάλυση σχεδιασμού χημικών προϊόντων, δυναμικό μοντελάρισμα συστημάτων χημικών διεργασιών. 50

Εφαρμογές των Ν.Δ. Ιατρική: Ανάλυση καρκινικών κυττάρων, ανάλυση Ηλεκτροεγκεφαλογραφήματος και Ηλεκτροκαρδιογραφήματος. Γεωλογικές έρευνες: Εντοπισμός πετρελαίου και φυσικού αερίου. Ρομποτική: Έλεγχος τροχιάς και σύστημα όρασης ρομπότ. Επεξεργασία φωνής: Αναγνώριση φωνής, συμπίεση φωνής, σύνθεση φωνής από κείμενο. Χρηματιστηριακές εφαρμογές: Ανάλυση αγοράς, πρόβλεψη τιμών μετοχών. Τηλεπικοινωνίες: Συμπίεση εικόνας και δεδομένων, αυτοματοποιημένες υπηρεσίες πληροφοριών, μετάφραση πραγματικού χρόνου, συστήματα επεξεργασίας πληρωμών. 51