Κεφάλαιο 9 Τεχνητά Νευρωνικά ίκτυα (Artfcal Neural Nets) Τεχνητή Νοηµοσύνη - Β' Έκδοση Ι. Βλαχάβας, Π. Κεφαλάς, Ν. Βασιλειάδης, Φ. Κόκκορας, Η. Σακελλαρίου
Νευρωνικά ίκτυα (Ν ) - Εισαγωγή Είναι µια ιδιαίτερη προσέγγιση στη δηµιουργία συστηµάτων µε νοηµοσύνη. δεν αναπαριστούν ρητά τη γνώση δεν υιοθετούν ειδικά σχεδιασµένους αλγόριθµους αναζήτησης. Βασίζονται σε βιολογικά πρότυπα (ανθρώπινο εγκέφαλο) Βιολογικός Νευρώνας µάθηση και µνήµη: µεταβολή στην αγωγιµότητα των συνάψεων Τα σήµατα που εισέρχονται στο σώµα µέσω των δενδριτών, συνδυάζονται και αν το αποτέλεσµα ξεπερνά κάποιο κατώφλι, διαδίδεται µέσω του άξονα προς άλλους νευρώνες. Συνάψεις Σώµα ενδρίτες Άξονας Τεχνητή Νοηµοσύνη, B' Έκδοση
Φυσικά Νευρωνικά ίκτυα ανθρώπινος εγκέφαλος: ~ δισεκατοµµύρια νευρώνες. κάθε νευρώνας συνδέεται κατά µέσο όρο µε άλλους νευρώνες ~ τρισεκατοµµύρια συνάψεις η αντιγραφή είναι εφικτή µόνο περιορισµένη κλίµακα χρόνος απόκρισης των βιολογικών νευρώνων: της τάξης msec...αλλά, λαµβάνει πολύπλοκες αποφάσεις, εκπληκτικά γρήγορα. η υπολογιστική ικανότητα του εγκεφάλου και η πληροφορία που περιέχει είναι διαµοιρασµένα σε όλο του τον όγκο παράλληλο και κατανεµηµένο υπολογιστικό σύστηµα. Τεχνητή Νοηµοσύνη, B' Έκδοση 3
Μοντέλο Τεχνητού Νευρώνα (artfcal neuron) πόλωση (bas) w w f (S) w w Αθροιστής Συνάρτηση Ενεργοποίησης Έξοδος w n n S Σw (..n) Τεχνητή Νοηµοσύνη, B' Έκδοση 4
Συναρτήσεις Ενεργοποίησης Βασική απαίτηση: να είναι µη γραµµική ώστε να µπορεί να µοντελοποιεί µη γραµµικά φαινόµενα. f (S) f (S) f (S) a + S + S +.5 a S Κατώφλι T - Κατώφλι T a >a α) Βηµατική Συνάρτηση β) Συνάρτηση Προσήµου γ) Λογιστική Συνάρτηση Η λογιστική (logstc) συνάρτηση - µέλος οικογένειας σιγµοειδών συναρτήσεων. Φ ( S) + e a S Τεχνητή Νοηµοσύνη, B' Έκδοση 5
Υλοποίηση Λογικών Συναρτήσεων µε Τεχνητό Νευρώνα w w Βηµατική Τ.5 AND w w Βηµατική Τ.5 OR w - Βηµατική Τ -.5 NOT f (S) Παράδειγµα: υλοποίηση του NOT: βηµατική συνάρτηση ενεργοποίησης µε κατώφλι Τ-.5 + S Κατώφλι T-.5 Βηµατική Συνάρτηση Τεχνητή Νοηµοσύνη, B' Έκδοση 6
Τεχνητά Νευρωνικά ίκτυα (ΤΝ ) Συστήµατα επεξεργασίας δεδοµένων που αποτελούνται από ένα πλήθος τεχνητών νευρώνων οργανωµένων σε δοµές παρόµοιες µε αυτές του ανθρώπινου εγκεφάλου. Συντοµογραφία για πολυεπίπεδα w 4 4 Κρυφό Επίπεδο w 48 ΤΝ : (p, m, m,..., m q, n) w 5 w 4 w 34 w 49 8 8 w 5 5 w 58 w 59 w 35 w 68 Πλήρως συνδεδεµένο ΤΝ απλής τροφοδότησης 3-4-. 3 3 w 36 w 7 w 6 w 6 w 7 6 w 69 w 78 w 79 9 9 w 37 Επίπεδο Εισόδου 7 Επίπεδο Εξόδου Τεχνητή Νοηµοσύνη, B' Έκδοση 7
Χαρακτηριστικά Ορολογία Οι νευρώνες των διαφόρων στρωµάτων µπορεί να είναι: Πλήρως συνδεδεµένοι (full connected) Μερικώς συνδεδεµένοι (partall connected) Τα ΤΝ χαρακτηρίζονται ως: ίκτυα µε πρόσθια τροφοδότηση (feedforward) ίκτυα µε ανατροφοδότηση (feedbac ή recurrent) Στην πλειοψηφία των εφαρµογών χρησιµοποιούνται δίκτυα απλής τροφοδότησης. Τεχνητή Νοηµοσύνη, B' Έκδοση 8
Μάθηση και Ανάκληση Μάθηση - learnng (ή εκπαίδευση - tranng) είναι η διαδικασία της τροποποίησης της τιµής των βαρών του δικτύου, ώστε δοθέντος συγκεκριµένου διανύσµατος εισόδου να παραχθεί συγκεκριµένο διάνυσµα εξόδου. Ανάκληση (recall) είναι η διαδικασία του υπολογισµού ενός διανύσµατος εξόδου για συγκεκριµένο διάνυσµα εισόδου και τιµές βαρών. 3 είδη µάθησης: Μάθηση υπό Επίβλεψη (supervsed learnng) Μάθηση χωρίς Επίβλεψη (unsupervsed learnng) Βαθµολογηµένη Μάθηση (graded learnng) Στην πράξη, στις περισσότερες εφαρµογές ΤΝ χρησιµοποιείται µάθηση υπό επίβλεψη, για την οποία υπάρχουν αρκετοί αλγόριθµοι. Τεχνητή Νοηµοσύνη, B' Έκδοση 9
Αλγόριθµοι Μάθησης υπό Επίβλεψη Κανόνας έλτα (Delta rule learnng) Αλγόριθµος ανάστροφης µετάδοσης λάθους (bac propagaton) Ανταγωνιστική µάθηση (compettve learnng) Τυχαία µάθηση (random learnng) Τεχνητή Νοηµοσύνη, B' Έκδοση
Χαρακτηριστικά Εκπαίδευσης υποπροσαρµογής ή ατελούς µάθησης (underfttng) υπερπροσαρµογής (overfttng) Υπό-προσαρµογή Υπερ-προσαρµογή Καλή Προσαρµογή Τεχνητή Νοηµοσύνη, B' Έκδοση
εδοµένα Εκπαίδευσης χρήση σε κύκλους εκπαίδευσης που ονοµάζονται εποχές (epochs) µάθηση δέσµης (batch learnng) επαυξητική µάθηση (ncremental learnng) συνδυασµός των δύο παραπάνω µεθόδων Η εκπαίδευση τερµατίζεται όταν το κριτήριο ελέγχου της ποιότητας του δικτύου φτάσει σε κάποια επιθυµητή τιµή. Κριτήρια Ελέγχου Ποιότητας µέσο σφάλµα του συνόλου εκπαίδευσης µεταβολή του µέσου σφάλµατος του συνόλου εκπαίδευσης Κανονικοποίηση δεδοµένων εκπαίδευσης και ελέγχου (τα δεύτερα, µε βάση τις παραµέτρους κανονικοποίησης των πρώτων). Τεχνητή Νοηµοσύνη, B' Έκδοση
Βασικές Ιδιότητες των ΤΝ Ικανότητα να µαθαίνουν µέσω παραδειγµάτων (learn b eample). Η δυνατότητα θεώρησής τους ως κατανεµηµένη µνήµη (dstrbuted memor) και ως µνήµη συσχέτισης (assocatve memor). Η µεγάλη τους ανοχή σε σφάλµατα (fault-tolerant). Η εξαιρετική ικανότητά τους για αναγνώριση προτύπων (pattern recognton). Τεχνητή Νοηµοσύνη, B' Έκδοση 3
ΤΝ Πρόσθιας Τροφοδότησης (feedforward) επίπεδο εισόδου, επίπεδο εξόδου, κανένα, ένα ή περισσότερα κρυφά επίπεδα Είδος µάθησης: µάθηση µε επίβλεψη. Τοπολογία του δικτύου δεν υπάρχει κανόνας για τον προσδιορισµό κρυφών επιπέδων, νευρώνων ανά επίπεδο, συνδεσµολογίας Τα δεδοµένα εισόδου-εξόδου βοηθούν στην εκτίµηση του αριθµού νευρώνων στα επίπεδα εισόδου και εξόδου. π.χ.: χειρόγραφο ψηφιοποίηση 64 pels 644 στοιχεία εισόδου 4 στοιχεία εξόδου κρυφά επίπεδα Τεχνητή Νοηµοσύνη, B' Έκδοση 4 3 3 3 Χ 3 3 3 3 3 3 3 4 bt κωδικοποίηση : κόκκινο : πράσινο 3: µπλε 5
Κρυφά Επίπεδα Ο αριθµός των νευρώνων στα κρυφά επίπεδα σχετίζεται µε πολύπλοκο τρόπο µε: τον αριθµό των νευρώνων στα επίπεδα εισόδου και εξόδου, τον αριθµό των διανυσµάτων εκπαίδευσης και την ύπαρξη ή όχι θορύβου σε αυτά, την πολυπλοκότητα της συνάρτησης ή της κατηγοριοποίησης που πρέπει να µάθει το ΤΝ τις συναρτήσεις ενεργοποίησης που χρησιµοποιούνται, τον αλγόριθµο εκπαίδευσης, κτλ. Εµπειρικός κανόνας για προβλήµατα κατηγοριοποίησης: αριθµός νευρώνων στα κρυφά επίπεδα < αριθµό διανυσµάτων εκπαίδευσης αιτία: για να αποφευχθεί αποµνηµόνευση Συνήθως κάθε νευρώνας συνδέεται µε όλους τους νευρώνες του επόµενου επιπέδου. Απαιτούνται αρκετές δοκιµές και πειραµατισµοί. Τεχνητή Νοηµοσύνη, B' Έκδοση 5
Perceptron Η πιο απλή τοπολογία δικτύου µε απλή τροφοδότηση. ένας νευρώνας, βηµατική συνάρτηση, µάθηση µε επίβλεψη αλγόριθµος µεταβολής βαρών Μέχρις ότου ικανοποιηθεί η συνθήκη τερµατισµού της εκπαίδευσης επανέλαβε: Για κάθε ζευγάρι εισόδου και επιθυµητής εξόδου t από το σύνολο εκπαίδευσης. Υπολόγισε την έξοδο. Εάν t τότε δε γίνεται καµία µεταβολή στα βάρη 3. Εάν t τότε µετέβαλε τα βάρη των ενεργών γραµµών εισόδου (αυτών που έχουν σήµα ) κατά την ποσότητα wd (t-) έτσι ώστε το να πλησιάσει το t. d : ρυθµός µάθησης (learnng rate) Τεχνητή Νοηµοσύνη, B' Έκδοση 6
Γραµµική ιαχωρισιµότητα (/) Ένα perceptron µε n γραµµές εισόδου µπορεί να θεωρηθεί ότι αναπαριστά ένα υπερεπίπεδο n- διαστάσεων που διαχωρίζει τα διανύσµατα εισόδου σε δύο οµάδες, ανάλογα µε την έξοδο. γραµµικώς διαχωρίσιµα προβλήµατα (lnearl separable). Παραδείγµατα: AND w + w T ε XOR Συνάρτηση AND (γραµµικώς διαχωρίσιµη) Συνάρτηση XOR (µη γραµµικώς διαχωρίσιµη) Τα µη γραµµικώς διαχωρίσιµα προβλήµατα απαιτούν τη χρήση ΤΝ µε ενδιάµεσα κρυφά επίπεδα Τεχνητή Νοηµοσύνη, B' Έκδοση 7
Γραµµική ιαχωρισιµότητα (/) Γιατί τα ΤΝ µε κρυφά επίπεδα (και νευρώνες) έχουν καλύτερη διαχωρισιµότητα; Ο χώρος των τιµών εισόδου οριοθετείται µε πιο πολύπλοκο τρόπο εξαιτίας της πολυπλοκότητας των συνδέσεων. ε ε ε : w +w T ε : w +w T w T w w w T εισόδου κρυφό εξόδου Τεχνητή Νοηµοσύνη, B' Έκδοση 8
Κανόνας έλτα (/3) γενίκευση του αλγορίθµου εκπαίδευσης του perceptron ελαχιστοποίηση του µέσου τετραγωνικού σφάλµατος των διανυσµάτων εκπαίδευσης δεν µπορεί να εφαρµοστεί σε δίκτυα µε κρυφά επίπεδα Μέσο τετραγωνικό σφάλµα Ε στο στοιχειώδες perceptron, για p διανύσµατα εκπαίδευσης: E p p ( t nput nput : σήµα εισόδου του νευρώνα (χωρίς συνάρτηση ενεργοποίησης) Συνολικό σήµα εισόδου για κάποιο διάνυσµα εκπαίδευσης p: t : επιθυµητή έξοδος n nput w ) Τεχνητή Νοηµοσύνη, B' Έκδοση 9
Κανόνας έλτα (/3) Ο κανόνας έλτα ακολουθεί την αρνητική κλίση της επιφάνειας σφάλµατος, µε κατεύθυνση προς το ελάχιστό της: w Η παράγωγος του Ε ως προς τα w είναι: E w E E,..., w Η µεταβολή στην τιµή του βάρους w, εξαιτίας της εκπαίδευσης µε ένα µόνο από τα διανύσµατα εκπαίδευσης, δίνεται από τη σχέση: E w w nput) w n ( new) w ( old ) d( t Τεχνητή Νοηµοσύνη, B' Έκδοση
Κανόνας έλτα (3/3) γεωµετρική αναπαράσταση κανόνα έλτα για στοιχειώδες perceptron µε εισόδους κανόνας της επικλινούς καθόδου (gradent descent rule) Ε mn Ε δεν µπορεί να εφαρµοστεί σε δίκτυα µε κρυφά επίπεδα Αποτέλεσµα: Η έρευνα στα ΤΝ περιορίστηκε σηµαντικά για πολλά χρόνια. Η λύση δόθηκε µε τη µέθοδο της ανάστροφης µετάδοσης του λάθους w w ' Ιδανικό ιάνυσµα Βαρών w ' ιάνυσµα " έλτα" w Τρέχων ιάνυσµα Βαρών Τεχνητή Νοηµοσύνη, B' Έκδοση
Ανάστροφη Μετάδοση Λάθους Bac Propagaton (/) Βασίζεται στο γενικευµένο κανόνα έλτα - ΓΚ (generalzed Delta rule) Βασική Ιδέα: να καθοριστεί το ποσοστό του συνολικού σφάλµατος που αντιστοιχεί σε κάθε νευρώνα, ακόµη και αυτών που ανήκουν σε κρυφά επίπεδα... m.. q.. n βάρη w z βάρη v έξοδος είσόδος επίπεδο εξόδου κρυφό επίπεδο επίπεδο εισόδου nput nput n q v w z z f ( nput f ( nput ) ) f ( f ( n q Αποδεικνύεται ότι (σχέσεις ΓΚ ): για επίπεδο εξόδου: δ t ) f '( nput ( για κρυφό επίπεδο: w d δ µε v w w d δ z µε ) δ f '( nput ) m ) z ) δ w Τεχνητή Νοηµοσύνη, B' Έκδοση
Ανάστροφη Μετάδοση Λάθους Bac Propagaton (/) Η αναπροσαρµογή των βαρών γίνεται από το επίπεδο εξόδου προς το εισόδου. ανάστροφο πέρασµα (bacward pass) ή ανάστροφη µετάδοση (bac propagaton) ιαδικασία βελτιστοποίησης επικλινούς καθόδου (gradent descent optmzaton procedure) που ελαχιστοποιεί το µέσο τετραγωνικό σφάλµα E µεταξύ της εξόδου του δικτύου και της επιθυµητής εξόδου, για τα p διανύσµατα εκπαίδευσης. ΝΑΙ Αρχικοποίηση των Βαρών του ικτύου Τροφοδότηση µε Πρότυπο Εκπαίδευσης Υπολογισµός Σφάλµατος στην Έξοδο Υπολογισµός Μεταβολής Βαρών υπάρχουν άλλα πρότυπα εκπαίδευσης? ΟΧΙ Υπολογισµός Μέσου Τετραγώνου Σφάλµατος ΟΧΙ είναι αποδεκτό το σφάλµα? ΝΑΙ ΤΕΛΟΣ Τεχνητή Νοηµοσύνη, B' Έκδοση 3
Ανάστροφη Μετάδοση Λάθους Προβλήµατα τοπικά ελάχιστα networ paralss: ένα ή περισσότερα βάρη έχουν σταθερά υψηλές απόλυτες τιµές και δεν τροποποιούνται σηµαντικά σε κάθε διόρθωση Παρατηρήσεις τα διανύσµατα εκπαίδευσης δεν πρέπει να µεταβάλλονται: δεν επέρχεται σύγκλιση. ο έλεγχος απόδοσης γίνεται µε πρότυπα αξιολόγησης (valdaton data). Τεχνητή Νοηµοσύνη, B' Έκδοση 4
Μνήµες Συσχέτισης Assocatve Memores Συστήµατα µνήµης που ορίζουν απεικονίσεις µεταξύ δύο αναπαραστάσεων Χ και Υ έτσι ώστε όταν δοθεί η µία να µπορεί να ανακληθεί η άλλη. Ανάλογα µε τις διαφορές µεταξύ εισόδου και εξόδου διακρίνουµε: αυτοσυσχετιζόµενες µνήµες (auto-assocatve memores) ετεροσυσχετιζόµενες µνήµες (hetero-assocatve memores) Ανάλογα µε το αν η έξοδός τους µπορεί να είναι προϊόν παρεµβολής, διακρίνουµε: µε δυνατότητα παρεµβολής (nterpolatve assocatve memores) προσαυξητική µνήµη συσχέτισης (accretve assocatve memor) Τύποι ΤΝ που συνιστούν µνήµες συσχέτισης: Γραµµικοί Συσχετιστές, ίκτυα Hopfeld, Μνήµες Συσχέτισης ιπλής Κατεύθυνσης Τεχνητή Νοηµοσύνη, B' Έκδοση 5
Τεχνητή Νοηµοσύνη, B' Έκδοση 6 Γραµµικοί Συσχετιστές (lnear assocator) (/3) ΤΝ πρόσθιας τροφοδότησης, γραµµική συνάρτηση ενεργοποίησης Πρότυπα συσχέτισης: δυαδικά (bnar, ή/και ) ή διπολικά (bpolar, + ή/και -) Εκπαίδευση: w (κανόνας Hebb) µετά από p ζευγάρια εκπαίδευσης p w w w εκφυλίζεται σε πολ/σµό πινάκων Αν X(,,..., n ), Y(,,..., m ) [ ] Τ nm n n m m m n n n m m m n w w w w w w w w w Y X W L M O M M L L L M O M M L L L M κ κ Για όλο το σύνολο εκπαίδευσης: p T p Y X W W Για κάθε Χ:Υ το W αναλύεται σε: f (X,Y) + f (υπόλοιπων Χ:Υ) ( ος όρος: crosstal) w w nm 3 n 3 m w nput_ επίπεδο εξόδου επίπεδο εισόδου.. n.. m
Τεχνητή Νοηµοσύνη, B' Έκδοση 7 Γραµµικοί Συσχετιστές (/3) Ανάκληση: είσοδος ένα διάνυσµα Χ - αναµενόµενη έξοδος το συσχετιζόµενο διάν. Υ Στην πράξη, ο υπολογισµός µπορεί να γίνει µε χρήση πινάκων: ) ( W X f Y όπου f είναι η συνάρτηση ενεργοποίησης των νευρώνων του επιπέδου εξόδου για δυαδικά διανύσµατα Χ και Υ >,, nput nput για διπολικά διανύσµατα Χ και Υ < +,, nput nput nput_ είναι το συνολικό σήµα εισόδου στο νευρώνα του επιπέδου εξόδου Παράδειγµα ετεροσυσχετιζόµενης µνήµης (µε ΤΝ 4-): εδοµένα Εκπαίδευσης X Y p : (,,, ) (, ) p : (,,, ) (, ) p 3 : (,,, ) (, ) p 4 : (,,, ) (, ) [ ] Y X W T [ ] Y X W T [ ] 3 3 3 Y X W T [ ] 4 4 4 Y X W T 4 W W Ανάκληση: έστω Χ p. Θα ανακληθεί το: [ ] [ ] ( ) [ ] f f Y (σωστό)
Γραµµικοί Συσχετιστές (3/3) Παράδειγµα αυτοσυσχετιζόµενης µνήµης: ζητούµενο είναι ένας γραµµικός συσχετιστής που να ανακαλεί το διπολικό διάνυσµα Χ(,,, -). (προφανώς µε ΤΝ 4-4) T Πίνακας Βαρών: W X X [ ] Ανάκληση: ανοχή σε θόρυβο και σε ελλιπή δεδοµένα αρχικό διάνυσµα εκπαίδευσης: [ -] W[4 4 4-4] [ -] αρχικό διάνυσµα µε θόρυβο: [- -] W[ -] [ -] αρχικό ελλιπές διάνυσµα: [ -] W[ -] [ -] αρχικό διάνυσµα µε πολύ θόρυβο: [- - -] W[ ] δεν γίνεται αναγνώριση Καθώς αποθηκεύονται όλο και περισσότερα πρότυπα, το δίκτυο χάνει τη δυνατότητα διόρθωσης: γιατί ο πίνακας W γίνεται ταυτοτικός πίνακας (dentt matr). Η τέλεια ανάκληση είναι δυνατή µόνο όταν τα διανύσµατα εισόδου είναι ορθογώνια µεταξύ τους, δηλαδή όταν Χ Χ για. Χωρητικότητα (µε τέλεια ανάκληση) δοµής n n: n- διπολικά ζευγάρια Τεχνητή Νοηµοσύνη, B' Έκδοση 8
ίκτυα Hopfeld (/3) Ένα µόνο επίπεδο νευρώνων (Hopfeld) ίκτυα µε ανατροφοδότηση (recurrent): αµφίδροµες συνδέσεις, συµµετρικά βάρη αυτοσυσχετιζόµενες µνήµες υπολογίζουν την έξοδό τους αναδροµικά στο χρόνο, µέχρις ότου το σύστηµα να σταθεροποιηθεί ιανύσµατα εισόδου: S(s, s,..., s n ) Έξοδος του δικτύου: (,,..., n ) Είσοδοι σε επίπεδο Hopfeld n w + s, Για p πρότυπα προς αποθήκευση: W p W p S T S Συναρτ. Ενεργοποίησης, > θ ' Ο πίνακας βαρών W είναι τετράγωνος, συµµετρικός (w w ), µε w Στη συνάρτηση ενεργοποίησης, ' είναι η έξοδος του προηγούµενου κύκλου υπολογισµών, ενώ συνήθως θ. w w 3 w n w w 3 w n 3 w 3 w 3 s s s 3 s n Επίπεδο Εισόδου 3 w n3 Επίπεδο Εξόδου Επίπεδο Hopfeld,, θ < θ n n w n w n w 3n Τεχνητή Νοηµοσύνη, B' Έκδοση 9
Τεχνητή Νοηµοσύνη, B' Έκδοση 3 ίκτυα Hopfeld (/3) Παράδειγµα: θέλουµε να αποθηκευτεί το διάνυσµα (πρότυπο) S (,,, ) Πίνακας Βαρών: [ ] S S W T έγινε µετατροπή του δυαδικού διανύσµατος S σε διπολικό (αντικατάσταση των µε -) τέθηκε w, όπως ορίζει η δοµή του δικτύου Hopfeld Ανάκληση: για κάθε διάνυσµα εισόδου, το δίκτυο θα ισορροπήσει στο "κοντινότερο" διάνυσµα από το σύνολο των διανυσµάτων µε τα οποία εκπαιδεύτηκε. ιαδικασία ανάκλησης (τερµατίζει όταν το δίκτυο συγκλίνει, κάτι εξασφαλισµένο):. ίνεται στο δίκτυο το δυαδικό διάνυσµα εισόδου S'. Αρχικοποιείται το δίκτυο µε s, και convergencefalse 3. Εφόσον το δίκτυο δεν συγκλίνει, δηλ. εφόσον convergencefalse α) Επιλέγεται τυχαία ένας από τους νευρώνες, έστω ο β) Υπολογίζεται η είσοδός του n s w +, γ) Εφαρµόζεται η συνάρτηση ενεργοποίησης του νευρώνα στην είσοδο δ) Περιοδικά, ελέγχεται εάν έχει επέλθει σύγκλιση (υπολογισµός convergence)
ίκτυα Hopfeld (3/3) Έστω το δίκτυο Hopfeld µε τον πίνακα βαρών W (προηγούµενη διαφάνεια) Τροφοδοτείται µε το διάνυσµα S'(s', s', s' 3, s' 4 )(,,, ), αλλοιωµένη µορφή του S που είναι αποθηκευµένο στο δίκτυο., > Αρχικά η έξοδος είναι ΥS' (,,, ) και θ (,,3,4) ', Κύκλοι λειτουργίας:, < Έστω ότι επιλέγεται ο νευρώνας : Σ w +s' ( + + + (-)) + Επειδή > θ θα είναι. Άρα η έξοδος γίνεται Υ(,,, ) Έστω τώρα ότι επιλέγεται ο νευρώνας 4. 4 Σ w 4 +s' 4 ( (-) + (-) + (-) + ) + - Επειδή - < θ 4 θα είναι 4 -. Άρα η έξοδος είναι (,,,-) και σε δυαδική µορφή (,,,). Επιλέγεται αυτή τη φορά ο νευρώνας 3. 3 Σ w 3 +s' 3 ( + + + (-)) + Επειδή > θ 3 θα είναι 3. Άρα η έξοδος παραµένει (,,, ) Τέλος, επιλέγεται ο νευρώνας Σ w +s' ( + + + (-)) + Επειδή > θ θα είναι. Άρα η έξοδος γίνεται (,,, ) σωστή ανάκληση Σηµείωση: στα Σ χρησιµοποιείται το τρέχων Υ σε δυαδική µορφή ( και αντί - και ) και το διπολικό αποτέλεσµα που παράγεται µετατρέπεται σε δυαδικό για να χρησιµοποιηθεί στο επόµενο βήµα. Τεχνητή Νοηµοσύνη, B' Έκδοση 3 θ θ θ
Μνήµες Συσχέτισης ιπλής Κατεύθυνσης (Bdrectonal Assocatve Memores - ΒΑΜ) Επέκταση µοντέλου Hopfeld µε ένα επιπλέον επίπεδο νευρώνων. Oι συνδέσεις µεταξύ των νευρώνων είναι διπλής κατεύθυνσης, δηλαδή w w 3 m.. m επίπεδο εξόδου nput_ w w w nm nput_ επίπεδο εισόδου.. n 3 n Oι νευρώνες στα δύο επίπεδα λειτουργούν σαν στοιχεία εισόδου ή εξόδου, ανάλογα µε την κατεύθυνση προς την οποία γίνονται υπολογισµοί. Συνάρτηση Ενεργοποίησης: διακριτή συνάρτηση κατωφλίου. ιανύσµατα Χ και Υ: διπολικά ή δυαδικά. Τεχνητή Νοηµοσύνη, B' Έκδοση 3
Μνήµες Συσχέτισης ιπλής Κατεύθυνσης Εκπαίδευση: µε ζευγάρια διπολικών διανυσµάτων εισόδου-εξόδου και βηµατική συνάρτηση ενεργοποίησης. πίνακας βαρών W Τ X κ Y κ W για ταυτόχρονη αποθήκευση p ζευγαριών W p W είσοδος σε κάθε νευρώνα του επιπέδου Υ nput _ n w έξοδος, nput _ ', nput _, nput _ Ανάκληση: έστω Χ* το διάνυσµα εισόδου (πιθανώς µε θόρυβο). ίνεται στο δίκτυο το διάνυσµα εισόδου Χ *. Επίσης τίθεται convergencefalse.. Υπολογίζεται το διάνυσµα εξόδου Υ' του δικτύου από τη σχέση Y'M T X *. 3. Εφόσον το δίκτυο δεν συγκλίνει, δηλ. εφόσον convergencefalse α) Γίνεται ανάδραση και υπολογίζεται το X'M Τ Y'. β) Υπολογίζεται το νέο διάνυσµα εξόδου Υ" από τη σχέση Y"M T X'. γ) Γίνεται έλεγχος αν έχει επέλθει σύγκλιση σύγκλιση (και ανάκληση) όταν δύο διαδοχικές έξοδοι στο βήµα 3β είναι ίδιες χωρητικότητα µοντέλου BAM: Ο(ma(n, m)). > < Τεχνητή Νοηµοσύνη, B' Έκδοση 33
ΤΝ µε Ανταγωνισµό Βασική Ιδέα: οι νευρώνες πρέπει να είναι σε θέση να επηρεάσουν θετικά, ουδέτερα ή ακόµη και αρνητικά τους υπόλοιπους νευρώνες του δικτύου. ποιος νευρώνας θα ανταποκριθεί περισσότερο; απλούστερη περίπτωση: µόνο ο νευρώνας µε τη µεγαλύτερη έξοδο (νικητής) παράγει τελικά αποτέλεσµα (wnner-taes-all - WTA). Μοντελοποίηση Ανταγωνισµού Παράπλευρη καταστολή ή ενίσχυση (lateral nhbton ή ectaton) Ανταγωνισµός πόρων (resource competton) βιολογικά αποδεκτό - µοντελοποιεί και το βιολογικό φαινόµενο της εξασθένισης (self deca). w < Παράπλευρη Καταστολή w < w < w > w w Παράπλευρη Ενίσχυση Ανταγωνισµός Πόρων Τεχνητή Νοηµοσύνη, B' Έκδοση 34
ίκτυα Kohonen (/5) Αυτο-οργανούµενη Απεικόνιση Χαρακτηριστικών - Self-organzng Feature Map Oι νευρώνες είναι τοποθετηµένοι σε κάποια γεωµετρική τοπολογία (πχ επίπεδο, κτλ). Κάθε νευρώνας είναι συνδεδεµένος µέσω βαρών µε την είσοδο που αποτελείται από στοιχεία και λαµβάνει ένα πλήρες αντίγραφο του διανύσµατος εισόδου τροποποιηµένου από τα βάρη. Μέσω εκπαίδευσης, µαθαίνουν να αντιστοιχούν ένα σήµα εισόδου µε συγκεκριµένο νευρώνα στο επίπεδο εξόδου: άρα πραγµατοποιούν κατηγοριοποίηση. Μάθηση χωρίς επίβλεψη. Μερικοί τρόποι υλοποίησης ανταγωνισµού για επιλογή του "νικητή νευρώνα : Μέσω συνάρτησης µεγίστου προσδιορίζεται ο νευρώνας µε τη µεγαλύτερη απόκριση στην είσοδο και στη συνέχεια αποδίδεται έξοδος + σε αυτόν και µηδέν στους υπόλοιπους. Ο νευρώνας µε τη µεγαλύτερη τιµή στο εσωτερικό γινόµενο µεταξύ του διανύσµατος εισόδου και του διανύσµατος των βαρών. Ο νευρώνας για τον οποίο η Ευκλείδεια απόσταση µεταξύ του διανύσµατος εισόδου και του διανύσµατος των βαρών είναι η µικρότερη. Τεχνητή Νοηµοσύνη, B' Έκδοση 35
ίκτυα Kohonen (/5) Εκπαίδευση δικτύου Kohonen µε στοιχεία εισόδου. ανάθεση τυχαίων µικρών τιµών στα βάρη εισόδου συνήθως, τα αρχικά βάρη και τα διανύσµατα εκπαίδευσης κανονικοποιούνται ως προς σχέση κανονικοποίησης για διάνυσµα εισόδου S > όµοια κανονικοποιούνται και τα αρχικά βάρη εισόδου W (w, w,..., w ) s, [ ] s + s + + s / s... για κάθε νευρώνα του επιπέδου Kohonen, υπολογίζεται το πόσο κοντά στο διάνυσµα εκπαίδευσης βρίσκονται τα βάρη εισόδου του νευρώνα ο νευρώνας c µε το µικρότερο d είναι ο "νικητής" και θα "εκπαιδευτεί" n( s w ) αν ο νευρώνας ανήκει στη γειτονιά του c w αν ο νευρώνας δεν ανήκει στη γειτονιά του c d n ( s w ) επόµενος κύκλος: ο ρυθµός εκπαίδευσης n και το µέγεθος της γειτονίας ελαττώνονται Τεχνητή Νοηµοσύνη, B' Έκδοση 36
ίκτυα Kohonen (3/5) Βήµα εκπαίδευσης σε δίκτυο Kohonen µε στοιχεία εισόδου: w W old W W new Ο αριθµός των νευρώνων εξόδου επηρεάζει: µικρός: µπορεί να οδηγήσει σε συγχώνευση κλάσεων µεγάλος: οδηγεί σε υπερπροσαρµογή (περισσότερες κατηγορίες από όσες υπάρχουν) µοναδιαίος κύκλος S w Εξέλιξη εκπαίδευσης σε νευρωνικό δίκτυο Kohonen S 3 W 6 W 7 W 8 S W W 5 W 6 W 7 W8 S S 3 W W 6 S 3 W 5 W 7 W 8 S W W 4 W 5 W 4 W W 4 W 3 S Αρχικό Ενδιάµεσο Τελικό W 3 S W S W 3 W Τεχνητή Νοηµοσύνη, B' Έκδοση 37
ίκτυα Kohonen (4/5) Κακή αρχικοποίηση τιµών για τα βάρη (σχήµα). w πιθανές κλάσεις 5 πρότυπα εκπαίδευσης Παράδειγµα εκπαίδευσης και ανάκλησης: Έστω δίκτυο Kohonen 4- και τα 4 διανύσµατα εκπαίδευσης: S (,,,), S (,,,), S 3 (,,,) και S 4 (,,,) αρχικά διανύσµατα βαρών: W (.,.6,.5,.9) και W (.8,.4,.7,.3) αρχικός ρυθµός εκπαίδευσης: n.6 µεταβολή n µε το χρόνο εκπαίδευσης (εποχές): n (t+).5n (t) δίνουµε στην είσοδο το S και υπολογίζουµε την Ευκλείδεια απόσταση µεταξύ S και W,W d ( s w ) + ( s w ) + ( s w ) + ( s w.) + (.6) + (.5) + (.9) 3 3 4 4) µοναδιαίος κύκλος (.3638 όµοια: d.9899 Επειδή d <d, µόνο το διάνυσµα βαρών W θα µεταβληθεί λόγω εκπαίδευσης Για τη συνιστώσα w του W : w new w old +n(s -w old ).8+.6(-.8).9 (όµοια τα υπόλοιπα) Τελικά: W new (.9,.76,.8,.) ενώ W new W old. W W w Τεχνητή Νοηµοσύνη, B' Έκδοση 38
ίκτυα Kohonen (5/5) Η διαδικασία επαναλαµβάνεται για τα υπόλοιπα διανύσµατα εκπαίδευσης. µετά το πέρας ενός κύκλου εκπαίδευσης: W (.3,.96,.68,.984) και W (.968,.34,.,.48) Στη συνέχεια, µεταβάλλεται ο ρυθµός εκπαίδευσης σε.3 και αρχίζει νέα εποχή. µετά το πέρας του δεύτερου κύκλου εκπαίδευσης: W (.6,.47,.633,.99) και W (.984,.359,.55,.4) µετά κύκλους εκπαίδευσης: W (.,.,.5,.) και W (.,.5,.,.) Ανάκληση Ο προσδιορισµός της κλάσης ( η ή η ) στην οποία ανήκει κάθε διάνυσµα S γίνεται µέσω του εσωτερικού γινοµένου W S. Το µεγαλύτερο εσωτερικό γινόµενο W S για δεδοµένο καθορίζει τη νικητήρια κλάση, που προσδιορίζεται από το. W S και W S.5 άρα το S ανήκει στην η κλάση W S και W S άρα το S ανήκει στην η κλάση 3 W S 3 και W S 3 άρα το S 3 ανήκει στην η κλάση 4 W S 4.5 και W S 4 άρα το S 4 ανήκει στην η κλάση Τεχνητή Νοηµοσύνη, B' Έκδοση 39
Εφαρµογές Νευρωνικών ικτύων ηµοφιλή σε προβλήµατα που περιέχουν µη-προβλέψιµες λειτουργίες και τα οποία δεν είναι πλήρως κατανοητά. Κατηγοριοποίηση Ιατρική, Άµυνα, Γεωργία, Οικονοµία/επιχειρήσεις Αναγνώριση Τράπεζες, Πληροφορική και Τηλεπικοινωνίες Αποτίµηση Άµυνα, Ασφάλεια, Μηχανολογία Πρόβλεψη Οικονοµία/επιχειρήσεις, Γεωργία, Μετεωρολογία Τεχνητή Νοηµοσύνη, B' Έκδοση 4