Υπολογιστική Νοημοσύνη. Μάθημα 10: Ομαδοποίηση με Ανταγωνιστική Μάθηση - Δίκτυα Kohonen

Σχετικά έγγραφα
Υπολογιστική Νοημοσύνη. Μάθημα 12: Παραδείγματα Ασκήσεων 2

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

ΑΝΤΑΓΩΝΙΣΤΙΚΗ ΜΑΘΗΣΗ ΔΙΚΤΥA LVQ και SOM. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ

Το δίκτυο SOM. Νευρωνικά Δίκτυα

Ανταγωνιστική Εκμάθηση Δίκτυα Kohonen. Κυριακίδης Ιωάννης 2013

Α.Τ.ΕΙ ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΠΟΛΥΜΕΣΩΝ. ΕΡΓΑΣΤΗΡΙΟ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ

Ρεφανίδης Γιάννης. Οκτώβριος

Νευρωνικά ίκτυα και Εξελικτικός

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Προσομοίωση Νευρωνικού Δικτύου στο MATLAB. Κυριακίδης Ιωάννης 2013

Υπολογιστική Νοημοσύνη. Μάθημα 9: Γενίκευση

Δρ. Βασίλειος Γ. Καμπουρλάζος Δρ. Ανέστης Γ. Χατζημιχαηλίδης

Δρ. Βασίλειος Γ. Καμπουρλάζος Δρ. Ανέστης Γ. Χατζημιχαηλίδης

ΔΙΚΤΥO RBF. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Υπολογιστική Νοημοσύνη. Μάθημα 4: Μάθηση στον απλό τεχνητό νευρώνα (2)

Θεωρία Αποφάσεων ο. 4 Φροντιστήριο. Λύσεις των Ασκήσεων

Υπολογιστική Νοημοσύνη. Μάθημα 13: Αναδρομικά Δίκτυα - Recurrent Networks

οµή δικτύου ΣΧΗΜΑ 8.1

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Αυτόνομοι Πράκτορες. Εργασία εξαμήνου. Μάθηση του παιχνιδιού British square με χρήση Temporal Difference(TD) Κωνσταντάκης Γιώργος

Εισαγωγή στους Νευρώνες. Κυριακίδης Ιωάννης 2013

ΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΠΛΗΡΟΦΟΡΙΚΗ

ΣΗΜΑΤΑ ΚΑΙ ΣΥΣΤΗΜΑΤΑ Ι

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοηµοσύνη Ι» 7ο Φροντιστήριο 15/1/2008

ΓΡΑΠΤΕΣ ΠΡΟΑΓΩΓΙΚΕΣ ΕΞΕΤΑΣΕΙΣ ΙΟΥΝΙΟΥ 2015

Μαθηματικά προσανατολισμού Β Λυκείου

δίου ορισμού, μέσου του τύπου εξαρτημένης μεταβλητής του πεδίου τιμών που λέγεται εικόνα της f για x α f α.

1.5 ΕΣΩΤΕΡΙΚΟ ΓΙΝΟΜΕΝΟ ΔΙΑΝΥΣΜΑΤΩΝ

Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων. Δρ. Ε. Χάρου

a ) a ) = lim f( a + h u ) f( a ) = lim (2) h = 0 f( a + h u ) f( a ) hdf( a )( u ) lim = 0 lim u ) f( a + h lim = 0 u ) = 0 lim = Df( a )( u ) lim

Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας Ενότητα 2 η : Δισδιάστατα Σήματα & Συστήματα Μέρος 2

ΜΑΘΗΜΑΤΑ ΜΑΘΗΜΑΤΙΚΑ ΘΕΤΙΚΟΥ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ Β ΛΥΚΕΙΟΥ

ΓΥΜΝΑΣΙΟ ΑΓΙΟΥ ΒΑΣΙΛΕΙΟΥ ΣΧΟΛΙΚΗ ΧΡΟΝΙΑ

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.

Κεφάλαιο 4: Στοιχεία της εκδοχής hp της ΜΠΣ στις 2- διαστάσεις

Μαθηµατικά Β Λυκείου Θετικής - τεχνολογικής κατεύθυνσης. Διανύσματα ΚΑΤΗΓΟΡΙΑ 8. Εσωτερικό γινόµενο διανυσµάτων. Ασκήσεις προς λύση 1-50

Φυλλάδιο 1 - Σημεία Προσοχής στις Παραγράφους 1.1, 1.2 και 1.3

Υπολογιστική Νοημοσύνη. Μάθημα 6: Μάθηση με Οπισθοδιάδοση Σφάλματος Backpropagation Learning

Τι είναι βαθμωτό μέγεθος? Ένα μέγεθος που περιγράφεται μόνο με έναν αριθμό (π.χ. πίεση)

ΦΥΣΙΚΗ ΠΡΟΣΑΝΑΤΟΛΙΣΜΟΥ

ΜΕΜ251 Αριθμητική Ανάλυση

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ

Ψηφιακές Τηλεπικοινωνίες. Δισδιάστατες Κυματομορφές Σήματος

Word 3: Δημιουργία πίνακα

Δίκτυα Κινητών και Προσωπικών Επικοινωνιών

ΔΙΑΝΥΣΜΑΤΑ. Ακολουθίες. Στην ενότητα αυτή θα μάθουμε: Να ορίζουμε το διάνυσμα.

4. Παραγώγιση πεπερασμένων διαφορών Σειρά Taylor Πολυωνυμική παρεμβολή

Λογικός Προγραμματισμός Ασκήσεις

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Αρχιτεκτονική Νευρωνικών Δικτύων

Κεφάλαιο 1: Κίνηση και γεωμετρικά σχήματα

«Η χωρικοποίηση είναι η διαδικασία κατά την οποία, αφηρημένοι χώροι πληροφορίας απεικονίζονται στο φυσικό χώρο με τη βοήθεια χωρικών μεταφορών.

ΧΑΡΟΚΟΠΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΜΑΤΙΚΗΣ ΤΕΧΝΗΤΗ ΝΟΗΜΟΣΥΝΗ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ. Καραγιώργου Σοφία

Επαναληπτικές Ασκήσεις

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

ΟΜΟΣΠΟΝΔΙΑ ΕΚΠΑΙΔΕΥΤΙΚΩΝ ΦΡΟΝΤΙΣΤΩΝ ΕΛΛΑΔΟΣ (Ο.Ε.Φ.Ε.) ΕΠΑΝΑΛΗΠΤΙΚΑ ΘΕΜΑΤΑ ΕΠΑΝΑΛΗΠΤΙΚΑ ΘΕΜΑΤΑ 2018 A ΦΑΣΗ ΜΑΘΗΜΑΤΙΚΑ

Το μοντέλο Perceptron

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Σκοπός του παιχνιδιού Σκοπός του παιχνιδιού είναι να τοποθετήσει πρώτος ο παίκτης όλα τα πλακίδιά του στο τραπέζι.

ΠΡΑΓΜΑΤΙΚΕΣ ΣΥΝΑΡΤΗΣΕΙΣ ΠΟΛΛΩΝ ΜΕΤΑΒΛΗΤΩΝ

Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 4 o Φροντιστήριο

Παναγιώτης Ψαρράκος Αν. Καθηγητής

Τεχνητή Νοημοσύνη ( )

ΜΑΘΗΜΑΤΙΚΑ Β ΓΥΜΝΑΣΙΟΥ. Μέρος Β Κεφάλαιο 1ο Εμβαδά επίπεδων σχημάτων Πυθαγόρειο Θεώρημα 1.4 Πυθαγόρειο Θεώρημα

ΠΑΓΚΥΠΡΙΕΣ ΕΞΕΤΑΣΕΙΣ 2016 ΜΑΘΗΜΑΤΙΚΑ ΚΑΤΕΥΘΥΝΣΗΣ

4. Παραγώγιση πεπερασμένων διαφορών Σειρά Taylor Πολυωνυμική παρεμβολή

1. Αν α 3 + β 3 + γ 3 = 3αβγ και α + β + γ 0, δείξτε ότι το πολυώνυµο P (x) = (α - β) x 2 + (β - γ) x + γ - α είναι

Λυμένες ασκήσεις στροφορμής

Συμπίεση Πληροφορίας Πλαισίου με Ανάλυση Κύριων Συνιστωσών

ΜΑΘΗΜΑΤΙΚΑ ΓΕΝΙΚΗΣ Γ ΛΥΚΕΙΟΥ - ΘΕΜΑΤΑ ΠΑΝΕΛΛΗΝΙΩΝ ~ ΣΥΝΔΥΑΣΤΙΚΑ

ΓΥΜΝΑΣΙΟ ΠΟΛΕΜΙΔΙΩΝ ΣΧ. ΧΡΟΝΙΑ

Ενδεικτική πολυ-εργασία 1 - εφαρμογή στην υπολογιστική όραση

ΓΡΑΜΜΙΚΟΣ & ΔΙΚΤΥΑΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ

Εισαγωγή στα Τεχνητά Νευρωνικά Δίκτυα. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

ΤΕΙ ΣΕΡΡΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ ΕΞΕΤΑΣΗ ΣΤΟ ΜΑΘΗΜΑ «ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ» ΔΕ. 11 ΙΟΥΝΙΟΥ 2012

papost/

Υποθέσεις - - Θεωρήματα Υποθέσεις - Θεωρήματα Στα μαθηματικά και στις άλλες επιστήμες κάνουμε συχνά υποθέσεις. Οταν δείξουμε ότι μια υπόθεση είναι αλη

ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΗΛΕΚΤΡΟΛΟΓΙΚΑ ΥΛΙΚΑ. Ενότητα 2: ΚΡΥΣΤΑΛΛΙΚΗ ΔΟΜΗ ΛΙΤΣΑΡΔΑΚΗΣ ΓΕΩΡΓΙΟΣ ΤΗΜΜΥ

ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Αίθουσα Νέα Κτίρια ΣΗΜΜΥ Ε.Μ.Π. Ανάλυση Κυρίων Συνιστωσών (Principal-Component Analysis, PCA)

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

1. Να εξετάσετε αν οποιοδήποτε τετράγωνο είναι και ορθογώνιο παραλληλόγραμμο. Να διατυπώσετε τα επιχειρήματά σας.

ΣΤΟΙΧΕΙΑ ΚΡΥΣΤΑΛΛΟΓΡΑΦΙΑΣ

Χρονικές σειρές 4 o μάθημα: ΠΙΝΑΚΕΣ ΚΑΙ ΔΙΑΝΥΣΜΑΤΑ

Δρ. Βασίλειος Γ. Καμπουρλάζος Δρ. Ανέστης Γ. Χατζημιχαηλίδης

ΕΙΔΙΚΗ ΘΕΩΡΙΑ ΤΗΣ ΣΧΕΤΙΚΟΤΗΤΑΣ

Η ΓΕΝΙΚΕΥΜΕΝΗ ΓΕΩΜΕΤΡΙΑ

7 ο Εργαστήριο Θόρυβος 2Δ, Μετακίνηση, Περιστροφή

Ασκήσεις μελέτης της 16 ης διάλεξης

Το Φως Είναι Εγκάρσιο Κύμα!

32 ΤΡΑΠΕΖΑ ΘΕΜΑΤΩΝ Β ΛΥΚΕΙΟΥ ΚΑΤΕΥΘΥΝΣΗΣ ΘΕΜΑ 1 Ο Α1) Έστω το διάνυσμα a=

Α.Τ.Ε.Ι ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΠΟΛΥΜΕΣΩΝ ΕΡΓΑΣΤΗΡΙΟ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ. Σχήμα 1 Η λειτουργία του νευρώνα

Μεθοδολογία Υπερβολής

ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΕ ΕΦΑΡΜΟΓΕΣ ΣΤΗ ΒΙΟΙΑΤΡΙΚΗ

Transcript:

Υπολογιστική Νοημοσύνη Μάθημα 10: Ομαδοποίηση με Ανταγωνιστική Μάθηση - Δίκτυα Kohonen

Ανταγωνιστικοί Νευρώνες Ένα στρώμα με ανταγωνιστικούς νευρώνες λειτουργεί ως εξής: Όλοι οι νευρώνες δέχονται το σήμα από τους νευρώνες του προηγούμενου επιπέδου (συνήθως το επίπεδο εισόδου). Κάθε νευρώνας υπολογίζει την ευκλείδια απόσταση του διανύσματος εισόδου Χ από το διάνυσμα των βαρών των εισόδων του W i : d= X-W i Ο νευρώνας με τη μικρότερη απόσταση παράγει έξοδο 1, ενώ όλοι οι υπόλοιποι παράγουν έξοδο 0. Γενικά δεν υπάρχει επόμενο επίπεδο μετά το επίπεδο με ανταγωνιστικούς νευρώνες. 2

Απόσταση σε Ευκλείδειους χώρους Στον Ευκλείδειο χώρο Rn η απόσταση μεταξύ δύο σημείων δίνεται συνήθως από την Ευκλείδεια απόσταση (2-νόρμική απόσταση d_2). Από ένα σημείο (x1, x2,...,xn) και ένα σημείο (y1, y2,...,yn), η Απόσταση Minkowski τάξης p (p-νορμική απόσταση) ορίζεται ως: όπου ο p δεν χρειάζεται να είναι ακέραιος αλλά δεν μπορεί να είναι μικρότερος από 1. Η 2-νορμική απόσταση είναι η Ευκλείδεια απόσταση,δηλαδή μια γενίκευση του Πυθαγόρειου θεωρήματος σε περισσότερες από δύο συντεταγμένες. Είναι αυτό που θα μπορούσε να επιτευχθεί εάν η απόσταση μεταξύ δύο σημείων μετρηθεί με ένα χάρακα. 3

Παράδειγμα 4

Ανταγωνιστική Μάθηση Η μάθηση σε ένα επίπεδο ανταγωνιστικών νευρώνων γίνεται χωρίς επίβλεψη. Τα παραδείγματα εκπαίδευσης (μόνο είσοδοι) παρουσιάζονται στο δίκτυο διαδοχικά (και με τυχαία σειρά). Για κάθε παράδειγμα εκπαίδευσης βρίσκεται ο νευρώνας i με την μικρότερη ευκλείδια απόσταση d= W i -X και τα βάρη του αλλάζουν ώστε να πλησιάσουν περισσότερο το τρέχον παράδειγμα, σύμφωνα με τη σχέση: W i '=W i +a(x-w i ) ΚΑΝΟΝΑΣ ΜΑΘΗΣΗΣ KOHONEN όπου: i: Ο νευρώνας που κέρδισε. Wi: Το προηγούμενο διάνυσμα βαρών του νευρώνα i. Wi': Το νέο διάνυσμα βαρών του νευρώνα i. Χ: Το τρέχον διάνυσμα εισόδου a: Ο ρυθμός εκπαίδευσης Τα βάρη των υπολοίπων νευρώνων παραμένουν αμετάβλητα. 5

Παράδειγμα (1/2) Έστω ότι έχουμε ένα δίκτυο με δύο εισόδους και 6 διανύσματα εκπαίδευσης: p=[.1.8.1.2.9.9.2.9.1.1.8.9] Τα διανύσματα εισόδου ομαδοποιούνται σε δύο ομάδες: Αυτά που είναι κοντά στο (0,0) Αυτά που είναι κοντά στο (1,1) Κατασκευάζουμε ένα νευρωνικό δίκτυο ενός επίπεδου με δύο ανταγωνιστικούς νευρώνες. Μετά από την εκπαίδευση τα βάρη των δύο νευρώνων έχουν γίνει: 1ος νευρώνας: W1=[0.8660 0.8660]' 2ος νευρώνας: W2=[0.1325 0.1337]' 6

Παράδειγμα (2/2) Είδαμε στο παράδειγμα ότι είχαμε δύο ομάδες (clusters) παραδειγμάτων εκπαίδευσης. Με αυτό το σκεπτικό επιλέξαμε ένα δίκτυο με 2 νευρώνες. Θεωρώντας τα βάρη των νευρώνων ως διανύσματα στο χώρο των διανυσμάτων εκπαίδευσης (στην προκειμένη περίπτωση ο χώρος δύο διαστάσεων), κάθε ένα από τα διανύσματα βαρών μετατοπίσθηκε στο "κέντρο βάρους" κάθε μιας από τις ομάδες παραδειγμάτων. Εάν εκτελέσουμε ξανά την εκπαίδευση, ενδέχεται κάθε νευρώνας να "μάθει" την άλλη ομάδα από αυτή που έμαθε την πρώτη φορά. 7

Βάρη τάσης πόλωσης (1/2) Ένα πρόβλημα που εμφανίζουν τα δίκτυα ανταγωνιστικής μάθησης είναι ότι κάποιοι νευρώνες ενδέχεται να μην κερδίσουν ποτέ! (ειδικά εάν έχουμε πολλούς νευρώνες). Νεκροί νευρώνες (dead neurons) Οι νευρώνες αυτοί θα κρατήσουν τα αρχικά τους βάρη (τα οποία τους έχουν αποδοθεί τυχαία). 8

Βάρη τάσης πόλωσης (2/2) Για να αποφύγουμε νεκρούς νευρώνες χρησιμοποιούμε τα βάρη εισόδου της σταθερής τάσης πόλωσης (bias). Η τάση πόλωσης έχει τιμή 1 για όλους τους νευρώνες (στο Matlab). Τα αρχικά βάρη της τάσης πόλωσης παίρνουν μια μεγάλη τιμή, ίδια για όλους τους νευρώνες, δημιουργώντας έτσι μια μεγάλη απόσταση από την τιμή της τάσης πόλωσης (1). Η αλλαγή των βαρών της τάσης πόλωσης γίνεται με τέτοιον τρόπο, ώστε να δίνονται μικρότερα βάρη στην τάση πόλωσης στους νευρώνες που δεν κερδίζουν συχνά. 9

Δίκτυα Αυτοοργάνωσης (Self- Organizing Feature Maps, SOFM) Τα δίκτυα αυτοοργάνωσης είναι μια παραλλαγή των ανταγωνιστικών δικτύων. Οι νευρώνες του ανταγωνιστικού επιπέδου θεωρείται ότι σχηματίζουν ένα νοητό πλέγμα. Συνήθη πλέγματα: Ορθογώνιο Εξαγωνικό Τυχαίο Για κάθε παράδειγμα εκπαίδευσης, εκτός από τα βάρη του νευρώνα-νικητή, αλλάζουν τα βάρη και για τους νευρώνες της "γειτονιάς" στο πλέγμα του νευρώνα-νικητή. Έτσι τα δίκτυα αυτοοργάνωσης καταφέρνουν να μάθουν, εκτός από τις ομάδες, και την τοπολογία αυτών, δηλαδή ποιες ομάδες είναι πιο πολυπληθείς. 10

Ορθογώνια πλέγματα Πλέγμα 4x5 Πλέγμα 4x5x2 Μπορούν να υπάρξουν και πλέγματα περισσοτέρων των τριών διαστάσεων, αλλά δεν μπορούν να απεικονιστούν γραφικά. 11

Εξαγωνικά πλέγματα Πλέγμα 5x6 Πλέγμα 4x4x3 12

Τυχαία πλέγματα Τυχαίο Πλέγμα 18 x 12 13

Λογική λειτουργίας (1/2) Τα πλέγματα είναι "νοητά", δηλαδή δεν υπάρχει σύνδεση των νευρώνων του ανταγωνιστικού δικτύου με οποιονδήποτε τρόπο πάνω στο δίκτυο. Αρχικά τα βάρη για κάθε νευρώνα στο δίκτυο είναι τυχαία, ενώ τα βάρη "γειτονικών" νευρώνων στο πλέγμα μπορεί να είναι εντελώς άσχετα μεταξύ τους. Κατά την εκπαίδευση, για κάθε παράδειγμα επιλέγεται ο νευρώνας εκείνος τα βάρη του οποίου βρίσκονται κοντινότερα στο παράδειγμα. Τα βάρη του νευρώνα αυτού αλλάζουν, σύμφωνα με τον κανόνα μάθησης Kohonen. Επιπλέον όμως επιλέγονται και οι γειτονικοί του νευρώνες στο πλέγμα, τα βάρη των οποίων επίσης αλλάζουν, χρησιμοποιώντας όμως το μισό του ρυθμού μάθησης (κανόνας μάθησης Kohonen). 14

Λογική λειτουργίας (2/2) Ως "γειτονιά" ενός νευρώνα θεωρούνται όλοι οι "γειτονικοί" του νευρώνες που βρίσκονται πάνω στο πλέγμα σε απόσταση το πολύ d από αυτόν. Υπάρχουν διάφοροι τρόποι ορισμού της απόστασης (θα τους δούμε παρακάτω) Η απόσταση d που ορίζει το εύρος κάθε γειτονιάς ξεκινά συνήθως από μια μεγάλη τιμή και προοδευτικά μειώνεται. Η εμπειρία έχει δείξει ότι στο τέλος τα διανύσματα βαρών των νευρώνων έχουν ισοκατανεμηθεί μεταξύ των παραδειγμάτων εκπαίδευσης, καλύπτοντας τον χώρο κατά τρόπο ομοιόμορφο προς αυτόν των διανυσμάτων εκπαίδευσης. Επιπλέον, νευρώνες γειτονικοί στο πλέγμα έχουν "γειτονικά" διανύσματα βαρών, δημιουργώντας έτσι μια τοπολογία αντίστοιχη αυτής των διανυσμάτων εκπαίδευσης. 15

Συντεταγμένες νευρώνων Κάθε νευρώνας στο πλέγμα έχει "συντεταγμένες", οι οποίες αντιστοιχούν στους αύξοντες αριθμούς του στις διάφορες διαστάσεις του πλέγματος. Π.χ., για ορθογώνιο πλέγμα δύο διαστάσεων υπάρχουν οι νευρώνες (1,1), (1,2), (4,3) κλπ. Οι συντεταγμένες αυτές δεν αλλάζουν (δεν έχουν δηλαδή σχέση με την εκπαίδευση του δικτύου). 16

Αποστάσεις μεταξύ νευρώνων Οι αποστάσεις των νευρώνων πάνω στο πλέγμα έχουν να κάνουν με τις συντεταγμένες τους. Υπάρχουν τέσσερις συναρτήσεις για τη μέτρηση των αποστάσεων των νευρώνων. Ευκλείδια απόσταση (Matlab: dist) Απόσταση κουτιού (Matlab: boxdist) Απόσταση Manhatan (Matlab: mandist) Απόσταση δεσμών (Matlab: linkdist) 17