ΚΑΤΕΥΘΥΝΣΗ ΨΗΦΙΑΚΩΝ ΜΕΣΩΝ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗ ΨΗΦΙΑΚΩΝ ΜΕΣΩΝ ΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ Εφαρµογή Αυτο Οργανούµενων Χαρτών στην Ανάλυση Εγκεφαλικών Αποκρίσεων από Μαγνητοεγκεφαλογράφο ΡΩΜΑΝΟΣ Π. ΣΙ ΗΡΟΠΟΥΛΟΣ Α.Ε.Μ ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ : ΝΙΚΟΛΑΟΣ ΛΑΣΚΑΡΗΣ ΘΕΣΣΑΛΟΝΙΚΗ 2008

2 ΕΦΑΡΜΟΓΗ ΑΥΤΟ-ΟΡΓΑΝΟΥΜΕΝΩΝ ΧΑΡΤΩΝ ΣΤΗΝ ΑΝΑΛΥΣΗ ΕΓΚΕΦΑΛΙΚΩΝ ΑΠΟΚΡΙΣΕΩΝ ΑΠΟ ΜΑΓΝΗΤΟΕΓΚΕΦΑΛΟΓΡΑΦΟ Πτυχιακή Εργασία του φοιτητή Ρωµανού Π. Σηδιρόπουλου Επιβλέπων Πτυχιακής Εργασίας Νικόλαος Α. Λάσκαρης Θεσσαλονίκη Ιούνιος

3 Ευχαριστίες Επιθυµώ να ευχαριστήσω και να εκφράσω την απεριόριστη εκτίµησή µου στον επιβλέποντα αυτής της πτυχιακής εργασίας στον κύριο Νικόλαο Λάσκαρη για την κατανόηση του, τη συµπαράσταση και την αµέριστη βοήθειά του. Οι γνώσεις του στο συγκεκριµένο θέµα βοήθησαν στην καθοδήγηση και την ολοκλήρωση της µελέτης της παρούσας εργασίας. Θεσσαλονίκη, Ιούνιος 2008 Ρωµανός Π. Σιδηρόπουλος 3

4 ΠΕΡΙΕΧΟΜΕΝΑ ΜΕΡΟΣ Α ΕΙΣΑΓΩΓΗ 10 ΚΕΦΑΛΑΙΟ 1 ο Βασικές Έννοιες της Αυτό-οργάνωσης 1.1 ΤΙ ΕΙΝΑΙ Η ΑΥΤΟ-ΟΡΓΑΝΩΣΗ ; ΠΩΣ ΛΕΙΤΟΥΡΓΕΙ ΕΝΑ ΑΥΤΟ-ΟΡΓΑΝΟΥΜΕΝΟ ΣΥΣΤΗΜΑ ; ΠΡΟΣΟΜΟΙΩΣΗ ΤΩΝ ΑΥΤΟ-ΟΡΓΑΝΟΥΜΕΝΩΝ ΣΥΣΤΗΜΑΤΩΝ 15 ΚΕΦΑΛΑΙΟ 2 ο ΚΕΦΑΛΑΙΟ 3 ο ΚΕΦΑΛΑΙΟ 4 ο Νευρωνικά ίκτυα Kohonen 17 Μη Επιβλεπόµενη Μάθηση.18 Ανταγωνιστική Μάθηση 4.1 ΕΙΣΑΓΩΓΗ ΝΕΥΡΩΝΑΣ-ΝΙΚΗΤΗΣ ΚΑΙ ΑΝΑΝΕΩΣΗ ΒΑΡΩΝ ΤΟΥ.20 ΚΕΦΑΛΑΙΟ 5 ο Αυτό-οργανούµενοι Χάρτες Kohonen 5.1 ΕΙΣΑΓΩΓΗ ΦΑΣΗ ΑΝΤΑΓΩΝΙΣΜΟΥ ΦΑΣΗ ΣΥΝΕΡΓΑΣΙΑΣ ΚΑΙ ΑΝΤΑΜΟΙΒΗΣ ΕΠΑΝΑΛΗΠΤΙΚΗ ΕΚΜΑΘΗΣΗ ΚΑΙ ΕΚΜΑΘΗΣΗ ΦΟΥΡΝΙΑΣ ΠΑΡΑ ΕΙΓΜΑ ΤΗΣ ΙΑ ΙΚΑΣΙΑΣ ΚΑΤΑΤΑΞΗΣ 27 ΚΕΦΑΛΑΙΟ 6 ο Βασικές Ιδιότητες του SOM 6.1 ΕΙΣΑΓΩΓΗ ΤΟΠΟΛΟΓΙΚΗ ΡΥΘΜΙΣΗ ΙΑΡΡΥΘΜΙΣΗ ΒΑΡΩΝ ΣΧΗΜΑ ΤΗΣ ΣΥΝΑΡΤΗΣΗΣ ΓΕΙΤΟΝΙΑΣ

5 6.3 ΣΥΓΚΛΙΣΗ ΒΑΡΩΝ ΚΑΙ ΣΥΝΑΡΤΗΣΗ ΕΝΕΡΓΕΙΑΣ ΡΟΛΟΣ ΤΗΣ ΣΥΝΑΡΤΗΣΗΣ ΓΕΙΤΟΝΙΑΣ ΣΥΣΧΕΤΙΣΤΗΣ ΤΗΣ ΕΝΗΜΕΡΩΣΗΣ ΒΑΡΩΝ ΣΤΑΤΙΣΤΙΚΟΣ ΠΥΡΗΝΙΚΟΣ ΟΜΑΛΟΤΗΣ..37 ΜΕΡΟΣ Β ΚΕΦΑΛΑΙΟ 7 ο Ισοπίθανοι Τοπογραφικοί Χάρτες Βασισµένοι στον Πυρήνα 7.1 ΕΙΣΑΓΩΓΗ ΜΑΘΗΣΗ ΜΕΓΙΣΤΗΣ ΕΝΤΡΟΠΙΑΣ ΒΑΣΙΣΜΕΝΗ ΣΤΟΝ ΠΥΡΗΝΑ kmer ΣΥΓΚΛΙΣΗ ΙΣΟΠΙΘΑΝΟΣ ΚΒΑΝΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΜΕΝΟΣ ΑΛΓΟΡΙΘΜΟΣ ΕΠΙΛΟΓΗ ΤΩΝ ΠΑΡΑΜΕΤΡΩΝ 49 ΚΕΦΑΛΑΙΟ 8 ο Εφαρµογή του Αλγορίθµου kmer σε Αποκρίσεις του Εγκεφάλου 8.1 ΕΙΣΑΓΩΓΗ ΑΝΑΛΥΣΗ ΤΩΝ Ε ΟΜΕΝΩΝ ΕΙΣΟ ΟΥ ΣΤΟΝ ΑΛΓΟΡΙΘΜΟ ΕΠΙΛΟΓΗ ΠΑΡΑΜΕΤΡΩΝ ΓΙΑ ΤΗΝ ΑΛΓΟΡΙΘΜΙΚΗ ΙΑ ΙΚΑΣΙΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΤΗΣ ΑΛΓΟΡΙΘΜΙΚΗΣ ΙΑ ΙΚΑΣΙΑΣ ΣΥΜΠΕΡΑΣΜΑΤΑ...68 ΠΑΡΑΡΤΗΜΑ Α Α.1 Kohonen s SOM Αλγόριθµος της Incremental Εκµάθησης µε χρήση της Μεθόδου Ελάχιστης Ευκλείδειας Απόστασης..71 Α.2 Kohonen s SOM Αλγόριθµος της Batch Εκµάθησης..72 A.3 Βέλτιστος kmer Αλγόριθµος της Batch Εκµάθησης..73 5

6 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ ΜΕΡΟΣ Α Σχήµα 1.1 Παραδείγµατα διαµόρφωσης αυτό-οργανούµενων προτύπων στα φυσικά, χηµικά και βιολογικά συστήµατα Σχήµα 1.2 Ριγωτά και ποικιλόχρωµα πρότυπα που βρίσκονται στη φύση Σχήµα 1.3 Προσοµοίωση κυτταρικού αυτοµάτου της διαµόρφωσης του προτύπου σύµφωνα µε ένα µοντέλο ενεργοποιητήαπαγορευτικού Σχήµα Αρχιτεκτονική του δικτύου που χρησιµοποιείται στην διαµόρφωση ενός τοπογραφικού χάρτη Σχήµα εδοµένα και τα αρχικά βάρη των 100 νευρώνων Σχήµα Τα 8 βήµατα της χαρτογράφησης της δυσδιάστατης οµοιόµορφης τετραγωνικής κατανοµής Σχήµα Απεικόνιση ενός πλέγµατος των νευρώνων Σχήµα Απεικόνιση µιας αλυσίδας των 40 νευρώνων σε µια τετραγωνική οµοιόµορφη κατανοµή ΜΕΡΟΣ Β Σχήµα Μάθηση µέγιστης εντροπίας βασισµένη στον πυρήνα Σχήµα Ανανέωση του πεδίου αποδοχής Σχήµα Αποκρίσεις του εγκεφάλου του πρώτου υποκειµένου µε παρουσίαση των ερεθισµάτων Σχήµα Αποκρίσεις του εγκεφάλου του δεύτερου υποκειµένου µε παρουσίαση των ερεθισµάτων Σχήµα Αποκρίσεις του εγκεφάλου των δύο υποκειµένων µε παρουσίαση των ερεθισµάτων Σχήµα Μέσοι όροι των τριών συνόλων σηµάτων A_STs, B_STs, AB_STs Σχήµα Ζητούµενη περιοχή, η οποία περιέχει τις αποκρίσεις του εγκεφάλου των υποκειµένων κατά την παρουσίαση του ερεθίσµατος 6

7 Σχήµα εδοµένα εκπαίδευσης του αλγορίθµου Σχήµα Αρχικά βάρη των 16 νευρώνων του νευρωνικού δικτύου µεγέθους [ 1 16 ] Σχήµα Ανανεωµένα βάρη των 16 νευρώνων µετά από την διαδικασία εκπαίδευσης Σχήµα Ανανεωµένες ακτίνες των 16 νευρώνων µετά από την διαδικασία εκπαίδευσης Σχήµα Ρίζα του µέσου τετραγωνικού σφάλµατος ( συνάρτηση RMSE ) Σχήµα Αποκρίσεις του εγκεφάλου των υποκειµένων χωρίς παρουσίαση του ερεθίσµατος Σχήµα Μέσος όρος των σηµάτων του συνόλου sbn_sts ( αποκρίσεις του εγκεφάλου χωρίς ερέθισµα ) Σχήµα Αρχικά βάρη των 16 νευρώνων του νευρωνικού δικτύου µεγέθους [ 4 4 ] Σχήµα Ανανεωµένα βάρη των 16 νευρώνων µετά από την διαδικασία εκπαίδευσης Σχήµα Ανανεωµένες ακτίνες των 16 νευρώνων µετά από την διαδικασία εκπαίδευσης Σχήµα Ρίζα του µέσου τετραγωνικού σφάλµατος ( συνάρτηση RMSE ) 7

8 ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ ΜΕΡΟΣ B Πίνακας Αριθµός ενεργοποιήσεων νευρώνων του νευρωνικού δικτύου µονοδιάστατου πλέγµατος [ 1 16 ] τροφοδοτώντας τον αλγόριθµο µε τα σήµατα AB_STs και sbn_sts Πίνακας Αριθµός ενεργοποιήσεων νευρώνων του νευρωνικού δικτύου δυσδιάστατου πλέγµατος [ 4 4 ] τροφοδοτώντας τον αλγόριθµο µε τα σήµατα AB_STs και sbn_sts 8

9 ΜΕΡΟΣ Α 9

10 Εισαγωγή Η περιοχή των νευρωνικών δικτύων ( Ν ) ξεκίνησε µε εργασία των Mc Culloch και Pitts [8] το 1943 οι οποίοι µελέτησαν ένα µοντέλο του βασικού κυττάρου του ανθρώπινου εγκεφάλου το οποίο ονόµασαν «νευρόνιο». Το µοντέλο αυτό αποτελείται από µεταβλητές αντιστάσεις και αθροιστικούς ενισχυτές οι οποίοι παριστούν τις συναπτικές διασυνδέσεις ή συναπτικά βάρη που συνδέουν τα νευρόνια µεταξύ τους και τη λειτουργία του σώµατος του νευρονίου. Το επόµενο µεγάλο βήµα στα Ν έγινε το 1949 όταν ο Hebb διατύπωσε για την πρώτη φορά ρητά την έννοια της µάθησης µέσω διαµόρφωσης των συναπτικών βαρών. Ο Hebb πρότεινε ότι η συνδετικότητα του ανθρώπινου εγκεφάλου µεταβάλλεται συνεχώς όσο ο οργανισµός µαθαίνει διάφορες ενέργειές και οι µεταβολές αυτές δηµιουργούν τις νευρωνικές δοµές. Στις εργασίες τους πάνω στα νευρωνικά δίκτυα και τη νευρωνική µάθηση, ο Minsky και ο Gabor υλοποίησαν τη µάθηση τροφοδοτώντας τη µηχανή µε δείγµατα µιας στοχαστικής ανέλιξης µαζί µε τη συνάρτηση στόχου την οποία έπρεπε να δώσει η µηχανή στην έξοδό της. Ένα άλλο θέµα Ν που µελετήθηκέ το 1950 από τον Taylor είναι η συσχετιστική µνήµη [2] στην οποία συµπεριέλαβε την έννοια της µήτρας µάθησης. Το 1958 ο Rosenblatt ανέπτυξε την έννοια του Perceptron ως µια νέα λύση στο πρόβληµα της αναγνώρισης προτύπων και απέδειξε το αντίστοιχο θεώρηµα σύγκλησης του αλγορίθµου µάθησης του Perceptron. Ο Minsky το 1961 διατύπωσε το «πρόβληµα απόδοσης επαίνου» για το πολύστρωµατικό Perceptron υπό καθεστώς ενισχυτικής µάθησης. Το 1973 ο von der Malsburg ήταν ο πρώτος που κατέδειξε την «αυτό-οργάνωση» και ανέπτυξέ το αυτό-οργανούµενο Ν το οποίο ονόµασε «αυτό-οργανούµενη απεικόνιση» ( self-organizing map ). Τη δεκαετία του 80 έχουµε τις παρακάτω κύριες συµβολές στην ανάλυση και σχεδίαση Ν : 1) Ανάπτυξη της ανταγωνιστικής µάθησης ως µιας νέας αρχής αυτό-οργάνωσης 2) Ανάπτυξη των αναδροµικών Ν Hopfield και χρήση της ιδέας της «ενεργειακής συνάρτησης» για την ανάλυσή τους 3) Νέα θεώρηση της ενισχυτικής µάθησης 10

11 4) Ανάπτυξη του αλγορίθµου ανάστροφης διάδοσης του σφάλµατος 5) Ανάπτυξη των Ν ακτινικών συναρτήσεων βάσης και άλλα που συνέβαλαν στην ανάπτυξη και µεγαλύτερη ανάλυση των Ν. Στην παρούσα εργασία θα αναφερθούµε στις έννοιες αυτόοργάνωσης και αυτό-οργανούµενων συστηµάτων, επίσης θα δούµε πώς λειτουργεί ένα φυσικό αυτό-οργανούµενο σύστηµα. Θα εξετάσουµε µια περίπτωση προσοµοίωσης στους υπολογιστές ενός αυτό-οργανούµενου συστήµατος για καλύτερη κατανόηση της λειτουργίας του. Στη συνέχεια θα παρουσιάσουµε αυτό-οργανούµενα νευρωνικά δίκτυα Kohonen και θα εξετάσουµε τη διαφορά νευρωνικών δικτύων αυτού του τύπου από τα νευρωνικά δίκτυα που δεν περιέχουν στοιχείο αυτό-οργάνωσης. Θα αναφερθούµε στην έννοια του νευρώνα-νικητή και την γειτονία του και στον τρόπο ανανέωσης βαρών του νευρώνα-νικητή και των βαρών των νευρώνων της γειτονίας του. Επίσης θα δώσουµε τις βασικές έννοιες της µη επιβλεπόµενης µάθησης και της ανταγωνιστικής µάθησης, η οποία χρησιµοποιείται στην εκπαίδευση των αυτό-οργανούµενων νευρωνικών δικτύων και η οποία είναι ένας τύπος της µη επιβλεπόµενης µάθησης. Θα παρουσιάσουµε περιπτώσεις χρήσης του µέγιστου εσωτερικού γινοµένου και της ελάχιστης Ευκλείδειας απόστασης στην ανταγωνιστική µάθηση. Στη συνέχεια θα µιλήσουµε για αυτό-οργανούµενους χάρτες Kohonen και για τον SOM αλγόριθµο. Επίσης θα αναλύσουµε τις δυο φάσεις του SOM αλγορίθµου, δηλαδή την πρώτη φάση ανταγωνισµού και τη δεύτερη φάση συνεργασίας και ανταµοιβής. Συνεχίζοντας, θα συγκρίνουµε την incremental και την batch εκµάθηση. Θα αναλύσουµε τις διαφορές τους και θα παρουσιάσουµε τους αντίστοιχους αλγορίθµους σε µορφή ψευδοκώδικα στο Παράρτηµα Α. Επίσης θεωρείται πολύ σηµαντική η αναφορά των βασικών ιδιοτήτων του SOM αλγορίθµου, δηλαδή την τοπογραφική 11

12 ρύθµιση των βαρών των νευρώνων του Ν και τη σύγκλιση αυτών των βαρών σε σταθερές τιµές. Στο επόµενο βήµα πραγµατοποιείται η ανάλυση της σπουδαιότητας της συνάρτησης γειτονίας, ο ρόλος της και το σχήµα της. Επίσης αναφέρονται οι έννοιες της σύγκλιση βαρών και της συνάρτησης ενέργειας. Στο δεύτερο µέρος της εργασίας δίνουµε τις βασικές έννοιες της µάθησης µέγιστης εντροπίας βασισµένη στον πυρήνα ( kernelbased maximum entropy learning ) και επίσης αναφερόµαστε στον κανόνα µάθησης µέγιστης εντροπίας βασισµένη στον πυρήνα ( kernel-based Maximum Entropy learning Rule, kmer ). Στη συνέχεια παρουσιάζεται ο βελτιστοποιηµένος αλγόριθµος, ο οποίος έχει ως αποτέλεσµα την καλύτερη απόδοση του kmer αλγορίθµου. Στο επόµενο βήµα εξηγείται ο τρόπος επιλογής παραµέτρων του αλγορίθµου, δηλαδή το µέγεθος του νευρωνικού δικτύου και η µορφή του πλέγµατός του, ο ρυθµός µάθησης του νευρωνικού δικτύου και ο µέγιστος αριθµός επαναλήψεων του αλγορίθµου. Στο τελευταίο βήµα πραγµατοποιείται η εφαρµογή του kmer αλγορίθµου στις αποκρίσεις του εγκεφάλου των δύο υποκειµένων από µαγνητοεγκεφαλογράφο. Μετά την ανάλυση των δεδοµένων εισόδου στον αλγόριθµο γίνεται η επιλογή των παραµέτρων για την αλγοριθµική διαδικασία, όπως ο µέγεθος του νευρωνικού δικτύου, η µορφή του πλέγµατός του, ο κατάλληλος ρυθµός µάθησης και ο τελικός αριθµός επαναλήψεων του αλγορίθµου. Στη συνέχεια παρουσιάζονται τα αποτελέσµατα της αλγοριθµικής διαδικασίας, τα οποία χρησιµοποιούνται για την εξαγωγή των συµπερασµάτων για το ποιο νευρωνικό δίκτυο είναι καλύτερο, σύµφωνα µε την απόδοσή του και ποιοι νευρώνες εκπαιδεύτηκαν να αναγνωρίζουν αντίστοιχα σήµατα. 12

13 ΚΕΦΑΛΑΙΟ 1 ο Βασικές Έννοιες της Αυτό-οργάνωσης 1.1 ΤΙ ΕΙΝΑΙ Η ΑΥΤΟ-ΟΡΓΑΝΩΣΗ ; Αυτό-οργανούµενα συστήµατα είναι φυσικά και βιολογικά συστήµατα στα οποία διέπει ο «κανόνας» αυτό-οργάνωσης. Αυτό-οργάνωση είναι η διαδικασία µε την οποία το πρότυπο του ολικού επιπέδου του συστήµατος και η δοµή του προκύπτουν αποκλειστικά από τις αλληλεπιδράσεις µεταξύ των συστατικών µερών χαµηλού επιπέδου του συστήµατος. Οι κανόνες, οι οποίοι καθορίζουν αλληλεπιδράσεις µεταξύ των συστατικών µερών του συστήµατος [7], εκτελούνται χρησιµοποιώντας µόνο τοπική πληροφορία χωρίς να αναφερθούν στο ολικό πρότυπο. Παραδείγµατα της αυτό-οργάνωσης συµπεριλαµβάνουν ευρεία σειρά διαδικασιών δηµιουργίας προτύπων στα φυσικά και βιολογικά συστήµατα, παραδείγµατος χάριν κόκκοι άµµου που σχηµατίζονται σε κυµατιστούς αµµόλοφους, χηµικά αντιδραστήρια που δηµιουργούν κυκλικά πρότυπα, πρότυπα στα θαλασσινά κοχύλια και άλλα. Με τον όρο πρότυπο αναφερόµαστε στη δοµή και την οργάνωση στο χρόνο. Στα αυτό-οργανούµενα συστήµατα το πρότυπο και η οργάνωση αναπτύσσονται µέσω των αλληλεπιδράσεων εσωτερικά στο σύστηµα χωρίς µεσολάβηση των εξωτερικών επιρροών. Το πρότυπο είναι µια αναδυόµενη ιδιότητα του ίδιου του συστήµατος, την οποία εκµεταλλεύεται το σύστηµα προκειµένου να οδηγηθεί από µια εξωτερική εποπτική επιρροή. 13

14 Σχήµα 1.1 Παραδείγµατα διαµόρφωσης αυτό-οργανούµενων προτύπων στα φυσικά, χηµικά και βιολογικά συστήµατα : (α) κόκκοι άµµου σε κυµατιστούς αµµόλοφους, (β) χηµική αντίδραση των Belusov-Zhabotinsky, (γ) κωνικό κοχύλι. 1.2 ΠΩΣ ΛΕΙΤΟΥΡΓΕΙ ΕΝΑ ΑΥΤΟ-ΟΡΓΑΝΟΥΜΕΝΟ ΣΥΣΤΗΜΑ ; Κάποια παραδείγµατα θα διασαφηνίσουν την αφηρηµένη περιγραφή της αυτό-οργάνωσης : ριγωτά και ποικιλόχρωµα πρότυπα βρίσκονται στη φύση, για παράδειγµα το σχήµα του δέρµατος της ζέβρας, το σχέδιο του δέρµατος του ψαριού, το σχήµα του φλοιού του εγκεφάλου. Θεωρητικές µελέτες και αποτελέσµατα πειραµάτων υποστηρίζουν ότι τα πρότυπα αναπτύσσονται από µερικούς απλούς κανόνες οι οποίοι επαναλαµβάνονται συνέχεια χρησιµοποιώντας συστατικά µέρη του συστήµατος. 14

15 Σχήµα 1.2 Ριγωτά και ποικιλόχρωµα πρότυπα που βρίσκονται στη φύση : (α) το σχήµα του δέρµατος της ζέβρας, (β) το σχέδιο του δέρµατος του ψαριού, (γ) το σχήµα του φλοιού του εγκεφάλου. Για παράδειγµα, ας υποθέσουµε, ότι κάθε «χρωµατικό κελί» στο δέρµα της ζέβρας µπορεί να παράγει µια µαύρη χρωστική ουσία ή να µην την παράγει και αυτό εξαρτάται από την συγκεκριµένη χηµική ενεργοποίηση η οποία είναι είτε πάνω είτε κάτω συγκεκριµένης τιµής κατωφλίου. Στη συνέχεια υποθέτουµε, ότι τα κελιά στο δέρµα παράγουν και το χηµικό ενεργοποιητή και το ανταγωνιστικό απαγορευτικό που ονοµάζεται morphogens, όπου και τα δύο διαχέονται από το δέρµα. Οι κανόνες ρυθµίζουν την κατάσταση κάθε κελιού, δηλαδή κάθε κελί βρίσκεται είτε σε κατάσταση on και παράγει την χρωστική ουσία είτε σε κατάσταση off και δεν παράγει την χρωστική ουσία. Η κατάσταση κελιού εξαρτάται από σχετικές δυνάµεις του ενεργοποιητή και του απαγορευτικού, από τον ρυθµό διάχυσής τους, από την αρχική κατανοµή των κελιών και την τιµή του κατωφλίου τους για την παραγωγή της χρωστικής ουσίας. Το 1952, ο Alan Turing πρώτος πρότεινε το γενικό σχήµα για το µηχανισµό δηµιουργίας των αυτό-οργανούµενων προτύπων. 1.3 ΠΡΟΣΟΜΟΙΩΣΗ ΤΩΝ ΑΥΤΟ-ΟΡΓΑΝΟΥΜΕΝΩΝ ΣΥΣΤΗΜΑΤΩΝ Επειδή είναι δύσκολο να προβλέψουµε την συµπεριφορά τέτοιων συστηµάτων, η προσοµοίωσή τους στους υπολογιστές είναι χρήσιµο µέσο στην κατανόηση του τρόπου λειτουργίας αυτών των συστηµάτων. Μια µέθοδος σχηµατισµού τέτοιων συστηµάτων είναι 15

16 η χρήση µη γραµµικών διαφορικών εξισώσεων. Άλλη µέθοδος είναι η προσοµοίωση του συστήµατος µέσω του κυτταρικού αυτοµάτου. Ένα κυτταρικό αυτόµατο είναι η προσοµοίωση η οποία είναι διακριτή στο χρόνο, χώρο και κατάσταση. Ουσιαστικά, τα συστατικά ( κελιά ) του συστήµατος είναι τοποθετηµένα στο δισδιάστατο πλέγµα ή δίκτυο και κάθε κελί χαρακτηρίζεται από τη θέση του σε αυτό το πλέγµα και από την κατάστασή του. Τα κελιά αλληλεπιδρούν το ένα µε το άλλο σύµφωνα µε ένα σύνολο απλών κανόνων, όπου οι κανόνες αυτοί λαµβάνουν υπόψη την κατάσταση των ίδιων των κελιών και των γειτονικών τους. Οι κανόνες καθορίζουν την µετάβαση του κελιού από µια κατάσταση στην άλλη [6] καθώς το σύστηµα αναπτύσσεται στο χρόνο. Το παράδειγµα του δέρµατος της ζέβρας που παρουσιάσαµε προηγουµένως µπορεί να πραγµατοποιηθεί µε τη βοήθεια ενός µοντέλου κυτταρικού αυτοµάτου, το οποίο αποτελείται από ένα σύνολο κελιών απλωµένων πάνω σε ένα πλέγµα. Κάθε κελί αρχικοποιείται µε τυχαίο τρόπο και η κατάσταση του είναι είτε on είτε off. Κάθε κελί σε κατάσταση on παράγει ορισµένο αριθµό απαγορευτικών οι οποίοι µε διαφορετικό ρυθµό διαχέονται στο πλέγµα. Στην προσοµοίωση κάθε on κελί παρουσιάζεται µε µαύρο χρώµα και κάθε κελί σε κατάσταση off παρουσιάζεται µε άσπρο χρώµα. Σε κάθε χρονική στιγµή, το πρόγραµµα υπολογίζει το πλήθος των ενεργοποιήσεων σε κάθε θέση του πλέγµατος. Αυτές οι ενεργοποιήσεις εξαρτώνται από τη διαφορά µεταξύ του πλήθους των ενεργοποιητών στα κελιά της γειτονιάς και του πλήθους των απαγορευτικών στα κελιά της ίδιας γειτονιάς. Αν η διαφορά είναι µεγαλύτερη µιας ορισµένης τιµής κατωφλίου, τότε η κατάσταση του κελιού το οποίο βρίσκεται στην συγκεκριµένη θέση είναι on, διαφορετικά η κατάσταση του είναι off. Εποµένως, σύµφωνα µε αυτόν τον κανόνα τα κελιά µεταβαίνουν από µια κατάσταση στην άλλη. Το πρόγραµµα συνεχώς επαναλαµβάνει τον κανόνα, προκαλώντας τη δηµιουργία του προτύπου από αρχικό τυχαίο πίνακα καταστάσεων κελιών on και off, όπως βλέπουµε στην παρακάτω εικόνα. 16

17 Σχήµα 1.3 Προσοµοίωση κυτταρικού αυτοµάτου της διαµόρφωσης του προτύπου σύµφωνα µε ένα µοντέλο ενεργοποιητή-απαγορευτικού. Σε κάθε παράδειγµα, το πρώτο πλαίσιο δείχνει την τυχαία αρχική κατάσταση του συστήµατος, το δεύτερο πλαίσιο δείχνει µια ενδιάµεση κατάσταση του συστήµατος και το τρίτο πλαίσιο δείχνει το τελικό σταθερό πρότυπο : (α) Απεικόνιση της διαµόρφωσης ενός ριγωτού προτύπου, οµοίου µε το Σχήµα 1.2(α) και Σχήµα 1.2(γ). (β) Απεικόνιση της διαµόρφωσης ενός ποικιλόχρωµου προτύπου, οµοίου µε το Σχήµα 1.2(β). ΚΕΦΑΛΑΙΟ 2 ο Νευρωνικά ίκτυα Kohonen Το µοντέλο του νευρωνικού δικτύου Kohonen παρουσιάζει την διαδικασία εκπαίδευσης ενός νευρωνικού δικτύου χωρίς επίβλεψη, δηλαδή δεν δίδεται καµία εξωτερική επέµβαση κατά την εκπαίδευση του δικτύου. Αυτό το µοντέλο προτάθηκε το 1984 από τον Kohonen [12,13,16,20] και λέµε ότι το δίκτυο αυτό παρουσιάζει χαρακτηριστικά αυτό-οργάνωσης. Η αυτό-οργάνωση απλώς ως ιδέα είχε προταθεί από πολύ καιρό πριν από Malsburg το 1973, αλλά ο Kohonen ήταν αυτός που τον von der προχώρησε την εξέλιξή της και θεωρείται ο πατέρας αυτών των δικτύων. Τα χαρακτηριστικά του δικτύου Kohonen είναι ότι µπορεί να ταξινοµεί τα δεδοµένα εισόδου µε την βοήθεια ενός αλγορίθµου αυτόνοµης ( χωρίς επίβλεψη ) µάθησης. Το δίκτυο οργανώνει τα βάρη του µε τέτοιο τρόπο ώστε να αναγνωρίζει την οµοιότητα που µπορεί να υπάρχει στα διανύσµατα εισόδου. Κάνει µια αντιστοίχηση των εισόδων στην έξοδο και για το λόγο αυτό λέµε ότι επιτελεί µία αυτό-οργανούµενη απεικόνιση χαρακτηριστικών ( self-organizing feature map ). Μία σηµαντική αρχή της οργάνωσης στον εγκέφαλο είναι ότι η κατανοµή των νευρώνων παρουσιάζει µια κανονικότητα που αντικατοπτρίζει κάποια ειδικά χαρακτηριστικά των εξωτερικών ερεθισµάτων που διαδίδονται σε αυτά. Έτσι τα δίκτυα Kohonen ακολουθούν κάποια χαρακτηριστικά των βιολογικών δικτύων. 17

18 Το δίκτυο Kohonen αποτελείται από δύο επίπεδα. Το πρώτο επίπεδο, όπως συνήθως, είναι το επίπεδο εισόδου. Το δεύτερο επίπεδο είναι οργανωµένο σε µορφή πλέγµατος, που µπορεί να έχει οποιαδήποτε διάσταση, παραδείγµατος χάριν µπορεί να έχουµε ένα δισδιά στατο πλέγµα, δηλαδή µία επιφάνεια που έχει επάνω της m m µονάδες που αντιστοιχούν στους νευρώνες. Τα δύο αυτά επίπεδα έχουν πλήρη συνδεσµολογία, µε άλλα λόγια, κάθε µονάδα του πρώτου επιπέδου, δηλαδή επιπέδου εισόδου συνδέεται µε όλες τις µονάδες του δεύτερου επιπέδου, δηλαδή επιπέδου εξόδου. ΚΕΦΑΛΑΙΟ 3 ο Μη Επιβλεπόµενη Μάθηση Σε αυτόν τον τύπο µάθησης, ο οποίος επίσης καλείται και αυτό-οργανούµενη µάθηση, δεν χρησιµοποιείται εξωτερικός δάσκαλος για να επιβλέψει την εκπαίδευση του νευρωνικού δικτύου και για την µάθηση µπορούν να χρησιµοποιηθούν µόνο διανύσµατα ( πρότυπα ) εισόδου. Το Ν, αντί για να µάθει συγκεκριµένα παραδείγµατα ( ζεύγη ) εισόδου-εξόδου, µαθαίνει ένα «ανεξάρτητο- µέτρο» της ποιότητας της παράστασης. Οι προς καθηκόντων επιλογή ελεύθερες παράµετροι του δικτύου επιλέγονται έτσι ώστε να βελτιστοποιηθεί το µέτρο αυτό. Ένα σύστηµα µη επιβλεπόµενης µάθησης λειτουργεί εξάγοντας ιδιότητες ή χαρακτηριστικά των προτύπων, τα οποία στο σύστηµα παρουσιάζονται χωρίς να του έχει λεχθεί ποιες έξοδοι ή κατηγορίες εισόδων είναι επιθυµητές. ηλαδή το σύστηµα ανιχνεύει ή κατηγοριοποιεί µόνιµες ιδιότητες χωρίς καµία ανατροφοδότηση από το περιβάλλον. Τα Ν της µη επιβλεπόµενης µάθησης προσπαθούν να µάθουν να αποκρίνονται σε διάφορα πρότυπα εισόδου µε διαφορετικά τµήµατα του δικτύου. Το Ν συνήθως εκπαιδεύεται να δυναµ ώνει την πυροδότηση σε απόκριση συχνά εµφανιζόµενων προτύπων. Με τον τρόπο αυτό το Ν αναπτύσσει ορισµένες εσωτερικές παραστάσεις για την κωδικοποίηση προτύπων εισόδου. Πρακτικά, το µόνο που χρειάζεται ένα Ν µη επιβλεπόµενης µάθησης είναι να συντονισθεί στις στατιστικές οµαλότητες των δεδοµένων εισόδου και µετά να µπορέσει να δηµιουργήσει εσωτερικές παραστάσεις για την κωδικοποίηση των ιδιοτήτων ( χαρακτηριστικών ) εισόδου και να παραγάγει αυτόµατα νέες κατηγορίες ή κλάσεις. 18

19 ΚΕΦΑΛΑΙΟ 4 ο Ανταγωνιστική Μάθηση 4.1 ΕΙΣΑΓΩΓΗ Η ανταγωνιστική µάθηση είναι µια µη επιβλεπόµενη µάθηση δικτύων, όπου ο όρος «ανταγωνιστική» οφείλεται στο γεγονός ότι κάθε νευρόνιο ανταγωνίζεται µε τα άλλα νευρόνια [2] στο να αντιδράσει στο πρότυπο είσοδο που έρχεται από τα προηγούµενα στρώµατα. Επίσης η ανταγωνιστική µάθηση είναι γνωστή ως winner-take-all, λόγω του ότι µόνο ο νευρώνας-νικητής αναπροσαρµόζεται. Ένα Ν ανταγωνιστικής µάθησης εκτελεί µία διαδικασία «ταξινόµησης των προτύπων εισόδου σε οµάδες» on-line. Όταν περατωθεί η διαδικασία αυτή, τα δεδοµένα εισόδου είναι ταξινοµηµένα σε διακεκριµένες ( µη συνδεόµενες ) οµάδες έτσι ώστε η οµοιότητα µεταξύ των µελών της ίδιας οµάδας να είναι πολύ µεγαλύτερη από αυτή των µελών που ανήκουν σε διαφορετικές οµάδες. Τα δύο πιο συνηθισµένα µέτρα οµοιότητας ανοµοιότητας είναι το µέτρο οµ οιότητας εσωτερικού γινοµένου και το µέτρο ανοµοιότητας Ευκλείδειας απόστασης. Ένα µειονέκτηµα της ανταγωνιστικής µάθησης είναι ότι µερικά από τα διανύσµατα βάρους, τα οποία επιλέγονται αρχικά σε τυχαίες τιµές, µπορεί να βρίσκονται πολύ µακριά από οποιοδήποτε διάνυσµα εισόδου και κατά συνέπεια να µην τους δίνεται ποτέ η ευκαιρία ανανέωσης. Η δυσκολία αυτή µπορεί να παρακαµφθεί εάν αρχικοποιήσουµε τα βάρη σε δειγµατικές τιµές που παίρνουµε από τα ίδια δεδοµένα εισόδου, οπότε εξασφαλίζουµε ότι όταν όλα τα πρότυπα παρουσιασθούν όλα τα βάρη ανανεώνονται. Μια άλλη εναλλακτική λύση θα ήταν να ανανεώνονται τα βάρη τόσο των νευρώνων που κερδίζουν όσο και αυτών που χάνουν. Η παραλλαγή αυτή της ανταγωνιστικής µάθησης ονοµάζεται «διαρρέουσα µάθηση». Στην πράξη είναι επιθυµητή η δυναµική αλλαγή του ρυθµού µάθησης γ. Αρχικά χρησιµοποιούµε µια µεγάλη τιµή του γ ( οπότε ο χώρος δεδοµένων ανιχνεύεται ευρύτατα ), η οποία ακολούθως µειώνεται σταδιακά για να ανιχνευτεί ο χώρος δεδοµένων πιο λεπτοµερειακά. Η ανταγωνιστική µάθηση δεν έχει την ικανότητα να προσθέτει νέες οµάδες όταν χρειάζεται. Επιπλέον, εάν το γ είναι σταθερό, δεν εξασφαλίζει ευστάθεια στο σχηµατισµό των οµάδων, 19

20 δηλαδή ο νευρώνας-νικητής που αποκρίνεται σε ένα συγκεκριµένο πρότυπο µπορεί να µεταβάλλεται αδιάκοπα κατά τη διάρκεια της εκπαίδευσης. Τέλος, εάν το γ γίνει πολύ µικρό, είναι δυνατό να µην µπορεί να ανανεώσει τα κέντρα των οµάδων όταν το Ν δεχτεί νέα δεδοµένα µε διαφορετική πιθανολογική ( τυχαία ) φυσική υπόστασή. Εάν οι κόµβοι εξόδου ενός Ν ανταγωνιστικής µάθησης διαταραχθούν κατά γεωµετρικό τρόπο, παραδείγµατος χάριν στη µορφή ενός διανύσµατος ή µιας δισδιάστατης διάταξης, τότε µπορούµε να ανανεώνουµε τα βάρη τόσο των κόµβων-νικητών όσο και των γειτονικών µη νικητών. Η σκέψη αυτή οδήγησε των Kohonen στην ανάπτυξη του Ν το οποίο ονοµάζεται «αυτόοργανούµενο δίκτυο Kohonen». 4.2 ΝΕΥΡΩΝΑΣ-ΝΙΚΗΤΗΣ ΚΑΙ ΑΝΑΝΕΩΣΗ ΒΑΡΩΝ ΤΟΥ Ας υποθέσουµε ότι το πρότυπο εισόδου είναι ένα διάνυσµα v(t), το οποίο ανήκει στο V, όπου V R d µε d-διάστατο χώρο εισόδου, δηλαδή έχουµε v(t) V και t είναι η χρονική συντεταγµένη. Στην ανταγωνιστική µάθηση επιβάλλεται ένα άνω όριο δύναµης (βάρους) σε κάθε νευρόνιο [1] και επίσης όλα τα νευρόνια είναι τα ίδια εκτός από το ότι υπάρχουν ορισµένα τυχαία κατανεµηµένα συνοπτικά βάρη που αποκρίνονται διαφορετικά σε ένα δεδοµ ένο σύνολο προτύπων εισόδου. Η ιδιότητα αυτή επιτρέπει στα νευρόνια να ειδικευτούν στη µάθηση συνόλων οµοίων προτύπων (patterns) και έτσι να ενεργούν ως ανιχνευτές ιδιοτήτων (detectors features). Εποµ ένως, w i (t) = [w ij (t)] V είναι το βάρος του νευρώνα i του νευρωνικού δικτύου ή µε άλλα λόγια το βάρος µεταξύ των νευρώνων i και j. Τα βάρη των νευρώνων και τα πρότυπα εισόδου τυπικά κανονικοποιούνται. Το πρότυπο εισόδου v(t) ταυτόχρονα συγκρίνεται µε όλα τα βάρη των νευρώνων του δικτύου και εντοπίζεται το νευρόνιονικητής, δηλαδή το νευρόνιο που βρίσκεται πιο κοντά στο πρότυπο εισόδου και αυτό το νευρόνιο κερδίζει στον ανταγωνισµό. Κατά τη διάρκεια της εκπαίδευσης, η µονάδα εξόδου που εµφανίζει την πιο υψηλή ενεργοποίηση σε δεδοµένο πρότυπο εισόδου, δηλαδή ο νευρώνας-νικητής µετακινείται πιο κοντά στο 20

21 πρότυπο εισόδου, ενώ οι υπόλοιποι νευρώνες παραµένουν αµετάβλητοι. Οι µονάδες εξόδου ενδέχεται να έχουν και ανατρεπτικές συνδέσεις ώστε ο νευρώνας-νικητής να µπορεί να ανατρέψει άλλους νευρώνες ανάλογα µε το επίπεδο ενεργοποίησής του. Το βάρος του νευρώνα-νικητή w i (t) ενηµερώνεται και υπολογίζεται το καινούριο βάρος του, σύµφωνα µε τον παρακάτω τύπο : όπου w i (t+1) = w i (t) + w i (t), (4.2.1) w i (t) = γ (v(t) - w i (t)), αν ο νευρώνας i είναι ο νευρώνας-νικητής & w i (t) = 0, αν ο νευρώνας i χάνει, (4.2.2) όπου γ είναι η παράµετρος του ρυθµού µάθησης. Ο παραπάνω κανόνας προσπαθεί να µεταφέρει το διάνυσµα T των συναπτικών βαρών w k = [w k1, w k2,, w kn ] του νευρώνα-νικητή προς το διάνυσµα εισόδου v(t). Η ανάδειξη του νευρώνα-νικητή, δηλαδή ο καθορισµός του, βασίζεται στο εσωτερικό γινόµενο : w i (t) v(t) Τ, (4.2.3) όπου v(t) Τ είναι ανάστροφος του v(t), δηλαδή ισχύει : w Τ i (t) v(t) = j w ij v j (4.2.4) Εναλλακτικά χρησιµοποιούµε την Ευκλείδεια απόσταση µεταξύ του διανύσµατος εισόδου και των βαρών των νευρώνων που ανήκουν στο νευρωνικό δίκτυο : w (t) - v(t) (4.2.5) i Για αυτό το λόγο, µετά από την ενηµέρωση του βάρους του νευρώνα-νικητή ισχύει : w i (t+1) v(t) > w i (t) v(t) (4.2.6) 21

22 ή w i (t+1) - v(t) < w i (t) - v(t) (4.2.7) Συνεπώς, σε αντίθεση µε την Εββιανή µάθηση στην οποία µ πορε ί να είναι ταυτόχρονα ενεργά πολλά νευρόνια εξόδου, στην ανταγωνιστική µάθηση µόνο ένα νευρόνιο εξόδου είναι ενεργό σε κάποια χρονική στιγµή. Ακριβώς στο γεγονός αυτό οφείλεται η ικανότητα της ανταγωνιστικής µάθησης να εξάγει ιδιότητες και να ταξινοµεί εισόδους (ερεθίσµατα) επιτυχώς. ΚΕΦΑΛΑΙΟ 5 ο Αυτό-οργανούµενοι Χάρτες Kohonen 5.1 ΕΙΣΑΓΩΓΗ Για την αύξηση της εξιδανικευµένης αυτό-οργανούµενης επίδρασης στο σχήµα της µάθησης, από την άποψη των παραµέτρων επιλογής και σύγκλισης για την επίτευξη των επιθυµητών αποτελεσµάτων, ο Kohonen µετατόπισε το «µεξικάνικο καπέλο» ( Mexican hat ) [1,14,17,19] των πλευρικών επαναλήψεων κ αι τροποποίησε τον κανόνα µάθησης (ενηµέρωσης) για να συµµετέχει στην διαδικασία εκµάθησης η γειτονιά του νευρώνα- νικητή. Το προσθετικό καινοφανές στοιχείο ήταν ο διαχωρισµός του συνόλου των νευρώνων σε αντίστοιχες γειτονιές οι οποίες κατά τη διάρκεια της εκπαίδευσης συρρικνώνονται συνεχώς. Αυτό το σχήµα µάθησης ονοµάζεται SOM ( Self-Organizing Map ) αλγόριθµος ( Kohonen 1982, 1984). Οι αυτό-οργανούµενοι χάρτες Kohonen ( Self-Organizing Maps, SOM ) παράγουν µια αντιστοιχία από τον πολυδιάστατο χώρο σε ένα δίκτυο νευρώνων. Το κύριο χαρακτηριστικό των SOM είναι ότι διατηρούν την τοπολογία, οπότε γειτονικοί νευρώνες αντιστοιχούν σε παρόµοια πρότυπα. Οι SOM οργανώνονται ως µονοδιάστατα ή δισδιάστατα δίκτυα. Ο SOM αλγόριθµος διακρίνει δύο φάσεις : 1) φάση ανταγωνισµού και 2) φάση συνεργασίας και ανταµοιβής 22

23 Στην πρώτη φάση - φάση ανταγωνισµού - γίνεται ανάδειξη του νευρώνα-νικητή και στη δεύτερη φάση - φάση συνεργασίας και ανταµοιβής - τα βάρη του νευρώνα-νικητή και τα βάρη των γειτονικών του νευρώνων προσαρµόζονται για να πλησιάσουν στο πρότυπο εισαγωγής. 5.2 ΦΑΣΗ ΑΝΤΑΓΩΝΙΣΜΟΥ Σύµφωνα µε το παρακάτω σχήµα [1] όλα τα νευρόνια του δικτύου λαµβάνουν το ίδιο διάνυσµα εισόδου, δηλαδή το πρότυπο εισόδου v(t) V, όπου V R 2 είναι ο χώρος εισόδου. Σχήµα Αρχιτεκτονική του δικτύου που χρησιµοποιείται στην διαµόρφωση ενός τοπογραφικού χάρτη. Μοντέλο του Kohonen : Χρησιµοποιεί µια κοινή είσοδο v από τον χώρο εισόδου V, δηλαδή v V, για όλα τα νευρόνια του στρώµατος εξόδου. Η ανάδειξη του νευρώνα-νικητή i * πραγµατοποιείται σύµφωνα µε το διάνυσµα βαρών του w i* το οποίο βρίσκεται πιο «κοντά» στο τρέχον πρότυπο ( διάνυσµα ) εισόδου. Θέτουµε Α ως δίκτυο των N νευρώνων µε αντίστοιχα διανύσµατα βαρών w i (t) = [w ij (t)] V. Σε αυτήν την φάση τα N νευρόνια του δικτύου Α ανταγωνίζονται για να βρεθεί αλγοριθµικά ένας νευρώνας-νικητής. Για την επιλογή του νευρώνα-νικητή υπάρχουν δύο προσεγγίσεις : 1) Κανόνας Εσωτερικού Γινοµένου και 2) Κανόνας Ευκλείδειας Απόστασης ή Κανόνας Πλησιέστερου Γείτονα 23

24 Κανόνας Εσωτερικού Γινοµένου Ο νευρώνας-νικητής θεωρείται αυτός νευρώνας για τον οποίο το εσωτερικό γινόµενο του προτύπου εισόδου και του διανύσµατος βαρών του είναι µέγιστο, δηλαδή όταν ισχύει : i* = arg max i k w ik v k, (5.2.1) όπου i * είναι ο νευρώνας-νικητής. Κανόνας Ευκλείδειας Απόστασης Εδώ υπολογίζουµε την Ευκλείδεια Απόσταση µεταξύ του προτύπου εισόδου και του διανύσµατος βαρών του νευρώνα και ο νευρώνας-νικητής θεωρείται εκείνος νευρώνας στον οποίο αντιστοιχεί η µικρότερη Ευκλείδεια Απόσταση : i* = arg min i wi(t) - v(t), (5.2.2) όπου i * είναι ο νευρώνας-νικητής. 5.3 ΦΑΣΗ ΣΥΝΕΡΓΑΣΙΑΣ ΚΑΙ ΑΝΤΑΜΟΙΒΗΣ Είναι αποφασιστικής σηµασίας η δηµιουργία των τοπογραφικών χαρτών, όπου τα βάρη των νευρώνων δεν τροποποιήθηκαν ανεξάρτητα το ένα από το άλλο, αλλά ως τοπολογικά συσχετισµένα υποσύνολα πάνω στα οποία πραγµατοποιείται η ενηµέρωση των όµοιων τύπων βαρών των νευρώνων. Κατά την εκµάθηση (εκπαίδευση), τα επιλεγµένα (διαµορφωµένα) υποσύνολα, δηλαδή τα βάρη των νευρώνων που ανήκουν σε αυτά τα υποσύνολα, θα ενισχυθούν µ ε διαφορετικό τρόπο σύµφωνα µε τον νευρώνα-νικητή στην γειτονία του οποίου ανήκουν. Με άλλα λόγια, από την τοπολογική πληροφορία προκύπτει ότι όπως ο νευρώνας-νικητής έτσι και τα γειτονικά του νευρόνια στο πλέγµα θα λάβουν την ίδια ενηµέρωση βαρών τους και έτσι θα αποκρίνονται στα ίδια δεδοµένα εισόδου. Το µέγεθος της γειτονιάς είναι αρχικά µεγάλο αλλά συρρικνώνεται µε το χρόνο. Μεγάλη γειτονιά σηµαίνει διατήρηση της τοπολογίας, ενώ µικρότερη γειτονιά επιτρέπει εξειδίκευση των νευρώνων. 24

25 Οι δύο κανόνες µεγίστου εσωτερικού γινοµένου και της ελάχιστης Ευκλείδειας απόστασης µπορούν να εφαρµοστούν στο πλέγµα των νευρώνων συµµετρικής τοπολογίας, δηλαδή περιοδική τετραγωνική ή εξαγωνική τοποθέτηση των νευρώνων. Εσωτερικό Γινόµενο * Έστω N i * είναι γειτονικό σύνολο που αποτελείται από Ν νευρώνες για τους οποίους ισχύει Ν * < Ν, όπου Ν είναι συνολικός αριθµ ός νευρώνων οι οποίοι συγκεντρώνονται γύρο από τον νευρώνα-νικητή i * και Ν * είναι οι πλησιέστεροι γειτονικοί νευρώνες που βρίσκονται σε ένα κύκλο ή σε µία σφαίρα, µε γνώστη (δοσµένη) ακτίνα, η οποία προσδιορίζεται στο χώρο του πλέγµατος. Σε κάθε βήµα εκπαίδευσης, όλα τα γειτονικά νευρόνια που ανήκουν στο σύνολο γειτονικών νευρώνων ενηµερώνονται, ενώ, αντίθετα, οι νευρώνες οι οποίοι δεν ανήκουν σε αυτό το σύνολο δεν ενηµερώνονται, δηλαδή δεν πραγµατοποιείται η ανανέωση βαρών τους. Η ανανέωση των βαρών πραγµατοποιείται σύµφωνα µε τον παρακάτω κανόνα : w ij (t+1) = ( w ij (t) + γ v j ) / ( w i (t) γ v ), αν i N i * & w ij (t+1) = w ij (t), αν i N i *, (5.3.1) όπου γ είναι ο ρυθµός µάθησης t είναι το βήµα επανάληψης και Ο ρυθµός µάθησης γ µειώνεται µε χρόνο για να εξασφαλίσει τη σύγκλιση του SOM και ελέγχει το µέγεθος της προσαρµογής. Ο ρυθµός µάθησης γ λαµβάνει τις τιµές από το εξής διάστηµα : 0 γ 1 (5.3.2) Σηµειώνεται ότι τα ενηµερωµένα βάρη των νευρώνων είναι κανονικοποιηµένα, επειδή σύµφωνα µε τον κανόνα εσωτερικού γινοµένου τα βάρη πρέπει να βρίσκονται σε µοναδιαία σφαίρα. Εκτός από το σύνολο γειτονιάς µπορεί να χρησιµοποιηθεί και η συνάρτηση γειτονιάς : (5.3.3) w ij (t+1) = (w ij (t) + γ Λ(i,i * ) v j ) / ( w i (t) γ Λ(i,i * ) v ), i A 25

26 όπου Λ είναι scalar-valued συνάρτηση των συντεταγµένων του πλέγµατος των νευρώνων i και i *. Η συνάρτηση γειτονιάς είναι συµµετρική συνάρτηση σε σχέση µ ε την θέση του νευρώνα-νικητή, η συνάρτηση µειώνεται µονότονα συµφώνα µε την αύξηση της απόστασης από τον νευρώνα-νικητή στο πλέγµα και είναι ανεξάρτητη από τη θέση του νευρώνα-νικητή στο πλέγµα. Η τυπική µορφή της συνάρτησης είναι η γκαουσιανή (Gaussian) : Λ( i, i * ) = exp ( - r i - r i * 2 / ( 2 σ Λ 2 )), (5.3.4) όπου σ Λ είναι η ακτίνα της γειτονιάς και r i και r i * είναι τα διανύσµατα συντεταγµένων των νευρώνων i και i * στο πλέγµα αντίστοιχα Τέλος, οι θέσεις r i συνήθως λαµβάνονται ως κόµβοι του διακριτού πλέγµατος µε συµµετρική τοπολογία. Η αυτό-οργάνωση είναι περισσότερο αποτελεσµατική όταν ξεκινάµε µε σχετικά µεγάλη ακτίνα γειτονιάς σ Λ, παραδείγµατος χάριν το µισό του γραµµικού µ εγέθους του πλέγµατος, και µετά µειώνεται η ακτίνα στη διάρκεια της εκπαίδευσης. Επίσης προτιµάται και η µείωση του ρυθµού εκµάθησης σε µία µικρή τιµή ή ακόµα στο µηδέν. Ευκλείδεια Απόσταση Ο κανόνας ελάχιστης Ευκλείδειας απόστασης συνήθως εφαρµόζεται σε συνδυασµό µε την συνάρτηση γειτονιάς, εποµένως το µέγεθος ανανέωσης βαρών w i γράφεται σύµφωνα µε τον τύπο : w i = γ Λ( i, i *,σ Λ (t)) ( v - w i ), i A (5.3.5) Για να σταθεροποιηθεί ο χάρτης στο τέλος της διαδικασίας εκπαίδευσης, ο ρυθµός εκµάθησης συνήθως µειώνεται συνέχεια ( σε µ ία µικρή τιµή ή στο µηδέν ) ακριβώς µε το ίδιο τρόπο που παρατηρούµε στην συνάρτηση γειτονιάς, δηλαδή όταν η συνάρτηση γειτονιάς Λ( i, i *,σ Λ (t)) απαλείφεται µόνο το διάνυσµα βαρών του νευρώνα-νικητή ανανεώνεται και έτσι ο κανόνας του Kohonen (5.3.5) µετατρέπεται σε standard UCL ( Unsupervised Competitive Learning ) : 26

27 w i * = γ ( v - w i * ) (5.3.6) Ο χάρτης που αναπτύσσεται χωρίς την συνάρτηση γειτονιάς συνήθως ονοµάζεται ως zero-order τοπολογικός χάρτης ή zero-order τοπολογικός SOM. Τέλος, συνήθως χρησιµοποιείται γκαουσιανή (Gaussian) γειτονιάς και οι θέσεις r i είναι οι κόµβοι του διακριτού πλέγµατος µ ε τετραγωνική τοπολογία. 5.4 ΕΠΑΝΑΛΗΠΤΙΚΗ ΕΚΜΑΘΗΣΗ ΚΑΙ ΕΚΜΑΘΗΣΗ ΦΟΥΡΝΙΑΣ Incremental ή on - line εκµάθηση ονοµάζεται εκµάθηση στην οποία ο κανόνας εκπαίδευσης νευρωνικού δικτύου εφαρµόζεται κάθε φορά καθώς έχουµε καινούριο πρότυπο εισόδου. Επίσης µπορούµε να χρησιµοποιήσουµε batch εκµάθηση [1] στην οποία, για ένα καθορισµένο σύνολο δεδοµένων εκπαίδευσης {v µ } των Μ δειγµάτων για µ = 1, 2,, Μ, κρατάµε καταγεγραµµένες ενηµερώσεις βαρών, όµως πραγµατοποιούµε την προσαρµογή των βαρών µονό µετά από εφαρµογή όλων των δειγµάτων του συνόλου εκπαίδευσης. Στην εκδοχή incremental εκµάθησης του SOM αλγορίθµου χρησιµοποιούµε τον κανόνα ελάχιστης Ευκλείδειας απόστασης. Και οι δύο εκδοχές του SOM αλγορίθµου ( της incremental και batch εκµάθηση ) σε µορφή ψευδοκώδικα απεικονίζονται στο Παράρτηµα Α. Η εκπαίδευση τερµατίζει µετά από ένα καθορισµένο αριθµό επαναλήψεων t max. 5.5 ΠΑΡΑ ΕΙΓΜΑ ΤΗΣ ΙΑ ΙΚΑΣΙΑΣ ΚΑΤΑΤΑΞΗΣ Έστω ότι έχουµε τετραγωνικό πλέγµα νευρώνων και το εκπαιδεύουµε µε incremental εκµάθησης του SOM αλγορίθµου και χρησιµοποιούµε τον κανόνα ελάχιστης Ευκλείδειας απόστασης και γκαουσιανή συνάρτηση γειτονιάς : Λ( i, i *, t ) = exp ( - (r i - r i *) 2 / ( 2 σ Λ 2 (t))), (5.5.1) όπου r i και r i * είναι οι συντεταγµένες του πλέγµατος των 27

28 νευρώνων i και i * σ Λ (t) είναι η ακτίνα η οποία συνεχώς µειώνεται και ισούται σ Λ (t) = σ Λ0 exp ( - 2 σ Λ0 ( t / t max )), όπου t είναι το τρέχον βήµα επανάληψης t max είναι ο συνολικός αριθµός επαναλήψεων σ Λ0 είναι η ακτίνα της σφαίρας / κύκλου για την επανάληψη t = 0 Έστω t max = 1000, σ Λ0 = 8 και γ = Τα δεδοµένα και αρχικά βάρη των νευρώνων για t = 0 επιλέγονται τυχαία χρησιµοποιώντας τη συνάρτηση rand() του MATLAB και απεικονίζονται στο Σχήµα Στo Σχήµα βλέπουµε την εξέλιξη της εκπαίδευσης για t = 3, t = 6, t = 10, t = 50, t = 100, t = 300, t = 500, t =1000. Στο παρακάτω σχήµα παρουσιάζουµε τα δεδοµένα µας µε τα οποία θα τροφοδοτήσουµε τον αλγόριθµό µας και τα αρχικά βάρη των 100 νευρώνων που απαρτίζουν το νευρωνικό δίκτυο. Σχήµα εδοµένα και τα αρχικά βάρη των 100 νευρώνων Στο επόµενο σχήµα παρουσιάζουµε 8 βήµατα της φάσης σύγκλισης. Όπως µπορούµε να παρατηρήσουµε, κάθε επόµενο βήµα µας δίνει την καθαρότερη εικόνα της τοπολογίας του νευρωνικού δικτύου, δηλαδή ο στόχος µας είναι να διακρίνουµε τους 100 νευρώνες του δικτύου χωρίς να τέµνονται οι γραµµές που ενώνουν τα νευρώνια που απαρτίζουν το νε υρωνικό δίκτυο. Μετά από τις 1000 επαναλήψεις του αλγορίθµ ου αποκτάµε ένα νευρωνικό δίκτυο που είναι απλωµένο σε όλο το τετράγωνο το οποίο περιέχει τα αρχικά µας δεδοµένα και το γεγονός αυτό αποδεικνύει την εκπαίδευση του νευρωνικού δικτύου. 28

29 Σχήµα Τα 8 βήµατα της χαρτογράφησης της δυσδιάστατης οµοιόµορφης τετραγωνικής κατανοµής για t=3, t=6, t=10, t=50, t=100, t=300, t=500, t=

30 ΚΕΦΑΛΑΙΟ 6 ο Βασικές Ιδιότητες του SOM 6.1 ΕΙΣΑΓΩΓΗ Προσεκτική µελέτη του παραπάνω σχήµατος (Σχήµα 5.5.2) δείχνει ότι ο χάρτης πρώτα συνεχώς γίνεται πιο ξεκάθαρος και οµοιόµορφος και µόνο µετά προσαρµόζεται στη λεπτοµέρεια των δεδοµένων εισόδου. Αυτή η διαδικασία σύγκλισης σε δύο φάσεις είναι µια σηµαντική ιδιότητα του SOM αλγορίθµου, η οποία εξετάστηκε ολοκληρωτικά από µαθηµατική σκοπιά σε δυο παρακάτω σκέλη : i) η τοπογραφική ρύθµιση των βαρών και, εποµένως σχηµατισµός της απεικόνισης διατήρησης της τοπολογίας ii) η σύγκλιση αυτών των βαρών σε σταθερές τιµές., Τέλος, η συνάρτηση γειτονιάς παίζει σηµαντικό ρόλο επειδή είναι ουσιώδης για το σχηµατισµό της απεικόνισης διατήρησης της τοπολογίας και υπάρχουν σηµαντικά σηµεία στο ορισµό της, παραδείγµατος χάριν το µοντέλο θορύβου ή στατιστικός πυρηνικός smoother. 6.2 ΤΟΠΟΛΟΓΙΚΗ ΡΥΘΜΙΣΗ Στα παραπάνω σχήµατα (Σχήµα 5.5.2) χρησιµοποιήσαµε δισδιάστατο τετραγωνικό πλέγµα [1,10] για χαρτογράφηση της δισδιάστατης οµοιόµορφης τετραγωνικής κατανοµής. Επίσης µ πορούµε να χρησιµοποιήσουµε το ίδιο τετραγωνικό πλέγµα για χαρτογράφηση µη τετραγωνικής κατανοµής, όµως σε αυτήν την περίπτωση έχουµε ασυµφωνία µε προηγούµενα αποτελέσµατα. Η τελική µορφή των χαρτών για το ίδιο πλέγµα αλλά µε διαφορετική κατανοµή φαίνεται στο παρακάτω Σχήµα Ας εξετάσουµε πρώτα την κυκλική κατανοµή : Ξεκάθαρα βλέπουµε ότι το πλέγµα τετραγωνικού πλέγµατος έχει σηµαντική αλλοίωση από την µη οµοιόµορφη κατανοµή βαρών. Ότι αφορά στην κατανοµή L- σ χήµατος επίσης παρατηρούµε ότι µερικοί νευρώνες είναι έξω από τα όρια της κατανοµής και οι κάποιοι από αυτούς έχουν µηδενική ή πολύ µικρή πιθανότητα ενεργοποίησης και για αυτό τέτοιοι νευρώνες συχνά ονοµάζονται «νεκροί» νευρώνες. Είναι δύσκολο να βρεθεί καλύτερη λύση για αυτούς τους νευρώνες χωρίς την οµαδοποίησή τους στην εσωτερική γωνία του L-σχήµατος. 30

31 Σχήµα Απεικόνιση ενός πλέγµατος των νευρώνων : (α) σε έναν κύκλο και (β) σε οµοιόµορφη κατανοµή L σχήµατος. Επίσης µπορούµε να διερευνήσουµε την επιρροή της αλλαγής στη διάσταση του πλέγµ ατος. Παραδείγµατος χάριν µπορούµε να δηµιουργήσουµε µονοδιάστατο πλέγµα, δηλαδή µια αλυσίδα στην ίδια δισδιάστατη τετραγωνική κατανοµή. Στο παρακάτω σχήµα ( Σχήµα ) παρατηρούµε ότι η αλυσίδα προσπαθεί να γεµίσει όλο το διαθέσιµο χώρο όσο δυνατόν περισσότερο. Επίσης παρατηρούµε ότι ο χάρτης δεν είναι εξ ολοκλήρου τοπογραφικός, δηλαδή οι θέσεις στο χώρο εισόδου µπορούν να αποκαλύψουν ποία µ ικρή απόκλιση στην είσοδο καταλήγει στην επιλογή του µη γειτονικού νευρώνα στο πλέγµα. Εποµένως µπορούµε να πούµε ότι οι γειτονικοί νευρώνες ενεργοποιούνται για γειτονικά δεδοµένα εισόδου, όµως το αντίθετο δεν ισχύει απαραίτητα σε κάθε περίπτωση. Σχήµα Απεικόνιση µιας αλυσίδας των 40 νευρώνων σε µια τετραγωνική οµοιόµορφη κατανοµή. 31

32 6.2.1 ΙΑΡΡΥΘΜΙΣΗ ΒΑΡΩΝ Είναι ξεκάθαρα ότι η συνάρτηση γειτονιάς παίζει κρίσιµο ρόλο στο σχηµατισµό των τοπογραφικά ρυθµισµένων βαρών. Παρόλο που αυτό είναι προφανές, είναι αρκετά δύσκολο να περιγραφεί και ακόµα περισσότερο να αποδειχθεί η διαρρύθµισή αυτών των βαρών µε µαθηµατικό τρόπο. Οι µαθηµατικές τεχνικές τις οποίες θεωρήσαµε, συνήθως βασίζονται στη θεωρία των Markov διαδικασιών και είναι έγκυρες µόνο για µονοδιάστατα πλέγµατα αναπτυγµένα σε µονοδιάστατο χώρο. Ας θεωρήσουµε ένα πλέγµα ( αλυσίδα ) Α των N νευρώνων από 1 µέχρι N µε βαθµωτά βάρη w 1,, w N, τα οποία αρχικοποιούνται τυχαία. Επίσης ορίζουµε κανόνα ελάχιστης Ευκλείδειας απόστασης για επιλογή νευρώνα-νικητή και την συνάρτηση γειτονίας ως βηµατική συνάρτηση ενός νευρώνα : Λ( i, j ) = 1 για { i 1, i + 1 }, ( ) όπου µε i 1 και i + 1 ορίζουµε προηγούµενο και επόµενο νευρώνα του νευρώνα i. Για τον πρώτο και τον τελευταίο νευρώνα υπάρχει µόνο ένας γειτονικός νευρώνας. Όταν εφαρµόζουµε επαναληπτική µάθηση και t, τότε τα βάρη w1,, w N θα καταταχθούν σε αύξουσα ή φθίνουσα σειρά η οποία θα παραµένει για όλα τα t. Πολλοί επιστήµονες απέδειξαν ότι για µονότονα συρρικνωµένη συνάρτηση γειτνίασης, ο SOM αλγόριθµος θα συγκλίνει στη τοπογραφικά ρυθµισµένη διάταξη η οποία ορίζεται από : v w i < v w j αν ισχύει r i r i < r i r j, ( ) όπου r i είναι οι συντεταγµένες πλέγµατος του νευρώνα-νικητή. Όµως η τοπογραφικά ρυθµισµένη διάταξη δεν είναι µια απορροφητική κατάσταση, επειδή η πιθανότητα µετάβασης στον εαυτό της δεν ισούται µε µονάδα και έτσι σε περιπτώσεις µεγαλύτερης διάστασης οι πραγµατικές απορροφητικές καταστάσεις ( absorbing states ) του αλγορίθµου δεν υπάρχουν και εποµένως η αυστηρή απόδειξη σύγκλισης αλγορίθµου είναι απίθανο να βρεθεί ( Erwin et.al., 1992a ). 32

33 6.2.2 ΣΧΗΜΑ ΤΗΣ ΣΥΝΑΡΤΗΣΗΣ ΓΕΙΤΟΝΙΑΣ Erwin και οι συνεργάτες του ( 1992b ) µελέτησαν την επιρροή του σχήµατος της συνάρτησης γειτονιάς αναλύοντας metastable καταστάσεις ( τοπικό ελάχιστο ) της κατανοµής βαρών σε ένα µ ονοδιάστατο πλέγµα. Ο βασικός κανόνας είναι : Αν η συνάρτηση γειτονιάς είναι κυρτή, όπως το κεντρικό τµήµα της γκαουσιανής συνάρτησης, τότε δεν υπάρχουν σταθερές καταστάσεις εκτός από εκείνες που αντιστοιχούν στο τοπογταφικά ρυθµισµένο πλέγµα. Σε αντίθετη περίπτωση όταν η συνάρτηση γειτονιάς είναι κοίλη, οι metastable καταστάσεις υπάρχουν και αυτές µπορούν να επιβραδύνουν την διαδικασία ρύθµισης. Έτσι αν στην αρχή της SOM εκµάθησης η συνάρτηση γειτονιάς είναι κυρτή, τότε η τοπογραφική ρύθµιση του χάρτη θα είναι σχεδόν σίγουρα επιτυχηµένη, και µετά από αυτό η ακτίνα της συνάρτησης γειτονιάς µπορεί να µειωθεί. Τέλος, οι ρυθµιστικές συνθήκες είναι περισσότερο αυστηρές όταν διάσταση του πλέγµατος ταιριάζει µε τη διάσταση του χώρου εισόδου ( δεδοµένων εισόδου ). Περισσότερες φορές η των δεδοµένων εισόδου είναι µεγαλύτερη και έτσι διευθέτηση θα είναι πιο εύκολη ( Kohonen, 1995, p. 110 ). 6.3 ΣΥΓΚΛΙΣΗ ΒΑΡΩΝ ΚΑΙ ΣΥΝΑΡΤΗΣΗ ΕΝΕΡΓΕΙΑΣ Συνήθως σε περιπτώσεις αλγορίθµων εκµάθησης νευρωνικών δικτύων, ο κανόνας ενηµέρωσης βαρών πραγµατοποιεί κατάβαση gradient σε µία συνάρτηση ενέργειας Ε, επίσης γνώστη ως συνάρτηση λάθους ή κόστους : w ij - ( E / w ij ), (6.3.1) έτσι η σύγκλιση σε ένα τοπικό ελάχιστο της Ε µπορεί εύκολα να δειχθεί. Όµως ο SOM αλγόριθµος δεν πραγµατοποιεί την κατάβαση gradient, ακριβέστερα, δεν υπάρχει συνάρτηση ενέργειας στην οποία µπορεί να εκτελεστεί η κατάβαση gradient όταν ο πυρήνας της γειτονιάς Λ ακόµα υπάρχει. Εποµένως, δεν µπορούµε να κρίνουµε 33

34 το βαθµό της βελτίωσης που πετυχαίνεται κατά την εκµάθηση του αλγορίθµου. Λόγω της έλλειψης µίας συνάρτησης ενέργειας, ο Kohonen τόνισε, ότι δεν υπάρχει θεωρητική αιτία συµφώνα µε την οποία ο SOM αλγόριθµος πρέπει οπωσδήποτε να προκύψει από µια τέτοια συνάρτηση ( Kohonen, 1995, p.122 ), αφού : i) ii) ο SOM αλγόριθµος αποβλέπει στην ανάπτυξή των ειδικών τοπογραφικών σχέσεων µεταξύ των οµάδων στο χώρο εισόδου και ως αποτέλεσµα του παραπάνω έχουµε µια προσεγγιστική λύση µίας συνάρτησης ενέργειας λόγω της συγγένειας µε την Robbins-Munro στοχαστική προσεγγιστική τεχνική, εποµένως η σύγκλιση δεν είναι πρόβληµα στην πραγµατικότητα. Από την άλλη πλευρά, έχουν πραγµατοποιηθεί πολλές προσπάθειες για την ανάπτυξη µίας συνάρτησης ενέργειας, η οποία ελαχιστοποιείται για την συνεχή κατανοµή εισόδου κατά την διαµόρφωση του τοπογραφικού χάρτη ( Total, 1990 ; Kohonen, 1991; Luttrell, 1991; Heskes and Kappen, 1993 ; Erwin, 1992a ). Ο Luttrell και οι Heskes µε τον Kappen µπόρεσαν να δείξουν την ύπαρξη µίας συνάρτησης ενέργειας τροποποιώντας τον ορι σµό του νικητή. Ο Heskes και ο Kappen ήταν οι πρώτοι που απέδωσαν ένα τοπικό σφάλµα e i σε κάθε νευρώνα στο χρόνο t : e i ( W, v, t ) = 0.5 j A Λ ( i, j ) v - w j 2, (6.3.2) όπου W = [ w i ] είναι το διάνυσµα µε όλα τα βάρη του νευρώνα i. Ο νευρώνας- νικητής είναι εκείνος για τον οποίο το τοπικό σφάλµα είναι ελάχιστο : i * = arg min i j Λ ( i, j ) v - w j 2. (6.3.3) Ο Luttrell παρουσιάζει µία εξίσωση όπου j Λ ( i, j ) = 1. Ο κανόνας ενηµέρωσης βαρών παραµένει ο ίδιος όπως είναι στο πρωτότυπο ( αρχικό ) SOM αλγόριθµο και έτσι λαµβάνει υπόψη µερικούς νευρώνες γύρω από τον νευρώνα-νικητή. 34

35 Η λύση την οποία προτείνει ο Kohonen παίρνει διαφορετικά αρχικά σηµεία για να βρεθεί µία συνάρτηση ενέργειας, όµως αυτός ο τρόπος οδηγεί σε πιο πολύπλοκο κανόνα εκµάθησης για τον νευρώνα-νικητή. Είναι επίσης ξεκάθαρα, ότι µόνο για την περίπτωση όταν η ακτίνα σ Λ ( t ) της συνάρτησης γειτονιάς εξαφανίζεται, ο πρωτότυπος ( αρχικός ) SOM αλγόριθµος παρουσιάζει κατάβαση gradient σε µία συνάρτηση ενέργειας. 6.4 ΡΟΛΟΣ ΤΗΣ ΣΥΝΑΡΤΗΣΗΣ ΓΕΙΤΟΝΙΑΣ Η συνάρτηση γειτονιάς παίζει ένα σηµαντικό ρόλο στο σχηµατισµό τοπολογικού διατηρήσιµου χάρτη [15,19], όµως η συνάρτηση αυτή επίσης λαµβάνει υπόψη µια ερµηνεία του SOM αλγορίθµου ως ένα στατιστικό εργαλείο. Η αντιµετώπιση του αλγορίθµου µε αυτών τον τρόπο επαυξάνει την κατανόηση της χρησιµ ότητας και των περιορισµών στις στατιστικές εφαρµογές ΣΥΣΧΕΤΙΣΤΗΣ ΤΗΣ ΕΝΗΜΕΡΩΣΗΣ ΒΑΡΩΝ Ο σωστός τρόπος εξέτασης της συνάρτησης γειτονιάς είναι ο εξής ( Luttrell, 1989a ; Haykin, 1994 ) : Ο στόχος της µεγάλης ακτίνας της γειτονιάς είναι να συσχετιστούν οι διαφορετικές κατευθύνσεις των βαρών ενός µεγάλου αριθµού νευρώνων που ενηµερώνονται γύρω από το νευρώνα-νικητή i * στο πλέγµα. Κατά τη διάρκεια µείωσης της ακτίνας, αντίστοιχα αλλάζει και ο αριθµός των νευρώνων βάρη των οποίων ενηµερώνονται. Ως αποτέλεσµα αυτής της συσχέτισης ή συνεργασίας έχουµε την ανταπόκριση των γειτονικών νευρώνων στα ίδια πρότυπα εισόδου. Η ενηµέρωση των συσχετιστικών βαρών είναι σηµαντική για σκοπούς οπισθοδρόµησης και οµαλότητας του πυρήνα. Όµως λόγω της µείωσης και εξαφάνισης της ακτίνας της γειτονιάς κατά την εκπαίδευση, προκύπτει βασικό µειονέκτηµα, το οποίο είναι ιδιαίτερα αισθητό στην απεικόνιση χώρου µεγάλης διάστασης στο πλέγµα µικρής διάστασης. Παρακάτω θα εξεταστεί αυτό το πρόβληµα. 35

36 Πρώτα θεωρούµε τη χαρτογράφηση ενός µονοδιάστατου χώρου σε ένα µονοδιάστατο πλέγµα ( αλυσίδα ) των N νευρώνων. Η µείωση της ακτίνας γειτονιάς σ Λ µπορεί να πραγµατοποιηθεί σε δύο φάσεις ( θεωρούµε Incremental µάθηση ) : i) Πρώτη φάση : Ο ρυθµός µάθησης ( η ) και η ακτίνα γειτονιάς (σ Λ ) µπορούν να µειωθούν εκθετικά από µεγάλες αρχικές τιµές, παραδείγµατος χάριν (σ Λ, η ) = ( N/4, 0.9 ), σε µεσαίες τιµές, παραδείγµατος χάριν (σ Λ, η ) = ( >1, 0.1 ). Η αντίστοιχη CES ( Constant Equilibrium State ) µάθηση χαρακτηρίζεται από µια δυνατή συνεργασία και στη διάρκεια αυτής της φάσης σχηµατίζεται η τοπογραφική διεύθυνση. Η κατανοµή των βαρών των νευρώνων p( w i ), που ονοµάζεται πυκνότητα βάρους, παραµένει σταθερή ( ίδια ). Το αντίστροφο της p( w i ) ονοµάζεται magnification συντελεστή ( factor ). ii) εύτερη φάση : όταν σ Λ µειωθεί περισσότερο, η p( w i ) θα αλλάξει δραστικά. Κατά την αντίστοιχη VES ( Varying Equilibrium State ) µάθηση συµβαίνει µεταβολή στην πυκνότητα βάρους p( w i ), η οποία µε τη σειρά προκαλεί την παραποίηση του χάρτη και έτσι µεγάλο τµήµα της συσχετισµένης δοµής του χάρτη θα χαθεί. Ας µιλήσουµε τώρα περισσότερο για την χαρτογράφηση του χώρου υψηλής διάστασης στο πλέγµα χαµηλότερης διάστασης. Όταν εκτελούµ ε CES µάθηση µε σχετικά µεγάλο βαθµό της συνεργασίας δηλαδή σ Λ > 1, τότε ο χάρτης θα είναι τοπικά οµαλός, όµως θα παρουσιά σει έναν ανισοτροπικό magnification συντελεστή, ο οποίος διαφέρει σε παράλληλη και κάθετη διεύθυνση στο χάρτη. Όταν εκτελούµ ε VES µάθηση όπου η συνεργασία είναι απενεργοποιηµένη, τότε ο magnification συντελεστής θα είναι ισοτροπικός, όµως τοπική οµαλότητα του χάρτη θα χαθεί όπως και η τοπικά συσχετιζόµενη δοµή. Ο τρόπος αποφυγής της εξαφάνισης της συνάρτησης γειτονιάς είναι η χρήση προσαρµοσµένης εκδοχής του SOM αλγορίθµου του Luttrell ( 1991 ), δηλαδή χρήση της εξίσωσης : i * = arg min i j Λ( i, j ) v - w j 2, ( ) για την οποία η κατάσταση ισορροπίας εξαρτάται από την ακτίνα της συνάρτησης γειτονιάς ( βλέπε 3.4.1). 36

37 6.4.2 ΣΤΑΤΙΣΤΙΚΟΣ ΠΥΡΗΝΙΚΟΣ ΟΜΑΛΟΤΗΣ Όπως σηµειώθηκε από Mulier και Cherkassky ( 1995 ), ο SOM αλγόριθµος και η δική του συνάρτηση γειτονιάς µπορούν να ερµηνευτούν ως µια διαδικασία [9,11] η οποία περιλαµβάνει στατιστική πυρηνική εξοµάλυνση ( smoothing ) στο τοπολογικό χώρο. Για την αποσαφήνιση τελευταίου, θεωρούµε batch µάθηση µε batch map αλγόριθµο ( Kohonen, 1993b, 1995 ), όπου δίνεται η εκτίµηση των βαρών του συγκεκριµένου νευρώνα {w i }. Η καινούρια εκτίµηση των βαρών του νευρώνα καθορίζεται ως σταθµικός κεντροειδής ( weighted centroids ) των προτύπων εισόδου { v µ V } προς τη συνάρτηση γειτονιάς Λ : w i ( µ v µ Λ( i, i * ( v µ )) ) / ( µ Λ( i, i * ( v µ )) ), i ( ) όπου i * ( v µ ) είναι νευρώνας-νικητής για πρότυπο εισόδου v µ : i * ( v µ ) = arg min i w i - v µ ( ) και έτσι δεξιό σκέλος της εξίσωσης ( ) εξαρτάται από την προηγούµενη εκτίµηση των βαρών του νευρώνα. Όταν η τιµή της συνάρτησης γειτονιάς δεν εξαρτάται από την τιµή του καθαυτού προτύπου εισόδου, αλλά από την περιοχή η οποία ορίζεται από τον νευρώνα-νικητή i * στο V - χώρο ή από το σύνολο των προτύπων τα οποία ενεργοποιούν αυτόν τον νευρώνα, τότε η εξίσωση ( ) µ πορεί να απλοποιηθεί περαιτέρω : w i ( j Λ(i, j) µ v µ j (v µ ) ) / ( j Λ(i, j) µ j (v µ ) ), i ( ) όπου j ( ) είναι η µοναδιαία συνάρτηση για την οποία ισχύει : j (v µ ) = 1, αν νευρώνας j είναι νευρώνας-νικητής για είσοδο v µ & j (v µ ) = 0, διαφορετικά ( ) Η εξίσωση ( ) µπορεί να απλοποιηθεί περαιτέρω και χρειάζονται µόνο οι κεντροειδείς ( centroids ) για να καθοριστεί η τιµή των βαρών του νευρώνα ( Mulier και Cherkassky, 1995 ) : w i ( j Λ(r i - r j) m i µ j( v µ ) ) / ( j Λ(i, j) µ j( v µ ) ), I ( ) 37

38 όταν εκφράζουµε τη ( συµµετρική ) συνάρτηση γειτονιάς σύµφωνα µ ε τις συντεταγµένες του πλέγµατος και µε m i κεντροειδείς ( centroids ) των προτύπων εισόδου για τα οποία ο νευρώνας i είναι ο νευρώνας-νικητής. Χρησιµοποιώντας την απλοποίηση η οποία δίνεται από τον τύπο ( ) είναι δυνατό να χαρακτηρίσουµε µια επανάληψη ( iteration ) του SOM αλγορίθµου ως διαδικασία δύο βηµάτων : i) καθορισµός του νευρώνα-νικητή και ii) πραγµατοποίηση τη ς πυρηνικής εξοµάλυνσης στα βάρη του τοπογραφικού χώρου. Η διαδικασία εξοµάλυνσης είναι αρκετά όµοια µε Nadaraya- Watson πυρηνική εκτίµηση σε περίπτωση µιας διάστασης ( 1D ) ( Nadaraya, 1964 ; Watson, 1964 ) : y(x) = ( j K( x x j ) α j ) / ( j K( x x j ) ), ( ) όπου x j είναι j οστό κέντρο του πυρήνα και α j είναι ο βαθµωτός συντελεστής Η συνάρτηση γειτονιάς Λ( ) παίζει ρόλο του πυρήνα Κ µ ( εκτός από τον παράγοντα κανονικοποίησης µ j (v )), και η ακτίνα της συνάρτησης γειτονιάς καθορίζει την περιοχή του πυρήνα ( Mulier και Cherkassky, 1995 ). Επίσης η εξοµάλυνση του πυρήνα πραγµατοποιείται στο τοπολογικό χώρο του SOM αλγορίθµου, σε αντίθεση µε εκτίµηση του πυρήνα που πραγµατοποιείται στο χώρο εισόδου. 38

39 ΜΕΡΟΣ Β 39

40 ΚΕΦΑΛΑΙΟ 7 ο Kernel-based Ισοπίθανοι Τοπογραφικοί Χάρτες 7.1 ΕΙΣΑΓΩΓΗ Ας εξετάσουµε αν είναι δυνατή η ανάπτυξης της αυτό- µάθησης για διαµόρφωση ενός τοπογραφικού χάρτη οργανούµενης µ ε τις παρακάτω ιδιότητες : 1) οι περιοχές κβαντοποίησης ή πεδία αποδοχής ( receptive fields, RFs ) είναι µη οµοιόµορφα και εποµένως οι νευρώνες µπορούν να ενεργοποιηθούν σύµφωνα µε το ταξινοµηµένο µέγεθος. Το πεδίο αποδοχής ενός νευρώνα είναι η περιοχή του χώρου εισόδου µέσα στην οποία ο νευρώνας µπορεί να ενεργοποιηθεί, δηλαδή είναι περιοχή πρότυπα εισόδου της οποίας ενεργοποιούν τον νευρώνα 2) τα πεδία αποδοχής είναι επικαλυπτόµενα, εποµένως µπορεί να συµβεί πολλαπλή ενεργοποίηση νευρώνων στο χάρτη, δηλαδή έχουµε περισσότερους από έναν νευρώνες-νικητές 3) η διάσταση του πλέγµατος µπορεί να είναι διαφορετική από τη διάσταση του χώρου εισόδου 4) όλοι οι νευρώνες έχουν την ίδια πιθανότητα ενεργοποίησης, εποµένως ο χάρτης είναι ισοπίθανος, το οποίο σηµαίνει ελαχιστοποίηση της συνάρτησης ενέργειας κατά την διαµόρφωση του τοπολογικού χάρτη Ο κανόνας µάθησης ο οποίος λαµβάνει υπόψη όλες αυτές τις ιδιότητες είναι ο kmer - kernel-based Maximum Entropy learning Rule, τον οποίο θα εξετάσουµε παρακάτω. 7.2 ΜΑΘΗΣΗ ΜΕΓΙΣΤΗΣ ΕΝΤΡΟΠΙΑΣ ΒΑΣΙΣΜΕΝΗ ΣΤΟΝ ΠΥΡΗΝΑ Ας θεωρήσουµε το πλέγµα Α µε κανονική και σταθερή τοπολογία [1] αυθαίρετης διάστασης d A, στο d-διάστατο χώρο εισόδου V R d. Σε κάθε από τους N κόµβους του πλέγµατος αντιστοιχεί ένας τυπικός νευρώνας i ο οποίος έχει : 1) το συνηθισµένο διάνυσµα βαρών w i 2) το threshold ( τιµή κατωφλίου ) τ i και 40

41 3) έναν περιορισµένο τοπικά πυρήνα ( kernel ) Κ της πεδίο αποδοχής RF, κεντραρισµένο στο διάνυσµα βαρών w i Σχήµα Μάθηση µέγιστης εντροπίας βασισµένη στον πυρήνα ( kernel-based maximum entropy learning ). Πεδίο αποδοχής Κ( v w i, σ i ), κεντραρισµ ένο στο w i του χώρου εισόδου V R d, του νευρώνα i. Η τοµή του Κ µε την τρέχουσα τιµή κατωφλίου ( threshold ) τ i ορίζει την περιοχή S i µε την ακτίνα σi επίσης στο χώρο εισόδου v V βρίσκεται εκτός της περιοχής S i. Το σχήµα του πυρήνα Κ θεωρήθηκε να είναι ακτινοειδώς συµµετρικό γύρω από το κέντρο του, παραδείγµατος χάριν Gaussiasn. Επειδή ο πυρήνας Κ του πεδίου αποδοχής ( RF ) είναι ακτινοειδώς συµµετρικό, η τοµή του πυρήνα Κ για µια ορισµένη τιµή του threshold τ i προσδιορίζει κυκλική ή σφαιρική ( γενικά ) περιοχή S i του πεδίου αποδοχής ( RF ) µε την ακτίνα σ i στο V χώρο ( βλέπε Σχήµα ). Αν η τρέχουσα είσοδος v πέφτει στο S i, τότε έχουµε suprathreshold ενεργοποίηση και το threshold θα υψωθεί, αλλιώς έχουµε sub-threshold ενεργοποίηση και το threshold θα µειωθεί. Για αυτό το λόγο συσχετίζουµε µε κάθε περιοχή S i µία membership συνάρτηση i (v) : i (v) = 1, αν v S i i (v) = 0, αν v S i. ή (7.2.1) Σύµφωνα µε τον τύπο ενεργοποίησης του νευρώνα, τα βάρη w i προσαρµόζονται έτσι ώστε να κατασκευαστεί η απεικόνιση διατήρησης της τοπολογίας. Η ακτίνα σ i προσαρµόζεται έτσι ώστε να κατασκευαστεί ένα πλέγµα του οπίου οι νευρώνες έχουν ίσες πιθανότητες να ενεργοποιηθούν ( equiprobabilistic map ). Αυτό 41

42 επιτυγ χάνεται ισορροπώντας τις συχνότητες supra- και sub-threshold ενεργοποίηση των νευρώνων. Με άλλα λόγια, τα βάρη w i και οι ακτίνες σ i προσαρµόζονται έτσι ώστε να επιτευχθεί ένας τοπογραφικός χάρτης, ο οποίος µεγιστοποιεί την εντροπία της suprathreshold ενεργοποίησης των N νευρώνων. Αυτό µπορεί να επιτευχθεί εφαρµόζοντας τη µέθοδο επαναλήψεων ( iterative ), χρησιµοποιώντας δύο κανόνες εκπαίδευσης, οι οποίοι σχηµατίζουν τον πυρήνα του kmer : 1) Ενηµέρωση του κέντρου της περιοχής S i και 2) Ενηµέρωση της ακτίνας της περιοχής S i. Ενηµέρωση του Κέντρου της Περιοχής S i Αντίθετα από τον αρχικό SOM αλγόριθµο, εδώ δεν µπορούµε να βασιστούµε στον κανόνα ελάχιστης Ευκλείδειας απόστασης για να κατηγοριοποιήσουµε τον χώρο εισόδου ακόµα όταν και το πλέγµα είναι στην κατάσταση διατηρήσιµης τοπολογίας. Ακόµα περισσότερο, δεν µπορούµε να βασιστούµε στις κοινές κορυφές στο τετραγωνικό πλέγµα για να καλύψουµε τον χώρο εισόδου όπως γίνεται στο MER ( Maximum Entropy learning Rule ). Αντίθετα, πρέπει να παρουσιάσουµε ένα διαφορετικό τύπο ανταγωνισµού στο στάδιο εκµάθησης. Ας θεωρήσουµε πρώτα την on line µάθηση. Ορίζουµε την fuzzy code membership συνάρτηση Ξ i, ( Zadeh, 1965 ) : Ξ i ( v ) = i (v) / k A k (v), i A. (7.2.2) Αν χρησιµοποιήσουµε τον ορισµό της membership συνάρτηση i (v) που δίνεται παραπάνω, η συνάρτηση Ξ i ( v ) µπορεί να γραφεί ως εξής : (7.2.3) Ξ i ( v ) = 1 / k A k (v), αν v S i και Ξ i ( v ) = 0, αν v S i για i A, και έτσι έχουµε 0 Ξ i ( v ) 1 και i Ξ i ( v ) = 1. Ενηµερώνουµε το κέντρο w i της περιοχής S i ανάλογα της συνάρτησης Ξ i ( ) και στην γενική διεύθυνση του v, βλέπε το παρακάτω σχήµα. 42

43 Σχήµα Ανανέωση του πεδίου αποδοχής. w i και w j είναι τα δυο κέντρα των δυο περιοχών αποδοχής. Το βέλος δείχνει την διεύθυνση ανανέωσης του κέντρου w i για το συγκεκριµένο πρότυπο εισόδου v. Οι αρχικές περιοχές S i και S j των πεδίων αποδοχής των νευρώνων i και j συµβολίζονται µε µεγάλους συνεχείς κύκλους και µε διεκεκοµµένους κύκλους απεικονίζονται περιοχές S i και S j µετά την ανανέωση που πραγµατοποιείται το συγκεκριµένο πρότυπο εισόδου. Η περιοχή µε σκίαση ( σε µαύρο χρώµα ) απεικονίζει την τοµή των περιοχών S i και S j, δηλαδή την επικάλυψή τους. Σε γενική µορφή για δισδιάστατο χώρο εισόδου µπορούµε να ισχυριστούµε ότι ισχύει : (7.2.4) αν v x & v y < w x & w y, τότε w new x = w x Ξ & w new y = w y Ξ αν v x & v y > w x & w y, τότε w new x = w x + Ξ & w new y = w y + Ξ Για αυτό το λόγο, η είσοδος η οποία διαµοιράζεται ( ενεργοποιεί ) από διαφορετικούς νευρώνες ( σκιασµένη περιοχή στο παραπάνω σχήµα (Σχήµα 7.2.2)) θα οδηγήσει σε µικρότερες ανανεώσεις των βαρών, επειδή Ξ i ( v ) = 1 / k A k (v) και σε περίπτωση δύο νευρώνων i, j και 1) v S i, S j, θα έχουµε : k A k (v) = 2 Ξ i,j ( v ) = 1 / 2 και έτσι όµως όταν 2) v S i ή v S j, θα έχουµε : k A k (v) = 1 και έτσι Ξ i ( v ) = 1 ή Ξ j ( v ) = 1. Ως αποτέλεσµα του παραπάνω, εδώ θα υπάρχει ανταγωνιστικό στοιχείο στην διαδικασία εκµάθησης αφού τα κέντρα των περιοχών 43

44 S i θα έχουν την τάση να «κοµµατιάζονται» από τις δυνάµεις των βαρών της µη ισορροπηµένης ανανέωσης. Ενηµέρωση της Ακτίνας της Περιοχής Si Εκτός από την ανανέωση των κέντρων w i των περιοχών S i, επί σης ανανεώνουµε και τις ακτίνες σ i αυτόν των περιοχών. Το σκε πτικό είναι να προσαρµ όζουµε τις ακτίνες µε τον τρόπο της σύγκλισης, έτσι ώστε η πιθανότητα ενεργοποίησης του νευρώνα i να είναι : Ρ ( i (v) 0 ) = ρ / Ν, i, (7.2.5) όπου ρ είναι ένας scale συντελεστής ( scale factor ). Ας δούµε πώς αλλάζει το αποτέλεσµα σύµφωνα µε την µ εταβολή του scale συντελεστή. Όταν : 1) ρ = 1 θα αγωνιστούµε µε σκοπό της αµοιβαίας ενεργοποίησης των αποκλειστικών ( εκλεκτών ) νευρώνων, οι οποίοι σχηµατίζουν ένα περιορισµένο σύνολο που περικλείεται από την υπερσφαιρική περιοχή αποδοχής ( FR ) 2) ρ > 1 στην πραγµατικότητα επιβάλουµε οµαλό περιορισµό, από την άποψη του βαθµού της επικάλυψης των περιοχών αποδοχής ( FR ) στον τοπογραφικό χάρτη, ο οποίος θα δηµιουργηθεί 3) ρ < 1 κατά µέσο όρο θα λάβουµε υπόψη το πλεόνασµα των σηµάτων εισόδου, τα οποία δεν ενεργοποιούν τους διαθέσιµους νευρώνες και σε αυτή την περίπτωση θα αποκτήσουµε έναν χαµηλό βαθµό επικάλυψης των περιοχών αποδοχής ( FR ) και, εποµένως, περισσότερο αραιά καλυπτόµενο χώρο εισόδου, δηλαδή δε θα έχουµε πολλές επικαλύψεις των FR περιοχών διάφορων νευρώνων kmer Ο kmer ( kernel-based Maximum Entropy learning Rule ) µπορεί να σχηµατιστεί µε on line τρόπο ως εξής ( Van Hulle, 1998b, 1999a,b ) : 44

45 ( ) wi = γ j A Λ ( i, j, σ Λ ) Ξ j ( v ) Sgn ( v w i ), i A, όπου και Sgn ( ) είναι η sign συνάρτηση η οποία παίρνεται σύµφωνα µε το συστατικό σ Λ είναι η ακτίνα της γειτονιάς ( στις συντεταγµένες του πλέγµατος ) της συνάρτησης γειτονιάς Λ ( ) η οποία είναι κανονικοποιηµένη στη µονάδα : Λ ( i, j, σ ) j A Λ σ i = γ [ ( ρ r / Ν ) ( 1 - i ( v )) - i ( v ) ], i A, ( ) όπου ρ r ρ N / ( N - ρ ) από Σχήµα και είναι η παράµετρος που ελέγχει την επικάλυψη των περιοχών αποδοχής των ενεργοποιηµένων νευρώνων γ είναι ο ρυθµός µάθησης Ν είναι ο αριθµός των νευρώνων Για την batch προσέγγιση, όπου το Μ = { v µ } είναι το σύνολο δεδοµένων εκπαίδευσης µε Μ δείγµατα εισόδου, η ανανέωση των RF κέντρων δίνεται από : ( ) µ w i = γ v Μ j A Λ ( i, j, σ Λ ) Ξ j ( v µ ) Sgn ( v µ w i ), i, και η ανανέωση της ακτίνας σ i δίνεται από τον τύπο : σ i = γ v µ M [ ( ρ r / N ) ( 1 - i ( v µ )) - i ( v µ ) ], i. ( ) Εναλλακτικά, µπορούµε να ανανεώσουµε τις ακτίνες σ i σύµφωνα µε τον τύπο : σ = γ Sgn { µ ( v µ ) - ( ρ / N )}, i. i v Μ i ( ) ΣΥΓΚΛΙΣΗ Μπορούµε να αποδείξουµε, ότι ο µέσος όρος του kmer κανόνα ( εξισώσεις ( ), ( ) ) συγκλίνει, όταν υπάρχει η 45

46 συνάρτηση Liapunov η οποία περιέχει τη gradient κατάβαση. Η απόδειξη δεν αναφέρεται παρακάτω επειδή είναι εκτός ενδιαφέροντος της παρούσας εργασίας ΙΣΟΠΙΘΑΝΟΣ ΚΒΑΝΤΙΣΜΟΣ Η ακτίνα σ i η οποία αναπτύσσεται σύµφωνα µε το µέσο όρο kmer ( εξίσωση ( )) εγγυάται τη σύγκλιση σε ένα πλέγµα οι νευρώνες του οποίου έχουν µια ίση πιθανότητα να ενεργοποιηθούν ( όταν η πυκνότητα πιθανότητας είναι συνεχής και στατιστικά σταθερή ). Αυτό µπορεί να δειχθεί ως εξής : Αφού η συνάρτηση Liapunov υπάρχει, γνωρίζουµε ότι η ακτίνα θα συγκλίνει στο µέσο όρο. Έχουµε το παρακάτω σηµείο ισορροπίας : < σ i > V = 0 = <( ρ r / Ν ) ( 1 - i ( v )) - i ( v ) > V = = ( ρ r / Ν ) ( 1 P i ) P i = = ( ρ r / Ν ) ( 1+ ( ρ r / Ν ) ) P i, i, ( ) όπου P i είναι η πιθανότητα να είναι ο νευρώνας i ενεργοποιηµένος. Από την εξίσωση ( ) προκύπτει η παρακάτω ισότητα : P = ρ / ( Ν + ρ ), i. i r r ( ) Αντικαθιστώντας στην παραπάνω ισότητα ρ r = ρ N / ( N - ρ ) έχουµε ότι : P i = ρ / Ν, i. ( ) Το κλάσµα ρ / Ν είναι µια σταθερά και ρ / Ν είναι ανεξάρτητο από το δείκτη του πλέγµατος i και αφού P i είναι η µονότονη αύξουσα συνάρτηση της ακτίνας του πυρήνα ενός νευρώνα i, η εξίσωση ( ) είναι η µοναδική λύση της εξίσωσης : < σ i > V = 0 ( ) 46

47 και έτσι βέβαιο ότι θα αποκτήσουµε ένα σύνολο των ισοπίθανων νευρώνων στη σύγκλιση. ότι : Τέλος, αφού P ( i ( v ) = 1 ) = ρ / Ν στη σύγκλιση, έχουµε p ( w i ) = ρ / ( N Vol ( σ i ) ), i, ( ) όπου p ( ) είναι η εκτίµηση της πυκνότητας, η οποία µπορεί να βρίσκεται στο RF κέντρο και Vol ( ) είναι η τιµή της υπερσφαίρας µε την ακτίνα σ i της RF περιοχής του i ου νευρώνα ΒΕΛΤΙΣΤΟΠΟΙΗΜΕΝΟΣ ΑΛΓΟΡΙΘΜΟΣ Όταν χρησιµοποιούµε τον τύπο ( ) στο σύστηµα εκπαίδευσης, η συνάρτηση γειτονιάς Λ ( i, j, σ Λ ) είναι κεντραρισµένη γύρω από κάθε ενεργό νευρώνα και εφαρµόζεται σε όλα τα νευρόνια : ενεργά και µη ενεργά. Αυτό απαιτεί µια σηµαντική υπολογιστική προσπάθεια στην αρχή, όταν ο χάρτης είναι µπερδεµένος και οι RF περιοχές έχουν σηµαντικές επικαλύψεις. Επιπλέον, όταν κανένας από τους νευρώνες δεν ενεργοποιείται από το τρέχον πρότυπο εισόδου v, τότε µόνο οι ακτίνες σ i των RF περιοχών θα ανανεωθούν, όµως τα κέντρα w i αυτών των RF περιοχών θα µείνουν αµετάβλητα. Έτσι, µπορεί να χρειαστεί αρκετά µεγάλο χρονικό διάστηµα, προτού οι RF περιοχές θα καλύψουν το χώρο εισόδου µε έναν «δίκαιο» τρόπο, και αυτό είναι ιδιαίτερα αισθητό όταν τα βάρη των νευρώνων αρχικοποιούνται µε τιµές οι οποίες είναι έξω από τις τιµές της κατανοµής εισόδου. Για να διορθωθεί το προηγούµενο µειονέκτηµα, αναπτύχθηκε ένα περισσότερο αποτελεσµατικό υπολογιστικά σύστηµα εκµάθησης. Ο αλγόριθµός αυτού του συστήµατος εκµάθησης σε µορφή ψευδοκώδικα (Α.3) δίνεται στο Παράρτηµα Α. Στον αλγόριθµό αυτό παρουσιάζονται δύο απλοποιήσεις : 1) Πρώτη απλοποίηση : αντί να εφαρµοστούν η συναρτήσεις γειτονιάς όλων των ενεργών νευρώνων σε όλα τα ενεργά και µη ενεργά νευρόνια, η συνάρτηση γειτονιάς εφαρµόζεται µόνο 47

48 σε όλα τα µη ενεργά νευρόνια j, όµως αποκλειστικά σε σχέση µε τον ενεργό νευρώνα-νικητή i * για τον οποίο η Ευκλείδεια απόσταση µεταξύ του προτύπου εισόδου v και του κέντρου w i* της RF περιοχής του στην οποία ανήκει το πρότυπο αυτό είναι η µικρότερη : ( ) w = γ µ Λ ( j, i *, σ ) Ξ ( v µ ) Sgn ( v µ w ) j v Μ Λ i* j Οι ενεργοί νευρώνες i ανανεώνονται µε τη µέγιστη συνεισφορά της γειτονικής συνάρτησης : µ w ) Sgn ( v µ i = γ v Μ Ξ i ( v µ w i ) ( ) Ως αποτέλεσµα, η δυναµική των βαρών θα είναι λίγο διαφορετική όταν η συνάρτηση γειτονιάς θα είναι παρούσα, όµως η δυναµική αυτή θα είναι ακριβώς η ίδια όταν η συνάρτηση γειτονιάς θα εξαφανιστεί στο τέλος της εκπαίδευσης. 2) εύτερη απλοποίηση : για να επιταχύνουµε την διαδικασία εκπαίδευσης, πάντα ανανεώνουµε την ακτίνα τουλάχιστον ενός νευρώνα i *, ο οποίος είναι ο νευρώνας µε την ελάχιστη Ευκλείδεια απόσταση µεταξύ του προτύπου εισόδου v και του κέντρου w i* της RF περιοχής, ανεξάρτητα από το γεγονός αν αυτός ο νευρώνας είναι ενεργός ή όχι, όµως η ανανέωση της ακτίνας σ i της RF περιοχής ακόµη εξαρτάται από την κατάσταση ενεργοποίησης. Έτσι όταν τα αρχικά βάρη αρχικοποιούνται µε όλες τις τιµές να είναι έξω από την περιοχή η οποία καλύπτεται από την κατανοµή του χώρου εισόδου, τότε οι ακτίνες των πιο αποµακρυσµένων νευρώνων θα αυξάνονται στο µέγεθος µέχρι τα πρότυπα εισόδου να βρεθούν στην περιοχή της ακτίνας, εποµένως το γεγονός αυτό θα ενεργοποιήσει εκείνους τους νευρώνες και θα οδηγήσει στις ανανεώσεις του κέντρου της RF περιοχής. Με τον αντίστοιχο τρόπο, όταν τα αρχικά βάρη δεν καλύπτονται ολοκληρωτικά, αλλά τµηµατικά από την κατανοµή του χώρου εισόδου, τότε πρώτα τα κέντρα των RF περιοχής των πιο αποµακρυσµένων νευρώνων θα ανανεωθούν στην κατεύθυνση των ακάλυπτων τµηµάτων της κατανοµής του χώρου εισόδου. 48

49 7.2.5 ΕΠΙΛΟΓΗ ΤΩΝ ΠΑΡΑΜΕΤΡΩΝ Ρυθµός Μάθησης Ο ρυθµός µάθησης γ πρέπει να είναι αρκετά µικρός, έτσι ώστε τα µέσα RF κέντρα στη σύγκληση να αναπαριστούν το σταθµ ικό µέσο ( weighted medians ) των προτύπων εισόδου οι οποίοι ενεργοποιούν τους αντίστοιχους νευρώνες και οι µέσες ακτίνες να ενεργοποιούν αυτούς τους νευρώνες µε έναν ισοπίθανο τρόπο. Όµως, αφού οι RF περιοχές µεταβάλλονται ( επειδή και τα κέντρα και οι ακτίνες τους ανανεώνονται ), τότε και το σύνολο των προτύπων εισόδου, τα οποία µπορούν να ενεργοποιήσουν έναν συγκεκριµένο νευρώνα i σε µία συγκεκριµένη χρονική στιγµή t, παραδείγµατος χάριν { v v S i ( t )}, µπορεί να µεταβάλλεται συνέχεια. Για αυτό το λόγο, ο µέσος όρος του συνόλου όλων των προτύπων εισόδου τα οποία µπορούν να ενεργοποιήσουν τον νευρώνα i, για παράδειγµ α σε κάποιο ορισµένο χρονικό διάστηµα, µπορεί να µην αντιστοιχεί στο µέσο RF κέντρο. Το ίδιο ισχύει και για την ακτίνα. Εποµένως, ο ρυθµός µάθησης γ πρέπει να είναι αρκετά µικρός για να είναι η µέση διαφορά µεταξύ του µέσου όρου του συνόλου των προτύπων εισόδου και του µέσου RF κέντρου µικρότερη από το µέγεθος των διακυµάνσεων γύρω από αυτήν την µέση διαφορά. Περιµένουµε να συµβεί αυτό, όταν ο ρυθµός µάθησης γ, τουλάχιστον ως µέγεθος, είναι µικρότερος από την µικρότερη ακτίνα όλων των RF περιοχών : µε αυτόν τον τρόπο, το σύνολο όλων των προτύπων εισόδου τα οποία ενεργοποιούν έναν συγκεκριµένο νευρώνα, σε µεγάλο βαθµό, θα αντιστοιχεί στο σύνολο των προτύπων τα οποία βρίσκονται στην µέση RF περιοχή, και το µέσο RF κέντρο θα συµφωνεί µε το µέσο του συνόλου προτύπων. Σηµειώνεται ότι η µέση διαφορά και το µέσο µέγεθος των διακυµ άνσεων µπορούν να επαληθευθούν πειραµατικά. Scale Συντελεστής ρ 49

50 Όπως σηµειώθηκε προηγουµένως, µε ρ και ρ r στην πραγµ ατικότητα επιβάλλουµε έναν περιορισµό οµαλότητας, δηλαδή εκφράζουµε µε τον συντελεστή αυτό τον βαθµό επικάλυψης µεταξύ των RF περιοχών. Στην πραγµατικότητα είναι πολύ χρήσιµό το έξης : έστω ότι P i είναι η πιθανότητα του ότι ο νευρώνας i είναι ενεργός, επίσης θεωρούµε τον batch τρόπο εκµάθησης και χρησιµοποιούµε ένα σύνολο Μ προτύπων εισόδου και, σύµφωνα µε την προσοµοίωση, που έδειξε ότι χρειαζόµαστε 30 πρότυπα εισόδου ανά νευρώνα για να αναπτύξουµε το RF κέντρο και την ακτίνα του µε ικανοποιητικό τρόπο, τότε µπορούµε να ορίσουµε τον scale συντελεστή ως εξής : ρ = Ν P i Ν ( 30 / Μ ). ( ) Παρακάτω παρουσιάζεται ένας τύπος επιλογής του scale συντελεστή ρ : ρ max ( 1, Ν ( 30 / Μ ) ). ( ) Παραδείγµατος χάριν, για ένα πλέγµα Ν = = 576 νευρώνων και Μ = 900 προτύπων εισόδου, έχουµε ρ 19. Αν Μ = , τότε ρ = 1. Επίσης δίνοντας το µέγεθος του συνόλου των προτύπων εισόδου, δηλαδή τον αριθµό Μ, και τον απαιτούµενο βαθµό επικάλυψης ρ µπορούµε να εκτιµήσουµε το µέγεθος του πλέγµατος Ν. ΚΕΦΑΛΑΙΟ 8 ο Εφαρµογή του Αλγορίθµου kmer σε Αποκρίσεις του Εγκεφάλου 8.1 ΕΙΣΑΓΩΓΗ Ο εγκέφαλος είναι το πιο σύνθετο σύστηµα [4] από το οποίο µ πορούµε να καταγράψουµε σήµατα. Ο εγκέφαλος θεωρείται ως ένα επεκτεινόµενο δυναµικό σύστηµα µε την ικανότητα της αυτόοργάνωσης όχι µόνο στην απόκριση στα ερεθίσµατα που έρχονται από εξωτερικό περιβάλλον, αλλά και κατά τη διάρκεια των εσωτερικά προκαλούµενων γεγονότων όπως αλλαγή σχεδιασµού ή µετατόπιση της προσοχής. 50

51 Ένα σήµα οπτικού προκλητού δυναµικού προέρχεται από ερεθισµό που δέχεται το οπτικό πεδίο στον εγκέφαλο του υποκειµένου και παρατηρείται µέσω ηλεκτροεγκεφαλογραφήµατος. Οι αποκρίσεις του εγκεφάλου καταγράφονται κατά την επανειληµµένη εφαρµογή των καλά ελεγχόµενων ερεθισµάτων σε υποκείµενα ή όταν τα υποκείµενα εκτελούν επανειληµµένα συλλογιστικές διεργασίες. Τα σήµατα από µια τέτοια διαδικασία αποτελούν τις αποκρίσεις απλών µετρήσεων ( single trial ) του εγκεφάλου. Στην ηλεκτροεγκεφαλογραφική καταγραφή ( EEG ) αυτά τα σήµατα αντικατοπτρίζουν τις µεταβολές του ηλεκτρικού δυναµικού οι οποίες µετρούνται στο κρανίο και αλλαγές αυτές αποδίδονται στην συντονισµένη δράση των χιλιάδων νευρώνων. Στη µαγνητοεγκεφαλογραφική καταγραφή ( MEG ), τα single trial σήµατα αντικατοπτρίζουν τις αλλαγές στα αντίστοιχα µαγνητικά πεδία που µετρούνται γύρω από το κρανίο. Στην παρούσα εργασία θα χρησιµοποιήσουµε MEG δεδοµένα, τα οποία είναι αποκρίσεις εγκεφάλου σε ερέθισµα. Στο παραπάνω πείραµα ως οπτικό ερέθισµα χρησιµοποιήθηκε [5] αναβοσβηνόµενη κυκλική σκακιέρα σε ένα οµοιόµορφο γκρι φόντο. Στην εκµαίευση MEG δεδοµένων συµµετείχαν δύο εθελοντικά υποκείµενα ηλικίας 25 και 27 ετών. Τα υποκείµενα βρίσκονταν σε απόσταση 56 εκατοστών από µια LCD οθόνη στην οποία εµφανιζόταν το ερέθισµα κυκλική σκακιέρα. Τα MEG σήµατα, δηλαδή οι αποκρίσεις εγκεφάλου, καταγράφονταν από Omega βιοµαγνητόµετρο µε 151 κανάλια χρησιµοποιώντας µαγνητοεγκεφαλογραφικό κράνος, το οποίο καλύπτει όλο το κεφάλι του υποκείµενου. Τα MEG σήµατα καταγράφονταν µε συχνότητα δειγµατοληψίας ίση µε 650 Hz. Το χρονικό διάστηµα της καταγ ραφής σηµάτων έχει τα εξής όρια : από -100 ms µέχρι 200 ms. Η εφαρµογή του kmer αλγορίθµου θα πραγµ ατοποιηθεί πάνω σε τέτοια δεδοµένα και ο σκοπός είναι η εκπαίδευση του νευρωνικού δικτύου µε τα MEG δεδοµένα που καταγράφηκαν στο πείραµα, δηλαδή εφαρµογή αποκρίσεων του εγκεφάλου που προέκυψαν από την παρουσίαση των ερεθισµάτων στα υποκείµενα. Στη συνέχεια ο αλγόριθµός τροφοδοτείται µε δεδοµένα που καταγράφηκαν παρακολουθώντας τη λειτουργία του εγκεφάλου των υποκειµένων χωρίς να παρουσιαστούν στα υποκείµενα ερεθίσµατα 51

52 τα οποία χρησιµοποιήθηκαν στο πείραµα. Συγκρίνοντας τα αποτελέσµατα που θα µας ο αλγόριθµος σε δυο παραπάνω περιπτώσεις, θα εξαχθούν αντίστοιχα συµπεράσµατα. 8.2 ΑΝΑΛΥΣΗ ΤΩΝ Ε ΟΜΕΝΩΝ ΕΙΣΟ ΟΥ ΣΤΟΝ ΑΛΓΟΡΙΘΜΟ Τα MEG δεδοµένα που έχουµε στην κατοχή µας απαρτίζονται από δύο σύνολα A_STs και B_STs όπου κάθε σύνολο αντιστοιχεί στα δύο υποκείµενά µας και περιέχουν 96 και 101 διανύσµατα ( patterns ) αντίστοιχα. Κάθε ένα από αυτά τα patterns περιέχει 189 δείγµατα, δηλαδή κάθε pattern αποτελείται από 189 µετρήσεις που αντικατοπτρίζουν τη λειτουργία του εγκεφάλου κατά την παρουσίαση ερεθισµάτων στα υποκείµενα µέσα σε ένα χρονικό διάστηµα. Στα παρακάτω σχήµατα ( Σχήµα και Σχήµα ) παρουσιάζονται οι αποκρίσεις του εγκεφάλου των δύο υποκειµένων αντίστοιχα µε παρουσίαση των ερεθισµάτων. Σχήµα Αποκρίσεις του εγκεφάλου του πρώτου υποκειµένου µε παρουσίαση των ερεθισµάτων 52

53 Σχήµα Αποκρίσεις του εγκεφάλου του δεύτερου υποκειµένου µε παρουσίαση των ερεθισµάτων Στο Σχήµα µπορούµε να παρατηρήσουµε τη διαφορά των αποκρίσεων του εγκεφάλου των δύο υποκειµένων µε παρουσίαση των ερεθισµάτων, όπου τα σήµατα σε µπλε χρώµα είναι οι αποκρίσεις του εγκεφάλου του πρώτου υποκειµένου και τα σήµατα σε πράσινο χρώµα είναι οι αποκρίσεις του εγκεφάλου του δεύτερου υποκειµένου. Ο αλγόριθµος δε θα τροφοδοτηθεί µε όλες τις µετρήσεις, δηλαδή µε διανύσµατα µεγέθους 189, επειδή όλες οι µετρήσεις δεν αντιπροσωπεύουν την πραγµατική απόκριση. Υπάρχει δραστηριότητα πριν και µετά το ερέθισµα, την οποία εµείς δεν θα τη λάβουµε υπόψη, θεωρώντας ότι δεν µας χρειάζεται στην εξαγωγή του αποτελέσµατος. 53

54 Σχήµα Αποκρίσεις του εγκεφάλου των δύο υποκειµένων µε παρουσίαση των ερεθισµάτων Στο παρακάτω σχήµα ( Σχήµα ) απεικονίζεται ο µέσος των τριών συνόλων δεδοµένων, δηλαδή των αποκρίσεων του εγκεφάλου του πρώτου υποκειµένου ( A_STs σε µπλε χρώµα ), των αποκρίσεων του εγκεφάλου του δεύτερου υποκειµένου ( Β_STs σε πράσινο χρώµα ) και το σύνολο ( AΒ_STs σε µοβ χρώµα ) που είναι οι αποκρίσεις των δύο οµάδων A_STs και Β_STs. Όπως φαίνεται στο σχήµα την χρονική στιγµή t = 70 msec έχουµε έναν αισθητό παλµό, ο οποίος είναι σηµαντικά µεγαλύτερος από τις υπόλοιπες αποκρίσεις του εγκεφάλου. Εποµένως, θα εξετάσουµε ένα σύνολο µετρήσεων γύρω από αυτόν τον παλµό. Συνεπώς επιλέγουµε µια περιοχή, η οποία θα περιέχει τον ζητούµενο παλµό στην t = 70 msec και θα αποτελείται από 100 µετρήσεις, δηλαδή ο αλγόριθµος θα τροφοδοτείται µε διανύσµατα µεγέθους [1 100] και θα περιέχει τις µετρήσεις από τη χρονική στιγµή t = - 20 msec µέχρι τη χρονική στιγµή t = 120 msec. Η ζητούµενη περιοχή απεικονίζεται στο παρακάτω σχήµα ( Σχήµα ) 54

55 Σχήµα Μέσοι όροι των τριών συνόλων σηµάτων A_STs, B_STs, AB_STs Σχήµα Ζητούµενη περιοχή, η οποία περιέχει τις αποκρίσεις του εγκεφάλου των υποκειµένων κατά την παρουσίαση του ερεθίσµατος 55

56 8.3 ΕΠΙΛΟΓΗ ΠΑΡΑΜΕΤΡΩΝ ΓΙΑ ΤΗΝ ΑΛΓΟΡΙΘΜΙΚΗ ΙΑ ΙΚΑΣΙΑ Για τον kmer αλγόριθµο, τον οποίο θα χρησιµοποιήσουµε στην παρούσα εργασία, θα πρέπει πρώτα να ορίσουµε το µέγεθος του νευρωνικού δικτύου. Το ζητούµενο µέγεθος υπολογίζεται χρησιµοποιώντας τον τύπο ( ), όπου N είναι ο αριθµός των νευρώνων που θα σχηµατίσουν το νευρωνικό δίκτυο, Μ είναι ο αριθµός των patterns µε τα οποία θα τροφοδοτήσουµε το δίκτυο και ρ είναι ο scale συντελεστής, ο οποίος θα ισούται µε δύο. Από τον παραπάνω τύπο προκύπτει ότι ο Ν ισούται : επειδή ρ = 2 θα έχουµε Ν = ( ρ Μ ) / 30, Ν = ( 2 Μ ) / 30, όπου Μ = = 197 διανύσµατα εισόδου. Εποµένως Ν = ( ) / 30 = 13,133. Το πλέγµα του νευρωνικού δικτύου µπορεί να είναι µονοδιάστατο ή δυσδιάστατο. Στην πρώτη περίπτωση µιλάµε για ένα νευρωνικό δίκτυο, όπου οι νευρώνες τοποθετούνται στη σειρά, δηλαδή έχουµε µια γραµµή πάνω στην οποία βρίσκονται οι Ν νευρώνες του νευρωνικού δικτύου. Στην δεύτερη περίπτωση το πλέγµα του νευρωνικού δικτύου µπορεί να έχει είτε τετραγωνική είτε εξαγωνική µορφή. Και στις δύο περιπτώσεις ο αριθµός των νευρώνων Ν ικανοποιεί την εξίσωση : n n = N, (8.3.1) όπου n είναι το πλήθος των νευρώνων στον οριζόντιο και κατακόρυφο άξονα του πλέγµατος του νευρωνικού δικτύου. Στρογγυλοποιώντας τον αριθµό Ν = 13,133 στον πλησιέστερο ακέραιο αριθµό, ο οποίος θα ικανοποιεί τον τύπο (8.3.1), παίρνουµε Ν = 16, όπου n = 4, δηλαδή έχουµε ένα νευρωνικό δίκτυο µεγέθους [ 4 4 ] µε τέσσερις νευρώνες στον οριζόντιο και κατακόρυφο άξονα του πλέγµατος. Τον ίδιο αριθµό νευρώνων παίρνουµε και γ ια το µονοδιάστατο πλέγµα του νευρωνικού δικτύου, δηλαδή το µέγεθός του θα είναι [ 1 16 ]. 56

57 Η επόµενη παράµετρος που πρέπει να ορίσουµε είναι ο ρυθµός µάθησης του νευρωνικού δικτύου. Η αναφορά στο ρυθµό µ άθησης γίνεται στην παράγραφο Τέλος, το µέγεθος του ρυθµού µάθησης ορίζεται να είναι ίσο µε 0,05. Μετά από την διαδικασία επιλογής παραµέτρων του νευρωνικού δικτύου και του αλγορίθµου, συνεχίζουµε µε την τροφοδότηση του νευρωνικού δικτύου µε τα δεδοµένα εισόδου και τα αποτελέσµατα αυτής της διαδικασίας παρουσιάζονται στην επόµενη παράγραφο. 8.4 ΑΠΟΤΕΛΕΣΜΑΤΑ ΤΗΣ ΑΛΓΟΡΙΘΜΙΚΗΣ ΙΑ ΙΚΑΣΙΑΣ Μονοδιάστατο πλέγµα νευρωνικού δικτύου µεγέθους [ 1 16 ] Η αλγοριθµική διαδικασία ξεκινάει µε την εκπαίδευση του νευρωνικού δικτύου µε τις αποκρίσεις του εγκεφάλου των υποκειµένων κατά την παρουσίαση σε αυτούς του ερεθίσµατος. Όπως αναφέρθηκε προηγουµένως το σύνολο των δεδοµένων εκπαίδευσης είναι οι 100 µετρήσεις γύρω από το παλµό του σύνολου AB_STs, τ ο οποίο αποτελείται από τις αποκρίσεις A_STs και B_STs των δύο υποκειµένων αντίστοιχα. Τα δεδοµένα εκπαίδευσης του αλγορίθµου φαίνονται στο παρακάτω σχήµα : Σχήµα εδοµένα εκπαίδευσης του αλγορίθµου 57

58 Η αρχικοποίηση των 16 νευρώνων του νευρωνικού δικτύου πραγµατοποιείται µε την τυχαία επιλογή των 16 διανυσµάτων από το σύνολο των 197 διανυσµάτων εκπαίδευσης. Οι αρχικές τιµές των 16 νευρώνων απεικονίζονται στο παρακάτω σχήµα µε κύκλους σε πράσινο χρώµα : Σχήµα Αρχικά βάρη των 16 νευρώνων του νευρωνικού δικτύου µεγέθους [ 1 16 ] Η εκπαίδευση του νευρωνικού δικτύου πραγµατοποιήθηκε µετά από τις 6000 επαναλήψεις του αλγορίθµου. Ως αποτέλεσµα της διαδικασίας εκπαίδευσης πήραµε τα καινούρια βάρη των 16 νευρώνων, τα οποία απεικονίζονται στο Σχήµα µε µαύρο σταυρό. Στο Σχήµα µε κύκλους σε µπλε χρώµα απεικονίζονται οι ακτίνες των 16 νευρώνων µετά την εκπαίδευση του νευρωνικού δικτύου. Όπως φαίνεται στο σχήµα, το µέγεθος των ακτινών είναι διαφορετικό, το οποίο αποδεικνύει την σωστή ροή της διαδικασίας εκπαίδευσης του νευρωνικού δικτύου, επειδή αρχικά όλες οι ακτίνες είχαν το ίδιο µέγεθος ίσο µε µονάδα. 58

59 Σχήµα Ανανεωµένα βάρη των 16 νευρώνων µετά από την διαδικασία εκπαίδευσης Σχήµα Ανανεωµένες ακτίνες των 16 νευρώνων µετά από την διαδικασία εκπαίδευσης 59

60 Στο παρακάτω σχήµα παρουσιάζουµε τη ρίζα του µέσου τετραγωνικού σφάλµατος ( the root mean square error, RMSE ), η οποία δείχνει τη αθροιστική µέση διαφορά της επιθυµητής πιθανότητας ενεργοποίησης κάθε νευρώνα και της πραγµατικής πιθανότητας ενεργοποίησής του ανά νευρώνα για κάθε επανάληψη του αλγορίθµου. Απαιτείται η ελαχιστοποίηση της RMSE και αυτό εξηγείται µε το να τείνει η πραγµατική πιθανότητα ενεργοποίησης κάθε νευρώνα στην επιθυµητής πιθανότητας ενεργοποίησης. Αυτό σηµαίνει ότι στοχεύουµε στην ισοπίθανη ενεργοποίηση κάθε από τους 16 νευρώνες του νευρωνικού δικτύου. Σχήµα Ρίζα του µέσου τετραγωνικού σφάλµατος ( συνάρτηση RMSE ) Παρακάτω παρουσιάζουµε τα αποτελέσµατα της διαδικασίας εκπαίδευσης του νευρωνικού δικτύου, δηλαδή αναφέρουµε την επιθυµητή πιθανότητα ενεργοποίησης των νευρώνων, η οποία ισούται µε 0,0625, πραγµατικές πιθανότητες ενεργοποίησης κάθε νευρώνα και την συνολική πιθανότητα ενεργοποίησης των 16 νευρώνων του δικτύου, η οποία ισούται µε 1.0 : 60

61 The desired activation probability for each neuron is e-002 The probability of the 1th neuron to be activated is e-002 The probability of the 2th neuron to be activated is e-002 The probability of the 3th neuron to be activated is e-002 The probability of the 4th neuron to be activated is e-002 The probability of the 5th neuron to be activated is e-002 The probability of the 6th neuron to be activated is e-002 The probability of the 7th neuron to be activated is e-002 The probability of the 8th neuron to be activated is e-002 The probability of the 9th neuron to be activated is e-002 The probability of the 10th neuron to be activated is e-002 The probability of the 11th neuron to be activated is e-002 The probability of the 12th neuron to be activated is e-002 The probability of the 13th neuron to be activated is e-002 The probability of the 14th neuron to be activated is e-002 The probability of the 15th neuron to be activated is e-002 The probability of the 16th neuron to be activated is e-002 The sum of all probabilities is e+000 Στο επόµενο βήµα, δηλαδή µετά την εκπαίδευση του νευρωνικού δικτύου, τροφοδοτούµε το δίκτυο µε τα σήµατα sbn_sts τα οποία είναι οι αποκρίσεις του εγκεφάλου των υποκειµένων, όµως χωρίς παρουσίαση του ερεθίσµατος. Στην κατοχή µας έχουµε 144 τέτοια σήµατα µεγέθους 188, όπου από τις 188 µετρήσεις παίρνουµε 100 τιµές για την εξαγωγή αποτελεσµάτων. Στο Σχήµα παρουσιάζουµε το σύνολο αυτών των αποκρίσεων. Στο επόµενο σχήµα ( Σχήµα ) απεικονίζεται ο µέσος όρος των 144 σηµάτων του sbn_sts συνόλου. Παρατηρούµε την απουσία του παλµού την χρονική στιγµή t = 70 msec, όπου το γεγονός αυτό επιβεβαιώνει την καταγραφή της λειτουργίας του εγκεφάλου χωρίς την παρουσίαση του ερεθίσµατος στα υποκείµενα. Στη συνέχεια θα συγκρίνουµε τα αποτελέσµατα των δύο περιπτώσεων, δηλαδή τα αποτελέσµατα ενεργοποιήσεων των νευρώνων σε περίπτωση σηµάτων µε ερέθισµα και σε περίπτωση σηµάτων χωρίς ερέθισµα. 61

62 Σχήµα Αποκρίσεις του εγκεφάλου των υποκειµένων χωρίς παρουσίαση του ερεθίσµατος Σχήµα Μέσος όρος των σηµάτων του συνόλου sbn_sts ( αποκρίσεις του εγκεφάλου χωρίς ερέθισµα ) 62