Ενότητα 5. Αναγνώριση Προτύπων και Νευρωνικά Δίκτυα. Θεόδωρος Αλεξόπουλος Αικατερίνη Τζαμαριουδάκη

Transcript

1 Σχολή Εφαρμοσμένων Μαθηματικών και Φυσικών Επιστημών Εθνικό Μετσόβιο Πολυτεχνείο Αναγνώριση Προτύπων και Νευρωνικά Δίκτυα Ενότητα 5 Θεόδωρος Αλεξόπουλος Αικατερίνη Τζαμαριουδάκη

2 Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Crea%ve Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άδεια χρήσης άλλου τύπου, αυτή πρέπει να αναγράφεται ρητώς.

3 5 Πολυστρωµατικά Νευρωνικά ίκτυα 5.1 Πιθανολογικά Νευρωνικά ίκτυα (ΠΝ Μια εφαρµογή των παραθύρων Parzen ϐρίσκεται στα πιθανολογικά νευρωνικά δίκτυα (σχήµα 5.1 Ας ϑεωρήσουµε ότι επιθυµούµε µια Parzen εκτίµηση που ϐασίζεται σε n πρότυπα (patterns, d-διαστάσεων, που είναι τυχαία δείγµατα από c κλάσεις. Το ΠΝ σε αυτή την περίπτωση αποτελείται από d-µονάδες εισόδου (input units που αποτελούν το στρώµα εισόδου (input layer, και κάθε µονάδα συνδέεται µε καθεµία από τις µονάδες προτύπων (pattern units και κάθε µονάδα προτύπων µε τη σειρά της συνδέεται µε µία και µόνο µία από τις c µονάδες ταξινόµησης. Οι συνδέσεις από την είσοδο στις µονάδες προτύπων εκφράζουν ϐάρη (weights, οι τιµές των οποίων αλλάζουν και τα οποία εκπαιδεύονται. Το ΠΝ εκπαιδεύεται µε τον ακόλουθο τρόπο. Αρχικά, κάθε πρότυπο x του δείγµατος που χρησιµοποιείται για εκπαίδευση κανονικοποιείται στη µονάδα, ώστε d i=1 x2 i = 1. Το πρώτο κανονικοποιηµένο πρότυπο εκπαίδευσης τοποθετείται στις µονάδες εισόδου. Τα ϐάρη που συνδέουν τις µονάδες εισόδου και την πρώτη µονάδα προτύπων ϑέτονται έτσι ώστε w 1 = x 1 (οπότε τα w 1 είναι επίσης κανονικοποιηµένα. Κατόπιν, συνδέεται η πρώτη µονάδα προτύπων µε τη µονάδα ταξινόµησης που αντιστοιχεί στη γνωστή κλάση αυτού του προτύπου. Η διαδικασία επαναλαµβάνεται µε καθένα από τα υπολοιπόµενα πρότυπα, ϑέτοντας τα ϐάρη στις διαδοχικές µονάδες προτύπων, έτσι ώστε w k = x k για k = 1, 2,..., n. Μετά από αυτή την εκπαίδευση το δίκτυο που προκύπτει έχει πλήρη σύνδεση µεταξύ των µονάδων εισόδου και των µονάδων των προτύπων, και σποραδική σύνδεση από τις µονάδες των προτύπων στις µονάδες ταξινόµησης. ηλώνοντας τις συνιστώσες του προτύπου j ως x jk και τα ϐάρη προς την j-οστή µονάδα των προτύπων ως w jk για j = 1, 2,..., n και k = 1, 2,..., d, τότε ο αλγόριθµος είναι : Αλγόριθµος 1 (ΠΝ εκπαίδευση j = 0, n = αριθµός των προτύπων για j j + 1 κανονικοποίηση : x jk x jk εκπαίδευση w jk x jk αν x ω i Τότε a ic 1 έως j = n ( d i x2 ji 1/2 κατηγορία 1 2 C πρότυπο n είσοδος x 1 x 2 x d Σχήµα 5.1: Το πιθανολογικό νευρωνικό δίκτυο αποτελείται από d µονάδες εισόδου, n µονάδες προτύπων και c µονάδες ταξινόµησης. Κάθε µια από τις µονάδες προτύπων ϕτιάχνει το εσωτερικό γινόµενο του διανύσµατος ϐάρους της και του κανονικοποιηµένου διανύσµατος του προτύπου x, z = w t x και δίνει exp [ (z 1/σ 2]. Κάθε µονάδα ταξινόµησης αθροίζει αυτές τις συνεισφορές από τη µονάδα των προτύπων µε την οποία συνδέεται.

4 168 Πολυστρωµατικά Νευρωνικά ίκτυα Το εκπαιδευµένο δίκτυο χρησιµοποιείται για ταξινόµηση ως εξής : Ενα κανονικοποιηµένο test πρότυπο τοποθετείται στις µονάδες εισόδου. Κάθε µονάδα προτύπων υπολογίζει το εσωτερικό γινόµενο z k = wk t x και δίνει µια µη γραµµική συνάρτηση του z k. Κάθε µονάδα εξόδου προσθέτει τις συνεισφορές από όλες τις µονάδες των προτύπων που συνδέονται µε αυτήν. Η µη γραµµική συνάρτηση είναι e (z k 1/σ 2, όπου σ είναι µια παράµετρος που ορίζεται από το χρήστη και είναι 2 επί το εύρος του παραθύρου της γκαουσιανής. Για να καταλάβει κάποιος αυτή την επιλογή της µη γραµµικότητας, ας ϑεωρήσουµε ένα γκαουσιανό παράθυρο κεντραρισµένο στη ϑέση ενός από τα πρότυπα εκπαίδευσης w k. Από την επιθυµητή συνάρτηση γκαουσιανού παραθύρου ϑα εξάγουµε τη µη γραµµική συνάρτηση µεταφοράς (transfer function που ϑα χρησιµοποιηθεί από τις µονάδες προτύπων. Η συνάρτηση παραθύρου είναι ( xk w k ϕ e (x w k t (x w k /2σ 2 h n }{{} επιθυµητή γκαουσιανή ( xk w k ϕ e (xt x+w t k w k 2x t w k /2σ 2 = e (2k 1/σ2 h n }{{}, (5.1.1 συνάρτηση µεταφοράς όπου χρησιµοποιήθηκαν οι συνθήκες κανονικοποίησης x t x = wk t w k = 1. Ετσι, κάθε µονάδα προτύπων έχει συνεισφορά στη µονάδα ταξινόµησης µε την οποία συνδέεται ίση µε την πιθανότητα το test σηµείο να έγινε από µια γκαουσιανή µε κέντρο το συνδεόµενο σηµείο εκπαίδευσης. Το άθροισµα δίνει τη συνάρτηση διάκρισης (discriminant function g i (x την εκτίµηση της κατανοµής µε ϐάση τα παράθυρα Parzen. Το max i g i (x δίνει την επιθυµητή κλάση για το σηµείο µας. Αλγόριθµος 2 (ΠΝ ταξινόµηση k = 0, x = test πρότυπο για k k + 1 z k w t k x αν a kc = 1 τότε g c g c + exp [ (z k 1/σ 2] έως ότου k = n κλάση arg max i g i (x Ενα πλεονέκτηµα των ΠΝ είναι η ταχύτητα εκµάθησης, αφού ο κανόνας εκµάθησης (πχ. ϑέτοντας w k = x k είναι απλός και απαιτεί ένα µόνο πέρασµα από τα δεδοµένα εκπαίδευσης. Τα n εσωτερικά γινόµενα γίνονται όλα παράλληλα, αλλά χρειάζεται πολύ µνήµη, παράγοντας που µπορεί να είναι απαγορευτικός για την περίπτωση που n και d είναι αρκετά µεγάλα. 5.2 Πολυστρωµατικά Νευρωνικά ίκτυα Στα προηγούµενα παρουσιάστηκαν µέθοδοι για εκπαίδευση ταξινοµητών που αποτελούνται από µονάδες εισόδου που συνδέονται µε µεταβαλλόµενα ϐάρη µε τις µονάδες εξόδου. Συγκεκριµένα, ο αλγόριθµος (ΕΜΤ παρέχει µία σηµαντική µείωση του λάθους µέσω της µεθόδου της απότοµης πτώσης (gradient descent ακόµα και στην περίπτωση που τα χαρακτηριστικά δε διαχωρίζονται γραµµικά. Παρόλα αυτά υπάρχουν δυστυχώς πολλές περιπτώσεις όπου οι γραµµικές συναρτήσεις διάκρισης (linear discriminants δεν αρκούν για την επίτευξη του ελάχιστου δυνατού λάθους. Το ελάχιστο δυνατό λάθος µπορεί να επιτευχθεί µε καλή επιλογή µη γραµµικών συναρτήσεων ϕ. Σκοπός µας είναι να ϐρούµε ένα τρόπο να µάθουµε τη µη γραµµικότητα συγχρόνως µε τη γραµµική συνάρτηση διάκρισης. Αυτό γίνεται µε την προσέγγιση του προβλήµατος χρησιµοποιώντας νευρωνικά δίκτυα, όπου οι παράµετροι που χρησιµοποιούνται για τη µη γραµµική χαρτογράφηση µαθαίνονται συγχρόνως µε αυτές που προσδιορίζουν τη γραµµική συνάρτηση διάκρισης. Τα πολυστρωµατικά νευρωνικά δίκτυα ϐασίζονται στην εφαρµογή γραµµικών διευκρινιστών, αλλά σε ένα χώρο όπου οι είσοδοι είναι χαρτογραφηµένες µε µη γραµµικό τρόπο. Η ισχύς αυτών των δικτύων στηρίζεται στην εφαρµογή σχετικά απλών αλγορίθµων, όπου ο τύπος της µη γραµµικότητας µαθαίνεται από τα δεδοµένα που χρησιµοποιούνται για την εκπαίδευση. Μία από τις πιο δηµοφιλείς µεθόδους για την εκπαίδευση πολυστρω- µατικών νευρωνικών δικτύων ϐασίζεται στην τεχνική της απότοµης πτώσης για τη µείωση του λάθους και είναι ο αλγόριθµος της οπισθοδροµικής διάδοσης (backpropagation που αποτελεί επέκταση του αλγορίθµου EMT. 5.3 Feed forward operation Στο σχήµα (5.2 απεικονίζεται ένα νευρωνικό δίκτυο 3 στρωµάτων. Αυτό αποτελείται από ένα στρώµα εισόδου (input layer που έχει 2 µονάδες εισόδου, ένα «κρυφό στρώµα» µε 2 κρυφές µονάδες (hidden units. και ένα στρώµα εξόδου µε 1 µόνο µονάδα εξόδου. Οι µονάδες που δεν είναι ούτε µονάδες εισόδου ούτε µονάδες εξόδου αποκαλούνται «κρυφές», γιατί η ενεργοποίησή τους δε «ϕαίνεται» άµεσα από το εξωτερικό περιβάλλον - δηλαδή την είσοδο και την έξοδο οι διάφορες µονάδες του δικτύου συνδέονται µεταξύ τους (µόνο οι µονάδες διαδοχικών στρωµάτων µε ϐάρη τα οποία µπορούµε να µεταβάλουµε και που αναπαριστώνται στο σχήµα µε συνδέσεις µεταξύ των στρωµάτων. Επίσης υπάρχει µια µονάδα µεροληψίας (bias unit που συνδέεται µε κάθε µονάδα εκτός των µονάδων εισόδου. Η λειτουργία των µονάδων αυτών ϐασίζεται στις ιδιότητες των ϐιολογικών νευρώνων, και για αυτό αποκαλούνται συνήθως "νευρώνες". Το ενδιαφέρον µας επικεντρώνεται στη χρήση τέτοιων δικτύων για την αναγνώριση προτύπων,

5 5.3 Feed forward operation 169 όπου οι µονάδες εισόδου αντιπροσωπεύουν τις συνιστώσες ενός διανύσµατος χαρακτηριστικών (είτε προς εκµάθηση, είτε για να ταξινοµηθεί και τα σήµατα που εκπέµπονται από τις µονάδες εξόδου είναι συναρτήσεις διάκρισης που χρησιµοποιούνται για την ταξινόµηση. Ας χρησιµοποιήσουµε το exclusive-or (XOR πρόβληµα (σχήµα 6.2 για την περιγραφή της feedforward διαδικασίας, που ϑα λύσουµε µε τη χρήση ενός νευρωνικού δικτύου 3-στρωµάτων. Κάθε 2-διάστατο διάνυσµα εισόδου παρουσιάζεται στο στρώµα εισόδου, και η έξοδος κάθε µονάδας είναι η αντίστοιχη συνιστώσα του διανύσµατος. [ ] ] 5 5 N Z NM 5 ] [ M Z ML L [ [ Σχήµα 5.2: Το exclusive-or πρόβληµα λύνεται χρησιµοποιώντας ένα δίκτυο 3 στρωµάτων. Στο σχήµα ϕαίνεται και ο διδιάστατος χώρος των χαρακτηριστικών x 1 x 2, καθώς και τα 4 πρότυπα προς ταξινόµηση. Στο δίκτυο 3-στρωµάτων που παρουσιάζεται στο σχήµα οι µονάδες εισόδου είναι γραµµικές. Οι κρυφές µονάδες και οι µονάδες εξόδου είναι γραµµικές συναρτήσεις κατωφλίου. Τα ϑετικά ϐάρη παριστάνονται µε συµπαγείς γραµµές, ενώ τα αρνητικά ϐάρη µε διακεκοµµένες. Μέσα σε κάθε µονάδα υπάρχει ένα διάγραµµα εισόδου-εξόδου ή της συνάρτησης µεταφοράς f(net ως προς net. Αυτή η συνάρτηση είναι γραµµική για τις µονάδες εισόδου, σταθερή για τη µεροληψία (bias και συνάρτηση ϐήµατος (ή προσήµου για τις κρυφές µονάδες και τις µονάδες εξόδου. Αυτό το δίκτυο έχει τοπολογία 2-2-1, περιγράφοντας τον αριθµό των µονάδων (εκτός της µεροληψίας στα διαδοχικά στρώµατα. Κάθε κρυφή µονάδα υπολογίζει το άθροισµα (weighted sum των εισόδων της επί τα αντίστοιχα ϐάρη, ώστε να συγκροτίσει τη ϐαθµωτή ενεργοποίηση του δικτύου (net. Το αποτέλεσµα net j είναι το εσωτερικό γινόµενο των εισόδων µε τα ϐάρη που υπολογίζεται στην κρυφή µονάδα, δηλαδή net j = d x i w ji + w j0 = i=1 d x i w ji wjx, t (5.3.1 όπου ο δείκτης i χρησιµοποιείται για τις µονάδες του στρώµατος εισόδου, ο δείκτης j για τις µονάδες του κρυφού στρώµατος και τα w ji εκφράζουν τα ϐάρη εισόδου-κρυφού στρώµατος στην κρυφή µονάδα j. (Στη σχέση (5.3.1 έχουµε προσθέσει στις τιµές των χαρακτηριστικών την x 0 = 1 και στα διανύσµατα για τα ϐάρη το w 0 Τα ϐάρη αυτά ή οι συνδέσεις ονοµάζονται συχνά «συνάψεις» (synapses σε αναλογία µε τη νευροβιολογία. Κάθε κρυφή µονάδα εκπέµπει µία έξοδο που είναι µη γραµµική συνάρτηση της ενεργοποίησής της f(net Το συγκεκριµένο παράδειγµα δείχνει µια συνάρτηση κατωφλίου 1 αν net 0, f(net = 1 αν net < 0. i=0 y j = f(net j (5.3.2 (5.3.3 Η f(net συχνά ονοµάζεται συνάρτηση µεταφοράς και είναι αντίστοιχη της συνάρτησης ϕ της ( Αντίστοιχα, κάθε µονάδα εξόδου υπολογίζει την ενεργοποίηση του net k, ϐασιζόµενη στα σήµατα της κρυφής µονάδας n H n H net k = y j w kj + w k0 = y j w kj = wky, t (5.3.4 j=1 όπου ο δείκτης k χρησιµοποιείται για τις µονάδες στο στρώµα εξόδου και n H είναι ο αριθµός των κρυφών µονάδων. Κάθε µονάδα εξόδου υπολογίζει τη µη γραµµική συνάρτηση του δικτύου της και εκπέµπει j=0 z k = f(net k (5.3.5 Αυτά τα σήµατα εξόδου εκφράζουν τις διαφορετικές συναρτήσεις διάκρισης. Σε ένα τυπικό πρόβληµα έχουµε c µονάδες εξόδου και η απόφαση ταξινόµησης είναι να χαρακτηρίσει το πρότυπο εισόδου ϐασιζόµενη στο µέγιστο y k = g k (x. Σε ένα πρόβληµα µε δύο κατηγορίες όπως το XOR, συνήθως χρησιµοποιείται µία µόνο µονάδα εξόδου για να χαρακτηρίσει ένα πρότυπο από το πρόσηµο της εξόδου z. Το δίκτυο των 3-στρωµάτων µε τις τιµές για τα ϐάρη που αναφέρονται στο σχήµα, αποτελεί λύση του XOR προβλήµατος. Η κρυφή µονάδα που υπολογίζει το y 1 δρα σαν perceptron και υπολογίζει το σύνορο x 1 + x = 0. Ετσι, διανύσµατα εισόδου τα οποία

6 170 Πολυστρωµατικά Νευρωνικά ίκτυα πληρούν την x 1 + x δίνουν y 1 = 1, ενώ όλες οι άλλες είσοδοι δίνουν y 1 = 1. Κατά ανάλογο τρόπο η άλλη κρυφή µονάδα υπολογίζει το σύνορο x 1 + x και η έξοδος δίνει z 1 = +1 µόνο στην περίπτωση που και το y 1 και το y 2 έχουν τιµή Γενικευµένη διαδικασία feedforward Από το προηγούµενο παράδειγµα ϕαίνεται ότι µη γραµµικά πολυστρωµατικά νευρωνικά δίκτυα (που έχουν δηλαδή µονάδες εισόδου, κρυφές µονάδες και µονάδες εξόδου έχουν µεγαλύτερη υπολογιστική ή εκφραστική (expressive δυνατότητα από ότι παρόµοια δίκτυα χωρίς κρυφές µονάδες. Γενικεύοντας, για ταξινόµηση έχουµε c µονάδες εξόδου, µια για κάθε κλάση και το σήµα από καθεµία από τις µονάδες εξόδου είναι η συνάρτηση διάκρισης g k (x ( n H d g k (x z k = f w kj f w ji x i + w j0 + w k0 (5.3.6 j=1 Αυτή είναι η κατηγορία των συναρτήσεων που µπορούν να εφαρµοστούν από ένα νευρωνικό δίκτυο 3 στρωµάτων. Γενικά, µπορούµε να έχουµε διαφορετικές συναρτήσεις µεταφοράς στο στρώµα εξόδου από αυτές στο κρυφό στρώµα ή ακόµα και διαφορετικές συναρτήσεις σε κάθε µονάδα. i= υνατότητα έκφρασης και υπολογιστική δυνατότητα των πολυστρωµατικών δικτύων Το ερώτηµα είναι αν µπορούµε να εφαρµόσουµε οποιαδήποτε απόφαση από ένα δίκτυο 3 στρωµάτων. Μπορεί να αποδειχθεί ότι οποιαδήποτε συνεχής συνάρτηση από την είσοδο στην έξοδο µπορεί να εφαρµοστεί από ένα δίκτυο 3 στρωµάτων, αρκεί να έχει επαρκή αριθµό κρυφών µονάδων n H, κατάλληλες µη-γραµµικότητες και ϐάρη. Οποιεσδήποτε a posteriori πιθανότητες µπορούν να αντιπροσωπευτούν. Συγκεκριµένα, ο Kolmogorov απέδειξε ότι οποιαδήποτε συνεχής συνάρτηση g(x που έχει οριστεί στο µοναδιαίο υπερκύβο I n (I = [0, 1] και n 2 µπορεί να απεικονιστεί ως g(x = 2n+1 j=1 Ξ j ( d i=1 ψ ij (x i, (5.3.7 για κατάλληλα επιλεγµένες συναρτήσεις Ξ j και Ψ ij. Μπορούµε πάντα να αυξήσουµε ή να µειώσουµε την κλίµακα της περιοχής των εισόδων σε ένα υπερκύβο, ώστε η παραπάνω προϋπόθεση δεν είναι περιοριστική. Στην τερµινολογία των νευρωνικών δικτύων η εξίσωση (5.3.7 µπορεί να εκφραστεί ως : καθεµία από τις 2n + 1 κρυφές µονάδες παίρνει σαν είσοδο το άθροισµα από d µηγραµµικές συναρτήσεις, µία για κάθε χαρακτηριστικό εισόδου x i. Κάθε κρυφή µονάδα εκπέµπει µια µη-γραµµική συνάρτηση Ξ της συνολικής εισόδου της και η µονάδα εξόδου εκπέµπει το άθροισµα των συνεισφορών των κρυφών µονάδων. Η σχέση του ϑεωρήµατος του Kolmogorov µε τα νευρωνικά δίκτυα που χρησιµοποιούµε στην πράξη είναι σχετικά ισχνή. Οι συναρτήσεις Ξ j και ψ ij δεν είναι οµαλές και µπορεί να είναι εξαιρετικά περίπλοκες. Ενστικτωδώς µπορούµε να καταλάβουµε την δυνατότητα έκφρασης των δικτύων 3-στρωµάτων, ϐασιζόµενοι στο ϑεώρηµα του Fourier ότι οποιαδήποτε συνεχής συνάρτηση g(x µπορεί να προσεγγιστεί µε ένα άθροισµα αρµονικών συναρτήσεων. Μπορούµε να ϕανταστούµε δίκτυα όπου στις κρυφές µονάδες τους εφαρµόζονται αρµονικές συναρτήσεις και µε τα κατάλληλα ϐάρη που αντιστοιχούν στους συντελεστές στη σύνθεση Fourier, µπορεί να εφαρµοστεί η επιθυµητή συνάρτηση. Στην πραγµατικότητα δε χρειάζεται παρά ένας ικανοποιητικά µεγάλος αριθµός από εξογκώµατα «(bumps» σε διαφορετικές ϑέσεις των εισόδων, διαφορετικού πλάτους και προσήµου που µπορούν να συναθροιστούν κατά τέτοιο τρόπο ώστε να δώσουν την επιθυµητή συνάρτηση, όπως ϕαίνεται στο σχήµα Αλγόριθµος οπισθοδροµικής διάδοσης Είδαµε ότι οποιαδήποτε συνάρτηση από είσοδο σε έξοδο µπορεί να εφαρµοστεί σαν ένα νευρωνικό δίκτυο 3-στρωµάτων. Ας δούµε τώρα πώς µπορούµε να προσδιορίσουµε τα ϐάρη ϐασιζόµενοι στα πρότυπα εκµάθησης και ϕυσικά στο επιθυµητό αποτέλεσµα. Ο αλγόριθµος οπισθοδροµικής διάδοσης είναι µια από τις πιο απλές και συγχρόνως πιο γενικές µεθόδους για εποπτευόµενη εκπαίδευση πολυστρωµατικών νευρωνικών δικτύων, είναι η ϕυσική επέκταση του αλγορίθµου ελαχίστων µέσων τετραγώνων (ΕΜΤ για γραµµικά συστήµατα. Σε συστήµατα µε 2 στρώµατα, ο αλγόριθµος ΕΜΤ χρησιµοποιήθηκε για τον υπολογισµό του σφάλµατος στη µονάδα εξόδου. Το σφάλµα ήταν ανάλογο του τετραγώνου της διαφοράς µεταξύ του αποτελέσµατος που παίρνουµε στην έξοδο και του επιθυµητού αποτελέσµατος που επιδιώκουµε. Ανάλογη είναι η εξάρτηση της εξόδου και συνεπώς και του σφάλµατος από τα ϐάρη µεταξύ του κρυφού στρώµατος και του στρώµατος της εξόδου στην περίπτωση ενός νευρωνικού δικτύου 3 στρωµάτων. Συνεπώς και ο κανόνας εκµάθησης είναι ο ίδιος. Το ερώτηµα είναι πώς ϑα γίνει η εκµάθηση για τα ϐάρη µεταξύ του στρώµατος εισόδου και του κρυφού στρώµατος, αυτά τα ϐάρη που καθορίζουν το µη γραµµικό µετασχηµατισµό των διανυσµάτων εισόδου. Ο αλγόριθµος οπισθοδροµικής εκµάθησης δίνει τη δυνατότητα να υπολογίσουµε ένα σφάλµα για κάθε κρυφή µονάδα και συνεπώς να εξάγουµε ένα κανόνα εκµάθησης για τα ϐάρη µεταξύ του στρώµατος εισόδου και του κρυφού στρώµατος. Τα δίκτυα έχουν δύο κύριους τρόπους λειτουργίας : feed-forward και εκµάθηση. Κατά την πρώτη παρουσιάζεται ένα πρότυπο στις µονάδες εισόδου και τα σήµατα περνούν µέσω του δικτύου ώστε να δώσουν αποτελέσµατα στις µονάδες εξόδου. Κατά την εποπτευόµενη εκπαίδευση

7 5.4 Αλγόριθµος οπισθοδροµικής διάδοσης 171 ] \ \ \ \ [ [ Σχήµα 5.3: Ενα δίκτυο (µε µεροληψία και οι συναρτήσεις απόκρισης (response functions στις διάφορες µονάδες. Οι κρυφές µονάδες και οι µονάδες εξόδου έχουν σιγµοειδή (sigmoidal συνάρτηση µεταφοράς. Στο συγκεκριµένο παράδειγµα, οι έξοδοι των κρυφών µονάδων συνδυάζονται κατά Ϲεύγη ώστε να δώσουν ένα εξόγκωµα στη µονάδα εξόδου. Εχοντας στη διάθεσή µας ένα µεγάλο αριθµό κρυφών µονάδων, µπορούµε να πετύχουµε µε ένα τέτοιο δίκτυο µια προσέγγιση (σε όποιο ϐαθµό επιθυµούµε οποιασδήποτε συνεχούς από την είσοδο στην έξοδο συνάρτησης. παρουσιάζεται ένα πρότυπο εισόδου καθώς και ένα πρότυπο-στόχος στο στρώµα εξόδου και αλλάζοντας τις παραµέτρους του δικτύου (όπως π.χ. τα ϐάρη προσπαθούµε να ϕέρουµε το αποτέλεσµα στην έξοδο πιο κοντά σε αυτό που επιδιώκουµε Εκπαίδευση του δικτύου Στο σχήµα 5.4 παρουσιάζεται ένα πλήρως συνδεδεµένο νευρωνικό δίκτυο 3 στρωµάτων. Η εκµάθηση αρχίζει µε την παρουσίαση ενός προτύπων εκπαίδευσης στην είσοδο και τον προσδιορισµό του αποτελέσµατος στην έξοδο. Το σφάλµα, που είναι συνάρτηση των ϐαρών που χρησιµοποιούνται, ελαχιστοποιείται όταν τα αποτελέσµατα του δικτύου ταιριάζουν µε τα επιθυµητά αποτελέσµατα. Τα ϐάρη προσαρµόζονται (ϱυθµίζονται ώστε να οδηγούν σε µείωση του σφάλµατος. Θεωρούµε το σφάλµα εκπαίδευσης (training error για ένα πρότυπο, ως το άθροισµα του τετραγώνου της διαφοράς µεταξύ της επιθυµητής εξόδου t k και της πραγµατικής εξόδου τ k, για όλες τις µονάδες εξόδου, κατά τρόπο ανάλογο του αλγόριθµου των ΕΜΤ για τα δίκτυα 2 στρωµάτων J(ω 1 2 c (t k z k 2 = 1 2 (t z2 (5.4.1 k=1 όπου t και z είναι τα διανύσµατα εξόδου που επιδιώκουµε και αυτά που προκύπτουν, αντίστοιχα, και w τα ϐάρη που χρησιµοποιούνται στο δίκτυο. Ο κανόνας εκµάθησης µε οπισθοδροµική διάδοση ϐασίζεται στην τεχνική της απότοµης πτώσης. Τα ϐάρη έχουν τυχαίες αρχικές τιµές, και η αλλαγή των τιµών τους γίνεται προς την κατεύθυνση όπου µειώνεται το σφάλµα ή w mn = η J w mn w = η J w, (5.4.2 όπου η είναι ο ϱυθµός εκµάθησης (learning rate και πρακτικά δηλώνει το σχετικό µέγεθος της αλλαγής στις τιµές που παίρνουν τα ϐάρη. Η εξίσωση (5.4.2 δηλώνει ότι το ϐήµα που κάνουµε στο χώρο των ϐαρών είναι προς την κατεύθυνση που µειώνεται η συνάρτηση κόστους (criterion function. Το κριτήριο αυτό δε µπορεί να έχει αρνητική τιµή κι έτσι εγγυάται ότι η εκµάθηση τελικά ϑα σταµατήσει. Αυτός ο αλγόριθµος διαδοχικών προσεγγίσεων απαιτεί η ενηµέρωση του διανύσµατος ϐάρους στη διαδοχική προσέγγιση m (ή «στο ϐήµα αναδροµής m του αλγορίθµου» να γίνει ακολουθώντας την w(m + 1 = w(m + w(m, (5.4.3 όπου ο δείκτης m αντιστοιχεί στη συγκεκριµένη παρουσίαση προτύπων. Ας ϑεωρήσουµε πρώτα τα ϐάρη µεταξύ κρυφού στρώµατος και στρώµατος εξόδου, w jk. Παραγωγίζοντας τη συνάρτηση κόστους έχουµε

8 172 Πολυστρωµατικά Νευρωνικά ίκτυα W W W W N W F ] ] ] ] N ] F Z NM \ \ \ M \ Q+ Z ML [ [ [ [ L [ G Σχήµα 5.4: Ενα d n H c πλήρως συνδεδεµένο δίκτυο 3-στρωµάτων (η µεροληψία δεν παρουσιάζεται στο σχήµα. Κατά τη feedforward διαδικασία, ένα πρότυπο εισόδου x d-διαστάσεων παρουσιάζεται στο στρώµα εισόδου, κάθε µονάδα εισόδου εκπέµπει την αντίστοιχη συνιστώσα x i. Καθεµία από τις n H κρυφές µονάδες υπολογίζει την ενεργοποίηση του δικτύου, net j, ως το εσωτερικό γινόµενο των σηµάτων των στρωµάτων εισόδου µε τα ϐάρη w ji στο κρυφό στρώµα. Κάθε κρυφή µονάδα εκπέµπει y j = f(net j, όπου f( είναι η µη γραµµική συνάρτηση µεταφοράς, που ϕαίνεται στο σχήµα σαν sigmoid. Καθεµία από τις c µονάδες εξόδου υπολογίζει µε τη σειρά της την net k ως το εσωτερικό γινόµενο των σηµάτων του κρυφού στρώµατος µε τα ϐάρη στη µονάδα εξόδου. Τα τελικά σήµατα που εκπέµπονται από το δίκτυο, z k = f(net k χρησιµοποιούνται σα συναρτήσεις διάκρισης για την ταξινόµηση. Κατά την εκπαίδευση του δικτύου, αυτά τα σήµατα εξόδου συγκρίνονται µε το προσδοκώµενο διάνυσµα t και οι διαφορές χρησιµοποιούνται για την εκπαίδευση των ϐαρών. όπου η ευαισθησία της µονάδας k ορίζεται ως J = J net k w kj net K w kj = δ k net k w kj, (5.4.4 δ k = J net k, (5.4.5 και περιγράφει πώς αλλάζει το συνολικό σφάλµα µε την ενεργοποίηση της συγκεκριµένης µονάδας. Παραγωγίζοντας την εξίσωση (5.4.1 έχουµε δ k J = J z k = (t k z k f (net k, (5.4.6 net k z k net k όπου χρησιµοποιήθηκε η εξίσωση ( Η τελευταία παράγωγος στην (5.4.4 ϐρίσκεται χρησιµοποιώντας την (5.3.4, που µε παραγώγιση δίνει net k w kj = y j (5.4.7 Ο κανόνας εκµάθησης για τα ϐάρη µεταξύ του στρώµατος εισόδου και του κρυφού στρώµατος γίνεται w kj = ηδ k y j = η(t k z k f (net k y j (5.4.8 Ο κανόνας εκµάθησης για τα ϐάρη µεταξύ των µονάδων εισόδου και των κρυφών µονάδων είναι πιο περίπλοκος. Παραγωγίζοντας την εξίσωση (5.4.2 έχουµε J = J w ji y j y j net j }{{} f (net j net j w ji }{{} x i, (5.4.9 όπου ο πρώτος όρος απαιτεί προσοχή J y j = y j [ 1 2 ] c (t k z k 2 = k=1 c (t k z k z k = y j k=1 c (t k z k z k net k net k y j k=1 = c (t k z k f (net k }{{} δ k k=1 w jk Κατά αναλογία µε την εξίσωση (5.4.5 ορίζουµε την ευαισθησία για ένα κρυφό στρώµα ως

9 5.4 Αλγόριθµος οπισθοδροµικής διάδοσης 173 δ j f (net j c w kj δ k ( Σύµφωνα µε την εξίσωση ( η ευαισθησία σε µια κρυφή µονάδα ισούται µε το άθροισµα των επιµέρους ευαισθησιών στις µονάδες εξόδου εφαρµόζοντας τα ϐάρη µεταξύ της κρυφής µονάδας και των µονάδων εξόδου w jk, και πολλαπλασιάζοντας µε f (net j. Ο κανόνας εκµάθησης για τα ϐάρη µεταξύ στρώµατος εισόδου και κρυφού στρώµατος προκύπτει k=1 w ji = ηx i δ j = ηx i f (net j c w kj δ k ( Οι εξισώσεις (5.4.8 και ( µαζί µε το πρωτόκολλο εκµάθησης, που ϑα εξηγήσουµε παρακάτω, περιγράφουν τον αλγόριθµο οπισθοδροµικής εκµάθησης που στηρίζεται στον αλγόριθµο οπισθοδροµικής διάδοσης των λαθών. Ο τελευταίος ονοµάζεται έτσι γιατί κατά τη διάρκεια της εκµάθησης τα λάθη διαδίδονται από το στρώµα εξόδου πίσω στο κρυφό στρώµα ώστε να επιτευχθεί η εκµάθηση των ϐαρών µεταξύ των µονάδων εισόδου και των κρυφών µονάδων. k= Πρωτόκολλα εκπαίδευσης Γενικά η επιτηρούµενη εκπαίδευση συνίσταται στην παρουσίαση προτύπων στο δίκτυο, για τα οποία πρότυπα γνωρίζουµε την κλάση από την οποία προέρχονται. Αυτά αποτελούν το δείγµα εκπαίδευσης (training set. Κατόπιν υπολογίζουµε το διάνυσµα εξόδου του δικτύου και προσαρµόζουµε κατάλληλα τα ϐάρη ώστε να ελαχιστοποιηθεί η διαφορά µεταξύ του πραγµατικού διανύσµατος εξόδου που προκύπτει από τον υπολογισµό και του επιθυµητού, δηλαδή του διδασκόµενου. Τα τρία πρωτόκολλα µε τις περισσότερες εφαρµογές είναι η στοχαστική εκπαίδευση (stochastic, εκπαίδευση σε batch, και εκπαίδευση on-line. Κατά τη στοχαστική εκπαίδευση χρησιµοποιούνται πρότυπα που επιλέγονται τυχαία από το δείγµα εκµάθησης και τα ϐάρη του δικτύου αναπροσαρµόζονται κάθε ϕορά που παρουσιάζεται ένα πρότυπο. Στη batch εκπαίδευση πρώτα παρουσιάζονται όλα τα πρότυπα στο δίκτυο και µετά αρχίζει η εκµάθηση (µε την αναπροσαρµογή των ϐαρών. Συνήθως είναι αναγκαία η επεξεργασία του δείγµατος εκµάθησης αρκετές ϕορές. Κατά την on-line εκπαίδευση, κάθε πρότυπο παρουσιάζεται στο δίκτυο µία και µόνο ϕορά κι έτσι δε γίνεται χρήση µνήµης για την αποθήκευση των προτύπων. Υπάρχουν ϕυσικά και άλλα πρωτόκολλα, όπως αυτό της εκµάθησης µε ερωτήσεις ή απορίες, κατά το οποίο χρησιµοποιείται η έξοδος του δικτύου για την επιλογή νέων προτύπων εκπαίδευσης. Αυτές οι απορίες εστιάζονται συνήθως σε σηµεία που ανεµένεται να δώσουν περισσότερη πληροφορία στον ταξινοµητή, για παράδειγµα σηµεία κοντά στα όρια της απόφασης για την ταξινόµηση. Παρόλο που σε πολλές περιπτώσεις η εκπαίδευση µε αυτό το πρωτόκολλο µπορεί να συγκλίνει πιο γρήγορα, το µειονέκτηµα είναι ότι τα δείγµατα εκµάθησης δεν είναι ανεξάρτητα και η κατανοµή τους είναι πιο πυκνή κοντά στα όρια των δειγµάτων, γεγονός που µπορεί να µην οδηγήσει σε ϐελτίωση της ακρίβειας της αναγνώρισης. Για την περιγραφή του συνολικού αριθµού των επεξεργασιών του δείγµατος των προτύπων εκπαίδευσης, χρησιµοποιείται ο αριθµός των εποχών (epochs. Ετσι κάθε ϕορά που εξαντλούµε τα στοιχεία του δείγµατος των προτύπων εκπαίδευσης, συµπληρώνουµε µια εποχή. Ας δούµε τον αλγόριθµο που χρησιµοποιείται για εκπαίδευση µε το πρωτόκολλο batch. Αλγόριθµος batch οπισθοδροµικής διάδοσης begin initialize (network topology (#hidden units, w, κριτήριο ϑ, η, r 0 do r r + 1 (προσαύξηση της εποχής : εποχή εποχή +1 m 0; w ij 0; w jk 0 do m m + 1 x m διάνυσµα m ιοστού προτύπων w ij w ij + nδ j x i ; w jk w jk + nδ k y j until m = n (n ο αριθµός των προτύπων εκπαίδευσης w ij w ij + w ij ; w jk w jk + w jk until J(w < θ (όπου θ το κριτήριο σύγκλισης return w end Καµπύλες εκµάθησης Αφού οι αρχικές τιµές που δίνονται στα ϐάρη είναι τυχαίες, το λάθος στο δείγµα εκµάθησης αρχικά είναι µεγάλο και µε την εκπαίδευση το λάθος ελαττώνεται, όπως ϕαίνεται στο σχήµα 5.5 όπου παρουσιάζεται µια καµπύλη εκµάθησης. Κατά την εκπαίδευση, το λάθος τελικά ϕτάνει σε µια ασυµπτωτική τιµή που εξαρτάται από το Bayes λάθος, το πλήθος των δεδοµένων εκπαίδευσης και την εκφραστική δυνατότητα του δικτύου. Το µέσο λάθος σε ένα ανεξάρτητο δείγµα είναι πάντα µεγαλύτερο από αυτό του δείγµατος που χρησιµοποιήθηκε για εκπαίδευση, και παρόλο που γενικά µείωνεται, µπορεί και να µεγαλώσει ή να ακολουθεί µια διακύµανση µεταξύ µεγάλων και µικρών τιµών. Στο σχήµα 5.5 ϐλέπουµε και το µέσο λάθος ενός δείγµατος εγκυροποίησης (validation set, πρότυπα δηλαδή που δε χρησιµοποιήθηκαν άµεσα για την εκπαίδευση και συνεπώς αντιστοιχούν σε καινούργια χαρακτηριστικά προς ταξινόµηση. Αυτό το δείγµα µπορεί να χρησιµοποιηθεί σε ένα κριτήριο για να σταµατήσει η εκπαίδευση, για παράδειγµα να σταµατάει η εκπαίδευση όταν το λάθος στο δείγµα εγκυροποίησης πάρει µια ελάχιστη τιµή.

10 174 Πολυστρωµατικά Νευρωνικά ίκτυα -Q WHVW Σχήµα 5.5: Καµπύλη εκµάθησης που δείχνει τη συνάρτηση κόστους J ως συνάρτηση του αριθµού των εποχών (δηλ. πόσες ϕορές παρουσιάζουµε όλο το δείγµα εκπαίδευσης που δηλώνει πόσο (πολύ ή λίγο έχουµε εκπαιδεύσει το δίκτυο. Στον άξονα των y είναι το µέσο λάθος ανά πρότυπο : 1/n n ρ=1 Jρ. Το λάθος ανά πρότυπο για το δείγµα εγκυροποίησης και για το test δείγµα είναι κατά κανόνα µεγαλύτερο από το αντίστοιχο λάθος εκπαίδευσης. Συχνά σταµατάµε την εκπαίδευση όταν έχουµε mininum στο λάθος για το δείγµα εγκυροποίησης. 5.5 Χαρτογράφηση των χαρακτηριστικών κατά την οπισθοδροµική διάδοση Είδαµε στα προηγούµενα ότι η καινοτοµία στη µεγάλη δυνατότητα υπολογισµού που παρέχεται από τα πολυστρωµατικά νευρωνικά δίκτυα είναι η µη γραµµική απεικόνιση των χαρακτηριστικών εισόδου στις κρυφές µονάδες. Στο σχήµα 6.6 ϕαίνεται ένα δίκτυο 3- στρωµάτων που απευθύνεται στο πρόβληµα XOR. Για τα διανύσµατα εισόδου στο χώρο x 1 x 2, δείχνουµε τα αντίστοιχα διανύσµατα εξόδου των 2 κρυφών µονάδων στο χώρο y 1 y 2. ίνοντας µικρές αρχικές τιµές στα ϐάρη, η ενεργοποίηση κάθε κρυφής µονάδας είναι µικρή, ώστε να χρησιµοποιείται το γραµµικό τµήµα της συνάρτησης µεταφοράς : Ο γραµµικός αυτός µετασχηµατισµός από x σε y αφήνει τα πρότυπα γραµµικά µη διαχωρίσιµα. Καθόσον εξελίσσεται η εκπαίδευση και τα ϐάρη µεταξύ εισόδου και κρυφού στρώµατος αυξάνονται, οι µη γραµµικότητες των κρυφών µονάδων παραµορφώνουν τη χαρτογράφηση από το χώρο των µονάδων εισόδου στο χώρο των κρυφών µονάδων. Το γραµµικό σύνορο της απόφασης στο τέλος της εκπαίδευσης παρουσιάζεται στο σχήµα µε µια διακεκοµµένη γραµµή. Το µη γραµµικά διαχωριζόµενο πρόβληµα στις µονάδες εισόδου µετασχηµατίζεται σε ένα γραµµικά διαχωριζόµενο πρόβληµα στις κρυφές µονάδες. [ [ \ \ [ [ \ - \ Σχήµα 5.6: ίκτυο οπισθοδροµικής διάδοσης (µε µεροληψία και τα 4 πρότυπα του προβλήµατος XOR ϕαίνονται στο πάνω µέρος του σχήµατος. Κάτω αριστερά παρουσιάζονται οι έξοδοι των κρυφών µονάδων για καθένα από τα 4 πρότυπα. Κατά τη διάρκεια της εκπαίδευσης του δικτύου οι παραπάνω έξοδοι κινούνται στο χώρο y 1 y 2. Φαίνεται επίσης η γραµµή που δείχνει το σύνορο της απόφασης όπως καθορίζεται από τα ϐάρη µεταξύ των κρυφών µονάδων και των µονάδων εξόδου αφού τελειώσει η εκπαίδευση. Βλέπουµε ότι τα πρότυπα των δύο κλάσεων διαχωρίζονται όντως από αυτό το όριο. Τέλος, κάτω δεξιά ϕαίνονται οι καµπύλες εκµάθησης δηλαδή το λάθος σε κάθε πρότυπο και το συνολικό λάθος σα συνάρτηση του αριθµού της εποχής. Παρά το γεγονός ότι το λάθος για κάθε πρότυπο δεν ακολουθεί µονοτονική µείωση, το συνολικό λάθος για το δείγµα εκπαίδευσης µειώνεται µονοτονικά.

11 5.6 Συναρτήσεις διάκρισης Bayes και νευρωνικά δίκτυα Συναρτήσεις διάκρισης Bayes και νευρωνικά δίκτυα Χρησιµοποιούµε το δίκτυο του σχήµατος 5.4 και ϑεωρούµε την έξοδο της k-ιοστής µονάδας εξόδου ως g k (x; w, δηλαδή τη συνάρτηση διάκρισης που αντιστοιχεί στην κατηγορία ω k. Υπενθυµίζουµε τον τύπο του Bayes P (ω k /x = p(x/ω kp (ω k c p(x/ω i P (ω i i=1 = p(x, ω k, (5.6.1 p(x και την Bayes απόφαση για ένα πρότυπο x: επιλέγεται η κατηγορία ω k που δίνει τη µεγαλύτερη τιµή για τη συνάρτηση διάκρισης g k (x = P (ω j /x. Εστω ότι εκπαιδεύουµε ένα δίκτυο µε c µονάδες εξόδου µε επιθυµητό σήµα 1 αν x ω k, t k (x = ( σε κάθε άλλη περίπτωση. Στην πράξη προτιµούνται οι τιµές ±1. Εδώ χρησιµοποιούµε τις τιµές 0-1 για ευκολία στις πράξεις. Η συνεισφορά στη συνάρτηση κόστους για µία µονάδα εξόδου k και για πεπερασµένο αριθµό δειγµάτων εκπαίδευσης x είναι J(ω = x [g k (x; w t k ] 2 = (5.6.3 [g k (x; w 1] 2 + [g k (x; w 0] 2 (5.6.4 x ω k x ω k n k 1 = n [g k (x; w 1] 2 + n n k 1 [g k (x; w 0] 2 n n k n n n x ω k k x ω k όπου n είναι ο συνολικός αριθµός των προτύπων εκπαίδευσης, n k από τα οποία ανήκουν στο ω k. δεδοµένων η (5.6.3 γίνεται Στο όριο άπειρου αριθµού lim n 1 J(w J(w n = P (ω k [g k (x; w 1] 2 p(x/ω k dx + P (ω i k gk(x; 2 wp(x/ω i k dx = gk(x; 2 wp(xdx 2 g k (x; wp(x, ω k dx + p(x, ω k dx = [g k (x; w P (ω k /x] 2 p(xdx + P (ω k /xp (ω i k /xp(xdx }{{} ανεξάρτητο του w (5.6.5 όπου χρησιµοποιήσαµε τον τύπο του Bayes P (ω k /x = p(x/ω kp (ω k p(x Σύµφωνα µε τον κανόνα της οπισθοδροµικής διάδοσης τα ϐάρη αλλάζουν ώστε να ελαχιστοποιηθεί το αριστερό σκέλος της (5.6.5, και συνεπώς ελαχιστοποιείται ο όρος [g k (x; w P (ω k /x] 2 p(xdx, (5.6.6 και αφού αυτό ισχύει για κάθε κατηγορία ω k (k = 1, 2,..., c, η οπισθοδροµική διάδοση ελαχιστοποιεί το άθροισµα c [g k (x; w P (ω k /x] 2 p(xdx (5.6.7 k=1 Ετσι, στο όριο που διαθέτουµε άπειρα δεδοµένα οι έξοδοι του εκπαιδευµένου δικτύου προσεγγίζουν τις a posteriori πιθανότητες, δηλαδή, οι µονάδες εξόδου εκφράζουν τις a posteriori πιθανότητες g k (x; w P (ω k /x (5.6.8 Χρειάζεται προσοχή στην ερµηνεία των παραπάνω αποτελεσµάτων. Ενώ αν διαθέτουµε άπειρο πλήθος δεδοµένων για την εκπαίδευση του δικτύου οι µονάδες εξόδου εκφράζουν πιθανότητες, αυτό δεν ισχύει στην περίπτωση που έχουµε πεπερασµένο πλήθος δεδοµένων για την εκπαίδευση, όπου δεν είναι επίσης σίγουρο ότι το άθροισµα των εξόδων ϑα είναι 1.0. Στην πράξη, αν το άθροισµα των µονάδων εξόδου του δικτύου διαφέρει σηµαντικά από το 1.0, αυτό αποτελεί ένδειξη ότι το δίκτυο δεν αποτελεί ακριβές µοντέλο των πιθανοτήτων και υποδεικνύει την αλλαγή είτε της τοπολογίας του δικτύου ή του αριθµού των κρυφών µονάδων.

12 176 Πολυστρωµατικά Νευρωνικά ίκτυα 5.7 Τεχνικές για ϐελτίωση της οπισθοδροµικής διάδοσης Οταν σχεδιάζουµε ένα πολυστρωµατικό νευρωνικό δίκτυο για ταξινόµηση, χρειάζεται να επιλέξουµε την αρχιτεκτονική και τις παραµέτρους του δικτύου. Ο σκοπός µας είναι να δώσουµε µερικά ϐασικά στοιχεία για την πραγµατοποίηση αυτών των επιλογών µε ϐάση την ταχύτητα εκµάθησης και την καλύτερη δυνατή απόδοση αναγνώρισης Συνάρτηση µεταφοράς ίνονται εδώ µερικές γενικές ιδιότητες που επιδιώκουµε να έχουν οι συνάρτησεις µεταφοράς. Πρώτα από όλα οι συναρτήσεις µεταφοράς f( πρέπει να είναι µη γραµµικές. Μια δεύτερη ιδιότητα που επιθυµούµε, είναι η f( να έχει κάποια minimum και κάποια maximum τιµή, ώστε τα ϐάρη και οι συναρτήσεις ενεργοποίησης να είναι εντός ορισµένων ορίων και ο χρόνος εκπαίδευσης επίσης περιορισµένος. Επίσης επιδιώκουµε η συνάρτηση µεταφοράς να είναι συνεχής και οµαλή. Συχνά είναι ϐολικό η f( να είναι µονοτονική ώστε να αποφευχθούν επιπλέον τοπικά ακρότατα στην επιφάνεια λάθους. Μια κλάση συναρτήσεων που έχει τις παραπάνω ιδιότητες είναι οι συναρτήσεις sigmoid. Είναι οµαλές, παραγωγίσιµες, µη γραµ- µικές και έχουν minimum και maximum τιµές. Για τους λόγους αυτούς η συνάρτηση sigmoid είναι αυτή που έχει την πιο ευρεία χρήση ως συνάρτηση µεταφοράς Κλίµακα των δεδοµένων εισόδου Ας ϑεωρήσουµε ότι χρησιµοποιούµε νευρωνικά δίκτυα µε 2 στοιχεία εισόδου για την ταξινόµηση ψαριών µε ϐάση τα χαρακτηριστικά : µάζα και µήκος των ψαριών. Αν η µάζα είναι σε [g] και το µήκος σε [m], ο ταξινοµητής αυτός ϑα έχει σοβαρά µειονεκτήµατα αφού η τιµή της µάζας ϑα είναι τάξεις µεγέθους πάνω από την τιµή του µήκους. Κατά την εκπαίδευση, το δίκτυο ϑα προσαρµόσει τα ϐάρη χρησιµοποιώντας το στοιχείο είσοδου «µάζα» πολύ περισσότερο από το στοιχείο εισόδου «µήκος». Για να αποφευχθούν αυτές οι δυσκολίες, τα πρότυπα εισόδου µετατοπίζονται ώστε η µέση τιµή στο δείγµα εκπαίδευσης για κάθε χαρακτηριστικό να είναι µηδέν. Επιπλέον, το συνολικό δείγµα των δεδοµένων πρέπει να πολλαπλασιαστεί µε τον κατάλληλο συντελεστή ώστε να υπάρχει η ίδια απόκλιση από τη µέση τιµή για κάθε χαρακτηριστικό στοιχείο. Αυτή η τυποποίηση των δεδοµένων γίνεται πριν από την εκπαίδευση του δικτύου και ϕυσικά είναι εφικτή µόνο για στοχαστικά και batch πρωτόκολλα Τιµές του ταξινοµητή κατά την εκµάθηση Οπως είδαµε στην παράγραφο 5.3 συνήθως χρησιµοποιούνται κατά την εκµάθηση οι τιµές +1 όταν το πρότυπο ανήκει στη συγκεκριµένη κλάση και 1 όταν ανήκει σε διαφορετική κλάση. Για παράδειγµα, σε ένα πρόβληµα 4 κλάσεων, αν ένα πρότυπο ανήκει στην κατηγορία ω 3, το διάνυσµα t που χρησιµοποιείται είναι το : t = ( 1, 1, +1, Αριθµός των κρυφών µονάδων Ενώ ο αριθµός των µονάδων εισόδου και των µονάδων εξόδου υπαγορεύεται από τις διαστάσεις των διανυσµάτων εισόδου και τον αριθµό των κλάσεων αντίστοιχα, ο αριθµός των κρυφών µονάδων δεν καθορίζεται από τόσο εµφανείς ιδιότητες του προβλήµατος ταξινόµησης. Αν τα πρότυπα είναι γραµµικά διαχωρίσιµα ή διαχωρίζονται εύκολα, τότε ο αριθµός των κρυφών µονάδων που χρειάζονται είναι µικρός, ενώ αν τα πρότυπα προκύπτουν από περίπλοκες συναρτήσεις πιθανότητας, χρειάζονται περισσότερες κρυφές µονάδες. -Q WHVW Q + Σχήµα 5.7: Το λάθος ανά πρότυπο για εκπαιδευµένα δίκτυα που διαφέρουν στον αριθµό των κρυφών µονάδων n H. Η µικρότερη τιµή για το λάθος του test δείγµατος ϐρίσκεται στην περιοχή 4 n H 5.

13 5.7 Τεχνικές για ϐελτίωση της οπισθοδροµικής διάδοσης 177 Στο σχήµα 6.7 παρουσιάζεται το λάθος για το δείγµα εκπαίδευσης και για το test δείγµα για ένα πρόβληµα ταξινόµησης σε 2 κλάσεις για δίκτυα που διαφέρουν µόνο στον αριθµό των κρυφών µονάδων. Για µεγάλο αριθµό n H, το λάθος εκπαίδευσης µπορεί να ελαττωθεί πολύ διότι τα δίκτυα έχουν υψηλή εκφραστική δυνατότητα και µπορούν να ϱυθµιστούν στο συγκεκριµένο δείγµα δεδοµένων εκπαίδευσης - δηλαδή το δίκτυο µαθαίνει τα δεδοµένα εκπαίδευσης. Το λάθος για το test δείγµα όµως είναι πολύ µεγαλύτερο, γεγονός που δείχνει υπερβολική προσαρµογή (overfitting των δεδοµένων εκπαίδευσης. Αν πάλι χρησιµοποιήσουµε πολύ µικρό αριθµό κρυφών µονάδων, το δίκτυο δεν έχει αρκετές παραµέτρους για την καλή προσαρµογή των δεδοµένων εκπαίδευσης. Μας ενδιαφέρει λοιπόν ένας ενδιάµεσος αριθµός κρυφών µονάδων που δίνει χαµηλή τιµή για το λάθος στο test δείγµα. Ο αριθµός των κρυφών µονάδων προσδιορίζει και τον συνολικό αριθµό των ϐαρών που χρησιµοποιούνται στο δίκτυο - µπορούµε να τους ϑεωρήσουµε ως ϐαθµούς ελευθερίας - κι έτσι δεν πρέπει να έχουµε πιο πολλά ϐάρη από τον συνολικό αριθµό των δεδοµένων εκπαίδευσης, n. Ενας πρακτικός κανόνας είναι η επιλογή του αριθµού των κρυφών µονάδων να δίνει συνολικό αριθµό ϐαρών στο δίκτυο περίπου n/10. Άλλη µέθοδος είναι η προσαρµογή στην πολυπλοκότητα του συγκεκριµένουν προβλήµατος αρχίζοντας από ένα µεγάλο αριθµό κρυφών µονάδων και ανάλογα εξαλείφοντας ϐάρη που έχουν µικρή συνεισφορά Αρχικές τιµές για τα ϐάρη Ας ϑεωρήσουµε ότι έχουµε καθορίσει την τοπολογία του δικτύου και συνεπώς ότι έχουµε ορίσει τον αριθµό των κρυφών µονάδων. Ας Ϲητήσουµε να ορίσουµε τώρα τις αρχικές τιµές για τα ϐάρη ώστε να έχουµε γρήγορη και οµοιόµορφη µάθηση, δηλαδή όλα τα ϐάρη να ϕτάσουν τις τελικές τιµές ισορροπίας τους σχεδόν στον ίδιο χρόνο. Για να έχουµε οµοιόµορφη εκµάθηση επιλέγουµε ϐάρη από µια οµοιόµορφη κατανοµή, w < w < + w. Αν επιλέξουµε το w να έχει πολύ µικρή τιµή, η ενεργοποίηση της κρυφής µονάδας ϑα είναι µικρή µε αποτέλεσµα να εφαρµοστεί το γραµµικό µοντέλο. Αντίθετα, αν το w έχει πολύ µεγάλη τιµή, η κρυφή µονάδα µπορεί να κορεστεί πριν ακόµα αρχίσει η εκµάθηση. Ορίζουµε το w ώστε η ενεργοποίηση στις κρυφές µονάδες να έχει τιµές στην περιοχή 1 < net j < 1. Ας ϑεωρήσουµε µια κρυφή µονάδα που χρησιµοποιεί d µονάδες εισόδου. Συνήθως επιλέγουµε τα ϐάρη για τις µονάδες εισόδου στην περιοχή 1/ d < w ji < +1/ d. Το ίδιο επιχείρηµα ισχύει για τα ϐάρη µεταξύ κρυφών µονάδων και µονάδων εξόδου, τα οποία επιλέγουµε να έχουν τιµές στην περιοχή 1/ n H < w kj < 1/ n H, όπου n H είναι ο αριθµός των κρυφών µονάδων Ρυθµός εκµάθησης Γενικά, αν επιλέξουµε µια αρκετά µικρή τιµή για το ϱυθµό εκµάθησης, ώστε να είναι σίγουρο ότι η εκπαίδευση ϑα συγκλίνει, τότε η τιµή του ϱυθµού εκµάθησης καθορίζει µόνο την ταχύτητα µε την οποία το δίκτυο ϕτάνει σε minimum της συνάρτησης κόστους J(w, και όχι τις τελικές τιµές που έχουν τα ϐάρη. Στην πράξη όµως, επειδή συχνά τα δίκτυα δεν εκπαιδεύονται έως ότου ϕτάσουν σε minimum για το σφάλµα στο δείγµα εκπαίδευσης, ο ϱυθµός εκµάθησης µπορεί να επηρεάσει την ποιότητα του δικτύου, όπως ϕαίνεται στο σχήµα 5.8. Η καλύτερη τιµή για το ϱυθµό εκµάθησης, η opt, είναι αυτή που οδηγεί σε τοπικό ελάχιστο για το λάθος σε ένα µόνο ϐήµα εκµάθησης. Μια γενική µέθοδος που χρησιµοποιείται για την εύρεση της καλύτερης τιµής του ϱυθµού εκµάθησης στηρίζεται στην υπόθεση ότι η συνάρτηση κόστους µπορεί να προσεγγιστεί από µια δευτεροβάθµια, από την οποία προκύπτει η opt = ( 2 1 J w 2 (5.7.1 Ετσι, για να πετύχουµε γρήγορη και οµοιόµορφη σύγκλιση, υπολογίζουµε τη δεύτερη παράγωγο της συνάρτησης κόστους ως προς κάθε ϐάρος και ϑέτουµε την καλύτερη τιµή για το ϱυθµό εκµάθησης χωριστά για κάθε ϐάρος. Για τα προβλήµατα όπου χρησιµοποιούµε συναρτήσεις sigmoid στο δίκτυο, ϐρίσκεται ότι η τιµή η 0, 1 για το ϱυθµό εκµάθησης αποτελεί µια καλή πρώτη επιλογή. Αν η συνάρτηση κόστους δε συγκλίνει ελαττώνουµε το ϱυθµό εκµάθησης, ενώ αν η εκπαίδευση είναι υπερβολικά αργή αυξάνουµε την τιµή του η RSW RSW RSW RSW! RSW Z Z Z Z Z Z Z Z Σχήµα 5.8: Απότοµη πτώση (gradient descent σε µια µονοδιάστατη δευτεροβάθµια συνάρτηση κόστους για διαφορετικούς ϱυθµούς εκµάθησης. Για η < η opt έχουµε σύγκλιση, αλλά η εκπαίδευση είναι υπερβολικά αργή. Για η = η opt αρκεί ένα µόνο ϐήµα εκµάθησης για την εύρεση του minimum για το λάθος εκπαίδευσης. Για η opt < η < 2η opt, έχουµε παλινδρόµηση, αλλά τελικά το σύστηµα ϑα συγκλίνει, ενώ για η > η opt το σύστηµα δε συγκλίνει.

14 178 Πολυστρωµατικά Νευρωνικά ίκτυα - RSW w- wz Z Z Z Z Z Σχήµα 5.9: Αν η συνάρτηση κόστους είναι δευτεροβάθµια, η παράγωγός της είναι γραµµική. Για την καλύτερη τιµή του ϱυθµού εκµάθησης, n opt, η τιµή του ϐάρους που αντιστοιχεί στο µικρότερο λάθος εκπαίδευσης, w, ϐρίσκεται σε ένα µόνο ϐήµα εκµάθησης Ορµή Οι επιφάνειες λάθους εµφανίζουν συχνά plateaus, δηλαδή περιοχές όπου η κλίση dj(w/dw είναι πολύ µικρή, ϕαινόµενο που συµβαίνει συχνά όταν υπάρχουν υπερβολικά πολλά ϐάρη. Η ορµή επιτρέπει στο δίκτυο να επιταχύνει την εκµάθηση όταν υπάρχουν plateaus στην επιφάνεια λάθους. Σε αυτή την περίπτωση η προσέγγιση του προβλήµατος γίνεται αλλάζοντας τον κανόνα εκµάθησης ώστε να συµπεριλάβει ένα κλάσµα a της προηγούµενης αναπροσαρµογής του ϐάρους w(m + 1 = w(m + w(m + a w(m 1 }{{}}{{} απότοµη πτώση ορµή (5.7.2 Τυπικές τιµές για το a είναι a 0, 9 (a < 1, 0 για σταθερότητα. Τονίζουµε εδώ ότι η εισαγωγή της ορµής σπάνια επιφέρει αλλαγή στην τελική λύση, αλλά επιτρέπει µια πιο γρήγορη εύρεση αυτής της λύσης Πότε σταµατάµε την εκπαίδευση ; Για πολυστρωµατικά δίκτυα µε πολλά ϐάρη, υπερβολική εκπαίδευση µπορεί να οδηγήσει σε αδυναµία του δικτύου να γενικεύσει, δηλαδή το δίκτυο εφαρµόζει ένα πολύπλοκο σύνορο απόφασης. Το δίκτυο έχει µάθει τα συγκεκριµένα χαρακτηριστικά του δείγµατος εκπαίδευσης και συνεπώς το σύνορο απόφασης ϱυθµίζεται στο συγκεκριµένο δείγµα εκπαίδευσης και όχι στις γενικές ιδιότητες των κατανοµών. Η καλύτερη µέθοδος είναι να σταµατήσουµε την εκπαίδευση όταν το λάθος ενός διαφορετικού δείγµατος, που χρησιµοποιούµε για να καταστήσουµε έγκυρη την απόφαση του δικτύου, ϕτάσει σε minimum, όπως ϕαίνεται στο σχήµα (6.5. Παράδειγµα : Μέθοδος της Συζυγούς Απότοµης Πτώσης Μία µέθοδος γρήγορης εκµάθησης είναι η µέθοδος της συζυγούς απότοµης πτώσης, µε την οποία πραγµατοποιούµε µια σειρά από έρευνες κατεύθυνσης στο χώρο των ϐαρών. Αρχικά γίνεται επιλογή της πρώτης κατεύθυνσης απότοµης πτώσης και η κίνηση γίνεται πάνω σε αυτή την κατεύθυνση έως ότου επιτευχθεί minimum στο λάθος. Κατόπιν υπολογίζεται η δεύτερη κατεύθυνση ως η «συζυγής κατεύθυνση», δηλαδή η κατεύθυνση κατά την οποία η παράγωγος δεν αλλάζει κατά την επόµενη πτώση την κατεύθυνση, αλλά µόνο το µέγεθος. Ετσι η απότοµη πτώση κατά τη συζυγή κατεύθυνση δεν καταστρέφει τη συνεισφορά των προηγούµενων επαναλήψεων της πτώσης. Ετσι, αν w(m 1 η κατεύθυνση της πτώσης στο ϐήµα m 1, απαιτούµε νέα κατεύθυνση, w(m να πληρεί την w t (m 1H w(m = 0, (5.7.3 όπου H είναι ο Hessian πίνακας. Τα Ϲεύγη των κατευθύνσεων απότοµης πτώσης που ακολουθούν την παραπάνω σχέση ονοµάζονται συζυγή. Ετσι η κατεύθυνση της πτώσης κατά την επανάληψη m είναι η κατεύθυνση της παραγώγου συν µία συνιστώσα κατά µήκος της προηγούµενης κατεύθυνσης πτώσης. όπου το β καθορίζει τη σχετική αναλογία των συνεισφορών αυτών. Ας προσπαθήσουµε να υπολογίσουµε το minimum της συνάρτησης κόστους w(m = J(w(m + β m w(m 1, (5.7.4 J(w = 1 2 (0, 2w2 1 + w 2 2 = w t Hw (5.7.5 Με την παραπάνω µέθοδο ϑα χρησιµοποιήσουµε τον τύπο των Fletcher-Reeves για το β:

15 5.7 Τεχνικές για ϐελτίωση της οπισθοδροµικής διάδοσης 179 Παραγωγίζοντας την (5.7.5 ϐρίσκουµε για την Hessian [ J(w(m] t J(w(m β m = [ J(w(m 1] t J(w(m 1 Hessian = ( 0, Εφαρµόζουµε την τεχνική της απότοµης πτώσης αρχίζοντας από ένα τυχαίο σηµείο, έστω το w(0 = ( 8 κατεύθυνση πτώσης καθορίζεται από την παράγωγο ( ( 0, 4w1 (0 3, 2 J(w(0 = = 2w 2 (0 8 ( t. Ετση η πρώτη Αν ϑεωρήσουµε ότι η απόσταση κατά µήκος της πρώτης κατεύθυνσης πτώσης είναι s, µπορούµε να ϐρούµε την τιµή της s για το minimum της J(w, σύµφωνα µε την [ [( ( ] t ( [( ( ] ] d 8 3, 2 0, , 2 + s + s = 0 ds που δίνει s = 0, 562. Ετσι το minimum κατά την κατεύθυνση αυτή είναι ( 8 w(1 = w(0 + 0, 562 ( J(w(0 = 4 + 0, 562 ( 3, 2 8 = ( 6, 202 0, 496 Για το επόµενο ϐήµα της πτώσης ϑα χρησιµοποιήσουµε τη συζυγή. Εχουµε ( 0, 4w1 (1 J(w(1 = = 2w 2 (1 και β 1 = [ J(w(1]t J(w(1 [ J(w(0] J(w(0 = Συνεπώς η συζυγής κατεύθυνση της πτώσης είναι ( 2, 48 0, 99 ( 2, 48 ( 2, 48 0, 99 0, 99 ( 3, 2 8 w(1 = J(w(1 + β 1 ( 3, 2 8 ( 3, 2 8 = = ( 2, 788 0, 223 7, = 0, 096 Για το minimum λάθος κατά µήκος της δεύτερης κατεύθυνσης πτώσης έχουµε d [ ] [w(1 + s w(1] t H [w(1 + s w(1] = ds [ [( = d ( ] t ( [( ( 6, 202 2, 788 0, 2 0 6, 202 2, s + s ds 0, 496 0, , 496 0, 223 ] ] = 0 που δίνει s = 2, 231. Συνεπώς το επόµενο minimum είναι ( 6, 202 w(2 = w(1 + s w(1 = 0, 496 ( 2, , 231 0, 223 ( 0 = 0 Παράδειγµα : Το δίκτυο N (που ϕαίνεται στο σχήµα 5.10 εκπαιδεύτηκε χρησιµοποιώντας τον αλγόριθµο οπισθοδροµικής διάδοσης, (a, b { 1, 1} και η συνάρτηση µεταφοράς είναι tanh(x. (α Να ελέγξετε αν το δίκτυο N υπολογίζει τη συνάρτηση XOR. (ϐ Περιγράψτε πώς γίνεται η εκµάθηση του δικτύου σύµφωνα µε τον αλγόριθµο οπισθοδροµικής διάδοσης, υπολογίζοντας την πρώτη αλλαγή του ϐάρους w, για την κρυφή µονάδα h 1. Για την εκπαίδευση ϑεωρήστε p = ( 1, 1, t = 1, n = 0, 1, καθώς και τα ϐάρη και τις µεροληψίες που ϕαίνονται στο σχήµα Λύση: (α και h 0 = tanh(3, 6a 4, 1b 4, 9 h 1 = tanh(4, 3a 2, 7b + 2, 1 O = tanh( 5, 9h 0 + 4, 6h 1 3, 9

16 180 Πολυστρωµατικά Νευρωνικά ίκτυα K K D 1 E Σχήµα 5.10 a b h 0 h 1 O , XOR (ϐ Για P = ( 1 1 O a = 1 O b = 1 ( c O c P c. ιάδοση : c έχουµε : O c tanh(σ d w cd O d και και οπισθοδροµική διάδοση d c (tanh Σ d w cd O d O h1 = tanh (4, 3( 1 2, 7(1 + 2, 1 = tanh( 4, 9 = 1 d h1 = (tanh( 4, 9 = 1 tanh 2 ( 4, 9 = 2, O 0 = tanh ( 5, 9( 1 + 4, 6( 1 3, 9 = tanh( 2, 6 = 0, 99 d 0 = (tanh( 2, 6 = 1 tanh 2 ( 2, 6 = 2, c I r Σ c w cd δ d, r r + (O c t c και δ c r c, c O O o t = 0, 99 1 = 1, 99 0 = d 0 (O 0 t = 2, ( 1, 99 = 4, h 1 = w 0h1 d h1 0 = 4, 6(2, ( 4, = 4, Τέλος υπολογίζουµε τη ϐαθµίδα (c, d cd cd + O c δ d, οπότε 0h1 και για τις αλλαγές στα ϐάρη = 0 O h1 w 0h1 = n 0 O h1 = ( 0, 1( 4, ( 1 = 4, w 01 = n 0 O 1 = ( 0, 1( 4, (+1 = 4, w h1a = n h1 O a = ( 0, 1( 4, ( 1 = 4, w h1b = n h1 O b = ( 0, 1( 4, (1 = 4, Παράδειγµα : Το δίκτυο N έχει συµµετρικά ϐάρη (w ab = w ba και δεν έχει µεροληψία (w 0a = 0, και έχει 3 νευρώνες (N = {1, 2, 3}. Ο στόχος µας είναι να αποθηκεύσουµε το πρότυπο : ξ = ( 1, 1, 1. Να ϑέσετε τα ϐάρη ώστε να επιτευχθεί ο στόχος µας ακολουθώντας τον κανόνα του Hebb w ab = (1/ N i ξi aξb i, να σχεδιάσετε το δίκτυο και να τοποθετήσετε στο σχήµα τα αντίστοιχα ϐάρη. Να αποδείξετε ότι το ξ είναι ένα σταθερό σηµείο έλξης (σηµείο ισορροπίας για το δίκτυο αυτό. Σταθερές καταστάσεις είναι τυπικά minima της ενέργειας E(w, s = 1 w ab s a s b w 0a s a 2 a (Υπόδειξη: Συγκρίνετε την ενέργεια για το σηµείο ξ µε την ενέργεια στις γειτονικές καταστάσεις. a,b

17 5.7 Τεχνικές για ϐελτίωση της οπισθοδροµικής διάδοσης 181 Λύση: Από τον κανόνα του Hebb έχουµε : w ab = 1 N ξaξ i b i i Σχήµα 5.11 w ab = 1 3 ξ aξ b w 12 = 1 3 ξ 1ξ 2 = 1 3, w 13 = 1 3 ξ 1ξ 3 = 1 3 και w 23 = 1 3 ξ 2ξ 3 = 1 3 Για να αποδείξουµε ότι το ξ είναι σηµείο ισορροπίας πρέπει η ενέργεια E(w, ξ να είναι µικρότερη από αυτή των γειτονικών καταστάσεων x 1 = (1, 1, 1, x 2 = ( 1, 1, 1 και x 3 = ( 1, 1, 1. Εχουµε E(w, s = w 12 s 1 s 2 w 13 s 1 s 3 w 23 s 2 s 3 = 1 3 (s 1s 2 + s 1 s 3 s 2 s 3 Ετσι έχουµε E(w, ξ = 1 ( = 1 3 και E(w, x 1 = 1 3 [ξ 1ξ 2 s 1 s 2 + ξ 1 ξ 3 s 1 s 3 + ξ 2 ξ 3 s 2 s 3 ] = 1 3 ( 1 + ( = 1 3 E(w, x 2 = 1 3 [( 1( 1( 1 + ( 1( 1 + ( 1] = 1 3 E(w, x 3 = 1 3 [( 1( 1 + ( 1 + ( 1] = 1 3 συνεπώς το ξ είναι σηµείο ισορροπίας. E(w, ξ = 1 < E(w, x 1 = E(w, x 2 = E(w, x 3 = 1 3

18 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικόυ έργου του διδάσκοντα Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα Ε.Μ.Π.» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο και από εθνικού πόρους.