Νευρωνικά ίκτυα και Εξελικτικός

Transcript

1 Νευρωνικά ίκτυα και Εξελικτικός Προγραµµατισµός Σηµερινό Μάθηµα RBF (Radial Basis Functions) δίκτυα Παρεµβολή συνάρτησης Θεώρηµα Cover ιαχωρισµός προτύπων Υβριδική Εκµάθηση Σύγκριση µε MLP Εφαρµογή: Αναγνώριση Προσώπου

2 RBF (Radial Basis Functions) δίκτυα Στα perceptron δίκτυα η ενεργοποίηση των µονάδων βασίζεται στο εσωτερικό γινόµενο µεταξύ του διανύσµατος εισόδου και των βαρών του δικτύου Στα RBF δίκτυα η ενεργοποίηση των κρυφών µονάδων βασίζεται στην απόσταση του διανύσµατος εισόδου από το πρότυπο διάνυσµα. Τα RBF δίκτυα έχουν αλγόριθµους εκπαίδευσης πιο γρήγορους από τα MLPs Παρεµβολή συνάρτησης Τα RBF προέρχονται από τεχνικές παρεµβολής συναρτήσεων Αυτέςοιτεχνικέςχρησιµοποιούν συναρτήσειςωςβάσειςπουτοποθετούνσε καθένα από τα δείγµατα εκπαίδευσης Και υπολογίζουν τους τελεστές w k ώστε το µικτό µοντέλο να έχει µηδαµινό σφάλµα h( x N h( x) = w ϕ k = k ( n ( x x ) = Φw ( n ( i ( x x ) = t w = Φ t ( N i ) = wkϕ k = 2

3 Παρεµβολή συνάρτησης RBF δίκτυα Τα RBF είναι εµπρός τροφοδοτούµενα δίκτυα, που αποτελούνται από: ένα κρυφό επίπεδο ακτινικού kernel, που εκτελεί µηγραµµικό µετασχηµατισµό του πεδίου εισόδου (αύξηση διαστατικότητας) ένα επίπεδο εξόδου, γραµµικών νευρόνων, που εκτελεί γραµµικό µετασχηµατισµόγιαναπροβλέψει το επιθυµητό στόχο. 3

4 Θεώρηµα Cover ιαχωρισµός προτύπων Ένα πολύπλοκο πρόβληµα κατηγοριοποίησης προτύπων που αποτιµάται µηγραµµικά σε διανυσµατοχώρο µεγαλύτερης διαστατικότητας είναι πιο πιθανό να είναι γραµµικά διαχωρίσιµο. Αντιστοίχηση εισόδου-κρυµµένου επιπέδου Κάθε κρυµµένος νευρώνας σε ένα RBF δίκτυο ρυθµίζεται ώστε να καλύπτει µια περιοχή του δειγµατοχώρου µιας ακτινικά συµµετρικής συνάρτησης. Η ενεργοποίηση ενός κρυφού νευρώνα εξαρτάται από την απόσταση µεταξύ του διανύσµατος εισόδου και του πρότυπου διανύσµατος µ ϕ j ( x ) = f ( x ) Ως συναρτήσεις συνηθίζονται οι Gaussian µεκέντροµ j 4

5 Αντιστοίχηση κρυµµένου επιπέδουεξόδου Οι µονάδες εξόδου σχηµατίζουν γραµµικούς συνδυασµούς των κρυµµένων µονάδων για να προβλέψουν την έξοδο Η ενεργοποίηση µιας µονάδας γίνεται απότοεσωτερικόγινόµενο του διανύσµατος φ µετοδιάνυσµαβαρών w y k = N j= w jk ϕ j ( x ) j + w 0k RBF δίκτυα 5

6 Υβριδική Εκµάθηση Τα RBF εκπαιδεύονται ακολουθώντας µια υβριδική τεχνική που δρα σε δύο στάδια: Μη επιτηρούµενη (Unsupervised) επιλογή RBF κέντρων τέτοιων ώστε να ταιριάζουν στην κατανοµήτωνδειγµάτων εκπαίδευσης Γίνεται αργά και επαναληπτικά µετη βοήθεια διαφόρων τεχνικών Επιτηρούµενος (Supervised) υπολογισµός βαρών εξόδου ώστε να ελαχιστοποιεί το τετραγωνικό σφάλµα µεταξύ εξόδου και στόχων Γίνεται µε αντιστροφή πινάκων Unsupervised επιλογή κέντρων Τυχαία επιλογή κέντρων Τυχαία επιλέγονται κάποια δείγµατα ως RBF κέντρα (γρήγορο) Ηπαράµετρος σ j µπορεί να υπολογιστεί ως η µέση απόσταση µεταξύ γειτονικών κέντρων Clustering Εναλλακτικά, τα RBF κέντρα µπορούν να υπολογιστούν µε clustering π.χ k-means Ηπαράµετρος σ j µπορεί να υπολογιστεί από την απόκλιση των δειγµάτων του κάθε cluster 6

7 Supervised υπολογισµός βαρών Τα βάρη υπολογίζονται µετηµέθοδο της ψευδοαντιστροφής Για το δείγµα (x i, d i ) ηέξοδοςθαείναι y ( xi ) = wϕ ( xi ) wm ϕ ( xi ) Θα θέλαµε w ) = d ϕ ( xi t ) wϕ ( xi t i Supervised υπολογισµός βαρών Αυτός θα µπορούσε να γραφεί T [ ϕ ( x i )... ϕm ( xi ) ][ w... wm ] = di Καιγιαόλαταδείγµατα ϕ ( x )... ϕm ( x )... [ w... w ϕ( xn )... ϕm ( xn ) ] T = [ d... d N ] T 7

8 Supervised υπολογισµός βαρών Αν θέσουµε: ϕ( x t ) Φ = ϕ( xn t ) Τότε γράφεται: w Φ... w d =... d N ϕ ( x ϕ ( x N t t ) ) Οπότε µεφ + T + T [ w... w] = Φ [ d... d N ] Ψευδό - Αντίστροφος Ένας πίνακας Φ έχει µοναδικό ψευδοαντίστροφο το Φ + που ικανοποιεί τις συνθήκες + ΦΦ Φ = Φ + + Φ ΦΦ + + Φ Φ = ( Φ Φ) Φ Φ + = Φ + = ( ΦΦ + T ) T 8

9 Σύγκριση µε MLP Αρχιτεκτονική: τα RBF έχουν ένα µόνο κρυφό επίπεδο. τα MLP µπορούν να έχουν περισσότερα κρυφά επίπεδα. Μοντέλο Νευρώνα: Στα RBF το µοντέλο νευρώνα (µη γραµµικό) τουκρυφούεπιπέδουείναι διαφορετικό από αυτό του επιπέδου εξόδου (γραµµικό). Στα MLP οι κρυφοί νευρώνες και οι νευρώνες εξόδου έχουν το ίδιο µοντέλο νευρώνα. Application: FACE RECOGNITION PhD thesis by Jonathan Howell 9

10 Datasets (Sussex) All ten images for classes 0-3 from the Sussex database, nose-centred and subsampled to 25x25 before preprocessing Dataset Sussex database (university of Sussex) 00 images of 0 people (8-bit grayscale, resolution 384 x 287) for each individual, 0 images of head in different pose from face-on to profile Designed to asses performance of face recognition techniques when pose variations occur 0

11 Approach: Face unit RBF A face recognition unit RBF neural networks is trained to recognize a single person. Training uses examples of images of the person to be recognized as positive evidence, together with selected confusable images of other people as negative evidence. Network Architecture Input layer contains 25*25 inputs which represent the pixel intensities (normalized) of an image. Hidden layer contains p+a neurons: p hidden pro neurons (receptors for positive evidence) a hidden anti neurons (receptors for negative evidence) Output layer contains two neurons: One for the particular person. One for all the others. The output is discarded if the absolute difference of the two output neurons is smaller than a parameter R.

12 RBF Architecture for one face recognition Supervised Output units Linear RBF units Non-linear Unsupervised Input units Hidden Layer Hidden nodes can be: Pro neurons: Evidence for that person. Anti neurons: Negative evidence. The number of pro neurons is equal to the positive examples of the training set. For each pro neuron there is either one or two anti neurons. Hidden neuron model: Gaussian RBF function. 2

13 Training and Testing Centers: of a pro neuron: the corresponding positive example of an anti neuron: the negative example which is most similar to the corresponding pro neuron, with respect to the Euclidean distance. Spread: average distance of the center from all other centers. So the spread σ n of a hidden neuron n is n h σn = t t H 2 where H is the number of hidden neurons and t is the center of neuron Weights: i determined using the pseudo-inverse method. A RBF network with 6 pro neurons, 2 anti neurons discarded 23% of the images of the test set and classified correctly 96% of the non discarded images. h 3