Χεμπιανά μοντζλα μάκθςθσ. Κϊςτασ Διαμαντάρασ Τμιμα Πλθροφορικισ ΤΕΙ Θεςςαλονίκθσ

Transcript

1 Χεμπιανά μοντζλα μάκθςθσ Κϊςτασ Διαμαντάρασ Τμιμα Πλθροφορικισ ΤΕΙ Θεςςαλονίκθσ

2 Ο Κανόνασ του Hebb Donald O. Hebb, Organization of Behavior (1949) Όταν ο άξονασ ενόσ νευρϊνα Α είναι αρκετά κοντά ϊςτε να διεγείρει το νευρϊνα Β και ςυςτθματικά ςυμμετζχει ςτθν ενεργοποίθςι του, τότε κάποια μεταβολικι αλλαγι ςυμβαίνει είτε ςτο ζνα απ' τα δφο είτε και ςτα δφο κφτταρα ζτςι ϊςτε θ αποτελεςματικότθτα με τθν οποία ο Α διεγείρει τον Β αυξάνεται. 2

3 Ο Κανόνασ του Hebb Αφξθςε το ςυναπτικό βάροσ τθσ ςφνδεςθσ μεταξφ του νευρϊνα Α και του νευρϊνα Β ανάλογα με το γινόμενο των εξόδων τουσ: A a w B b w w + a b 3

4 Χεμπιανι μάκθςθ και ςτατιςτικι ανάλυςθ Κανόνασ του Hebb Ανάλυςθ Κυρίων Συνιςτωςϊν (Principal Component Analysis PCA) PCA Βζλτιςτθ εξαγωγι γραμμικϊν χαρακτθριςτικϊν Συμπίεςθ πλθροφορίασ PCA = γνωςτι και κλαςςικι ςτατιςτικι μζκοδοσ 4

5 Στατιςτικι παρατιρθςθ Διάνυςμα παρατιρθςθσ n διαςτάςεισ: x = [x 1,..., x n ] T x 1,..., x n = τυχαίεσ μεταβλθτζσ Διάνυςμα χαρακτθριςτικϊν m διαςτάςεισ: y = [y 1,..., y m ] T y 1,..., y m = τυχαίεσ μεταβλθτζσ (κρυμμζνεσ, όχι άμεςα παρατθριςιμεσ) m < n 5

6 Γενικό μοντζλο χαρακτθριςτικϊν m < n υπάρχουν ςυναρτήςεισ f 1 (),..., f n () ώςτε x 1 = f 1 (y 1,...,y m ) = f 1 (y) x n = f n (y 1,...,y m ) = f n (y) 6

7 Διάςταςθ διανφςματοσ παρατιρθςθσ Επιφανειακι διάςταςθ = n Ουςιαςτικι διάςταςθ = m n = 2 m = 1 x 1 = f 1 (y) x 2 = f 2 (y) 7

8 Γραμμικό μοντζλο χαρακτθριςτικϊν Ειδικι περίπτωςθ n = 2 m = 1 ι απλϊσ x 1 = f 1Τ y x n = f nτ y x = Fy x 1 = f 1 y x 2 = f 2 y 8

9 Ιδιότθτεσ διανφςματοσ παρατιρθςθσ (m < n) Παρατθριςεισ ςυςχετιςμζνεσ. Πχ. m=1, n=2, f 1, f 2 = βακμωτοί αρικμοί x 1 = f 1 y x 2 = f 2 y και άρα x 2 = (f 2 /f 1 )x 1 9

10 Πϊσ βρίςκω τα χαρακτθριςτικά; Αν δεν γνωρίηω το F Ανάλυςθ ιδιοτιμϊν του R x = Ε{xx T } R x e i = l i e i e 1,..., e n αντιςτοιχοφν ςε l 1 >... > l n Θζτω U = [e 1,..., e m ] y = U T x 10

11 Παράδειγμα PCA Ο κφριοσ άξονασ ππώτορ ζχει τθν κύπιορ μεγαλφτερθ άξοναρ ςτατιςτικι διαςπορά περιζχει τθν περιςςότερθ πλθροφορία για το ςιμα x 2 ζχει το μικρότερο ςφάλμα προςζγγιςθσ x 1 11 τελεςταίορ κύπιορ άξοναρ

12 Οριςμοί e i : i κφριο ιδιοδιάνυςμα y i = e it x : i κφρια ςυνιςτϊςα (ΚΣ) Μεταςχθματιςμόσ Karhunen-Loeve (KLT) z = Ux 12

13 Ιδιότθτεσ Τα κφρια ιδιοδιανφςματα είναι ορκογϊνια Οι κφριεσ ςυνιςτϊςεσ (ΚΣ) είναι αςυςχζτιςτεσ Η διαςπορά τθσ i ΚΣ είναι l i 13

14 Εφαρμογι: Εξαγωγι χαρακτθριςτικϊν: Βιομετρικά δεδομζνα χελώνασ x 1 = μικοσ καυκάλου x 2 = πλάτοσ καυκάλου x 3 = φψοσ καυκάλου Όλη ζτεδόν η πληροθορία ζηο γραμμικό ζσνδσαζμό 0.813x x x 3 Κύρια Σσνιζηώζα Μεηαβληηή Μήκος Πλάηος Ύυος Διαζπορά Ποζοζηό ζσνολικής διαζποράς 98.6% 0.9% 0.4% 14

15 Εφαρμογι: ςυμπίεςθ δεδομζνων

16 Εφαρμογι: Ομαδοποίθςθ δεδομζνων (clustering) Κλάζη 1 Κλάζη 2 16

17 PCA και γραμμικά Χεμπιανά μοντζλα x 1.. w 1. w n S y x n y = Sw i x i = w T x 17

18 Χεμπιανι μάκθςθ χωρίσ περιοριςμοφσ w(k+1) = w(k) + [y(k) x(k)] Πρόβλθμα ςφγκλιςθσ w(k) 18

19 Χεμπιανι μάκθςθ με κανονικοποίθςθ Κανόνασ του Oja (Oja1982) w(k+1) = w(k) + [y(k) x(k) - y(k) 2 w(k) ] w(k) e 1 = κφριο ιδιοδιάνυςμα w(k) 1 19

20 Σφγκλιςθ του κανόνα του Oja 20

21 Εξαγωγι πολλϊν κφριων ςυνιςτωςϊν.... y 1 y 2 y m... S S S 21 x 1 x 2 x x n Μοντζλο APEX

22 Αλγόρικμοσ APEX Σχζςη ειςόδου-εξόδου Αλγόριθμοσ y i = S i w ij x j - S j c ij y j w ij (k+1) = w ij (k) + [y i (k) x j (k) - y i (k) 2 w ij (k) ] c ij (k+1) = c ij (k) + [y i (k) y j (k) - y i (k) 2 c ij (k) ] 22

23 Αλγόρικμοσ APEX w 1 (k) e 1 = κφριο ιδιοδιάνυςμα w 2 (k) e 2 = δεφτερο ιδιοδιάνυςμα w 3 (k) e 3 = τρίτο ιδιοδιάνυςμα... w 1 (k), w 2 (k),, w m (k) 1 23