Χεμπιανά μοντζλα μάκθςθσ Κϊςτασ Διαμαντάρασ Τμιμα Πλθροφορικισ ΤΕΙ Θεςςαλονίκθσ
Ο Κανόνασ του Hebb Donald O. Hebb, Organization of Behavior (1949) Όταν ο άξονασ ενόσ νευρϊνα Α είναι αρκετά κοντά ϊςτε να διεγείρει το νευρϊνα Β και ςυςτθματικά ςυμμετζχει ςτθν ενεργοποίθςι του, τότε κάποια μεταβολικι αλλαγι ςυμβαίνει είτε ςτο ζνα απ' τα δφο είτε και ςτα δφο κφτταρα ζτςι ϊςτε θ αποτελεςματικότθτα με τθν οποία ο Α διεγείρει τον Β αυξάνεται. 2
Ο Κανόνασ του Hebb Αφξθςε το ςυναπτικό βάροσ τθσ ςφνδεςθσ μεταξφ του νευρϊνα Α και του νευρϊνα Β ανάλογα με το γινόμενο των εξόδων τουσ: A a w B b w w + a b 3
Χεμπιανι μάκθςθ και ςτατιςτικι ανάλυςθ Κανόνασ του Hebb Ανάλυςθ Κυρίων Συνιςτωςϊν (Principal Component Analysis PCA) PCA Βζλτιςτθ εξαγωγι γραμμικϊν χαρακτθριςτικϊν Συμπίεςθ πλθροφορίασ PCA = γνωςτι και κλαςςικι ςτατιςτικι μζκοδοσ 4
Στατιςτικι παρατιρθςθ Διάνυςμα παρατιρθςθσ n διαςτάςεισ: x = [x 1,..., x n ] T x 1,..., x n = τυχαίεσ μεταβλθτζσ Διάνυςμα χαρακτθριςτικϊν m διαςτάςεισ: y = [y 1,..., y m ] T y 1,..., y m = τυχαίεσ μεταβλθτζσ (κρυμμζνεσ, όχι άμεςα παρατθριςιμεσ) m < n 5
Γενικό μοντζλο χαρακτθριςτικϊν m < n υπάρχουν ςυναρτήςεισ f 1 (),..., f n () ώςτε x 1 = f 1 (y 1,...,y m ) = f 1 (y) x n = f n (y 1,...,y m ) = f n (y) 6
Διάςταςθ διανφςματοσ παρατιρθςθσ Επιφανειακι διάςταςθ = n Ουςιαςτικι διάςταςθ = m n = 2 m = 1 x 1 = f 1 (y) x 2 = f 2 (y) 7
Γραμμικό μοντζλο χαρακτθριςτικϊν Ειδικι περίπτωςθ n = 2 m = 1 ι απλϊσ x 1 = f 1Τ y x n = f nτ y x = Fy x 1 = f 1 y x 2 = f 2 y 8
Ιδιότθτεσ διανφςματοσ παρατιρθςθσ (m < n) Παρατθριςεισ ςυςχετιςμζνεσ. Πχ. m=1, n=2, f 1, f 2 = βακμωτοί αρικμοί x 1 = f 1 y x 2 = f 2 y και άρα x 2 = (f 2 /f 1 )x 1 9
Πϊσ βρίςκω τα χαρακτθριςτικά; Αν δεν γνωρίηω το F Ανάλυςθ ιδιοτιμϊν του R x = Ε{xx T } R x e i = l i e i e 1,..., e n αντιςτοιχοφν ςε l 1 >... > l n Θζτω U = [e 1,..., e m ] y = U T x 10
Παράδειγμα PCA Ο κφριοσ άξονασ ππώτορ ζχει τθν κύπιορ μεγαλφτερθ άξοναρ ςτατιςτικι διαςπορά περιζχει τθν περιςςότερθ πλθροφορία για το ςιμα x 2 ζχει το μικρότερο ςφάλμα προςζγγιςθσ x 1 11 τελεςταίορ κύπιορ άξοναρ
Οριςμοί e i : i κφριο ιδιοδιάνυςμα y i = e it x : i κφρια ςυνιςτϊςα (ΚΣ) Μεταςχθματιςμόσ Karhunen-Loeve (KLT) z = Ux 12
Ιδιότθτεσ Τα κφρια ιδιοδιανφςματα είναι ορκογϊνια Οι κφριεσ ςυνιςτϊςεσ (ΚΣ) είναι αςυςχζτιςτεσ Η διαςπορά τθσ i ΚΣ είναι l i 13
Εφαρμογι: Εξαγωγι χαρακτθριςτικϊν: Βιομετρικά δεδομζνα χελώνασ x 1 = μικοσ καυκάλου x 2 = πλάτοσ καυκάλου x 3 = φψοσ καυκάλου Όλη ζτεδόν η πληροθορία ζηο γραμμικό ζσνδσαζμό 0.813x 1 +0.496x 2 +0.307x 3 Κύρια Σσνιζηώζα Μεηαβληηή 1 2 3 Μήκος 0.813-0.545-0.205 Πλάηος 0.496 0.832-0.249 Ύυος 0.307 0.101 0.947 Διαζπορά 680.4 6.5 2.9 Ποζοζηό ζσνολικής διαζποράς 98.6% 0.9% 0.4% 14
Εφαρμογι: ςυμπίεςθ δεδομζνων 4 15 8 12
Εφαρμογι: Ομαδοποίθςθ δεδομζνων (clustering) Κλάζη 1 Κλάζη 2 16
PCA και γραμμικά Χεμπιανά μοντζλα x 1.. w 1. w n S y x n y = Sw i x i = w T x 17
Χεμπιανι μάκθςθ χωρίσ περιοριςμοφσ w(k+1) = w(k) + [y(k) x(k)] Πρόβλθμα ςφγκλιςθσ w(k) 18
Χεμπιανι μάκθςθ με κανονικοποίθςθ Κανόνασ του Oja (Oja1982) w(k+1) = w(k) + [y(k) x(k) - y(k) 2 w(k) ] w(k) e 1 = κφριο ιδιοδιάνυςμα w(k) 1 19
Σφγκλιςθ του κανόνα του Oja 20
Εξαγωγι πολλϊν κφριων ςυνιςτωςϊν.... y 1 y 2 y m... S S S 21 x 1 x 2 x 3.... x n Μοντζλο APEX
Αλγόρικμοσ APEX Σχζςη ειςόδου-εξόδου Αλγόριθμοσ y i = S i w ij x j - S j c ij y j w ij (k+1) = w ij (k) + [y i (k) x j (k) - y i (k) 2 w ij (k) ] c ij (k+1) = c ij (k) + [y i (k) y j (k) - y i (k) 2 c ij (k) ] 22
Αλγόρικμοσ APEX w 1 (k) e 1 = κφριο ιδιοδιάνυςμα w 2 (k) e 2 = δεφτερο ιδιοδιάνυςμα w 3 (k) e 3 = τρίτο ιδιοδιάνυςμα... w 1 (k), w 2 (k),, w m (k) 1 23