HMY 795: Αναγνώριση Προτύπων Επανάληψη
Expectatio maximizatio for Gaussia mixtures. Αρχικοποιούμε τις άγνωστες παραμέτρους µ k, Σ k και π k 2. Υπολογίσμος των resposibilitiesγ(z k : γ ( z = k π ( x µ ˆ, Σˆ K j= k k k π ( x µ ˆ, Σˆ j j j 3. Ενημέρωση των παραμέτρων: ew k = γ zk k = γ zk k = = ew ew ew k γ ( zk ( x µ k ( x µ k k = µ ( x όπου ( Σ = ew π k = k 4. Υπολογισμός του log-likelihood Μ-step 5. Έλεγχος σύγκλισης
Ασχοληθήκαμε με δύο κατηγορίες μεθόδων αναγνώρισης προτύπων Ταξινόμηση και Παλινδρόμηση Και για τους δύο τύπους προβλημάτων ακολουθήσαμε παρόμοια γενική διαδικασία. Προεπεξεργασία: Συνήθως αναφέρεται σε βελτίωση (π.χ. φιλτράρισμα των αρχικών μας δεδομένων 2. Η επιλογή ενός κατάλληλου διάνυσματος χαρακτηριστικών (feature vector x= εξαιρετικά σημαντική! [,..., ] x x Επιλογή/ δημιουργία χαρακτηριστικών (feature selectio/ geeratio 3. Επιλογή μοντέλου/ ταξινομητήy(x,θ: Ποιος τύπος μοντέλου είναι πιο κατάλληλος για το πρόβλημά μας? είναι 4. Εκπαίδευση μοντέλου/ ταξινομητή βάσει των δεδομένων 5. Επικύρωση μοντέλου/ ταξινομητή -testig/validatio phase Συλλογή δεδομένων Προεπεξεργασία δεδομένων Επιλογή χαρακτηριστικών Επιλογή μοντέλου/ ταξινομητή Εκπαίδευση μοντέλου/ταξινομητή Επικύρωση μοντέλου/ταξινομητή
Ο κανόνας του Bayes Κεντρικός ρόλος σε προβλήματα ταξινόμησης και παλινδρόμησης μπορεί να χρησιμοποιηθεί με διάφορους τρόπους: Posterior = (likelihood prior/ (ormalizig costat Εκτίμηση της πιθανότητας ενός γεγονότος Εκτίμηση της πιθανότητας Εκτίμησητης τιμής των παραμέτρων wενός μοντέλου y(x,w από τα δεδομένα D: Maximum likelihood estimatio μεγιστοποίηση της πιθανοφάνειας p(d w ως προς w Maximum a posteriori estimatio: Μεγιστοποίηση της εκ των υστέρων (posterior πιθανότητας, δηλ. του p(d wp(w Fully Bayesia: Εκτίμηση της εκ των υστέρων κατανομής των παραμέτρων p(w D
Επιλογή/ δημιουργία χαρακτηριστικών Επιβλεπόμενες μέθοδοι Μη επιβλεπόμενες μέθοδοι Fisher s liear discrimiat Επιλογή μοντέλου (επικύρωση/ κανονικοποίηση Pricipal compoet aalysis Παλινδρόμηση Γραμμική Μη γραμμική Ελάχιστα τετράγωνα, MAP/ regularizatio, Bayesia liear regressio, support vector machie regressio eural etworks
Ταξινόμηση Διαθέσιμη πληροφορία Πλήρης Ελλειπής BayesDecisio heory Επιβλεπόμενη μάθηση Μη επιβλεπόμενη μάθηση Συνθετικές μέθοδοι (geerative Διαχωριστικές μέθοδοι (discrimiative Παραμετρικές μέθοδοι Μη παραμετρικές μέθοδοι Γραμμικές διαχωριστικές συναρτήσεις Μη γραμμικές διαχωριστικές συναρτήσεις Παραμετρικές μέθοδοι Μη παραμετρικές μέθοδοι Εκτίμηση παραμέτρων (ML, MAP, Bayes Desity estimatio (Parze widows K-earest eighbors Least squares, logistic regressio, perceptro, support vector machies eural etworks, Kerel perceptro, Kerel support vector machies Mixture models EM algorithm Cluster Aalysis (Κ meas
Επιλογή/ δημιουργία χαρακτηριστικών Fisher s liear discrimiat y Τ =w x s + s =w S w 2 2 Τ 2 W ( 2 2 ( m2 m = Τ 2 Τ Τ = S B w m w m w w Γενίκευση και σε Κ κλάσεις Pricipal compoet aalysis ( x x( x x = S=
Bayes Decisio heory Αν τα class-coditioal desities είναι γνωστά η απόφαση με βάση τον κανόνα του Bayes δίνει το ελάχιστο σφάλμα λάθος ταξινόμησης Ταξινόμηση τυχαίων μεταβλητών: p( x Ci ~ ( µ i, Σi g ( x = l p( x C + l pc ( i i i D = Σ Σ + 2 2 2 Τ ( x µ i i ( x µ i l(2 π l i l PC ( i
Geerative models - Παραμετρικές μέθοδοι Σκοπός η εκτίμηση παραμέτρων που χαρακτηρίζουν τα class-coditioal desities Διακριτές και συνεχείς μεταβλητές Maximum likelihood, Maximum a posteriori, Bayesia Πχ κανονική κατανομή- ML Μονοδιάστατη περίπτωση Πολυδιάστατη περίπτωση Bayes για άγνωστο και cojugate prior
Geerative models - Μη Παραμετρικές μέθοδοι Εμπειρική συνάρτηση κατανομής πιθανότητας Ιστόγραμμα Κ σταθερό, V από δεδομένα: K earest eighbors algorithm V σταθερό, Κ από τα δεδομένα: Εκτίμηση πυκνότητας με πυρήνα (kerel desity estimatio k-νν απευθείας ταξινόμηση
Γενική μορφή: Γραμμική παλινδρόμηση Least squares/ maximum likelihood (Gaussia errors ˆ LS Τ ( Τ w = Φ Φ Φ t= Φt Κανονικοποίηση Γενικά: Bayesia regressio Cojugate prior p( w t p( t w p( w
Γραμμική παλινδρόμηση Επιλογή μοντέλου Δεδομένα επικύρωσης, κανονικοποίηση (επιλογή λ από δεδομένα επικύρωσης, model evidece,
Discrimiative models Liear case Τ Δύο κλάσεις g( x = w x+ w0 Κ κλάσεις gk ( x = wkx+ wk 0 Εύρεση του διανύσματος w Least squares Για δυαδική μεταβλητή εξόδου (κακή επιλογή ( + WLS = X X X = X Εναλλακτικά margis (καλύτερη επιλογή wls = ( X X X b= Xb Γραμμικά διαχωρίσιμα δεδομένα wτ.ω. αν w x>0αν x C,w x<0αν x C 2 Θέτοντας -x x C 2 w: w x>0 x w x>b(b: margi w( k+ = w( k k ( J ( w ewto-raphsoupdate: w( k+ = w( k H J Xw= b
Perceptroalgorithm: μόνο τα λάθος ταξινομημένα δείγματα αλλάζουν τις τιμές του w Criterio fuctio JP ( w = ( w x M Batch traiig w( k+ = w( k + k ( x Sigle sample traiig w ( = αυθαίρετο Για περιθώριο b Discrimiative models Liear case M w( k+ = w( k + x k, k w( = αυθαίρετο k w( k+ = w( k + k ( x, k Τ k όπου w ( k x b Εναλλακτικές συναρτήσεις κριτηρίου (μη μηδενική Hessia J q = ( w ( w x M 2 J r 2 ( b ( w = w x M: w x 2 b 2 M x
Discrimiative models Liear case Logistic regressio (geeralized liear discrimiative model 2 κλάσεις y= g( w x+ w σ ( w x+ w = pc ( x = σ ( a 0 0 w x + w = a= 0 p( x C pc ( l p ( x C2 pc ( 2 Κ κλάσεις g k ( w x ( + w0 = pck x = j exp( αk exp( α j
Discrimiative ad regressio models oliear case eural etworks M D (2 ( yk = g wkj h wjixi k =, 2,..., K j= 0 i= 0 g ( a 0, a< 0 =, a 0 a a e e tah( a = = 2 σ ( a a a e + e Συναρτήσεις σφάλματος Regressio 2 class classificatio = { } E( w = t l y + ( t l( y K class classificatio Εκπαίδευση: backpropagatio
Kerels Support vector machies Kerels ad support vector machies k( xx, ' = ϕ ( x ϕ( x' = ϕ( x, ϕ( x' ( k ( xx, ' = x x' = x x ' k ( xx, ' = exp( x x ' 2 M 2 ( x x k( xx, ' = tah a ' + b Τ arg maxw, b mi t( w x+ b w M ( 2 arg miw w 2 subject to t ( w Τ x + b =,2,..., Κλάση Κλάση 2 Κλάση Κλάση 2 x = Support Vectors 2 L( w, b, a = w a( t( w Τ x+ b, a= ( a, a2,..., a 2
KK coditios Τ t ( w x + b 0 =, 2,..., a 0 Τ ( w x a t ( + b =0 Dual problem Support vector machies L( w, b, a L( w, b, a = 0 w= atx, = 0 0= w Lɶ ( a = a aa tt = 2 = m= = b = x x m m m Lɶ ( a = a aa tt k( x, x m m m = 2 = m= a = at 0 at = 0 Support Vectors Κλάση Κλάση 2
0 αν y( x t < ε SVMs for regressio Eε ( y( x t = y( x t - ε αλλιώς Συνάρτηση σφάλματος: C Eε ( y( x t + 2 = ξ > 0 αν t > y( x + ε ˆ ξ > 0 αν t < y ( x ε Support vector machies Πρόβλημα βελτιστοποίησης: 2 miimize C ( ˆ s.t., ˆ ξ+ ξ + w ξ ξ 0 ad 2 Lagragia = w t y( x + ε+ ξ t ( ˆ y x ε ξ 2 L= C ( ξ + ˆ ξ + w ( µ ξ + ˆ µ ˆ ξ = 2 = ( ε ξ ( x ˆ ( ˆ ε ξ ( x a + + y t a + y + t = = 2
Usupervised learig Εύρεση συνόλου διανυσμάτων µ k όπουk=,2,,k και την αντιστοιχία κάθε προτύπου σε μια από τις ομάδες r k ={0,}(r k =αν το σημείο x ανατεθεί στην κλάση k:. Αρχικοποίηση µ k 2. Ελαχιστοποίηση J ως προς r k 3. ΕλαχιστοποίησηJ ως προς µ k EM for Gaussia mixtures