ΚΑΤΗΓΟΡΙΕΣ ΤΑΞΙΝΟΜΗΣΗΣ Κατευθυνόμενη ταξινόμηση (supervsed cassfcaton) Μη-κατευθυνόμενη ταξινόμηση (unsupervsed cassfcaton) Γραμμική: Lnear Dscrmnant Anayss Μη- Γραμμική: Νευρωνικά δίκτυα κλπ. Ιεραρχική : Aggomeratve Dvsve Επιμεριστική: k-means SOM κλπ. Spectra Μηχανές Διανυσμάτων Υποστήριξης (Support Vector Machnes) κλπ. 1
10. ΚΑΤΕΥΘΥΝΟΜΕΝΗ ΤΑΞΙΝΟΜΗΣΗ 2
ΚΑΤΕΥΘΥΝΟΜΕΝΗ ΤΑΞΙΝΟΜΗΣΗ Γίνεται εκπαίδευση της μεθόδου ταξινόμησης για την εύρεση ενός διαχωριστικού επιπέδου Χωρισμός δεδομένων σε δύο ομάδες: Ομάδα εκπαίδευσης (Tranng set) δεδομένα γνωστής προέλευσης για εκπαίδευση της μεθόδου Ομάδα για τεστ (Test set) άγνωστα δεδομένα για αναγνώριση από την εκπαιδευμένη μέθοδο Μπορεί να υπάρξει και τρίτη ομάδα: Ομάδα επαλήθευσης (Vadaton set) δεδομένα γνωστής προέλευσης για επαλήθευση των αποτελεσμάτων της εκπαιδευμένης μεθόδου 3
ΜΗΧΑΝΕΣ ΔΙΑΝΥΣΜΑΤΩΝ ΥΠΟΣΤΗΡΙΞΗΣ (ΜΔΥ) (SUPPORT VECTOR MACHINES, SVM) Ανήκουν στην οικογένεια των μεθόδων ταξινόμησης βασιζόμενων σε πυρήνες Οι ΜΔΥ μεταφέρουν τα δεδομένα στο «χώρο χαρακτηριστικών», στον οποίο τα δεδομένα είναι γραμμικά διαχωριζόμενα και έχουν μεγαλύτερες διαστάσεις, όπου γίνεται ο υπολογισμός ενός πολυεπιπέδου μέγιστου διαχωρισμού των δύο τάξεων. Η μεταφορά επιτυγχάνεται μέσω συναρτήσεων πυρήνων (kernes): συναρτήσεις που δίνουν το εσωτερικό γινόμενο στο χώρο χαρακτηριστικών εκτελόντας υπολογισμούς στο χώρο δεδομένων 4
Δεδομένα {(Χ 1,y 1 ),,(Χ n,y n } όπου Χ =(x 1,,x p ) και y ={1,-1} ανάλογα με την τάξη στην οποία ανήκει το x Διανύσματα υποστήριξης: ανήκουν στα δύο επίπεδα παράλληλα του επιπέδου μέγιστου διαχωρισμού x x w w + b + 1 για y = +1 + b 1 για y = 1 όπου w: παράμετροι του επιπέδου διαχωρισμού, b: offset Γενική λύση: f ( x) = α y x, x Για μη-γραμμικό διαχωρισμό χρησιμοποιούνται οι συναρτήσεις πυρήνων, Κ<.>, και η γενική λύση είναι: f ( x) = α y K x, x
LINEAR DISCRIMINANT ANALYSIS (LDA) Δεδομένα είναι γραμμικά διαχωριζόμενα Διαχωρισμός σε δύο ομάδες Υπολογισμός ενός μετασχηματισμού ο οποίος περιστρέφει τους άξονες και δημιουργεί έτσι νέους άξονες. Προβολή των δεδομένων στους νέους άξονες μεγιστοποιεί τις διαφορές μεταξύ των δύο ομάδων. Ιδανική περίπτωση: εύρεση μετασχηματισμού που διαχωρίζει πλήρως τα δεδομένα Συνήθως: τέτοιος μετασχηματισμός δεν υπάρχει ελαχιστοποίηση επικάλυψης μεταξύ των μετασχηματισμένων ομάδων 6
Σχήμα από: http://www.dtreg.com/da.htm 7
Λύση μέσω μεγιστοποίησης της συνάρτησης κόστους, J(w): όπου: N c : αριθμός δεδομένων στην τάξη c. S B : πίνακας διασποράς μεταξύ των τάξεων (between-cass dstance) S W : πίνακας διασποράς μέσα στις τάξεις (wthn-cass dstance) 8
ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ (ΝΔ) Μοντέλα βασιζόμενα σε βιολογικά νευρωνικά δίκτυα Νευρώνες ενωμένοι μαζί δίκτυο. Αλγόριθμοι που αλλάζουν τη δύναμη κάθε «ένωσης» καθώς το δίκτυο μαθαίνει. 9
ΝΔ ΠΡΟΣΩ ΤΡΟΦΟΔΟΤΗΣΗΣ: ΑΝΑΓΝΩΡΙΣΤΗΣ (FEED-FORWARD NN: PERCEPTRON) Απλούστερο ΝΔ γραμμική μέθοδος ταξινόμησης Τα δεδομένα είναι ενωμένα απευθείας με την έξοδο μέσω συντελεστών βαρύτητας, w. Για δεδομένα Χ={Χ 1,,Χ Ν } η έξοδος του perceptron είναι 1, αν w.x + b > 0 f (x) = 0, αλλιώς όπου w: συντελεστές βαρύτητας, b: σταθερά bas. Εκπαίδευση: w( j)' = w( j) + α( y f ( x)) όπου w(j): τιμή του j th συντελεστή βαρύτητας, f(x): έξοδος του αναγνωριστή, y: η αναμενόμενη έξοδος, α: σταθερά, 0<α<1 Αυτό γίνεται επαναληπτικά και για κάθε νευρώνα στο δίκτυο μέχρι η διαφορά μεταξύ f(x) και y να είναι μικρότερη μιας μικρής σταθεράς. 10
ΠΑΡΑΔΕΙΓΜΑ ΕΚΠΑΙΔΕΥΣΗΣ ΑΝΑΓΝΩΡΙΣΤΗ Από http://en.wkpeda.org/wk/perceptron 11
ΠΟΛΥΣΤΡΩΜΑΤΙΚΟΣ ΑΝΑΓΝΩΡΙΣΤΗΣ (MULTILAYER PERCEPTRON) Πολλαπλά κρυμμένα στρώματα (hdden ayers) νευρώνων ενωμένα με τις εισόδους με πρόσω τροφοδότηση Επίτευξη μη-γραμμικής ταξινόμησης μέσω σιγμοειδούς συνάρτησης, η οποία εφαρμόζεται στο γραμμικό συνδυασμό των εισόδων 1 y = 1 x + e Οπισθοδρομική εκπαίδευση (backpropagaton) η πιο συνήθης: σύγκριση της εξόδου με την αναμενόμενη έξοδο για υπολογισμό του λάθους, το οποίο τροφοδοτείται πίσω μέσα στο ΝΔ για αναπροσαρμογή των συντελεστών βαρύτητας μέσω gradent descent. Επανάληψη μέχρι το λάθος να είναι μικρό. 12
Οπισθοδρομική εκπαίδευση: Forward pass: y n = f ( u ) = f j= 1 1 w j x 1 j + b, για = 1,..., L όπου n -1 : αριθμός κρυμμένων νευρώνων στο στρώμα - 1, L: αριθμός στρωμάτων, : αριθμός εξόδων στο στρώμα Error computaton: δ L = f ( u ) όπου d : αναμενόμενη έξοδος, f (.): παράγωγος Backward pass: Learnng updates: n L L ( d y ) 1 1 δ j = f ( u j ) δ jwj, για = = 1 L,...,1 Δw j = ηδ x 1 j Δb = ηδ για = 1,..., L 13
14 ΕΠΟΜΕΝΟ ΜΑΘΗΜΑ: Στατιστικές αποτελεσμάτων