Dt Miig Clssifictio: Altertive echiques Lecture otes for Chpter 5 (cot.)
Clssifictio roblem Πρόβλημα μάθησης με επίβλεψη (Supervised lerig) Δεδομένα του συνόλου εκπαίδευσης αποτελούμενα από ζεύγη σημείων σε ένα χώρο ( R d ) και ετικέτας ή πρόβλεψης. X, Στόχος να φτιάξουμε μία συνάρτηση f() : X f
Μηχανές Διανυσματικής Στήριξης (Support Vector Mchies - SVMs) Πρόβλημα μάθησης με επίβλεψη (Supervised lerig) Δεδομένα του συνόλου εκπαίδευσης X, αποτελούμενα από ζεύγη σημείων σε ένα χώρο ( R) και ετικέτας ή πρόβλεψης. Στόχος να φτιάξουμε μία συνάρτηση f() που να προβλέπει την κατηγορία των σημείων.
Γραμμική ταξινόμηση f() γραμμική συνάρτηση: + > f Ορίζει ένα υπερεπίπεδο ως διαχωριστική επιφάνεια στον χώρο των προτύπων + <
Lier Discrimit Fuctio Ποια είναι η βέλτιστη θέση της διαχωριστικής επιφάνειας ώστε να ελαχιστοποιηθεί το σφάλμα διάκρισης των κατηγοριών; Άπειρος αριθμός λύσεων!
Lier Discrimit Fuctio Ποια είναι η βέλτιστη θέση της διαχωριστικής επιφάνειας ώστε να ελαχιστοποιηθεί το σφάλμα διάκρισης των κατηγοριών; Άπειρος αριθμός λύσεων!
Lier Discrimit Fuctio Ποια είναι η βέλτιστη θέση της διαχωριστικής επιφάνειας ώστε να ελαχιστοποιηθεί το σφάλμα διάκρισης των κατηγοριών; Άπειρος αριθμός λύσεων!
Lier Discrimit Fuctio Ποια είναι η βέλτιστη θέση της διαχωριστικής επιφάνειας ώστε να ελαχιστοποιηθεί το σφάλμα διάκρισης των κατηγοριών; Άπειρος αριθμός λύσεων! Ποια είναι η βέλτιστη λύση?
Λύση: Μεγιστοποίηση Περιθωρίου Ορισμός : Περιθώριο (Mrgi) είναι η μικρότερη απόσταση των σημείων από την διαχωριστική επιφάνεια sfe zoe Περιθώριο (Mrgi) Ορισμός : Περιθώριο (Mrgi) είναι το πλάτος του ορίου γύρω από την διαχωριστική επιφάνεια που μπορεί να επεκταθεί χωρίς να καλύψει κάποιο σημείο. Γιατί είναι η βέλτιστη λύση?
Μεγιστοποίηση Περιθωρίου (συν.) Η λογική είναι να επιλέξουμε να τοποθετήσουμε την διαχωριστική επιφάνεια σε τέτοια θέση ώστε να μεγιστοποιηθεί το περιθώριο ανάμεσα στις κατηγορίες. sfe zoe Περιθώριο (Mrgi) Έτσι θα ελαχιστοποιηθεί το ρίσκο της απόφασης του ταξινομητή. Παράλληλα αυξάνεται η γενικευτική ικανότητα του ταξινομητή (Vpick, 963)
Απόσταση σημείου : Έτσι το περιθώριο ορίζεται: Μεγιστοποίηση Περιθωρίου (συν.) r( ) + = r mi mi mrgi
Μεγιστοποίηση Περιθωρίου (συν.) Πρόβλημα μεγιστοποίησης περιθωρίου (mimum mrgi) mi, ˆ, ˆ : m Η επίλυση του είναι δύσκολη. Καταφεύγουμε σε ένα τρυκ: Μπορούμε να πολ/σουμε με μια σταθερά k και η απόσταση r( ) να παραμείνει σταθερή (sclig fctor). Ετσι, μπορούμε να διαλέξουμε μία τιμή του k έτσι ώστε για το σημείο * με την μικρότερη απόσταση να ισχύει: *
Μεγιστοποίηση Περιθωρίου (συν.) Επομένως ισχύει ότι: Mrgi X : + Το περιθώριο είναι: mrgi mi + -
Το πρόβλημα μεγιστοποίησης περιθωρίου, ˆ : m, ˆ s.t. ˆ, ˆ : mi, s.t. πρόβλημα κυρτού τετραγωνικού προγραμματισμού (cove qudrtic progrmmig) με ανισοτικούς περιορισμούς.
Πρόβλημα ελαχιστοποίησης με ισοτικούς περιορισμούς Λύση με πολλαπλασιαστές Lgrge: Κατασκευή συνάρτησης ενσωματώνοντας τους περιορισμούς: λ: ο πολλαπλασιαστής Lgrge Ισχύει ότι: Πολλαπλασιαστές Lgrge mi f s.t. g c g c L, f g c mi L, mi f και g c L ˆ, f ˆ ˆ
Πολλαπλασιαστές Lgrge (συν.) Πρόβλημα ελαχιστοποίησης με ανισοτικούς περιορισμούς mi f s.t. g c g c Λύση με πολλαπλασιαστές Lgrge: Κατασκευή συνάρτησης ενσωματώνοντας τους περιορισμούς: L, f g Ισχύουν οι Krush-Khu-ucker (KK) συνθήκες στην λύση: g c g c c
Λύση του προβλήματος μεγιστοποίησης περιθωρίου με Lgrge, mi L,, s.t. Qudrtic progrmmig ith lier costrits Συνάρτηση Lgrge
s.t. mi : ˆ, ˆ, L,, KK συνθήκες
L ˆ L L,, miimize
m m m m D L mimize, s.t. rime problem Συνάρτηση Lgrge του Δυϊκού (Dul) προβλήματος L,, miimize
Χρήσιμες παρατηρήσεις της λύσης. Το αρχικό πρόβλημα έχει d+ πλήθος αγνώστων παραμέτρων για τους γραμμικούς συντελεστές {, }, όπου d η διάσταση των δεδομένων. Το δϋικό πρόβλημα έχει πλήθος αγνώστων για τους πολ/στές Lgrge { }, όπου το πλήθος των δεδομένων του συνόλου εκπαίδευσης. Έτσι η μέθοδος SVM βολεύει για πολυδιάστατα δεδομένα όπου το d>> καθώς κατασκευάζει ένα (δϋικό) χώρο αναζήτησης αρκετά μικρότερο από τον αρχικό χώρο.
Χρήσιμες παρατηρήσεις της λύσης (συν.). Ο κανόνας απόφασης γίνεται: δηλ. ένας γραμμικός συνδυασμός εσωτερικών γινομένων του υπό-εξέταση σημείου με όλα τα σημεία του συνόλου εκπαίδευσης, με συντελεστές που σχετίζονται με τους πολ/στές Lgrge. ˆ f f
Χρήσιμες παρατηρήσεις της λύσης (συν.) 3. Οι KK συνθήκες ορίζονται ως εξής: Έτσι: ή δηλ. τα σημεία που βρίσκονται πάνω στο περιθώριο (mrgi)
Χρήσιμες παρατηρήσεις της λύσης (συν.) Όσα σημεία βρίσκονται εκτός του περιθωρίου, δηλ. =, δεν παίζουν κάποιο ενεργό ρόλο καθώς δεν χρησιμοποιούνται στον κανόνα απόφασης της μεθόδου. Όσα σημεία βρίσκονται στο περιθώριο όπου ισχύει έχουν >. Αυτά ονομάζονται support vectors (διανύσματα στήριξης) και παίζουν ενεργό ρόλο στην απόφαση. Μάλιστα, εκφράζουν τον βαθμό σημαντικότητας των δεδομένων. + + - Support Vectors
5 = Clss (+) = 8 =.6 7 = = Support vectors (διανύσματα στήριξης) s με μη-μηδενικές τιμές, που «συγκρατούν» το περιθώριο 4 = 6 =.4 9 = 3 = Clss (-) =.8
Χρήσιμες παρατηρήσεις της λύσης (συν.) 4. Kerel trick. Χρήση συνάρτησης φ(). Ιδέα: Ο χώρος των δεδομένων μετασχηματίζεται σε έναν μεγαλύτερης διάστασης χώρο που είναι γραμμικά διαχωρίσιμος Φ: φ()
4. Kerel trick Όλα τα εσωτερικά γινόμενα παίρνουν την μορφή: Συνάρτηση πυρήνα (Kerel fuctio): συνάρτηση που ορίζεται ως το εσωτερικό γινόμενο δύο διανυσμάτων του μετασχηματισμένου χώρου (εκφράζει ομοιότητα). Έτσι ο κανόνας απόφασης μετατρέπεται: i i i K, Kerel fuctio, K f f f
Παραδείγματα συναρτήσεων πυρήνα K i, Lier Kerel olomil Kerel Gussi ή RBF Kerel Cosie Sigmoid K K, p K K K i, i i i, e i i i, i i, th i i...
Κατασκευή ενός γραμμικού χώρου χαρακτηριστικών (feture spce) μέσω της φ() Iput Spce Πραγματικός χώρος (.) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Kerel spce Μετασχηματισμένος χώρος
Κατασκευή ενός γραμμικού χώρου χαρακτηριστικών (feture spce) μέσω της φ() o o o o ( ) ( o) ( o) ( ) ( o) ( ) ( ) ( o) X F
Κατασκευή συναρτήσεων πυρήνα ανάλογα με το πρόβλημα και του τύπου δεδομένων Παράδειγμα: Συνάρτηση πυρήνα δεδομένων που περιγράφονται με ιστογράμματα, π.χ. εικόνες K( h, h ) mi( h ( i), h ( i)) i
Χρήσιμες παρατηρήσεις της λύσης (συν.) 5. Εύρεση του σταθερού όρου Σύνολο των support vectors Αλλά καθώς: Αντικαθιστώντας Και αθροίζοντας παίρνουμε τελικά: Δοκιμάζουμε διάφορες τιμές του ώστε να πετύχουμε την ισότητα : S ˆ S m m m m S S K s S S m m m m, Πληθάριθμος S
Εφαρμογές των SVMs Κυρίως σε περιπτώσεις πολυδιάστατων δεδομένων Βιοπληροφορική (Bioiformtics) gee epressio dt lsis et ctegoriztio miig Hdritte chrcter recogitio Mchie Visio ime series lsis
Βιοπληροφορική (Bioiformtics) gee epressio dt
et ctegoriztio miig Bg of ords (leico)
olier SVM Μη-γραμμικά διαχωρίσιμη περίπτωση Τι γίνεται στην περίπτωση όπου τα δεδομένα είναι μηγραμμικά διαχωρίσιμα? Εισαγωγή βοηθητικών μεταβλητών ξ i που επιτρέπουν σφάλματα, δηλ. σημεία να βρίσκονται σε λάθος πλευρά του περιθωρίου.
olier SVM Μη-γραμμικά διαχωρίσιμη περίπτωση Αν το σημείο βρίσκεται στη σωστή πλευρά (όχι σφάλμα) τότε ξ =. Αν υπάρχει σφάλμα, τότε: Έτσι, αν βρίσκεται πάνω στην + = τότε ξ =. f Αν είναι λάθος ταξινομημένο τότε ξ >
olier SVM Μη-γραμμικά διαχωρίσιμη περίπτωση Έτσι θέλουμε Δηλ. το ξ παρέχει την ανοχή στο σφάλμα για κάθε σημείο και άρα το περιθώριο τοπικά δύναται να εισέλθει στο χώρο της άλλης κατηγορίας.
olier SVM Κατασκευή της αντικειμενικής συνάρτησης Το εκφράζει το συνολικό σφάλμα Πρόβλημα: mi,, C s.t. C: ελεύθερη παράμετρος
Πρόβλημα: C L,, C,, mi s.t. Συνάρτηση Lgrge
C L,, miimize L ˆ L C L
C L,, miimize ΚΚΤ συνθήκες ή ή
C L,, miimize m m m m D L mimize, C s.t. Συνάρτηση Lgrge του Δυϊκού (Dul) προβλήματος
m m m m D L mimize, C s.t. Δυϊκό πρόβλημα (Dul problem) Αν α > τότε τα είναι τα support vectors και ισχύει: Αν α < C τότε μ > και άρα ξ =. Ισχύει:
m m m m D L mimize, C s.t. Δυϊκό πρόβλημα (Dul problem) (συν.) Αν α = C τότε μ = και άρα ξ >. Έτσι το σημείο βρίσκεται μέσα στο περιθώριο. Αν ξ τότε το σημείο είναι σωστά ταξινομημένο, Αν ξ > τότε είναι εσφαλμένα ταξινομημένα
Υπόθεση: Sttisticl Clssifiers Τα πρότυπα που ανήκουν σε μια κατηγορία ω είναι δείγματα ή παρατηρήσεις που προέρχονται από μια κατανομή, δηλ. από έναν μηχανισμό γέννησης: p Επίσης κάθε κατηγορία ω (=,,K) έχει μία πιθανότητα ( ω ), όπου ισχύει ότι: K
Sttisticl Clssifiers ( ω ) : εκ των προτέρων (prior) πιθανότητα να εμφανιστεί ένα δεδομένο της κατηγορίας ω p( ω ): η υπό-συνθήκη (ή δεσμευμένη) συνάρτηση πυκνότητας πιθανότητας της κατηγορίας ω (clss coditiol pdf - likelihood) πόσο συχνά θα εμφανιστεί ένα πρότυπο με χαρακτηριστικά του αν υποθέσουμε ότι ανήκει στην ω
(ω ): η υπό-συνθήκη πιθανότητα της κατηγορίας ω (posterior probbilit) Η εκ των υστέρων πιθανότητα ότι ένα πρότυπο με χαρακτηριστικά όπως του ανήκει στην κατηγορία ω. Το ποσό βεβαιότητας ότι ένα πρότυπο με χαρακτηριστικά όπως του είναι πρότυπο της κατηγορίας ω. Στόχος: να υπολογίζουμε τις εκ των υστέρων πιθανότητες ώστε να αποφασίζουμε με βάση αυτές.
Ο Κανόνας (ή Νόμος) του Bes (homs Bes 7-6) Έστω δ.χ. Ω με K ασυμβίβαστα ενδεχόμενα: B B. B K = Ω, Β i Β = i,. (B )+(B )+ +(B K )=(Ω)= Έστω ότι εμφανίζεται τo ενδεχόμενο A. Ψάχνουμε να βρούμε κατά πόσο μεταβλήθηκε η πιθανότητα του B μετά την εμφάνιση του A (εκ των υστέρων). B A A B A K k A B B A B B k k
Μπεϋζιανή Ταξινόμηση Εφαρμογή του Bes στο πρόβλημα της ταξινόμησης Έστω δ.χ. προτύπων χωρισμένος σε Κ κατηγορίες { ω }. Κάθε κατηγορία έχει μία αδέσμευτη πιθανότητα (ω ), και μία υπό-συνθήκη κατανομή p( ω ). Ένα πρότυπο ανήκει στην κατηγορία ω με πιθανότητα: p p likelihood prior evidece που είναι η εκ των υστέρων πιθανότητα ω όπου p K p k k k έτσι ώστε K
Απόφαση με βάση την μέγιστη εκ των υστέρων πιθανότητα (mimum posterior rule): K K k k k K K K p p p p p m m m m :,,,,,,,, *
Για Κ= κατηγορίες {ω, ω } Decide ω if ; otherise decide ω Decide ω if p or p ; otherise decide ω p Decide ω if ; otherise decide ω p likelihood rtio or threshold
Παράδειγμα για Κ= κατηγορίες {ω, ω } ( ) ( ) 3 3 p(/ω ) (ω /)
p p p Περιοχή απόφασης της ω Περιοχή απόφασης της ω
Σφάλμα ταξινόμησης Πιθανότητα σφάλματος Πότε κάνουμε σφάλμα στην απόφαση; όταν για κάποιο ω ο μηχανισμός αποφασίζει ότι είναι κατηγορίας ω p p ή περιοχή απόφασης R Όταν για κάποιο ω ο μηχανισμός αποφασίζει ότι είναι κατηγορίας ω. p p περιοχή απόφασης R
Πιθανότητα σφάλματος έτσι,, d p d p R R R R error R R R R d p d p error
Bes clssifier miimum error clssifier p p p p R d p R d Περιοχή απόφασης της ω Περιοχή απόφασης της ω
Βασική υπόθεση ανεξαρτησίας μεταξύ των χαρακτηριστικών των προτύπων Έτσι η υπό-συνθήκη πυκνότητα γράφεται ως: Ο «αφελής» Ταξινομητής Bes ïve Bes Clssifier d i i d d p p p p p p,,, d,,,
Πλεονεκτήματα Ευκολία στην εφαρμογή και χρήση της μεθόδου Μικρή πολυπλοκότητα (αριθμός παραμέτρων) Γρήγορη διαδικασία εκπαίδευσης (fst triig) Γρήγορη διαδικασία απόφασης (fst decisio) Διευκόλυνση στον χειρισμό χαρακτηριστικών μικτού τύπου (συνεχή, διακριτά) Μειονεκτήματα Η υπόθεση της ανεξαρτησίας χαρακτηριστικών, αν και υποχρεωτική, είναι δυνατόν να επιφέρει μειωμένη απόδοση στον ταξινομητή
Παράδειγμα εφαρμογής του ïve Bes Clssifier στο πρόβλημα της ταξινόμησης κειμένων Διανυσματική αναπαράσταση κειμένων (bg of ords): Υποθέτουμε λεξικό αποτελούμενο από d όρους. Κάθε κείμενο: = (,,, d ), όπου i η συχνότητα εμφάνισης της i-οστής λέξης στο λεξικό. Κάθε κατηγορία ω περιγράφεται από ένα διάνυσμα πιθανοτήτων θ = (θ, θ,, θ d ) δηλ. πολυωνυμική κατανομή. Τότε: p p p i i d i d i i i
Κανόνας απόφασης για Κ= κατηγορίες ( (ω )=ρ ) : ή d i i i d i i d i i i i i p p p p l l d i i i i
Ο κανόνας απόφασης: γράφεται ως εξής: γραμμική επιφάνεια διάκρισης με συντελεστές: l l d i i i i d i i i i i i l l l
Διακρίνουσες συναρτήσεις Επιφάνειες διάκρισης Χρήση διακρίνουσων συναρτήσεων (discrimit fuctios) σε προβλήματα ταξινόμησης, g () =,,K. Τότε, ένα πρότυπο θα ανήκει στην κατηγορία ω αν ισχύει: g g k k Clss g () I p u t Clss g () g K () m decisio d Clss K
Η συνάρτηση διάκρισης στους Μπεϋζιανούς ταξινομητές: Μπορούμε να χρησιμοποιήσουμε αντί για g() μία άλλη συνάρτηση f(g()), όπου f() μία συνάρτηση μονότονη αύξουσα. Το αποτέλεσμα της απόφασης ταξινόμησης δεν μεταβάλλεται: g g g g p p p g l p l
Εναλλακτικές διακρίνουσες συναρτήσεις: sigmoid (ή logistic) όπου g l k ormlized epoetil (soft-m) g K e k e k K p e p k όπου k l p
Περίπτωση Κανονικής κατανομής Χρησιμοποιώντας την λογαριθμική διακρίνουσα συνάρτηση παίρνουμε : p g l l d e p / / / d g l l l, ~ /
Διακρίνουσα συνάρτηση: όπου l l W g W l l
Τα όρια απόφασης προκύπτουν από την εξίσωση g g Η επιφάνεια απόφασης είναι μη-γραμμική (υπερπαραβολικές, υπερ-ελλειπτικές, κλπ.) o-lier decisio boudries
Περίπτωση κοινού πίνακα Σ, Σ = Σ Διακρίνουσα συνάρτηση : g l l όπου g γραμμική l
Αν (ω i ) (ω ), τότε το απομακρύνεται από την πιθανότερη κατηγορία. l
Equivlet to Mhlobis distce clssifier Σε περίπτωση όπου όλες οι κατηγορίες είναι επιπλέον ισοπίθανες (όλες οι πιθανότητες (ω i ) ίσες) τότε η διακρίνουσα συνάρτηση μετατρέπεται σε: δηλ. ανάλογη με την Mhlobis απόσταση
Διακρίνουσα συνάρτηση : όπου Περίπτωση κοινού σφαιρικού πίνακα Σ =Σ =σ I g l l g γραμμική l
Αν (ω i ) (ω ), τότε το απομακρύνεται από την πιθανότερη κατηγορία. l
Equivlet to Miimum Euclide distce clssifier Όταν επιπλέον όλες οι πιθανότητες (ω i ) είναι ίσες τότε η διακρίνουσα συνάρτηση μετατρέπεται σε: g i ( ) i Δηλ. απόφαση με βάση την Ευκλείδια απόσταση από το μέσον (κέντρο) της κατηγορίας.