Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Transcript

1 Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson 2 1

2

3 C MH ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΕΠΙΦΑΝΕΙΕΣ ΑΠΟΦΑΣΗΣ Υπενθύμιση: είναι το σύνολο δεδομένων που περιέχει τα διαθέσιμα δεδομένα από όλες τις κλάσεις. είναι το υποσύνολο του που περιέχει τα δεδομένα από την κλάση ω = 1 M Στην περίπτωση αυτή οι επιφάνειες απόφασης ορίζονται έμμεσα μέσω των σημείων του. Για παράδειγμα ο ταξινομητής πλησιέστερου γείτονα διαχωρίζει το χώρο των χαρακτηριστικών με βάση την ψηφοθέτηση Vorono Vorono tesselaton R : d mn d 1 N

4 ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Ταξινομητές Ταξινομητές συναρτ. διάκρισης Ταξινομητές επιφανειών απόφ. Παραμετρικοί ταξινομητές Μη παραμετρικοί ταξινομητές Μη παραμετρικοί ταξινομητές Παραμετρικοί ταξινομητές Τετραγ. Ταξινομ. Ευκλείδειας απόστασης Γραμμικοί Ταξινομ. Ταξινομ. Bayes Mahalanobs απόστασης Ταξιν. k- πλησιέστ. γειτόνων Perceptron Γραμμικοί Ταξινομ. Ταξιν. Ελαχ. τετραγώνων Μηχανές διανυσμ. στήριξης Μη γραμ. ταξινομ. Νευρωνικά δίκτυα

5 Υπενθ.: είναι το σύνολο των δεδομένων σημείων όλων των κλάσεων είναι το υποσύνολο του που περιέχει τα διανύσματα της κλάσης ω = 1 M Ταξινομητές με βάση τις συναρτήσεις διάκρισης ; :. ;. p p EM ML ά p p p P f g :. : 1 1 T T g ML ά N ό g :. : T T g ML ά ί I N ό g :. : 1 1 T T g ML ά ί N ό g ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ

6 Μη παραμετρικοί ταξινομητές με βάση τις συναρτήσεις διάκρισης.... ; k ά ί Parzen ά p p p P f g k g ΧΑΡΤΟΓΡΑΦΗΣΗ ΤΟΥ ΧΩΡΟΥ ΤΩΝ ΤΑΞΙΝΟΜΗΤΩΝ Υπενθ.: είναι το σύνολο των δεδομένων σημείων όλων των κλάσεων είναι το υποσύνολο του που περιέχει τα διανύσματα της κλάσης ω = 1 M

7

8 ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΕΠΙΦΑΝΕΙΩΝ ΑΠΟΦΑΣΗΣ Μερικά προκαταρτικά: - Στην πράξη έχουμε στη διάθεσή μας ένα σύνολο δεδομένων σύν. εκπαίδευσης όπου l { d R d {12... M} 1... N} είναι η l-διάστατη αναπαράσταση του -στού από τις N οντότητες διάνυσμα εκπαίδευσης d είναι η ετικέτα της κλάσης όπου ανήκει το 1 για την ω 1 2 για την ω 2. - Εστιάζουμε κυρίως στην περίπτωση των δύο κλάσεων. - Δεν υιοθετούμε καμία υπόθεση σχετικά με τις pdfs που μοντελοποιούν τις διάφορες κλάσεις. - Αναζητούμε την επιφάνεια γραμμική ή μη γραμμική που επιτυγχάνει τον βέλτιστο διαχωρισμό των διανυσμάτων δεδομένων των κλάσεων.

9 ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΕΠΙΦΑΝΕΙΩΝ ΑΠΟΦΑΣΗΣ Επιφάνεια απόφασης C: Περιγράφεται από εξίσωση της μορφής h=0 ή h;w=0 όπου w είναι το διάνυσμα των παραμέτρων που ορίζουν την επιφάνεια C. Παραδείγματα: 1. Αν η C είναι καμπύλη 1 ου βαθμού υπερεπίπεδο γραμμικός διαχωρισμός τότε h ; l T w w wl l w w w 1 0 w w0 k k k όπου w=[w 1 w l ] T =[ 1 l ] T. Οι παράμετροι είναι το διάνυσμα w και το w Αν η C είναι καμπύλη 2 ου βαθμού π.χ. Υπερέλλειψη μη γραμμικός διαχωρισμός τότε l l l h; w k1 qk όπου w=[w 0 w 1 w l w 11 w 1l w 22 w 2l w ll ] T w kq k q k1 w k k w 0 0 Σημείωση: Σε αρκετούς μη γραμμικούς ταξινομητές π.χ. στα νευρωνικά δίκτυα η μορφή της C δεν μπορεί να εκφραστεί άμεσα eplctly.

10 ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΕΠΙΦΑΝΕΙΩΝ ΑΠΟΦΑΣΗΣ Υπόθεση: Αν δεν ορίζεται διαφορετικά θεωρούμε την περίπτωση των δύο κλάσεων δηλ. ω 1 +1 και ω 2-1. Ορισμός προβλήματος: Δοθέντος ενός συνόλου δεδομένων προσδιόρισε μία επιφάνεια που επιτυγχάνει το βέλτιστο δυνατό διαχωρισμό των διανυσμάτων των δύο κλάσεων. Στρατηγική αντιμετώπισης του προβλήματος: 1. Υιοθέτησε μια συγκεκριμένη άμεση ή έμμεση παραμετρική μορφή για την επιφάνεια h;w=0. 2. Όρισε κατάλληλη συνάρτηση συνάρτηση κόστους - cost functon του w Jw η οποία περιλαμβάνει επίσης τα διανύσματα του έτσι ώστε τα βέλτιστά της ελάχιστα ή μέγιστα να αντιστοιχούν στις καλύτερες δυνατές επιφάνειες για το υπό μελέτη πρόβλημα. 3. Βελτιστοποίησε την Jw ως προς το w. Η θέση του βέλτιστου αυτής ορίζει την επιφάνεια απόφασης. Σημαντική παρατήρηση: Το νόημα της φράσης βέλτιστη δυνατή καμπύλη διαφέρει για διαφορετικές επιλογές της Jw.

11 ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ Έστω Jw συνεχής συνάρτηση του w. Πρόβλημα P1: Προσδιόρισε τη θέση w* όπου η συνάρτηση Jw λαμβάνει την ελάχιστη τιμή της. Μια απλή μέθοδος για την επίλυση του P1 είναι αυτή της οξύτερης καθόδου gradent descent - GD. -Αρχικοποίησε w=w0 -t=0 -Επανέλαβε J w - w t 1 w t w - t=t+1 ww t -Έως ότου επιτευχθεί σύγκλιση

12 ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ

13 ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ -Ένα παράδειγμα: Έστω w=[w 1 w 2 ] T και Jw=w w Είναι σαφές ότι η Jw λαμβάνει την ελάχιστη τιμή της στο w*=[1 1] T. J w -Είναι w 2w 2w 2 2 -Εφαρμόζοντας τον αλγόριθμο GD για w0=[0 5] T και μ=0.1 έχουμε 0 2 w Βλέπουμε ότι το w1 βρίσκεται εγγύτερα στο w*.

14 ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ

15 Σχόλια για τον αλγόριθμο GD: ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ -Η τιμή του μ πρέπει να είναι όχι πολύ μεγάλη ώστε να αποφεύγονται ταλαντώσεις γύρω από το ελάχιστο της συνάρτησης και όχι πολύ μικρή ώστε να αποφεύγονται άσκοπες καθυστερήσεις στη σύγκλιση. -Αν η Jw έχει περισσότερα από ένα ελάχιστα ο αλγόριθμος GD θα συγκλίνει γενικά σε εκείνο που βρίσκεται εγγύτερα στο w0. -Αν ο αλγόριθμος παγιδευτεί σε ένα τοπικό ελάχιστο που αντιστοιχεί σε μια κακή λύση ο μόνος τρόπος για να το αποφύγουμε είναι να επανεκκινήσουμε τον αλγόριθμο από μια διαφορετική αρχική θέση. -Μπορεί να αποδειχθεί ότι κάτω από κάποιες συνθήκες ο αλγόριθμος συγκλίνει ασυμπτωτικά σε ένα τοπικό ελάχιστο της Jw.

16 ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ Έστω Jw μια συνεχής συνάρτηση του w. Πρόβλημα P2: Προσδιόρισε τη θέση w* όπου η συνάρτηση Jw λαμβάνει την ελάχιστη τιμή της υπό την προϋπόθεση ότι το w ικανοποιεί μερικούς περιορισμούς ισότητας equalty constrants. Για γραμμικούς περιορισμούς ισότητας το πρόβλημα διατυπώνεται ως εξής Ελαχιστοποίησε την Jw Υπό τους περιορισμούς Aw=b όπου A ένας ml πίνακας και b ένα m-διάστατο διάνυσμα. Λύση: Πολ/στές Lagrange Ελαχιστοποίησε την - Lw=Jw+λ Τ Aw-b - λ είναι ένα m-διάστατο διάνυσμα που εκτιμάται μέσω των περιορισμών Aw=b

17 ΒΑΣΙΚΑ ΣΤΟΙΧΕΙΑ ΘΕΩΡΙΑΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ Έστω Jw μια συνεχής συνάρτηση του w. Πρόβλημα P3: Προσδιόρισε τη θέση w* όπου η συνάρτηση Jw λαμβάνει την ελάχιστη τιμή της υπό τις την προϋπόθεση ότι το w ικανοποιεί μερικούς περιορισμούς ανισότητας. Για γραμμικούς περιορισμούς ανισότητας το πρόβλημα διατυπώνεται ως εξής Ελαχιστοποίησε την Jw Υπό τους περιορισμούς Aw b όπου A ένας ml πίνακας και b ένα m-διάστατο διάνυσμα.

18 ΓΡΑΜΜΙΚΟΙ ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΕΠΙΦΑΝΕΙΩΝ ΑΠΟΦΑΣΗΣ -Στην περίπτωση αυτή η επιφάνεια είναι ένα υπερεπίπεδο H της μορφής T H : h; w w 1 wl l w0 wk k w0 w w0 όπου w=[w 1 w l ] T =[ 1 l ] T l 1 k1 0 - Το H ορίζεται πλήρως από τα w και w 0. - Μερικά στοιχεία από τη Γεωμετρία: - Το διάνυσμα w είναι κάθετο στο H. - Το w ορίζει τον προσανατολισμό orentaton του H. - Όλα τα υπερεπίπεδα που είναι παράλληλα με το H έχουν τον ίδιο προσανατολισμό με αυτό. - Το w είναι κάθετο σε όλα τα υπερεπίπεδα που είναι παράλληλα με το H. - Το w 0 είναι η παράμετρος που ταυτοποιεί μοναδικά ένα συγκεκριμένο υπερεπίπεδο ανάμεσα από υπερεπίπεδα ίδιου προσανατολισμού.

19 ΓΡΑΜΜΙΚΟΙ ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΕΠΙΦΑΝΕΙΩΝ ΑΠΟΦΑΣΗΣ d w w g w 2 2 z w 2 1 w 2 2