Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Transcript

1 Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Version

2 Εκφράζοντας τον ταξινομητή Bayes (a) Με χρήση συναρτήσεων διάκρισης (discriminant functions) - Έστω g q (x)=f(p(ω q )p(x ω q )), q=,,m, όπου f γνησίως αύξουσα συνάρτηση. - Ταξινόμησε δεδομένο x στην κλάση ω για την οποία g (x) = max q=,,m g q (x). (b) Με χρήση επιφανειών απόφασης (decision surfaces) - Ταξινόμησε δεδομένο x στην κλάση ω για την οποία xr, όπου R ={x R l : g (x) = max q=,,m g q (x) } = {x R l : P(ω x) = max q=,,m P(ω q x) } = {x R l : P(ω )p(x ω ) = max q=,,m P(ω q )p(x ω q ) } ΣΗΜΕΙΩΣΗ: Οι R s μπορούν να ταυτοποιηθούν μέσω των συνόρων τους με τις γειτονικές τους περιοχές. Σύνορο κλάσεων ω, ω q που αντιστοιχούν σε γειτ. περιοχές.: g q (x) g (x)- g q (x)=0 Περιοχές απόφασης: R ={x R l : g q (x)>0}, R q ={x R l : g q (x) <0} Σημαντική παρατήρηση: Στην πράξη η εύρεση της μίας έκφρασης από την άλλη είναι μια καθόλου προφανής διαδικασία. Αυτός είναι ένας βασικός λόγος για τον οποίο έχουν αναπτυχθεί ταξινομητές χρησιμοποιώντας ανεξάρτητα τις παραπάνω εκφράσεις.

3 Επίσης g (x)=0 g (x)- g (x)=0 είναι ισοδύναμη με ) ( ln ) ( ln P c x x x P c x x x Εξίσωση συνόρου συνεχόμενων κλάσεων (i) Σ i Σ : Σ αυτή την περίπτωση η g (x)=0 αναπαριστά μια καμπύλη δευτέρου βαθμού (π.χ. υπερ-έλλειψη, υπερ-παραβολή) (τετραγωνικός ταξινομητής - quadratic discriminant analysis) (ii) Σ i =Σ : Σ αυτή την περίπτωση η g (x)=0 αναπαριστά μια καμπύλη πρώτου βαθμού (υπερεπίπεδο) (γραμμικός ταξινομητής - linear discriminant analysis) Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών

4 4

5 5

6 6

7 Παράδειγμα: gi ( x) ( x x ) ( ix ix) ( i i ) ln P ( i ) Ci Δηλαδή, η g i (x) είναι τετραγωνική. Σημειώστε ότι οι επιφάνειες gi( x) g ( x) 0 ΔΕΝ είναι, απαραίτητα, τετραγωνικής μορφής (ελλείψεις, παραβολές,υπερβολές, ζεύγη ευθειών). Για παράδειγμα: i 0 0 7

8 Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών (ii)-a Σ i =Σ και P(ω )=P(ω ): Αγνοώντας τις κοινές ποσότητες που εμφανίζονται σε όλες τις g (x)s, η g (x) γίνεται Θυμίζουμε ότι d M g ( x) ( x ) ( x ) ( x ) ( x ) ( x, ) είναι η γνωστή Mahalanobis απόσταση. Σ αυτή την περίπτωση, ο ταξινομητής Bayes μπορεί να γραφτεί ισοδύναμα ως Καταχώρησε το x στην ω i με: d M (x,μ ) = min q=, M d M (x,μ q ) Ταξινομητής ελάχιστης Mahalanobis απόστασης

9 Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών (ii)-b Σ i =Σ =σ Ι και P(ω )=P(ω ): Αγνοώντας τις κοινές ποσότητες που εμφανίζονται σε όλες τις g (x)s, η g (x) γίνεται g ( x) ( x ) ( x ) x όπου x-μ είναι η γνωστή Ευκλείδεια απόσταση. Σ αυτή την περίπτωση, ο ταξινομητής Bayes μπορεί να διατυπωθεί ισοδύναμα ως εξής Κατχώρησε το x στην ω i με: x - μ = min q=, M x - μ q Ταξινομητής ελάχιστης Ευκλείδειας απόστασης

10 (ii)-a-b Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών Παρατήρηση: Για προβλήματα ταξινόμησης δύο κλάσεων: - ο ταξινομητής ελαχ. Ευκλείδειας απόστασης οριοθετεί τις περιοχές απόφασης των δύο κλάσεων με τη μεσοκάθετο του τμήματος που ενώνει τα μέσα διανύσματα των κλάσεων. - ο ταξινομητής ελαχ. Mahalanobis απόστασης οριοθετεί τις περιοχές απόφασης των δύο κλάσεων με ευθεία που διέρχεται από το μέσο του τμήματος που ενώνει τα μέσα διανύσματα των κλάσεων, αλλά δεν είναι κάθετη σ αυτό. Ταξ. ελ. Mahal. απόστ Ταξ. ελ. Ευκλ. απόστ

11 Παράδειγμα: Δοθέντων των, : P( ) P( ) και p( x ) N(, Σ), p( x ) N(, Σ),,, κατηγοριοποίησε το διάνυσμα x με χρήση Bayesian ταξινομητή:. -> Είναι: αξινομητής Bayes Ταξινομητής ελαχ. Mahalanobis απόστασης Σ Υπόλ. Mahalanobis απόστ. d από, : d.0,. Σ m, , d.0, m, Καταχώρησε x -> ω. m

12 Παράδειγμα: Δοθέντων των, : P( ) P( ) και p( x ) N(, Σ), p( x ) N(, Σ),,, κατηγοριοποίησε το διάνυσμα x με χρήση Bayesian ταξινομητή:. -> Είναι: αξινομητής Bayes Ταξινομητής ελαχ. Ευκλείδειας απόστασης Υπολ. Ευκλείδειας απόστ. του x από τα μ, μ : Καταχώρησε x -> ω. Παρατήρηση: Οι δύο ταξινομητές καταχωρούν το ΙΔΙΟ διάνυσμα σε διαφορετικές κλάσεις. Αυτό οφείλεται στον διαφορετικό τρόπο μοντελοποίησης των κλάσεων σε κάθε περίπτωση.

13 Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών Ερώτηση: Κάτω από ποιες συνθήκες ο ταξινομητής ελάχιστης Ευκλείδειας απόστασης είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους; Απάντηση: Όταν οι κατηγορίες (a) είναι ισοπίθανες, (b) Μοντελοποιούνται από κανονικές κατανομές με πίνακες συνδιασποράς της μορφής σ I. Ερώτηση: Κάτω από ποιες συνθήκες ένας γραμμικός ταξινομητής μπορεί να είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους; Απάντηση: Όταν οι κατηγορίες μοντελοποιούνται από κανονικές κατανομές με κοινό μητρώο συνδιασποράς. Ερώτηση: Κάτω από ποιες συνθήκες ένας τετραγωνικός ταξινομητής μπορεί να είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους; Απάντηση: Όταν οι κατηγορίες μοντελοποιούνται από κανονικές κατανομές με διαφορετικές κατανομές συνδιασποράς.