Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Transcript

1 Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Versio

2 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας Maimum Aoseriori robabiliy MA Esimaio Στην ML μέθοδο, το θ λογιζόταν ως παράμετρος Εδώ θα θεωρήσουμε το θ ως τυχαίο διάνυσμα που περιγράφεται από υποτίθεται γνωστή df θ. Δοθέντος X Υπολόγισε το μέγιστο της From Bayes heorem,,..., X X X X or X X X

3 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας MA Η μέθοδος: ˆ arg ma X ή ˆ MA : X Αν η είναι ομοιόμορφη ή αρκετά ευρεία: ˆ MA MA ML 3

4 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας MA 4

5 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας MA - Παράδειγμα :, Σ, ά, X,..., 0 e l l : l 0 ή ˆ ˆ 0 MA 0 ˆ, ή για ˆ MA MA 0 For ˆ ML Σ Ι 5

6 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος αναμονής-μεγιστοποίησης eecaio-maimizaio EM μοντέλα μίξης - miure models Μοντέλο μίξης: Σταθμισμένο άθροισμα dfs γνωστής παραμετρικής μορφής,, Η μέθοδος ML δεν μπορεί να αξιοποιηθεί εδώ εξαιτίας των ετικετών, που είναι επίσης άγνωστες. Λύση: Ο αλγόριθμος EM. Συμβολισμοί: = θ Θ=θ,,θ κ, =[,, ] T, Ξ=Θ,. X={,, }: μη πλήρες icomlee παρατηρούμενο σύνολο δεδομένων. X c ={,,,, }: πλήρες comlee σύνολο δεδομένων

7 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος EM μοντέλα μίξης

8 Πρόβλημα: Για κάθε είναι άγνωστη η επιμέρους κατανομή της μίξης από την οποία προήλθε. Λύση: Μεγιστοποίηση της μέσης τιμής της log-lielihood ως προς Ξ Στόχος: Εκτίμηση των Θ και μέσω της ελαχιστοποίησης της λογαριθμικής συνάρτησης πιθανοφάνειας log-lielihood του πλήρους συν. δεδομένων. c Θ X l, l, l Η μέθοδος EM μοντέλα μίξης A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes E E l l l l

9 Επιπλέον πρόβλημα: Οι ποσότητες Ξ είναι άγνωστες. Λύση: Δεδομένου ότι από τον κανόνα του Bayes είναι Α Η λύση είναι ένας αναδρομικός αλγόριθμος. Αρχικοποιώντας το Ξ=Θ, στις τιμές Ξ0=Θ0,0 Εκτιμούμε τις Ξ0 από την Α E-se Υπολογίζουμε τη μέση τιμή της eeced log-lielihood με βάση τις Ξ0 M-se Μεγιστοποιούμε την QΞΞ0 ως προς τις παραμέτρους Ξ. A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes - Η μέθοδος EM μοντέλα μίξης l l 0 l 0 Q 0 0 0, 0 Q Q

10 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes - Η μέθοδος EM μοντέλα μίξης Ο αλγόριθμος ΕΜ Αρχικοποίησε το Ξ=Θ, στις τιμές Ξ0=Θ0,0 =0 Επανέλαβε Εκτίμησε τις Ξ από την Α E-se Υπολόγισε τη μέση τιμή της eeced log-lielihood με βάση τις Ξ M-se Εκτίμησε το Ξ+ μεγιστοποιώντας την QΞΞ ως προς τις παραμέτρους Ξ=Θ, = θ, θ,,,. =+ Q Έως ότου επιτευχθεί σύγκλιση. l Q 0, Q 0

11 Ο αλγόριθμος EM για την περίπτωση μίξης κανονικών κατανομών. 0.5 e,,, / / T l Μίξη κανονικών κατανομών Miures of Gaussias. Η μέθοδος EM μοντέλα μίξης A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes T Q l l

12 Ο αλγόριθμος EM για την περίπτωση μίξης κανονικών κατανομών. - Αρχικοποίησε μ =μ 0, Σ =Σ 0, = 0 - =0 - Επανέλαβε =+, q q q q Θ T - Έως ότου ικανοποιηθεί ένα κατάλληλο κριτήριο τερματισμού A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes

13 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Ανασκόπηση του προσεγγιστικού ταξινομητή Bayes - Available daa: X=X X X M. Each X corresods o class ω. Σχεδιασμός ταξινομητή - Υιοθέτησε ένα μοντέλο df για κάθε ω, με άγνωστες παραμέτρους θ. - Εφάρμοσε την ML ή τις MA, EM μεθόδους M φορές μία για κάθε κλάση για την εκτίμηση των θ s, με βάση τα αντίστοιχα σύνολα X, -Προσέγγισε τις ω ως εξής ˆ -Όρισε g Χρήση ταξινομητή -Για δεδομένο, ˆ ˆ -Υπολόγισε τις τιμές των g, =,,M. ˆ ˆ -Καταχώρησε το στην κλάση με g =ma =,,M g. i

14 Ένα σημαντικό ζήτημα Η κατάρα της διαστατικότητας Curse of dimesioaliy Σε όλες τις μεθόδους που εξετάσαμε μέχρι στιγμής είδαμε ότι όσο μεγαλύτερος είναι ο αριθμός των σημείων, Ν, τόσο καλύτερες είναι και οι προκύπτουσες εκτιμήσεις. Αν στο μονοδιάστατο χώρο για ένα διάστημα μήκους L, Ν σημεία είναι αρκετά για να δώσουν μια καλή εκτίμηση των εμπλεκόμενων παραμέτρων, στο διδιάστατο χώρο για μια επιφάνεια διαστάσεων LL απαιτούνται Ν σημεία για να πάρουμε καλές εκτιμήσεις και, γενικά, στον l-διάστατο χώρο για έναν υπερκύβο διαστάσεων L l απαιτούνται l σημέια. Η εκθετική αύξηση του αριθμού των σημείων που απαιτούνται για μια καλή εκτίμηση των εμπλεκόμενων παραμέτρων με τη διάσταση του χώρου είναι γνωστή ως κατάρα της διαστατικότητας curse of dimesioaliy. Πρόκειται για ένα σημαντικό πρόβλημα που απαντάται σε προβλήματα που απεικονίζονται σε χώρους υψηλής διαστατικότητας.

15 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Ο απλοϊκός ταξινομητής Bayes aive Bayes classifier - Διαθέσιμα δεδομένα: X=X X X M. Κάθε X αντιστοιχεί στην κλάση ω. Έστω X =X X l -Υπόθεση: Όλα τα χαρακτηριστικά feaures είναι μεταξύ τους στατιστικώς ανεξάρτητα. Έτσι l,, M -Ως εκ τούτου, μπορούμε για κάθε κλάση να εργαστούμε για κάθε ω ανεξάρτητα από τις υπόλοιπες q ω, q=,,l, q.

16 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Ο απλοϊκός ταξινομητής Bayes aive Bayes classifier Σχεδιασμός ταξινομητή - Υιοθέτησε ένα μοντέλο df για κάθε ω, με άγνωστες παραμέτρους θ. - Εφάρμοσε την ML μέθοδο M l φορές l φορές για κάθε κλάση για την εκτίμηση των θ s των μονοδιάστατων ω, με βάση τα αντίστοιχα X -Προσέγγισε τις ω ως ακολούθως ˆ -Όρισε g Χρήση ταξινομητή -Για δεδομένο, -Υπολόγισε τις τιμές των g, =,,M. -Καταχώρησε το στην κλάση με g =ma =,,M g. i l ˆ ˆ ˆ ˆ

17 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Γραμμικοί ταξινομητές Ο ταξινομητής ελάχιστης Ευκλείδειας απόστασης - Διαθέσιμα δεδομένα: X=X X X M. Κάθε X αντιστοιχεί στην κλάση ω. Σχεδιασμός ταξινομητή - Εκτίμησε το μέσο διάνυσμα, m, κάθε κλάσης ω, με βάση το X, =,,. συνήθως, η μέθοδος ML χρησιμοποιείται για κάθε κλάση, με την υπόθεση ότι κάθε κλάση μοντελοποιείται από μια κανονική κατανομή αγνώστου μέσου διανύσματος και το m τίθεται ίσο με την προκύπτουσα εκτίμηση του μέσου διανύσματος ΣΗΜ: Γενικά, ο ταξινομητής -Όρισε ελάχιστης Ευκλείδειας απόστασης g =--m δεν είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους Χρήση ταξινομητή κάτω από ποιές συνθήκες ο -Για δεδομένο, ταξινομητής αυτός θα μπορούσε να -Υπολόγισε τις τιμές των g, =,,M. είναι βέλτιστος -Καταχώρησε το στην κλάση με g =ma =,,M g.

18 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Γραμμικοί ταξινομητές Ο ταξινομητής ελάχιστης Mahalaobis απόστασης - Διαθέσιμα δεδομένα: X=X X X M. Κάθε X αντιστοιχεί στην κλάση ω. Σχεδιασμός ταξινομητή - Εκτίμησε το μέσο διάνυσμα, m, και το μητρώο συνδιασποράς, S, κάθε κλάσης ω, με βάση το X, =,,. συνήθως, η μέθοδος ML χρησιμοποιείται για κάθε κλάση, με την υπόθεση ότι κάθε κλάση μοντελοποιείται από μια κανονική κατανομή αγνώστου μέσου διανύσματος και μητρώου συνδιασποράς και τα m και S, τίθενται ίσα με τις προκύπτουσες εκτιμήσεις το κοινό μητρώο συνδιασποράς μπορεί να τεθεί ίσο με το μέσο των εκτιμήσεων για τα S ΣΗΜ: Γενικά, ο ταξινομητής -Όρισε ελάχιστης Mahalaobis απόστασης g =--m T S - -m δεν είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους Χρήση ταξινομητή κάτω από ποιές συνθήκες ο -Για δεδομένο, ταξινομητής αυτός θα μπορούσε να -Υπολόγισε τις τιμές των g, =,,M. είναι βέλτιστος -Καταχώρησε το στην κλάση με g =ma =,,M g.

19 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Τετραγωνικοί ταξινομητές - Διαθέσιμα δεδομένα: X=X X X M. Κάθε X αντιστοιχεί στην κλάση ω. Σχεδιασμός ταξινομητή - Εκτίμησε το μέσο διάνυσμα, m, και το μητρώο συνδιασποράς, S, κάθε κλάσης ω, με βάση το X, =,,. συνήθως, η μέθοδος ML χρησιμοποιείται για κάθε κλάση, με την υπόθεση ότι κάθε κλάση μοντελοποιείται από μια κανονική κατανομή αγνώστου μέσου διανύσματος και μητρώου συνδιασποράς και τα m και S, τίθενται ίσα με τις προκύπτουσες εκτιμήσεις -Όρισε g =--m T S - -m Χρήση ταξινομητή -Για δεδομένο, -Υπολόγισε τις τιμές των g, =,,M. -Καταχώρησε το στην κλάση με g =ma =,,M g. ΣΗΜ: Γενικά, ο τετραγωνικός ταξινομητής δεν είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους κάτω από ποιές συνθήκες ο ταξινομητής αυτός θα μπορούσε να είναι βέλτιστος