Μπαεσιανοί Ταξινοµητές (Bayesian Classifiers)

Transcript

1 KE 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Μπαεσιανοί Ταξινοητές Bayesan Classfers ΤήαΕπιστήης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήιο Πελοποννήσου 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Περιεχόενα Βιβλιογραφία Περιεχόενα Ενότητας Εισαγωγή Θεωρία Βayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Βιβλιογραφία: Παπαάρκος [5]: Κεφάλαιο 7 Duda [4]: Chapter Theodords []: Chapter Bow []: Chapter 7 Ncolas Tsapatsouls

2 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Εισαγωγή Τυπικές εφαρογές αναγνώρισης προτύπων Υπολογιστική όραση Οπτική αναγνώριση χαρακτήρων OCR ιάγνωση ε τη βοήθεια υπολογιστή Αναγνώριση οιλίας Αναγνώριση προσώπων Ταυτοποίηση προσώπων από βιοετρικά χαρακτηριστικά δακτυλικά αποτυπώατα, γεωετρία παλάης, κ.ο.κ τόχος: Ταξινόησε άγνωστα αντικείενα πρότυπα στη σωστή κατηγορία. Η διαδικασία αυτή είναι γνωστή και ως ταξινόηση ή κατηγοριοποίησηclassfcaton 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Αναπαράσταση προτύπων Χαρακτηριστικά: Μετρήσιες ποσότητες οι οποίες εξάγονται από τα πρότυπα. Η ταξινόηση των προτύπων σε κάποια κατηγορία βασίζεται στις τιές των χαρακτηριστικών ιανύσατα χαρακτηριστικών:,...,, Ένα σύνολο από χαρακτηριστικά l T l συνιστούν ένα διάνυσα χαρακτηριστικών: [,..., l ] R Τα διανύσατα χαρακτηριστικών θεωρούνται ως τυχαία διανύσατα δεδοένου ότι οι τιές τους δεν είναι σταθερές για το πλήθος των προτύπων ιας κατηγορίες. Επιπλέον τα σφάλατα κατά τη διάρκεια των ετρήσεων ενισχύουν τη θεώρηση αυτή 7 Ncolas Tsapatsouls

3 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Παράδειγα Image patterns represented by D-vectors 9 8 feature : standard devaron σ feature : mean gray value 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ταξινοητές Ηδοή ενόςταξινοητή εφαίνεται στο διπλανό σχήα: Patterns ύο κατηγορίες ταξινόησης: Supervsed ταξινόηση ε επίβλεψη: Πρότυπα των οποίων η κατηγορία είναι εκ των προτέρων γνωστή χρησιοποιούνται για την εκπαίδευση του ταξινοητή. Unsupervsed ταξινόηση χωρίς επίβλεψη: ενυπάρχουνδιαθέσια πρότυπαγια εκπαίδευση και το πλήθος των κατηγοριών είναι άγνωστο Ο ταξινοητής απαρτίζεται από ένα σύνολο συναρτήσεων του f, f,, f M οι οποίες ανάλογα ε τηντιή τους καθορίζουν σε ποια κατηγορία ανήκει το πρότυπο ε διάνυσα αναπαράστασης. sensor feature generaton feature selecton classfer desgn system evaluaton 7 Ncolas Tsapatsouls 3

4 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Θεωρία Bayes και ταξινόηση Ηστοχαστικήυφήτωνδιανυσάτων αναπαράστασης των προτύπων οδηγεί στη θεωρία Bayes, η οποία προτείνει την ταξινόηση του διανύσατος: [,,..., ] T l στην πιθανότερη από τις κατηγορίες: ω, ω,..., ω M δεδοένης της τιής του διανύσατος : ω : P ω mamum 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Η εκ των υστέρων πιθανότητες P ω,, M υπολογίζονται ε βάσητονκανόνατουbayes Κανόνας Bayes M Υπολογισός της εκ-των υστέρων a-posteror πιθανότητας p P ω p ω P ω P ω όπου p p ω P ω Εκ των προτέρων a-pror πιθανότητες: Πιθανοφάνεια lkelhood του ως προς τη κλάση ω : p p ω P ω P ω, P ω..., P ω M p ω,,... M 7 Ncolas Tsapatsouls 4

5 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Κανόνας ταξινόησης Bayes Για Μ δύο κατηγορίες-κλάσεις: εδοένου του ταξινόησε το σύφωνα ε τον κανόνα: If P ω > P ω ήισοδύναα: If P ω > P ω ω ω p ω P ω >< p ω P ω Για ισοπίθανες κατηγορίες ο κανόνας απλοποιείται σε: p ω >< p ω 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Κανόνας ταξινόησης Bayes ΙΙ R ω and R ω 7 Ncolas Tsapatsouls 5

6 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Κανόνας ταξινόησης Bayes III Με βάση το προηγούενο σχήα: ιαιρούε τοπεδίοτιών του διανύσατος σε δύο περιοχές R, R. If R n ω If R n ω Πιθανότητα εσφαλένης ταξινόησης: Το εβαδόν της σκιασένης περιοχής: P e p ω d + + p ω d Οταξινοητής Bayes είναι βέλτιστος όσον αφορά την ελαχιστοποίηση του σφάλατος ταξινόησης 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Κανόνας ταξινόησης Bayes IV Πραγατικά: ετακινώντας το σηείο διαίρεσης των περιοχών η σκιασένη περιοχή αυξάνει κατά το εβαδό της γκρι περιοχής 7 Ncolas Tsapatsouls 6

7 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Κανόνας ταξινόησης Bayes VI Για Μ > περισσότερες από δύο κατηγορίες-κλάσεις: εδοένου του ταξινόησε το σύφωνα ε τον κανόνα: P ω > P ω Η ανωτέρω επιλογή ελαχιστοποιεί επίσης το σφάλα ταξινόησης 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ελαχιστοποίηση του έσου ρίσκου average rsk ταξινόησης ε ορισένες περιπτώσεις η εσφαλένη ταξινόηση σε κάποιες κατηγορίες είναι περισσότερο σηαντική. Για παράδειγα ηταξινόηση σολοού ως λαβράκι δεν είναι το ίδιο επιβαρυντική για τον καταναλωτή ο οποίοςείναι ωφεληένος σε αυτή την περίπτωση απότοαντίστροφο. Έστωηταξινόηση σε δύο κατηγορίες Μ: Ορίζουε τονπίνακα απωλειών: λ L λ λ λ όπου λ το κόστος ταξινόησης του στη κλάση ω ενώ στη πραγατικότητα αυτό ανήκει στη κλάση ω. Το ρίσκο ταξινόησης r ως προς την κατηγορία ω, δίνεται από τη σχέση: r λ p ω d + λ p ω d R R 7 Ncolas Tsapatsouls 7

8 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ελαχιστοποίηση του έσου ρίσκου ταξινόησης ΙΙ Οοίως, το ρίσκο ταξινόησης r ως προς την κατηγορία ω, δίνεται από τη σχέση: r λ R p ω d + λ p ω d R > πιθανότητες εσφαλένης ταξινόησης πολλαπλασιασένες ε το αντίστοιχο κόστος ταξινόησης Το έσο ρίσκο ταξινόησης δίνεται από τη σχέση: r r P ω + r P ω 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ελαχιστοποίηση του έσου ρίσκου ταξινόησης ΙΙΙ Για την ελαχιστοποίηση του έσου ρίσκου ταξινόησης r επιλέγουε κατάλληλα τις περιοχές R και R. Ηταξινόηση του στην κατηγορία ω πραγατοποιείται εφόσον πληρείται η σχέση: l λ p ω P ω + λ p ω P ω l λ p ω P ω + λ p ω P ω Ισοδύναα: Ταξινόησε το στην κατηγορία ω ω αν: l p ω P ω λ λ > < p ω P ω λ λ όπου l ο λόγος πιθανοφανειών 7 Ncolas Tsapatsouls 8

9 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ελαχιστοποίηση του έσου ρίσκου ταξινόησης ΙV Αν P ω P ω και λ λ ω f ω f λ f λ λ P ω > P ω λ λ P ω > P ω λ Ελαχιστοποίηση σφάλατος ταξινόησης 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Παράδειγα p ω ep π p ω ep π P ω P ω.5 L. Για ελαχιστοποίηση του σφάλατος ταξινόησης: for mnmum P : : ep ep e Probablty for calss ω blue and ω red 6-3 Probablty densty functons for ω blue and ω red feature Για ελαχιστοποίηση του έσου ρίσκου: ˆ : ep ep ln ˆ < 7 Ncolas Tsapatsouls 9

10 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Παράδειγα συν. Είναι φανερό ότι το ˆ κινείται αριστερότερα του Γιατί; Τι θα συνέβαινε αν είχαε λ >λ ; 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές υναρτήσεις διαχωρισού Αν οι περιοχές R και R γειτνιάζουν τότε η εξίσωση: g P ω P ω + - R : P ω > P ω R : P ω > P ω g ορίζει την επιφάνεια διαχωρισού των περιοχών. τη ια πλευρά της επιφάνειας η συνάρτηση g παίρνει θετικές τιές + και στην άλλη αρνητικές -. Η επιφάνεια διαχωρισού ονοάζεται και επιφάνεια απόφασης 7 Ncolas Tsapatsouls

11 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές υναρτήσεις διαχωρισού Αν f είναι ια ονοτονική συνάρτηση τότε ταξινόηση πορεί να επιτευχθεί και ε τη βοήθεια του κανόνα: ω f: f P ω > f P ω g f P ω Η συνάρτηση είναι ια συνάρτηση διαχωρισού υναρτήσεις διαχωρισού πορούν να ορισθούν ανεξάρτητα του κανόνα του Bayes οδηγώντας όως σε υποβέλτιστη ταξινόηση όχι ελάχιστο σφάλα ταξινόησης 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ταξινοητές Bayes για κανονικές Μια πολυδίαστατη κανονική κατανοή κατανοή Gauss ορίζεται από τις σχέσεις: p ω l π E E [] ep l l matr n ω Τ [ ] Τ Ο πίνακας ονοάζεται πίνακας συεταβλητότητας. 7 Ncolas Tsapatsouls

12 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ταξινοητές Bayes για κανονικές ----> f f ln s a monotonc functon Ησυνάρτησηf ln για > είναι ια ονοτονική συνάρτηση. g ln p ω P ω ln p ω + ln P ω T g + ln P ω + C l C ln π ln > 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Παράδειγα Έστω τότε σ σ g σ σ + + ln Pω + C σ Εποένως οι συναρτήσεις διαχωρισού g είναι τετραγωνικής ορφής. Οι επιφάνειες διαχωρισού g -g είναι ελλείψοειδή, παραβολοειδή, υπερβολοειδή ή ζεύγη γραών 7 Ncolas Tsapatsouls

13 3 7 Ncolas Tsapatsouls Υπερεπίπεδα απόφασης Τετραγωνικοί όροι: αν ισχύει δηλαδή όλοι οι πίνακες συεταβλητότητας είναι ίσοι τότε οι τετραγωνικοί όροι δεν συετέχουν στις συγκρίσεις. Οι συναρτήσεις διαχωρισού απλοποιούνται, τότε, στη ορφή: Εποένως οι συναρτήσεις διαχωρισού g είναι γραικές. T Τ o T P w w w w g ω ln + Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές 7 Ncolas Tsapatsouls Υπερεπίπεδα απόφασης ΙΙ Αν επιπλέον οι πίνακες συεταβλητότητας είναι διαγώνιοι: ln o o T T P P w w g g g w g I ω ω σ σ σ + +, τότε, Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές

14 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Υπερεπίπεδα απόφασης ΙΙΙ Αν οι πίνακες συεταβλητότητας είναι η διαγώνιοι: σ Ι T g w P ω + ln P ω T ηλαδή το επίπεδο απόφασης δεν είναι πια κάθετο στην ευθεία - αλλά στην ευθεία 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ταξινοητές ελάχιστης απόστασης Έστω P ω όλες οι κλάσεις ισοπίθανες M T g Αν σ I : Ταξινόησε ω : σύφωνα ε την ελάχιστη Ευκλείδια απόσταση d E Αν σ I : Ταξινόησε ω : σύφωνα ετηνελάχιστηαπόσταση Mahalanobs: T d m 7 Ncolas Tsapatsouls 4

15 Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Ταξινοητές ελάχιστης απόστασης II 7 Ncolas Tsapatsouls Εισαγωγή Θεωρία Bayes και ταξινόηση υναρτήσεις διαχωρισού Ταξινοητές Bayes για κανονικές Παράδειγα Κλάσεις ω, ω : P ω P ω και p ω N,, 3..3 p ω N,,,, να ταξινοηθε ί το διάνυσα ε τον κανόνα του Bayes : Η απόσταση Mahalanobs d από, : d..95,. d m, m m,..8 [.,.] [.,.8] feature decson lne; Eucldean dstance decson lne; Mahalanobs dstance * Ταξινοήση ω. Παρατηρήστε ότι d E, < d E, feature 7 Ncolas Tsapatsouls 5