Αναγνώριση Προτύπων. Σήμερα! Λόγος Πιθανοφάνειας Πιθανότητα Λάθους Κόστος Ρίσκο Bayes Ελάχιστη πιθανότητα λάθους για πολλές κλάσεις

Transcript

1 Αναγνώριση Προτύπων Σήμερα! Λόγος Πιθανοφάνειας Πιθανότητα Λάθους Πιθανότητα Λάθους Κόστος Ρίσκο Bayes Ελάχιστη πιθανότητα λάθους για πολλές κλάσεις 1

2 Λόγος Πιθανοφάνειας Ας υποθέσουμε ότι θέλουμε να ταξινομήσουμε ένα αντικείμενο βάσει ενός χαρακτηριστικού διανύσματος x. Το κριτήριο θα ήταν: «Διάλεξε την πιο πιθανή κλάση δεδομένου της μέτρησης x Ή πιο επίσημα: «Υπολόγισε την εκ των υστέρων πιθανότητα για κάθε κλάση P(ω i x) και διάλεξε την κλάση με τη μεγαλύτερη P(ω i x)» Λόγος Πιθανοφάνειας Πιο αλγοριθμικά, για δύο κλάσεις: Ή πιο μαθηματικά: 2

3 Θεώρημα Bayes & Στατιστική Αναγνώριση Προτύπων Εξαιτίας της Ταξινόμηση προτύπων το θεώρημα Bayes εκφράζεται ως: όπου ω j η κλάση j και x το διάνυσμα χαρακτηριστικών Ένας τυπικός κανόνας απόφασης είναι να επιλέγουμε την κλάση με τη μέγιστη P[ω j x] P[ω j ] εκ των προτέρων πιθανότητα P[ω j x] εκ των υστέρων πιθανότητα P[x ω j ] πιθανοφάνεια P[x] σταθερά κανονικοποίησης Λόγος Πιθανοφάνειας Δεδομένου του θεωρήματος Bayes: H P(x) μπορεί να απλοποιηθεί και μετά από ανακατάταξη της σχέσης προκύπτει ο λόγος πιθανοφάνειας Λ(x) και ο κανόνας απόφασης του Bayes: 3

4 Κανόνας Απόφασης Bayes Άσκηση Δεδομένου προβλήματος ταξινόμησης με τις πιο κάτω υπό συνθήκη πιθανότητες και υποθέτοντας ίσες εκ των προτέρων πιθανότητες, εξάγετε κανόνα απόφασης. Κανόνας Απόφασης Bayes Λύση Αντικαθιστώντας στον κανόνα: Απλοποιώντας Λογαριθμόντας 4

5 Κανόνας Απόφασης Bayes Λύση Πιθανότητα Λάθους Η απόδοση κάθε κανόνα απόφασης μπορεί να εκτιμηθεί με την πιθανότητα λάθους P[error] Χρησιμοποιώντας το θεώρημα ολικής πιθανότητας μπορεί να υπολογιστεί από τη σχέση: 5

6 Θεώρημα ολικής πιθανότητας από 2 ο μάθημα Έστω Β1,Β 2,,Β Ν γεγονότα, χωρίς κοινά στοιχεία που η ένωση τους συμπίπτει με το χώρο δειγματοληψίας S, ονομάζονται διαμερισμός του S. Ένα γεγονός Α μπορεί να εκφραστεί ως: Θεώρημα ολικής πιθανότητας από 2 ο μάθημα Αφού τα Β 1,Β 2,,Β Ν είναι αλληλοαποκλειώμενα: λ λ Για αυτό 6

7 Πιθανότητα Λάθους Η πιθανότητα λάθους: Δεδομένου ότι η υπό συνθήκη πιθανότητα λάθους P[error ω i ] μπορεί να εκφραστεί ως Για δύο κλάσεις γίνεται Πιθανότητα Λάθους Άσκηση Λόγω ότι υποθέσαμε ίσες εκ των προτέρων πιθανότητες P[error] = (ε1 + ε2)/2 7

8 Κόστος Μέχρι τώρα υποθέσαμε ότι το κόστος λάθους κατάταξης είναι το ίδιο ανεξαρτήτου κλάσης Αν όμως κατατάξουμε μία ενεργή νάρκη ως ανενεργή το κόστος είναι μεγαλύτερο από το να κατατάξουμε μία ανενεργή νάρκη ως ενεργή. Για το λόγο αυτό χρησιμοποιούμε τη συνάρτηση κόστους C ij όπου αντιπροσωπεύει το κόστος της επιλογής κλάση ω i όταν η σωστή είναι η ω j Ρίσκο Bayes Ορίζεται το Ρίσκο Bayes ως η μέση τιμή του κόστους: 8

9 Ρίσκο Bayes Πως μπορούμε να ελαχιστοποιήσουμε το κόστος; Δεδομένου: Το ρίσκο είναι Παρατηρήστε ότι Ρίσκο Bayes Με προσθαφαίρεση στην προηγούμενη σχέση παίρνουμε: Και τελικά: 9

10 Ρίσκο Bayes Συνεπώς η ελαχιστοποίηση του ρίσκου, περιορίζεται στην ελαχιστοποίηση της σχέσης: Ρίσκο Bayes Δεδομένου ότι μας ενδιαφέρει η ελαχιστοποίηση της προηγούμενης σχέσης, θα μπορούσαμε να θέσουμε g(x)<0, οπότε προκύπτει: Και τελικά: 10

11 Ρίσκο Bayes Άσκηση Θεωρήστε πρόβλημα ταξινόμησης με δύο κλάσεις που ορίζονται από τις συναρτήσεις πιθανοφάνειας Υποθέστε P[ω 1 ]=Ρ[ω 2 ]=0,5 C 11 =C 22 =0, C 12 =1, C 21 =3 1/2. Ορίστε κανόνα που ελαχιστοποιεί το σφάλμα Ρίσκο Bayes Λύση 11

12 Ελάχιστη πιθανότητα λάθους για πολλές κλάσεις Ο κανόνας απόφασης που ελαχιστοποιεί το Ρ[error] γενικεύεται για προβλήματα πολλών κλάσεων Θα μπορούσαμε να γράψουμε ότι: Σύμφωνα με όσα έχουμε πει: Ελάχιστη πιθανότητα λάθους για πολλές κλάσεις Το πρόβλημα ελαχιστοποήσεις του P[error], ισοδυναμεί με μεγιστοποίηση του P[correct]: 12

13 Ελάχιστη πιθανότητα λάθους για πολλές κλάσεις Δηλώνουμε α i την απόφαση επιλογής της ω i Δηλώνουμε ως α(x) τη συνάρτηση απεικόνισης του x στις κλάσεις: ω { a, a } i : α( x ) 1 2,..., a c Το υπό συνθήκη ρίσκο αντιστοίχισης του x στην ω i είναι: Και το αντίστοιχο ρίσκο Bayes Ελάχιστη πιθανότητα λάθους για πολλές κλάσεις To πρόβλημα μας λοιπόν ισοδυναμεί με ελαχιστοποίηση του R(α(x)/x) 13

14 Κανόνας Διακριτές συναρτήσεις Αν g i (x)>g j (x) i j τότε x ω i κλάση συναρτήσεις χαρακτηριστικά 14