Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Transcript

1 Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verson

2 ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ATTERN RECOGNITION Τυπικές περιοχές εφαρμογής Μηχανική όραση Machne vson Αναγνώριση χαρακτήρων Character recognton OCR Ιατρική διάγνωση υποβοηθούμενη από Η/Υ Computer aded medcal dagnoss Αναγνώριση ομιλίας Speech recognton Αναγνώριση προσώπου Face recognton Βιομετρία Bometrcs Ανάσυρση εικόνων από Βάσεις Δεδομένων Image Data Base retreval Εξόρυξη δεδομένων Data mnng Βιοπληροφορική Bonformatcs Το πρόβλημα: Καταχώρηση άγνωστων αντικειμένων προτύπων στη σωστή κατηγορία κλάση. Το πρόβλημα είναι γνωστό ως ταξινόμηση classfcaton.

3 Αναγνώριση προτύπων με επίβλεψη supervsed χωρίς επίβλεψη unsupervsed: Με επίβλεψη: Γνωστός αριθμός κλάσεων κατηγοριών Διαθέσιμα αντικείμενα για τα οποία είναι γνωστή η κλάση στην οποία ανήκουν. Χωρίς επίβλεψη: Άγνωστος αριθμός κλάσεων γενικά. Διαθέσιμα αντικείμενα για τα οποία δεν είναι γνωστή οποιαδήποτε πληροφορία σχετική με κλάση. 3

4 Παραδείγματα: Εφαρμογή στην κυτταρολογία. Αντικείμενα: πυρήνες κυττάρων Κατηγορίες: καλοήθη, κακοήθη Εφαρμογή σε αλυσίδα παραγωγής στη βιομηχανία. Αντικείμενα: Π.χ. βίδες Κατηγορίες: Ελαττωματική, μη ελαττωματική Εφαρμογή στην αναγνώριση χαρακτήρων κειμένου Αντικείμενα: Αλφαριθμητικοί χαρακτήρες, σημεία στίξης Κατηγορίες: 6 κατηγορίες πεζών+6 κατ. κεφαλαίων+0 κατ. ψηφίων +κατηγορίες σημείων στίξης.

5 Χαρακτηριστικά Features: Πρόκειται για μετρήσιμες ποσότητες που λαμβάνονται από τα προς ταξινόμηση αντικείμενα. Η διαδικασία της ταξινόμησης βασίζεται στις αντίστοιχες τιμές τους. Διανύσματα χαρακτηριστικών Feature vectors: Ένας αριθμός χαρακτηριστικών,..., l συνιστούν το διάνυσμα χαρακτηριστικών Τα διανύσματα χαρακτηριστικών θεωρούνται ως τυχαίες μεταβλητές random vectors., T l l R,..., 5

6 Αναπαράσταση αντικειμένων σε σύστημα αναγνώρισης προτύπων: Αντικείμενο === Διάνυσμα χαρακτηριστικών μετρήσεων feature vector Αντικείμενο= Σημείο στο χώρο Τυπική δομή ενός συστήματος ταξινόμησης προτύπων αντικείμενο Αισθητήρας Γέννηση Επιλογή Ταξινομητής χαρακτηριστικών χαρακτηριστικών Πώς δουλεύει χαρακτ. χαρακτ. αντικείμενο χαρακτ. χαρακτ χαρακτ. q χαρακτ. l Διάνυσμα χαρακτηριστικών

7 Ο ταξινομητής classfer αποτελείται από ένα σύνολο συναρτήσεων, των οποίων οι τιμές, υπολογισμένες στο, καθορίζουν την κλάση στην οποία το αντίστοιχο πρότυπο θα καταχωρηθεί. 7

8 Σημαντικές παρατηρήσεις: Στην πράξη, είναι απαραίτητη η ύπαρξη ενός αντιπροσωπευτικού δείγματος προτύπων από κάθε κατηγορία συνήθως, όσο περισσότερα είναι διαθέσιμα, τόσο καλύτερη εικόνα έχουμε για τις κλάσεις. Στη συνέχεια ακολουθεί μελέτη των προτύπων ώστε να προσδιορίσουμε τα χαρακτηριστικά που διαφοροποιούν πιο πολύ τα πρότυπα των δύο κλάσεων 8

9 Προβλήματα: Α Ποια χαρακτηριστικά θα επιλέξω; Β Πώς ο ταξινομητής διαχωρίζει τις κλάσεις; Παράδειγμα: Να δημιουργηθεί ένα σύστημα ταξινόμησης προτύπων που θα διαχωρίζει καλαθοσφαιριστές Β από χορευτές D. Αντικείμενα: Αθλητές καλαθοσφαιριστές, χορευτές Κατηγορίες: Καλαθοσφαιριστές Β, χορευτές D. Σύστημα ταξινόμησης προτύπων?

10 Α Χαρακτηριστικά ύψος, βάρος. Περιμένουμε ότι D B Βάρος μικρό μεγάλο Ύψος μικρό μεγάλο Πώς καθορίζεται ποσοτικά όμως το «μεγάλο» και το «μικρό»; Βάσει ενός αντιπροσωπευτικού δείγματος που περιλαμβάνει αντικείμενα από τις δύο κλάσεις Όσο πιο πλούσιο είναι το δείγμα, τόσο πιο ακριβές είναι το νόημα που αποκτούν οι παραπάνω χαρακτηρισμοί.

11 Β Ταξινομητής Σύνολο συναρτήσεων/κανόνων βάσει των οποίων γίνεται η ταξινόμηση. D B ύψος + - ε Παράδειγμα : βάρος Δοθέντος ενός χαρακτηριστικού διανύσματος, ο ταξινομητής εξετάζει αν αυτό βρίσκεται α στην αρνητική πλευρά της ε, οπότε το κατατάσσει στην κατηγορία D β στη θετική πλευρά της ε, οπότε το κατατάσσει στην κατηγορία Β

12 ύψος βάρος Παράδειγμα : Δοθέντος ενός χαρακτηριστικού διανύσματος, ο ταξινομητής προσδιορίζει το πλησιέστερο μέσο διάνυσμα και ταξινομεί το διάνυσμα στην αντίστοιχη κατηγορία.

13 Χαρακτηριστικά ξανά απόχρωση μαλλιών, απόχρωση ματιών Απόχρωση μαλλιών D B Απόχρωση ματιών

14 Χαρακτηριστικά ξανά απόχρωση μαλλιών, ύψος Απόχρωση μαλλιών D B ύψος Χαρακτηριστικά ξανά ύψος

15 Η επιλογή χαρακτηριστικών είναι ζωτικής σημασίας για την απόδοση του συστήματος. Γενικά είναι επιθυμητή η χρήση χαρακτηριστικών που διαχωρίζουν καλά τις κατηγορίες. Αυτό συνήθως σημαίνει Οι μέσες τιμές του χαρακτηριστικού να διαφέρουν σημαντικά μεταξύ τους από κατηγορία σε κατηγορία. Οι διασπορές γύρω από τις παραπάνω μέσες τιμές να είναι μικρές. Ερώτηση: Αφού με τα παραπάνω μπορούμε να δημιουργήσουμε ένα σύστημα ταξινόμησης χρειάζεται περαιτέρω ανάπτυξη θεωριών; Αν ναι γιατί; Απάντηση: Πρόβλημα διάστασης Πολυπλοκότητα προβλήματος

16 Μερικά προκαταρτικά Έστω, Μ ενδεχόμενα έτσι ώστε Η πιθανότητα για ένα αυθαίρετο ενδεχόμενο είναι Όπου η υπό συνθήκη πιθανότητα του δοθέντος του : και η από κοινού πιθανότητα των και Θεώρημα συνολικής πιθανότητας 6

17 Μερικά προκαταρτικά συν. Είναι Για τυχαίες μεταβλητές ή διανύσματα τυχαίων μεταβλητών που περιγράφονται από συναρτήσεις πυκνότητας πιθανότητας είναι A posteror εκ των υστέρων πιθανότητα 7

18 Μερικά προκαταρτικά συν. Αν τότε Αν ο Α είναι συμμετρικός τότε Αν ο Α είναι διαγώνιος τότε 8

19 Μερικά προκαταρτικά συν. Αν Ο Α είναι οριστικά θετικός μη αρνητικός ανν 9

20 Μερικά προκαταρτικά συν. Μονοδιάστατη Gaussan/κανονική κατανομή Πολυδιάστατη Gaussan/κανονική κατανομή όπου 0

21 Σ: διαγώνιος με ίσα διαγώνια στοιχεία Σ: διαγώνιος με σ >>σ

22 Σ: διαγώνιος με σ <<σ Σ: μη διαγώνιος

23 Σ= σ σ σ σ α σ =σ =, σ =0 β σ =σ =0., σ =0 γ σ =σ =, σ =0 δ σ =0., σ =, σ =0 ε σ =, σ =0., σ =0 στ σ =σ =, σ =0.5 ζ σ =0.3, σ =, σ =0.5 η σ =0.3, σ =, σ =-0.5 3

24 Μερικά προκαταρτικά συν. Αν τα είναι ανά δύο στατιστικά ανεξάρτητες τυχ. μεταβλητές, τότε ο πίνακας Σ είναι διαγώνιος Στην περίπτωση της πολυδιάστατης κανονικής κατανομής ισχύει: Σ διαγώνιος οι συνιστώσες του είναι στατιστικά ανεξάρτητες 4

25 Στη συνέχεια θα μιλήσουμε μόνο για στατιστικές μεθόδους ταξινόμησης προτύπων statstcal pattern classfcaton. Υπόθεση: Σε μια μεγάλη αίθουσα γυμναστηρίου βρίσκονται 00 χορευτές και 00 καλαθοσφαιριστές Ερώτηση : «Αν επιλέξουμε κάποιον από την αίθουσα, ποια είναι η πιθανότητα να είναι χορευτής;» Απάντηση: Για χορευτή: D=00/00+00=/3. Για καλαθοσφαιριστή: B=00/00+00=/3 5

26 Επιπλέον δεδομένα: Οι κατανομές πυκνότητας πιθανότητας των βαρών των δύο κατηγοριών: p / D e p / B e 300. Ερώτηση : «Αν επιλέξουμε κάποιον από την αίθουσα, ποια είναι η πιθανότητα να είναι χορευτής;» Απάντηση: Ίδια με την ερώτηση. Ερώτηση 3: «Αν επιλέξουμε κάποιον από την αίθουσα, ποια είναι η πιθανότητα να είναι χορευτής, δοθέντος ότι το ύψος του είναι 55 εκ;» Απάντηση: Ίδια με την ερώτηση. 6

27 Ερώτηση 4: «Αν επιλέξουμε κάποιον από την αίθουσα, ποια είναι η πιθανότητα να είναι χορευτής, δοθέντος ότι το βάρος του είναι 60 κιλά;» Απάντηση: D / 60 p60 / D D p60 / D D p60 / B B = / 60 p60 /. p60 / p60 / = 0.0 Προβληματισμός: Γιατί η κατάσταση άλλαξε τόσο δραματικά με την επιπλέον πληροφορία; Εξήγηση: Οι τιμές του βάρους διαφοροποιούνται πολύ στις δύο κατηγορίες. 7

28 p/dd p/bb βάρος Υπόθεση: Ας θεωρήσουμε ότι το επιπλέον χαρακτηριστικό είναι η απόχρωση των μαλλιών η ίδια ομοιόμορφη κατανομή και για τις δύο κατηγορίες ], [ 0 ], [, / D p. ], [ 0 ], [, / B p

29 9 Ερώτηση 5: «Αν επιλέξουμε κάποιον από την αίθουσα, ποια είναι η πιθανότητα να είναι χορευτής, δοθέντος ότι η απόχρωση των μαλλιών του είναι y[χ,χ]». Απάντηση: / / / / D B B y p D D y p D D y p y D / / / / B B B y p D D y p B B y p y B Συμπέρασμα: Αν έχουμε τη δυνατότητα να επιλέξουμε χαρακτηριστικά ας διαλέγουμε εκείνα που διαφοροποιούνται όσο το δυνατόν περισσότερο στις υπό εξέταση κατηγορίες τα καταλληλότερα χαρακτηριστικά επιλέγονται με τη βοήθεια ενός ειδικού στην υπό μελέτη εφαρμογή.

30 30 Ερώτηση 6: «Αν επιλέξω κάποιον αθλητή από την αίθουσα, τι είδους αθλητής είναι αυτός, δεδομένου ότι το βάρος του είναι κιλά;» Έστω και πάλι ότι το επιπλέον χαρακτηριστικό είναι το βάρος Καλύτερη δυνατή απάντηση: Είναι αθλητής από την κατηγορία με τη μεγαλύτερη εκ των υστέρων a posteror πιθανότητα. Κανόνας του Bayes : Aν D/>B/ τότε καταχώρησε τον αθλητή στην κατηγορία «χορευτής» Διαφορετικά καταχώρησε τον αθλητή στην κατηγορία «καλαθοσφαιριστής». / / / / B B p D D p D D p D / / / / B B p D D p B B p B Λαμβανομένου υπόψη ότι

31 Κανόνας του Bayes : Aν Dp/D>Bp/B τότε καταχώρησε τον αθλητή στην κατηγορία «χορευτής» Διαφορετικά καταχώρησε τον αθλητή στην κατηγορία «καλαθοσφαιριστής». Υπόθεση: Οι a pror πιθανότητες των κατηγοριών είναι ίσες. Κανόνας του Bayes ειδ: Aν p/d>p/b τότε καταχώρησε τον αθλητή στην κατηγορία «χορευτής» Διαφορετικά καταχώρησε τον αθλητή στην κατηγορία «καλαθοσφαιριστής». Σημαντική παρατήρηση: ΠΑΝΤΑ υπάρχει και η πιθανότητα λάθους ένας «αφύσικα» αδύνατος καλαθοσφαιριστής η ένας «αφύσικα» παχουλός χορευτής μπορούν να ταξινομηθούν λάθος. 3

32 Ταξινόμηση κατά Bayes και γεωμετρική ταξινόμηση Τα σημεία όπου p/dd = p/bb οριοθετούν τις περιοχές του χώρου των χαρακτηριστικών βάρος που αντιστοιχούν στις δύο κατηγορίες Ταξινόμηση οντότητας με συγκεκριμένη τιμή βάρους ανάλογα με την περιοχή στην οποία αυτή ανήκει. Ορισμός περιοχών: Λύνοντας την εξίσωση p/dd = p/bb 3 e e ln

33 p/bb p/ κ κ p/dd p/ α α Χορευτής: R D ={: <64.7} Καλαθοσφ.: R B ={: >64.7} Α Β βάρος Ερώτηση: Ποιά είναι η πιθανότητα λάθους; Απάντηση: D p / D d B p / B d. R B R D Για το παράδειγμά μας:

34 Σχεδιασμός ταξινομητή Συμβολισμός: ω,ω,,ω c οι κατηγορίες στις οποίες θα ταξινομηθεί μια οντότητα l το πλήθος των χαρακτηριστικών που αναπαριστούν μια οντότητα διάσταση του χώρου των χαρακτηριστικών =[,, l ] T Διάνυσμα αναπαράστασης οντότητας η τιμή του χαρακτηριστικού γι αυτήν την οντότητα ω η a pror πιθανότητα η υπό εξέταση οντότητα να ανήκει στην κατηγορία ω / η a posteror πιθανότητα η υπό εξέταση οντότητα να ανήκει στην κατηγορία δοθέντος του διανύσματος μετρήσεων p/ω η συνάρτηση πυκνότητας πιθανότητας που περιγράφει την κατανομή των χαρακτηριστικών διανυσμάτων για την κατηγορία ω. 34

35 Ερώτηση 7: «Δοθέντος ενός διανύσματος μετρήσεων μιας υπό εξέταση οντότητας να προσδιοριστεί η κατηγορία ω στην οποία ανήκει η οντότητα» Bayes : «καταχώρησε την υπό εξέταση οντότητα στην κατηγορία ω για την οποία ω /= ma j=,,c ω j /.» Δεδομένου ότι: / c j p / p / j j Bayes : «καταχώρησε την υπό εξέταση οντότητα στην κατηγορία ω για την οποία p/ω ω = ma j=,,c p/ω j ω j.» Bayes ειδ: «Αν οι κατηγορίες είναι ισοπίθανες, καταχώρησε την υπό εξέταση οντότητα στην κατηγορία ω για την οποία p/ω = ma j=,,c p/ω j.» 35

36 Παράδειγμα: Σ ένα πρόβλημα τριών κλάσεων, χρησιμοποιείται μόνο ένα χαρακτηριστικό για την ταξινόμηση των δειγμάτων. Οι αντίστοιχες πυκνότητες πιθανότητας και οι a pror πιθανότητες για τις κλάσεις είναι: ω: ω=/, p ω=/π*ep- / ω: ω=/3, p ω=/π*ep-- / ω3: ω3=/6, p ω3=/π*ep-- / Ταξινομήστε σε μία από τις παραπάνω κατηγορίες άγνωστο δείγμα με τιμή χαρακτηριστικού =.6. Είναι: ωp ω= , ωp ω= 0., ω3p ω3= Συνεπώς το δείγμα καταχωρείται στην κατηγορία ω. 36

37 Παράδειγμα 3 τριών κατανομών R R3 R R3 R R3 R Πιθανότητα λάθους: c c R k, k p / k k d 37

38 Ερώτηση: Γιατί τόση επιμονή στον ταξινομητή Bayes; Απάντηση: γιατί η λογική του δεν έρχεται σε αντίθεση με την διαίσθησή μας. Ο κανόνας ταξινόμησης κατά Bayes είναι βέλτιστος με την έννοια ότι ελαχιστοποιεί την πιθανότητα λάθους. 38

39 Παρατήρηση: οι πυκνότητες πιθανότητας των κατηγοριών μαζί με τις a pror πιθανότητές τους ορίζουν μονοσήμαντα μια διαμέριση του χώρου του l-διάστατου χώρου των χαρακτηριστικών, σε όχι απαραίτητα ενιαίες περιοχές R όπου κάθε μια αντιστοιχεί και σε μια κατηγορία ω. Έτσι, η ταξινόμηση ενός διανύσματος μπορεί να γίνει α είτε με χρήση του κανόνα του Bayes όπως αυτός διατυπώνεται στον Bayes ή Bayes β είτε με προσδιορισμό των περιοχών των χώρου των χαρακτηριστικών που αντιστοιχούν στις υπό εξέταση κατηγορίες και για κάθε νέο διάνυσμα χαρακτηριστικών να εξετάζει απλώς σε ποια περιοχή ανήκει. 39

40 Παράδειγμα δύο κατηγοριών στον -διάστατο χώρο. 40

41 4 ΣΥΝΑΡΤΉΣΕΙΣ ΔΙΑΚΡΙΣΗΣ DISCRIMINANT FUNCTIONS ΕΠΙΦΆΝΕΙΕΣ ΑΠΟΦΑΣΗΣ DECISION SURFACES Αν είναι παρακείμενες έχουν κοινό σύνορο που ορίζεται από την Η επιφάνεια αυτή g διαχωρίζει τις περιοχές. Από τη μία πλευρά είναι θετική + και από την άλλη αρνητική -. Είναι γνωστή ως επιφάνεια απόφασης Decson Surface : : R R j j j R j R, 0 g j g

42 Αν f. αύξουσα, ο κανόνας μένει αναλλοίωτος αν γράψουμε: f : f f j j g f s a συνάρτηση διάκρισης dscrmnant functon Γενικά, οι συναρτήσεις διάκρισης μπορούν να οριστούν ανεξάρτητα από τον κανόνα του Bayes. Σ αυτή την περίπτωση οδηγούν σε υποβέλτιστες suboptmal λύσεις. Παρόλα αυτά, αν επιλεγούν κατάλληλα μπορούν να οδηγήσουν σε υπολογιστικές απλουστεύσεις. 4

43 ΤΑΞΙΝΟΜΗΤΗΣ BAYES ΓΙΑ ΚΑΝΟΝΙΚΕΣ ΚΑΤΑΝΟΜΕΣ Πολυδιάστατη Gaussan pdf p ep E μέσο διάνυσμα για την E Πίνακας συνδιασποράς covarance matr 43

44 44 Η είναι μονότονη. Ορίζουμε: Παράδειγμα: ln ln ln ln p p g T C C g ln ln ln 0 0

45 g ln C Δηλαδή, η είναι τετραγωνική. Σημειώστε ότι οι επιφάνειες g g 0 ΔΕΝ είναι, απαραίτητα, τετραγωνικής μορφής ελλείψεις, παραβολές,υπερβολές, ζεύγη ευθειών. For eample: g j 45

46 46

47 47

48 48

49 49 Υπερεπίπεδα απόφασης Τετραγωνικοί όροι: Αν ΟΛΟΙ είναι ίδιοι οι τετραγωνικοί όροι δεν επηρεάζουν, αφού δεν εμπλέκονται στις συγκρίσεις. Τότε μπορούμε να γράψουμε ισοδύναμα: Οι συναρτήσεις διάκρισης είναι ΓΡΑΜΜΙΚΕΣ T Σ Σ Τ o T Σ w Σ w w w g 0 ln

50 Έστω επιπλέον ότι: Σ I. Τότε T g w 0 g g g 0 j j w T w, j o j ln o j j j 50

51 5 Μη διαγώνιος: Υπερεπίπεδο απόφασης 0 0 w g T j j w 0 n T j j j j όχι κάθετο στο κάθετο στο j j

52 5 Ταξινομητές ελάχιστης απόστασης ισοπίθανες Ευκλείδεια απόσταση: μικρότερη Mahalanobs απόσταση: μικρότερη M T g : Καταχώρησε : I E d : Καταχώρησε : I T m d

53 53

54 Παράδειγμα: Δοθέντων των, : και p N, Σ, p N, Σ,,, κατηγοριοποίησε το διάνυσμα με χρήση Bayesan ταξινομητή: Σ Υπόλ. Mahalanobs απόστ. d από, : d.0,. Σ m, , d.0, m, m Καταχώρησε. Παρατηρείστε ότι de de,, 54

55 ΕΚΤΙΜΗΣΗ ΑΓΝΩΣΤΩΝ ΣΥΝΑΡΤΗΣΕΩΝ ΠΥΚΝΟΤΗΤΑΣ ΠΙΘΑΝΟΤΗΤΑΣ Μέγιστη πιθανοφάνεια Mamum Lkelhood * Εστω,,..., γνωστά και ανεξάρτητα k * Έστω p γνωστής μορφής με άγνωστο διάνυσμα παραμέτρων : p p ; * X,,... * p X ; p,,... ; N p ; k N N N που είναι γνωστή ως η πιθανοφάνεια Lkelhood του ως προς το Η μέθοδος: X 55

56 56 0 : ˆ ; ln ; ln ; arg ma : ˆ ; ; ML k k N k ML k N k k Ν k p p L p X p L p

57 57

58 Αν, πράγματι, υπάρχει ένα p p ;, τότε N lm E ˆ 0 N ML ML 0 lm E[ ] έτσι ώστε - Ασυμπτωτικά αμερόληπτος unbased εκτιμητής: Η μέση τιμή της τυχαίας μεταβλητής ˆML είναι η πραγματική τιμή της άγνωστης παραμέτρου - Ασυμπτωτικά συνεπής consstent εκτιμητής: Η διασπορά της ML εκτίμησης τείνει στο μηδέν. 58

59 Παράδειγμα: p : N, Σ: άγνωστο,,,..., p p ; L p C Σ p Σ N N T ln k ; k k k k T k ; ep l k k L. L. L l Σ N. Σ k 0 k N k k N ML N T A Υπενθύμιση: Αν A A A T k k 59

60 Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας Mamum Aposteror robablty Estmaton Στην ML μέθοδο, το θ λογιζόταν ως παράμετρος Εδώ θα θεωρήσουμε το θ ως τυχαίο διάνυσμα που περιγράφεται από υποτίθεται γνωστή pdf pθ. Δοθέντος X Υπολόγισε το μέγιστο της From Bayes theorem,,..., N p X p p X p X p X or p X p p X p X 60

61 Η μέθοδος: ˆ arg ma p X ή ˆ MA : p p X Αν η p είναι ομοιόμορφη ή αρκετά ευρεία: ˆ MA MA ML 6

62 6

63 Παράδειγμα: p : N, Σ, ά, X,..., 0 p ep l l N N : ln p p 0 ή ˆ ˆ 0 MA k k k k 0 ˆ, ή για N ˆ MA MA N 0 k k For N N ˆ ML N k k N 63