Αναγνώριση Προτύπων 1

Αναγνώριση Προτύπων 1

Σημερινό Μάθημα Βασικό σύστημα αναγνώρισης προτύπων Προβλήματα Πρόβλεψης Χαρακτηριστικά και Πρότυπα Ταξινομητές Classifiers Προσεγγίσεις Αναγνώρισης Προτύπων Κύκλος σχεδίασης Συστήματος Αναγνώρισης Προτύπων Πιθανότητες και Στατιστικά 2

Ένα βασικό σύστημα αναγνώρισης προτύπων συμπεριλαμβάνει: Έναν αισθητήρα Μια διαδικασία προεπεξεργασίας Ένα μηχανισμό Εξαγωγής Χαρακτηριστικών Έναν αλγόριθμο Ταξινόμησης Ένα σετ εκπαίδευσης συσκευές μετρήσεων προεπεξεργασία μείωση διαστάσεων πρόβλεψη επιλογή μοντέλου πραγματικός κόσμος αποτελέσματα Κάμερες Βάσεις δεδομένων Επιλογή χαρ. Προβολή χαρ. Αφαίρεση θορύβου Εξαγωγή χαρακτηριστικών Crossvalidation Classification Clustering 3

Αισθητήρες Η είσοδος σε ένα ΣΑΠ (Σύστημα ύ Αναγνώρισης Προτύπων) είναι αρκετά συχνά κάποιος αναμεταδότης, όπως μια κάμερα ή μια συστοιχία μικροφώνων Η δυσκολία του προβλήματος εξαρτάται από τα χαρακτηριστικά αυτών των αισθητήρων π.χ. το εύρος συχνοτήτων, η ανάλυση της εικόνας, η ευαισθησία, η παραμόρφωση, η αναλογία σήματος προς θόρυβο, η καθυστέρηση του σήματος κ.ά. 4

Προβλήματα πρόβλεψης Ταξινόμηση (Classification) Το πρόβλημα κατάταξης του αντικειμένου σε μία κατηγορία (class) Η έξοδος του ΣΑΠ είναι μία ετικέτα (label) π.χ. «καλό» ή «κακό» σε έλεγχο ποιότητας Παλινδρόμηση (Regression) Γενίκευση της ταξινόμησης Η έξοδος του ΣΑΠ είναι πραγματική τιμή π.χ. πρόβλεψη της τιμής μετοχής μιας εταιρείας 5

Προβλήματα πρόβλεψης Ομαδοποίηση (clustering) Η οργάνωση αντικειμένων σε ομάδες με νόημα Το σύστημα επιστρέφει ομάδες αντικειμένων π.χ. ταξινόμηση ειδών Περιγραφή (description) Η αναπαράσταση αντικειμένου με πρωταρχικά στοιχεία Το σύστημα παρέχει δομημένη η λεκτική περιγραφή π.χ. περιγραφή ενός σήματος με πλάτος και συχνότητα 6

Χαρακτηριστικά (features) Τα χαρακτηριστικά μπορεί να είναι συμβολικά (π.χ. χρώμα) ή αριθμητικά (π.χ. ύψος) Ο συνδυασμός κάποιων χαρακτηριστικών αποτελεί το διάνυσμα χαρακτηριστικών (feature vector) Ο ν διάστατος χώρος που ορίζεται από το feature vector ονομάζεται χώρος χαρακτηριστικών (feature space) 7

Πρότυπα Πρότυπο είναι μία σύνθεση χαρακτηριστικών Κατά την ταξινόμηση το πρότυπο είναι ένα ζύ ζεύγος μεταβλητών {x,ω} όπου x είναι μια συλλογή χαρακτηριστικών (feature vector) ω είναι η έννοια της παρατήρησης (label) 8

Χαρακτηριστικά (feature) Τι κάνει ένα διάνυσμα χαρακτηριστικών «καλό»; ό Η ποιότητα του σχετίζεται με την ικανότητα του να διακρίνει παραδείγματα διαφορετικών κλάσεων Παραδείγματα της ίδιας κλάσης πρέπει να έχουν παρόμοιες τιμές Διαφορετικών κλάσεων διαφορετικές τιμές 9

Διαχωρισμός Χαρακτηριστικών Γραμμικός διαχωρισμός Μη-γραμμικός διαχωρισμός Υψηλός συσχετισμός Πολυτροπικός 10

Ταξινομητές Classifiers Το έργο ενός classifier είναι να χωρίσει το χώρο των χαρακτηριστικών σε συγκεκριμένες περιοχές απόφασης (classes) Οι classes χωρίζονται με όρια απόφασης. 11

Ταξινομητές Classifiers Ένας classifier αντιπροσωπεύεται με ένα σύνολο διακριτών συναρτήσεων Ένα διάνυσμα χαρακτηριστικών x καταχωρείται σε μια κλάση ω i αν g i (x)>g j (x) κλάση συναρτήσεις χαρακτηριστικά 12

Προσεγγίσεις Αναγνώρισης Προτύπων Στατιστική Αναγνώριση Προτύπων Συντακτική Αναγνώριση Προτύπων Αναγνώριση Προτύπων με Νευρωνικά Δίκτυα 13

Στατιστική Αναγνώριση Προτύπων Τα πρότυπα ταξινομούνται βάσει ενός στατιστικού μοντέλου των χαρακτηριστικών Το στατιστικό μοντέλο ορίζεται από μία οικογένεια υπό συνθήκη συναρτήσεων Pr(x/c i ) 14

Αναγνώριση Προτύπων με Νευρωνικά Δίκτυα Η ταξινόμηση βασίζεται στην ανταπόκριση ενός δικτύου νευρώνων στην εισαγωγή ενός προτύπου Η γνώση αποθηκεύεται στα βάρη των συνάψεων Τα νευρωνικά δίκτυα εκπαιδεύονται Με αρκετά επίπεδα και νευρώνες μπορεί να δημιουργηθεί περιοχή κάθε πολυπλοκότητας 15

Συντακτική Αναγνώριση Προτύπων Η ταξινόμηση βασίζεται σε μέτρα συντακτικής ομοιότητας Χρησιμοποιείται για ταξινόμηση (classification) και περιγραφή (description) 16

17

Ένα απλό πρόβλημα αναγνώρισης Θεωρήστε το πρόβλημα αναγνώρισης των χαρακτήρων L,P,O,E,Q Ορίζουμε κατάλληλο σετ χαρακτηριστικών Σχεδιάζουμε classifier δομημένου δέντρου 18

Κύκλος σχεδίασης Συστήματος Αναγνώρισης Προτύπων Συλλογή ήδεδομένων Πόσα παραδείγματα απαιτούνται; Επιλογή Χαρακτηριστικών Κρίσιμο, απαιτεί προηγούμενη γνώση Επιλογή Μοντέλου Στατιστικό, νευρωνικό ή συντακτικό Εκπαίδευση Επιβλεπόμενη, μη επιβλεπόμενη, ενισχυμένη Αξιολόγηση Εκτίμηση απόδοσης Overfitting Γενίκευση 19

Πιθανότητες και Στατιστικά Πθ Πιθανότητες Ορισμός Αξιώματα και ιδιότητες Πιθανότητα υπό συνθήκη Θεώρημα Bayes 20

Πιθανότητες Ορισμός Οι πιθανότητες είναι νούμερα που σχετίζονται με κάποιο γεγονός και δείχνουν «πόσο πιθανό» είναι να συμβεί Ένας πιθανοτικός κανόνας αποδίδει πιθανότητες στα γεγονότα ενός πειράματος Ο χώρος δειγμάτων S για ένα πείραμα είναι το σύνολο όλων των πιθανών αποτελεσμάτων 21

Πιθανότητες Αξιώματα Αξίωμα I: 0 P[A i ] Aξίωμα ΙΙ: P[S]=1 Αξίωμα ΙΙΙ: if A i A j =ø, then P[A i A j ]=P[A i ]+P[A j ] 22

Πιθανότητες Ιδιότητες Ιδιότητα 1 Ιδιότητα 2 Ιδιότητα 3 Ιδιότητα 4 Ιδιότητα 5 Ιδιότητα 6 Ιδιότητα 7 23

Πιθανότητα υπό συνθήκη Αν Α και Β είναι δύο γεγονότα, ηπιθανότητα του Α όταν ξέρουμε ότι το Β έχει ήδη συμβεί είναι: P[ A B] P [ A B] ] P[ B] 24

Πιθανότητα υπό συνθήκη ερμηνεία Το στοιχείο «το Β έχει συμβεί» σημαίνει: Ο αρχικός χώρος δειγμάτων S γίνεται Β Το Α γίνεται Α Β Το P[B] κανονικοποιεί την πιθανότητα έχει συμβεί το Β 25

Θεώρημα ολικής πιθανότητας Έστω Β1,Β 2,,Β Ν γεγονότα, χωρίς κοινά στοιχεία που η ένωση τους συμπίπτει με το χώρο δειγματοληψίας S, ονομάζονται διαμερισμός του S. Ένα γεγονός Α μπορεί να εκφραστεί ως: 26

Θεώρημα ολικής πιθανότητας Αφού τα Β 1,Β 2,,Β Ν είναι αλληλοαποκλειώμενα: Για αυτό 27