HMY 795: Αναγνώριση Προτύπων

Transcript

1 Διδάσκων: HMY 795: Αναγνώριση Προτύπων Γεώργιος Μήτσης Γραφείο: GP401 Ωρες γραφείου: Οποτεδήποτε (κατόπιν επικοινωνίας) Τηλ: Ηλ. Ταχ.:

2 Βιβλιογραφία C. M. Bishop Pa#ern Recogni-on and Machine Learning, Springer, 2007 (βιβλίο μαθήματος) R.O. Duda, P.E. Hart and D.G. Stork, Pa#ern Classifica-on, Wiley- Blackwell, 2nd ediwon, S Theodoridis and K Koutroumbas, Pa#ern Recogni-on, Academic Press 4th ediwon, 2008 Επιπρόσθετη συναφής βιβλιογραφία C.M. Bishop Neural Networks for Pa#ern Recogni-on, Oxford University Press, 1996 B Scholkopf and A.J. Smola, Learning with Kernels: Support Vector Machines, Regulariza-on, Op-miza-on and Beyond (Adapwve Computawon and Machine Learning), MIT Press, 2002 T. Haswe R. Tibshirani and J. Friedman The Elements of Sta-s-cal Learning: Data Mining, Inference, and Predic-on, Springer Series in Stawswcs, Second Ediwon Α. Gelman, J. B. Carlin, H. S. Stern and D. B. Rubin, Bayesian Data Analysis, Chapman & Hall/ CRC Texts in Stawswcal Science, D. J. C. MacKay Informa-on Theory, Inference and Learning Algorithms, Oxford University Press, 2007, available free online: h p:// book.html Αξιολόγηση και Βαθμολόγηση Τελική Εξέταση: 55% Κατ' οίκον εργασίες: 25% Υπολογιστική άσκηση (Project): 20% Ιστοσελίδα μαθήματος h p://

3 Επισκόπηση θεωρίας πιθανοτήτων και αποφάσεων (Overview of probability and decision theory) Μπεϋζιανή θεωρία αποφάσεων (Bayesian decision theory) Εκτίμηση παραμέτρων: Εκτίμηση μέγιστης πιθανοφάνειας και Μπεϋζιανή εκτίμηση (Maximum likelihood and Bayesian parameter eswmawon) Μη παραμετρικές μέθοδοι εκτίμησης πυκνότητας (Nonparametric density eswmawon methods) Γραμμικά μοντέλα παλινδρόμησης και ταξινόμησης (Linear regression and classificawon models) Μη γραμμική ταξινόμηση και νευρωνικά δίκτυα (Nonlinear classificawon models and neural networks) Μέθοδοι πυρήνων και μηχανές υποστηριζόμενων διανυσμάτων (Kernel methods and support vector machines) Ανάλυση κύριων και ανεξάρτητων συνιστωσών (Principal and independent component analysis) Μοντέλα ανάμιξης και μεγιστοποίηση αναμενόμενης τιμής (Mixture models and expectawon maximizawon) Μέθοδοι δειγματοληψίας (Sampling methods)

4 Εισαγωγή Πρότυπο (PaBern): Το αντίθετο του χάους, οντότητα που παρουσιάζει κάποιας μορφής κανονικότητα στα χαρακτηριστικά της, στην οποία μπορεί να δώσουμε κάποιο όνομα

5 Εισαγωγή Αναγνώριση προτύπων: ο επιστημονικός κλάδος που ασχολείται με την εύρεση και ποσοτικοποίηση χαρακτηριστικών σε δεδομένα διάφορων μορφών χρησιμοποιώντας υπολογιστικούς αλγορίθμους με σκοπό την ταξινόμηση των δεδομένων αυτών σε διακριτές κατηγορίες (ταξινόμηση προτύπων - pa ern classificawon) ανακάλυψη ενδιαφέροντων/ χρήσιμων χαρακτηριστικών στα δεδομένα (feature idenwficawon/ selecwon) και την εύρεση ποσοτικών σχέσεων μεταξύ των δεδομένων (παλινδρόμηση regression) Συναφείς κλάδοι: Εξόρυξη Δεδομένων (Data Mining), Υπολογιστική όραση (Computer Vision), Τεχνητή/Υπολογιστική Νοημοσύνη (Arwficial/ Computawonal Intelligence), Νευρωνικά Δίκτυα (Neural Networks), Υπολογιστική Βιολογία (Computawonal Biology/ Bioinformawcs), Στατιστική Επεξεργασία Σήματος (Stawswcal Signal Processing), Θεωρία Βελτιστοποίησης (Opwmizawon Theory) κλπ

6 Εισαγωγή Ανθρώπινος εγκέφαλος: η πιο εξελιγμένη μηχανή αναγνώρισης προτύπων, π.χ. αναγνώριση χειρόγραφων χαρακτήρων, αντικειμένων, προσώπων κλπ Εύκολα προβλήματα για έναν άνθρωπο, πολύ πιο δύσκολα για έναν υπολογιστή!

7 Γενική διαδικασία αναγνώρισης/ταξινόμησης Συνήθως δεν χρησιμοποιούνται τα αρχικά δεδομένα, αλλά προηγείται προεπεξεργασία (preprocessing) και ένας μετασχηματισμός τους που απλοποιεί το πρόβλημα Μετασχηματισμός: Χαρακτηριστικά (features) Επιλέγοντας ένα κατάλληλο διάνυσμα χαρακτηριστικών (feature vector) μπορούμε να εκπαιδεύσουμε ένα μαθηματικό μοντέλο το οποίο τυπικά μπορεί να εκφραστεί ως μια συνάρτηση y(x) και του οποίου οι παράμετροι καθορίζονται κατά τη φάση εκπαίδευσης/εκμάθησης (training/ learning phase) Το μοντέλο πρέπει να είναι τέτοιο ώστε να μας δίνει τη δυνατότητα να κατηγοριοποιήσουμε σωστά νέα δεδομένα που δεν χρησιμοποιούνται για την εκπαίδευση (φάση επικύρωση - teswng/validawon phase) Η ικανότητα γενίκευσης (generalizawon) είναι πολύ σημαντική Συλλογή δεδομένων Προεπεξεργασία δεδομένων Επιλογή χαρακτηριστικών Επιλογή μοντέλου/ ταξινομητή Εκπαίδευση μοντέλου/ταξινομητή Επικύρωση μοντέλου/ταξινομητή

8 Επιβλεπόμενη/ μη επιβλεπόμενη αναγνώριση προτύπων Δύο πολύ γενικοί τύποι προβλημάτων στην αναγνώριση προτύπων Επιβλεπόμενη (supervised): Πρότυπα των οποίων η κατηγορία είναι εκ των προτέρων γνωστή χρησιμοποιούνται για την εκπαίδευση του αλγορίθμου Μη επιβλεπόμενη (unsupervised): Ο αριθμός των κατηγοριών δεν είναι εκ των προτέρων γνωστός και πρέπει να προσδιοριστεί κατά την εκπαίδευση. Σκοπός: Εύρεση παρόμοιων χαρακτηριστικών στα δεδομένα μας (clustering ομαδοποίηση) Καθορισμός της κατανομής των δεδομένων μας στο χώρο εισόδου (input space): density eswmawon Π.χ. σε ένα απλό πρόβλημα ταξινόμησης χαρακτήρων: Category A Category B Supervised classification Unsupervised classification (clustering)

9 Ανίχνευση προσώπων/ αντικειμένων σε εικόνα, κίνησης σε βίντεο Αυτόματη αναγνώριση χαρακτήρων/ συμβόλων Διάγνωση με βάση ιατρικά σήματα ή/και ιατρικές εικόνες Αναγνώριση ομιλίας Βιοπληροφορική εύρεση και ταξινόμηση προτύπων σε γονιδιακά/ πρωτεομικά δεδομένα... Εφαρμογές

10 Ενα απλό παράδειγμα: Αυτόματη ταξινόμηση ψαριών! Ας υποθέσουμε ότι θέλουμε να ξεχωρίσουμε αυτόματα σολωμούς από λαβράκια Αρχικά δεδομένα: εικόνες Προεπεξεργασία: βελτίωση εικόνας και ανίχνευση ακρών

11 Ενα απλό παράδειγμα: Αυτόματη ταξινόμηση ψαριών! Πιθανά χαρακτηριστικά (features) που μπορούμε χρησιμοποιήσουμε Μήκος Φωτεινότητα Πλάτος Αριθμός και σχήμα πτερυγίων Θέση του στόματος κλπ κλπ. Ποια είναι η καλύτερη επιλογή??

12 Ταξινόμηση με βάση το μήκος

13 Ταξινόμηση με βάση τη φωτεινότητα Επιλογή του ορίου/κατωφλίου (threshold): αντικείμενο της θεωρίας λήψης αποφάσεων (decision theory)

14 Ταξινόμηση με βάση μήκος και φωτεινότητα Εστω ότι χρησιμοποιούμε και τα δύο χαρακτηριστικά Feature vector: Μήκος Φωτεινότητα Εστω επίσης ότι χρησιμοποιούμε γραμμικό ταξινομητή

15 Ταξινόμηση με βάση μήκος και φωτεινότητα Η τέλεια ταξινόμηση στο σύνολο εκπαίδευσης (training set) δεν είναι απαραίτητα καλή!

16 Ταξινόμηση με βάση μήκος και φωτεινότητα Καλύτερη γενίκευση με πιο απλό ταξινομητή

17 Παράδειγμα: Πρόβλεψη επιληπτικών κρίσεων Πρόβλεψη με βάση το ηλεκτροεγκεφαλογράφημα (EEG) Επιλογή χαρακτηριστικών (μονο/πολυμεταβλητά): π.χ. φασματική ισχύς, αλληλοσυσχέτιση, συγχρονισμός φάσης κλπ Πρόβλημα ταξινόμησης με 2 κατηγορίες: Επίκειται ή όχι επιληπτική κρίση? Δεδομένα εκπαίδευσης/επικύρωσης: Σημαντική η συλλογή δεδομένων με μεγάλη διάρκεια, τα δεδομένα εκπαίδευσης καθορίζονται από κάποιον ειδικό (γιατρό)

18 Ενα απλό πρόβλημα παλινδρόμησης (regression): Προσαρμογή καμπύλης (Curve fi_ng) Θέλουμε να προβλέψουμε την τιμή μιας μεταβλητής t από παρατηρήσεις μιας άλλης μεταβλητής x Εστω ότι τα δεδομένα εκπαίδευσης είναι μια ακολουθία μεταβλητών (regressors) x k {x 1,x 2,,x N } και οι αντίστοιχες παρατηρούμενες τιμές της εξόδου {t 1,t 2,,t N } καθώς και ότι τα δεδομένα μας έχουν δημιουργηθεί από τη συνάρτηση sin(2πx) + λευκό θόρυβο

19 Προσαρμογή καμπύλης (Curve fi_ng) Συνάρτηση κόστους ελάχιστων τετραγώνων

20 Προσαρμογή καμπύλης (Curve fi_ng) Πως επιλέγουμε την τάξη του πολυωνύμου?

21 Προσαρμογή καμπύλης (Curve fi_ng) Root- Mean- Square (RMS) Error:

22 Προσαρμογή καμπύλης (Curve fi_ng)

23 Επίδραση του αριθμού δεδομένων

24 Κανονικοποίηση (regularizacon) Ποινή σε συντελεστές μεγαλύτερου πλάτους (shrinkage) Αν έχουμε τετραγωνική νόρμα: ridge regression

25 Κανονικοποίηση (regularizacon)

26 Κατηγορίες μεθόδων αναγνώρισης προτύπων MODEL INFORMATION COMPLETE INCOMPLETE Bayes Decision Theory Supervised Learning Unsupervised Learning Parametric Approach Nonparametric Approach Parametric Approach Nonparametric Approach Opwmal Rules Plug- in Rules Density Eswmawon Geometric Rules (K- NN, MLP) Mixture Resolving Cluster Analysis (Hard, Fuzzy)