HMY 795: Αναγνώριση Προτύπων

Σχετικά έγγραφα
HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων

Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων

Εισαγωγή στα συστήματα αναγνώρισης προτύπων

Τεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

ΔΙΑΧΕΙΡΙΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ ΠΑΓΚΟΣΜΙΟΥ ΙΣΤΟΥ ΚΑΙ ΓΛΩΣΣΙΚΑ ΕΡΓΑΛΕΙΑ. Data Mining - Classification

Μέθοδοι Μηχανών Μάθησης για Ευφυή Αναγνώριση και ιάγνωση Ιατρικών εδοµένων

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων. Διάλεξη 2

Διακριτικές Συναρτήσεις

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων

HMY 795: Αναγνώριση Προτύπων

Εισαγωγή στα Τεχνητά Νευρωνικά Δίκτυα. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Αίθουσα Νέα Κτίρια ΣΗΜΜΥ Ε.Μ.Π. Ανάλυση Κυρίων Συνιστωσών (Principal-Component Analysis, PCA)

HMY 795: Αναγνώριση Προτύπων

HMY 220: Σήματα και Συστήματα Ι

Αναγνώριση Προτύπων (Pattern Recognition) Π. Τσακαλίδης ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ ΤΜΗΜΑ ΕΠΙΣΤΗΜΗΣ ΥΠΟΛΟΓΙΣΤΩΝ

Μέθοδοι Μηχανικής Μάθησης στην επεξεργασία Τηλεπισκοπικών Δεδομένων. Δρ. Ε. Χάρου

HMY 795: Αναγνώριση Προτύπων

Λήψη αποφάσεων κατά Bayes

HMY 795: Αναγνώριση Προτύπων

Αναγνώριση Προτύπων. Μη παραμετρικές τεχνικές Αριθμητικά. (Non Parametric Techniques)

Μέθοδοι εκμάθησης ταξινομητών από θετικά παραδείγματα με αριθμητικά χαρακτηριστικά. Νικόλαος Α. Τρογκάνης Διπλωματική Εργασία

HMY 220: Σήματα και Συστήματα Ι

Πρόλογος... xv. Κεφάλαιο 1. Εισαγωγικές Έννοιες... 1

Διδάσκουσα: Χάλκου Χαρά,

Πιθανότητες & Στατιστική (ΜΥΥ 304) Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιο Ιωαννίνων

Τεχνικές Μείωσης Διαστάσεων. Ειδικά θέματα ψηφιακής επεξεργασίας σήματος και εικόνας Σ. Φωτόπουλος- Α. Μακεδόνας

Αναγνώριση Προτύπων. Baysian Θεωρία Αποφάσεων ΕΠΙΣΚΟΠΗΣΗ-ΑΣΚΗΣΕΙΣ

«ΣΥΓΧΡΟΝΑ ΕΡΓΑΛΕΙΑ, ΤΕΧΝΙΚΕΣ ΚΑΙ ΜΕΘΟΔΟΛΟΓΙΕΣ ΓΙΑ ΤΟ ΧΑΡΑΚΤΗΡΙΣΜΟ ΚΥΒΕΡΝΟΕΠΙΘΕΣΕΩΝ ΚΑΙ ΚΑΚΟΒΟΥΛΟΥ Λ ΟΓΙΣΜΙΚΟΥ»

«Αναζήτηση Γνώσης σε Νοσοκομειακά Δεδομένα»

ΕΥΦΥΗΣ ΕΛΕΓΧΟΣ. Ενότητα #12: Εισαγωγή στα Nευρωνικά Δίκτυα. Αναστάσιος Ντούνης Τμήμα Μηχανικών Αυτοματισμού Τ.Ε.

Αναγνώριση Προτύπων Ι

Συνοπτικά περιεχόμενα

7. ΕΠΕΞΕΡΓΑΣΊΑ ΣΗΜΆΤΩΝ

Ζωντανό Εργαστήριο Thessaloniki Active and Healthy Ageing Living Lab Παρακολούθηση ατόμων στο σπίτι σε πραγματικό χρόνο

ΠΡΟΗΓΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΜΕΤΑΦΟΡΩΝ

Πιθανότητες & Στατιστική (ΜΥΥ 304)

Αναγνώριση Προτύπων. Baysian Θεωρία Αποφάσεων (DETECTION)

ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 9-10

Πανεπιστήμιο Θεσσαλίας. Πολυτεχνική Σχολή. Τμήμα Μηχανικών Χωροταξίας Πολεοδομίας και Περιφερειακής Ανάπτυξης

HMY 795: Αναγνώριση Προτύπων. Διαλέξεις 15-16

Εργαστήριο Ιατρικής Φυσικής

Εξόρυξη Γνώσης από Βιολογικά εδομένα

Τηλεπισκόπηση - Φωτοερμηνεία Ενότητα 11: Είδη Ταξινομήσεων Επιβλεπόμενες Ταξινομήσεις Ακρίβειες.

ΠΕΡΙΓΡΑΜΜΑ ΜΑΘΗΜΑΤΟΣ

Big Data/Business Intelligence

Λογαριθμικά Γραμμικά Μοντέλα Poisson Παλινδρόμηση Παράδειγμα στο SPSS

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΤΜΗΜΑ ΒΙΟΛΟΓΙΚΩΝ ΕΠΙΣΤΗΜΩΝ

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ

ΚΑΤΗΓΟΡΙΕΣ ΤΑΞΙΝΟΜΗΣΗΣ

ΠΠΜ 512: Ανάλυση Κινδύνου για Πολιτικούς Μηχανικούς και Μηχανικούς Περιβάλλοντος

Στατιστική λήψη αποφάσεων

Εφαρμογές μεθοδολογιών μηχανικής εκμάθησης στο χώρο της παραγωγής υδρογονανθράκων. Βασίλης Γαγάνης

ΑΝΤΑΓΩΝΙΣΤΙΚΗ ΜΑΘΗΣΗ ΔΙΚΤΥA LVQ και SOM. "Τεχνητά Νευρωνικά Δίκτυα" (Διαφάνειες), Α. Λύκας, Παν. Ιωαννίνων

HMY 795: Αναγνώριση Προτύπων

Τηλεπισκόπηση. Κ. Ποϊραζίδης ΨΗΦΙΑΚΗ ΑΝΑΛΥΣΗ ΕΙΚΟΝΑΣ 18/6/2016

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΥΠΡΟΥ ΤΜΗΜΑ ΒΙΟΛΟΓΙΚΩΝ ΕΠΙΣΤΗΜΩΝ

ΠΠΜ 512: Ανάλυση Κινδύνου για Πολιτικούς Μηχανικούς και Μηχανικούς Περιβάλλοντος

HMY 795: Αναγνώριση Προτύπων

Η συνολική εικόνα. Ποιοτική Αναβάθμιση δεδομένων. Λογισμικό Επικοινωνιών DATA WAREHOUSE. Σχεδιασμός Ενοποίηση Επιλογή Συγχρονισμός Συντονισμός

Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή

ΜΑΘΗΜΑ: Εισαγωγή στις Αρχές της Επιστήμης των Η/Υ. 1 η ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ: ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ

Αιτιολόγηση με αβεβαιότητα

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Κεφάλαιο 20. Ανακάλυψη Γνώσης σε Βάσεις δεδοµένων. Τεχνητή Νοηµοσύνη - Β' Έκδοση Ι. Βλαχάβας, Π. Κεφαλάς, Ν. Βασιλειάδης, Φ. Κόκκορας, Η.

2. ΧΡΗΣΗ ΣΤΑΤΙΣΤΙΚΩΝ ΠΑΚΕΤΩΝ ΣΤΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΗΣΗ

Κατηγοριοποίηση. Εξόρυξη Δεδομένων και Αλγόριθμοι Μάθησης. 2 ο Φροντιστήριο. Σκούρα Αγγελική

Ανάκτηση Πληροφορίας

Μπεϋζιανή Στατιστική και MCMC Μέρος 2 ο : MCMC

Αλεξάνδρειο ΣΕΙ Θεσσαλονίκης 1. Σμήμα Διοίκησης Επιχειρήσεων 2. Σμήμα Μηχανικών Πληροφορικής

Πληροφοριακά Συστήματα Διοίκησης

: Volterra. Volterra 3. (i.i.d.) Volterra cross-correlation. 2.1 Volterra f[ ] y(t) = f[t, u( )] y(t) = h 0 +

ΠΕΡΙΓΡΑΜΜΑ ΜΑΘΗΜΑΤΟΣ

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Τεχνητή Νοημοσύνη (ΥΠ23) 6 ο εξάμηνο Τμήμα Πληροφορικής και Τηλεματικής Χαροκόπειο Πανεπιστήμιο Ουρανία Χατζή

HMY 799 1: Αναγνώριση Συστημάτων

Οπτική Μοντελοποίηση Ανθρώπινου Προσώπου με Εφαρμογές σε Αναγνώριση

ΚΑΤΑΝΟΜΗ ΜΑΘΗΜΑΤΩΝ ΣΤΑ ΕΞΑΜΗΝΑ

HMY 799 1: Αναγνώριση Συστημάτων

Αναγνώριση Προτύπων (Pattern Recognition) Μπεϋζιανή Θεωρία Αποφάσεων (Bayesian Decision Theory) Π. Τσακαλίδης

ΠΕΡΙΕΧΟΜΕΝΑ. 1. Εισαγωγή Συνεχής ποσοτική εξαρτημένη μεταβλητή...66 Ενδεικτική εφαρμογή...68 ΛΙΓΑ ΛΟΓΙΑ ΓΙΑ ΤΟΥΣ ΣΥΓΓΡΑΦΕΙΣ...

HMY 795: Αναγνώριση Προτύπων

ΕΠΕΞΕΡΓΑΣΙΑ & ΑΝΑΛΥΣΗ ΙΑΤΡΙΚΩΝ ΣΗΜΑΤΩΝ

HMY 795: Αναγνώριση Προτύπων

ΑΛΓΟΡΙΘΜΟΙ ΕΞΟΡΥΞΗΣ ΠΛΗΡΟΦΟΡΙΑΣ (Data Mining) Πανδή Αθηνά

Αλγόριθμος Ομαδοποίησης

Προεπεξεργασία Δεδομένων. Αποθήκες και Εξόρυξη Δεδομένων Διδάσκουσα: Μαρία Χαλκίδη

ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ

Αναγνώριση Προτύπων Ι

Μοντέλο Perceptron πολλών στρωμάτων Multi Layer Perceptron (MLP)

ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ. Διαδικαστικά

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Transcript:

Διδάσκων: HMY 795: Αναγνώριση Προτύπων Γεώργιος Μήτσης Γραφείο: GP401 Ωρες γραφείου: Οποτεδήποτε (κατόπιν επικοινωνίας) Τηλ: 22892239 Ηλ. Ταχ.: gmitsis@ucy.ac.cy

Βιβλιογραφία C. M. Bishop Pa#ern Recogni-on and Machine Learning, Springer, 2007 (βιβλίο μαθήματος) R.O. Duda, P.E. Hart and D.G. Stork, Pa#ern Classifica-on, Wiley- Blackwell, 2nd ediwon, 2000. S Theodoridis and K Koutroumbas, Pa#ern Recogni-on, Academic Press 4th ediwon, 2008 Επιπρόσθετη συναφής βιβλιογραφία C.M. Bishop Neural Networks for Pa#ern Recogni-on, Oxford University Press, 1996 B Scholkopf and A.J. Smola, Learning with Kernels: Support Vector Machines, Regulariza-on, Op-miza-on and Beyond (Adapwve Computawon and Machine Learning), MIT Press, 2002 T. Haswe R. Tibshirani and J. Friedman The Elements of Sta-s-cal Learning: Data Mining, Inference, and Predic-on, Springer Series in Stawswcs, Second Ediwon Α. Gelman, J. B. Carlin, H. S. Stern and D. B. Rubin, Bayesian Data Analysis, Chapman & Hall/ CRC Texts in Stawswcal Science, 2003. D. J. C. MacKay Informa-on Theory, Inference and Learning Algorithms, Oxford University Press, 2007, available free online: h p://www.inference.phy.cam.ac.uk/mackay/iwla/ book.html Αξιολόγηση και Βαθμολόγηση Τελική Εξέταση: 55% Κατ' οίκον εργασίες: 25% Υπολογιστική άσκηση (Project): 20% Ιστοσελίδα μαθήματος h p://www.eng.ucy.ac.cy/gmitsis/ece795/

Επισκόπηση θεωρίας πιθανοτήτων και αποφάσεων (Overview of probability and decision theory) Μπεϋζιανή θεωρία αποφάσεων (Bayesian decision theory) Εκτίμηση παραμέτρων: Εκτίμηση μέγιστης πιθανοφάνειας και Μπεϋζιανή εκτίμηση (Maximum likelihood and Bayesian parameter eswmawon) Μη παραμετρικές μέθοδοι εκτίμησης πυκνότητας (Nonparametric density eswmawon methods) Γραμμικά μοντέλα παλινδρόμησης και ταξινόμησης (Linear regression and classificawon models) Μη γραμμική ταξινόμηση και νευρωνικά δίκτυα (Nonlinear classificawon models and neural networks) Μέθοδοι πυρήνων και μηχανές υποστηριζόμενων διανυσμάτων (Kernel methods and support vector machines) Ανάλυση κύριων και ανεξάρτητων συνιστωσών (Principal and independent component analysis) Μοντέλα ανάμιξης και μεγιστοποίηση αναμενόμενης τιμής (Mixture models and expectawon maximizawon) Μέθοδοι δειγματοληψίας (Sampling methods)

Εισαγωγή Πρότυπο (PaBern): Το αντίθετο του χάους, οντότητα που παρουσιάζει κάποιας μορφής κανονικότητα στα χαρακτηριστικά της, στην οποία μπορεί να δώσουμε κάποιο όνομα

Εισαγωγή Αναγνώριση προτύπων: ο επιστημονικός κλάδος που ασχολείται με την εύρεση και ποσοτικοποίηση χαρακτηριστικών σε δεδομένα διάφορων μορφών χρησιμοποιώντας υπολογιστικούς αλγορίθμους με σκοπό την ταξινόμηση των δεδομένων αυτών σε διακριτές κατηγορίες (ταξινόμηση προτύπων - pa ern classificawon) ανακάλυψη ενδιαφέροντων/ χρήσιμων χαρακτηριστικών στα δεδομένα (feature idenwficawon/ selecwon) και την εύρεση ποσοτικών σχέσεων μεταξύ των δεδομένων (παλινδρόμηση regression) Συναφείς κλάδοι: Εξόρυξη Δεδομένων (Data Mining), Υπολογιστική όραση (Computer Vision), Τεχνητή/Υπολογιστική Νοημοσύνη (Arwficial/ Computawonal Intelligence), Νευρωνικά Δίκτυα (Neural Networks), Υπολογιστική Βιολογία (Computawonal Biology/ Bioinformawcs), Στατιστική Επεξεργασία Σήματος (Stawswcal Signal Processing), Θεωρία Βελτιστοποίησης (Opwmizawon Theory) κλπ

Εισαγωγή Ανθρώπινος εγκέφαλος: η πιο εξελιγμένη μηχανή αναγνώρισης προτύπων, π.χ. αναγνώριση χειρόγραφων χαρακτήρων, αντικειμένων, προσώπων κλπ Εύκολα προβλήματα για έναν άνθρωπο, πολύ πιο δύσκολα για έναν υπολογιστή!

Γενική διαδικασία αναγνώρισης/ταξινόμησης Συνήθως δεν χρησιμοποιούνται τα αρχικά δεδομένα, αλλά προηγείται προεπεξεργασία (preprocessing) και ένας μετασχηματισμός τους που απλοποιεί το πρόβλημα Μετασχηματισμός: Χαρακτηριστικά (features) Επιλέγοντας ένα κατάλληλο διάνυσμα χαρακτηριστικών (feature vector) μπορούμε να εκπαιδεύσουμε ένα μαθηματικό μοντέλο το οποίο τυπικά μπορεί να εκφραστεί ως μια συνάρτηση y(x) και του οποίου οι παράμετροι καθορίζονται κατά τη φάση εκπαίδευσης/εκμάθησης (training/ learning phase) Το μοντέλο πρέπει να είναι τέτοιο ώστε να μας δίνει τη δυνατότητα να κατηγοριοποιήσουμε σωστά νέα δεδομένα που δεν χρησιμοποιούνται για την εκπαίδευση (φάση επικύρωση - teswng/validawon phase) Η ικανότητα γενίκευσης (generalizawon) είναι πολύ σημαντική Συλλογή δεδομένων Προεπεξεργασία δεδομένων Επιλογή χαρακτηριστικών Επιλογή μοντέλου/ ταξινομητή Εκπαίδευση μοντέλου/ταξινομητή Επικύρωση μοντέλου/ταξινομητή

Επιβλεπόμενη/ μη επιβλεπόμενη αναγνώριση προτύπων Δύο πολύ γενικοί τύποι προβλημάτων στην αναγνώριση προτύπων Επιβλεπόμενη (supervised): Πρότυπα των οποίων η κατηγορία είναι εκ των προτέρων γνωστή χρησιμοποιούνται για την εκπαίδευση του αλγορίθμου Μη επιβλεπόμενη (unsupervised): Ο αριθμός των κατηγοριών δεν είναι εκ των προτέρων γνωστός και πρέπει να προσδιοριστεί κατά την εκπαίδευση. Σκοπός: Εύρεση παρόμοιων χαρακτηριστικών στα δεδομένα μας (clustering ομαδοποίηση) Καθορισμός της κατανομής των δεδομένων μας στο χώρο εισόδου (input space): density eswmawon Π.χ. σε ένα απλό πρόβλημα ταξινόμησης χαρακτήρων: Category A Category B Supervised classification Unsupervised classification (clustering)

Ανίχνευση προσώπων/ αντικειμένων σε εικόνα, κίνησης σε βίντεο Αυτόματη αναγνώριση χαρακτήρων/ συμβόλων Διάγνωση με βάση ιατρικά σήματα ή/και ιατρικές εικόνες Αναγνώριση ομιλίας Βιοπληροφορική εύρεση και ταξινόμηση προτύπων σε γονιδιακά/ πρωτεομικά δεδομένα... Εφαρμογές

Ενα απλό παράδειγμα: Αυτόματη ταξινόμηση ψαριών! Ας υποθέσουμε ότι θέλουμε να ξεχωρίσουμε αυτόματα σολωμούς από λαβράκια Αρχικά δεδομένα: εικόνες Προεπεξεργασία: βελτίωση εικόνας και ανίχνευση ακρών

Ενα απλό παράδειγμα: Αυτόματη ταξινόμηση ψαριών! Πιθανά χαρακτηριστικά (features) που μπορούμε χρησιμοποιήσουμε Μήκος Φωτεινότητα Πλάτος Αριθμός και σχήμα πτερυγίων Θέση του στόματος κλπ κλπ. Ποια είναι η καλύτερη επιλογή??

Ταξινόμηση με βάση το μήκος

Ταξινόμηση με βάση τη φωτεινότητα Επιλογή του ορίου/κατωφλίου (threshold): αντικείμενο της θεωρίας λήψης αποφάσεων (decision theory)

Ταξινόμηση με βάση μήκος και φωτεινότητα Εστω ότι χρησιμοποιούμε και τα δύο χαρακτηριστικά Feature vector: Μήκος Φωτεινότητα Εστω επίσης ότι χρησιμοποιούμε γραμμικό ταξινομητή

Ταξινόμηση με βάση μήκος και φωτεινότητα Η τέλεια ταξινόμηση στο σύνολο εκπαίδευσης (training set) δεν είναι απαραίτητα καλή!

Ταξινόμηση με βάση μήκος και φωτεινότητα Καλύτερη γενίκευση με πιο απλό ταξινομητή

Παράδειγμα: Πρόβλεψη επιληπτικών κρίσεων Πρόβλεψη με βάση το ηλεκτροεγκεφαλογράφημα (EEG) Επιλογή χαρακτηριστικών (μονο/πολυμεταβλητά): π.χ. φασματική ισχύς, αλληλοσυσχέτιση, συγχρονισμός φάσης κλπ Πρόβλημα ταξινόμησης με 2 κατηγορίες: Επίκειται ή όχι επιληπτική κρίση? Δεδομένα εκπαίδευσης/επικύρωσης: Σημαντική η συλλογή δεδομένων με μεγάλη διάρκεια, τα δεδομένα εκπαίδευσης καθορίζονται από κάποιον ειδικό (γιατρό)

Ενα απλό πρόβλημα παλινδρόμησης (regression): Προσαρμογή καμπύλης (Curve fi_ng) Θέλουμε να προβλέψουμε την τιμή μιας μεταβλητής t από παρατηρήσεις μιας άλλης μεταβλητής x Εστω ότι τα δεδομένα εκπαίδευσης είναι μια ακολουθία μεταβλητών (regressors) x k {x 1,x 2,,x N } και οι αντίστοιχες παρατηρούμενες τιμές της εξόδου {t 1,t 2,,t N } καθώς και ότι τα δεδομένα μας έχουν δημιουργηθεί από τη συνάρτηση sin(2πx) + λευκό θόρυβο

Προσαρμογή καμπύλης (Curve fi_ng) Συνάρτηση κόστους ελάχιστων τετραγώνων

Προσαρμογή καμπύλης (Curve fi_ng) Πως επιλέγουμε την τάξη του πολυωνύμου?

Προσαρμογή καμπύλης (Curve fi_ng) Root- Mean- Square (RMS) Error:

Προσαρμογή καμπύλης (Curve fi_ng)

Επίδραση του αριθμού δεδομένων

Κανονικοποίηση (regularizacon) Ποινή σε συντελεστές μεγαλύτερου πλάτους (shrinkage) Αν έχουμε τετραγωνική νόρμα: ridge regression

Κανονικοποίηση (regularizacon)

Κατηγορίες μεθόδων αναγνώρισης προτύπων MODEL INFORMATION COMPLETE INCOMPLETE Bayes Decision Theory Supervised Learning Unsupervised Learning Parametric Approach Nonparametric Approach Parametric Approach Nonparametric Approach Opwmal Rules Plug- in Rules Density Eswmawon Geometric Rules (K- NN, MLP) Mixture Resolving Cluster Analysis (Hard, Fuzzy)