Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Transcript

1 Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας Verso

2 ΔΕΔΟΜΕΝΑ Δεδομένα μπορούν να αποκτηθούν στα πλαίσια διαφόρων εφαρμογών, χρησιμοποιώντας, όπου είναι απαραίτητο, κατάλληλο εξοπλισμό. Μερικά παραδείγματα είναι: A Εικόνες εικόνες κλίμακας του γκρι grayscale, πολυφασματικές multspectral, υπερφασματικές hyperspectral που λαμβάνονται από κατάλληλα συστήματα απεικόνισης magers.

3 B Ανθρώπινα γαστρικά κύτταρα. ΔΕΔΟΜΕΝΑ

4 ΔΕΔΟΜΕΝΑ C Χρονοσειρές Tme seres

5 D Κείμενο ΔΕΔΟΜΕΝΑ

6 ΔΕΔΟΜΕΝΑ E Ζεύγη τιμών σχετιζόμενων ποσοστήτων κάθε σημείο αντιστοιχεί σ ένα ζεύγος

7 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ KNOWLEDGE EXTRACTION Στόχος επεξεργασίας δεδομένω: Εξαγωγή γνώσης owledge etracto από τα δεδομένα. ΣΗΜ: Στη συνέχεια θεωρούμε μόνο αριθμητικά δεδομένα umercal data. Στο τρέχον πλαίσιο όρος «γνώση» owledge είναι η απάντηση σε τουλάχιστον ένα από τα ακόλουθα ερωτήματα: - a Ποιο είναι το μοντέλο που γεννά τα δεδομένα; - b Πώς μπορούμε να χρησιμοποιήσουμε τα γνωστά δεδομένα προκειμένου να κάνουμε εκτιμήσεις estmatos για άγνωστα δεδομένα; - c Ποιο είναι το γενικό μοτίβο εξάπλωσης spread patter των δεδομένων στο χώρο;

8 ΤΑ ΠΡΟΒΛΗΜΑΤΑ ΕΠΕΞΕΡΓΑΣΙΑΣ Παλινδρόμηση Regresso: Ένα σύνολο ανεξάρτητων μεταβλητών σχετίζονται με ένα σύνολο εξαρτημένων μεταβλητών y μέσω μιας συνάρτησης της μορφής y=f+e, όπου e είναι η αβεβαιότητα. Στόχος: Δοθείσης μιας τιμής για το εκτίμησε την αντίστοιχη τιμή για το y. Ταξινόμηση Classfcato: Ένας αριθμός κατηγοριών κλάσεων ω, ω M στις οποίες θα πρέπει να ταξινομηθούν τα στοιχεία ενός συνόλου οντοτήτων. Στόχος: Δοθείσης μιας οντότητας καταχώρησέ την στην πιο κατάλληλη κατηγορία. Ομαδοποίηση Clusterg: Διατίθεται ένα σύνολο οντοτήτων. Στόχος: Ομαδοποίησε a όμοιες οντότητες στην ίδια ομάδα και b λιγότερο όμοιες ποσότητες σε διαφορετικές ομάδες. I the sequel we cosder oly classfcato ad clusterg.

9 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ a Ποιο είναι το μοντέλο που γεννά τα δεδομένα; παλινδρόμηση Η γραμμή y=a+b Αναπαριστά τη γνώση που συσχετίζει τις δύο ποσότητες

10 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ a Ποιο είναι το μοντέλο που γεννά τα δεδομένα; ταξινόμηση Τα σημεία m, m Αναπαριστούν τη γνώση σημεία γύρω από τα οποία συγκεντρώνονται τα σημεία των δύο κλάσεων m m

11 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ b Πώς μπορούμε να χρησιμοποιήσουμε τα γνωστά δεδομένα προκειμένου να κάνουμε εκτιμήσεις estmatos για άγνωστα δεδομένα; παλινδρόμηση Παραμετρική εκτίμηση Μοντέλο: γραμμή y=a+b Παράμετροι μοντέλου: a, b

12 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ b Πώς μπορούμε να χρησιμοποιήσουμε τα γνωστά δεδομένα προκειμένου να κάνουμε εκτιμήσεις estmatos για άγνωστα δεδομένα; Μη παραμετρική ταξινόμηση

13 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ b Πώς μπορούμε να χρησιμοποιήσουμε τα γνωστά δεδομένα προκειμένου να κάνουμε εκτιμήσεις estmatos για άγνωστα δεδομένα; ταξινόμηση Παραμετρική εκτίμηση Παράμετροι: m, m

14 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ b Πώς μπορούμε να χρησιμοποιήσουμε τα γνωστά δεδομένα προκειμένου να κάνουμε εκτιμήσεις estmatos για άγνωστα δεδομένα; ταξινόμηση Μη παραμετρική εκτίμηση

15 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ c Ποιο είναι το γενικό μοτίβο εξάπλωσης spread patter των δεδομένων στο χώρο; ταξινόμηση Η κατηγορία συγκεντρώνεται γύρω από τα m και m Η κατηγορία συγκεντρώνεται γύρω από τα m 3 και m 4

16 ΕΞΑΓΩΓΗ ΓΝΩΣΗΣ c Ποιο είναι το γενικό μοτίβο εξάπλωσης spread patter των δεδομένων στο χώρο; ομαδοποίηση

17 ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ATTERN RECOGNITION Τυπικές περιοχές εφαρμογής Μηχανική όραση Mache vso Αναγνώριση χαρακτήρων Character recogto OCR Ιατρική διάγνωση υποβοηθούμενη από Η/Υ Computer aded medcal dagoss Αναγνώριση ομιλίας Speech recogto Αναγνώριση προσώπου Face recogto Βιομετρία Bometrcs Ανάσυρση εικόνων από Βάσεις Δεδομένων Image Data Base retreval Εξόρυξη δεδομένων Data mg Βιοπληροφορική Boformatcs Το πρόβλημα: Καταχώρηση άγνωστων αντικειμένων προτύπων στη σωστή κατηγορία κλάση. Το πρόβλημα είναι γνωστό ως ταξινόμηση classfcato. 7

18 Αναγνώριση προτύπων με επίβλεψη supervsed χωρίς επίβλεψη usupervsed: Με επίβλεψη: Γνωστός αριθμός κλάσεων κατηγοριών Διαθέσιμα αντικείμενα για τα οποία είναι γνωστή η κλάση στην οποία ανήκουν. Χωρίς επίβλεψη: Άγνωστος αριθμός κλάσεων γενικά. Διαθέσιμα αντικείμενα για τα οποία δεν είναι γνωστή οποιαδήποτε πληροφορία σχετική με κλάση. 8

19 Παραδείγματα: Εφαρμογή στην κυτταρολογία. Αντικείμενα: πυρήνες κυττάρων Κατηγορίες: καλοήθη, κακοήθη Εφαρμογή σε αλυσίδα παραγωγής στη βιομηχανία. Αντικείμενα: Π.χ. βίδες Κατηγορίες: Ελαττωματική, μη ελαττωματική Εφαρμογή στην αναγνώριση χαρακτήρων κειμένου Αντικείμενα: Αλφαριθμητικοί χαρακτήρες, σημεία στίξης Κατηγορίες: 6 κατηγορίες πεζών+6 κατ. κεφαλαίων+0 κατ. ψηφίων +κατηγορίες σημείων στίξης.

20 Εφαρμογή σε ταξινόμηση υπερφασματικών εικόνων Αντικείμενα: εικονοστοιχεία Κατηγορίες: τύποι εδάφους π.χ., γυμνό έδαφο, νερό, βλάστηση κλπ..

21 Χαρακτηριστικά Features: Πρόκειται για μετρήσιμες ποσότητες που λαμβάνονται από τα προς ταξινόμηση αντικείμενα. Η διαδικασία της ταξινόμησης βασίζεται στις αντίστοιχες τιμές τους. Διανύσματα χαρακτηριστικών Feature vectors: Ένας αριθμός χαρακτηριστικών,..., l συνιστούν το διάνυσμα χαρακτηριστικών Τα διανύσματα χαρακτηριστικών θεωρούνται ως τυχαίες μεταβλητές radom vectors., T l l R,...,

22 Παραδείγματα: Σύνολο αθλητών: Χαρακτηριστικά βάρος, ύψος, χρώμα ματιών Σύνολο εικονοστοιχείων σε υπερφασματικές εικόνες: Χαρακτηριστικά φασματικές μετρήσεις

23 Αναπαράσταση αντικειμένων σε σύστημα αναγνώρισης προτύπων: Αντικείμενο === Διάνυσμα χαρακτηριστικών μετρήσεων feature vector Αντικείμενο= Σημείο στο χώρο Τυπική δομή ενός συστήματος ταξινόμησης προτύπων αντικείμενο Αισθητήρας Γέννηση/Επιλογ. χαρακτηριστικών Ταξινομητής Αξιολόγηση συστήματος Πώς δουλεύει χαρακτ. χαρακτ. αντικείμενο χαρακτ. χαρακτ χαρακτ. q χαρακτ. l Διάνυσμα χαρακτηριστικών

24 Ο ταξινομητής classfer αποτελείται από ένα σύνολο συναρτήσεων, των οποίων οι τιμές, υπολογισμένες στο, καθορίζουν την κλάση στην οποία το αντίστοιχο πρότυπο θα καταχωρηθεί. 4

25 Σημαντικές παρατηρήσεις: Στην πράξη, είναι απαραίτητη η ύπαρξη ενός αντιπροσωπευτικού δείγματος προτύπων από κάθε κατηγορία συνήθως, όσο περισσότερα είναι διαθέσιμα, τόσο καλύτερη εικόνα έχουμε για τις κλάσεις. Στη συνέχεια ακολουθεί μελέτη των προτύπων ώστε να προσδιορίσουμε τα χαρακτηριστικά που διαφοροποιούν πιο πολύ τα πρότυπα των δύο κλάσεων 5

26 Προβλήματα: Α Ποια χαρακτηριστικά θα επιλέξω; Β Πώς ο ταξινομητής διαχωρίζει τις κλάσεις; Παράδειγμα: Να δημιουργηθεί ένα σύστημα ταξινόμησης προτύπων που θα διαχωρίζει καλαθοσφαιριστές Β από χορευτές D. Αντικείμενα: Αθλητές καλαθοσφαιριστές, χορευτές Κατηγορίες: Καλαθοσφαιριστές Β, χορευτές D. Σύστημα ταξινόμησης προτύπων?

27 Α Χαρακτηριστικά ύψος, βάρος. Περιμένουμε ότι D B Βάρος μικρό μεγάλο Ύψος μικρό μεγάλο Πώς καθορίζεται ποσοτικά όμως το «μεγάλο» και το «μικρό»; Βάσει ενός αντιπροσωπευτικού δείγματος που περιλαμβάνει αντικείμενα από τις δύο κλάσεις Όσο πιο πλούσιο είναι το δείγμα, τόσο πιο ακριβές είναι το νόημα που αποκτούν οι παραπάνω χαρακτηρισμοί.

28 Β Ταξινομητής Σύνολο συναρτήσεων/κανόνων βάσει των οποίων γίνεται η ταξινόμηση. D B ύψος + - ε Παράδειγμα : βάρος Δοθέντος ενός χαρακτηριστικού διανύσματος, ο ταξινομητής εξετάζει αν αυτό βρίσκεται α στην αρνητική πλευρά της ε, οπότε το κατατάσσει στην κατηγορία D β στη θετική πλευρά της ε, οπότε το κατατάσσει στην κατηγορία Β

29 ύψος βάρος Παράδειγμα : Δοθέντος ενός χαρακτηριστικού διανύσματος, ο ταξινομητής προσδιορίζει το πλησιέστερο μέσο διάνυσμα και ταξινομεί το διάνυσμα στην αντίστοιχη κατηγορία.

30 Χαρακτηριστικά ξανά απόχρωση μαλλιών, απόχρωση ματιών Απόχρωση μαλλιών D B Απόχρωση ματιών

31 Χαρακτηριστικά ξανά απόχρωση μαλλιών, ύψος Απόχρωση μαλλιών D B Χαρακτηριστικά ξανά ύψος ύψο ς

32 Η επιλογή χαρακτηριστικών είναι ζωτικής σημασίας για την απόδοση του συστήματος. Γενικά είναι επιθυμητή η χρήση χαρακτηριστικών που διαχωρίζουν καλά τις κατηγορίες. Αυτό συνήθως σημαίνει Οι μέσες τιμές του χαρακτηριστικού να διαφέρουν σημαντικά μεταξύ τους από κατηγορία σε κατηγορία. Οι διασπορές γύρω από τις παραπάνω μέσες τιμές να είναι μικρές. Ερώτηση: Αφού με τα παραπάνω μπορούμε να δημιουργήσουμε ένα σύστημα ταξινόμησης χρειάζεται περαιτέρω ανάπτυξη θεωριών; Αν ναι γιατί; Απάντηση: Πρόβλημα διάστασης Πολυπλοκότητα προβλήματος

33 Μερικά προκαταρτικά Έστω, Μ ενδεχόμενα έτσι ώστε Η πιθανότητα για ένα αυθαίρετο ενδεχόμενο είναι Όπου η υπό συνθήκη πιθανότητα του δοθέντος του : Και η από κοινού πιθανότητα των και Θεώρημα συνολικής πιθανότητας 33

34 Μερικά προκαταρτικά συν. Είναι Για τυχαίες μεταβλητές ή διανύσματα τυχαίων μεταβλητών που περιγράφονται από συναρτήσεις πυκνότητας πιθανότητας είναι A posteror εκ των υστέρων πιθανότητα 34

35 Μερικά προκαταρτικά συν. Αν τότε Αν ο Α είναι συμμετρικός τότε Αν ο Α είναι διαγώνιος τότε 35

36 Μερικά προκαταρτικά συν. Αν Ο Α είναι οριστικά θετικός μη αρνητικός ανν 36

37 Μερικά προκαταρτικά συν. Μονοδιάστατη Gaussa/κανονική κατανομή Πολυδιάστατη Gaussa/κανονική κατανομή όπου 37

38 Σ: διαγώνιος με ίσα διαγώνια στοιχεία Σ: διαγώνιος με σ >>σ 38

39 Σ: διαγώνιος με σ <<σ Σ: μη διαγώνιος 39

40 Σ= σ σ σ σ α σ =σ =, σ =0 β σ =σ =0., σ =0 γ σ =σ =, σ =0 δ σ =0., σ =, σ =0 ε σ =, σ =0., σ =0 στ σ =σ =, σ =0.5 ζ σ =0.3, σ =, σ =0.5 η σ =0.3, σ =, σ =

41 Μερικά προκαταρτικά συν. Αν τα είναι ανά δύο στατιστικά ανεξάρτητες τυχ. μεταβλητές, τότε ο πίνακας Σ είναι διαγώνιος Στην περίπτωση της πολυδιάστατης κανονικής κατανομής ισχύει: Σ διαγώνιος οι συνιστώσες του είναι στατιστικά ανεξάρτητες 4

42 Στη συνέχεια θα μιλήσουμε μόνο για στατιστικές μεθόδους ταξινόμησης προτύπων statstcal patter classfcato. Υπόθεση: Σε μια μεγάλη αίθουσα γυμναστηρίου βρίσκονται 00 χορευτές D και 00 καλαθοσφαιριστές B Ερώτηση : «Αν επιλέξουμε κάποιον από την αίθουσα, μαντέψτε αν είναι D ή B.» Απάντηση: Για χορευτή: D=00/00+00=/3. Για καλαθοσφαιριστή: B=00/00+00=/3 Άρα επιλέγεται η απάντηση Β 4

43 Επιπλέον δεδομένα: Οι κατανομές πυκνότητας πιθανότητας των βαρών των δύο κατηγοριών: p / D e p / B e 300. Ερώτηση : «Αν επιλέξουμε κάποιον από την αίθουσα, μαντέψτε αν είναι D ή B.» Απάντηση: Ίδια με την ερώτηση. Ερώτηση 3: ««Αν επιλέξουμε κάποιον από την αίθουσα, μαντέψτε αν είναι D ή B, δοθέντος ότι το ύψος του είναι 55 εκ;» Απάντηση: Ίδια με την ερώτηση. 43

44 Ερώτηση 4: ««Αν επιλέξουμε κάποιον από την αίθουσα, μαντέψτε αν είναι D ή B, δοθέντος ότι το βάρος του είναι 60 κιλά;» Απάντηση: D / 60 p60 / D D p60 / D D p60 / B B = / 60 p60 /. p60 / p60 / = 0.0 Προβληματισμός: Γιατί η κατάσταση άλλαξε τόσο δραματικά με την επιπλέον πληροφορία; Εξήγηση: Οι τιμές του βάρους διαφοροποιούνται πολύ στις δύο κατηγορίες. 44

45 p/dd p/bb βάρος Υπόθεση: Ας θεωρήσουμε ότι το επιπλέον χαρακτηριστικό είναι η απόχρωση των μαλλιών η ίδια ομοιόμορφη κατανομή και για τις δύο κατηγορίες ], [ 0 ], [, / D p. ], [ 0 ], [, / B p

46 46 Ερώτηση 5: ««Αν επιλέξουμε κάποιον από την αίθουσα, μαντέψτε αν είναι D ή B, δοθέντος ότι η απόχρωση των μαλλιών του είναι y[χ,χ]». Απάντηση: / / / / D B B y p D D y p D D y p y D / / / / B B B y p D D y p B B y p y B Συμπέρασμα: Αν έχουμε τη δυνατότητα να επιλέξουμε χαρακτηριστικά ας διαλέγουμε εκείνα που διαφοροποιούνται όσο το δυνατόν περισσότερο στις υπό εξέταση κατηγορίες τα καταλληλότερα χαρακτηριστικά επιλέγονται με τη βοήθεια ενός ειδικού στην υπό μελέτη εφαρμογή.

47 47 Ερώτηση 6: «Αν επιλέξω κάποιον αθλητή από την αίθουσα, τι είδους αθλητής είναι αυτός, δεδομένου ότι το βάρος του είναι κιλά;» Έστω και πάλι ότι το επιπλέον χαρακτηριστικό είναι το βάρος Καλύτερη δυνατή απάντηση: Είναι αθλητής από την κατηγορία με τη μεγαλύτερη εκ των υστέρων a posteror πιθανότητα. Κανόνας του Bayes : Aν D/>B/ τότε καταχώρησε τον αθλητή στην κατηγορία D. Διαφορετικά καταχώρησε τον αθλητή στην κατηγορία B. / / / / B B p D D p D D p D / / / / B B p D D p B B p B Λαμβανομένου υπόψη ότι

48 Κανόνας του Bayes : Aν Dp/D>Bp/B τότε καταχώρησε τον αθλητή στην κατηγορία «χορευτής» Διαφορετικά καταχώρησε τον αθλητή στην κατηγορία «καλαθοσφαιριστής». Υπόθεση: Οι a pror πιθανότητες των κατηγοριών είναι ίσες. Κανόνας του Bayes ειδ: Aν p/d>p/b τότε καταχώρησε τον αθλητή στην κατηγορία «χορευτής» Διαφορετικά καταχώρησε τον αθλητή στην κατηγορία «καλαθοσφαιριστής». Σημαντική παρατήρηση: ΠΑΝΤΑ υπάρχει και η πιθανότητα λάθους ένας «αφύσικα» αδύνατος καλαθοσφαιριστής η ένας «αφύσικα» παχουλός χορευτής μπορούν να ταξινομηθούν λάθος. 48

49 Ταξινόμηση κατά Bayes και γεωμετρική ταξινόμηση Τα σημεία όπου p/dd = p/bb οριοθετούν τις περιοχές του χώρου των χαρακτηριστικών βάρος που αντιστοιχούν στις δύο κατηγορίες Ταξινόμηση οντότητας με συγκεκριμένη τιμή βάρους ανάλογα με την περιοχή στην οποία αυτή ανήκει. Ορισμός περιοχών: Λύνοντας την εξίσωση p/dd = p/bb 3 e e l

50 p/bb p/ κ κ p/dd p/ α α Χορευτής: R D ={: <64.7} Καλαθοσφ.: R B ={: >64.7} Α Β βάρος Ερώτηση: Ποιά είναι η πιθανότητα λάθους; Απάντηση: D p / D d B p / B d. R B R D Για το παράδειγμά μας:

51 Σχεδιασμός ταξινομητή Συμβολισμός: ω,ω,,ω c οι κατηγορίες στις οποίες θα ταξινομηθεί μια οντότητα l το πλήθος των χαρακτηριστικών που αναπαριστούν μια οντότητα διάσταση του χώρου των χαρακτηριστικών =[,, l ] T Διάνυσμα αναπαράστασης οντότητας η τιμή του χαρακτηριστικού γι αυτήν την οντότητα ω η a pror πιθανότητα η υπό εξέταση οντότητα να ανήκει στην κατηγορία ω / η a posteror πιθανότητα η υπό εξέταση οντότητα να ανήκει στην κατηγορία δοθέντος του διανύσματος μετρήσεων p/ω η συνάρτηση πυκνότητας πιθανότητας που περιγράφει την κατανομή των χαρακτηριστικών διανυσμάτων για την κατηγορία ω. 5

52 Ερώτηση 7: «Δοθέντος ενός διανύσματος μετρήσεων μιας υπό εξέταση οντότητας να προσδιοριστεί η κατηγορία ω στην οποία ανήκει η οντότητα» Bayes : «καταχώρησε την υπό εξέταση οντότητα στην κατηγορία ω για την οποία ω /= ma =,,c ω /.» Δεδομένου ότι: / c p / p / Bayes : «καταχώρησε την υπό εξέταση οντότητα στην κατηγορία ω για την οποία p/ω ω = ma =,,c p/ω ω.» Bayes ειδ: «Αν οι κατηγορίες είναι ισοπίθανες, καταχώρησε την υπό εξέταση οντότητα στην κατηγορία ω για την οποία p/ω = ma =,,c p/ω.» 5

53 Παράδειγμα: Σ ένα πρόβλημα τριών κλάσεων, χρησιμοποιείται μόνο ένα χαρακτηριστικό για την ταξινόμηση των δειγμάτων. Οι αντίστοιχες πυκνότητες πιθανότητας και οι a pror πιθανότητες για τις κλάσεις είναι: ω: ω=/, p ω=/π*ep- / ω: ω=/3, p ω=/π*ep-- / ω3: ω3=/6, p ω3=/π*ep-- / Ταξινομήστε σε μία από τις παραπάνω κατηγορίες άγνωστο δείγμα με τιμή χαρακτηριστικού =.6. Είναι: ωp ω= , ωp ω= 0., ω3p ω3= Συνεπώς το δείγμα καταχωρείται στην κατηγορία ω. 53

54 Παράδειγμα 3 τριών κατανομών R R3 R R3 R R3 R Πιθανότητα λάθους: c c R, p / d 54

55 Ερώτηση: Γιατί τόση επιμονή στον ταξινομητή Bayes; Απάντηση: γιατί η λογική του δεν έρχεται σε αντίθεση με την διαίσθησή μας. Γιατί περιλαμβάνει ως ειδικές περιπτώσεις πολλούς ταξινομητές που χρησιμοποιούνται στην πράξη. Ο κανόνας ταξινόμησης κατά Bayes είναι βέλτιστος με την έννοια ότι ελαχιστοποιεί την πιθανότητα λάθους. 55

56 Παρατήρηση: οι πυκνότητες πιθανότητας των κατηγοριών μαζί με τις a pror πιθανότητές τους ορίζουν μονοσήμαντα μια διαμέριση του χώρου του l-διάστατου χώρου των χαρακτηριστικών, σε όχι απαραίτητα ενιαίες περιοχές R όπου κάθε μια αντιστοιχεί και σε μια κατηγορία ω. Έτσι, η ταξινόμηση ενός διανύσματος μπορεί να γίνει α είτε με χρήση του κανόνα του Bayes όπως αυτός διατυπώνεται στον Bayes ή Bayes β είτε με προσδιορισμό των περιοχών των χώρου των χαρακτηριστικών που αντιστοιχούν στις υπό εξέταση κατηγορίες και για κάθε νέο διάνυσμα χαρακτηριστικών να εξετάζει απλώς σε ποια περιοχή ανήκει. 56

57 Παράδειγμα δύο κατηγοριών στον -διάστατο χώρο. 57

58 Εκφράζοντας τον ταξινομητή Bayes a Με χρήση συναρτήσεων διάκρισης dscrmat fuctos - Έστω g q =fω q p ω q, q=,,m, όπου f γνησίως αύξουσα συνάρτηση. - Ταξινόμησε δεδομένο στην κλάση ω για την οποία g = ma q=,,m g q. b Με χρήση επιφανειών απόφασης decso surfaces - Ταξινόμησε δεδομένο στην κλάση ω για την οποία R, όπου R ={ R l : ω p ω = ma q=,,m ω q p ω q } A NOTE: Οι R s μπορούν να ταυτοποιηθούν μέσω των συνόρων τους. Σημαντική παρατήρηση: Στην πράξη η εύρεση της μίας έκφρασης από την άλλη είναι μια καθόλου προφανής διαδικασία. Αυτός είναι ένας βασικός λόγος για τον οποίο έχουν αναπτυχθεί ταξινομητές χρησιμοποιώντας ανεξάρτητα τις παραπάνω εκφράσεις. 58

59 ΤΑΞΙΝΟΜΗΤΗΣ BAYES ΓΙΑ ΚΑΝΟΝΙΚΕΣ ΚΑΤΑΝΟΜΕΣ Πολυδιάστατη Gaussa pdf p ep E μέσο διάνυσμα για την E Πίνακας συνδιασποράς covarace matr 59

60 Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών Ας θεωρήσουμε την περίπτωση όπου ep, T l N p Είναι l l A c p g T ή, ισοδύναμα, l B c g T T T με l l l c

61 Επίσης g =0 g - g =0 είναι ισοδύναμη με l l T T T T T T c c Εξίσωση συνόρου συνεχόμενων κλάσεων Σ Σ : Σ αυτή την περίπτωση η g =0 αναπαριστά μια καμπύλη δευτέρου βαθμού π.χ. υπερ-έλλειψη, υπερ-παραβολή τετραγωνικός ταξινομητής - quadratc dscrmat aalyss Σ =Σ : Σ αυτή την περίπτωση η g =0 αναπαριστά μια καμπύλη πρώτου βαθμού υπερεπίπεδο γραμμικός ταξινομητής - lear dscrmat aalyss Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών

62 -a Σ =Σ και ω =ω : Αγνοώντας τις κοινές ποσότητες που εμφανίζονται σε όλες τις g s, η g γίνεται T g, T M d Θυμίζουμε ότι είναι η γνωστή Mahalaobs απόσταση. Σ αυτή την περίπτωση, ο ταξινομητής Bayes μπορεί να γραφτεί ισοδύναμα ως Καταχώρησε το στην ω με: d M,μ = m q=, M d M,μ q Ταξινομητής ελάχιστης Mahalaobs απόστασης Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών

63 Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών -b Σ =Σ =σ Ι και ω =ω : Αγνοώντας τις κοινές ποσότητες που εμφανίζονται σε όλες τις g s, η g γίνεται T g όπου -μ είναι η γνωστή Ευκλείδεια απόσταση. Σ αυτή την περίπτωση, ο ταξινομητής Bayes μπορεί να διατυπωθεί ισοδύναμα ως εξής Καταχώρησε το στην ω με: - μ = m q=, M - μ q Ταξινομητής ελάχιστης Ευκλείδειας απόστασης

64 Παράδειγμα: 0 0 g l C Δηλαδή, η g είναι τετραγωνική. Σημειώστε ότι οι επιφάνειες g g 0 ΔΕΝ είναι, απαραίτητα, τετραγωνικής μορφής ελλείψεις, παραβολές,υπερβολές, ζεύγη ευθειών. For eample: 64

65 65

66 66

67 67

68 68 Έκφραση γραμμικών ταξινομητών μέσω συναρτήσεων διάκρισης Τετραγωνικοί όροι: Αν ΟΛΟΙ είναι ίδιοι οι τετραγωνικοί όροι δεν επηρεάζουν, αφού δεν εμπλέκονται στις συγκρίσεις. Τότε μπορούμε να γράψουμε ισοδύναμα: Οι συναρτήσεις διάκρισης είναι ΓΡΑΜΜΙΚΕΣ T Σ Σ Τ o T Σ w Σ w w w g 0 l

69 Έκφραση γραμμικών ταξινομητών μέσω συναρτήσεων διάκρισης Έστω επιπλέον ότι: Σ I. Τότε T g w 0 g g g 0 w T w, o l o 69

70 70 Μη διαγώνιος: Υπερεπίπεδο απόφασης 0 0 w g T w 0 T όχι κάθετο στο κάθετο στο Έκφραση γραμμικών ταξινομητών μέσω συναρτήσεων διάκρισης

71 Ταξινομητές ελάχιστης απόστασης Μία διευκρίνιση: Οι ταξινομητές ελάχιστης Ευκλείδειας και ελάχιστης Mahalaobs απόστασης μπορούν να χρησιμοποιηθούν ΚΑΙ στην περίπτωση όπου δεν συντρέχουν οι υποθέσεις κάτω από τις οποίες είναι ισοδύναμοι με τον ταξινομητή Bayes και κατά συνέπεια βέλτιστοι ως προς το κριτήριο της πιθανότητας λάθους. Βέβαια στην περίπτωση αυτή θα οδηγήσουν σε υποβέλτιστες λύσεις, οι οποίες όμως, πολλές φορές είναι αποδεκτές σε πραγματικές εφαρμογές. 7

72 7

73 Παράδειγμα: Δοθέντων των, : και p N, Σ, p N, Σ,,, κατηγοριοποίησε το διάνυσμα με χρήση Bayesa ταξινομητή: Σ Υπόλ. Mahalaobs απόστ. d από, : d.0,. Σ m, , d.0, m, m Καταχώρησε. Παρατηρείστε ότι de de,, 73

74 Ο ταξινομητής Bayes: Η περίπτωση των κανονικών κατανομών Ερώτηση: Κάτω από ποιες συνθήκες ο ταξινομητής ελάχιστης Ευκλείδειας απόστασης είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους; Απάντηση: Όταν οι κατηγορίες a είναι ισοπίθανες, b Μοντελοποιούνται από κανονικές κατανομές με πίνακες συνδιασποράς της μορφής σ I. Ερώτηση: Κάτω από ποιες συνθήκες ένας γραμμικός ταξινομητής μπορεί να είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους; Απάντηση: Όταν οι κατηγορίες μοντελοποιούνται από κανονικές κατανομές με κοινό μητρώο συνδιασποράς. Ερώτηση: Κάτω από ποιες συνθήκες ένας τετραγωνικός ταξινομητής μπορεί να είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους; Απάντηση: Όταν οι κατηγορίες μοντελοποιούνται από κανονικές κατανομές με διαφορετικές κατανομές συνδιασποράς.

75 Σχεδιαζόντας ταξινομητές: Τα δεδομένα Στην πράξη η γνώση σχετικά διαδικασία γέννεσης των δεδομένων είναι πολύ σπάνια γνωστή. Το μόνο που έχουμε στη διάθεσή μας είναι ένα σύνολο δεδομένων data set. l Y {, d, R, d {,,..., m},,... D} όπου είναι η l-διάστατη αναπαράσταση του -στου από τις N οντότητες διάνυσμα δεδομένων data vector d είναι η ετικέτα της κλάσης όπου ανήκει το για την ω, για την ω,. Ο βασικός στόχος ενός ταξινομητή Δοθέντος ενός καταχώρησέ το στην πιο κατάλληλη κατηγορία. Ανάλογα με τον τρόπο που σχεδιάζεται ένας ταξινομητής, έχουμε δύο κύριες κατηγορίες: Παραμετρικοί ταξινομητές arametrc classfers Μη παραμετρικοί ταξινομητές Noparametrc classfers

76 Στην περίπτωση αυτή: Σχεδιάζοντας ταξινομητές: Η παραμετρική περίπτωση Υποθέτουμε ότι η μορφή του παραμετρικού μοντέλου παράγει τα διανύσματα δεδομένων είναι γνωστή, ενώ οι άγνωστες παράμετροί του εκτιμώνται με βάση το διαθέσιμο σύνολο δεδομένων. Η ταξινόμηση ενός νέου διανύσματος δεδομένων βασίζεται στο μοντέλο που ορίστηκε παραπάνω. ΣΗΜ: Η ταξινόμηση του εξαρτάται έμμεσα από το διαθέσιμο σύνολο δεδομένων. Στην περίπτωση αυτή: Σχεδιάζοντας ταξινομητές: Η μη παραμετρική περίπτωση Η ταξινόμηση του εξαρτάται άμεσα από το διαθέσιμο σύνολο δεδομένων.

77 Σχεδιάζοντας ταξινομητές: Εκτιμώντας την απόδοσή τους Ένα σημαντικό ζήτημα: Πώς γνωρίζουμε το βαθμό αξιοπιστίας του ταξινομητή που σχεδιάστηκε; Είναι σαφές ότι, αν χρησιμοποιήσουμε όλα τα διανύσματα δεδομένων του διαθέσιμου συνόλου δεδομένων Υ, δεν μπορούμε να χρησιμοποιήσουμε τα ίδια δεδομένα για να αξιολογήσουμε αντικειμενικά την απόδοσή του, καθώς ή γνώση που περιέχεται σ αυτά έχει ήδη χρησιμοποιηθεί για το σχεδιασμό του ταξινομητή. Μια συνηθισμένη και απλή στρατηγική ταξινόμησης*: Διαίρεσε το Y σε δύο σύνολα, X και X N και N στοιχείων, αντιστοίχως. * Άλλη σχετική τεχνική είναι το - fold cross valdato. Χρησιμοποίησε το X σύνολο εκπαίδευσης για τη σχεδίαση του ταξινομητή Χρησιμοποίησε το X σύνολο δοκιμής για την αξιολόγηση της απόδοσης του σχεδιασθέντος ταξινομητή Αν η απόδοση είναι ικανοποιητική, ο ταξινομητής χρησιμοποιείται στη συνέχεια σε πραγματικό περιβάλλον. Διαφορετικά, θα πρέπει να αναθεωρηθούν κάποια βήματα της διαδικασίας σχεδιασμού. Με βάση ποιο κριτήριο αξιολογείται η απόδοση του ταξινομητή; Συνήθως με βάση το ποσοστό των εσφαλμένα ταξινομημένων διανυσμάτων του συνόλου δοκιμής X που είναι μια εκτίμηση της πιθανότητας σφάλματος

78

79 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Για ΟΛΟΥΣ τους παραμετρικούς ταξινομητές, y=f;w, υπάρχουν δύο κύριες φάσεις -> Καθορισμός του παραμετρικού μοντέλου -> Εκτίμησητων παραμέτρων Ο ταξινομητής Bayes με χρήση παραμετρικών μοντέλων Ποιες είναι οι παράμετροι που εμπλέκονται στον ταξινομητή Bayes στην περίπτωση αυτή; - Οι εκ των προτέρων πιθανότητες ω, =,,M. - Οι άγνωστες παράμετροι θ των pdf των κλάσεων p ω;θ, =,,M. Παράδειγμα : Αν η p ω μοντελοποιείται από μία κανονική κατανομή, Ν,, και οι άγνωστες παράμετροι είναι το μέσο διάνυσμα και το μητρώο συνδιασποράς τότε θ ={μ, Σ} Παράδειγμα : Αν η p ω μοντελοποιείται από μία κανονική κατανομή, Ν,, και η άγνωστη παράμετρος είναι το μέσο διάνυσμα, τότε θ =μ.

80 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Στην πράξη - οι τιμές των παραμέτρων είναι πολύ σπάνια γνωστές. - Έτσι, χρειάζεται να τις εκτιμήσουμε. Στην πράξη έχουμε στην διάθεσή μας ένα σύνολο δεδομένων σύνολο εκπαίδευσης l X {, d, R, d {,,..., M},,... N} όπου είναι το -στό διάνυσμα εκπαίδευσης trag vector d είναι η ετικέτα της κλάσης όπου ανήκει το για την ω, για την ω,.

81 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Έστω X l { R : d,,... N },,, M Το σύνολο που περιέχει τα διανύσματα δεδομένων της -στης κλάσης. Εκτίμηση παραμέτρων βασίζεται στο σύνολο X: - Για κάθε ω : Χρησιμοποίησε την απλή προσέγγιση ω N / N. - Για κάθε p ω : - Υπάρχουν αρκετές μέθοδοι - Εκτίμηση μέγιστης πιθανοφάνειας Mamum Lelhood ML estmato, - Εκτίμησης μέγιστης εκ των υστέρων πιθανότητας Mamum a posteror MA estmato, - Εκτίμηση μέγιστης εντροπίας Mamum etropy ME estmato, - Epectato-Mamzato EM estmato mture models etc Στη συνέχεια περιγράφουμε τις μεθόδους ML, MA και σύντομα την μέθοδο EM. N N M N

82 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος εκτίμησης μέγιστης πιθανοφάνειας ML Έστω Y={,,, N } ένα σύνολο από ανεξάρτητα διανύσματα δεδομένων Έστω p μια pdf γνωστής παραμετρικής μορφής αλλά με άγνωστο το διάνυσμα παράμέτρων του θ; p=p;θ. Παραδείγματα: Αν η p;θ είναι κανονική με άγνωστο μέσο διάνυσμα μ, το θ είναι απλά το μ. Αν η p;θ είναι κανονική με άγνωστο μέσο διάνυσμα μ και άγνωστο μητρώο συνδιασποράς Σ, το θ περιέχει τις συνιστώσες τόσο του μ όσο και του Σ. Το πρόβλημα: Εκτίμησε το θ ώστε η p;θ να είναι το καλύτερο δυνατό ταίριασμα για το σύνολο δεδομένων Y.

83 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος εκτίμησης μέγιστης πιθανοφάνειας ML Έστω η συνάρτηση πιθανοφάνειας lelhood fucto του θ ως προς το Y: N p Y; p,, N ; p ; Στην πράξη, είναι πιο βολικό να μεγιστοποιήσουμε την συνάρτηση του λογάριθμου της πιθανοφάνειας log-lelhood fucto Lθ του θ ως προς το Y, η οποία ορίζεται ως N,, N ; l p ; L l p Y; l p

84 Lμ= Lμ= Lμ= ep ; p ep 0 ; p ep ; p Lμ μ

85 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος εκτίμησης μέγιστης πιθανοφάνειας ML

86 Η μέθοδος εκτίμησης μέγιστης πιθανοφάνειας: Μεγιστοποίησε την py;θ ή την Lθ ως προς το θ. 0 : ˆ ; ; N ML p p L A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes

87 Η μέθοδος εκτίμησης μέγιστης πιθανοφάνειας ML - Ένα παράδειγμα -Έστω Y ένα σύνολο N διανυσμάτων δεδομένων,, =,,N. -Ποια είναι η κανονική κατανομή p;θ γνωστού μητρώου συνδιασποράς που μοντελοποιεί καλύτερα τα διανύσματα του συνόλου Υ? Λύση: -Το άγνωστο διάνυσμα παραμέτρων στην περίπτωση αυτή είναι το μέσο διάνυσμα μ, δηλ. θ=μ. -Είναι ep ; ; p p T l l ; l C p T T l N T N NC p L ; l A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes

88 -Θέτοντας την παράγωγο της Lμ ως προς το μ ίση με 0 έχουμε 0 N T NC L N N N N N ML N A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος εκτίμησης μέγιστης πιθανοφάνειας ML - Ένα παράδειγμα

89 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes - Έστω Ν=0 σημεία που παρήχθησαν από τη μονοδιάστατη κανονική κατανομή μηδενικής μέσης τιμής και μοναδιαίας συνδασποράς, N0,. - Ας προσποιηθούμε ότι έχουμε στη διάθεσή μας μόνο τα ακόλουθα: Τη γνώση ότι η κατανομή που παρήγαγε τα σημεία είναι κανονική με διασπορά ίση με και άγνωστο μέσο διάνυσμα μ. τα 0 σημεία. Η ML εκτίμηση του μέσου διανύσματος,, της κατανομής είναι 0.60 η πραγματική τιμή είναι ˆ Όσο περισσότερα σημεία είναι διαθέσιμα, τόσο πιο ακριβείς εκτιμήσεις θα έχουμε για το μέσο διάνυσμα. N Σφάλμα εκτίμησης

90 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος εκτίμησης μέγιστης πιθανοφάνειας ML Αν πράγματι υπάρχει θ 0 έτσι ώστε p=p;θ 0 τότε lm N E[ ML ] 0 lm N E ML Ασυμπτωτικά αμερόληπτος Asymptotcally ubased εκτιμητής: Η μέση τιμή του θ, θ ML, τείνει προς την πραγματική τιμή της άγνωστης παραμέτρου θ 0, καθώς N. - Ασυμπτωτικά συνεπής Asymptotcally cosstet εκτιμητής: Η διασπορά της ML εκτίμησης τείνει στο 0, καθώς N.

91 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος εκτίμησης μέγιστης πιθανοφάνειας ML Άσκηση: Η τυχαία μεταβλητή ακολουθεί την κατανομή Erlag p ; ep u με u= αν >0 και 0, διαφορετικά. Δεδομένου ενός συνόλου δειγμάτων,, N, του, να δείξετε ότι η εκτίμηση ML του θ είναι ML N N

92 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας Mamum Aposteror robablty MA Estmato Στην ML μέθοδο, το θ λογιζόταν ως παράμετρος Εδώ θα θεωρήσουμε το θ ως τυχαίο διάνυσμα που περιγράφεται από υποτίθεται γνωστή pdf pθ. Δοθέντος X Υπολόγισε το μέγιστο της From Bayes theorem,,..., N p X p p X p X p X or p X p p X p X 9

93 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας MA Η μέθοδος: ˆ arg ma p X ή ˆ MA : p p X Αν η p είναι ομοιόμορφη ή αρκετά ευρεία: ˆ MA MA ML 93

94 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας MA 94

95 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Εκτίμηση μέγιστης εκ των υστέρων πιθανότητας MA - Παράδειγμα p : N, Σ, ά, X,..., 0 p ep l l N N : l p p 0 ή ˆ ˆ 0 MA 0 ˆ, ή για N ˆ MA MA N 0 For N N ˆ ML N N 95

96 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος αναμονής-μεγιστοποίησης epectato-mamzato EM μοντέλα μίξης - mture models Μοντέλο μίξης: Σταθμισμένο άθροισμα pdfs γνωστής παραμετρικής μορφής K p p,, p K Η μέθοδος ML δεν μπορεί να αξιοποιηθεί εδώ εξαιτίας των ετικετών, που είναι επίσης άγνωστες. Λύση: Ο αλγόριθμος EM. Συμβολισμοί: p = p ;θ Θ=θ,,θ κ, =[,, ] T, Ξ=Θ,. X={,, N }: μη πλήρες complete παρατηρούμενο σύνολο δεδομένων. X c ={,,, N, N }: πλήρες complete σύνολο δεδομένων

97 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes Η μέθοδος EM μοντέλα μίξης

98 Πρόβλημα: Για κάθε είναι άγνωστη η επιμέρους κατανομή της μίξης από την οποία προήλθε. Λύση: Μεγιστοποίηση της μέσης τιμής της log-lelhood ως προς ;Ξ Στόχος: Εκτίμηση των Θ και μέσω της ελαχιστοποίησης της λογαριθμικής συνάρτησης πιθανοφάνειας log-lelhood του πλήρους συν. δεδομένων. N N c p p Θ X p ; l ;, l, ; l Η μέθοδος EM μοντέλα μίξης A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes N N p E p E ; ; ; l ; l ; ; l ; ; l N K N K p p

99 Επιπλέον πρόβλημα: Οι ποσότητες ;Ξ είναι άγνωστες. Λύση: Δεδομένου ότι από τον κανόνα του Bayes είναι Α Η λύση είναι ένας αναδρομικός αλγόριθμος. Αρχικοποιώντας το Ξ=Θ, στις τιμές Ξ0=Θ0,0 Εκτιμούμε τις ;Ξ0 από την Α E-step Υπολογίζουμε τη μέση τιμή της epected log-lelhood με βάση τις ;Ξ0 M-step Μεγιστοποιούμε την QΞ Ξ0 ως προς τις παραμέτρους Ξ. A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes - Η μέθοδος EM μοντέλα μίξης ; ; l ; ; l N K N p p p p ; ; ; 0 ; ; l 0 N K p Q 0 0 0, 0 Q Q

100 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes - Η μέθοδος EM μοντέλα μίξης Ο αλγόριθμος ΕΜ Αρχικοποίησε το Ξ=Θ, στις τιμές Ξ0=Θ0,0 t=0 Επανέλαβε Εκτίμησε τις ;Ξt από την Α E-step Υπολόγισε τη μέση τιμή της epected log-lelhood με βάση τις ;Ξt M-step Εκτίμησε το Ξt+ μεγιστοποιώντας την QΞ Ξt ως προς τις παραμέτρους Ξ=Θ, = θ, θ,,,. t=t+ Q t Έως ότου επιτευχθεί σύγκλιση. N K l p ; ; t Q t 0, Q t 0

101 Ο αλγόριθμος EM για την περίπτωση μίξης κανονικών κατανομών. 0.5 ep, ;,, ; / / T l K p p p Μίξη κανονικών κατανομών Mtures of Gaussas. Η μέθοδος EM μοντέλα μίξης A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes N T K t t Q l l ;

102 Ο αλγόριθμος EM για την περίπτωση μίξης κανονικών κατανομών. - Αρχικοποίησε μ =μ 0, Σ =Σ 0, = 0 - t=0 - Επανέλαβε t=t+ ; ;, ; t K q t q t q t t t t q p p Θ N t N t t N t N T t t t t N t t N - Έως ότου ικανοποιηθεί ένα κατάλληλο κριτήριο τερματισμού A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Η περίπτωση του ταξινομητή Bayes

103 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Ανασκόπηση του προσεγγιστικού ταξινομητή Bayes - Avalable data: X=X X X M. Each X correspods to class ω. Σχεδιασμός ταξινομητή - Υιοθέτησε ένα μοντέλο pdf για κάθε ω, με άγνωστες παραμέτρους θ. - Εφάρμοσε την ML ή τις MA, EM μεθόδους M φορές μία για κάθε κλάση για την εκτίμηση των θ s, με βάση τα αντίστοιχα σύνολα X, -Προσέγγισε τις ω ως εξής ˆ N -Όρισε g Χρήση ταξινομητή -Για δεδομένο, ˆ pˆ -Υπολόγισε τις τιμές των g, =,,M. pˆ p ; ˆ -Καταχώρησε το στην κλάση με g =ma =,,M g. N

104 Ένα σημαντικό ζήτημα Η κατάρα της διαστατικότητας Curse of dmesoalty Σε όλες τις μεθόδους που εξετάσαμε μέχρι στιγμής είδαμε ότι όσο μεγαλύτερος είναι ο αριθμός των σημείων, Ν, τόσο καλύτερες είναι και οι προκύπτουσες εκτιμήσεις. Αν στο μονοδιάστατο χώρο για ένα διάστημα μήκους L, Ν σημεία είναι αρκετά για να δώσουν μια καλή εκτίμηση των εμπλεκόμενων παραμέτρων, στο διδιάστατο χώρο για μια επιφάνεια διαστάσεων LL απαιτούνται Ν σημεία για να πάρουμε καλές εκτιμήσεις και, γενικά, στον l-διάστατο χώρο για έναν υπερκύβο διαστάσεων Ll απαιτούνται Nl σημέια. Η εκθετική αύξηση του αριθμού των σημείων που απαιτούνται για μια καλή εκτίμηση των εμπλεκόμενων παραμέτρων με τη διάσταση του χώρου είναι γνωστή ως κατάρα της διαστατικότητας curse of dmesoalty. Πρόκειται για ένα σημαντικό πρόβλημα που απαντάται σε προβλήματα που απεικονίζονται σε χώρους υψηλής διαστατικότητας.

105 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Ο απλοϊκός ταξινομητής Bayes ave Bayes classfer - Διαθέσιμα δεδομένα: X=X X X M. Κάθε X αντιστοιχεί στην κλάση ω. Έστω X =X X l -Υπόθεση: Όλα τα χαρακτηριστικά features είναι μεταξύ τους στατιστικώς ανεξάρτητα. Έτσι p l p,, M -Ως εκ τούτου, μπορούμε για κάθε κλάση να εργαστούμε για κάθε p ω ανεξάρτητα από τις υπόλοιπες p q ω, q=,,l, q.

106 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Ο απλοϊκός ταξινομητής Bayes ave Bayes classfer Σχεδιασμός ταξινομητή - Υιοθέτησε ένα μοντέλο pdf για κάθε ω, με άγνωστες παραμέτρους θ. - Εφάρμοσε την ML μέθοδο M l φορές l φορές για κάθε κλάση για την εκτίμηση των θ s των μονοδιάστατων p ω, με βάση τα αντίστοιχα X -Προσέγγισε τις ω ως ακολούθως ˆ N N -Όρισε g Χρήση ταξινομητή -Για δεδομένο, -Υπολόγισε τις τιμές των g, =,,M. -Καταχώρησε το στην κλάση με g =ma =,,M g. l ˆ pˆ ˆ pˆ

107 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Γραμμικοί ταξινομητές Ο ταξινομητής ελάχιστης Ευκλείδειας απόστασης - Διαθέσιμα δεδομένα: X=X X X M. Κάθε X αντιστοιχεί στην κλάση ω. Σχεδιασμός ταξινομητή - Εκτίμησε το μέσο διάνυσμα, m, κάθε κλάσης ω, με βάση το X, =,,N. συνήθως, η μέθοδος ML χρησιμοποιείται για κάθε κλάση, με την υπόθεση ότι κάθε κλάση μοντελοποιείται από μια κανονική κατανομή αγνώστου μέσου διανύσματος και το m τίθεται ίσο με την προκύπτουσα εκτίμηση του μέσου διανύσματος ΣΗΜ: Γενικά, ο ταξινομητής -Όρισε ελάχιστης Ευκλείδειας απόστασης g =- -m δεν είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους Χρήση ταξινομητή κάτω από ποιές συνθήκες ο -Για δεδομένο, ταξινομητής αυτός θα μπορούσε να -Υπολόγισε τις τιμές των g, =,,M. είναι βέλτιστος; -Καταχώρησε το στην κλάση με g =ma =,,M g.

108 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Γραμμικοί ταξινομητές Ο ταξινομητής ελάχιστης Mahalaobs απόστασης - Διαθέσιμα δεδομένα: X=X X X M. Κάθε X αντιστοιχεί στην κλάση ω. Σχεδιασμός ταξινομητή - Εκτίμησε το μέσο διάνυσμα, m, και το μητρώο συνδιασποράς, S, κάθε κλάσης ω, με βάση το X, =,,N. συνήθως, η μέθοδος ML χρησιμοποιείται για κάθε κλάση, με την υπόθεση ότι κάθε κλάση μοντελοποιείται από μια κανονική κατανομή αγνώστου μέσου διανύσματος και μητρώου συνδιασποράς και τα m και S, τίθενται ίσα με τις προκύπτουσες εκτιμήσεις το κοινό μητρώο συνδιασποράς μπορεί να τεθεί ίσο με το μέσο των εκτιμήσεων για τα S ΣΗΜ: Γενικά, ο ταξινομητής -Όρισε ελάχιστης Mahalaobs απόστασης g =--m T S - -m δεν είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους Χρήση ταξινομητή κάτω από ποιές συνθήκες ο -Για δεδομένο, ταξινομητής αυτός θα μπορούσε να -Υπολόγισε τις τιμές των g, =,,M. είναι βέλτιστος; -Καταχώρησε το στην κλάση με g =ma =,,M g.

109 A ΠΑΡΑΜΕΤΡΙΚΟΙ ΤΑΞΙΝΟΜΗΤΕΣ ΒΑΣΙΣΜΕΝΟΙ ΣΕ ΣΥΝΑΡΤΗΣΕΙΣ ΔΙΑΚΡΙΣΗΣ Τετραγωνικοί ταξινομητές - Διαθέσιμα δεδομένα: X=X X X M. Κάθε X αντιστοιχεί στην κλάση ω. Σχεδιασμός ταξινομητή - Εκτίμησε το μέσο διάνυσμα, m, και το μητρώο συνδιασποράς, S, κάθε κλάσης ω, με βάση το X, =,,N. συνήθως, η μέθοδος ML χρησιμοποιείται για κάθε κλάση, με την υπόθεση ότι κάθε κλάση μοντελοποιείται από μια κανονική κατανομή αγνώστου μέσου διανύσματος και μητρώου συνδιασποράς και τα m και S, τίθενται ίσα με τις προκύπτουσες εκτιμήσεις -Όρισε g =--m T S - -m Χρήση ταξινομητή -Για δεδομένο, -Υπολόγισε τις τιμές των g, =,,M. -Καταχώρησε το στην κλάση με g =ma =,,M g. ΣΗΜ: Γενικά, ο τετραγωνικός ταξινομητής δεν είναι βέλτιστος ως προς το κριτήριο της πιθανότητας λάθους κάτω από ποιές συνθήκες ο ταξινομητής αυτός θα μπορούσε να είναι βέλτιστος;