Αναγνώριση Προτύπων Σημερινό Μάθημα Εκτίμηση Πυκνότητας με k NN k NN vs Bayes classifier k NN vs Bayes classifier Ο κανόνας ταξινόμησης του πλησιέστερου γείτονα (k NN) lazy αλγόριθμοι O k NN ως χαλαρός (lazy) αλγόριθμος k NN vs ΝΝ
Εκτίμηση Πυκνότητας με k NN Επιλέγοντας σταθερή τιμή για το k και ορίζοντας ελάχιστο όγκο V στο σύνολο δεδομένων που περικλείει τα k σημεία, εφαρμόζουμε τη μέθοδο του k πλησιέστερου γείτονα (k Nearest Neighbor knn) Εκτίμηση Πυκνότητας με k NN Στη μέθοδο k NN μεγαλώνουμε τον όγκο που περικλείει το σημείο εκτίμησης ης x εωσότου περικλείει k σημεία δεδομένων. Τότε η εκτίμηση πυκνότητας γίνεται: k k P( x) NV N D c R ( x) Όπου R k (x) είναι η απόσταση μεταξύ του σημείου εκτίμησης και του k στού πλησιέστερου γείτονα. c D είναι ο όγκος της μοναδιαίας σφαίρας στις D διαστάσεις, και είναι: D / π cd ( D / )! c, c π, c 3 4π/3 κλπ D k
Εκτίμηση Πυκνότητας με k NN Vol πr P ( x ) k N πr Εκτίμηση Πυκνότητας με k NN Η εκτίμηση με k NN δεν είναι πολύ ικανοποιητική καθώς: Η προσέγγιση επηρεάζεται από τοπικό θόρυβο Καθώς η συνάρτηση R k (x) δεν είναι παραγωγίσιμη θα υπάρχουν ασυνέχειες. Το αποτέλεσμα θα αποκλίνει σε όλο το δειγματοχώρο 3
Εκτίμηση Πυκνότητας με knn για δύο Gaussians ( 0,) / ( 0,4) P ( x) / N + N Εκτίμηση Πυκνότητας με k NN Για δύο Gaussians όπου: p x) N( μ, Σ) + N( μ, ( Σ ) μ μ [ 0 5] [ 5 0 ] Τ Τ Σ Σ 4 Εκτίμηση για k0 γείτονες και Ν00 δείγματα 4
Εκτίμηση Πυκνότητας με k NN Πραγματικά περιγράμματα Eκτίμησης με knn k NN vs Bayes classifier Το μεγαλύτερο πλεονέκτημα της μεθόδου k NN είναι ότι αποτελεί μια πολύ απλή προσέγγιση του Bayes classifier Ας υποθέσουμε ότι έχουμε ένα σύνολο δεδομένων με N δείγματα και N i ανήκουν στην κλάση ω i και θέλουμε να ταξινομήσουμε άγνωστο δείγμα x u Θεωρούμε όγκο V γύρω από το x u με k δείγματα συνολικά και έστω k i από ω i. 5
knn vs Bayes classifier Μπορούμε να προσεγγίσουμε τη συνάρτηση πιθανότητας με k NN ως: k i P ( x ω i ) NiV Παρόμοια η συνάρτηση πυκνότητας θα είναι: Και οι εκ των προτέρων πιθανότητα Ni P(ω i ) N Αν τα βάλουμε όλα μαζί στο ταξινομητή Bayes P ( ω x) P ( x ωi ) P( ωi ) NiV N ki P( x) k k k i NV N i i P ( x) k NV Ο κανόνας ταξινόμησης του k πλησιέστερου γείτονα (k NN) Ο κανόνας του k Nearest Neighbor Rule (knn) είναι διαισθητική μέθοδο που ταξινομεί άγνωστα δείγματα με βάσει την ομοιότητα τους με τα δείγματα εκπαίδευσης. Για δεδομένο άγνωστο πρότυπο x u βρες τα k «κοντινότερα» δείγματα από τα δεδομένα εκπαίδευσης και απέδωσε το x u στην κλάση που εμφανίζεται πιο πολύ στο k υποσύνολο 6
Κανόνας k NN Απαιτεί μόνο: Έναν ακέραιο k Ένα σετ γνωστών δειγμάτων (σύνολο εκπαίδευσης) Ένα μέτρο «απόστασης» Κανόνας k NN Στο παράδειγμα έχουμε 3 κλάσεις και άγνωστο δείγμα x u Χρησιμοποιείται Ευκλείδεια απόσταση και k5 γείτονες 4 γείτονες ανήκουν στην ω και ανήκει στην ω 3 Το x u κατατάσσεται στην ω 7
k NN παράδειγμα Έχουμε δεδομένα για διδιάστατο πρόβλημα 3 κλάσεων όπως ςφαίνεται στο δείγμα Χρησιμοποιούμε k5 και Ευκλείδεια απόσταση k NN παράδειγμα Το ίδιο για άλλη διάταξη δεδομένων Χρησιμοποιούμε k5 και Ευκλείδεια απόσταση 8
O k NN ως χαλαρός (lazy) αλγόριθμος Ο knn ανήκει στην κατηγορία των χαλαρών αλγορίθμων: Επεξεργάζεται τα δεδομένα εκπαίδευσης αφού ζητηθεί ταξινόμηση Απαντάει στο αίτημα ταξινόμησης συνδυάζοντας τα αποθηκευμένα δεδομένα εκπαίδευσης Δεν λαμβάνει υπόψη λογική ή άλλα αποτελέσματα. lazy αλγόριθμοι Tradeoffs χαλαρών αλγορίθμων Έχουν μικρότερο υπολογιστικό κόστος κατά την εκπαίδευση Έχουν μεγαλύτερες απαιτήσεις αποθήκευσης και υπολογιστικό κόστος κατά την κλήση τους. 9
Χαρακτηριστικά του k NN Πλεονεκτήματα Απλή υλοποίηση Πολύ καλά αποτελέσματα για μεγάλο αριθμό δειγμάτων (N ) Μειονεκτήματα Μεγάλη απαίτηση σε αποθηκευτικό χώρο Υπολογιστικό κόστος στην κλήση Ευάλωτος στην «κατάρα πολυδιάστατων προβλημάτων» k NN vs ΝΝ Μεγάλο k σημαίνει πιο ομαλές περιοχές αποφάσεων Δίνει πιο σωστές πιθανοτικά πληροφορίες Δίνει πιο σωστές πιθανοτικά πληροφορίες Ωστόσο πολύ μεγάλο k μπορεί να χαλάσει την τοπικότητα της απόφασης Αυξάνει το υπολογιστικό κόστος 0
k NN vs ΝΝ Κατηγοριοποίησε τα σημεία A, B και C χρησιμοποιώντας για κατηγοριοποίηση τον κανόνα 5 ΝΝ και Ευκλείδεια απόσταση Άσκηση
Λύση Για το Α, για κάθε σημείο η Ευκλείδειος απόσταση θα είναι: d i ( y y ) + y y ( A) ( i) ( ( A) ( i) ) Άσκηση Αν εφαρμόσουμε τον k NN κανόνα απόφασης στο σχήμα της προηγούμενης ης άσκηση, η θα πάρουμε περιοχές απόφασης και όριο απόφασης για τις δύο κλάσεις. Αν y(i) είναι τα χαρακτηριστικά διανύσματα της κλάσης και s(i) της κλάσης, τότε σύμφωνα με τον ορισμό, κάθε σημείο του ορίου απόφασης θα πρέπει ικανοποιεί τη σχέση: ( i) ( i ) min d ( yˆ, y ) min d( yˆ, s ) Υποθέστε Ευκλείδεια απόσταση Α) ποια είναι η σχέση που καθορίζει το όριο απόφασης για μια περιοχή κοντά στο όριο αν ένα διάνυσμα y (i) είναι πιο κοντά στο όριο για την κλάση και το s (j) για την κλάση Β) σχεδιάστε ένα όριο απόφασης για τις δύο κλάσεις Γ) βρείτε τα στοιχεία που η μετακίνηση τους δεν αλλάζει το όριο i i
Λύση Για κάθε σημείο στο διάγραμμα ισχύει: ( ) ( ) ( ) [ ] Τ [ ] Τ () i () i () i j j j y y y, s s s Για σημείο ŷ του ορίου απόφασης ( i) ( j ) ( yˆ, y ) d yˆ s d, ( ) yˆ () i () i ( j ) ( yˆ y ) + ( yˆ y ) yˆ ˆ s + y ( j ) ( ) ( s ) ( j ) ( i) ( j ) ( i) () i ( j ) () i ( j ) ( ) ˆ s y + y ( s y ) + ( y ) ( s ) + ( y ) s ( ) 0 ( j ) ( i) ( j ) ( i) ( s y ) + yˆ s y () i ( j ) () i ( j ) ( ) + ( y ) ( s ) + ( y ) ( s ) 0 yˆ Λύση Θέτοντας ( j) ( i) ( j) ( i) a ( s y ) b ( s y ) c ( y ( i) ( j) ( i) ( j) ) ( s ) + ( y ) ( s ) Έχουμε ayˆ + byˆ + c 0 3
Λύση 4