ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ. ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης. ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ. ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ

Transcript

1 ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΕΝΟΤΗΤΑ: Γραμμικές Συναρτήσεις Διάκρισης ΙΟΝΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΙΔΑΣΚΟΝΤΕΣ: Βλάμος Π. Αυλωνίτης Μ.

2 Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creatve Commons

3 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα Ιονίου Πανεπιστημίου» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση Ευρωπαϊκό Κοινωνικό Ταμείο και από εθνικούς πόρους. 3

4 Γραμμική Συνάρτηση Διάκρισης Σε αυτή την ενότητα θα μελετήσουμε την περίπτωση που υιοθετούμε γραμμική συνάρτηση διάκρισης για την ταξινόμηση σε κλάσεις ανεξάρτητα από τις υποκείμενες δεσμευμένες πιθανότητες Για το πρόβλημα των δύο κλάσεων, όπου, g1 g : διάνυσμα βαρών : βάρος κατωφλίου ή 1-1

5 Επιφάνεια Απόφασης Εξίσωση επιφάνειας απόφασης, Κανόνες απόφασης Αποφάσισε 1 αν Αποφάσισε αν 1 1

6 Επιφάνεια Απόφασης Εάν 1, δύο διανύσματα στην επιφάνειας απόφασης, 1 1 z [ 1, ] Είναι, d 1 z 1 d Παρατήρηση 1: Το είναι μέτρο της απόστασης από την επιφάνεια απόφασης 1 1 Παρατήρηση : Για η επιφάνεια απόφασης διέρχεται από την αρχή των αξόνων

7 Η περίπτωση των πολλών κλάσεων Η ταξινόμηση Μ κλάσεων χρησιμοποιεί Μ γραμμικές συναρτήσεις διάκρισης, 1,,...,M, g Κατηγοριοποιεί το στην κλάση αν, j, g g j g g j Εξίσωση επιφάνειας απόφασης για δύο κλάσεις με, R, R j

8 Ο Αλγόριθμος Perceptron Θεωρούμε την περίπτωση των δύο κλάσεων, γραμμικά διαχωρίσιμων. Δηλαδή, υπάρχει μια επιφάνεια απόφασης με εξίσωση *, έτσι ώστε *, ω 1 *, ω Παρατήρηση: Η περίπτωση της επιφάνειας που δεν διέρχεται από την αρχή των αξόνων επίσης εμπίπτει στην παραπάνω ανάλυση 1

9 Συνάρτηση κόστους Perceptron Ορίζουμε την ακόλουθη συνάρτηση κόστους, J δ Y όπου Υ είναι το υποσύνολο των κακώς ταξινομημένων διανυσμάτων και 1, ω1 1, ω Παρατήρηση1: Η συνάρτηση J παίρνει πάντοτε θετικές τιμές Παρατήρηση: Λύση προκύπτει όταν η ελάχιστη τιμή, J παίρνει την

10 Βήματα Αλγορίθμου Perceptron Βήμα 1: Επιλογή αρχικής επιφάνειας t Βήμα : Προσδιορισμός νέας βέλτιστης επιφάνειας t 1 t 1 t J t t t 1 t 1 t t Y * t 1 1

11 Παράδειγμα Αλγορίθμου Perceptron Στο διάγραμμα η διακεκομμένη γραμμή έχει εξίσωση και αντιστοιχεί στο διάνυσμα βαρών, Να βρείτε την νέα ευθεία διάκρισης που να κατηγοριοποιεί σωστά και τα διανύσματα 1.5 [1,1,.5 ] t [.4,.5] και [.,.75] με t.7 Λύση t ή t με,

12 Μέθοδος Τετραγώνων Ομοιότητα με τον Αλγόριθμο Perceptron Ζητείται η ελάχιστη τιμή μιας κατάλληλα επιλεγμένης συνάρτησης κόστους Διαφορά με τον Αλγόριθμο Perceptron Για τον προσδιορισμό της συνάρτησης κόστους συμμετέχουν όλα τα διανύσματα και όχι μόνο τα κακώς ταξινομημένα Παρατήρηση Δοθέντος μιας αρχικής επιφάνειας και ενός διανύσματος εκπαίδευσης η έξοδος του ταξινομητή είναι. Η τιμή αυτή είναι θετική ή αρνητική και αντίστοιχα σωστά ή όχι κατανεμημένη. Συγκρίνω αυτή την τιμή με την τιμή y 1 αυθαίρετα επιλεγμένη ανάλογα με την κλάση που πραγματικά ανήκει.

13 Μέθοδος ελαχίστου μέσου τετραγώνων Ορίζουμε την ακόλουθη συνάρτηση κόστους, J E y Ή ισοδύναμα 1 p d P 1 p d J P 1 1 J Παρατήρηση: Η συνάρτηση ουσιαστικά είναι ένα μέτρο της απόκλισης που παρουσιάζει ο ταξινομητής μεταξύ σωστής και λάθους ταξινόμησης

14 Μέθοδος ελαχίστων τετραγώνων Ορίζουμε την ακόλουθη συνάρτηση κόστους, N 1 N 1 y e J Παρατήρηση: Συγκριτικά με την μέθοδο ελαχίστου μέσου δεν απαιτείται η γνώση των αντίστοιχων συναρτήσεων πιθανότητας Προσδιορισμός ελαχίστου, y J N 1

15 Τέλος Ενότητας