Γραµµικοί Ταξινοµητές

ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας KEΣ 3 Αναγνώριση Προτύπων και Ανάλυση Εικόνας Γραµµικοί Ταξινοµητές ΤµήµαΕπιστήµης και Τεχνολογίας Τηλεπικοινωνιών Πανεπιστήµιο Πελοποννήσου 7 Ncolas sapatsouls ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Περιεχόµενα Βιβλιογραφία Περιεχόµενα Ενότητας Εισαγωγή Γραµµικές συναρτήσεις διαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Βιβλιογραφία: Duda []: Chapter 5 heodords []: Chapter 3 Bo []: Chapter 3 7 Ncolas sapatsouls

Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Ηεφαρµογή της ταξινόµησης σύµφωνα µε τον κανόνα του Bayes απαιτεί τη γνώση των κατανοµών πιθανότητας p( ω ),,,,M Αν οι ανωτέρω κατανοµές δεν είναι γνωστές πρέπει να εκτιµηθούν από ένα σύνολο διανυσµάτων {,,, N } για τα οποία είναι γνωστές οι κλάσειςστιςοποίεςανήκουν Εναλλακτικά µπορούν να εφαρµοστούν µέθοδοι ταξινόµησης, οι οποίες προφανώς δεν είναι βέλτιστες, χωρίς να απαιτείται η γνώσηήηεκτίµηση των ανωτέρω κατανοµών πιθανότητας παρά µόνο οι τιµές ενός συνόλου διανυσµάτων εκπαίδευσης {,,, N } για τα οποία είναι γνωστές οι κλάσεις στις οποίες ανήκουν Στις µεθόδους αυτές πολλές φορές χρησιµοποιούµε γραµµικές συναρτήσεις (των διανυσµάτων ) για το διαχωρισµό τωνδιανυσµάτων,,,,n στις κλάσεις ω,,,,m Ηχρήσηγραµµικών συναρτήσεων γίνεται για απλότητα υπολογισµών Η εκτίµηση τους πραγµατοποιείται από τα διανύσµατα {,,, N } για τα οποία είναι γνωστές οι κλάσεις στις οποίες ανήκουν 7 Ncolas sapatsouls Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή (ΙΙ) Ηεύρεσηγραµµικών συναρτήσεων διαχωρισµού των διανυσµάτων στις κλάσεις ω,,,,l απαιτεί στην ουσία την εύρεση L συναρτήσεων g (),,,,L για τις οποίες να ισχύει: g g k ( ( ) > ) < k όταν ανήκει στη κλάση ω 7 Ncolas sapatsouls

Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Έστω ένα πρόβληµα ταξινόµησης σε δύο κλάσεις ω, ω Γραµµικές Συναρτήσεις ιαχωρισµού Αν τα διανύσµατα єr l,,,n είναι γραµµικά διαχωρίσιµα τότε υπάρχει µια γραµµική συνάρτηση των l-στοιχείων του της µορφής g( ) + + + + + η οποία διαχωρίζει τις δύο κλάσεις l Το διάνυσµα παραµέτρων [,,, l ] Τ καθώς και το κατώφλι προσδιορίζονται από µια διαδικασία µάθησης µε βάση τα διανύσµατα εκπαίδευσης Έστω ότι τα διανύσµατα, ανήκουν στην επιφάνεια (υπερεπίπεδο) διαχωρισµού των κλάσεων ω, ω τότε ισχύει: l + + ), ( 7 Ncolas sapatsouls Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Γραµµικές Συναρτήσεις ιαχωρισµού (ΙΙ) Εποµένως το διάνυσµα τωνβαρών είναι κάθετο στο υπερεπίπεδο διαχωρισµού που ορίζεται από τη σχέση: g ( ) + Απότοδιπλανόσχήµα (απόσταση σηµείου από ευθεία) προκύπτουν οι σχέσεις: d g( ) +, z + ηλαδήητιµή g() είναι ένα µέτρο της απόστασης του σηµείου από το υπερεπίπεδο διαχωρισµού 7 Ncolas sapatsouls 3

ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Γεωµετρική ερµηνεία Συµπέρασµα: Μπορούµε ναγράψουµε τοδιάνυσµα ως: p r + (Το διάνυσµα τωνβαρών είναι συνευθειακό µε το διάνυσµα - p και επιπλέον είναι το µοναδιαίο διάνυσµα τωνβαρών) Επιπλέον: Τ g ( p ) και Οπότε: g ( ) r Ισχύει επίσης: d(,h) Μια γραµµική συνάρτηση διαχωρισµού διαιρεί το χώρο των προτύπων µέσω µιας υπερεπιφάνειας διαχωρισµού Η κατεύθυνση της υπερεπιφάνειας ορίζεται από το διάνυσµα των βαρών (κάθετο στην υπερεπιφάνεια) ενώ η θέση της ορίζεται από το κατώφλι 7 Ncolas sapatsouls ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Πολλαπλές κλάσεις element 8 - - - -8 - Multclass lnear classfcaton: One aganst all other classes Ambguous Regon - -8 - - - 8 element Όταν έχουµε διαχωρισµό σε πολλές κλάσεις ω, ω,, ω L τότε µπορούµε ναεπεκτείνουµε την προηγούµενη µεθοδολογία µε δύο τρόπους: Για κάθε κλάση ω, βρίσκουµε την επιφάνεια διαχωρισµού η οποία διαχωρίζει τα πρότυπα της κλάσης ω, από όλα τα υπόλοιπα Η µεθοδολογία αυτή παράγει µεγάλες περιοχές ασάφειας (ambguous regons), δηλαδή περιοχές για τις οποίες δεν µπορούµε να αποφασίσουµε σε ποια κλάση θα ταξινοµήσουµε ένα πρότυπο, όπως φαίνεται στο σχήµα 7 Ncolas sapatsouls

ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Πολλαπλές κλάσεις (ΙΙ) 8 Multclass lnear classfcaton: Separatng classes n pars Ηδεύτερηµεθοδολογία είναι: element - - - -8 - Ambguous Regon Για κάθε ζεύγος κλάσεων ω, ω βρίσκουµε την επιφάνεια διαχωρισµού η οποία διαχωρίζει τα των δύο κλάσεων Επαναλαµβάνουµε τη διαδικασία για όλα τα δυνατά ζεύγη κλάσεων Η µεθοδολογία αυτή πιο υπολογιστικά πολύπλοκη από την προηγούµενη αλλά παράγει περιοχές ασάφειας (ambguous regons) σαφώς µικρότερες, όπως φαίνεται στο σχήµα - -8 - - - 8 element 7 Ncolas sapatsouls ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Γραµµικές µηχανές element 8 - - - -8 Lnear Machne Το πρόβληµα τηςταξινόµησης σε πολλές κλάσεις χωρίς τη δηµιουργία περιοχών ασάφειας λύνεται µε τη βοήθεια των γραµµικών µηχανών: Τα όρια τα περιοχών καθορίζονται έτσι ώστε το διάνυσµα να ταξινοµείται στη κλάση ω, εφόσον ισχύει: g ( ) > g ( ) g ( ) +,,, M - - -8 - - - 8 element 7 Ncolas sapatsouls 5

Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Ο αλγόριθµος Perceptron Μέχρι τώρα είδαµε ότι το διάνυσµα τωνβαρών είναι κάθετο στο υπερεπίπεδο διαχωρισµού που ορίζεται από τη συνάρτηση διαχωρισµού: g( ) + Το διάνυσµα τωνβαρών * [ ] δεν είναι γνωστό και χρειάζεται να εκτιµηθεί από τα διανύσµατα,,,,n για τα οποία είναι γνωστές οι κλάσειςστιςοποίεςανήκουν Στην περίπτωση των πολλαπλών κλάσεων χρειάζεται να υπολογιστούν τα διανύσµατα βαρών * [ ] για να οριστούν οι συναρτήσεις διαχωρισµού: g ( ) +,,, M Για τον υπολογισµό τωνδιανυσµάτων * συνήθως χρησιµοποιείται κάποια µεθοδολογία βελτιστοποίησης Κάθε µεθοδολογία βελτιστοποίησης απαιτεί: (α) το ορισµό µιας συνάρτησης κόστους, και (β) το ορισµό ενός αλγορίθµου για τη βελτιστοποίηση της συνάρτησης αυτής Μια µεθοδολογία βελτιστοποίησης είναι ο αλγόριθµος Perceptron 7 Ncolas sapatsouls Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Έστω οι γραµµικά διαχωρίσιµες κλάσεις ω, ω : * : * * * + Ο αλγόριθµος Perceptron (ΙΙ) < ω Η περίπτωση υπάγεται στην πιο πάνω περίπτωση δεδοµένου ότι: * * ', ' * + ' ' * > ω Στόχος: Υπολογισµός ενός διανύσµατος ώστε: < ω * > ω Βήµατα: Ορισµός µιας συνάρτησης κόστους Επιλογή ενός αλγορίθµου για ελαχιστοποίηση της συνάρτησης κόστους Επιλογή του το οποίο να ελαχιστοποιεί τη συνάρτηση κόστους 7 Ncolas sapatsouls

Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Ο αλγόριθµος Perceptron (ΙΙΙ) Συνάρτηση κόστους του αλγορίθµου Perceptron: J ( ) ( δ ) Y Όπου Υ είναι το υποσύνολο των διανυσµάτων εκπαίδευσης τα οποία ταξινοµούνται εσφαλµένα από το τρέχον διάνυσµα δ f Y and ω J ( ) δ + f Y and ω Όταν το σύνολο Υ είναι κενό τότε η ζητούµενη λύση έχει επιτευχθεί και εποµένως ισχύει: J ( ) ΗσυνάρτησηJ() είναι κατά τµήµατα γραµµική (βλέπε σχήµα) 7 Ncolas sapatsouls Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Ο αλγόριθµος Perceptron (ΙV) Ο αλγόριθµος Perceptron βασίζεται στη λογική του αλγορίθµου κατάβασης κατά τη µέγιστη κλίση (gradent descend): ( t + ) ( + J ( ) µ ( ( : διάνυσµα βαρών στην t επανάληψη Στις περιοχές που ορίζεται η µερική παράγωγός έχουµε: J ( ) ( δ ) Y δ Y Οπότε έχουµε τη βασική σχέση βελτιστοποίησης της συνάρτησης J() σύµφωνα µε τηµεθοδολογία Perceptron: t ( t + ) ( ρ δ Y 7 Ncolas sapatsouls 7

Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Παράδειγµα ( t + ) ( + ρ ( ρ δ t t ( δ ) Ο αλγόριθµος Perceptron συγκλίνει σε πεπερασµένο αριθµό βηµάτων όταν τα βήµατα προσαρµογής ρ t πληρούν τις κάτωθι συνθήκες: t t lm ρ, lm ρ < + t k k Ενδεικτική επιλογή : ρ t t k c t k 7 Ncolas sapatsouls Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Παράδειγµα (II) Έστω ότι σε κάποιο στάδιο του αλγορίθµου Perceptron έχουµε:,, 5 Εποµένως η συνάρτηση διαχωρισµού είναι: g( ) + 5 Ηεπιφάνειαδιαχωρισµού είναι: Το νέο διάνυσµα τωνβαρών θα είναι: (t + ) + 7( ) 5 7( ) 75 5 5 5 7 Ncolas sapatsouls 8

Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Παραλλαγές του αλγόριθµου Perceptron Μια πολύ χρήσιµη παραλλαγή του αλγορίθµου Perceptron χρησιµοποιεί σταθερό (ως προς τον αριθµό της επανάληψης) βήµα προσαρµογής και επιπλέον βασίζεται µόνο στη ταξινόµηση του τρέχοντος διανύσµατος εισόδου ( : ( t + ) ( + ρ ( t + ) ( ρ ( t + ) ( ( t ) ( t ),, otherse ( ( t ) ( ( t ) ( t ) ω ( t ) ω Ο ανωτέρω αλγόριθµος υπάγεται σε µια γενικότερη κατηγορία αλγορίθµων οι οποίοι είναι γνωστοί ως αλγόριθµοι «ανταµοιβής και τιµωρίας» (reard and punshmen 7 Ncolas sapatsouls Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Μηχανή Perceptron Οι Μηχανή Perceptron είναι ένα δίκτυο της µορφής του σχήµατος Πρόκειται για µια εκπαιδευόµενη µηχανή η οποία µαθαίνει από ένα σύνολο διανυσµάτων εκπαίδευσης µε τη βοήθεια του αλγορίθµου Perceptron ' s συνάψεις ή συναπτικά βάρη κατώφλι Η µηχανή Perceptron είναι πιο γνωστή ως νευρώνας (neuron) Συνδυασµόςπολλώννευρώνωνδηµιουργεί επίσης ένα εκπαιδευόµενο δίκτυο το οποίο είναι γνωστό ως Νευρωνικό ίκτυα (Neural Netorks) Υπάρχουν πολλές παραλλαγές Νευρωνικών ικτύων ανάλογα µε το αλγόριθµο µάθησης που χρησιµοποιούν αλλά και ανάλογα µε τη διάταξη και συνδεσµολογία των νευρώνων 7 Ncolas sapatsouls 9

Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Όταν οι κλάσεις δεν είναι γραµµικά διαχωρίσιµες τότε σε πολλές περιπτώσεις εξακολουθεί να είναι χρήσιµο να βρούµε µια επιφάνεια διαχωρισµού η οποία να ελαχιστοποιεί τα σφάλµατα ταξινόµησης Μέθοδος Ελαχίστων Τετραγώνων Μια µέθοδος για την εύρεση της καταλληλότερηςεπιφάνειαςδιαχωρισµού προκύπτει µε τηνεφαρµογή της µεθόδου των ελαχίστων τετραγώνων Ηεπιφάνειαδιαχωρισµού τοποθετείται έτσι ώστε να ελαχιστοποιείται η απόσταση όλων των διανυσµάτων εκπαίδευσης από την επιφάνεια Το πρόβληµα τίθεται ως ακολούθως: Υπολόγισε το διάνυσµα βαρών έτσι ώστε η διαφορά ανάµεσα στην + f ω επιθυµητή έξοδο y (κλάσεις ) και στην πραγµατική έξοδο y' f ω να ελαχιστοποιείται 7 Ncolas sapatsouls ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Κριτήριο κόστους για τη µέθοδο των ελαχίστων τετραγώνων Ελαχιστοποίηση πραγµατοποιείται υπό την έννοια του µέσου τετραγώνου (mean square), εποµένως το κριτήριο κόστους είναι: J ( ) ( y ) ] όπου y είναι η επιθυµητή έξοδος Το διάνυσµα βαρών που ελαχιστοποιεί το µέσω τετραγωνικό σφάλµα δίνεται από τη σχέση: arg mn J ( ) 7 Ncolas sapatsouls

ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Ελαχιστοποίηση µέσου τετραγωνικού σφάλµατος Η ελαχιστοποίηση του κριτήριου κόστους επιτυγχάνεται µε µηδενισµό τωνµερικών παραγώγων: J ( ) ( y ( y ) ] )] ] y] R y] Όπου ο πίνακας R είναι ο πίνακας αυτοσυσχέτισης: R ] ] l ] ] ] l l ] ] l l και y] y] y] l είναι το διάνυσµα ετεροσυσχέτισης εισόδου εξόδου 7 Ncolas sapatsouls ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes Παράδειγµα Στην πράξη οι πίνακες R και R y y] εκτιµούνται από τα διανύσµατα εκπαίδευσης: R N N N R y y Να υπολογιστεί η συνάρτηση διαχωρισµού των κλάσεων ω, ω, µε βάσητα διανύσµατα εκπαίδευσης που δίνονται παρακάτω, µε τη µέθοδο των ελαχίστων τετραγώνων 3 ω :,,,, 5 5 7 3 7 8 7 ω :,,,, 5 7 Ncolas sapatsouls

ΚΕΣ 3: Αναγνώριση Προτύπων και Ανάλυση Εικόνας 7 Ncolas sapatsouls Σχηµατίζουµε τον πίνακα Χ για να εκτιµήσουµε τον πίνακα αυτοσυσχέτισης: και τον πίνακα ετεροσυσχέτισης Παράδειγµα (συν) R N N y 5 7 8 7 3 3 7 5 5 y y R N y 3 33 ) ( 7 8 7 8 8 y y R R y y R R, Εισαγωγή Γραµµικές Συναρτήσεις ιαχωρισµού Οαλγόριθµος Perceptron Μέθοδοι Ελαχίστων Τετραγώνων Support Vector Machnes