Support Vector Machines

Transcript

1 KEΣ 3 Αναγνώριση Προτύπων και Ανάυση Εικόνας Support Vector Machnes ΤµήµαΕπιστήµης και Τεχνοογίας Τηεπικοινωνιών Πανεπιστήµιο Πεοποννήσου 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Περιεχόµενα Βιβιογραφία Περιεχόµενα Ενότητας Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Χρήση συναρτήσεων πυρήνα (kernel functons Βιβιογραφία: Duda [4]: Chapter 5 heodords []: Chapter 3 7 colas sapatsouls

2 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Εισαγωγή Έστω ένα πρόβηµα ταξινόµησης σε δύο κάσεις ω, ω Αν τα διανύσµατα x єr l =,,, είναι γραµµικά διαχωρίσιµα τότε υπάρχει µια γραµµική συνάρτηση των l-στοιχείων του x της µορφής g( x = w x + w = = w x + w x w x + w η οποία διαχωρίζει τις δύο κάσεις. l Το διάνυσµα παραµέτρων w =[w, w,, w l ] Τ καθώς και το κατώφι w προσδιορίζονται από µια διαδικασία µάθησης µε βάση τα διανύσµατα εκπαίδευσης Η συνάρτηση διαχωρισµού µπορεί να υποογιστεί µέσω του αγορίθµου Perceptron g( x = w x + w Ηταξινόµηση πραγµατοποιείται: > x ω g( x = w x + w < x ω l 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Ποαπές ύσεις One soluton to the lnear dscrmnaton problem Ο αγόριθµος Perceptron δεν εγγυάται µοναδικήύσηεπειδή: Χρησιµοποιείται τυχαία αρχικοποίηση των βαρών Το κριτήριο κόστους εαχιστοποιεί τα σφάµατα κόστους (και όχι κάποια γεωµετρική απόσταση όπως π.χ. συµβαίνει µε τοναγόριθµο των εαχίστων τετραγώνων Αν θέαµε ναεπιέξουµε την καύτερη από τις ύσεις τι θα κάναµε; 7 colas sapatsouls

3 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Γραµµικά διαχωρίσιµες κάσεις Η µεθοδοογία SVM (Support Vector Machnes επιέγει εκείνη την υπερεπιφάνεια διαχωρισµού η οποία: Ισαπέχει από τα πησιέστερα (σε αυτήν διανύσµατα των δύο κάσεων. Τα διανύσµατα αυτά είναι γνωστά ως διανύσµατα υποστήριξης (support vectors Μεγιστοποιεί την απόσταση των διανυσµάτων υποστήριξης από την υπερεπιφάνεια διαχωρισµού. Το διπάσιο της απόστασης αυτής ονοµάζεται περιθώριο (margn 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Περιθώριο Examples of dscrmnatng hyperplanes Είδαµε στουςγραµµικούς ταξινοµητές ότι κάθε υπερεπιφάνεια διαχωρισµού χαρακτηρίζεται από: Την κατεύθυνση της όπως προσδιορίζεται από το κάθετο στην επιφάνεια διάνυσµα w (βέπε σχήµα αριστερά Την απόσταση της από την αρχή των αξόνων όπως προσδιορίζεται από το κατώφι w. (βέπε σχήµακάτω Dscrmnatng hyperplanes wth smlar orentaton and dfferernt w Βήµατα: Για κάθε κατεύθυνση τοποθετούµε την επιφάνεια έτσι ώστε η εάχιστη απόσταση απότιςδύοκάσειςναείναιίδια Ανάµεσα σε όες τις υπερεπιφάνειες που διαχωρίζουν τα δεδοµένα µας επιέγουµε εκείνη που µεγιστοποιεί το περιθώριο colas sapatsouls 3

4 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Η απόσταση z x ενός τυχαίου σηµείου x από την υπερεπιφάνεια διαχωρισµού δίνεται από τη σχέση (αρνητική απόσταση σηµαίνει ότι το x ανήκει στην κάση ω : g(x z x =, w = w w w Μπορούµε πάντοτε να τροποποιήσουµε ταβάρηw, w ώστε η απόστασητωνπησιέστερωνστηνεπιφάνειασηµείων (εκατέρωθεν αυτής να είναι ίση µε ±: Το περιθώριο σε αυτή την περίπτωση δίνεται από τη σχέση: + = w w w Ισχύει επίσης: Γραµµικός ταξινοµητής SVM { g( x = + για x ω και g( x = για } g( x = x ω w x + w w x + w x ω x ω 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Για την εύρεση της βέτιστης υπερεπιφάνειας διαχωρισµού σύµφωνα µε την µεθοδοογία SVM εαχιστοποιούµε: Κριτήριο: J ( w = w Γραµµικός ταξινοµητής SVM (II Υποκείµενο στους περιορισµούς: y ( w x + w, =,,..., y =, for x ω, y =, for x ω Εαχιστοποίηση της ποσότητας w µεγιστοποιεί το περιθώριο w. Οι περιορισµοί διασφαίζουν ότι δεν υπάρχει σφάµα ταξινόµησης (υπό την προϋπόθεση ότι οι κάσεις είναι γραµµικά διαχωρίσιµες 7 colas sapatsouls 4

5 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Το προηγούµενο είναι ένα πρόβηµα τετραγωνικής βετιστοποίησης υποκείµενο σε γραµµικούς περιορισµούς υπό τη µορφή ανισοτήτων. Για τέτοιου είδους προβήµατα οι συνθήκες ΚΚΤ (Karush Kuhh ucker ορίζουν ότι η βέτιστη ύση ικανοποιεί τις συνθήκες: ( L( w, w, = w ( w L w, w, = ( (3, =,,..., (4 y w ( x + w =, =,,..., Γραµµικός ταξινοµητής SVM (IIΙ ( ΗσυνάρτησηL(,, είναι µια συνάρτηση Langrange: L( w, w, w w [ y ( w x + w ] = 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Γραµµικός ταξινοµητής SVM (IV Η ύση του ανωτέρου προβήµατος ικανοποιεί τις σχέσεις (εφαρµογή των σχέσεων (, ( στη συνάρτηση Langrange: w = = y x y = = και υπόκειται στους περιορισµούς:, =,,..., ( y ( w x + w =, =,,..., Στις παραπάνω σχέσεις προκύπτει µια µοναδικήύσηγιατοδιάνυσµα βαρών w ηοποίαόµως µπορεί να αντιστοιχεί σε διάφορες τιµές των ποαπασιαστών Langrange ( 7 colas sapatsouls 5

6 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Παρατηρήσεις σχετικά µε τη βέτιστη ύση Οι ποαπασιαστές Langrange ( µπορεί να είναι είτε θετικοί είτε µηδενικοί. Εποµένως: ( w = s = y x όπου Νs είναι ο αριθµός των µη µηδενικών ποαπασιαστών Langrange. ( Από τη σχέση: y ( w x + w =, =,,..., προκύπτει ότι τα διανύσµατα τα οποία συνεισφέρουν στον υποογισµό του w σύµφωνα µε τησχέση( ανωτέρω πηρούν τη σχέση: w x + w = ± είναι δηαδή διανύσµατα υποστήριξης (support vectors 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Παρατηρήσεις σχετικά µε τη βέτιστη ύση (II Εφόσον υποογιστεί το διάνυσµα w το κατώφι w υποογίζεται από τις σχέσεις: ( y ( w x + w =, =,,..., Οι επίυση του προηγούµενου προβήµατος τετραγωνικής βετιστοποίησης πραγµατοποιείται µε επαναηπτικέςµεθόδους βετιστοποίησης διότι δεν υπάρχει µοναδική ύση για τους ποαπασιαστές Langrange Μια πιο απή µορφή του προβήµατος µπορεί να διατυπωθεί µε τη βοήθεια της αρχής της δυαδικότητας (dualty prncple 7 colas sapatsouls 6

7 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons υαδικό πρόβηµα εύρεσηςτης βέτιστης ύσης Με τη µεθοδοογία SVM που περιγράφηκε νωρίτερα ορίζεται ένα πρόβηµα βετιστοποίησης µε: Κυρτή συνάρτηση κόστους (µοναδικό εάχιστο Κυρτή περιοχή πιθανών ύσεων Οι δύο προηγούµενες συνθήκες µας εξασφαίζουν ότι το πρόβηµα µπορεί να υθεί µε δυαδικό τρόπο (µεγιστοποίηση της συνάρτησης Langrange ως προς αντί εαχιστοποίηση ως προς w, w : L( w, w, w w [ y ( w x + w ] = Μεγιστοποίηση της ( w, w, ως προς Υποκείµενη στους περιορισµούς: * L = max( L( w, w, w = y = = y x = arg 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons υαδικό πρόβηµα εύρεσηςτης βέτιστης ύσης (ΙΙ Με συνδυασµό των πρώτων δύο σχέσεων: Καταήγουµε στο πρόβηµα: υποκείµενο στους περιορισµούς: * ( L( w, w, = arg max w = y x = * = argmax( y = = = = = y y το οποίο είναι εµφανώς απούστερο στη ύση από το αρχικό x x Παρατηρήστε ότι στη σχέση * = argmax( = = = y y x x τα διανύσµατα υποστήριξης υπεισέρχονται ανά ζεύγη 7 colas sapatsouls 7

8 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Παράδειγµα x wo Class Data - SVM example x Να βρεθεί η συνάρτηση διαχωρισµού των κάσεων του σχήµατος (ω => κόκκινα πρότυπα µε τηµεθοδοογία SVM. Θεωρήστε ότι είναι γνωστό ότι η γραµµή διαχωρισµού περνά από το σηµείο [ ] Προχωρήστε στην διατύπωση και επίυση των συνθηκών KK Τι θα συνέβαινε αν δεν γνωρίζαµε ότι το σηµείο ικανοποιεί την εξίσωση της συνάρτησης διαχωρισµού; 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Μη γραµµικά διαχωρίσιµες κάσεις Μπορεί η µεθοδοογία SVM να εφαρµοστεί σε µη γραµµικά διαχωρίσιµες κάσεις ω, ω (όπως αυτές του σχήµατος; Προφανώς σε αυτή την περίπτωση δεν υπάρχει υπερεπιφάνεια για την οποία να ισχύει: w x + w ( > <, x 7 colas sapatsouls 8

9 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Κατάταξη διανυσµάτων εκπαίδευσηςωςπροςτο περιθώριο Τα διανύσµατα εκπαίδευσης υπάγονται σε µια από τις τρεις επόµενες κατηγορίες: ιανύσµατα εκτός της περιοχής που ορίζεται απότοπεριθώριοταοποίαέχουν ταξινοµηθεί ορθά. Γιαταδιανύσµατα αυτά ισχύει η σχέση: y ( w x + w > ιανύσµατα εντός της περιοχής που ορίζεται απότοπεριθώριοταοποίαέχουν ταξινοµηθεί ορθά. Γιαταδιανύσµατα αυτά ισχύει η σχέση: y ( w x + w < Εσφαµένα ταξινοµηµένα διανύσµατα. Σε αυτή την περίπτωση ισχύει η σχέση: y ( w x + w < 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Κατάταξη διανυσµάτων εκπαίδευσηςωςπροςτο περιθώριο (ΙΙ Οι τρεις προηγούµενες περιπτώσεις µπορούν να περιγραφούν από µια ενιαία σχέση: y ( w x + w ξ ( ξ = ( <ξ (3 <ξ Οι µεταβητές ξ είναι γνωστές ως «χααρές» µεταβητές (slack varables 7 colas sapatsouls 9

10 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Εύρεση βέτιστης ύσης Η βετιστοποίηση τώρα αφορά δύο επίπεδα Μεγιστοποίηση του περιθωρίου Εαχιστοποίηση του αριθµού των προτύπων για τα οποία ισχύει ξ > (δηαδή πρότυπα είτε εσφαµένα ταξινοµηµένα είτε εντός της περιοχής του περιθωρίου Σύµφωνα µε ταπροηγούµενα µια κατάηη συνάρτηση κόστους είναι: J ( w, w, ξ = w + C I( ξ = όπου C είναι µια σταθερά που καθορίζει τη βαρύτητα της εσφαµένης ταξινόµησης στη συνοική βετιστοποίηση και I( ξ = ξ > ξ = 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Εύρεση βέτιστης ύσης (ΙΙ Στη προηγούµενη συνάρτηση κόστους η µεταβητή I( δεν είναι παραγωγίσιµη µε αποτέεσµα ναµηνείναιεφικτήεύρεσητης βέτιστης ύσης µέσω των συνθηκών KK. Για να αντιµετωπιστεί το προηγούµενο προσεγγίζουµε τηπροηγούµενη συνάρτηση κόστους µε τησυνάρτηση: J ( w, w, ξ = w + Cξ η οποία είναι παραγωγίσιµη = Εφαρµόζοντας όµοια µεθοδοογία ορίζουµε τησυνάρτησηlangrange µε δύο κατηγορίες ποαπασιαστών (µ, : L( w, w, w w+ C µ ξ ξ [ y ( w x + w + ξ ] = = = 7 colas sapatsouls

11 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Εύρεση βέτιστης ύσης (ΙΙI Οπότε οι συνθήκες ΚΚΤ υποογίζονται µε παρόµοιο τρόπο όπως προηγουµένως : ( w = y x ( = y = (3 C µ =, =,,..., (4 [ y ( w x + w + ξ ] =, = (5 µ ξ =, =,,..., (6 µ,, =,,..., =,,..., 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons υαδικό πρόβηµα Το δυαδικό πρόβηµα ορίζεται όπως στην περίπτωση των γραµµικά διαχωρίσιµων κάσεων και καταήγει στις σχέσεις: * = argmax( = = y = = = C, =,,..., y y x x το οποίο διαφέρει από το αντίστοιχο των γραµµικά διαχωρίσιµων κάσεων µόνο ως προς την παρουσία της σταθεράς C στους περιορισµούς 7 colas sapatsouls

12 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Παράδειγµα Στο παρακάτω σχήµα φαίνεται η επίδραση της σταθεράς C στον ορισµό του περιθωρίου ανάµεσα σε δύο µη διαχωρίσιµες κάσεις (στο σχήµα (a έχουµε µικρή τιµή γιατοc(c =.ενώ στη περίπτωση (b σαφώς µεγαύτερη τιµή (C = Για σκοπούς βετίωσης της γενικευτικής ικανότητας (ικανότητα σωστής ταξινόµησης άγνωστων διανυσµάτων η περίπτωση(a είναι γενικά περισσότερο αξιόπιστη 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Παράδειγµα (ΙΙ Margn maxmzaton - up to 4 msclassfcatons are allowed Στο παράδειγµα του σχήµατος: Να βρείτε τα διανύσµατα υποστήριξης (support vectors Να βρείτε τις εσφαµένες ταξινοµήσεις Να βρείτε τα διανύσµατα που έχουν ταξινοµηθεί σωστά και ανήκουν στην περιοχή του περιθωρίου colas sapatsouls

13 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Η µεθοδοογία SVM (είτε για περίπτωση γραµµικά διαχωρίσιµων κάσεων είτε για µη γραµµικά διαχωρίσιµες µπορεί να εφαρµοστεί σε περίπτωση που τα πρότυπα µας ανήκουν σε M κάσεις (ω, ω,, ω Μ. Γενίκευση σε ποαπές κάσεις Ο απούστερος τρόπος είναι να θεωρήσουµε M προβήµατα δύο κάσεων (πρότυπα στη κάση ω, I =,, M, σε σχέση µε όα τα υπόοιπα Εναακτική, και πιο πούποκη µέθοδος, υποογίζει τα περιθώρια των κάσεων ανά δύο σχηµατίζοντας Μ*(Μ-/ συναρτήσεις διαχωρισµού 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Ένας τρόπος αντιµετώπισης µη γραµµικά διαχωρίσιµων κάσεων είναι µε µετασχηµατισµό των διανυσµάτων εισόδου σε ένα χώρο µεγαύτερης διάστασης SVM µεσυναρτήσεις πυρήνα Η πιθανότητα διαχωρισµού των ω, ω µε πρότυπα διαστάσεων x є R l αυξάνει µε την αύξηση της διάσταση των προτύπων από l σε k (k>l. l Έστω ο µετασχηµατισµός x R z R, k > l Μπορούµε ναεφαρµόσουµε, τότε, τη µεθοδοογία SVM στο χώρο R k k Το δυαδικό πρόβηµα βετιστοποίησης γίνεται: * = argmax( = C, =,,..., y = = = = y y z z 7 colas sapatsouls 3

14 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Η συνάρτηση διαχωρισµού θα είναι: s = w z + w = = g( z SVM µεσυναρτήσεις πυρήνα (ΙΙ y z z, όπου x z R Το πρόβηµα µε την πιο πάνω σχέση είναι ότι περιαµβάνει Ν s εσωτερικά γινόµενα (z z σε ένα χώρο µεγάης διάστασης (R k και εποµένως είναι υποογιστικά πούποκη. Κάτω από ορισµένες προϋποθέσεις µπορούµε ναυποογίσουµε τα ανωτέρω εσωτερικά ως συναρτήσεις των εσωτερικών γινοµένων (x x όπως φαίνεται στο επόµενο παράδειγµα: [ x, x ] Έστω x = R Μετασχηµατίζοντας το x z = x xx x R 3 k Είναι εύκοο να δείξουµε ότι: y y = ( x x 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Θεώρηµα Mercer Έστω x Φ( x H Το εσωτερικό γινόµενο στο χώρο Η δίνεται από τη σχέση: Φr ( x Φr( y = K( x, y r όπου για τη συνάρτηση K(x,y ισχύει: Κ ( x, y g ( x g ( y d xd y για κάθε συνάρτηση g(x τέτοια ώστε: ( g x dx<+ Ησυµµετρική συνάρτηση Κ(x,y είναι µια συνάρτηση πυρήνα (kernel functon 7 colas sapatsouls 4

15 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Χρησιµότητα συναρτήσεων πυρήνα Το ενδιαφέρον µε τις συναρτήσεις πυρήνα είναι ότι αντιστοιχούν πάντοτε w, σε εσωτερικό,.5γινόµενο σε ΚΑΠΟΙΟ χώρο µικρότερης = w = w = διάστασης: Παραδείγµατα συναρτήσεων πυρήνα: Πουωνυµικές: q K( x, z = ( x z +, q > Ακτινικές συναρτήσεις βάσης: K( x, z exp x z = σ Υπερβοική εφαπτοµένη: K( x, z = tanh( β x z + γ για κάποιες κατάηες τιµές των παραµέτρων β, γ 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons SVM µε συναρτήσεις πυρήνα Η χρήση των συναρτήσεων πυρήνα µας βοηθά να µεταβούµε σε κάποιο χώρο υψηότερης διάστασης στον οποίο είναι πιθανό το πρόβηµα µας να είναι γραµµικό. Ο χώρος αυτός δεν µας είναι γνωστός (και στην πραγµατικότητα δεν θα θέαµε να είναι γνωστός Η µεθοδοογία συνοψίζεται στα πιο κάτω βήµατα: Βήµα : Επιογή κάποιων συναρτήσεων πυρήνα. Οι πιο συχνά χρησιµοποιούµενες είναι οι ακτινικές συναρτήσεις (Radal Bass Functons Βήµα : Επίυση του δυαδικού προβήµατος * = argmax y y K( x = = = C, =,,..., y = = x 7 colas sapatsouls 5

16 Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons SVM µε συναρτήσεις πυρήνα (ΙΙ Το βήµα στην ουσία οδηγεί σε έµµεσο συνδυασµό τηςµορφής: s w = yϕ( x = Βήµα 3 : Το διάνυσµα x ταξινοµείται σύµφωνα µε τον πιο κάτω κανόνα: s ω ( ω f g( x = y Κ( x, x + w > ( < = Αρχιτεκτονική SVM: 7 colas sapatsouls Εισαγωγή Γραµµικά διαχωρίσιµες κάσεις Μη γραµµικά διαχωρίσιµες κάσεις Kernel functons Παράδειγµα Το παράδειγµα του σχήµατος δείχνει πως δυο γραµµικά µη διαχωρίσιµες κάσεις διαχωρίζονται µε τηχρήση συναρτήσεων πυρήνα: 8 συναρτήσεις πυρήνα (8 support vectors 5 αντιστοιχούν στην κάση ο και τρεις στην κάση + 7 colas sapatsouls 6