Αποθήκες εδομένων και Εξόρυξη εδομένων:

Transcript

1 Αποθήκες εδομένων και Εξόρυξη εδομένων: Κατηγοριοποίηση: Μέρος Β gounaris/courses/dwdm/

2 Ευχαριστίες Οι διαφάνειες του μαθήματος σε γενικές γραμμές ακολουθούν το σύγγραμμα «Εισαγωγή στην Εξόρυξη και τις Αποθήκες εδομένων» Xρησιμοποιήθηκε μ ή η επιπλέον υλικό από τα βιβλία ββ «Introduction to Data Mining» των Tan, Steinbach, Kumar, και «Data Mining: Concepts and Techniques» των Jiawei Han, Micheline Kamber. 2

3 Θέματα προς εξέταση Μέρος Α Εισαγωγικές Έννοιες ένδρα Απόφασης Μέρος Β Bayesian κατηγοριοποιητές Κατηγοριοποιητές πλησιέστερων γειτόνων Αποτίμηση Ακρίβειας 3

4 Σύνδεση με προηγούμενα ένδρα απόφασης 4

5 Χαρακτηριστικά ένδρων Απόφασης Η κατασκευή του βέλτιστου δένδρου απόφασης απαιτεί αποτρεπτικό χρόνο (είναι NP-complete πρόβλημα). Για το λόγο αυτό χρησιμοποιούνται ευρετικοί αλγόριθμοι, οι οποίοι είναι άπληστοι και δεν χρησιμοποιούν οπισθοδρόμηση. Τα ευρετικά μειώνουν κατά πολύ το χρόνο κατασκευής. Το αποτέλεσμα είναι ότι τα δένδρα απόφασης κλιμακώνονται σε μεγάλους όγκους δεδομένων Γρήγορη εφαρμογή. Η ακρίβεια πρόβλεψης των δένδρων απόφασης είναι αποδεκτή για τις περισσότερες ρ περιπτώσεις, συγκρίσιμη γρ με την ακρίβεια άλλων κατηγοριοποιητών Το μοντέλο που προκύπτει είναι πολύ εύκολο στην κατανόηση. Τα δένδρα απόφασης έχουν καλή ανοχή στο θόρυβο ειδικά όταν εφαρμόζεται ψαλιδισμός 5

6 Επιπλέον Τα Α μπορούν να διαχειριστούν πολυδιάστατα δεδομένα 1 διάσταση τη φορά χρησιμοποιείται κατά την ανάπτυξη του μοντέλου και κάθε τύπο μεταβλητών Συμβολικές, αριθμητικές, κλπ. 6

7 Μειονεκτήματα Αγνοούν εξαρτήσεις μεταξύ των ιδιοτήτων. Προβλήματα όταν λείπουν πολλά δεδομένα ιάσπαση ως προς μία ιδιότητα => αντιστοίχιση με περιοχές, τα όρια των οποίων είναι παράλληλα με τους άξονες 7

8 Άλλοι κατηγοριοποιητές; η Bayesian κατηγοριοποιητές Κατηγοριοποιητές πλησιέστερων γειτόνων 8

9 Bayesian κατηγοριοποιητής η για 1 ιδιότητα Ιδιότητα Χ (συμβολική) m διακριτές τιμές Ιδιότητα κλάσης C n διακριτές τιμές Θέλουμε να υπολογίσουμε για κάθε j: 0<j<n+1: P ( C = c X = ( x j i ) Άγνωστη ποσότητα 9

10 Παράδειγμα Οικογενειακή Αγοραστής Κατάσταση ιαζευγμένος ΝΑΙ Αν ιαζευγμένος ΝΑΙ Οικογενειακή κατάσταση: Άγαμος Έγγαμος ΟΧΙ Άγαμος ΝΑΙ Άγαμος ΝΑΙ Έγγαμος ΟΧΙ ιαζευγμένος ΝΑΙ ιαζευγμένος ΝΑΙ Αγοραστής: ναι ή όχι; P(Ναι Άγαμος) = ; ιαζευγμένος ΝΑΙ P(Όχι Άγαμος) =; Άγαμος ΟΧΙ 10

11 Θεώρημα Bayes ρημ y ) ( i j x X c C P = = Άγνωστη ποσότητα ) ( i j x X c C P Άγνωστη ποσότητα ) ( ) ( ) ( ) ( j i j i i j c C P x X P c C x X P x X c C P = = = = = = = ) ( i x X P ) ( ), ( j j i c C P c C x X P = = = Είναι υπολογίσιμα ) ( i x X P = Είναι ανεξάρτητο της κλάσης Ά ί β ύ λά ί ί Άρα αρκεί να βρούμε την κλάση για την οποία μεγιστοποιείται το ) ( ) ( j j i c C P c C x X P = = = 11 ) ( ) ( j j i c C P c C x X P

12 Στο παράδειγμα Ηλικία Οικογενειακή Κατάσταση Αγοραστής 20 Διαζευγμένος ΝΑΙ 30 Διαζευγμένος ΝΑΙ 25 Έγγαμος ΟΧΙ 30 Άγαμος ΝΑΙ 40 Άγαμος ΝΑΙ 20 Έγγαμος ΟΧΙ 30 Διαζευγμένος ΝΑΙ 25 Διαζευγμένος ΝΑΙ 40 Διαζευγμένος ΝΑΙ 20 Άγαμος ΟΧΙ P(Ναι Άγαμος) P(Άγαμος Ναι) P(Ναι) = 2/7*7/10 = 0.2 P(Όχι Άγαμος) P(Άγαμος Όχι) P(Όχι) = 1/3 * 3/10 =

13 Τι γίνεται για περισσότερες ρ ιδιότητες; Έστω ότι μας δίνεται η τιμή d χαρακτηριστικών Πρέπει να υπολογίσουμε την πιθανότητα P ( X =< x, x,.., x > C = c ) ( 1 2 d j Απλούστευση: ανεξαρτησία των d ιδιοτήτων d =< 1 2 d j Π= i 1 i c j P ( X x, x,.., x > C = c ) = P( X = x C = Αφελείς Bayesian κατηγοριοποιητές arg max d 1 j mπ= i 1 P ( X = x C = c ) P( C = i j c j ) ) 13

14 Παράδειγμα Ηλικία Οικογενειακή Κατάσταση Αγοραστής 20 Διαζευγμένος ΝΑΙ 30 Διαζευγμένος ΝΑΙ 25 Έγγαμος ΟΧΙ 30 Άγαμος ΝΑΙ 40 Άγαμος ΝΑΙ 20 Έγγαμος ΟΧΙ 30 Διαζευγμένος ΝΑΙ 25 Διαζευγμένος ΝΑΙ 40 Διαζευγμένος ΝΑΙ 20 Άγαμος ΟΧΙ Οικογενειακή κατάσταση = Άγαμος, Ηλικία =35 Αγοραστής: ναι ή όχι; Πρέπει να υπολογιστούν τα P(Ναι Άγαμος, 35), P(Όχι Άγαμος, 35) 14

15 Παράδειγμα P(Ναι Άγαμος, 35) P(Άγαμος,35 Ναι) * P(Ναι)=; P(Όχι Άγαμος, 35) P(Άγαμος,35 Όχι) * P(Όχι)=; Υπόθεση: Ανεξαρτησία οικογενειακής κατάστασης και ηλικίας P(Ναι Άγαμος, 35) P(Άγαμος Ναι) * P(35 Ναι) * P(Ναι)=; P(Όχι Άγαμος, 35) P(Άγαμος Όχι) * P(35 Όχι) * P(Όχι)=; Από το παράδειγμα μιας ιδιότητας, έχω ήδη υπολογίσει: P(Άγαμος Ναι) *P(Ν P(Ναι) = 0.2 P(Άγαμος Όχι) * P(Όχι) =

16 P(35 Ναι)=; P(35 Όχι)=; χ Παράδειγμα Ηλικία: συνεχής μεταβλητή 1. Κβάντωση 2. Yπόθεση συνεχούς κανονικής κατανομής: 16

17 Παράδειγμα P(Ναι Άγαμος, 35) P(Άγαμος Ναι) P(35 Ναι) * P(Ναι)= 0.2 * 0.11ε = ε P(Όχι Άγαμος, 35) P(Άγαμος Όχι) P(35 Όχι) * P(Όχι)= 0.1 * ε= ε Άρα, αγοραστής: NAI 17

18 Χαρακτηριστικά Αφελών Bayesian Η ακρίβεια πρόβλεψης των αφελών Bayesian κατηγοριοποιητών επηρεάζεται αρνητικά από το γεγονός ότι σε πραγματικά δεδομένα σχεδόν πάντοτε υπάρχουν εξαρτήσεις μεταξύ των μεταβλητών Το μοντέλο ο που προκύπτει είναι απλά και σχετικά εύκολα στην κατανόηση. Η κατασκευή των ιστογραμμάτων για τους υπολογισμούς των πιθανοτήτων, απαιτεί μόνο μία ανάγνωση του συνόλου δεδομένων. Επομένως, οι Bayesian κατηγοριοποιητές κλιμακώνονται σε μεγάλους όγκους δεδομένων. Οι Bayesian κατηγοριοποιητές έχουν καλή ανοχή στο θόρυβο, επειδή οι θορυβώδεις τιμές εξομαλύνονται από τις υπόλοιπες κατά τους υπολογισμούς των εν μέρει πιθανοτήτων. Οι Bayesian κατηγοριοποιητές απαιτούν αντιπροσωπευτικό δείγμα για εκπαίδευση και δεν επηρεάζονται από τις ελλιπείς τιμές, επειδή μπορούν να αγνοηθούν. 18

19 Bayesian Belief Networks Μοντελοποίηση εξαρτήσεων μεταξύ των χαρακτηριστικών Γραφικό μοντέλο Ορίζει την κοινή κατανομή πιθανότητας X Z Y P Κόμβοι: χαρακτηριστικά Συνδέσεις: εξαρτήσεις Τα X και Y είναι οι γονείς του Z, και το Y είναι γονέας του P Τα Z και P είναι ανεξάρτητα εν υπάρχουν κύκλοι 19

20 Παράδειγμα Family History Smoker Πίνακας με υπο συνθήκη πιθανότητες για LungCancer: (FH, S) (FH, ~S) (~FH, S) (~FH, ~S) Lung Cancer Emphy sema LC ~LC δείχνει την υπο συνθήκη πιθανότητα για κάθε συνδυασμό γονέων Positive Dyspnea XRay Bayesian Belief Networks n P ( x 1,..., x n ) = P ( xi A ( xi )) i = 1 A(x): κόμβοι γονείς του x 20

21 Κατηγοριοποιητής η k πλησιέστερων γειτόνων Κατηγοριοποιεί ένα αντικείμενο στην κλάση στην οποία ανήκει η πλειοψηφία των k πλησιέστερών σε αυτό αντικειμένων Απαιτείται ορισμός μέτρου ομοιότητας (ή απόστασης) ) 21

22 Παράδειγμα {Άγαμος, Έγγαμος, ιαζευγμένος} {0, 0.5, 1} Ηλικία x (x-20)/(40-20) Ευκλείδειος χώρος [0,1] x [0,1] Ευκλείδεια απόσταση 22

23 Παράδειγμα k = 3, προς κατηγοριοποίηση Άγαμος, 35 23

24 Επιλογή k Η τιμή του k μπορεί επηρεάζει το αποτέλεσμα Μικρές τιμές του k εξετάζουν μόνο την άμεση γειτονιά, επομένως είναι επιρρεπείς στο θόρυβο. Μεγάλες τιμές του k αγνοούν την αρχή της τοπικότητας, και είναι επιρρεπείς στην πλειοψηφούσα κλάση σε όλο το σύνολο δεδομένων Συχνά χρησιμοποιούμενη τιμή είναι k = sqrt(n), όπου n είναι ο αριθμός των αντικειμένων στο σύνολο εκμάθησης ης Σε εμπορικά συστήματα η default τιμή είναι k = 10 24

25 Χαρακτηριστικά κατηγοριοποιητών k πλησιέστερων γειτόνων Η ακρίβεια πρόβλεψης των κατηγοριοποιητών k πλησιέστερων γειτόνων είναι ευαίσθητη στην τιμή του k. Oι κατηγοριοποιητές k πλησιέστερων γειτόνων αξιοποιούν την τοπικότητα και εξετάζουν μη γραμμικές περιοχές Αντίθετα από τα δένδραδ απόφασης, κάτι που σε αρκετές περιπτώσεις αποτελεί λί πλεονέκτημα. Το αποτέλεσμα της κατηγοριοποίησης δεν γίνεται πολύ εύκολα κατανοητό. Η αρχή της τοπικότητας είναι η μόνη αιτιολόγηση, αλλά είναι πολύ γενική. Ο χρόνος εύρεσης ρσηςαπόστασης ασης είναι γραμμικός ως προς τα σημεία, κάτι που περιορίζει την κλιμάκωσή (γιατί;) των κατηγοριοποιητών k πλησιέστερων γειτόνων. Μπορούν, όμως, να χρησιμοποιηθούν δομές καταλόγου (π.χ., χ kd-tree) για την επιτάχυνση της εύρεσης πλησιέστερων γειτόνων. Οι κατηγοριοποιητές k πλησιέστερων γειτόνων δεν έχουν καλή ανοχή στο θόρυβο, ιδιαίτερα για μικρές τιμές του k. k 25

26 Θέματα προς εξέταση Μέρος Α Εισαγωγικές Έννοιες ένδρα Απόφασης Μέρος Β Bayesian κατηγοριοποιητές Κατηγοριοποιητές πλησιέστερων γειτόνων Αποτίμηση Ακρίβειας Άλλες μέθοδοι 30

27 Χαρακτηριστικά ένδρων Απόφασης Η κατασκευή του βέλτιστου δένδρου απόφασης απαιτεί αποτρεπτικό χρόνο (είναι ί NP-complete πρόβλημα). ) Για το λόγο αυτό χρησιμοποιούνται ευρετικοί αλγόριθμοι, οι οποίοι είναι άπληστοι και δεν χρησιμοποιούν οπισθοδρόμηση. Τα ευρετικά μειώνουν κατά πολύ το χρόνο κατασκευής. Το αποτέλεσμα είναι ότι τα δένδρα απόφασης κλιμακώνονται σε μεγάλους όγκους δεδομένων Γρήγορη εφαρμογή. Η ακρίβεια πρόβλεψης των δένδρων απόφασης είναι αποδεκτή για τις περισσότερες περιπτώσεις, συγκρίσιμη με την ακρίβεια άλλων κατηγοριοποιητών Το μοντέλο που προκύπτει είναι πολύ εύκολο στην κατανόηση. η Τα δένδρα απόφασης έχουν καλή ανοχή στο θόρυβο ειδικά όταν εφαρμόζεται ψαλιδισμός 31

28 Επιπλέον Τα Α μπορούν να διαχειριστούν πολυδιάστατα δεδομένα 1 διάσταση τη φορά χρησιμοποιείται κατά την ανάπτυξη του μοντέλου και κάθε τύπο μεταβλητών Συμβολικές, αριθμητικές, κλπ. 32

29 Μειονεκτήματα Αγνοούν εξαρτήσεις μεταξύ των ιδιοτήτων. Προβλήματα όταν λείπουν πολλά δεδομένα ιάσπαση ως προς μία ιδιότητα => αντιστοίχιση με περιοχές, τα όρια των οποίων είναι παράλληλα με τους άξονες 33

30 Χαρακτηριστικά Αφελών Bayesian Η ακρίβεια πρόβλεψης των αφελών Bayesian κατηγοριοποιητών επηρεάζεται αρνητικά από το γεγονός ότι σε πραγματικά δεδομένα σχεδόν πάντοτε υπάρχουν εξαρτήσεις μεταξύ των μεταβλητών Το μοντέλο που προκύπτει είναι απλό και σχετικά εύκολο στην κατανόηση. Η κατασκευή των ιστογραμμάτων για τους υπολογισμούς των πιθανοτήτων, απαιτεί μόνο μία ανάγνωση του συνόλου δεδομένων. Επομένως, οι Bayesian κατηγοριοποιητές κλιμακώνονται σε μεγάλους όγκους δεδομένων. Οι Bayesian κατηγοριοποιητές έχουν καλή ανοχή στο θόρυβο, επειδή οι θορυβώδεις τιμές εξομαλύνονται από τις υπόλοιπες κατά τους υπολογισμούς των εν μέρει πιθανοτήτων. Οι Bayesian κατηγοριοποιητές δεν επηρεάζονται από τις ελλιπείς τιμές, επειδή μπορούν να αγνοηθούν. 34

31 Χαρακτηριστικά κατηγοριοποιητών k πλησιέστερων γειτόνων Η ακρίβεια ρβ πρόβλεψης των κατηγοριοποιητών η k πλησιέστερων γειτόνων είναι ευαίσθητη στην τιμή του k. Παρά ταύτα, οι κατηγοριοποιητές k πλησιέστερων γειτόνων αξιοποιούν την τοπικότητα και εξετάζουν μη γραμμικές περιοχές (αντίθετα από τα δένδρα απόφασης), κάτι που σε αρκετές περιπτώσεις αποτελεί πλεονέκτημα. Το αποτέλεσμα της κατηγοριοποίησης δεν γίνεται πολύ εύκολα κατανοητό. Η αρχή της τοπικότητας είναι η μόνη αιτιολόγηση του αποτελέσματος, αλλά είναι πολύ γενική. Ο χρόνος εύρεσης απόστασης είναι γραμμικός ως προς τα σημεία, κάτι που περιορίζει την κλιμάκωσή (γιατί;) των κατηγοριοποιητών k πλησιέστερων γειτόνων. Μπορούν, όμως, να χρησιμοποιηθούν δομές καταλόγου (π.χ., kdtree) για την επιτάχυνση της εύρεσης πλησιέστερων γειτόνων. Οι κατηγοριοποιητές k πλησιέστερων γειτόνων δεν έχουν καλή ανοχή στο θόρυβο, ιδιαίτερα για μικρές τιμές του k. 35

32 Αποτίμηση η ακρίβειας ρβ Γνωρίζουμε 3 κατηγοριοποιητές Πως συγκρίνουμε την επίδοσή τους ως προς την ακρίβεια; Πως μπορούμε να είμαστε σίγουροι για την ακρίβεια που θα έχει το μοντέλο μας; Μέτρηση η με αντικειμενικό τρόπο,, που να αποκλείει προκατάληψη: 4 μέθοδοι Υπολογισμός στατιστικής σημαντικότητας η 36

33 Μέθοδοι μέτρησης ακρίβειας: Hold-out out Χωρίζουμε ρζ το σύνολο δεδομένων σε δύο τμήματα: το σύνολο εκμάθησης (π.χ., τα 2/3 πρώτα αντικείμενα) και το σύνολο ελέγχου (π.χ. τα επόμενα 1/3) ημιουργούμε μοντέλο σύμφωνα με το σύνολο εκμάθησης Κατατάσσεται κάθε αντικείμενο του συνόλου ελέγχου X είναι ο αριθμός που κατατάσσονται σωστά Ν είναι ο συνολικός αριθμός των αντικειμένων στο σύνολο ελέγχου Ακρίβεια: A = X N Εξάρτηση από τη διάταξη των αντικειμένων 37

34 Μέθοδοι μέτρησης ακρίβειας: Τυχαία Υποδειγματοληψία-Random subsampling Αποφυγή εξάρτησης ης από διάταξη Εφαρμόζουμε τυχαία δειγματοληψία χωρίς επανατοποθέτηση Επιλέγουμε N αντικείμενα, τα οποία θέτουμε στο σύνολο ελέγχου Τα εναπομείναντα αντικείμενα τα θέτουμε στο σύνολο εκμάθησης. Επανάληψη της διαδικασίας αυτής k φορές Αν X i είναι ο αριθμός των σωστά καταταγμένων αντικειμένων στην i-οστή επανάληψη A = 1 k k Σ i = 1 ΠΡΟΣΟΧΗ: το μοντέλο που θα χρησιμοποιήσουμε τελικά θα εκπαιδευτεί σε όλα τα δεδομένα. X N i 38

35 Μέθοδοι μέτρησης ακρίβειας: ια-εγκυροποίηση -Cross validation Για να μην λαμβάνουμε τυχαία α τα δείγματα α M ο αριθμός των αντικειμένων στο σύνολο δεδομένων Θέλουμε k επαναλήψεις Χωρίζουμε το σύνολο σε k τμήματα με M/k (διαδοχικά) αντικείμενα το κάθε ένα Στην i-οστή επανάληψη, το i-οστό τμήμα λειτουργεί ως σύνολο ελέγχου, ενώ τα υπόλοιπα k-1 k τμήματα απαρτίζουν το σύνολο εκμάθησης. Μία συχνά χρησιμοποιούμενη τιμή του k είναι το 10 Η μέθοδος 10-fold cross-validation θεωρείται ως μία από τις πιο αξιόπιστες για την αποτίμηση της ακρίβειας κατηγοριοποιητών. Στην ειδική περίπτωση που k=μ, τότε η μέθοδος ονομάζεται leaveone-out χρησιμοποιείται μόνο για μικρά σύνολα δεδομένων. 39

36 Μέθοδοι μέτρησης ης ακρίβειας: ρβ bootstrap ειγματοληψία με επανατοποθέτηση Μ αντικείμενα 0.632Μ στο δείγμα ειγματοληπτούμε Μ φορές Σε κάθε προσπάθεια: P(επιλογή x) = 1/Μ Σε M προσπάθειες 40

37 Μέθοδοι μέτρησης ης ακρίβειας: ρβ bootstrap Τα 0.632Μ αντικείμενα αποτελούν το σύνολο εκμάθησης Επανάληψη k φορές της διαδικασίας Αν α i είναι η ακρίβεια στην i-οστήi επανάληψη και α η ακρίβεια όταν σύνολο ελέγχου = σύνολο εκμάθησης = σύνολο 41

38 ιαστήματα εμπιστοσύνης για την ακρίβεια πρόβλεψης Χ από N αντικείμενα κατατάχθηκαν σωστά Χ τυχαία μεταβλητή με διωνυμική κατανομή p η πραγματική ακρίβεια πρόβλεψης Α = Χ/Ν τυχαία μεταβλητή (διωνυμική) 42

39 ιαστήματα εμπιστοσύνης για την ακρίβεια πρόβλεψης Για Ν Α = Χ/Ν ακολουθεί κανονική κατανομή (νόμος μεγάλων αριθμών) Σε επίπεδο εμπιστοσύνης α: 43

40 Ενδεικτικές τιμές μς Έστω ένα μπντέλο με ακρίβεια 80% όταν χρησιμοποιούνται 100 δείγματα για έλεγχο: N=100, Α = 0.8 α Z α = 0.95 (διάστημα εμπιστοσύνης 95%) Από τον διπλανό πίνακα, Z α = N p(lower) p(upper)

41 Παράδειγμα Έστω ένα σύνολο ελέγχου με N=50 αντικείμενα. Αν η εκτιμώμενη ακρίβεια αποτιμήθηκε ίση με A=85%, να βρεθεί το διάστημα εμπιστοσύνης σε επίπεδο a=0.95 και a=0.90. Για a=0.95 ισχύει z_a=1.96. Από την Εξίσωση προκύπτει ότι p=0.825 ± Άρα, αναμένουμε η πραγματική ακρίβεια p να κυμαίνεται μεταξύ και Για a=0.90 ισχύει z_a=1.65. Από την ίδια εξίσωση προκύπτει ότι p=0.832 ± Άρα, αναμένουμε η πραγματική ακρίβεια p να κυμαίνεται μεταξύ και

42 Βελτίωση της ακρίβειας ρβ Γνωρίζουμε 3 βασικούς κατηγοριοποιητές. Ξέρουμε πώς να εκτιμούμε σωστά την ακρίβεια. ρβ Μπορούμε να βελτιώσουμε την ακρίβεια χρησιμοποιώντας διαφορετικά τους γνωστούς μας κατηγοριοποιητές; Ψαλιδισμός Σύνολα κατηγοριοποιητών 46

43 Σύνολα κατηγοριοποιητών η n δυαδικοί (2 κλάσεις) ανεξάρτητοι κατηγοριοποιητές Κάθε ένας έχει πιθανότητα λάθους e Αποφασίζουμε την κλάση που λέει η πλειοψηφία των κατηγοριοποιητών Για να γίνει λάθος, περισσότεροι από n/2 να κάνουν λάθος Εκτιμώμενο λάθος για το σύνολο: 47

44 Σύνολα κατηγοριοποιητών η Π.χ., για n=10, e=0.2, τότε E =

45 Bagging g (Bootstrap AGGragatING) k δείγματα με επανατοποθέτηση (διαδικασία bootstrap) σύνολα δεδομένων για k κατηγοριοποιητές (ίδιος αλγόριθμος κατασκευής) αναμενόμενος αριθμός διακριτών αντικειμένων στο κάθε δείγμα: 63.2% του αρχικού Ένα νέο αντικείμενο κατατάσσεται με καθέναν από k κατηγοριοποιητές. Το αναθέτουμε στην κλάση που πλειοψηφεί Η μέθοδος bagging βελτιώνει την ακρίβεια, όταν υπάρχει διακύμανση στην ακρίβεια των k κατηγοριοποιητών 49

46 Άλλα μέτρα ποιότητας Πίνακας σύγχυσης Ευαισθησία Εξειδίκευση Ορθότητα Ανάκληση 50

47 Πίνακας σύγχυσης Πίνακας Σύγχυσης (Confusion Matrix): Actual class\predicted class C 1 C 1 C 1 True Positives (TP) False Negatives (FN) C 1 False Positives (FP) True Negatives (TN) Παράδειγμα: Actual class\predicted class buy_computer = yes buy_computer = no Total buy_computer = yes buy_computer = no Total CM i,j : πλήθος εγγραφών της κλάσης i που κατηγοριοποιήθηκαν στην κλάση j 51

48 Άλλα μέτρα Actual\ Predicted C C Όταν μία κλάση η(η θετική) είναι πολύ πιο σπάνια: C TP FN P C FP TN N P N All Ακρίβεια ρβ (Accuracy): (TP + TN)/All Ποσοσό Σφάλματος ς( (Error rate): 1 accuracy, ή (FP + FN)/All Ευαισθησία (Sensitivity): TP/P Εξειδίκευση (Specificity): TN/N Ορθότητα (Precision) TP/(TP+FP) Ανάκληση (Recall) TP/(TP+FN) 52