Ασκήσεις μελέτης της 16 ης διάλεξης

Σχετικά έγγραφα
Τεχνητή Νοημοσύνη. 16η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Ασκήσεις μελέτης της 6 ης διάλεξης

Ασκήσεις μελέτης της 19 ης διάλεξης

Ασκήσεις μελέτης της 8 ης διάλεξης

Ασκήσεις μελέτης της 4 ης διάλεξης. ), για οποιοδήποτε μονοπάτι n 1

Τεχνητή Νοημοσύνη. 7η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ - ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Θεωρία Παιγνίων και Αποφάσεων Διδάσκων: Ε. Μαρκάκης, Εαρινό εξάμηνο 2015

Ασκήσεις μελέτης της 11 ης διάλεξης

Τεχνητή Νοημοσύνη. 15η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή

HMY 795: Αναγνώριση Προτύπων

Τεχνητή Νοημοσύνη. 17η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Τεχνητή Νοημοσύνη. 18η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

HMY 795: Αναγνώριση Προτύπων

Τεχνητή Νοημοσύνη. 6η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Τηλεπικοινωνιακά Συστήματα ΙΙ

Τεχνητή Νοημοσύνη ( )

Θέματα Συστημάτων Πολυμέσων

Ενότητα 3 Επιτηρούµενος διαχωρισµός

ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ. Κεφάλαιο 2 : Πληροφορία και Εντροπία Διάλεξη: Κώστας Μαλιάτσος Χρήστος Ξενάκης, Κώστας Μαλιάτσος

Δίαυλος Πληροφορίας. Η λειτουργία του περιγράφεται από:

Ανάκτηση Πληροφορίας

Τεχνολογία Πολυμέσων. Ενότητα # 7: Θεωρία πληροφορίας Διδάσκων: Γεώργιος Ξυλωμένος Τμήμα: Πληροφορικής

Λύσεις 2ης Ομάδας Ασκήσεων

ΔΙΑΧΕΙΡΙΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ ΠΑΓΚΟΣΜΙΟΥ ΙΣΤΟΥ ΚΑΙ ΓΛΩΣΣΙΚΑ ΕΡΓΑΛΕΙΑ. Data Mining - Classification

Ενδεικτικές Λύσεις 1ου Σετ Ασκήσεων

Ασκήσεις. Ιωάννα Καντζάβελου. Τµήµα Μηχανικών Πληροφορικής και Υπολογιστών 1

Οικονομικό Πανεπιστήμιο Αθηνών. Διπλωματική Εργασία Μεταπτυχιακού Διπλώματος Ειδίκευσης. Άρης Κοσμόπουλος

Χρήστος Ξενάκης. Πανεπιστήμιο Πειραιώς, Τμήμα Ψηφιακών Συστημάτων

Μηχανική Μάθηση: γιατί;

Τεχνητή Νοημοσύνη. 3η διάλεξη ( ) Ίων Ανδρουτσόπουλος.


HMY 795: Αναγνώριση Προτύπων

Μαθηματικά: Αριθμητική και Άλγεβρα. Μάθημα 3 ο, Τμήμα Α. Τρόποι απόδειξης

Θεωρία Πληροφορίας. Διάλεξη 4: Διακριτή πηγή πληροφορίας χωρίς μνήμη. Δρ. Μιχάλης Παρασκευάς Επίκουρος Καθηγητής

Μη γράφετε στο πίσω μέρος της σελίδας

Γιατί πιθανότητες; Γιατί πιθανότητες; Θεωρία πιθανοτήτων. Θεωρία Πιθανοτήτων. ΗΥ118, Διακριτά Μαθηματικά Άνοιξη 2017.

Ομόλογα (bonds) Μετοχές (stocks) Αμοιβαία κεφάλαια (mutual funds)

Κατηγοριοποίηση βάσει διανύσματος χαρακτηριστικών

ΤΕΙ ΣΕΡΡΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ ΕΞΕΤΑΣΗ ΣΤΟ ΜΑΘΗΜΑ «ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ» ΔΕ. 11 ΙΟΥΝΙΟΥ 2012

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

Υπολογιστική Νοημοσύνη. Μάθημα 12: Παραδείγματα Ασκήσεων 2

ΤΕΙ ΣΕΡΡΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ ΕΞΕΤΑΣΗ ΣΤΟ ΜΑΘΗΜΑ «ΑΝΑΓΝΩΡΙΣΗ ΠΡΟΤΥΠΩΝ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ» ΠΑ. 7 ΣΕΠΤΕΜΒΡΙΟΥ 2012

Η πιθανότητα επομένως που ζητείται να υπολογίσουμε, είναι η P(A 1 M 2 ). Η πιθανότητα αυτή μπορεί να γραφεί ως εξής:

Μη γράφετε στο πίσω μέρος της σελίδας

Ασκήσεις μελέτης της ενότητας «Συντακτική Ανάλυση»

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΣΤΑΤΙΣΤΙΚΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ. Κεφάλαιο 6. Πιθανότητες

ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΔΙΚΤΥΑ

Τεχνητή Νοημοσύνη. 4η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

O πύραυλος. Γνωστικό Αντικείμενο: Φυσική (Δύναμη Μορφές Ενέργειας) - Τεχνολογία Τάξη: Β Γυμνασίου

pdf: X = 0, 1 - p = q E(X) = 1 p + 0 (1 p) = p V ar(x) = E[(X µ) 2 ] = (1 p) 2 p + (0 p) 2 (1 p) = p (1 p) [1 p + p] = p (1 p) = p q

Δρ. Βασίλειος Γ. Καμπουρλάζος Δρ. Ανέστης Γ. Χατζημιχαηλίδης

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

ΤΥΧΑΙΟΙ ΑΡΙΘΜΟΙ - ΠΡΟΣΟΜΟΙΩΣΗ

Δυναμικές Δομές Δεδομένων Λίστες Δένδρα - Γράφοι

ΑΛΓΕΒΡΑ Α ΛΥΚΕΙΟΥ. 118 ερωτήσεις θεωρίας με απάντηση ασκήσεις για λύση. 20 συνδυαστικά θέματα εξετάσεων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

Θεωρία Λήψης Αποφάσεων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΚΡΗΤΗΣ - Τμήμα Επιστήμης Υπολογιστών

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ. Δοµές Δεδοµένων

Μάθηση με παραδείγματα Δέντρα Απόφασης

ΕΚΤΙΜΙΣΗ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΦΑΝΕΙΑΣ

Το αερόπλοιο. Χρονική Διάρκεια Προτεινόμενη χρονική διάρκεια σχεδίου εργασίας: 5 διδακτικές ώρες

Παραδείγματα (1 ο σετ) Διανυσματικοί Χώροι

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ. Δοµές Δεδοµένων

HMY 795: Αναγνώριση Προτύπων

Εισαγωγή στη Στατιστική

Τεχνητή Νοημοσύνη. 5η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Θεωρία Αποφάσεων ο. 4 Φροντιστήριο. Λύσεις των Ασκήσεων

Ποσοτική Ανάλυση Κινδύνων

Τμήμα Λογιστικής και Χρηματοοικονομικής. Θεωρία Πιθανοτήτων. Δρ. Αγγελίδης Π. Βασίλειος

Οικονομικό Πανεπιστήμιο Αθηνών Τμήμα Πληροφορικής ΠΜΣ Κρυπτογραφία και Εφαρμογές

Κάνοντας ακριβέστερες μετρήσεις με την βοήθεια των Μαθηματικών. Ν. Παναγιωτίδης, Υπεύθυνος ΕΚΦΕ Ν. Ιωαννίνων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

ΚΕΦΑΛΑΙΟ Μηχανική Μάθηση

8 Άρα η Ϲητούµενη πιθανότητα είναι

Λυμένες ασκήσεις στροφορμής

ΗΥ118: Διακριτά Μαθηματικά - Εαρινό Εξάμηνο 2016 Τελική Εξέταση Ιουνίου - Τετάρτη, 15/06/2016 Λύσεις Θεμάτων

ΣΥΝΔΥΑΣΤΙΚΑ ΕΠΑΝΑΛΗΠΤΙΚΑ ΘΕΜΑΤΑ ΜΑΘΗΜΑΤΙΚΩΝ ΓΕΝΙΚΗΣ ΠΑΙΔΕΙΑΣ

ΔΕΟ13(ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΕΞΕΤΑΣΕΙΣ ΙΟΥΛΙΟΥ )

Άλγεβρα 1 ο Κεφάλαιο ... ν παράγοντες

Τεχνητή Νοημοσύνη. 2η διάλεξη ( ) Ίων Ανδρουτσόπουλος.

Υπολογιστική Πολυπλοκότητα Εξέταση Ιουνίου 2017 Σελ. 1 από 5

Θεωρία Πιθανοτήτων & Στατιστική

Πανεπιστήµιο Κύπρου Πολυτεχνική Σχολή

Λύσεις 1ης Ομάδας Ασκήσεων

Πράξεις με μεικτές αριθμητικές παραστάσεις

Σέργιος Θεοδωρίδης Κωνσταντίνος Κουτρούμπας. Version 2

ΕΛΕΓΧΟΙ ΥΠΟΘΕΣΕΩΝ ΚΕΦΑΛΑΙΟ 17

Εφαρμοσμένα Μαθηματικά ΙΙ 9ο Σετ Ασκήσεων (Λύσεις) Διανυσματικοί Χώροι

Ψηφιακές Τηλεπικοινωνίες

(1) 98! 25! = 4 100! 23! = 4

pdf: X = 0, 1 - p = q E(X) = 1 p + 0 (1 p) = p V ar(x) = E[(X µ) 2 ] = (1 p) 2 p + (0 p) 2 (1 p) = p (1 p) [1 p + p] = p (1 p) = p q

ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΣΤΑΤΙΣΤΙΚΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ. Κεφάλαιο 7. Τυχαίες Μεταβλητές και Διακριτές Κατανομές Πιθανοτήτων

Φυλλάδιο 1 - Σημεία Προσοχής στις Παραγράφους 1.1, 1.2 και 1.3

1 p p a y. , όπου H 1,2. u l, όπου l r p και u τυχαίο μοναδιαίο διάνυσμα. Δείξτε ότι μπορούν να γραφούν σε διανυσματική μορφή ως εξής.

sin(5x 2 ) sin(4x) e 5t 2 1 (ii) lim x 0 10x 3 (iii) lim (iv) lim. 10t sin(ax) = 1. = 1 1 a lim = sin(5x2 ) = 2. f (x) = sin x. = e5t 1 = 1 0 = 0.

Θα λύσετε ένα από τα έξι πακέτα ασκήσεων που ακολουθούν, τα οποία είναι αριθµηµένα από 0 έως5. Ο κάθε φοιτητής βρίσκει το πακέτο που του αντιστοιχεί

bca = e. H 1j = G 2 H 5j = {f G j : f(0) = 1}

Θεωρία της Πληροφορίας 3 ο Εξάμηνο

Transcript:

Οικονομικό Πανεπιστήμιο Αθηνών, Τμήμα Πληροφορικής Μάθημα: Τεχνητή Νοημοσύνη, 016 17 Διδάσκων: Ι. Ανδρουτσόπουλος Ασκήσεις μελέτης της 16 ης διάλεξης 16.1. (α) Έστω ένα αντικείμενο προς κατάταξη το οποίο παριστάνεται με το διάνυσμα < Χ 1, Χ, Χ 3 > = < 0, 1, 0 >. Σε ποια από τις δύο κατηγορίες (C = 0 ή C = 1) θα το κατατάξει ένας αφελής ταξινομητής Bayes (της πολυ-μεταβλητής μορφής Bernoulli που συναντήσαμε στο μάθημα) που έχει στη διάθεσή του τα δεδομένα εκπαίδευσης του πίνακα; Γράψτε αναλυτικά τους υπολογισμούς σας. Χρησιμοποιήστε εκτιμήτρια Laplace κατά τις εκτιμήσεις των πιθανοτήτων P(X i C). Όλες οι ιδιότητες X i είναι δυαδικές (έχουν ως πεδίο τιμών το {0, 1}). Απάντηση: P(C = 1 X 1 = 0, X = 1, X 3 = 0) P(C = 1) P(X 1 = 0, X = 1, X 3 = 0) P(X 1 = 0 C = 1) P(X = 1 C = 1) P(X 3 = 0 C = 1) P(X 1 = 0, X = 1, X 3 = 0) 0 + 1 + 1 + 1 + 0 + 1 + = P(X 1 = 0, X = 1, X 3 = 0) 1 4 4 1 4 P(C = 0 X 1 = 0, X = 1, X 3 = 0) P(C = 0) P(X 1 = 0, X = 1, X 3 = 0) P(X 1 = 0 C = 0) P(X = 1 C = 0) P(X 3 = 0 C = 0) P(X 1 = 0, X = 1, X 3 = 0) 1 + 1 + 1 + 1 + 1 + 1 + = P(X 1 = 0, X = 1, X 3 = 0) 4 4 4 Επομένως θα το κατατάξει στην C = 0. X1 Χ Χ3 C 1 0 0 0 0 1 1 0 1 0 1 1 1 1 1 1 16.. Έστω ένα αντικείμενο με διάνυσμα <Χ 1, Χ, Χ 3, Χ 4> = <b, d, b, a>. Σε ποια από τις τρεις κατηγορίες θα κατατάξει το αντικείμενο ένας αφελής ταξινομητής Bayes (της πολυμεταβλητής μορφής Bernoulli που συναντήσαμε στο μάθημα) ο οποίος διαθέτει τα δεδομένα εκπαίδευσης του πίνακα; Γράψτε αναλυτικά τους υπολογισμούς σας. Χρησιμοποιήστε εκτιμήτρια Laplace κατά τις εκτιμήσεις των πιθανοτήτων P(X i C). Θεωρήστε ότι κάθε τυχαία μεταβλητή X i έχει τέσσερις δυνατές τιμές: a, b, c, d. X1 Χ Χ3 Χ4 C a b b a 1 b a a b 1 b b a b 1 a a b b a b b b b a b a c d d c 3 d c c d 3 d d c d 3 Απάντηση: Έχουμε: P(C = 1) = P(C = ) = P(C = 3) = 3/9. Επομένως, οι a priori πιθανότητες δεν επηρεάζουν την απόφαση. Έχουμε επίσης:

P(X 1 = b C = 1) = +1 3+4 = 3 7 P(X 3 = b C = 1) = 1+1 3+4 = 7 και: P(X 1 = b C = ) = 1+1 3+4 = 7 P(X 3 = b C = ) = 3+1 3+4 = 4 7 και: P(X = d C = 1) = 0+1 P(X 4 = a C = 1) = 1+1 3+4 = 7 P(X = d C = ) = 0+1 P(X 4 = a C = ) = 1+1 3+4 = 7 P(X 1 = b C = 3) = 0+1 P(X 3 = b C = 3) = 0+1 Άρα: P(X = d C = 3) = +1 3+4 = 3 7 P(X 4 = a C = 3) = 0+1 P(X 1 = b C = 1) P(X = d C = 1) P(X 3 = b C = 1) P(X 4 = a C = 1) = 3 1 P(X 1 = b C = ) P(X = d C = ) P(X 3 = b C = ) P(X 4 = a C = ) = 1 4 P(X 1 = b C = 3) P(X = d C = 3) P(X 3 = b C = 4) P(X 4 = a C = 3) = 1 3 1 1 και επομένως το αντικείμενο κατατάσσεται στην κατηγορία C =. 16.3. Χρησιμοποιούμε μια παραλλαγή του αφελούς ταξινομητή Bayes (της πολυ-μεταβλητής μορφής Bernoulli που συναντήσαμε στο μάθημα), με δύο κατηγορίες (C = 0 και C = 1) και δυαδικές ιδιότητες X 1,, X, η οποία κατατάσσει στη C = 1 αν: P(C = 1) P(X i = x i C = 1) Κ όπου Κ μια σταθερά, ενώ διαφορετικά κατατάσσει στη C = 0. Αποδείξτε ότι ο ταξινομητής αυτός είναι ένας γραμμικός διαχωριστής. Δείξτε αναλυτικά τους υπολογισμούς σας. Υπόδειξη: Αν παραστήσουμε με t i το ενδεχόμενο που παριστάνεται με X i = 1 (π.χ. την εμφάνιση μιας συγκεκριμένης λέξης), τότε: P(X i = x i C = 1) = P(t i C = 1) x i [1 P(t i C = 1)] 1 x i Υπενθυμίζεται, επίσης, ότι log(a b) = log a + log b και log a b = b log a. Απάντηση: Ο ταξινομητής κατατάσσει στην κατηγορία C = 1 αν και μόνο αν (ανν): log[p(c = 1) P(X i = x i C = 1) ] log K log P(C = 1) + log P(X i = x i C = 1) log Κ log P(C = 1) + log{p(t i C = 1) x i [1 P(t i C = 1) ] 1 x i} log Κ

log P(C = 1) + x i log P(t i C = 1) + (1 x i ) log[1 P(t i C = 1)] log Κ Θέτοντας K 1 = log P(C = 1), K,i = log P(t i C = 1), K 3,i = log[1 P(t i C = 1)], K 4 = log K, η προηγούμενη σχέση γίνεται: Κ 1 + [x i K,i + (1 x i ) K 3,i ] K 4 Κ 1 + K 3,i K 4 + x i (K,i Κ 3,i ) 0 Θέτοντας w 0 = Κ 1 + K 3,i K 4 και w i = (K,i K 3,i ), η προηγούμενη σχέση γίνεται: w 0 + w i x i 0 Επομένως πρόκειται για γραμμικό ταξινομητή. 16.4. (α) Βάσει των παραδειγμάτων εκπαίδευσης του πίνακα, πόση είναι η εντροπία H(C) της κατηγορίας C και γιατί; Απάντηση: P(C=μαύρο) = P(C=) = ½. Έχουμε δύο ισοπίθανα ενδεχόμενα C = μαύρο και C = και άρα μέγιστη εντροπία (αβεβαιότητα), που για δύο ενδεχόμενα είναι ίση με 1. Το ίδιο συμπέρασμα προκύπτει από τον ορισμό της εντροπίας, με αριθμητικούς υπολογισμούς. (β) Σχεδιάστε το δέντρο απόφασης που θα κατασκευάσει ο ID3, αν του επιτρέψουμε να χρησιμοποιήσει ως ιδιότητες τις ID, X, Y, Z (το δέντρο προβλέπει την κατηγορία C). Δεν χρειάζονται αριθμητικοί υπολογισμοί, μόνο προσεκτική παρατήρηση των δεδομένων. Εξηγήστε γιατί θα προκύψει το δέντρο που σχεδιάσατε. ID X Y Z C 1 0 0 1 μαύρο 1 0 1 μαύρο 3 0 0 1 μαύρο 4 1 1 0 μαύρο 5 0 1 1 6 1 0 0 7 0 0 0 8 1 0 0 Απάντηση: Αν ξέρουμε την τιμή της ιδιότητας ID, τότε ξέρουμε με βεβαιότητα την τιμή της κατηγορίας C όλων των παραδειγμάτων. Βάσει, δηλαδή, των παραδειγμάτων του πίνακα, H(C ID) = 0 και επομένως IG(ID, C) = H(C) H(C ID) = 1. Αντίθετα, καμία από τις άλλες ιδιότητες (Χ, Υ, Ζ) δεν προβλέπει με απόλυτη βεβαιότητα την κατηγορία όλων των παραδειγμάτων, επομένως το κέρδος πληροφορίας που παρέχουν είναι μικρότερο από 1. Επομένως ο ID3 θα προτιμήσει να τοποθετήσει στη ρίζα του δέντρου απόφασης την ερώτηση για την ιδιότητα ID. Θα υπάρχουν 8 κλαδιά κάτω από τη ρίζα, ένα για κάθε δυνατή τιμή της ID που εμφανίζεται στα παραδείγματα εκπαίδευσης. Στο υποδέντρο κάτω από κάθε κλαδί θα καταλήξει ακριβώς ένα από τα παραδείγματα, εκείνο με την αντίστοιχη τιμή ID. Επομένως τα παραδείγματα (είναι μόνο ένα) κάθε υποδέντρου θα ανήκουν σε μία μόνο (ανά υποδέντρο) κατηγορία. Άρα ο ID3 θα σταματήσει και θα επιστρέψει το παρακάτω δέντρο, που δεν χρησιμοποιεί τις άλλες ιδιότητες.

ID = 1 ID ID = 8 μαύρο μαύρο μαύρο μαύρο (γ) Σχεδιάστε τώρα το δέντρο απόφασης που θα κατασκευάσει ο ID3, αν του επιτρέψουμε να χρησιμοποιήσει ως ιδιότητες μόνο τις X, Y, Z (το δέντρο προβλέπει πάλι την κατηγορία C). Δεν χρειάζονται αριθμητικοί υπολογισμοί, μόνο προσεκτική παρατήρηση των δεδομένων. Εξηγήστε γιατί θα προκύψει το δέντρο που σχεδιάσατε. Τα δεδομένα εκπαίδευσης δείχνουν ότι αν μάθουμε πως Ζ = 1, είναι πολύ πιθανό (πιθανότητα ¾) ότι C = μαύρο και αν μάθουμε πως Ζ = 0, είναι πολύ πιθανό (πιθανότητα ¾) ότι C =. Επομένως, η γνώση της τιμής της ιδιότητας Ζ μειώνει την εντροπία (αβεβαιότητα για την τιμή) της C, εντροπία που αρχικά ήταν μέγιστη, δηλαδή IG(C, Z) > 0. Το ίδιο συμπέρασμα προκύπτει υπολογίζοντας αναλυτικά το IG(C, Ζ). Αντίθετα, τα δεδομένα εκπαίδευσης δείχνουν ότι αν μάθουμε πως Υ = 1, η πιθανότητα να έχουμε C = μαύρο παραμένει ½ και ίση με την πιθανότητα να έχουμε C = ομοίως, αν μάθουμε ότι Χ = 0, η πιθανότητα να έχουμε C = μαύρο παραμένει ½ και ίση με την πιθανότητα να έχουμε C =. Επομένως, όποια κι αν είναι η τιμή της Υ, εξακολουθούμε να έχουμε δύο ισοπίθανα ενδεχόμενα C = μαύρο και C = και, επομένως, μέγιστη εντροπία (αβεβαιότητα) H(C) = 1. Άρα η γνώση της τιμής της Y δεν μειώνει καθόλου την εντροπία (αβεβαιότητα για την τιμή της) C, δηλαδή IG(C, Υ) = 0. Το ίδιο συμπέρασμα προκύπτει υπολογίζοντας αναλυτικά το IG(C, Υ). Ομοίως IG(C, Χ) = 0. Επομένως ο ID3 θα επιλέξει να τοποθετήσει στην κορυφή του δέντρο απόφασης την ερώτηση για την ιδιότητα Z. Z = 1 Z Z = 0 Στο υποδέντρο για Ζ = 1, θα καταλήξουν τα παραδείγματα με ID = 1,, 3, 5, ενώ στο υποδέντρο για Z = 0 τα παραδείγματα με ID = 4, 6, 7, 8. Και στα δύο υποδέντρα, αν μάθουμε κατόπιν την τιμή της ιδιότητας Υ, πετυχαίνουμε πλήρη διαχωρισμό (πρόβλεψη) των κατηγοριών, ενώ αντίθετα δεν συμβαίνει το ίδιο αν μάθουμε την τιμή της ιδιότητας Χ. Επομένως και στα δύο υποδέντρα η ιδιότητα Y παρέχει μεγαλύτερο κέρδος πληροφορίας απ ό,τι η Χ. Άρα ο ID3 θα προτιμήσει να προσθέσει και στα δύο υποδέντρα της ερωτήσεις για την ιδιότητα Υ. Σε κάθε κλαδί κάτω από τις δύο ερωτήσεις Υ, καταλήγουν παραδείγματα μίας μόνο κατηγορίας. Επομένως ο ID3 θα σταματήσει και θα επιστρέψει το παρακάτω δέντρο, που δεν χρησιμοποιεί την ιδιότητα Χ. Z = 1 Z Z = 0 Υ = 1 Υ Υ Υ = 0 Υ = 1 Υ = 0 μαύρο μαύρο

16.5. Αν αξιολογήσουμε έναν ταξινομητή ID3 (χωρίς πριόνισμα) στο ίδιο σύνολο διανυσμάτων στο οποίο τον εκπαιδεύσαμε, αλλά στα διανύσματα εκπαίδευσης περιλαμβάνονται και ασυνεπή παραδείγματα, το ποσοστό ορθότητας του ταξινομητή θα βρεθεί να είναι: σίγουρα 100% _Χ_σίγουρα μικρότερο του 100% τίποτα από τα παραπάνω (το αποτέλεσμα εξαρτάται από τις τυχαιότητες των δεδομένων). Απάντηση: Τα ασυνεπή διανύσματα εκπαίδευσης δεν είναι δυνατόν να διαχωριστούν, αφού έχουν τις ίδιες τιμές σε όλες τις ιδιότητες, οπότε καταλήγουν στα ίδια φύλλα και (αφού ανήκουν σε διαφορετικές κατηγορίες) δεν συμφωνούν οι κατηγορίες όλων τους με τις κατηγορίες των φύλλων στα οποία κατέληξαν. Αφού αξιολογούμε χρησιμοποιώντας τα ίδια διανύσματα που χρησιμοποιήθηκαν κατά την εκπαίδευση, κάθε διάνυσμα αξιολόγησης καταλήγει στο ίδιο φύλλο όπου κατέληξε και κατά την εκπαίδευση και κάποια από τα ασυνεπή διανύσματα αξιολόγησης (και εκπαίδευσης) καταλήγουν πάλι σε φύλλα των οποίων οι κατηγορίες είναι διαφορετικές από εκείνες των ασυνεπών διανυσμάτων. Επομένως, θα υπάρχουν σίγουρα λάθη κατάταξης και άρα το ποσοστό ορθότητας θα είναι σίγουρα μικρότερο του 100%.